Nhận Dạng Và Nội Suy Ảnh (Image Recognition And Interpretation)

• W(s,b): là hệ số biến đổi wavelet liên tục của f(x), với s là tỉ lệ (nghịch đảo của tần số) và b là dịch chuyển đặc trưng vị trí.

• ψ∗ : là hàm liên hiệp phức của wavelet ψ0 được gọi là hàm wavelet phân tích.

Phương trình (1.34) cho thấy phép biến đổi wavelet là 1 ánh xạ chuyển từ hàm 1 biến f(x) thành hàm W(s,b) phụ thuộc hai biến số là biến tỉ lệ s và biến dịch chuyển b. Hệ số

chuyển hoá 1

√𝑠

trong (1.34) bảo đảm sự chuẩn hoá sóng wavelet với các tỉ lệ phân tích s khác

nhau ‖ψ0(𝑥, 𝑏)‖ = ‖ψ0‖.

Một số dạng của hàm wavelet như: Wavelet Haar, Wavelet Daubechies4, Wavelet Synlets4, vv… Ở luận văn này, tôi chỉ đề cập đến dạng Wavelet Haar như sau:

Biến đổi Wavelet Haar:

Có thể bạn quan tâm!

Xem toàn bộ 69 trang tài liệu này.

Biến đổi Wavelet Haar là một biến đổi đơn giản trong các phép biến đổi Wavelet. Hình vẽ (1.11) dưới đây cho thấy dạng của hàm ψ(t) với biến đổi Haar trên trục t. Do tính chất đơn giản của biến đổi Haar mà nó được ứng dụng tương đối nhiều trong nén ảnh, khi áp dụng biến đổi này để nén ảnh thì thuật toán nén ảnh trên máy tính có một số điểm khác với công thức toán học của biến đổi Haar:

Hình 1.9: Hàm ψ (t) của biến đổi Haar

1.2.5. Phân lớp (Classfication)

Phân lớp (Classfication) là bước quyết định trong quá trình nhận dạng. Tất cả các bước trong quá trình xử lý nhằm mục đích chop việc phân tách các mẫu thành công. Quá trình phân lớp có thể hiểu là quá trình chuyển đổi các số liệu đầu vào định lượng và các số liệu đầu ra định tính. Đầu ra của phân lớp có thể là sự lựa chọn rời rạc một lớp trong số các lớp đã được định nghĩa, hoặc có thể là một vector giá trị thực biểu diễn các giá trị có thể thừa nhận mẫu đó được hình thành từ các lớp tương ứng.

Thuật toán phân lớp chủ yếu đựoc chia thành hai phương pháp chính. Đó là phương pháp thống kê (Statistical) và phương pháp cú pháp (Syntactic). Việc sử dụng mạng nơron nhân tạo (ANN) như [18] hay máy vector hổ trợ (SVM) như [12], [13], [14], [15] cho việc phân lớp là một phương pháp tương đối khác biệt mặc dù về mặt cơ chế nó cũng làm việc với các đặc trưng của đối tượng.

Bộ phân lớp có thể gửi thông tin hồi tiếp về bộ phân tách và bộ trích chọn để hiệu chỉnh những sai lệch của hai bộ phận này.

1.2.6. Nhận dạng và nội suy ảnh (Image recognition and Interpretation)

1.2.6.1. Giới thiệu chung về nhận dạng

Khi quan sát một bức ảnh thì ngoài sự cảm nhận về kích thước và mầu sắc thì các đối tượng trong bức ảnh còn mang lại ý nghĩa nhận thức nào đó cho người quan sát. Vì vậy quá trình xử lý không chỉ dừng lại ở việc nâng cao chất lượng ảnh, lưu trữ mà còn thêm một bước nữa là tự động nhận dạng các đối tượng trong ảnh để rút ra được các thông tin chúng chứa đựng. Nhận dạng ảnh có thể coi là công đoạn cuối của quá trình xử lý ảnh. Ta có thể nhìn về hoạt động công việc này một cách đơn giản bằng cách gán tên cho các đối tượng ảnh. Nhận dạng ảnh chỉ là một trường hợp đặc biệt của nhận dạng mẫu, ở đây ta xét những nguyên lý trong nhận dạng mẫu được áp dụng cho nhận dạng ảnh.

Theo tài liệu [4], nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng.

Ví dụ: Một loạt chữ số và nét gạch ngang trên phong bì thư có thể được nội suy thành mã điện thoại.

Có nhiều cách phân loai ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng [3], các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản:

- Nhận dạng theo tham số.

- Nhận dạng theo cấu trúc.

Cũng theo [3], bản chất của quá trình nhận dạng gồm 3 giai đoạn chính:

- Lựa chọn mô hình biểu điễn đối tượng.

- Lựa chọn luật ra quyết định (phương pháp nhận dạng) và suy diễn quá trình học.

- Học nhận dạng.

Khi mô hình biểu diễn đối tượng đã được xác định, có thể là định lượng (mô hình tham số) hay định tính (mô hình cấu trúc), quá trình nhận dạng chuyển sang giai đoạn học. Học là giai đoạn rất quan trọng, thao tác học nhằm cải thiện, điều chỉnh việc phân hoạch tập đối tượng thành các lớp.

Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự, nhận dạng văn bản (text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người, nhận dạng các loài hoa, nhận dạng vật nuôi, vv…

Tiến trình nhận dạng ảnh có thể được thực hiện qua các khâu như: thu thập dữ liệu ảnh, tiền xử lý, phân tích, tiêu chuẩn hóa, trích chọn đặc trưng và phân lớp.

1.2.6.2. Phương pháp số nhận dạng ảnh

Trong phương pháp này mẫu sẽ được biểu diễn dưới dạng số và thủ tục phân lớp chính là việc sắp xếp các giá trị số này thành các lớp.

Kỹ thuật phân lớp mẫu

Có hai dạng phân lớp là phân lớp mẫu có giám sát và phân lớp mẫu không giám sát. Với phương pháp nhận số dạng mẫu, ta cần quan tâm về kỹ thuật phân lớp có giám sát hơn.

Như đã xét ở một bước trích chọn đặc trưng, các đặc trưng của đối tượng được biểu diễn bằng các giá trị số và các giá trị này được xem là các thành phần của vector biểu diễn mẫu. Khi ta đưa vào hệ thống một tập các mẫu chuẩn thì quá trình trích chọn đặc trưng sẽ tạo lên các vector mẫu chuẩn phân bố trong không gian mẫu. Với mỗi vector mẫu ta đã ánh xạ được từ nó sang không gian diễn dịch, tức là biết được tên nó. Như vậy vector mẫu chuẩn này hoàn toàn có thể phân thành lớp tương ứng với một tên. Những lớp này gọi là lớp chuẩn.

Một lớp thực sự sẽ chiếm một phần nào đó trong không gian của mẫu, và vùng của một lớp thường gọi là một cluster. Thực tế không gian mẫu không phải bao giờ cũng phân tách hoàn toàn mà các cluster có thể chồng lên nhau.

Phương pháp nhận dạng cấu trúc

Biểu diễn các đặc trưng mẫu bằng phân lớp có cấu trúc. Bên cạnh phương pháp số là một trong những phương pháp nhận dạng mẫu. Trong khi với phương pháp mẫu người ta thực hiện gand ý nghĩa cho các mẫu riêng biệt thì phưong pháp cấu trúc lại xem xét các đối tượng phức tạp được cấu thành từ các dạng nguyên thủy và mối liên hệ giữa chúng. Các đặc trưng quan hệ giữa các dạng nguyên thủy sẽ làm việc với một danh sách quyết định gần như bộ phân tích ảnh của não người. Việc mô hình hóa quá trình như vậy trên máy tính sẽ trở lên khó khăn, bởi vậy thủ tục cấu trúc không được phổ biến như thủ tục số.

Chương 2: NGHIÊN CỨU PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN NHẬN DẠNG BỌT KHÍ

2.1. XÂY DỰNG BÀI TOÁN NHẬN DẠNG BỌT KHÍ

Để theo dõi quá trình sục khí trong các bể nuôi vi sinh của các đơn vị quan trắc môi trường nước thông qua các camera giám sát. Bài toán đặt ra ở đây là làm sao theo dõi biết được quá trình sục khí có thường xuyên hay không. Vì vậy, cần phải nhận dạng được ảnh có bọt khí (trong trường hợp có sục khí) và ảnh không có bọt khí (trong trường hợp không được sục khí) thông qua việc nhận dạng frame ảnh trích xuất từ camera giám sát. Để giải quyết cho vấn đề này, tôi đã thực hiện nghiên cứu các kiến thức về xứ lý ảnh số, các phương pháp xử lý ảnh số, các thuật toán học máy, huấn luyện phân lớp và nhận dạng ảnh như đã giới thiệu ở chương 1 và chương 2 và xây dựng bài toán nhận bọt khí theo 3 giai đoạn sau:

- Giai đoạn 1: Quá trình xử lý ảnh.

- Giai đoạn 2: Quá trình huấn luyện – phân lớp mẫu.

- Giai đoạn 3: Quá trình nhận dạng ảnh.

Số hóa

Tiền xử lý

Bài toán có thể được mô tả và giải quyết mô hình sau:

Thu nhận dữ liệu

ảnh

Số hóa

Tiền xử lý

TTrrícíchhcchhọọnn đđặặcctrtrưưnngg

Dữ liệu

huấn luyện

Dữ liệu

nhận dạng

Mô hình

sau khi huấn luyện

Kết quả

nhận dạng

Huấn luyện Phân lớp

Nhận dạng

Hình 2.1: Mô hình chung cho bài toán nhận dạng bọt khí.

2.1.1. Quá trình xử lý ảnh

Thu nhận dữ liệu ảnh (Image acquisition)

Dữ liệu ảnh bọt khí được thu thập từ các video clip được trích xuất từ các camera giám sát bể nuôi vi sinh của đơn vị quan trắc môi trường. Từ đó có thể tách thành 2 tập clip khác nhau (một tập cho dạng có bọt khí và một tập cho dạng không có bọt khí) để phục vụ thuận tiện hơn cho quá trình xử lý, phân tích ảnh phục vụ cho huấn luyện mẫu. Quá trình đưa vào nhận dạng thì có thể đưa vào ảnh hoặc video clip hoặc trích xuất ảnh trực tiếp từ camera giám sát.

Số hóa ảnh (Digitalizer)

Ảnh được thu nhận qua camera thường là là tín hiệu số hoá loại CCD (Charge Coupled Device), nhưng cũng có thể là tín hiệu tương tự loại camera ống kiểu CCIR thì cần đổi sang tín hiệu rời rạc và số hoá bằng lượng hóa trước khi chuyển sang giai đoạn xử lý, phân tích hay lưu trữ lại.

Hình ảnh bọt khí ở các đơn vị quan trắc môi trường hầu hết được thu qua camera IP, thường sử dụng cảm biến CMOS hoặc CCD thu nhận hình ảnh, số hoá, xử lý và mã hoá, sau đó truyền tải tín hiệu số qua cáp mạng Ethenet về máy tính hoặc một thiết bị lưu trữ mạng NVR (Network Video Recorder).

Tiền xứ lý (Image processing)

Do những nguyên nhân khác nhau, có thể do thiết bị thu nhận ảnh, do nguồn ánh sáng, do nhiễu sóng trên mặt hồ hoặc do nhiễu ở một nguyên nhân nào khác, vv… ảnh thu được có thể có độ tương phản thấp, có thể bị suy biến, vv... Do vậy ở giai đoạn này cần tiền xử lý để nâng cao chất lượng ảnh. Một số thao tác cần thực hiện như:

- Lọc nhiễu làm mịn ảnh.

- Chuyển đổi không gian màu sang mức xám.

Ở luận văn này, việc hướng tới trích chọn đặc trưng ảnh là sử dụng độ đo Entropy để xác định độ bất định có bọt khí hay không bọt khí cho ảnh và sử dụng Canny để tìm biên cho ảnh nên chỉ sử dụng biến đổi ảnh về mức xám là đủ thực hiện cho trích chọn đặc trưng.

Tiếp theo là tiêu chuẩn hoá nhằm giảm bớt các thông số chịu ảnh hưởng nhiễu của biến đổi (ở đây là việc thu nhỏ dữ liệu về một dạng chung mà ở dạng đó việc trích chọn các đặc trưng có thể được thực hiện đúng) được giới thiệu ở phần trích chọn đặc trưng dưới đây.

Phân tích và trích chọn đặc trưng ảnh (Image analysis and Feature extraction)

Trong phân tích và trích chọn đặc trưng ảnh, mục đích là tìm các vùng đặc trưng điểm ảnh phục vụ tốt cho phân lớp đúng. Trích chọn đặc trưng là việc biểu diễn các mẫu bằng các đặc trưng của đối tượng ảnh, giúp cho việc phân biệt được các lớp mẫu khác nhau, nó cũng biến đổi được các thuộc tính cố hữu của đối tượng ảnh hay do các thiết bị thu nhận ảnh tạo ra. Một số phương pháp có thể thực hiện như là: phương pháp PCA [20], phương pháp Morphology, phương pháp sử dụng đô đo Entropy, phương pháp Canny, vv...

Để thực hiện quá trình huấn luyện phân lớp mẫu tốt, bước trích chọn đặc trưng ảnh có vai trò rất quan trọng. Đặc trưng ảnh ở đây chính là đặc trưng nội dung ảnh, là phân tích nội dung thực sự của các frame ảnh. Nội dung ảnh được

thể hiện bằng màu sắc, hình dạng, kết cấu (texture), các đặc trưng cục bộ (local features) hay bất cứ thông tin nào có từ chính nội dung ảnh. Để giải quyết bài toán nhận dạng ảnh bọt khí, qua nghiên cứu các kiến thức cơ bản về xử lý ảnh, các kỹ thuật phân tích ảnh, luận văn này sẽ sử dụng phương pháp trích chọn đặc trưng theo 2 hướng sẽ được trình bày ở phần trích chọn đặc trưng phía sau.

Lưu nhận dữ liệu phục vụ huấn luyện (Image write):

Là việc lưu lại dữ liệu đã xử lý và phân tích trích chọn đặc trưng ở các bước trên để phục vụ cho công việc huấn luyện phân lớp mẫu (gọi là dữ liệu huấn luyện).

2.1.2. Quá trình huấn luyện phân lớp mẫu

Từ dữ liệu đã lưu lại ở quá trình xử lý trên, dữ liệu cần gán nhãn và huấn luyện phân lớp mẫu.

Huấn luyện phân lớp mẫu (Training):

Thực hiện công việc phân lớp mẫu ảnh (Classification) và huấn luyện (Training). Đây là bước quyết định cho bài toán nhận dạng bọt khí này, quá trình xử lý nhằm mục đích cho việc phân tách các mẫu ảnh thành công. Phân lớp cũng là quá trình chuyển đổi các số liệu đầu vào định lượng và các số liệu đầu ra định tính. Đầu ra của phân lớp là một vector giá trị thực biểu diễn các giá trị có thể thừa nhận mẫu đó được hình thành từ các lớp tương ứng. Ở bài toán nhận dạng ảnh bọt khí này cần phân lớp ảnh thành 2 lớp (lớp 1 là ảnh có bọt khí và lớp 2 là ảnh không có bọt khí). Một số thuật toán học máy có thể thực hiện như mạng neuron nhân tạo (ANN) hay máy vector hổ trợ (SVM), vv... Như vậy việc lựa chọn phương pháp phân lớp sao cho phù hợp với bài toán và dữ liệu có được là hết sức quan trọng. Vấn đề này sẽ được trình bày tiếp ở phần phân lớp mẫu ảnh phía sau.

Lưu mô hình sau khi huấn luyện (Train Model):

Sau khi huấn luyện, cần lưu lại mô hình huấn luyện (Model) để phục vụ cho việc nhận dạng ảnh sau này.

2.1.3. Quá trình nhận dạng

Sau khi huấn luyện và lưu mô hình huấn luyện (Model), công việc tiếp theo là sử dụng mô hình này cho việc so sánh với các frame mẫu trực tiếp từ các camera giám sát hay từ video clip trích từ các camera giám sát bể nuôi vi sinh để dự đoán phát hiện ra trường hợp frame ảnh có bọt khí và trường hợp frame ảnh không có bọt khí để xác định được bể nuôi vi sinh có được sục khí hay không. Có thể thực hiện bởi các giai đoạn:

Dữ liệu nhận dạng:

Là dữ liệu từ camera hay các video clip trích từ camera hoặc tập các ảnh cần đưa vào test thử. Dữ liệu nhận dạng này có thể qua các công đoạn số hoá, tiền xử lý và trích chọn đặc trưng ảnh và đưa vào so sánh mô hình đã huấn luyện phân lớp để dự đoán, nhận dạng.

Nhận dạng:

Thực hiện bằng cách load dữ liệu từ các camera từ các bể nuôi vi sinh hoặc load dữ liệu từ các video clip trích xuất từ các camera hoặc là các ảnh bất kỳ đưa vào so sánh với mô hình đã huấn luyện. Từ đó sẽ xác định được mẫu đó nằm ở bên lớp nào (lớp ảnh có bọt khí hay lớp ảnh không có bọt khí) và đưa ra thông tin nhận dạng.

Kết quả nhận dạng:

Là kết quả của quá trình đã thực hiện dự đoán, nhận dạng được frame ảnh có bọt khí và frame ảnh không có bọt khí từ camera giám sát để xác định được trường hợp bể có sục khí và trường hợp bể không được sục khí. Cuối cùng có thể xuất thông tin nhận dạng ra file văn bản.

2.2. VẤN ĐỀ TRÍCH CHỌN ĐẶC TRƯNG CHO ẢNH BỌT KHÍ

Trích chọn đặc trưng ảnh cho ảnh là tìm các vùng đặc trưng điểm ảnh phục vụ tốt cho phân lớp đúng. Trích chọn đặc trưng là việc biểu diễn các mẫu bằng các đặc trưng của đối tượng ảnh, giúp cho việc phân biệt được các lớp mẫu khác nhau. Ở bài toán nhận dạng ảnh bọt khí /không bọt khí này, do tính chất của ảnh và dữ liệu lấy từ camera giám sát cùng với dữ liệu thu thập có được và đã nghiên cứu, thử nghiệm trích chọn với 1 số phương pháp và quyết định nghiên cứu trích chọn đặc trưng theo hai hướng như sau:

2.2.1. Sử dụng Entropy kết hợp Fuzzylogic và Wavelet

Với hướng này, trích chọn đặc trưng bằng việc xác định độ đo Entropy cho các điểm ảnh (pixel) để xác định độ bất định cho các điểm ảnh có khả năng là bọt khí hay không. Đồng thời sử dụng Fuzzy Logic để khử những pixel ảnh không rõ ràng là bọt khí hay không. Sau đó sử dụng phép biến đổi Wavelet Haar để thu gọn kích thước dữ liệu ảnh về một dạng nhỏ mà tại đây vẫn giữ lại đủ các thông tin quan trọng cho các điểm ảnh.

- Thứ nhất: Xác định độ đo Entropy cho các điểm ảnh (pixel) để xác định độ bất định cho các điểm ảnh có khả năng là bọt khí hay không. Trong nghiên cứu này tôi quyết định xác định độ đo Entropy cho các điểm ảnh (pixel) để xác định độ bất định cho các điểm ảnh có khả năng là bọt khí hay không cho từng tập ảnh. Ở đây tôi chọn mỗi tập là 100 ảnh như hình (2.2) dưới đây vì lý do: cứ 1 giây camera đọc được khoảng 8 frame ảnh mà các con vi sinh sẽ chết vào khoảng 15 đến 16 giây nếu bể nuôi thiếu oxi (khi không được sục khí). Như vây chọn 100 ảnh là vào khoảng 12,5 giây vừa đủ để cần phát hiện bể không được sục khí.

100

1 pixel

Hình 2.2: Biểu diễn tính Entropy các pixel ảnh qua 1 tập ảnh.

- Thứ hai: Sử dụng Fuzzy Logic với việc sử dụng 1 hàm Activation để khử những pixel ảnh không rõ ràng là bọt khí hay không.

∝

-1

Hình 2.3: Minh hoạ hàm Activation.

- Thứ ba: Sử dụng phép biến đổi Wavelet Haar để thu gọn kích thước dữ liệu ảnh về một dạng nhỏ như minh hoạ hình (2.4) mà tại đây vẫn giữ lại đủ các thông tin quan trọng cho các điểm ảnh. Thu nhỏ dữ liệu một phần nhằm huấn luyện (training) nhanh hơn.

Hình 2.4: Hàm ψ (t) của biến đổi Haar

Sau khi trích chọn đặc trưng, ở đây sẽ lưu nhận được bộ dữ liệu đã được xử lý, phân tính trích chọn đặc trưng bằng việc bằng việc xác định giá trị Entropy cho điểm ảnh để xác định độ tin cậy điểm ảnh có bọt khí hay không kết hợp Fuzzy Logic với việc sử dụng 1 hàm Activation để khử những pixel ảnh không rõ ràng là bọt khí hay không (trường hợp Entropy gần bằng 0) và đã biến đổi thu nhỏ dữ liệu bằng phép biến đổi Wavelet Haar nhằm phục vụ huấn luyện để đưa ra mô hình phân lớp tốt nhất có thể phục vụ cho việc nhận dạng bọt khí.

2.2.2. Sử dụng phương pháp tìm biên ảnh

Với hướng này, trích chọn đặc trưng bằng việc sử dụng kỹ thuật tìm biên ảnh Gradient (sử dụng một số toán tử như: Roberts, Prewitt, Sobel, Canny) dựa vào tính giá trị cực đại và cực tiểu của đạo hàm bậc nhất của ảnh. Từ đó so sánh, đánh giá các kết quả và chọn ra phương pháp tìm biên phù hợp nhất mang lại những ảnh có chất lượng biên tốt nhất để huấn luyện phân lớp.

Sau khi trích chọn đặc trưng, ở đây sẽ lưu nhận được bộ dữ liệu đã được xử lý, phân tính trích chọn đặc trưng bằng việc bằng việc tìm biên ảnh mà được đánh giá là tốt hơn các phương pháp khác sau khi thực nghiệm để có được những đặc trưng ảnh tốt nhất phục vụ cho việc huấn luyện để đưa ra mô hình phân lớp tốt nhất có thể phục vụ cho việc nhận dạng bọt khí.