Nghiên cứu phương pháp trích chọn đặc trưng ảnh dựa trên đối sánh hình dạng và ứng dụng

Biển báo giao thông : Traffic sign Road sign Biến đổi Fourier nhanh : Fast Fourier Transform FFT Biến đổi Fourier rời rạc : Discrete Fourier Transform DFT Độ phân giải : Resolution Đường

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

LỜI CẢM ƠN

Tôi xin chân thành cảm ơn PGS.TS Ngô Quốc Tạo, Viện Công nghệ Thông tin thuộc Viện Khoa học và Công nghệ Việt Nam là cán bộ trực tiếp hướng dẫn khoa học cho tôi trong quá trình thực hiện luận văn này

Tôi xin chân thành cảm ơn các Thầy, Cô giáo, cán bộ trong trường Đại học Công nghệ Thông tin và Truyền thông cùng các anh chị đồng nghiệp trong cơ quan đã tạo những điều kiện thuận lợi cho tôi học tập và nghiên cứu tại trường Đại học Công nghệ Thông tin và Truyền thông

Xin chân thành cảm ơn các anh, các chị và các bạn học viên lớp Cao học CK11A trường Đại học Công nghệ Thông tin và Truyền thông đã luôn động viên, giúp đỡ và nhiệt tình chia sẻ với tôi những kinh nghiệm học tập, công tác trong suốt khoá học Cuối cùng, tôi muốn gửi lời cảm ơn tới gia đình, bạn bè, những người thân luôn bên cạnh và động viên tôi trong suốt quá trình thực hiện luận văn tốt nghiệp

Mặc dù rất cố gắng, song luận văn này không thể tránh khỏi những thiếu sót, kính mong được sự chỉ dẫn của các quý thầy cô và các bạn

Thái Nguyên, tháng 5 năm 2014

Tác giả

Vũ Vân Du

LỜI CAM ĐOAN

Tôi xin cam đoan rằng số liệu và kết quả nghiên cứu trong luận văn này là trung thực và không trùng lặp với các đề tài khác Tôi cũng xin cam đoan là

cho việc thực hiện luận văn này đã được cảm ơn và các thông tin trích dẫn trong luận văn đã được chỉ rõ nguồn gốc

Thái Nguyên, tháng 5 năm 2014

Tác giả

Vũ Vân Du

MỤC LỤC LỜI CẢM ƠN I LỜI CAM ĐOAN III MỤC LỤC IV DANH MỤC CÁC HÌNH VẼ VI DANH MỤC CÁC BẢNG BIỂU VII DANH MỤC CÁC THUẬT NGỮ VIII

PHẦN MỞ ĐẨU 1

CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH 3

1.1 Tổng quan về thị giác máy tính 3

1.1.1 Thị giác con người và thị giác máy tính 3

1.1.2 Mối liên quan giữa thị giác máy tính và xử lý ảnh 4

1.1.3 Tầm quan trọng của thị giác máy tính 4

1.1.4 Ứng dụng của thị giác máy tính 5

1.2 Tổng quan về xử lý ảnh 8

1.2.1 Xử lý ảnh là gì? 8

1.2.2 Các vấn đề cơ bản trong xử lý ảnh 9

1.2.3 Một số khái niệm trong xử lý ảnh 12

1.2.4 Phương pháp biểu diễn ảnh 13

1.2.5 Biên và đường biên 14

1.2.6 Phân vùng ảnh 15

CHƯƠNG 2: MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG HÌNH DẠNG 16

2.1 Các kỹ thuật phát hiện biên ảnh 18

2.2 Kỹ thuật phát hiện biên trực tiếp 19

2.2.1 Kỹ thuật phát hiện biên Gradient 19

2.2.2 Kỹ thuật phát hiện biên Laplace 23

2.2.3 Thuật toán làm mảnh biên 24

2.2.4 Một số phương pháp phát hiện biên trực tiếp khác 26

2.3 Phương pháp phát hiện biên gián tiếp 29

2.3.1 Kỹ thuật dò biên gián tiếp đơn giản 29

2.3.2 Kỹ thuật dò biên gián tiếp bằng cách xác định chu tuyến 30

2.4 Xử lý ảnh trong miền tần số và biến đổi Fourier 31

2.4.1 Biến đổi Fourier rời rạc (DFT) 34

2.4.2 Biến đổi Fourier nhanh (FFT) 34

2.5 Mô tả Fourier 35

2.6 Các bất biến moment 37

2.7 Các hàm xoay/góc xoay 37

2.8 Độ tròn, độ lệch tâm và hướng trục chính 38

CHƯƠNG 3: ỨNG DỤNG TRÊN BÀI TOÁN TRA CỨU BIỂN BÁO GIAO THÔNG 40

3.1 Bài toán tra cứu biển báo giao thông 40

3.2 Phân tích bài toán 41

3.3 Xây dựng chương trình đối sánh biển báo giao thông 45

3.3.1 Sơ đồ khối 45

3.3.2 Đọc ảnh 46

3.3.3 Dò biên đối tượng ảnh 46

3.3.4 Resample 46

3.3.5 Biến đổi Fourier nhanh 47

3.3.6 Tạo véc tơ đặc trưng hình dạng cho ảnh 47

3.3.7 So sánh ảnh bằng cách tính khoảng cách Euclide 48

3.5 Đánh giá chương trình 50

3.5.1 Kết quả đạt được 50

3.5.2 Hạn chế 50

3.5.3 Khả năng mở rộng 50

KẾT LUẬN 51

TÀI LIỆU THAM KHẢO 53

PHỤ LỤC 54

DANH MỤC CÁC HÌNH VẼ

Hình 1.1: Mô phỏng hệ thống thị giác của con người 3

Hình 1.2: Mô phỏng hệ thống thị giác máy tính 3

Hình 1.3: Giao diện chương trình BKDoctor 6

Hình 1.4: Vị trí lắp đặt và màn hình hiển thị của hệ thống giám sát giao thông 7

Hình 1.5: Quá trình xử lý ảnh 8

Hình 1.6: Các bước cơ bản trong xử lý ảnh 8

Hình 1.7: Biểu diễn PPI và DPI 12

Hình 1.8: Ví dụ về các loại ảnh 13

Hình 1.9: Hướng các điểm biên và mã tương ứng 14

Hình 2.1: Biểu diễn hình dạng theo đường biên và theo vùng 16

Hình 2.2: Biểu diễn đường biên ảnh 17

Hình 2.3: Minh họa biên ảnh 18

Hình 2.4: Minh họa biên ảnh với độ sáng biến thiên không đột ngột 18

Hình 2.5: Ảnh minh họa làm mảnh biên 25

Hình 2.6: Hình biên ảnh sau khi dùng phương pháp Gradient 25

Hình 2.7: Hình sau khi làm mảnh biên 25

Hình 2.8: Minh họa nguyên lý Bellman 27

Hình 2.9: Hình mô tả tìm biên theo phương pháp quy hoạch động 29

Hình 2.10: Miền thời gian và miền tần số 32

Hình 2.11: biểu diễn số phức thông qua cường độ và góc pha 33

Hình 2.12: Ảnh thực (a) và ảnh thu được sau biến đổi Fourier (b) 33

Hình 3.1: Một số biển báo có hình dạng cá biệt 44

Hình 3.2: Sơ đồ khối phần tra cứu ảnh theo hình dạng 45

Hình 3.3: Một số kết quả chạy thử chương trình 49

DANH MỤC CÁC BẢNG BIỂU

Bảng 1.1: Một số phần mềm tự động chấm bài thi trắc nghiệm 6

Bảng 2.1: So sánh đặc trưng và phương pháp khử nhiễu của hai loại nhiễu 10

Bảng 3.1: Một số loại biển báo giao thông ở Việt Nam 42

Bảng 3.2: Hình dạng đặc trưng của một số loại biển báo 43

Biển báo giao thông : Traffic sign (Road sign)

Biến đổi Fourier nhanh : Fast Fourier Transform (FFT)

Biến đổi Fourier rời rạc : Discrete Fourier Transform (DFT)

Độ phân giải : Resolution

Đường biên (đường bao) : Boundary

Hệ thống lai : Hybrid System

Khung hình : Frame

Làm mảnh biên : Non Maximal Suppression

Lọc vùng : Zonal Filtering

Mã loạt dài : Run-length Code

Mặt nạ đặc điểm : Feature mask

Máy ảnh : Camera

Máy ảnh điện tử : Electronic Camera

Máy quét : Scanner

Nhận dạng : Recognition

Nhận dạng tự động : Automatic recognition

Phần cứng : Hardware

Phần mềm : Software

Số điểm ảnh trên 1 inh : Pixels per inch (PPI)

Số điểm trên 1 inh : Dots per inch (DPI)

Thị giác con người : Human Vision

Thị giác máy tính : Computer Vision

Tín hiệu : Signal

Toán tử chéo không : Zero crossing

Xử lý ảnh : Image processing

PHẦN MỞ ĐẨU

Công nghệ Thông tin ngày càng phát triển và có vai trò hết sức quan trọng không thể thiếu trong cuộc sống hiện đại Con người ngày càng tạo ra những cỗ máy thông minh có khả năng tự nhận biết và xử lý được các công việc một cách tự động, phục vụ cho lợi ích của con người

Trong những năm gần đây, một trong những bài toán nhận được nhiều sự quan tâm của lĩnh vực công nghệ thông tin, đó chính là thị giác máy tính Nó đã được các nhà nghiên cứu quan tâm vì tính ứng dụng cao của bài toán cũng như sự phức tạp của

nó

Bài toán nhận dạng là một phần quan trọng của thị giác máy tính Nó được sử dụng trong rất nhiều lĩnh vực như: nhận dạng con người, đồ vật, chữ viết, cử chỉ… trong các lĩnh vực đó thì đều có những nhu cầu từ thực tiễn và tính ứng dụng lớn Trong nhận dạng ảnh, thường dùng các phương pháp trích chọn đặc trưng để đối sánh Một số phương pháp thường dùng như: trích chọn đặc trưng theo màu sắc, theo kết cấu

và theo hình dạng của ảnh

Hiện tại, thị giác máy tính ứng dụng trong khá nhiều lĩnh vực như: y khoa, quân

sự, các lĩnh vực quản lý v.v… Trong lĩnh vực thông tin giao thông với 200 loại biển báo thì việc nghi nhớ nội dung biển báo là một trở ngại lớn đối với người tham gia giao thông Vì vậy việc xây dựng một chương trình có thể nhận dạng và đưa ra các thông tin cũng như cảnh báo đến người dùng là cần thiết

Trong khuân khổ luận văn thạc sỹ tôi chọn để tài: “Nghiên cứu phương pháp

trích chọn đặc trưng ảnh dựa trên đối sánh hình dạng và ứng dụng” nhằm tìm

hiểu kỹ về các kỹ thuật trích chọn đặc trưng hình dạng của ảnh, hiểu rõ hơn bản chất của bài toán tìm kiếm ảnh theo hình dạng từ đó áp dụng vào bài toán tra cứu biển báo giao thông

Luận văn gồm 3 chương với các nội dung sau:

Chương 1: Trình bày tổng quan về thị giác máy tính, xử lý ảnh, tầm quan trọng và tình ứng dụng của thị giác máy tính trong cuộc sống

Chương 2: Tìm hiểu về các phương pháp trích chọn đặc trưng hình dạng phục vụ cho quá trình đối sánh theo hình dạng ảnh

Chương 3: Thử nghiệm cài đặt chương trình tra cứu ảnh trên cơ sở việc nghiên cứu các kỹ thuật trích chọn đặc trưng theo hình dạng

CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1 Tổng quan về thị giác máy tính

1.1.1 Thị giác con người và thị giác máy tính

Thị giác con người là một hệ thống phức tạp có thể thu nhận thông tin từ môi trường qua ánh sáng, xử lý và đưa ra kết quả là những suy nghĩ, hành động… Xét theo một số tiêu chí thì thị giác máy tính và và thị giác con người có cùng chức năng gần giống nhau Mục đích của cả hai hệ thống là để xử lý dữ liệu với đầu vào là ảnh

và cho ra kết quả

Hệ thống thị giác máy tính xử lý hình ảnh có được từ một máy ảnh điện tử, việc này cũng giống như hệ thống thị giác của con người nơi mà não xử lý hình ảnh từ đôi mắt

Hình 1.1: Mô phỏng hệ thống thị giác của con người (nguồn: bionicvision.org.au)

Mặc dù thị giác máy tính và thị giác con người có chức năng tương tự, nhưng khó có thể chế tạo một hệ thống thị giác máy tính có thể tái tạo chính xác chức năng của thị giác người Điều này phần lớn là do máy tính chưa mô phỏng được tâm lý học thị giác

Thu nhận ảnh Xử lý ảnh

Kết quả

Hình 1.2: Mô phỏng hệ thống thị giác máy tính

Thị giác máy tính là một chủ đề phong phú và bổ ích cho học tập và nghiên cứu của các kỹ sư điện tử, khoa học máy tính và nhiều nhóm ngành khác Trong thương mại, thị giác máy tính ngày càng có một tương lai rộng mở Và xử lý ảnh là một trong những phần quan trọng trong thị giác máy tính

1.1.2 Mối liên quan giữa thị giác máy tính và xử lý ảnh

Thị giác máy tính là một khái niệm mở bao trùm nhiều khái niệm khác nhau từ phần cứng (máy ảnh, máy tính, bộ phận hiển thị, chấp hành…) đến các phần mềm (xử

lý, tổng hợp, điều khiển…) và xử lý ảnh là một trong những khâu quan trọng nhất của thị giác máy tính

1.1.3 Tầm quan trọng của thị giác máy tính

Là một trong năm giác quan của con người, thị giác là nơi tiếp nhận phần lớn lượng thông tin tác động đến con người hàng ngày Có thể nói, thị giác là giác quan quan trọng nhất là có cơ sở khi có tới gần 25% nơ-ron thần kinh dùng để tiếp nhận và

Nếu như trước đây chưa có ứng dụng của thị giác máy tính, số liệu từ giấy được nhập chính xác bằng tay qua bàn phím thì giờ đây với công nghệ hiện đại, từ ảnh chụp văn bản, máy tính có thể tự động nhập số liệu từ văn bản đó một cách nhanh chóng Hay trong một dây chuyền sản xuất công nghiệp Để kiểm tra sắp xếp một sản phẩm sau khi chế tạo, trước đây sử dụng công nhân hoặc rất nhiều các cảm biến với một hệ thống thu nhận phức tạp thì giờ đây chỉ cần một máy ảnh cùng với hệ thống thị giác máy tính có thể thực hiện công việc này một cách nhanh chóng và chính xác

1.1.4 Ứng dụng của thị giác máy tính

Hiện nay có rất nhiều hệ thống thị giác máy tính được sử dụng thường xuyên trong công nghiệp cũng như trong quân sự, y tế hay dân dụng…

Thời điểm hiện tại cũng có khá nhiều các công ty, tổ chức trong nước ứng dụng những thành quả của xử lý ảnh để áp dụng cho ra những sản phẩm phục vụ cho nhu cầu, đáp ứng được nhu cầu hiện tại Ví dụ, với công việc chấm bài thi trắc nghiệm có một số các giải pháp hệ thống tự động sau:

Bảng 1.1: Một số phần mềm tự động chấm bài thi trắc nghiệm

1 MarkRead 1.0 Phòng Nhận dạng & Công nghệ Tri thức - Viện CNTT

2 TestPro Công ty TMSoft

BKDoctor: Chương trình tái tạo ảnh 3D từ các lớp cắt song song

IBK: Chương trình xử lý ảnh y khoa trên nền MATLAB

sgDICOM-J: Chương trình xử lý ảnh y khoa 3-D trên nền JAVA

Hình 1.3: Giao diện chương trình BKDoctor của Bộ môn Vật lý Kỹ thuật Y sinh,

Trường Đại Học Bách Khoa – ĐHQG TP.HCM

Trong ngành giao thông vận tải, xử lý ảnh đã và đang được phát triển mạnh mẽ, phục vụ được nhiều nhu cầu liên quan đến độ an toàn của con người và phương tiện tham gia giao thông

Gần đây theo báo khoahocphothong.com.vn đưa tin Các nhà khoa học thuộc Khoa Điện - Điện tử, Trường Đại học Giao thông Vận tải đã nghiên cứu thiết kế và chế tạo thành công hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh Hệ thống bao gồm máy ảnh giám sát, máy ảnh chụp hình, mạng truyền thông, máy chủ lưu trữ, phần mềm xử lý ảnh và cơ sở dữ liệu có thể tự động phát hiện và ghi nhận các tình huống vi phạm luật Giao thông nhằm tăng cường giám sát, phát hiện và xử lý kịp thời các vi phạm, hạn chế tai nạn và nâng cao ý thức chấp hành của người tham gia giao thông

Hệ thống này hiện đang được thử tại Km192+422 đường cao tốc Pháp Vân - Cầu Giẽ Trong điều kiện ánh sáng ban ngày và lưu lượng giao thông bình thường, hệ thống cho kết quả khá tốt Về chức năng phát hiện xe chuyển làn trái phép, kết quả tính toán bằng máy được so sánh với kết quả quan sát bằng mắt thường cho thấy, độ chính xác của phần mềm là 97% Kết quả phát hiện xe chạy quá tốc độ được so sánh với súng bắn tốc độ theo nguyên lý Rada, sai số của phần mềm so với súng là 5%.”

Hình 1.4: Vị trí lắp đặt và màn hình hiển thị của hệ thống giám sát giao thông

Đây có thể nói là một giải pháp tốt, giúp cho các đơn vị quản lý giảm bớt được thời gian và công sức trong việc giám sát và xử lý vi phạm

Sơ đồ tổng quát của một hệ thống xử lý ảnh [1]:

Hình 1.6: Các bước cơ bản trong xử lý ảnh

Hậu

xử lý

Hệ quyết định



1.2.2 Các vấn đề cơ bản trong xử lý ảnh

1.2.2.1 Thu nhận ảnh

Đây là bước đầu tiên trong quá trình xử lý ảnh Để thực hiện bước này cần có các thiết bị nhu nhận ảnh như máy ảnh, máy quét Các thiết bị thu nhận này có thể cho ảnh đen trắng hoặc ảnh màu

Các thiết bị thu nhận ảnh có 2 loại chính ứng với 2 loại ảnh thông dụng là Raster

và Vector Các thiết bị thu nhận ảnh Raster thông thường là máy ảnh, còn các thiết bị thu nhận ảnh Vector là cảm biến, bộ số hóa hoặc được chuyển đổi từ ảnh Raster

Thông thường các hệ thống thu nhận ảnh thực hiện 2 khối:

Khối cảm biến: biến đổi năng lượng quang học thành năng lượng điện

Khối xử lý: Tổng hợp năng lượng điện thành ảnh

1.2.2.2 Tiền xử lý

Ở bước này, ảnh sẽ được cải thiện về độ tương phản, khử nhiễu, khôi phục ảnh, nắn chỉnh hình học… Với mục đích làm cho chất lượng ảnh trở nên tốt hơn, chuẩn bị cho các bước xử lý sau đó

Khử nhiễu: Nhiễu được chia thành hai loại:

Bảng 1.1: So sánh đặc trưng và phương pháp khử nhiễu của hai loại nhiễu

Đặc trưng Có quy luật Không có quy luật

Phương pháp khử nhiễu Phép biến đổi Phương pháp nội suy, lọc

trung vị, lọc trung bình

Chỉnh mức xám: Là kỹ thuật nhằm chỉnh sửa tính không đồng đều của thiết bị

thu nhận hoặc độ tương phản giữa các vùng ảnh

Chỉnh tán xạ: Ảnh thu nhận từ các thiết bị quang học hay điện tử có thể bị mờ,

nhòe Phương pháp biến đổi Fourier dựa trên tích chập của ảnh với hàm tán xạ cho phép giải quyết việc hiệu chỉnh này

Nắn chỉnh hình học: Những biến dạng hình học thường do các thiết bị điện tử

và quang học gây ra Do đó phương pháp hiệu chỉnh hình ảnh dựa trên mô hình được

mô tả dưới dạng phương trình biến đổi ảnh biến dạng f(x,y) thành ảnh lý tưởng f(x’,y’) như sau:

(1.1) Trong đó, là các phương trình tuyến tính (biến dạng do phối cảnh) hay phương trình bậc hai (biến dạng do ống kính camera)

1.2.2.3 Trích chọn đặc điểm

Lượng thông tin chứa trong ảnh là rất lớn, trong khi đó đa số ứng dụng chỉ cần một số thông tin đặc trưng Bước trích chọn đặc điểm sẽ trích xuất lượng thộng tin hữu ích từ khối thông tin khổng lồ đó Việc trích chọn hiệu quả đặc điểm giúp cho việc nhận dạng các đối tượng ảnh chính xác, tốc độ tính toán cao và dung lượng nhớ lưu trữ giảm xuống

Các đặc điểm của đối tượng được trích chọn tùy theo mục đích nhận dạng theo một số đặc điểm của ảnh sau đây:

vùng Các bộ vùng được gọi là mặt nạ đặc điểm thường là các khe hẹp với hình dạng khác nhau (chữ nhật, tam giác, cung tròn…)

hữu ích trong việc trích chọn các đặc tính bất biến nên thường được dùng khi nhận dạng đối tượng Các đặc điểm này có thể được trích chọn nhờ toán tử Gradien, toán

tử Laplace, toán tử Cross Zero

1.2.2.4 Đối sánh, nhận dạng

Nhận dạng tự động, mô tả đối tượng, phân loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, được ứng dụng trong nhiều ngành khoa học khác nhau Ví dụ mẫu có thể là ảnh của vân tay, ảnh của một vật nào đó được chụp, một chữ viết, khuôn mặt người hoặc một ký đồ tín hiệu tiếng nói… Khi biết một mẫu nào đó,

để nhận dạng hoặc phân loại mẫu đó

Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai đoạn chủ yếu sau đây:

Thu nhận dữ liệu và tiền xử lý

Biểu diễn dữ liệu

Nhận dạng, ra quyết định

Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng:

Đối sánh mẫu dựa trên các đặc trưng được trích chọn

Phân loại thống kê

Đối sánh cấu trúc

Phân loại dựa trên mạng nơ-ron nhân tạo

Trong các ứng dụng không thể chỉ dùng có một cách tiếp cận đơn lẻ để phân loại tối ưu nên cần sử dụng cùng một lúc nhiều phương pháp và cách tiếp cận khác nhau

Do vậy, các phương thức phân loại tổ hợp hay được sử dụng khi nhận dạng và nay đã

có những kết quả có triển vọng dựa trên thiết kế các hệ thống lai bao gồm nhiều mô hình kết hợp

1.2.3 Một số khái niệm trong xử lý ảnh

1.2.3.1 Ảnh tương tự, điểm ảnh và ảnh số

Ảnh tương tự là một bức ảnh được lưu trữ trên phim, giấy, gỗ… Ảnh tương tự là ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính, ảnh tương tự cần phải được số hoá

Số hoá ảnh là sự biến đổi gần đúng một ảnh tương tự thành một tập điểm phù hợp với ảnh thật về vị trí (không gian) và độ sáng (mức xám) Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt được ranh giới giữa chúng Mỗi một điểm như vậy gọi là điểm ảnh và tập hợp các điểm ảnh theo một tiêu chuẩn được gọi là một ảnh số

1.2.3.2 Độ phân giải, mật độ điểm ảnh

Độ phân giải là số lượng điểm ảnh của một ảnh số Độ phân giải của ảnh được

đo bằng đơn vị pixel Hiện nay số lượng điểm ảnh đã lên tới hàng triệu và thường được biểu diễn bằng đơn vị Megapixel (Mpx)

Mật độ điểm ảnh: Là số lượng

điểm ảnh trên một đơn vị diện tích Mật

độ điểm ảnh cho biết có thể in ra đẹp hay

hiển thị lên màn hình tốt hay không

Thường dùng đơn vị PPI hoặc DPI PPI

dùng trong việc hiển thị lên màn hình, còn

1.2.3.3 Ảnh màu, ảnh xám và ảnh nhị phân

Ảnh màu: Xét một ảnh màu trong hệ màu RGB, mỗi điểm ảnh của ảnh bao

gồm 3 giá trị màu: đỏ, xanh lục, xanh lam Mỗi màu có giá trị từ 0 đến 255, nghĩa là mỗi điểm ảnh cần 3 byte hay 24 bit để biểu diễn

Ảnh xám: mỗi điểm ảnh của ảnh xám mang giá trị trong khoảng từ 0 đến 255,

nghĩa là cần 8 bit hay 1 byte để biểu diễn mỗi điểm ảnh Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số tại điểm đó Giá trị mức xám thông thường: 16, 32, 64, 128, 256

Ảnh màu Ảnh xám Ảnh nhị phân

Hình 1.8: Ví dụ về các loại ảnh

Ảnh nhị phân: là ảnh chỉ có 2 mức đen trắng phân biệt Nói cách khác: mỗi

điểm ảnh của ảnh nhị phân chỉ có thể mang giá trị là 0 hoặc 1

1.2.4 Phương pháp biểu diễn ảnh

Sau khi thu nhận và số hóa, ảnh sẽ được lưu trữ hay chuyển sang giai đoạn phân tích Dưới đây là một số phương pháp biểu diễn ảnh trên bộ nhớ máy tính

1.2.4.1 Mã loạt dài

Mã loạt dài hay dùng để biểu diễn cho vùng ảnh hay ảnh nhị phân Một vùng ảnh R có thể biểu diễn đơn giản nhờ một ma trận nhị phân:

(1.2) Với các biểu diễn trên, một vùng ảnh hay ảnh nhị phân đựoc xem như chuỗi 0 hay 1 đan xen Các chuỗi này được gọi là mạch (run) Theo phương pháp này, mỗi mạch sẽ được biểu diễn bởi địa chỉ bắt đầu của mạch và chiều dài mạch theo dạng {<hàng,cột>, chiều dài}

1.2.4.2 Mã xích

Mã xích thường được dùng để biểu diễn biên của ảnh Thay vì lưu trữ toàn bộ ảnh thì lưu trữ dãy các điểm ảnh như A, B…M Theo phương pháp này, 8 hướng của vectơ nối 2 điểm biên liên tục được mã hóa Khi đó ảnh được biểu diễn qua điểm ảnh bắt đầu A cùng với chuỗi các từ mã Điều này được minh họa trong hình dưới đây:

Hình 1.9: Hướng các điểm biên và mã tương ứng

1.2.4.3 Mã tứ phân

Theo phương pháp mã tứ phân, một vùng ảnh coi như bao kín một hình chứ nhật Vùng này được chia làm 4 vùng con (Quadrant) Nếu một vùng con gồm toàn điểm đen (1) hay toàn điểm trắng (0) thì không cần chia tiếp Trong trường hợp ngược lại, vùng con gồm cả điểm đen và trắng gọi là vùng không đồng nhất, tiếp tục chia thành 4 vùng con tiếp và kiểm tra tính đồng nhất của các vùng con đó

Quá trình chia dừng lại khi mỗi vùng con chỉ chứa thuần nhất điểm đen hoặc điểm trắng Quá trình đó tạo thành một cây chia theo bốn phần gọi là cây tứ phân Như vậy, cây biểu diễn ảnh gồm một chuỗi các ký hiệu b (black), w (white) và g (grey) kèm theo ký hiệu mã hóa 4 vùng con

1.2.5 Biên và đường biên

Điểm Biên: Một điểm ảnh được coi là điểm biên nếu có sự thay đổi nhanh hoặc

đột ngột về mức xám (hoặc màu) Ví dụ trong ảnh nhị phân, điểm đen gọi là điểm biên nếu lân cận nó có ít nhất một điểm trắng

Đường biên: tập hợp các điểm biên liên tiếp tạo thành một đường biên hay

đường bao

Ý nghĩa của đường biên: đường biên là một loại đặc trưng cục bộ tiêu biểu

trong phân tích, nhận dạng ảnh Biên được sử dụng làm phân cách các vùng xám (màu) cách biệt

1.2.6 Phân vùng ảnh

Phân vùng ảnh là bước then chốt trong xử lý ảnh Giai đoạn này nhằm phân tích ảnh thành những thành phần có cùng tính chất nào đó dựa theo biên hay các vùng liên thông Tiêu chuẩn để xác định các vùng liên thông có thể là cùng mức xám, cùng màu…

Vùng ảnh là một chi tiết, một thực thể trong toàn cảnh Nó là một tập hợp các điểm có cùng hoặc gần cùng một tính chất nào đó: mức xám, mức màu, độ nhám… Vùng ảnh là một trong hai thuộc tính của ảnh Nói đến vùng ảnh là nói đến tính chất bề mặt Đường bao quanh một vùng ảnh là biên ảnh Các điểm trong một vùng ảnh có độ biến thiên giá trị mức xám tương đối đồng đều hay tính kết cấu tương đồng

Dựa vào đặc tính vật lý của ảnh, có nhiều kỹ thuật phân vùng: phân vùng dựa theo miền liên thông gọi là phân vùng dựa theo miền đồng nhất hay miền kề, phân vùng dựa vào biên gọi là phân vùng biên Ngoài ra còn có các kỹ thuật phân vùng khác dựa vào biên độ, phân vùng dựa theo kết cấu

Các phương pháp trích chọn đặc điểm hình dạng thường được chia thành hai loại

là trích chọn dựa theo đường biên và trích chọn dựa theo vùng ảnh

Một phương pháp trích chọn đặc điểm hình dạng tốt phải đảm bảo yêu cầu là phải không phụ thuộc vào vị trí, góc quay hay sự co giãn của đối tượng ảnh

Trước khi áp dụng các phương pháp trích chọn đặc điểm hình dạng, các đối tượng ảnh cần phải được tách ra khỏi ảnh Giả sử là trong mỗi ảnh chỉ có một đối tượng ảnh duy nhất, nhiệm vụ của hệ thống trước hết là phải tách được đối tượng ảnh ra khỏi nền ảnh

Cách biểu diễn hình dạng của đối tượng ảnh có thể chia thành hai kiểu:

Theo đường bao quanh (biên)

Theo vùng

Cách biểu diễn theo đường viền bao quanh chỉ sử dụng đường biên bên ngoài của hình dạng, điều này có thể thực hiện được bằng cách mô tả vùng đó bằng cách đặc tính bên ngoài của nó tức là các điểm ảnh dọc theo đường viền bao quanh đối tượng Cách biểu diễn theo vùng sử dụng cả vùng ảnh bằng cách mô tả vùng đang quan tâm bằng các đặc tính bên trong tức là các điểm ảnh ở bên trong vùng đó

Hình 2.1: Biểu diễn hình dạng theo đường biên và theo vùng

Điểm Biên: Một điểm ảnh được coi là điểm biên nếu có sự thay đổi nhanh

hoặc đột ngột về mức xám (hoặc màu) Ví dụ trong ảnh nhị phân, điểm đen gọi là điểm biên nếu lân cận nó có ít nhất một điểm trắng

Đường biên: tập hợp các điểm biên liên tiếp tạo thành một đường biên hay

đường bao

Ý nghĩa của đường biên trong xử lý: ý nghĩa đầu tiên: đường biên là một loại

đặc trưng cục bộ tiêu biểu trong phân tích, nhận dạng ảnh Thứ hai, sử dụng biên làm phân cách các vùng xám (màu) cách biệt Ngược lại, cũng sử dụng các vùng ảnh

để tìm đường phân cách

Tầm quan trọng của biên: để thấy rõ tầm quan trọng của biên, xét ví dụ sau:

khi người họa sỹ muốn vẽ một danh nhân, họa sỹ chỉ cần vẽ vài đường nứt tốc họa

mà không cần vẽ một cách đầy đủ

Mô hình biểu diễn đường biên, theo toán học: điểm ảnh có sự biến đổi mức

xám u(x) một cách đột ngột theo hình dưới.[4]

a, Đường biên lý tưởng b, Đường biên bậc thang c, Đường biên thực

Hình 2.2: Biểu diễn đường biên ảnh

2.1 Các kỹ thuật phát hiện biên ảnh

Biên hay đường bao của đối tượng là tập hợp các điểm biên Có hai phương pháp phát hiện biên cơ bản thường dùng:

Phát hiện biên trực tiếp: Phương pháp này làm nổi biên dựa vào sự biến thiên

mức xám của ảnh

Phát hiện biên gián tiếp: Nếu bằng cách nào đó phân được ảnh thành các vùng

thì ranh giới giữa các vùng đó gọi là biên

Hình ban đầu Biên của ảnh

Hình 2.3: Minh họa biên ảnh (nhà hiệu bộ trường ĐH CNTT&TT – ĐHTN)

Phương pháp phát hiện biên trực tiếp khá hiệu quả và ít chịu ảnh hưởng của nhiễu, song nếu sự biến thiên độ sáng không đột ngột thì phương pháp này tỏ ra kém hiệu quả

Hình ban đầu Biên của ảnh

Hình 2.4: Minh họa biên ảnh với độ sáng biến thiên không đột ngột

Quan sát Hình 2.9 dễ nhận thấy rằng các vùng ảnh không có sự biến thiên đột ngột về độ sáng thì không được phát hiện bằng phương pháp trực tiếp Đối với các trường hợp này cần sử dụng phương pháp phát hiện biên gián tiếp

Phương pháp phát hiện biên gián tiếp tuy khó cài đặt, song lại áp dụng khá tốt trong trường hợp này Sự khác biệt cơ bản giữa hai phương pháp này là: Phương pháp phát hiện biên trực tiếp cho kết quả là ảnh biên, còn phương pháp phát hiện biên trực tiếp cho kết quả là đường biên

2.2 Kỹ thuật phát hiện biên trực tiếp

Kỹ thuật này chủ yếu dùng phát hiện biên ở đây là kỹ thuật lấy đạo hàm Nếu lấy đạo hàm bậc nhất có phương pháp Gradient, nếu lấy đạo hàm cấp 2 có phương pháp Laplace

2.2.1 Kỹ thuật phát hiện biên Gradient

Theo định nghĩa, Gradient là một véctơ có các thành phần biểu thị tốc độ thay đổi giá trị của điểm ảnh:

Trong đó, dx, dy là khoảng cách (tính bằng số điểm) theo hướng x và y Đây là

phương pháp dựa theo đạo hàm riêng bậc nhất theo hướng x, y

x f y f

y x f y x f x f

, 1

,

, ,

1

dy

y x f dy y x f fy y

y x f

dx

y x f y dx x f fx x

y x f

),(),

()

,(

),(),(

),(

Do đó, mặt nạ nhân chập theo hướng x là

Các bước tính toán của kỹ thuật Prewitt

+ Bước 1: Tính I Hx và I Hy

+ Bước 2: Tính I Hx + I Hy

Ví dụ:

-3 5 5 -3 -3 5

H3 = -3 0 5 H4 = -3 0 5

-3 -3 -3 -3 -3 5 -3 -3 -3 -3 -3 -3

H5 = -3 0 5 H6 = -3 0 -3

-3 5 5 5 5 5 -3 -3 -3 5 -3 -3

H7 = 5 0 -3 H8 = 5 0 -3

5 5 -3 5 -3 -3 Các bước tính toán thuật toán La bàn

2.2.2 Kỹ thuật phát hiện biên Laplace

Các phương pháp đánh giá Gradient ở trên làm việc khá tốt khi mà độ sáng thay đổi rõ nét Khi mức xám thay đổi chậm, miền chuyển tiếp trải rộng, phương pháp cho hiệu quả hơn đó là phương pháp sử dụng đạo hàm bậc hai Laplace

Toán tử Laplace được định nghĩa như sau:

Ta có:

) , ( ) , 1 (

2

2

y x f y x f x x

f x x

f

) , 1 ( ) , ( 2 ) , 1 (

) , 1 ( ) , ( )

, ( ) , 1 (

y x f y x f y x f

y x f y x f y x f y x f

2

2 2

2 2

y

f x

f f

Tương tự,

) , ( ) 1 , (

2

2

y x f y

x f y y

f y y

f

) 1 , ( ) , ( 2 ) 1 , (

) 1 , ( ) , ( )

, ( ) 1 , (

y x f y x f y

x f

y x f y x f y x f y

x f

Vậy: 2 f= f(x+1,y) + f(x,y+1) - 4f(x,y) + f(x-1,y) + f(x,y-1)

Dẫn tới:

0 1 0

1 4 1

0 1 0 H

Trong thực tế thường dùng nhiều kiểu mặt nạ khác nhau để xấp xỉ rời rạc đạo hàm bậc hai Laplace Dưới đây là ba kiểu mặt nạ thường dùng:

Đây là một thuật toán tương đối tốt, có khả năng đưa ra đường biên mảnh, và phát hiện chính xác điểm biên với điểm nhiễu

2.2.3 Thuật toán làm mảnh biên

Bước 1: Định lượng Edge Directions trong lân cận 8

3 2 1

4 /// 0

5 6 7

1 2 1

2 4

2

1 2 1

H 1 1 1

1 8

1

1 1 1 H

0 1 0

1 4

1

0 1 0

Bước 2: Với mỗi Pixel có e(x,y) 0, khảo sát 2 điểm lân cận theo hướng cạch

Bước 3: Nếu e(x’,y’) > e(x,y) thì đánh dấu (x’, y’ thuộc lân cận đang xét x, y)Bước 4: Duyệt toàn bộ ảnh, xóa bỏ các điểm có e(x,y) 0 và bị đánh dấu

Ví dụ minh họa:

Hình 2.5: Ảnh minh họa làm mảnh biên

Ảnh sau khi dùng phương pháp Gradient phát hiện biên:

Hình 2.6: Hình biên ảnh sau khi dùng phương pháp Gradient

Sau khi dùng thuật toán làm mảnh biên được kết quả như sau:

Hình 2.7: Hình sau khi làm mảnh biên

2.2.4 Một số phương pháp phát hiện biên trực tiếp khác

Gọi G là kết quả lọc nhiễu: G= I H

Bước 2: Tính Gradient của ảnh bằng mặt nạ PreWitt, kết quả đặt vào Gx,Gy

Gx = G Hx, Gy = G Hy

Bước3: Tính Gradient hướng tại mỗi điểm (i,j) của ảnh Hướng này sẽ được

nguyên hóa để nằm trong 8 hướng [0 7], tương đương với 8 lân cận của một điểm ảnh

Bước 4: Dùng ràng buộc “loại bỏ những điểm không phải là cực đại” để xóa bỏ

những điểm không là biên Xét (i,j), là Gradient hướng tại (i,j) I1, I2 là hai điểm lân cận của (i,j) theo hướng Theo định nghĩa điểm biên cục bộ thì (i,j) là biên nếu I(i,j) cực đại địa phương theo hướng Gradient  Nếu I(i,j) > I1 và I(i,j) > I2 thì mới giữ lại I(i,j), ngược lại xóa I(i,j) về điểm ảnh nền

Bước 5: Phân ngưỡng Với các điểm được giữ lại, thực hiện lấy ngưỡng Gradient

biên độ lần cuối để xác định các điểm biên thực sự

Phương pháp quy hoạch động

Như trên đã nói, dò biên theo phương pháp Gradient là xác định cực trị cục bộ của Gradient theo các hướng; còn phương pháp Laplace dựa vào cắt điểm không của đạo hàm bậc hai Phương pháp dò biên theo quy hoạch động là phương pháp tìm cực trị tổng thể theo nhiều bước Nó dựa vào nguyên lý tối ưu của Bellman Nguyên lý này phát biểu như sau: “Con đường tối ưu giữa 2 điểm cho trước cũng là tối ưu giữa 2

điểm bất kỳ nằm trên đường tối ưu đó” Thí dụ, nếu C là một điểm trên con đường tối ưu giữa A và B thì đoạn CB cũng là còn đường tối ưu từ C đến B không kể đến ta đến C bằng cách nào [3]

Hình 2.8: Minh họa nguyên lý Bellman

Trong kỹ thuật này, giả sử bản đồ biên đã được xác định và được biểu diễn

dưới dạng đồ thị liên thông N chặng Giả sử hàm đánh giá được tính theo công thức:

Trong đó:

: biểu diễn các đỉnh của đồ thị trong chặng thứ k;

d(x, y): khoảng cách giữa 2 đỉnh x và y tính th eo các định nghĩa tương ứng về

Định nghĩa hàm Φ như sau:

Viết lại (2.1) trên một cách đệ quy:

Với cách này, thay vì tìm tối ưu toàn cục phức tạp của , thì tìm

tối ưu của N chặng theo tối ưu 2 biến Trong mỗi chặng, với mỗi tìm tối ưu

Để dễ hình dung, xét ví dụ sau:

Giả sử có bản đồ biểu diễn bởi đồ thị liên thông (Hình 2.14a) Theo phương

pháp trên có , với k = 2 có Điều đó có nghĩa là đường từ A đến D đi qua C và ACD là biên được chọn với k = 2 Tương tự với k = 4

có hai đường được chọn là ACDAF và AGHJ Tuy nhiên với k= 5 thì đoạn JB bị loại

và chỉ tồn tại đường duy nhất với cực đại là 28 như vậy biên được xác định là ADEFB

(2.2)

(2.3)

(2.4)

a) Đồ thị liên thông biểu diễn biên b) Quá trình dò biên theo quy hoạch động

Hình 2.9: Hình mô tả tìm biên theo phương pháp quy hoạch động

Trên hình 2.14b nét đứt thể hiện cung bị loại, nét liền có mỗi tên thể hiện đường

đi hay biên của ảnh

2.3 Phương pháp phát hiện biên gián tiếp

Kỹ thuật dò biên và kỹ thuật phân vùng ảnh là hai bài toán đối ngẫu nhau bởi vì dò biên để thực hiện phân lớp đối tượng mà khi đã phân lớp xong thì có nghĩa là đã phân vùng được ảnh và ngược lại khi đã phân vùng được ảnh tức là đã phân lớp được thành các đối tượng do đó có thể phát hiện được biên

2.3.1 Kỹ thuật dò biên gián tiếp đơn giản

Giả sử đã tìm được một vị trí (x, y) nằm trên biên của một vùng ảnh hoặc đối tượng ảnh nào đó

Đánh dấu điểm đó là "đã sử dụng" (để điểm đó không bị sử dụng lại) và đánh giá tất cả giá trị Gradient Sobel 3×3 (hoặc lớn hơn) có trung tâm lần lượt là các điểm trong

8 điểm lân cận với (x, y)

Chọn ra ba điểm có biên độ Gradient tuyệt đối lớn nhất Đẩy vị trí của ba điểm đó vào một mảng có 3 cột, mỗi cột tương ứng với vị trí của một điểm, sắp xếp thành từng hàng theo độ lớn của biên độ Gradient Chọn điểm có biên độ Gradient

A(5) C I(8) B

G(8) H(8,10) J(13,10) | | | | |

1 2 3 4 5 k