Mô phỏng hệ thống nhận dạng hình dáng vật thể trong ảnh tĩnh

Một phương pháp theo lý thuyết được áp dụng cho việc nhận dạng hình dáng vật thể trong ảnh dựa trên việc trích xuất về màu sắc, cấu trúc và hình dáng đã được đề xuất để cải thiện tính c

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

THÀNH PHỐ HỒ CHÍ MINH

ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ÐIỆN TỬ-TRUYỀN THÔNG

MÔ PHỎNG HỆ THỐNG NHẬN DẠNG

HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH

GVHD: LÊ MINH THÀNH SVTH: BÙI ÐẶNG KHẮC HỮU MSSV: 15141027

SVTH: ÐẶNG TRUNG HIẾU MSSV: 12141079

S K L 0 0 5 4 6 6

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

ĐỒ ÁN TỐT NGHIỆP

MÔ PHỎNG HỆ THỐNG NHẬN DẠNG HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

ĐỒ ÁN TỐT NGHIỆP

MÔ PHỎNG HỆ THỐNG NHẬN DẠNG HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH

Tp Hồ Chí Minh, ngày 8 tháng 7 năm 2019

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP

Họ và tên sinh viên 1: Bùi Đặng Khắc Hữu

Họ và tên sinh viên 2: Đặng Trung Hiếu

MSSV: 15141027 MSSV: 12141079 Ngành: Công nghệ kỹ thuật Điện tử-Truyền thông Lớp:15141CLVT-12141CLVT

Giảng viên hướng dẫn: ThS Lê Minh Thành ĐT Nhóm: 0837888870

Ngày nhận đề tài: 9/3/2019 Ngày nộp đề tài: 11/7/2019

1 Tên đề tài: Mô phỏng hệ thống nhận dạng hình

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

Họ và tên Sinh viên 1: Bùi Đặng Khắc Hữu MSSV: 15141027

Họ và tên Sinh viên 2: Đặng Trung Hiếu MSSV: 12141079

Ngành: Công nghệ kỹ thuật Điện tử - Truyền thông

Tên đề tài: Mô phỏng hệ thống nhận dạng hình dáng vật thể trong ảnh tĩnh

Họ và tên Giảng viên hướng dẫn: ThS Lê Minh Thành

Tp Hồ Chí Minh, ngày 8 tháng 7 năm 2019

Giảng viên hướng dẫn

Lê Minh Thành

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc ***

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh Phúc

*******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN

Họ và tên Sinh viên 1: Bùi Đặng Khắc Hữu MSSV: 15141027

Họ và tên Sinh viên 2: Đặng Trung Hiếu MSSV: 12141079

Ngành: Công nghệ kỹ thuật Điện tử - Truyền thông

Tên đề tài: Mô phỏng hệ thống nhận dạng hình dáng vật thể trong ảnh tĩnh

Họ và tên Giáo viên phản biện:

NHẬN XÉT

1 Về nội dung đề tài & khối lượng thực hiện:

2 Ưu điểm:

3 Khuyết điểm:

4 Đề nghị cho bảo vệ hay không?

LỜI CẢM ƠN

Để hoàn thành đề tài nghiên cứu này, lời đầu tiên chúng em xin chân thành cảm

ơn các thầy cô giáo Trường Đại Học Sư Phạm Kỹ Thuật TP.HCM nói chung và các thầy cô trong Khoa Điện – Điện tử nói riêng, những người đã dạy dỗ, trang bị cho chúng em thực hiện đề tài với những kiến thức nền tảng và chuyên ngành bổ ích, giúp chúng em có được cơ sở lý thuyết vững vàng và tạo điều kiện giúp đỡ chúng em trong quá trình học tập

Đặc biệt, chúng em xin chân thành cảm ơn thầy ThS Lê Minh Thành đã tận tình giúp đỡ, trực tiếp chỉ bảo, đưa ra những định hướng nghiên cứu cũng như hướng giải quyết một số vấn đề cho chúng em trong suốt thời gian nghiên cứu thực hiện đồ án Trong thời gian làm việc với thầy, chúng em không ngừng tiếp thu thêm nhiều kiến thức, thái độ nghiên cứu khoa học nghiêm túc, hiệu quả, đây là điều rất cần thiết trong quá trình học tập và công tác sau này

Nhóm cũng xin chân thành gửi lời cảm ơn đến các Thầy Cô trong hội đồng bảo vệ

đã dành ra chút thời gian để xem bài luận văn tốt nghiệp này, và giúp em chỉ ra những mặt tích cực và hạn chế Nhóm thực hiện xin gửi lời cảm ơn chân thành và sâu sắc nhất đến các bậc cha mẹ, người thân đã động viên và giúp đỡ nhóm trong suốt chặng đường học tập cũng như quá trình nghiên cứu đồ án tốt nghiệp

Do thời gian thực hiện đề tài ngắn, kiến thức còn hạn hẹp, dù nhóm đã rất cố gắng nhưng vẫn không tránh khỏi những sai sót, hạn chế Nhóm rất mong nhận được lời chỉ dẫn, góp ý quý báu từ quý thầy cô và bạn bè

Xin chân thành cảm ơn!

Tp.HCM, ngày 08 tháng 07 năm 2019

SV thực hiện đồ án

Bùi Đặng Khắc Hữu Đặng Trung Hiếu

TÓM TẮT

Khoảng hơn mười năm trở lại đây, phần cứng máy tính và các thiết bị liên quan đã

có sự tiến bộ vượt bậc về tốc độ tính toán, dung lượng chứa lớn, khả năng xử lý nhanh, v.v và giá cả đã giảm đến mức máy tính và các thiết bị liên quan đến xử lý ảnh đã không còn là thiết bị chuyên dụng nữa Khái niệm ảnh số đã trở nên thông dụng với hầu hết mọi người trong xã hội và việc thu nhận ảnh số bằng các thiết bị cá nhân hay chuyên dụng cùng với việc đưa vào máy tính xử lý đã trở nên đơn giản Nhận dạng ảnh là một việc làm rất cần thiết để trích xuất các nội dung của ảnh cho nhiều mục đích khác nhau Vấn đề đặt ra trong đề tài là cần xây dựng một hệ thống nhận dạng các vật thể trong ảnh tương tự nhưng vẫn đảm bảo về tốc độ và đặc biệt là

độ chính xác Một phương pháp theo lý thuyết được áp dụng cho việc nhận dạng hình dáng vật thể trong ảnh dựa trên việc trích xuất về màu sắc, cấu trúc và hình dáng đã được đề xuất để cải thiện tính chính xác của đề tài Với luận văn này, người thực hiện

đã kế thừa và phát triển phương pháp theo lý thuyết đó để nhận dạng các đối tượng trong ảnh tĩnh để trích xuất đặc trưng cục bộ của một hình ảnh, đặc trưng cục bộ đó bao gồm tên vật thể, phân loại các đối tượng và nêu ra các thông số chi tiết Các bước cần thực hiện cơ bản trong đề tài: Đầu tiên với ảnh ngõ vào tùy vào độ đẹp của các giá trị ảnh, dùng các phương pháp xử lý ảnh để chuyển ảnh sang màu xám, sau đó chuyển thành ảnh nhị phân trắng đen Bước tiếp theo là khử nhiễu trong ảnh và lấp đầy chỗ trống các ảnh rỗ Sau khi xác định được các đường biên của ảnh, các phương pháp xử lý được thực hiện nhằm trích xuất đặc trưng để nhận dạng các vật thể Dựa trên các thông số ảnh đã được xử lý, tiến hành gán tên, phân loại các hình dáng của ảnh và xuất kết quả ngõ ra

MỤC LỤC

LỜI CẢM ƠN i

TÓM TẮT ii

MỤC LỤC iii

DANH MỤC CÁC TỪ VIẾT TẮT v

DANH SÁCH CÁC HÌNH ẢNH, BẢNG SỐ LIỆU vi

CHƯƠNG 1: TỔNG QUAN 1

1.1 TÌNH HÌNH NGHIÊN CỨU 1

1.2 MỤC TIÊU NGHIÊN CỨU 2

1.3 GIỚI HẠN NGHIÊN CỨU 2

1.4 BỐ CỤC ĐỒ ÁN 2

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 4

2.1 TỔNG QUAN VỀ QUÁ TRÌNH XỬ LÝ ẢNH 4

2.1.1 Khái niệm ảnh số 4

2.1.2 Sơ đồ khối quá trình xử lý ảnh 5

2.1.3 Các vấn đề cơ bản trong xử lý ảnh 5

2.2 KỸ THUẬT TÁCH BIÊN 9

2.2.1 Khái niệm về tách biên 9

2.2.2 Các phương pháp tách biên 9

2.2.2.1 Kỹ thuật phát hiện biên Canny 9

2.2.2.2 Kỹ thuật phát hiện biên Gradient 10

2.2.2.2.1 Toán tử Sobel 10

2.2.2.2.2 Toán tử Robert 11

2.2.2.2.3 Mặt nạ đẳng hướng 11

2.2.2.2.4 Toán tử 4 điểm lân cận 12

2.2.2.3 Kỹ thuật phát hiện biên Laplace 12

2.3 CÁC KỸ THUẬT PHÁT HIỆN VÀ PHÂN LOẠI VẬT THỂ 12

2.3.1 Phát hiện vật thể dựa vào màu sắc 12

2.3.2 Dựa vào chuyển động 14

2.3.3 Dựa vào hình dạng 14

2.3.4 Phát hiện đối tượng dựa vào cấu trúc 15

2.3.4.1 Phân đoạn cấu trúc 16

2.3.4.2 Dựa vào khu vực 16

2.3.4.3 Dựa vào biên 17

2.3.4.4 Phát hiện cạnh 17

2.4 ỨNG DỤNG CỦA PHÁT HIỆN VẬT THỂ 18

CHƯƠNG 3: MÔ PHỎNG HỆ THỐNG NHẬN DẠNG HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH 19

3.1 YÊU CẦU HỆ THỐNG 19

3.2 SƠ ĐỒ KHỐI HỆ THỐNG 19

3.3 THIẾT KẾ PHẦN MỀM 20

3.4 THIẾT KẾ TỪNG KHỐI 23

3.4.1 Khối đọc ảnh 23

3.4.2 Khối chuyển ảnh màu thành ảnh xám 23

3.4.3 Khối chuyển ảnh xám thành ảnh nhị phân 24

3.4.4 Khối lấp đầy lỗ trống trong ảnh nhị phân 25

3.4.5 Khối lọc trung vị để loại bỏ nhiễu 26

3.4.6 Khối tìm các thuộc tính của ảnh 26

3.4.7 Khối nhận dạng các đối tượng trong ảnh 27

3.5 THIẾT KẾ GIAO DIỆN GUI 27

CHƯƠNG 4: KẾT QUẢ 29

4.1 KẾT QUẢ MÔ PHỎNG 29

4.2 MÔ PHỎNG TRÊN GIAO DIỆN GUI 42

CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 44

5.1 KẾT LUẬN 44

5.2 HƯỚNG PHÁT TRIỂN 44

TÀI LIỆU THAM KHẢO 46

PHỤ LỤC 47

CBIR Content-based Image Retrieval

DANH SÁCH CÁC HÌNH ẢNH, BẢNG SỐ LIỆU

Hình 2.1: Một vài ví dụ về ảnh số 4

Hình 2.2: Các giai đoạn trong xử lý ảnh 5

Hình 2.3: a Ảnh thật 10x10; b Ảnh được zoom; 6

Hình 2.4: Hệ thống khôi phục ảnh 7

Hình 2.5: Mô hình tính của phương pháp Canny 10

Hình 2.6: Nhận diện vật thể dựa vào màu sắc 13

Hình 2.7: Định hướng khác nhau của kí tự A 14

Hình 2.8: Phát hiện đối tượng dựa trên hình dạng 15

Hình 2.9: Phát hiện đối tượng dựa trên hình dạng 15

Hình 2.10: Phát hiện đối tượng dựa trên cấu trúc 16

Hình 2.11: Kỹ thuật phát hiện dựa vào khu vực 16

Hình 2.12: Phát hiện cạnh 17

Hình 3.1: Sơ đồ khối hệ thống 19

Hình 3.2: Lưu đồ chương trình chính 20

Hình 3.3: Lưu đồ chương trình tìm thuộc tính của ảnh 21

Hình 3.4: Lưu đồ chương trình nhận dạng vật thể 22

Hình 3.5: Hiển thị ảnh ngõ vào 23

Hình 3.6: Ảnh xám sau khi chuyển từ ảnh màu 23

Hình 3.7: Ảnh sau khi qua ngưỡng Otsu 25

Hình 3.8: Chức năng lấp đầy hình ảnh 25

Hình 3.9: Ảnh kết quả của lọc trung vị 26

Hình 3.10: Giao diện chương trình sau khi thiết kế 28

Hình 4.1: Kết quả với một hình tròn 29

Bảng 4.1: Các thông số mô phỏng với một hình tròn 29

Hình 4.2: Kết quả với một hình tam giác 30

Bảng 4.2: Các thông số mô phỏng với một hình tam giác 30

Hình 4.3: Kết quả với một hình vuông 31

Bảng 4.3: Các thông số mô phỏng với một hình vuông 31

Hình 4.4: Kết quả với ba hình tròn 32

Bảng 4.4: Các thông số mô phỏng với ba hình tròn 32

Hình 4.5: Kết quả với ba hình tam giác 33

Bảng 4.5: Các thông số mô phỏng với ba hình tam giác 33

Hình 4.6: Kết quả với ba vật thể hình vuông 34

Bảng 4.6: Các thông số mô phỏng với ba vật thể hình vuông 34

Hình 4.7: Kết quả với ba vật thể khác nhau 35

Bảng 4.7: Các thông số mô phỏng với ba vật thể hình khác nhau 35

Hình 4.8: Kết quả với nhiều vật thể khác nhau 36

Bảng 4.8: Các thông số chi tiết của ảnh 36

Hình 4.9: Kết quả với hai vật thể hình vuông chồng lên nhau 37

Bảng 4.9: Thông số mô phỏng với hai vật thể hình vuông chồng lên nhau 37

Hình 4.10: Ba vật thể hình tròn, vuông, tam giác chồng lên nhau 38

Bảng 4.10: Thông số mô phỏng với ba vật thể khác nhau và chồng lên nhau 38

Hình 4.11: Kết quả với nhiều vật thể khác nhau và ảnh thiếu độ sáng 39

Bảng 4.11: Các thông số của các vật thể khi ảnh thiếu độ sáng 39

Hình 4.12: Kết quả với ba vật thể khác nhau và ảnh có nhiễu 40

Bảng 4.12: Các thông số của các vật thể khi ảnh có nhiễu 40

Bảng 4.13: So sánh kết quả giữa hai mô hình 41

Hình 4.13: Giao diện mô phỏng hệ thống nhận dạng vật thể 42

Hình 4.14: Kết quả nhận dạng sai một vật thể 43

Hình 4.15: Kết quả nhận dạng đúng hoàn toàn các vật thể 43

CHƯƠNG 1

TỔNG QUAN

1.1 TÌNH HÌNH NGHIÊN CỨU

Trí tuệ nhân tạo hay trí thông minh nhân tạo AI là trí tuệ được biểu diễn cho bất

cứ một hệ thống nhân tạo nào Hiện nay, khái niệm trí tuệ nhân tạo không còn quá xa

lạ với tất cả mọi người khi nó được xem như là một trong những công nghệ đầu tàu của cuộc cách mạng công nghiệp 4.0 và được ứng dụng ở mọi lĩnh vực trong đời sống

xã hội

Một hướng nghiên cứu nhỏ của trí tuệ nhân tạo, thị giác máy tính CV, là một lĩnh vực quan trọng khi nó bao hàm nhiều chức năng như thu nhận, phân tích ảnh, nhận dạng ảnh, phân giải hình ảnh và nhiều hơn nữa Do đó, có thể nói rằng thị giác máy tính là một tất yếu của trí tuệ nhân tạo

Nhận dạng hình dáng vật thể là một trong những ứng dụng của CV đã và đang được các nhà nghiên cứu thực hiện sôi nổi trong những năm gần đây Nhóm tác giả [1] thảo luận việc nhận dạng hình dáng các vật thể trong ảnh tĩnh đã phân biệt được các hình dạng cơ bản như hình tròn, hình vuông và hình tam giác trong ảnh đầu vào bằng cách sử dụng các kỹ thuật thị giác máy tính Tuy nhiên, phương pháp này nhạy cảm với điều kiện nhiễu và ánh sáng, điều kiện hình ảnh ánh sáng kém sẽ mang lại sự phức tạp trong thuật toán ngưỡng của Otsu và cuối cùng kết quả là không mong muốn

Trong công trình nghiên cứu [2], nhóm tác giả đã đề xuất các phương pháp theo dõi đối tượng theo nguyên tắc phân tích các thành phần IMPCA, Frag track, biểu đồ định hướng độ dốc HOG và mô hình máy dò tìm người nhị phân cục bộ Các công cụ này có ưu điểm là khả năng theo dõi đối tượng trong ảnh rất mạnh cũng như có khả năng xử lý hầu hết các loại đối tượng do kết hợp giữa sự sáng tạo và phân biệt giữa các mô hình đối tượng ở dạng máy vector trực tuyến CVM Mặc dù vậy, phương pháp [2] thì lại khó khăn trong việc thu thập đối tượng do các đối tượng thay đổi hình dạng

sẽ trở nên phức tạp, ở nền lộn xộn sẽ gây khó khăn khi xác định đối tượng ở phương pháp này và với các đối tượng ở trạng thái không hoàn chỉnh sẽ rất khó để dự đoán trạng thái

Với những phân tích ưu điểm và hạn chế của các công trình nghiên cứu trên, nhóm

sinh viên lựa chọn đề tài đồ án “Mô phỏng hệ thống nhận dạng hình dáng vật thể trong ảnh tĩnh” nhằm hướng đến việc xây dựng và mô phỏng hệ thống nhận dạng có

tính kế thừa với đối tượng đầu vào là các ảnh tĩnh chứa các hình dáng của vật thể, đầu ra được phân loại hình dạng và kèm theo số lượng vật thể được cho là có hình dáng giống nhau

1.2 MỤC TIÊU NGHIÊN CỨU

Mục tiêu của đề tài là tìm hiểu các đặc trưng của các hình dáng vật thể, các phương pháp nhận dạng hình dáng và sau đó là mô phỏng hệ thống nhận dạng trên Matlab từ các ảnh tĩnh chứa nhiều hình dáng vật thể bao gồm hình tròn, hình vuông

và hình tam giác

1.3 GIỚI HẠN NGHIÊN CỨU

Hệ thống mô phỏng được thiết kế với đầu vào là ảnh tĩnh có đủ độ sáng Hình dạng các vật thể được xem xét như hình vuông, hình tròn và hình tam giác với số lượng giới hạn dưới mười vật thể không chồng lấn nhau Việc mô phỏng chỉ nhằm hướng đến phân loại và đếm số lượng hình dáng vật thể trong ảnh tĩnh mà chưa giải quyết vấn đề liên quan về mặt ứng dụng thực tiễn

1.4 BỐ CỤC ĐỒ ÁN

➢ Chương 1: Tổng quan Trong chương này, nhóm thực hiện trình bày khái quát

về trí tuệ nhân tạo, thị giác máy tính, mục tiêu nghiên cứu, giới hạn đề tài và bố cục của đề tài

➢ Chương 2: Cơ sở lý thuyết Chương này giới thiệu tổng quan về xử lý ảnh,

các phương pháp phát hiện, các phương pháp nhận dạng vật thể và lấy ví dụ về nhận

dạng vật thể

➢ Chương 3: Mô phỏng hệ thống nhận dạng hình dáng vật thể trong ảnh tĩnh

Chương này trình bày các yêu cầu của hệ thống sau đó đưa ra những phương án phù hợp cho thiết kế Từ đó bắt đầu thực hiện thiết kế sơ đồ khối hệ thống, tính toán các

thông số kỹ thuật và tiến hành mô phỏng cho hệ thống

➢ Chương 4: Kết quả Chương trình bày kết quả mô phỏng hệ thống, và đánh

giá so với mục tiêu ban đầu đã đặt ra

➢ Chương 5: Kết luận và hướng phát triển Trình bày về những kết quả đạt được

và chưa đạt của đề tài, đưa ra hướng phát triển và mở rộng cho đề tài trong tương lai

Hình 2.1: Một vài ví dụ về ảnh số

2.1.2 Sơ đồ khối quá trình xử lý ảnh

Quá trình xử lý ảnh được mô tả như Hình 2.2

Hình 2.2: Các giai đoạn trong xử lý ảnh

➢ Thu nhận ảnh: Các ảnh số thu được từ các camera và từ các cảm biến khác

như ảnh vệ tinh, ảnh từ máy quét ảnh, cắt khung hình từ video vv

➢ Số hóa ảnh: Biến đổi ảnh tương tự thành ảnh rời rạc để xử lý bằng máy tính

thông qua quá trình lấy mẫu và lượng tử hóa

➢ Xử lý số: Là một tiến trình gồm nhiều công đoạn nhỏ như tăng cường ảnh, khôi

phục ảnh, phát hiện biên, phân vùng ảnh, trích chọn các đặc trưng…vv

➢ Hệ quyết định: Tùy mục đích của ứng dụng mà chuyển sang giai đoạn khác là

hiển thị, nhận dạng, phân lớp hay truyền thông

2.1.3 Các vấn đề cơ bản trong xử lý ảnh

➢ Biểu diễn ảnh

Ảnh có thể được xem là một hàm hai biến chứa các thông tin biểu diễn của một ảnh Các mô hình biểu diễn ảnh cho biết một mô tả logic hay định lượng của hàm này Dựa vào đặc trưng của ảnh đó là pixel Giá trị pixel có thể là một giá trị vô hướng hoặc một vector bao gồm 3 thành phần R, G, B trong trường hợp ảnh màu Có thể biểu diễn ảnh bằng hàm toán học hoặc các ma trận điểm

Trong cách biểu diễn bằng mô hình toán học, ảnh hai chiều được biểu diễn nhờ các hàm hai biến, đó là:

S(m,n)=∑∞𝑘=−∞∑∞𝑘=−∞𝑆(𝑘, 𝑙)𝛿(𝑚 − 𝑘, 𝑛 − 𝑙) (2-1)

Với 0 ≤ m, k ≤ M-1 và 0 ≤ n, l ≤ N-1 Trong đó: S là ảnh, (m,n) là tọa độ của pixel trong miền không gian 2 chiều và khoảng [0-Lmax] là thang mức xám Giá trị mức xám cao nhất Lmax thường là 255 tương ứng với ảnh xám 8 bit có kích cỡ MxN Cách biểu diễn ảnh bằng ma trận điểm được mô tả như Hình 2.3

Hình 2.3: a Ảnh thật 10x10; b Ảnh được zoom;

c Mô tả ảnh bằng ma trận điểm

➢ Mô hình hóa ảnh

• Mô hình cảm nhận ảnh: Là mô hình biểu diễn thông qua các thuộc tính cảm

nhận ảnh như màu sắc và cường độ sáng, các thuộc tính về thời gian, các cảm nhận

về phối cảnh và bố cục

• Mô hình bố cục: Là mô hình biểu diễn thể hiện mối tương quan cục bộ của

các phần tử ảnh, thường được ứng dụng cho các bài toán nâng cao chất lượng ảnh

• Mô hình tổng thể: Là mô hình biểu diễn ảnh như một tập hợp các đối tượng

và các đối tượng này có mối quan hệ không gian với nhau Mô hình này thường được ứng dụng cho các bài toán phân nhóm và phân dạng ảnh

➢ Tăng cường ảnh

Tăng cường ảnh nhằm tăng cường các thuộc tính cảm nhận và làm cho ảnh tốt lên theo một ý nghĩa nào đó, tiện lợi phục vụ cho các bước xử lý tiếp theo bao gồm các thao tác như thay đổi độ tương phản, thay đổi màu sắc, cường độ sáng, lọc nhiễu, nội suy, làm trơn ảnh… Các phương pháp chính cho việc tăng cường ảnh là phương pháp thao tác trên điểm và các thao tác về không gian

➢ Khôi phục ảnh

Khôi phục ảnh nhằm khôi phục lại ảnh ban đầu nhằm loại bỏ các biến dạng ra khỏi ảnh tùy theo nguyên nhân gây biến dạng

Hình 2.4: Hệ thống khôi phục ảnh

g(x,y)=∫−∞∞ ∫−∞∞ ℎ(x, y: α, β)𝑑𝛼𝑑(𝛽 + 𝜂(x, y)) (2-2) Trong đó: η(x,y) là nhiễu cộng, f(α,β) là hàm biểu diễn đối tượng, g(x,y) là ảnh thu nhận và h(x,y,α,β) là đáp ứng xung của hệ thống hay còn gọi là hàm tán xạ điểm PSF Một vấn đề khôi phục ảnh tiêu biểu là tìm một xấp xỉ của f(α,β) khi PSF có thể đo lường hay quan sát được, ảnh mờ và các tính chất xác suất của quá trình nhiễu Các thao tác thường dùng trong khôi phục ảnh như lọc nhiễu, giảm độ méo… Và các phương pháp được sử dụng như lọc ngược, lọc thích nghi Wiener hay khôi phục ảnh

từ các hình chiếu

➢ Biến đổi ảnh

Biến đổi ảnh nhằm thể hiện ảnh dưới các góc nhìn khác nhau tiện cho việc xử lý

và phân tích ảnh, có các phương pháp được sử dụng phổ biến như biến đổi Fourier, biến đổi Cosine…

như tìm đường biên, tách biên, làm mỏng đường biên, phân vùng ảnh và phân loại đối tượng Có các phương pháp như: Hiện các biên cục bộ, Dò biên theo quy hoạch động, Phân vùng theo miền đồng nhất, Phân vùng dựa theo đường biên… là các phương pháp thường được sử dụng trong quá trình phân tích ảnh này

➢ Nén ảnh

Nén ảnh là một kỹ thuật mã hoá các ảnh số nhằm giảm số lượng các bit dữ liệu cần thiết để biểu diễn ảnh Mục đích là giảm đi những chi phí trong việc lưu trữ ảnh và chi phí thời gian để truyền ảnh đi xa trong truyền thông nhưng vẫn đảm bảo được chất lượng của ảnh Có hai phương pháp nén được phân loại dựa vào nguyên lý nén

đó là nén mất thông tin và nén không mất thông tin Trong phương pháp nén không mất thông tin thì sau khi giải nén ta thu được chính xác dữ liệu gốc ban đầu còn phương pháp nén mất thông tin thì sau khi giải nén ta không thu được dữ liệu như ban đầu Hiện nay có một số chuẩn nén hay dùng: JPEG, MPEG (JPEG-2000, MPEG-4)

➢ Nhận dạng

Nhận dạng ảnh là quá trình liên quan đến mô tả đối tượng mà người ta muốn đặc

tả nó Thường đi theo sau quá trình trích chọn các đặc tính của đối tượng Có 2 kiểu

mô tả đối tượng đó là Mô tả theo tham số (nhận dạng theo tham số) và Mô tả theo cấu trúc (nhận dạng theo cấu trúc)

➢ Ứng dụng

Xử lý ảnh được ứng dụng nhiều trong thực tế như khôi phục hình ảnh và điều chỉnh

độ phân giải, phân tích ảnh trong y tế, truyền và mã hóa ảnh Phát hiện vật cản cũng

là một lĩnh vực mới và được thực hiện bởi xử lý ảnh như tính toán khoảng cách từ robot tới vật cản bằng cách xác định được các đối tượng khác nhau trong hình ảnh sau đó xử lý và tính toán chúng Trong công nghệ nhận dạng thì xử lý ảnh dùng để xác định, nhận dạng đối tượng, các mối nguy hiểm, nhận dạng vân tay, khuôn mặt…

2.2 KỸ THUẬT TÁCH BIÊN

2.2.1 Khái niệm về tách biên

Tách biên là phương pháp thông dụng nhất để tách theo nghĩa gián đoạn trong các giá trị cường độ ảnh Sự gián đoạn được tách sử dụng đạo hàm bậc nhất và bậc hai Nếu lấy đạo hàm bậc nhất của ảnh ta có phương pháp Gradient và lấy đạo hàm bậc

hai của ảnh ta có phương pháp Laplace

2.2.2 Các phương pháp tách biên

2.2.2.1 Kỹ thuật phát hiện biên Canny

Phương pháp Canny được tìm ra năm 1986 dựa trên cặp đạo hàm riêng bậc nhất trong việc làm sạch nhiễu Đây là phương pháp tách đường biên khá phổ biến được dùng theo toán tử đạo hàm Phương pháp đạo hàm chịu ảnh hưởng lớn của nhiễu, phương pháp đạt hiệu quả cao khi xấp xỉ đạo hàm bậc nhất của Gauss

 =   = +f (G I) f x f y

(2-3) Với 𝑓𝑥, 𝑓𝑦 là đạo hàm riêng theo x và y của f

G x yx( , ) = G xx( )  G y ( ) và G x y y( , )=G y y( )G x( ) (2-7)

Từ đó ta có:

f x yx( , ) = G xx( )  G y ( )  I và f x y y( , )=G y y( )G x( )I (2-8) Với biên độ và hướng tính theo công thức (2-7) và (2-8), thuật toán được minh họa

trên Hình 2.5

Hình 2.5: Mô hình tính của phương pháp Canny

2.2.2.2 Kỹ thuật phát hiện biên Gradient

Theo định nghĩa, Gradient là một vector có các thành phần biểu thị tốc

độ thay đổi giá trị của điểm ảnh, ta có phương trình:

2.2.2.2.1 Toán tử Sobel

Kỹ thuật Sobel sử dụng 2 mặt nạ nhân chập theo 2 hướng x, y là:

Hướng ngang (x) Hướng dọc (y)

Các bước tính toán kỹ thuật Sobel:

+ Bước 1: Tính I ⊗ 𝐻𝑥 và I ⊗ 𝐻𝑦

+ Bước 2: Tính I ⊗ 𝐻𝑥 + I ⊗ 𝐻𝑦

2.2.2.2.2 Toán tử Robert

Áp dụng công thức tính Gradient tại điểm (x, y) Với mỗi điểm ảnh I(x,y) đạo hàm

theo x, y được biểu diễn bằng công thức sau:

( 1, ) ( , )( , 1) ( , )

2.2.2.2.4 Toán tử 4 điểm lân cận

Toán tử 4 điểm lân cận được Chaudhuri và Chandor nêu ra năm 1984, trong đó

mặt nạ có kích thước 3x3 được thay cho mặt nạ 2x2 của toán tử Robert Các mặt nạ

này được biểu diễn như sau:

(2-14)

Hướng ngang (x) Hướng dọc (y)

2.2.2.3 Kỹ thuật phát hiện biên Laplace

Để khắc phục hạn chế và nhược điểm của phương pháp Gradient, trong đó sử dụng

đạo hàm riêng bậc nhất người ta nghĩ đến việc sử dụng đạo hàm riêng bậc hai hay

toán tử Laplace Phương pháp dò biên theo toán tử Laplace hiệu quả hơn phương

pháp dùng toán tử Gradient trong trường hợp mức xám biến đổi chậm hoặc miền

chuyển đổi mức xám có độ trải rộng Toán tử Laplace được định nghĩa như sau:

2

f f f

x y

 

 = +

  (2-15)

Toán tử Laplace dùng một số kiểu mặt nạ khác nhau nhằm tính gần đúng đạo hàm

riêng bậc hai Các dạng mặt nạ theo toán tử Laplace bậc 3x3 có thể là:

2.3 CÁC KỸ THUẬT PHÁT HIỆN VÀ PHÂN LOẠI VẬT THỂ

2.3.1 Phát hiện vật thể dựa vào màu sắc

Màu sắc cung cấp rất nhiều thông tin cho việc phát hiện đối tượng Một hệ thống

phát hiện vật thể đơn giản và hiệu quả thì nó có sự kết hợp và thể hiện hình ảnh trên

biểu đồ màu Phương pháp này sử dụng các thuộc tính của màu sắc như một đại diện

cho việc phát hiện đối tượng Các thông tin màu được gia tăng trong hai phương pháp

đã có để phát hiện đối tượng đó là dựa trên một phần phát hiện khung và cách tiếp

cận tìm kiếm cửa sổ phụ hiệu quả ESS Có ba tiêu chí chính phải được nhắc đến khi lựa chọn một cách tiếp cận để tích hợp màu vào việc phát hiện đối tượng là: kết hợp, trắc quang và nhỏ gọn Bài báo [4] nghiên cứu việc kết hợp màu sắc để phát hiện đối tượng dựa trên những tiêu chuẩn đã nêu và chứng minh những lợi thế của việc kết hợp màu sắc với hình dạng trên hai khung phát hiện phổ biến nhất, cụ thể là dựa trên một phần sự biến dạng mô hình và tìm kiếm cửa sổ phụ hiệu quả (SSD) cho việc khoanh vùng đối tượng Kết quả ảnh ngõ ra được biểu diễn nhỏ gọn, tính toán hiệu quả và hiệu suất phát hiện xuất sắc trên một khối dữ liệu khó Kỹ thuật này phát hiện chính xác các lớp đối tượng phức tạp khi mà các phương pháp hiện đại dùng dựa vào hình dạng lại không làm được

Hình 2.6: Nhận diện vật thể dựa vào màu sắc

Hình 2.6 là ví dụ cho nhận dạng vật thể dựa vào màu sắc Hình bên trái là phương pháp tiếp cận thông thường không thể phát hiện đủ bốn nhân vật Simpsons, hình bên phải là phần mở rộng thêm về khuôn khổ phát hiện với thuộc tính màu có thể phân loại chính xác tất cả bốn Simpsons

Ngoài ra, người ta chứng minh rằng độ chính xác của việc nhận dạng giảm đáng

kể đối với tất cả các tính năng màu khác với 𝑚1𝑚2𝑚3với sự thay đổi màu của nguồn sáng Các mô hình màu có sự tách bạch năng lượng lớn, có khả năng tìm kiếm mạnh

mẽ các đối tượng giống nhau và lộn xộn, chống nhiễu mạnh trong hình ảnh

2.3.2 Dựa vào chuyển động

Chúng ta có thể xác định các loại ảnh khác nhau trong các mục đích khác nhau Điều này đem lại cho hệ thống một sự không rõ ràng trong việc phát hiện các ký tự xoay trong ảnh Khi một vài chữ cái hoặc số được xoay thì hình ảnh ban đầu sẽ giống như những chữ cái khác Trong kỹ thuật này, có thể phát hiện một đối tượng trong hình ảnh bằng cách sử dụng sự tương đồng về hình dạng và khoảng cách của hình Bằng cách tạo ra chiều dài vòng cung của ảnh và tính khoảng cách hình, chúng ta có thể nhận diện vật thể trong ảnh Khi các ảnh có thể ở dạng xoay, hệ thống phải có khả

năng linh hoạt để xử lý các ảnh phức tạp như vậy Như ví dụ trong Hình 2.7 kí tự A

có thể biểu diễn dưới nhiều hình thức khác nhau Tuy nhiên, định hướng của chữ cái hoặc hình ảnh không được ảnh hưởng đến việc nhận dạng kí tự A hoặc bất kỳ hình ảnh nào của đối tượng

Hình 2.7: Định hướng khác nhau của kí tự A

dụ Hình 2.8

Hình 2.8: Phát hiện đối tượng dựa trên hình dạng

Trong việc phát hiện đối tượng, hình dạng của các đối tượng được sử dụng rộng rãi để xác định vì những ảnh có hình dạng rất dễ bị dồn lại và để thực hiện các phân đoạn cho việc tìm kiếm một đối tượng trong ảnh

Như trong Hình 2.9 hình dạng của đối tượng được sử dụng để mô tả biên của một ảnh So sánh với sự biểu diễn dựa trên cấu trúc và độ dốc, biểu diễn dựa trên hình dạng thì mô tả nhiều hình dạng hơn trên hình ảnh lớn hơn Trong Hình 2.9 hình dạng của đối tượng đã được phác thảo, kĩ thuật này sẽ so sánh ảnh đầu vào với hình dạng hiện có và đối tượng cần tìm sẽ được phát hiện

Hình 2.9: Phát hiện đối tượng dựa trên hình dạng

2.3.4 Phát hiện đối tượng dựa vào cấu trúc

Cấu trúc là thuộc tính tự nhiên của các bề mặt mà được mô tả bởi hình mẫu, mỗi thuộc tính có tính đồng nhất Nó chứa thông tin quan trọng về sự sắp xếp cấu trúc của

bề mặt, chẳng hạn như: đám mây, lá, gạch, vải Nó cũng mô tả mối quan hệ của bề mặt với môi trường xung quanh Trong một giới hạn nhỏ, nó là một đặc trưng mô tả các thành phần vật lý của một bề mặt Bề mặt ảnh là sự sắp xếp của các phép đo được tính toán trong xử lý hình ảnh nhằm đánh giá bố cục rõ ràng của hình ảnh Hình 2.10 cho thấy việc phát hiện vật thể dựa trên cấu trúc Bố cục của ảnh được giới hạn dùng

để hỗ trợ việc phân tách hay sắp xếp các hình ảnh Để phân tách chính xác các thành phần thì quan trọng nhất là không gian xung quanh và mức độ mờ bình thường

Hình 2.10: Phát hiện đối tượng dựa trên cấu trúc

Các cấu trúc trên bề mặt của đối tượng trong ảnh có thể được phát hiện bằng các

kỹ thuật khác nhau như phân đoạn cấu trúc, dựa vào khu vực, dựa vào biên và phát hiện cạnh

2.3.4.1 Phân đoạn cấu trúc

Kỹ thuật phân đoạn cấu trúc cũng hữu ích để phát hiện các cấu trúc trên các đối tượng trong một ảnh Phân đoạn cấu trúc được thực hiện theo hai cách khác nhau là dựa trên khu vực và dựa trên đường biên

2.3.4.2 Dựa vào khu vực

Trong kỹ thuật này hình ảnh cụ thể được phân loại đến các cụm khác nhau dựa trên các thông số như màu sắc, độ sáng Mỗi pixel được gán cụ thể cho một cụm dựa trên màu sắc và độ sáng Với sự hỗ trợ của cụm chúng ta có thể phát hiện cấu trúc trên một đối tượng trong một ảnh như trong Hình 2.11 Trong ảnh có hai vùng cấu trúc và các vùng thì khác nhau để chúng ta có thể tìm thấy cấu trúc bằng cách nhóm các pixel tương tự thành cụm

Hình 2.11: Kỹ thuật phát hiện dựa vào khu vực

2.3.4.3 Dựa vào biên

Để khắc phục những khó khăn trong phân đoạn dựa vào khu vực, phân đoạn dựa vào biên được tạo ra Các phân đoạn ảnh dựa vào biên thường tìm kiếm biên ngầm

và sự khác nhau giữa các đối tượng trong một ảnh Các biên giúp chúng ta phát hiện

ra sự khác biệt cấu trúc trong một hình ảnh

Để thực hiện phân đoạn ảnh dựa vào biên có một số phương pháp như phát hiện đỉnh và phát hiện cạnh Phát hiện đỉnh thường dựa vào điểm cực đại trong một hình ảnh Nhược điểm chính trong kỹ thuật phát hiện đỉnh là nó không liền nhau và mất đi ranh giới giữa các đối tượng khác nhau trong một ảnh

2.3.4.4 Phát hiện cạnh

Các cạnh trong ảnh có thể được tìm thấy bằng cách phát hiện ra sự không liên tục trong cường độ sáng của ảnh Trong kĩ thuật này số lượng pixel trên các cạnh trong khu vực được xác định giúp phát hiện cấu trúc trên đối tượng trong ảnh Hướng của các cạnh được tìm ra cũng giúp cho phát hiện cấu trúc khi chúng được vẽ trên biểu

đồ trung bình Có một số kỹ thuật phát hiện cạnh như phát hiện cạnh Canny, ngưỡng

và sự liên kết, làm mỏng cạnh

Như được hiển thị trong Hình 2.12, cấu trúc của các đối tượng khác nhau được phát hiện bằng cách sử dụng các cạnh của các đối tượng đầu tiên và sau đó cấu trúc được phát hiện bởi hướng của các cạnh trong ảnh

Hình 2.12: Phát hiện cạnh