Nghiên cứu phương pháp tính toán độ sâu ảnh stereo ứng dụng trong rô bốt di động

Hệ thống Robot dựa trên công nghệ dẫn ñường và hệ thống thị giác có thể ñáp ứng ñược những tác vụ phức tạp trong lĩnh vực giám sát, tìm kiếm và cứu hộ cứu nạn.. Riêng ñối với những nghiê

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN ĐẠI HỌC MỞ HÀ NỘI

-

LUẬN VĂN THẠC SĨ Chuyên ngành: Kỹ thuật ñiện tử

LỜI MỞ ĐẦU

Với mục ñích thay thế cho con người ñối với những công việc ở những môi trường khắc nghiệt, nhiễm ñộc hay phóng xạ… ảnh hưởng tới sức khỏe cũng như tính mạng của con người thì việc sử dụng Robot là một việc rất cần thiết Trên thế giới việc phát triển công nghệ robot ñã phát triển từ lâu và ñã có những thành công nhất ñịnh Nhưng ở Việt Nam thì công nghệ này vẫn còn ñang trong thời gian nghiên cứu và phát triển, tuy có những thành công nhưng vẫn chưa có những thành tựu ñáng kể Hệ thống Robot dựa trên công nghệ dẫn ñường và hệ thống thị giác có thể ñáp ứng ñược những tác vụ phức tạp trong lĩnh vực giám sát, tìm kiếm và cứu

hộ cứu nạn Với các hệ thống thu thập dữ liệu ña dạng, hệ thống robot có thể tìm kiếm, hiển thị, truyền ñi tới trung tâm vị trí, tình trạng nạn nhân, môi trường xung quanh ñể cho các nhân viên cứu hộ hay người quản lý biết ñể có biện pháp xử lý kịp thời và ñạt hiệu quả cao nhất Với ñặc ñiểm của mình thì hệ thống này có thể hoạt ñộng ñộc lập hay ñược lập trình sẵn theo từng yêu cầu cụ thể

Để xây dựng ñược một hệ thống hoàn chỉnh như vậy thì cần phải có thời gian nghiên cứu, thử nghiệm và phát triển các module trong hệ thống Với mục ñích như vậy dưới sự hướng

dẫn của thầy TS Nguyễn Vĩnh An em ñã phát triển sản phẩm “ Nghiên cứu phương pháp

tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng

”

Hà Nội, Ngày 25 Tháng 9 Năm 2013

Sinh Viên

Bạch Ngọc Minh

MỤC LỤC

LỜI MỞ ĐẦU i

MỤC LỤC ii

DANH MỤC HÌNH VẼ v

DANH MỤC BẢNG vii

DANH MỤC TỪ VIẾT TẮT viii

Giới thiệu chung 1

1 Tính cấp thiết của ñề tài: 1

2 Mục tiêu nghiên cứu 2

2.1 Mục tiêu nghiên cứu tổng quát 2

2.2 Mục tiêu cụ thể 2

3 Đối tượng và phạm vi nghiên cứu 3

4 Tổng quan tài liệu 3

5 Nội dung, vật liệu và phương pháp nghiên cứu 5

5.1 Nội dung nghiên cứu: 5

5.2 Phương pháp nghiên cứu: 5

6 Dự kiến kết quả (viết theo từng nội dung nghiên cứu, dự kiến logíc và khoa học, tính khả thi ) 7

Chương 1: TỔNG QUAN VỀ ROBOT CỨU HỘ ỨNG DỤNG HỆ THỐNG CAMERA THỊ GIÁC 8

1.1 Rôbốt cứu hộ 8

1.2 Kiến trúc hệ thống rôbốt 10

1.3 Hệ thống dẫn ñường cho robot 13

1.3.1 Tầm quan trọng của hệ thống dẫn ñường cho robot cứu hộ: 14

1.3.2 Các hệ thống dẫn ñường thường gặp 15

1.4 Hệ thống thị giác 15

1.4.1 Thị giác máy tính 15

1.4.2 Hệ thống dẫn ñường cho robot cứu hộ sử dụng thị giác máy tính 16

1.5 Cơ sở tính toán ảnh stereo 18

1.5.1 Ảnh 3D và ứng dụng 19

1.5.2 Stereo camera 20

1.5.3 Bản ñồ chênh lệch và bản ñồ ñộ sâu 21

1.5.4 Mối quan hệ giữa ảnh ñộ sâu và tọa ñộ thực: 23

1.5.5 Phương pháp tính bản ñồ chênh lệch 23

1.6 Phương pháp trích chọn ñường biên 29

1.6.1 Đường biên và ý nghĩa 29

1.6.2 Toán tử Prewitt 30

1.6.3 Toán tử Sobel 31

1.7 Phát hiện mặt phẳng bằng biến ñổi Hough 31

1.7.1 Biến ñổi Hough 31

1.7.2 Biến ñổi Hough trong không gian 3D 32

1.7.3 Phát hiện mặt phẳng bằng biến ñổi Hough: 33

Chương 2 : NGHIÊN CỨU THUẬT TOÁN BẢN ĐỒ CHÊNH LỆCH 34

2.1 Giới thiệu 34

2.2 Phương pháp SAD truyền thống 36

2.3 Phương pháp SAD ñiều chỉnh 39

2.3.1 Phương pháp SAD ñối với ñường biên 39

2.3.2 Phương pháp trích chọn ñường biên màu 41

2.4 Bộ lọc logic: 44

2.4.1 Sự che khuất trong hai tấm ảnh 44

2.4.2 Bộ lọc logic trong trường hợp này 45

2.5 Bộ lọc kích thước: 45

2.5.1 Kích thước lỗi sai 45

2.5.2 Cách lọc bằng kích thước: 46

2.6 Phương pháp SAD phân vùng 47

2.7 Hoàn thành disparity map 55

2.8 Kết luận về phương pháp SAD ñiều chỉnh 58

Chương 3: PHÁT HIỆN MẶT PHẲNG VÀ CHƯỚNG NGẠI VẬT 59

2.1 Phát hiện mặt phẳng: 59

2.1.1 Ưu nhược điểm của biến đổi Hough 59

2.1.2 Tổng quan phương pháp đốn vector khơng gian: 60

2.1.3 Các đặc điểm của mặt phẳng: 61

2.1.4 Dự đốn hướng của mặt phẳng: 62

2.1.5 Đường đồng mức: 63

2.1.6 Phương pháp Hough dựa trên đường đồng mức: 64

2.2 Phát hiện chướng ngại vật 65

2.2.1 Yêu cầu phát hiện chướng ngại vật: 65

2.2.2 Sự thể hiện của chướng ngại vật: 65

2.2.3 Các vấn đề trong phát hiện chướng ngại vật 66

2.2.4 Phát hiện chướng ngại vật: 67

Chương 4: KẾT QUẢ VÀ ĐÁNH GIÁ 68

2.1 Kết quả thực hiện chương trình: 68

2.1.1 Thuật tốn phát hiện độ sâu dựa trên phương pháp SAD điều chỉnh .68

2.1.2 Thuật tốn phát hiện độ sâu dựa trên phương pháp SAD lai .69

2.1.3 Thuật tốn phát hiện mặt phẳng và chướng ngại vật 71

2.2 Hướng phát triển thêm về đề tài: 72

2.2.1 Phần lý thuyết: 72

2.2.2 Hệ thống thị giác robot: 72

2.2.3 Hệ thống robot cứu hộ: 73

KẾT LUẬN 76

PHỤ LỤC 1 77

TÀI LIỆU THAM KHẢO 79

DANH MỤC HÌNH VẼ

Hình 1.1 : Robot cứu hộ 9

Hình 1.2 : Một thí nghiệm với robot cứu hộ 10

Hình 1.3: Sơ ñồ khối hệ thống 11

Hình 1.4 : Một ñường ñi ñược tính toán 14

Hình 1.6: Một cảnh trong phim 3D 19

Hình 1.7 : Ảnh 3D sau khi tách ra 20

Hình 1.8 : Stereo camera 20

Hình 1.9: Hoạt ñộng của stereo camera 21

Hình 1.10: Bản ñồ chênh lệch 22

Hình 1.11: Bản ñồ ñộ sâu 22

Hình 1.12 :Quan hệ ñộ sâu và tọa ñộ thực 23

Hình 1.13: Sơ ñồ khối tổng quát của một thuật toán tương ứng stereo 26

Hình 1.14: Chip ASIC (a) board FPGA (b) .27

Hình 1.15: Phân loại các giải thuật thị giác stereo 28

Hình 1.17: Đường biên làm rõ nội dung ảnh 29

Hình 1.16: Đường biên 29

Hình 1.18: Đồng xu với hai màu khác nhau 30

Hình 1.19 : Toán tử Prewitt 30

Hình 1.20 : Ảnh kết quả của toán tử Prewitt 31

Hình 1.21: Toán tử Sobel 31

Hình 1.22 : Biến ñổi Hough 31

Hình 1.23: Biến ñổi Hough trong không gian 3D 32

Hình 2.1: Ảnh kiểm tra Tsukuba (trái) và groundtruth (bên phải) 34

Hình 2.2: Bản ñồ ñộ sâu của việc thực hiện SAD với kích thước cửa sổ của 35 Hình 2.3: Bản ñồ ñộ sâu của việc thực hiện SSD với kích thước cửa sổ của 5x5 (trái), 7x7 (giữa) và 11x11 (bên phải) 36

Hình 2.4: Các kết quả tính SAD thông thường 37

Hình 2.5 : Tốc ñộ phép toán SAD với các kích thước cửa sổ khác nhau 38

Hình 2.6: Phương pháp SAD ñiều chỉnh 39

Hình 2.7: Đường biên cũng là ñường bao ñối tượng 40

Hình 2.8: Đánh giá kết quả của phương pháp SAD dựa trên ñường biên 41

Hình 2.9: Đường biên 20% số ñiểm bằng phương pháp Sobel màu và xám 42

Hình 2.10 : Các mảng màu của hình gốc 43

Hình 2.11: Sự che khuất ở 2 tấm ảnh 44

Hình 2.12: Lọc kích thước vùng 46

Hình 2.13: Thuật toán SAD phân vùng 49

Hình 2.14: Ảnh stereo trước khi chỉnh sửa 50

Hình 2.15: Ảnh stereo sau khi chỉnh sửa 50

Hình 2.16: Mô hình cơ bản cho phân vùng ảnh 52

Hình 2.17: Thuật toán SAD lai 55

Hình 2.18: Nội suy bên trong ñường biên 56

Hình 2.19: Tách riêng chi tiết dựa vào ñộ sâu 57

Hình 2.20: Nội suy một ñối tượng 57

Hình 2.21: Đối tượng nội suy bị tách ra 58

Hình 3.1: Khoảng giao nhau của các mặt phẳng 60

Hình 3.2: Mặt phẳng 61

Hình 3.3: Vector pháp tuyến 62

Hình 3.4: Đường ñồng mức 63

Hình 3.5 : Điểm gẫy khúc 64

Hình 3.6: Chướng ngại vật trong ảnh ñộ sâu 66

Hình 4.1: Một số kết quả thực hiện tìm SAD trên ñường biên 68

Hình 4.2: Nội suy bản ñồ chênh lệch với ảnh Cones 69

Hình 4.3: Kết quả thực nghiệm trên bốn ảnh thử nghiệm màu xám 70

Hình 4.5: Mặt phẳng thu ñược 72

DANH MỤC BẢNG

Bảng 4.1: So sánh kết quả của các giải thuật tính bản ñồ chênh lệch 71

DANH MỤC TỪ VIẾT TẮT

GPS Global Positioning System Hệ thống ñịnh vị toàn cầu

SAD Sum of Absolute Differences Tổng sai lệch tuyệt ñối SSD Sum of Squared Differences Tổng sai lệch bình phương

Differences

Tổng sai lệch tuyệt ñối lai

nevigation

Hệ thống robot thị giác dẫn ñường

arrays

Các mảng cổng trường khả trình

integrated circuits

Mạch tích hợp ứng dụng

Giới thiệu chung

1 Tính cấp thiết của ñề tài:

Trong bối cảnh khoa học công nghệ phát triển mạnh mẽ, theo chủ trương của Đảng và Nhà nước thì nhiệm vụ nghiên cứu phát triển khoa học công nghệ trở nên bức thiết hơn bao giờ hết Có ñặt vai trò làm chủ khoa học và công nghệ lên vị trí quan trọng hàng ñầu thì mới ñảm bảo mục tiêu hiện ñại hóa công nghiệp hóa ñất nước

Nằm một trong những ngành khoa học công nghệ hiện ñại, ngành Rô bốt ñang trở thành lĩnh vực phát triển hấp dẫn ñầy tiềm năng Rô bốt có mặt trong nhiều lĩnh vực thiết yếu và năng ñộng như y tế ñể theo dõi, giúp ñỡ bệnh nhân, trong cứu

hộ cứu nạn, tham gia vào các khâu trong dây truyền sản xuất, lĩnh vực giải trí như các trò chơi tương tác hình ảnh…

Một xu hướng phát triển mới là rô bốt sử dụng camera thị giác ñể quan sát như mắt người Mặc dù việc chiết xuất dữ liệu từ ảnh thị giác là khó khăn hơn là dùng cảm biến nhưng bù lại thì cách thức này cung cấp cho rô bốt và con người những dữ liệu trực quan sinh ñộng và ñầy ñủ

Robot cũng có thể ñược trang bị nhiều cảm biến hình ảnh ñể có thể tính toán chiều sâu của thị giác trong môi trường ñược tốt hơn Giống như ñôi mắt của con người, "ñôi mắt "robot" cũng phải có khả năng tập trung vào một khu vực ñặc biệt,

và cũng có thể ñiều tiết ñể thích nghi với sự thay ñổi cường ñộ ánh sáng

Tình hình nghiên cứu thuật toán xử lý tín hiệu camera chưa ñược sự quan tâm xứng ñáng với vai trò quan trọng của nó Nguyên nhân chủ yếu là việc ñịnh hướng nghiên cứu chưa ñược hoạch ñịnh ở tầm vỹ mô Nếu ñiều này ñược xây dựng một cách bài bản thì sẽ khuyến khích có nhiều nhà khoa học, các nghiên cứu sinh, kỹ sư … tham gia bởi tính ứng dụng thiết thực ñến nhiều lĩnh vực trong ñời sống xã hội Mặc dù xử lý tín hiệu camera là một khoa học ứng dụng ñóng vai trò ñặc biệt cho sự phát triển của các hệ thống giám sát, cứu hộ, hỗ trợ bệnh nhân …

nhưng do ñặc thù của lĩnh vực nghiên cứu là ñòi hỏi có những kiến thức cơ bản về toán học và logic vững vàng, nên dẫn ñến nhiều khó khăn trong nghiên cứu ñối với nhiều người Cho nên không có nhiều các bài báo, các công trình khoa học có giá trị ñược công bố trên các tạp chí khoa học, báo khoa học ở trong nước Tuy nhiên ngoài nhóm nghiên cứu của Viện Điện tử - Viễn thông, Trường Đại học Bách Khoa

Hà Nội, ở trong các trường ñại học các viện khoa học vẫn có những nhóm nghiên cứu mang tính chất tự phát thực hiện các ñề tài, dự án NCKH như: Khoa Điện tử - Viễn thông, Trường ĐH Công nghệ ĐHQG Hà Nội; Học viện kỹ thuật quân sự; Khoa Điện tử - Viễn thông, Trường ĐHBK TP HCM, ĐHQG TP HCM, và một số trường ñại học, viện nghiên cứu khác

Riêng ñối với những nghiên cứu phát triển thuật toán xử lý tín hiệu camers ứng dụng trong hệ thống thị giác rô-bốt dẫn ñường và cứu hộ, mặc dù hứa hẹn sẽ giải quyết ñược vấn ñề hiệu năng và tính chính xác hệ thống, có tính ứng dụng cao trong tương lai, nhưng do ñiều kiện nghiên cứu thực nghiệm còn nhiều hạn chế nên cho ñến nay chưa có một công trình nghiên cứu nào ñược công bố trong các tạp chí,

hội thảo khoa học trong nước (theo sự tìm hiểu của cá nhân)

Với nhận ñịnh tình hình như trên tác giả mong muốn thực hiện ñề tài:

“Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di

2 Mục tiêu nghiên cứu

2.1 Mục tiêu nghiên cứu tổng quát

Nghiên cứu và triển khai một số thuật toán xử lý ảnh stereo

Kết quả của ñề tài có thể ứng dụng trên các hệ thống quan sát stereo nói chung và rôbốt thị giác stereo nói riêng

2.2 Mục tiêu cụ thể

- Nghiên cứu về hệ thống rôbốt sử dụng ña cảm biến và hệ thống camera stereo

- Nghiên cứu tổng quát về lý thuyết ảnh, ảnh số, ảnh stereo thị giác

- Nghiên cứu các kỹ thuật xử lý ảnh cơ bản

- Nghiên cứu một số thuật toán xử lý ảnh thị giác stereo

- Triển khai thành công một số thuật toán xử lý ảnh thị giác stereo

3 Đối tượng và phạm vi nghiên cứu

• Nghiên cứu ñược tiến hành trên ñối tượng

Đối tượng nghiên cứu của ñề tài là các thuật toán xử lý tín hiệu ảnh stereo thị

giác nằm trong khâu tiền xử lý

• Phạm vi nghiên cứu

Nghiên cứu ñược thực hiện chủ yếu tại Viện ñại học Mở Hà Nội Ngoài ra, nghiên cứu cũng có sự hợp tác với một số phòng LAB của Viện Điện tử Viễn thông, trường Đại học Bách Khoa Hà Nội

Thời gian thực hiện ñề tài ñược dự kiến tiến hành trong 06 tháng gồm có hai phần nghiên cứu lý thuyết và tiến hành thực nghiệm

4 Tổng quan tài liệu

Hệ thống stereo thị giác là hệ thống dùng ñể quan sát môi trường bằng hai camera thị giác Bản thân thuật ngữ “stereo” có nguồn gốc từ tiếng Latin có nghĩa là rắn, chắc chắn Vậy ta hiểu vấn ñề là ñể thu thập thông tin từ môi trường một cách chính xác, ñầy ñủ thì hệ thống quan sát cần phải có nhiều camera ñặt ở các góc ñộ khác nhau Hệ thống camera thị giác stereo thường ñặt hai camera theo phương nằm ngang giống như mắt người và mắt của hầu hết các ñộng vật Các ñối tượng trong phạm vi quan sát ñược phản chiếu hình ảnh qua thấu kính của mỗi camera lên màn chắn Hệ thống thu ñược dữ liệu này gọi là cảnh Tất nhiên mỗi cảnh gồm có hai ảnh, tương ứng camera bên trái thì cho ảnh trái và camera bên phải thì cho ảnh phải Lúc này các ñối tượng trong cảnh lại ñược hiện thị trong không gian hai chiều Vấn

này mà các ñối tượng trong môi trường ñược tái tạo trong một phối cảnh không gian

ba chiều Quá trình này gọi là chuyển ñổi ngược phối cảnh Quá trình này diễn ra càng nhanh và chính xác thì càng thuận lợi cho sự di chuyển tới ñích, nhận dạng ñối tượng… của hệ thống Đối với bộ óc của con người thì vấn ñề chuyển ñổi phối cảnh ngược không có gì khó khăn Tuy nhiên ñối với các máy tính thị giác thì cần phải giải quyết nhiều vấn ñề phức tạp nhằm ñạt ñược mục ñích khai thác tối ña thông tin nằm trong cảnh thu nhận ñược

Trong quá trình hoạt ñộng, rô bốt cần thực hiện các thao tác chủ yếu là quan sát, thu thập dữ liệu về môi trường xung quanh, ñồng thời di chuyển hợp lý tới mục tiêu Hầu hết các hoạt ñộng trên ñều diễn ra trong thời gian thực tức là ñòi hỏi việc

xử lý dữ liệu thu thập ñược một cách nhanh chóng với sự ñảm bảo về tính chính xác

Khi xử lý tín hiệu ảnh stereo thị giác thường có hai khâu (hình 1)

- Khâu ñầu tiên là khâu tiền xử lý có nhiệm vụ lấy ra các dữ liệu có chứa thông tin hữu ích cho việc phát triển các ứng dụng thị giác stereo thời gian thực

Khâu thứ hai các ứng dụng thị giác như ứng dụng tái tạo môi trường 3D, tìm ñường, phát hiện ñối tượng…

Hình 1: Quá trình xử lý dữ liệu ảnh stereo thị giác Trong khâu tiền xử lý, có một ñặc ñiểm chính là khối lượng dữ liệu thu thập bằng camera rất lớn (lớn hơn nhiều lần so với dữ liệu thu thập bằng cảm biến) nên việc xử lý chúng ngay từ ñầu là một nhiệm vụ khó khăn ñòi hỏi nhiều tài nguyên máy tính và tốn nhiều thời gian Khi di chuyển, rô bốt cần phát hiện nhiều ñối tượng

trong ñó ñối tượng quan trọng là ñường ñi Đường ñi ñược xây dựng bằng các mặt phẳng cơ bản trong không gian gồm mặt phẳng của mặt ñất, mặt phẳng tường hai bên Vì vậy việc phát hiện các mặt phẳng là khâu rất quan trọng

Do ñó tác giả nhận thấy khâu tiền xử lý là rất quan trọng, cần ñược nghiên cứu một cách nghiêm túc Với mong muốn thử sức mình trong một lĩnh vực hiện ñại, với hy vọng sẽ thu nhận ñược những kiến thức bổ ích, ñóng góp cho ngành

rôbốt của Việt Nam, tác giả mong muốn thực hiện ñề tài: “Nghiên cứu thuật toán

Trong ñề tài tác giả mong muốn giải quyết vấn ñề cải thiện về thời gian và tài nguyên máy tính khi thực hiện các thuật toán xử lý tín hiệu stereo camera trong

phát hiện mặt phẳng và chướng ngại vật

5 Nội dung, vật liệu và phương pháp nghiên cứu

5.1 Nội dung nghiên cứu:

Luận văn bao gồm 4 chương:

- Chương 1: Nghiên cứu tổng quan về rôbốt cứu hộ và ứng dụng hệ thống camera stereo thị giác

- Chương 2: Nghiên cứu thuật toán tìm bản ñồ chênh lệch của cặp ảnh stereo

- Chương 3: Nghiên cứu phương pháp phát hiện mặt phẳng và chướng ngại vật

- Chương 4: Kết quả thu ñược và ñánh giá, kết luận

5.2 Phương pháp nghiên cứu:

Các nội dung nghiên cứu lý thuyết ñược thực hiện thông qua việc tìm hiểu các giáo trình, tài liệu thao khảo chuyên ngành xử lý ảnh Cụ thể như sau:

- Nghiên cứu về hệ thống rôbốt sử dụng ña cảm biến và hệ thống camera stereo: ñọc tài liệu, các bài báo về thiết kế, mô hình hóa hệ thống rô bốt ñể tổng hợp

- Nghiên cứu về các chuẩn ảnh số: phạm vi nghiên cứu là các chuẩn ảnh số ñược sử dụng phổ biến có ưu ñiểm là dung lượng ảnh nhỏ, chất lượng ảnh ñảm bảo tốt cho việc trích chọn dữ liệu; ñịa ñiểm nghiên cứu tại thư viện như thư viện của Viện Đại học Mở Hà Nội, thư viện Quốc gia Phương pháp nghiên cứu chủ yếu dựa vào việc ñọc, thu thập kiến thức từ các tài liệu, các sách ñiện tử, các trang web trên Internet

- Nghiên cứu các kỹ thuật xử lý ảnh số cơ bản: Phương pháp nghiên cứu chủ yếu dựa vào việc ñọc, thu thập kiến thức từ các tài liệu, các sách ñiện tử, các trang web trên Internet

- Nghiên cứu thuật toán Tổng sai lệch tuyệt ñối ứng dụng trong bài toán tìm bản ñồ chênh lệch của cặp ảnh stereo: phạm vi nghiên cứu là nhằm tới ứng dụng của thuật toán trong việc tính toán bản ñồ chênh lệch ; ñịa ñiểm nghiên cứu tại thư viện như thư viện của Viện Đại học Mở Hà Nội, thư viện Quốc gia Phương pháp nghiên cứu chủ yếu dựa vào việc ñọc, thu thập kiến thức từ các tài liệu, các sách ñiện tử, các trang web trên Internet

- Xây dựng công cụ tính toán bản ñồ chênh lệch có khả năng tính toán bản ñồ chênh lệch Công cụ này cho phép thực hiện giải thuật với các tập tham số khác nhau nhằm mục ñích khảo sát ñánh giá giải thuật trong các trường hợp ña dạng nhằm hướng tới bài toán tối ưu trong môi trường thực tế.; ñịa ñiểm nghiên cứu tại phòng thí nghiệm của Viện Đại học Mở Hà Nội, liên hệ hợp tác với phòng thí nghiệm tại Viện Điện tử - Viễn thông, Đại học Bách Khoa Hà Nội Phương pháp nghiên cứu cũng tham khảo việc ñọc, thu thập kiến thức từ các tài liệu, các sách ñiện tử, các trang web trên Internet

- Phương pháp xử lý số liệu dựa trên phần mềm bảng tính Số liệu ñược công

cụ tính toán trích dẫn sang tệp bảng tính ñể thuận tiện cho việc tổng và phân tích

6 Dự kiến kết quả (viết theo từng nội dung nghiên cứu, dự kiến logíc và khoa học, tính khả thi )

- Nghiên cứu về hệ thống rôbốt sử dụng ña cảm biến và hệ thống camera stereo

- Nghiên cứu về các chuẩn ảnh số: nắm bắt ñặc ñiểm từng loại ảnh chuẩn

- Nghiên cứu các kỹ thuật xử lý ảnh số cơ bản gồm các phép xử lý tiền kỳ và phép xử lý ảnh hậu kỳ: hiểu các thuật toán xử lý ảnh, thực hiện ñược mã nguồn

- Nghiên cứu thuật toán Tổng sai lệch tuyệt ñối ứng dụng trong bài toán tìm bản ñồ chênh lệch của cặp ảnh stereo: hiểu các thuật toán xử lý ảnh, thực hiện ñược

mã nguồn Phân tích ñược ưu nhược ñiểm Đưa ra một số giải pháp thực hiện hiệu quả hơn

- Xây dựng công cụ tính toán bản ñồ chênh lệch: công cụ cho phép tiến hành thực nghiệm tiện lợi, nhanh chóng

Chương 1: TỔNG QUAN VỀ ROBOT CỨU HỘ ỨNG

DỤNG HỆ THỐNG CAMERA THỊ GIÁC

1.1 Rôbốt cứu hộ

Robot cứu hộ trước hết là một robot có nhiệm vụ giúp ñỡ các nhân viên cứu

hộ cấp cứu người trong việc khắc phục hậu quả của các thảm họa Cũng giống những người bình thường khác, nhân viên cứu hộ sau một thời gian thực hiện nhiệm

vụ thì thường gặp phải tình trạng mệt mỏi và không thể chịu ñược những ñiều kiện quá khắc nghiệt Hiệu quả công việc khó có thể ñảm bảo duy trì Những lợi ích sinh

ra từ việc áp dụng robot cứu hộ là giảm số lượng nhân viên cứu hộ, tăng năng suất làm việc, tránh mệt mỏi và tăng cường khả năng tiếp cận những khu vực nằm ngoài khả năng của người thường

Công nghệ về robot cứu hộ ñã ñược thử nghiệm lần ñầu tiên trong vụ thảm họa 11 tháng 9 ở Mỹ Những robot có nhiệm vụ tìm kiếm những người còn sống sót trong ñống ñổ nát sau thảm họa Kể từ sau ñó, các ý tưởng về robot cứu hộ ñã ñược những nhà khoa học từ khắp nơi trên thế giới quan tâm và phát triển

Hình 0.1 : Robot cứu hộ

Những robot cứu hộ ñược phát triển với những khả năng tìm kiếm, trinh sát, lập bản ñồ, loại bỏ hoặc gia cố các ñống ñổ nát, cung cấp vật tư, chăm sóc y tế… Với tất cả các nhu cầu trên, robot cứu hộ vẫn còn là thách thức cho các nhà khoa học cho ñến hiện nay

Hình 0.2 : Một thí nghiệm với robot cứu hộ

Khó khăn nhất trong việc phát triển một robot cứu hộ ñó là các thảm họa thì hiếm khi xảy ra, và mỗi khi chúng xảy ra thì lại diễn biến khác nhau Những robot cứu hộ không bao giờ có thể ñược sử dụng một cách chính xác so với kịch bản ñưa

ra từ trước Cho nên, mỗi khi thảm họa xảy ra thì lại có những tắc nghẽn xảy ra với

hệ thống robot cứu hộ hiện thời Chính vì vậy, công nghệ về robot cứu hộ là một công nghệ luôn phát triển

1.2 Kiến trúc hệ thống rôbốt

Với yêu cầu về tính năng như trên, một hệ thống rô bốt thị giác dẫn ñường (RNV) tổng quát có thể ñược minh họa trong sơ ñồ khối Hình 0.3:

Hình 0.3: Sơ ñồ khối hệ thống

Với mỗi khối riêng biệt thì thực hiện các chức năng khác nhau Các chức năng này bổ sung các tính năng riêng biệt cho Robot

a Khối xử lý trung tâm:

Đối với mỗi hệ thống thì khối xử lý trung tâm là một bộ não quyết ñịnh xem

hệ thống ñó hoạt ñộng như thế nào? Đối với mỗi ứng dụng thì cần yêu cầu khác nhau về tốc ñộ, khả năng xử lý, hỗ trợ các giao tiếp với bên ngoài thông qua các cảm biến khác nhau

b Hệ thống ñịnh vị dẫn ñường:

Để hệ thống có thể hoạt ñộng ñộc lập thì ngoài các nhân tố ảnh hưởng tới hệ thống RNV như chương trình ñiều khiển, các nhân tố ngoại cảnh,… thì việc có thông tin chính xác về vị trí hiện tại của robot hướng di chuyển, ñích ñến là một ñiều rất quan trọng ñể hệ thông RNV hoạt ñộng ñược Hệ thống này sẽ cung cấp cho robot các thông tin hữu ích về trạng thái của robot thông qua hệ thống ñịnh vị GPS và các thông tin này ñược giao tiếp với người sử dụng qua màn hình

c Hệ thống Stereo Camera:

Để hệ thống hoạt động hiệu quả thì cần phải cĩ những cảm biến thơng minh,

và đây là một trong số đĩ Với hệ thống này thì các tín hiệu hình ảnh về mơi trường xung quang được thu nhận và xử lý tại khối xử lý trung tâm thơng qua các thuật tốn và phương pháp khác nhau giúp cho hệ thống cĩ thể nhận biết, phán đốn các tình huống cĩ thể xảy ra tại vị trí theo dõi đễ cĩ những “quyết định” chính xác

d Hệ thống cảm biến:

Tùy vào mục đích khác nhau mà các hệ thống robot được trang bị các cảm biến khác nhau ví dụ cảm biến nhiệt độ, độ ẩm, khí gas, cảm biến va chạm, cảm biến gia tốc… Chính cĩ các cảm biến này mà hệ thống nhận biết được mơi trường xung quanh

e Cơ cấu chấp hành

Sau khi thu thập được các tín hiệu của mơi trường xung quanh thì qua quá trình xử lý thơng tin mà bộ xử lý trung tâm sẽ điều khiển robot làm nhiệm vụ đã được lập trình sẵn Với hệ thống cứu nạn bằng robot, sau khi phát hiện nạn nhân thì

cơ cấu chấp hành sẽ lấy vật cản ra để cĩ thể tiếp cận nạn nhân Một cơ cấu chấp hành đơn giản mà hệ thống robot nào cũng cĩ đĩ là cơ cấu di chuyển của robot Sau khi xác định được hướng đi robot sẽ điều khiển động cơ chuyển động theo yêu cầu

g Hệ thống giám sát từ xa

Sau khi lập trình cho robot, robot khơng thể cĩ những “quyết định” đối với những tình huống nhạy cảm, do đĩ cần phải cĩ sự giám sát điều khiển từ trung tâm

Thông qua hệ thống giám thì robot có thể ñược kiểm soát và ñiều khiển an toàn và hiệu quả nhất

Chương ñầu tiên của ñồ án sẽ giới thiệu tổng quan về hệ thống dẫn ñường cho robot cứu hộ sử dụng thị giác máy tính Trong chương này, chúng ta sẽ làm rõ thế nào là robot cứu hộ, thế nào là dẫn ñường, các phương pháp dẫn ñường và tầm quan trọng của dẫn ñường ñối với robot cứu hộ Tiếp theo ñó, hệ thống thị giác máy tính

áp dụng cho việc dẫn ñường sẽ ñược mô tả sơ lược, làm cơ sở cho các phần tiếp theo của ñồ án

1.3 Hệ thống dẫn ñường cho robot

Hệ thống dẫn ñường cho robot là một hệ thống kết hợp phần cứng và phần mềm nhằm tính toán ñường ñi cho robot một cách hợp lý Có rất nhiều hệ thống dẫn hướng từng ñược nghiên cứu và ứng dụng rộng rãi sử dụng trong các robot công nghiệp, vệ tinh, ô tô và nhiều hệ thống tự ñộng khác Trong những hệ thống ñó, có những hệ thống khá ñơn giản và cũng có những hệ thống rất phức tạp Các hệ thống dẫn hướng khác nhau ñều có những ñặc trưng riêng và có những ứng dụng riêng biệt

Ngày nay ñã xuất hiện những hệ thống dẫn hướng tổng hợp ñược tạo ra từ nhiều hệ thống khác nhau Các hệ thống con trong một hệ thống tổng hợp sẽ bổ xung thông tin cho nhau, qua ñó có ñược thông tin ñịnh hướng cho robot một cách chính xác nhất có thể Các hệ thống tổng hợp thường có chi phí lớn hơn nhưng có

ñộ chính xác cao hơn các hệ thống ñơn lẻ

Hình 0.4 : Một ñường ñi ñược tính toán

Hệ thống dẫn ñường rất quan trọng ñối với một robot cứu hộ Nó giúp robot di chuyển nhanh hơn ñến mục tiêu với những nguy cơ tối thiểu

Vấn ñề cứu hộ là vấn ñề sống còn Trong khi các nhân viên cứu hộ ñang tính ñường ñi ñến nơi nạn nhân mắc kẹt thì mạng sống của nạn nhân ñang bị ñe dọa Như vậy, thời gian cứu hộ sẽ ảnh hưởng trực tiếp ñến khả năng sống sót của các nạn nhân

Đối với một robot cứu hộ, việc dẫn ñường tốt sẽ dẫn ñến khả năng tiếp cận nạn nhân nhanh chóng Nếu robot bị lạc ñường nhiều, thời gian tiếp cận nạn nhân sẽ dài thêm, ảnh hưởng ñến tính mạng của nạn nhân Robot tìm ñường tốt sẽ giúp việc cứu hộ gặp thuận lợi

Việc dẫn ñường tốt cũng góp phần làm giảm thiệt hại cho robot, ñội cứu hộ và cho nạn nhân Trong thiên tai, thảm họa, việc gặp phải những môi trường nguy hiểm cục bộ là khó tránh khỏi Những nơi ñó có thể là nơi nhiệt ñộ quá cao, nhiễm phóng xạ hoặc ñộc hại… Đặc biệt trong tình hình robot ñang mang những nạn nhân

ñi kèm thì thiệt hại sẽ lớn hơn khi di chuyển nhầm vào khu vực nguy hiểm Chính

vì thế, việc dẫn ñường ñể tránh nguy hiểm là rất cần thiết cho robot cứu hộ

• Dẫn ñường riêng: Là khả năng xác ñịnh vị trí của các bộ phận cấu thành nên robot nhằm khiến cho việc tương tác với các ñối tượng ngoài tốt hơn

3 nguyên tắc dẫn ñường trên có thể ñược ứng dụng một cách ñộc lập riêng phần hoặc sử dụng kết hợp với nhau ñể bổ xung thông tin cho nhau Đối với mỗi một nguyên tắc ñều có những ưu nhược ñiểm nhất ñịnh

1.4 Hệ thống thị giác

Thị giác máy tính là các công nghệ lõi của phân tích hình ảnh và ñược sử dụng trong nhiều lĩnh vực bao gồm robot cứu hộ Thị giác máy tính không ñơn giản là những cỗ máy thu thập thông tin hình ảnh giống những cảm biến thông thường, nó

là công nghệ xử lý và lấy thông tin từ các hình ảnh Lĩnh vực này bao gồm các phương pháp thu thập, xử lý, phân tích và sự nhận biết hình ảnh Thông tin xuất ra

từ ñây có thể biểu diễn ở dạng số, biểu tượng…

Một trong những ứng dụng của thị giác máy tính là dẫn ñường cục bộ Hệ thống thị giác máy tính sẽ ñưa ra các thông tin hỗ trợ robot tìm ñường hoặc tương tác với thế giới ngoài Các thông tin mà hệ thống cung cấp cho robot có thể là thông tin về bối cảnh 3D, về ñối tượng cụ thể, về chướng ngại vật…

1.4.2 Hệ thống dẫn ñường cho robot cứu hộ sử dụng thị giác máy tính

Hệ thống stereo thị giác là hệ thống dùng ñể quan sát môi trường bằng hai

camera thị giác Bản thân thuật ngữ “stereo” có nguồn gốc từ tiếng Latin có nghĩa là

rắn, chắc chắn Vậy ta hiểu vấn ñề là ñể thu thập thông tin từ môi trường một cách

chính xác, ñầy ñủ thì hệ thống quan sát cần phải có nhiều camera ñặt ở các góc ñộ

khác nhau Hệ thống camera thị giác stereo thường ñặt hai camera theo phương nằm

ngang giống như mắt người và mắt của hầu hết các ñộng vật Các ñối tượng trong phạm vi quan sát ñược phản chiếu hình ảnh qua thấu kính của mỗi camera lên màn

chắn Hệ thống thu ñược dữ liệu này gọi là cảnh Tất nhiên mỗi cảnh gồm có hai

ảnh, tương ứng camera bên trái thì cho ảnh trái và camera bên phải thì cho ảnh phải

Lúc này các ñối tượng trong cảnh lại ñược hiện thị trong không gian hai chiều Vấn

ñề là nhờ có quá trình và phương pháp xử lý thích hợp của hệ thống stereo thị giác

này mà các ñối tượng trong môi trường ñược tái tạo trong một phối cảnh không gian

ba chiều Quá trình này gọi là chuyển ñổi ngược phối cảnh Quá trình này diễn ra

càng nhanh và chính xác thì càng thuận lợi cho sự di chuyển tới ñích, nhận dạng ñối

tượng… của hệ thống Đối với bộ óc của con người thì vấn ñề chuyển ñổi phối cảnh

ngược không có gì khó khăn Tuy nhiên ñối với các máy tính thị giác thì cần phải

giải quyết nhiều vấn ñề phức tạp nhằm ñạt ñược mục ñích khai thác tối ña thông tin

nằm trong cảnh thu nhận ñược

Hệ thống dẫn ñường sử dụng thị giác máy tính vẫn còn là một lĩnh vực mới

mẻ ở Việt Nam và vẫn ñang trong giai ñoạn phát triển trên thế giới Áp dụng kỹ

thuật này cho robot, chi phí tính toán sẽ lớn nhưng ñổi lại có ñược nhiều thông tin

từ một hệ thống ñầu vào duy nhất

Hệ thống dẫn ñường cho robot có quy trình làm việc như 1-5:

Hình 0-5 : Hệ thống dẫn ñường sử dụng thị giác máy tính

Trong quá trình hoạt ñộng, rô bốt cần thực hiện các thao tác chủ yếu là quan sát, thu thập dữ liệu về môi trường xung quanh, ñồng thời di chuyển hợp lý tới mục tiêu Hầu hết các hoạt ñộng trên ñều diễn ra trong thời gian thực tức là ñòi hỏi việc

xử lý dữ liệu thu thập ñược một cách nhanh chóng với sự ñảm bảo về tính chính xác

Stereo camera[7] sẽ thu nhận hình ảnh từ môi trường vào dưới dạng thông tin hình ảnh Sau ñó, bộ vi ñiều khiển nhúng bên trong nó sẽ phân tích các hình ảnh thành các bề mặt, các vật cản và ñối tượng

Các thông tin này sau ñó ñược kết hợp cùng các thông tin khác, ñược tổng hợp thành một tấm bản ñồ mà hệ thống tìm ñường có thể hiểu ñược Hệ thống tìm ñường dựa trên bản ñồ và mục ñích hành ñộng sẽ ñưa ra con ñường chuẩn cho robot Qua ñó, nó ñưa ra các tín hiệu ñiều khiển cho các cơ cấu chấp hành của robot thực hiện

Để thu hẹp phạm vi của ñồ án, ñồ án này sẽ chỉ ñưa ra cách trích ra các mặt phẳng và các vật cản trong môi trường từ kết quả thu ñược của stereo camera Các phương pháp vạch ra sẽ yêu cầu tài nguyên tính toán thấp nhưng có ñược kết quả tốt

Cuộc cách mạng khoa học kỹ thuật là một bước phát triển vượt bậc của loài người, cuộc cách mạng ñó ñã làm thay ñổi hoàn toàn cuộc sống của con người trong tất cả mọi lĩnh vực của cuộc sống như cuộc sống, sản xuất, lao ñộng,… Một thành tựu ñáng kể ñến là sự ra ñời của robot Robot thay thế các công việc nặng nhọc, làm việc trong môi trường ñộc hại, nguy hiểm ñến tính mạng Đối với một số ñịa hình khó khăn ñể di chuyển và xác ñịnh phương hướng ( vùng rừng núi, sa mạc, vùng nhiễm phóng xạ, khí ñộc, khu vực bị khủng bố, vùng thiên tai,…) Ở những nơi này cần có sự hỗ trợ của robot Để có thể hoạt ñộng tốt tại các môi trường này thì cần phải có một hệ thống ñịnh vị dẫn ñường thông minh cho robot khi vận hành Trên thế giới và Việt Nam thì ñã xuất hiện nhiều phương pháp khác nhau ñể ñịnh vị dẫn ñường cho robot ví dụ như:

• Hệ thống ñịnh vị sử dụng sóng radio (Radio navigation) [1] Với hệ thống này ñể xác ñịnh một ñối tượng (một vị trí) thì ta sử dụng sóng ñiện từ ñể xác ñịnh vị trí thông qua ba ñiểm ( tam giác) Với phương pháp này thì có nhiều ưu ñiểm và nhược ñiểm Nhưng nhược ñiểm lớn nhất là không thể tích hợp trong các hệ thống

có kích thước nhỏ

• Hệ thống ñịnh vị GPS Đây là một hệ thống ñịnh vị sử dụng vệ tinh nhân tạo

do bộ quốc phòng Mỹ thiết lập và xây dựng Để xác ñịnh vị trí thì cần phải có ít nhất ba vệ tinh ñể xác ñịnh tọa ñộ ñiểm ñó Với sự phát triển mạnh về kỹ thuật làm cho kích thước và ñộ chính xác của máy thu ngày càng ñược nâng cao về chất lượng Chính vì lý do ñó mà hệ thống GPS ngày càng ñược tích hợp nhiều trong hệ thống ñặc biệt là trên robot

Hệ thống RNV với mục ñích thay thế cho con người cho công việc cứu hộ trong những môi trường khắc nghiệt, nhiễm ñộc hay phóng xạ… ảnh hưởng tới sức khỏe cũng như tính mạng của con người tham gia công tác này

1.5 Cơ sở tính toán ảnh stereo

Mọi cách giải quyết mới ñều phải ñược phát triển trên một nền tảng sẵn có Ở chương 2, các kỹ thuật cơ bản của xử lý ảnh 3D sẽ ñược ñưa ra ñể làm cơ sở phát triển cho các thuật toán về sau Bước ñầu tiên, chúng ta sẽ tìm hiểu về ảnh 3D và

máy quay 3D, nền tảng cơ sở ñầu tiên của hệ thống Sau ñó, các kỹ thuật xử lý ñể trích ra nội dung của ảnh sẽ ñược bàn ñến Các kỹ thuật này chỉ là cơ bản ñể những

kỹ thuật ñược phát hiện trong ñồ án này sẽ dựa vào ñó mà hoàn thiện

Thực tế, khi tách hai tấm ảnh của một ảnh 3D, chúng ta sẽ có thể nhận ñược những bức ảnh tương tự như trong Hình 0.6

Ảnh 3D có nhiều ứng dụng hơn là ñể giải trí Nó có khả năng lưu trữ ñộ sâu ñiểm ảnh nên cũng ñược sử dụng cho các ứng dụng yêu cầu ñộ sâu ñiểm ảnh Nói cách khác, từ một tấm ảnh 3D, chúng ta có thể mô tả lại không gian hoặc lấy những thông tin hữu ích từ ñộ sâu ñiểm ảnh Các ñối tượng 3D cũng có thể ñược trích ra từ

Hình 0.7 : Stereo camera

Hình 0.8 thể hiện hoạt ñộng của một stereo camera Các chi tiết sẽ ñược thu vào 2 tấm ảnh thông qua 2 ống kính của camera cùng một lúc Lúc này, tọa ñộ của ñiểm ảnh thu ñược trên hai tấm sẽ có một ñộ lệch nhất ñịnh, ta gọi ñộ lệch ñó là

Hình 0.8: Hoạt ñộng của stereo camera

Ta có:

Và khoảng cách từ ñiểm A ñến camera sẽ ñược tính:

(0-2)

Như vậy, từ các tọa ñộ ảnh thu ñược của ñiểm A trên hai tấm ảnh trái phải, ta

sẽ thu ñược khoảng cách từ camera tới ñiểm A Khoảng cách này còn ñược gọi là

ñộ sâu ñiểm ảnh ký hiệu bằng z

Bản ñồ chênh lệch (Disparity map) và bản ñộ sâu (Depth map) là hai loại bản

ñồ thể hiện khoảng cách của các ñiểm ảnh trong không gian ñến mặt phẳng quy chiếu

Hình 0.9: Bản ñồ chênh lệch

Bản ñồ sai lệch thể hiện giá trị trong công thức (0-1) và (0-2) Các vị trí ở gần màn ảnh quy chiếu sẽ có giá trị cao hơn so với những ñiểm ở xa Vì vậy, khi thể hiện dưới dạng ảnh xám, các ñiểm ở xa có màu ñen và các ñiểm ở gần có màu sáng hơn Lý do của việc này là các ñiểm ở xa sẽ cho ñộ sai lệch nhỏ hơn các ñiểm ở gần

Hình 0.10: Bản ñồ ñộ sâu

Bản ñồ ñộ sâu thể hiện giá trị z ở trong công thức (0-2) Ngược lại với bản ñồ chênh lệch, bản ñồ ñộ sâu thể hiện những ñiểm ảnh ở gần với giá trị thấp hơn những ñiểm ảnh ở xa Theo như công thức (0-2) thì z sẽ tỷ lệ nghịch với Chính

vì thế nên mới có sự ñối lập giữa hai bản ñồ như vậy

Sử dụng công thức (0-2), chúng ta có thể biến ñổi từ một bản ñồ chênh lệch sang một bản ñồ ñộ sâu và ngược lại

1.5.4 Mối quan hệ giữa ảnh ñộ sâu và tọa ñộ thực:

Hình 0.11 :Quan hệ ñộ sâu và tọa ñộ thực

Hình 0.11 thể hiện mối quan hệ giữa ñộ sâu trong bản ñồ ñộ sâu và tọa ñộ thực của ñiểm ảnh Trên bản ñồ ñộ sâu, giá trị x’A ñược thể hiện là tọa ñộ của ñiểm ảnh trong bản ñồ Bên cạnh ñó, giá trị zA lại ñược thể hiện dưới dạng giá trị của ñiểm ảnh trong bản ñồ Như vậy, tọa ñộ thực sự xA là một ñại lượng chưa biết nhưng có thể suy ra từ bản ñồ ñộ sâu Công thức (0-3) là mối liên hệ giữa tọa ñộ thực x và các tọa ñộ ở ảnh ñộ sâu:

việc thực hiện một cuộc khảo sát trong lĩnh vực thị giác stereo sẽ ñáp ứng tốt cho những người gắn bó với lĩnh vực này cũng như người mới quan tâm có thể bắt kịp một cách nhanh chóng

Việc phân loại chính xác các thành tựu nghiên cứu có thể tham khảo các tác giả Scharstein và Szeliski (2002) và Sunyoto, Mark và Gavrila (2004), các phương pháp ñã ñược ñề xuất (Yoon và Kweon 2006a; Klaus et al 2006) Xu hướng mới nhất trong lĩnh vực này chủ yếu là theo ñuổi các tiêu chí thời gian thực, tốc ñộ thực hiện, cũng như ñộ chính xác cao Ngày nay, sự phát triển của các thuật toán lõi ñã ñạt ñược nhiều tiến bộ, giúp cho nhà nghiên cứu hàng ñầu tập trung vào hướng ñổi mới kết quả trong việc triển khai trên phần cứng hiệu quả hơn

2 Phân loại

Phát hiện cặp liên hợp trong hình ảnh stereo là một vấn ñề nghiên cứu ñầy thách thức còn ñược gọi là vấn ñề tương ứng Ví dụ, bài toán tìm cho mỗi ñiểm trong hình ảnh bên trái một ñiểm tương ứng trong ảnh bên phải (Barnard và Thompson 1980) Để xác ñịnh hai ñiểm này từ một cặp ảnh stereo thì ñiều cần thiết

là ño lường sự giống nhau của các ñiểm Điểm ñược coi là tương ứng phải không có bất kỳ sự mơ hồ tức là phải khác biệt một cách rõ ràng với các ñiểm ảnh xung quanh nó Có một số thuật toán ñã ñược ñề xuất ñể giải quyết vấn ñề này Tuy nhiên, tất cả các thuật toán này ñều sử dụng hàm chi phí kết hợp ñể thiết lập sự tương ứng giữa hai ñiểm ảnh Có ba phương pháp phổ biến nhất là phương pháp dựa trên sự khác biệt cường ñộ tuyệt ñối (AD), phương pháp dựa trên sự khác biệt cường ñộ bình phương (SD) và phương pháp dựa trên sự tương quan chéo chuẩn (NCC)

Đánh giá các loại chi phí kết hợp khác nhau có thể ñược tìm thấy trong Scharstein và Szeliski 2002, Mayoral và cộng sự 2004; Hirschmuller và Scharstein

2007 Thông thường, chi phí kết hợp ñược tổng hợp trên các vùng hỗ trợ Những

khu vực hỗ trợ, thường ñược gọi là cửa sổ phức hợp, có thể là hình vuông hoặc hình

chữ nhật, có thể có kích thước cố ñịnh hoặc là những cửa sổ thích nghi

Các phương pháp thị giác stereo chính ñược thể hiện về mặt toán học như sau

1 Phương pháp tổng sự khác biệt tuyệt ñối (SAD - Sum of Absolute Differences):

Phương pháp này có ñộ phức tạp cao nhất vì xuất hiện các phép toán tiêu tốn nhiều tài nguyên của máy tính như phép bình phương, khai căn Do ñó việc ứng dụng của thuật toán này trong các hệ thống thời gian thực là không khả thi

(0-7)

tức là, cho mỗi ñiểm ảnh (x, y) và cho giá trị không ñổi có sự khác nhau d, chi

phí tối thiểu ñược lựa chọn Phương trình (0-4)Error! Reference source not

found ñược dùng cho phương pháp SAD Tuy nhiên, trong nhiều trường hợp lựa

chọn khác biệt là một quá trình lặp ñi lặp lại, vì ñộ chênh lệch của mỗi ñiểm ảnh là tùy thuộc vào sự chênh lệch của các ñiểm ảnh lân cận

Kết quả là, cần thiết có nhiều lần lặp lại ñể tìm ra các thiết lập tốt nhất của sự chênh lệch Giai ñoạn này tạo nên sự khác biệt giữa thuật toán ñịa phương với thuật toán toàn cục Quá trình tính toán thường thêm một bước nữa ñể kết quả tốt hơn gọi

là khâu lọc Cấu trúc chung của phần lớn các thuật toán tương ứng stereo (Scharstein và Szeliski 2002) ñược minh họa trong Hình 0.12

Hình 0.12: Sơ ñồ khối tổng quát của một thuật toán tương ứng stereo

Các thuật toán tương ứng stereo có thể ñược nhóm lại thành hai loại Một là các thuật toán cho kết quả ñầu ra thưa thớt và hai là các thuật toán cho kết quả ñầu

ra dày ñặc Phương pháp thứ nhất dựa trên tính năng xuất phát từ nghiên cứu thị giác của con người và dựa trên phân ñoạn phù hợp hoặc biên giữa hai hình ảnh, do

ñó dẫn ñến một ñầu ra thưa thớt Nó tạo sự bất lợi cho một số ứng dụng nhưng lại ñược bù ñắp bởi tính chính xác và tốc ñộ ñạt ñược Tuy nhiên, các ứng dụng hiện ñại ñòi hỏi ñầu ra nhiều hơn và dày ñặc hơn Đây là lý do tại sao công việc này chủ yếu tập trung vào các thuật toán tương ứng stereo cho kết quả ñầu ra dày ñặc Để phân loại và ñánh giá chúng, một bối cảnh ñã ñược ñề xuất trong Scharstein và Szeliski 2002

Theo ñó, các thuật toán phù hợp với dày ñặc ñược phân loại thành hai loại là ñịa phương và toàn cục Phương pháp ñịa phương (theo vùng) mang lại ưu thế về tốc ñộ Chúng cũng ñược gọi là phương pháp dựa trên cửa sổ vì quá trình tính toán

chênh lệch ở một ñiểm ảnh nhất ñịnh chỉ phụ thuộc vào giá trị cường ñộ trong một cửa sổ hỗ trợ hữu hạn

Phương pháp toàn cục dựa trên năng lượng hay nói cách khác là dựa trên sự tiêu tốn thời gian Mục tiêu của các phương pháp này là ñể giảm thiểu hàm chi phí toàn cục, là sự kết hợp dữ liệu các ñiều kiện khả thi và có tính ñến toàn bộ hình ảnh Bài toán tìm sự phù hợp stereo ñã có một số công cụ tính toán ñược xây dựng Kỹ thuật tính toán thông minh tiên tiến không phải là hiếm nhưng chỉ mang lại một số kết quả thú vị và không ổn ñịnh (tham khảo Binaghi và cộng sự 2004; Kotoulas và cộng sự năm 2005.)

Hình 0.13: Chip ASIC (a) board FPGA (b)

Trong khi việc phân loại nói trên liên quan ñến các thuật toán phù hợp với stereo nói chung, thực tế nó rất có giá trị cho các phần mềm thuật toán thực hiện chỉ Triển khai phần mềm sử máy tính cá nhân (PC) và thường cho kết quả thời gian chạy khá lâu Tuy nhiên, ñây không phải là một lựa chọn khi mục tiêu là sự phát triển của nền tảng robot tự trị, (VR) hệ thống thực tế ảo hoặc ñồng thời lập bản ñồ

và xác ñịnh vị trí (SLAM) Nhiệm vụ ñó ñòi hỏi thời gian thực, thực hiện hiệu quả, nhu cầu phần cứng chuyên dụng và do ñó các thuật toán ñặc biệt phát triển và tối ưu hóa Chỉ có một nhóm nhỏ các thuật toán ñã ñược ñề xuất là phù hợp cho việc thực hiện phần cứng Phần cứng thực hiện các thuật toán ñược ñặc trưng hóa từ các thuật

toán lý thuyết của chúng hoặc thực hiện chính nó Có hai loại phần cứng thuận tiện cho việc triển khai: các mảng cổng trường khả trình (FPGA) và các mạch tích hợp ứng dụng cụ thể (ASIC) Hình 2 mô tả một con chip ASIC (a) và sự phát triển FPGA board (b) Chúng ta có thể thực hiện các thuật toán thị giác stereo mà không cần một máy tính cá nhân Điều này mang lại lợi ích tiết kiệm khối lượng, trọng lượng và năng lượng tiêu thụ Tuy nhiên, sự phát triển của FPGA ñã làm cho chúng trở thành sự lựa chọn hấp dẫn do thời gian tạo mẫu nhỏ, linh hoạt và hiệu suất tốt Hình 0.14 là sơ ñồ phân loại các thuật toán theo quan ñiểm trình bày ở trên

Hình 0.14: Phân loại các giải thuật thị giác stereo

1.6 Phương pháp trích chọn ñường biên

Đường biên là tập hợp những ñiểm ảnh mà ở ñó có sự nhảy bậc ñột ngột của mức xám hoặc màu sắc Tại ñây, trị tuyệt ñối của gradient mức xám sẽ rất lớn, còn ñạo hàm bậc 2 của mức xám sẽ có một khoảng vượt giá trị 0 (xem

Hình 0.16)

Hình 0.16: Đường biên

Đường biên góp phần giúp ta làm rõ nét các chi tiết của ñối tượng Thật vậy,

vì thông thường các ñường biên sẽ bao quanh các chi tiết ñối tượng và tạo nên hình

dáng của ñối tượng Nếu các ñường biên bị mờ, ta sẽ không phân biệt ñược nó với các chi tiết khác cùng màu Ngược lại, nếu ñường biên ñược làm rõ, ta

có thể dễ dàng phân biệt ñối tượng với các chi tiết xung quanh (minh họa:Hình 0.15)

Đường biên là một ñặc trưng bất bến của ñối tượng Thật vậy, cho dù trong một bức ảnh của ñối tượng, màu sắc ñã bị biến ñổi, chúng ta vẫn nhận ra ñối tượng nhờ vào các ñường bao của nó Hình 0.17 cho ta thấy rõ ñiều này

Toán tử Prewitt là một toán tử sử dụng ñạo

hàm bậc nhất hay gradient của mức xám ñể làm nổi

trội ñường biên Gradient của các ñiểm ảnh ñược

tính theo 2 hướng vuông góc là hướng x và y Do

bức ảnh bị rời rạc hóa nên phép lấy gradient sẽ trở

thành phép nhân tích chập với các ma trận của

Prewitt (Hình 0.18)

Sau khi lấy ñược gradient của mức xám các ñiểm ảnh là Gx và Gy, chúng ta

có module của gradient tổng ñược tính bằng công thức (0-8) :

Do công thức (0-8) tương ñối phức

Hình 0.19 : Ảnh kết quả của toán tử Prewitt

so với các ñiểm còn lại trong liên kết 8

1.7 Phát hiện mặt phẳng bằng biến ñổi Hough

Hình 0.21 : Biến ñổi Hough

Biến ñổi Hough là một phép biến ñổi từ tọa ñộ của một ñiểm ñến một tập hợp các ñiểm trong không gian Hough Trong không gian 2 chiều, tập hợp ñiểm ñầu ra của phép

biến ñổi là một ñường cong trong mặt phẳng Hough (minh họa Hình )