Luận án tiến sĩ nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

Các hướng tiếp cậndẫn hướng nói chung và sử dụng hình ảnh nói riêng có thể phân thành hai loại: loạithứ nhất dựa trên bản đồ môi trường đã được xây dựng từ trước bởi chính robot hoặcbởi

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2016

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính

Mã số chuyên ngành: 62480101

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 TS Trần Thị Thanh Hải

2 PGS.TS Nguyễn Quang Hoan

Hà Nội −2016

LỜI CAM ĐOAN

Tôi xin cam đoan luận án: “Nghiên cứu phát triển một số kỹ thuật định vị dựatrên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” là công trình nghiêncứu của riêng tôi

Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công

bố trên các tạp chí khoa học chuyên ngành, kỷ yếu hội nghị khoa học trong nước vàquốc tế

Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiên cứutrong và ngoài nước

Hà Nội, ngày 20 tháng 7 năm 2016

NGHIÊN CỨU SINH

Nguyễn Quốc Hùng

TẬP THỂ HƯỚNG DẪN KHOA HỌC

TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan

LỜI CẢM ƠN

Luận án tiến sĩ được thực hiện tại Viện Nghiên cứu Quốc tế MICA, trường Đạihọc Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS Trần Thị Thanh Hải vàPGS.TS Nguyễn Quang Hoan Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới cácthầy, cô về định hướng khoa học trong suốt quá trình nghiên cứu Nghiên cứu sinh xinđược trân trọng cảm ơn các nhà khoa học, tác giả các công trình công bố đã được tríchdẫn và cung cấp nguồn tư liệu quý báu trong quá trình hoàn thành luận án

Nghiên cứu sinh xin trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiệnMICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS Phạm ThịNgọc Yến; GS.TS Eric Castelli; đề tài KHCN tiềm năng mã số: KC.01.TN19/11-15,

đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08;Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu HàNội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ đã tạo điều kiện thuận lợi

về thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thựchiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu

Cuối cùng nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Caođẳng Y tế Thái Nguyên; gia đình và đồng nghiệp đã động viên khích lệ, tạo mọi điềukiện thuận lợi để NCS yên tâm công tác và học tập

Hà Nội, ngày 20 tháng 7 năm 2016

NGHIÊN CỨU SINH

Nguyễn Quốc Hùng

MỤC LỤC

1.1 Đặt vấn đề 4

1.2 Các nghiên cứu liên quan 4

1.2.1 Các nghiên cứu trên thế giới 4

1.2.1.1 Siêu âm 5

1.2.1.2 Hồng ngoại 7

1.2.1.3 Laser 7

1.2.1.4 Camera 7

1.2.1.5 Đa cảm biến 9

1.2.2 Các nghiên cứu trong nước 10

1.2.3 Thảo luận 11

1.3 Mục tiêu nghiên cứu và phương pháp đề xuất 12

1.3.1 Mục tiêu và phạm vi nghiên cứu 12

1.3.2 Phương pháp đề xuất 12

1.4 Kết luận chương 1 13

2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ 14 2.1 Giới thiệu chung 14

2.2 Những nghiên cứu liên quan 15

2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu 15

2.2.2 Hướng tiếp cận sử dụng bản đồ topo 17

2.2.3 Hướng tiếp cận lai 19

2.2.4 Thảo luận 21

2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường 22

2.4 Phương pháp xây dựng bản đồ môi trường 23

2.4.1 Xây dựng bản đồ số liệu 23

2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô hình không chắc chắn 24

2.4.1.2 Thích nghi VO cho môi trường trong nhà 27

2.4.2 Xây dựng bản đồ topo 29

2.4.2.1 Giải thuật FAB-MAP 30

2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo 39 2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ 44

2.5 Phương pháp định vị 44

2.6 Kết quả thực nghiệm 45

2.6.1 Môi trường đánh giá 45

2.6.2 Thu thập dữ liệu đánh giá 46

2.6.2.1 Hệ thống thu thập dữ liệu 46

2.6.2.2 Thu thập dữ liệu 47

2.6.3 Kết quả đánh giá 48

2.6.3.1 Đánh giá phương pháp xây dựng bản đồ số liệu 48

2.6.3.2 Đánh giá phương pháp định vị hình ảnh 53

2.7 Kết luận chương 2 59

3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 60 3.1 Định nghĩa bài toán và các thách thức 60

3.2 Những nghiên cứu liên quan 61

3.2.1 Các phương pháp sử dụng 01 camera 61

3.2.1.1 Hướng nghiên cứu sử dụng stereo camera 62

3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect 64

3.2.1.3 Phân tích và đánh giá các phương pháp 65

3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách 66

3.4 Phát hiện vật cản 67

3.4.1 Phát hiện vật cản cố định 67

3.4.1.1 Đối sánh các điểm đặc trưng 68

3.4.1.2 Phát hiện vật cản từ kết quả đối sánh 71

3.4.1.3 Xác định vùng chứa đối tượng 74

3.4.2 Phát hiện vật cản động 75

3.4.2.1 Trích chọn đặc trưng HoG 75

3.4.2.2 Bộ phân loại SVM 76

3.5 Uớc lượng khoảng cách vật cản 77

3.5.1 Nguyên lý ước lượng khoảng cách 77

3.5.2 Xây dựng bản đồ chênh lệch 79

3.5.2.1 Thu thập dữ liệu 80

3.5.2.2 Hiệu chỉnh hình ảnh 80

3.5.2.3 Đối sánh hình ảnh 84

3.5.2.4 Tính toán độ sâu 86

3.6 Kết quả đánh giá 88

3.6.1 Xây dựng cơ sở dữ liệu vật cản 88

3.6.2 Đánh giá giải thuật phát hiện đối tượng 90

3.6.3 Đánh giá giải thuật ước lượng khoảng cách vật cản 93

3.7 Kết luận chương 3 98

4 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 99 4.1 Hệ thống tích hợp 99

4.1.1 Tích hợp phần cứng 99

4.1.2 Kiến trúc tổng thể 101

4.2 Phát triển hệ thống dẫn đường sử dụng robot 102

4.2.1 Tìm đường cho robot 102

4.2.2 Điều khiển robot 103

4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định 103

4.2.2.2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman 105

4.2.3 Tương tác người-robot 111

4.3 Thử nghiệm và đánh giá hệ thống dẫn đường 112

4.3.1 Môi trường và quy trình thử nghiệm 112

4.3.1.1 Môi trường thử nghiệm 112

4.3.1.2 Quy trình thử nghiệm 115

4.3.2 Kết quả thực nghiệm 116

4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot 116 4.3.2.2 Đánh giá khả năng điều khiển robot 117

4.3.2.3 Đánh giá khả năng tương tác người-robot 119

4.3.2.4 Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 121 4.3.3 Bàn luận hệ thống robot dẫn đường 130

4.4 Kết luận chương 4 132

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 148

A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 151

A.1 Đặc trưng Harris Corner 151

A.2 Đặc trưng SIFT 153

A.3 Đặc trưng SURF 157

A.4 Đặc trưng GIST 163

A.5 Đặc trưng HoG 165

A.6 Đặc trưng Haar 170

B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173 B.1 Giới thiệu 3 CSDL thử nghiệm 173

B.2 Khung nhận dạng đối tượng tổng quát 177

B.3 Độ đo đánh giá 182

B.4 Kết quả đánh giá 183

C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 188 C.1 Xe camera thu thập dữ liệu 188

C.2 Hiệu chỉnh camera góc rộng 191

C.3 Robot PC-Bot914 193

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

TT Viết tắt Nghĩa đầy đủ (tiếng Việt/tiếng Anh)

1 AM Appearance based Mapping

4 CSDL Cơ sở dữ liệu

6 FAB-MAP Fast Appearance Based Mapping

7 FLANN Fast Library for Approximate Nearest Neighbors

10 GPS Global Positioning System

11 HOG Histogram of Oriented Gradients

12 HSI Hue Saturation and Intensity

14 KH&CN Khoa học và Công nghệ

15 k-NN K-Nearest Neighbors

16 LASER Light Amplification by Stimulated Emission of Radiation

17 LATS Luận án tiến sĩ

18 LIDAR Light Detection And Ranging

19 MICA Multimedia, Information, Communication & Applications

20 MUT Motion Uncertainty Tetragon

21 NCS Nghiên cứu sinh

22 NĐC Nguyễn Đình Chiểu

23 NKT Người khiếm thị

24 PUT Perspective Uncertainty Tetragons

25 RANSAC RANdom SAmple Consensus

26 RFID Radio Frequency Identification

27 RGB Red Green and Blue

28 RMSE Root Mean Square Error

29 SAD Sum of Absolute Differences

30 SIFT Scale Invariant Feature Transforms

31 SLAM Simultaneous Localization and Mapping

32 SURF Speeded Up Robust Features

33 SVM Support Vector Machine

DANH MỤC CÁC BẢNG

Bảng 2.1 Bảng tổng hợp thông tin về 03 môi trường thử nghiệm 46

Bảng 2.2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 47 Bảng 2.3 Dữ liệu thu thập tại E1:NĐC 47

Bảng 2.4 Dữ liệu thu thập tại E2:TQB 47

Bảng 2.5 Dữ liệu thu thập tại E3:MICA 47

Bảng 2.6 Kết quả đánh giá RMSE tại E1:NĐC 48

Bảng 2.7 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E2:TQB 50

Bảng 2.8 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E3:MICA 52

Bảng 2.9 So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC 54 Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 56 Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 57 Bảng 3.1 Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá 88 Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách vật cản 90

Bảng 3.3 Kết quả phát hiện đối tượng theo phương pháp đề xuất 91

Bảng 3.4 Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost 91 Bảng 3.5 Kết quả dự đoán độ sai số ước lượng khoảng cách vật cản 93

Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường tại E1:NĐC 112

Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường tại E2:TQB 113 Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường tại E3:MICA 114 Bảng 4.4 Kết quả đánh giá điểm xuất phát của robot 117

Bảng 4.5 Kết quả đánh giá vai trò lọc Kalman trong điều khiển robot 118

Bảng 4.6 Kết quả sai số định vị sử dụng sai số trung vị 118

Bảng 4.7 Kết quả sai số định vị sử dụng sai số trung bình 119Bảng 4.8 Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống 119Bảng 4.9 Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 121Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 122Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến122Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến 123Bảng 4.13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển độngtịnh tiến và quay tại E1:NĐC 123Bảng 4.14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC124Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC 125Bảng 4.16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờtại E1:NĐC 126Bảng 4.17 Kết quả đánh giá hiệu năng dẫn đường robot phát hiện vật cản 126Bảng 4.18 Kết quả đánh giá robot dẫn đường chuyển động quay và tịnh tiến 127Bảng 4.19 Kết quả đánh giá độ sai số RMSE tại E2:TQB 127Bảng 4.20 Kết quả đánh giá hiệu năng dẫn đường robot tại E2:TQB 128Bảng 4.21 Tổng hợp kết quả robot dẫn đường tại E2:TQB 129Bảng 4.22 Kết quả đánh giá độ sai số RMSE tại E3:MICA 129Bảng 4.23 Kết quả đánh giá hiệu năng dẫn đường của robot tại E3:MICA 129Bảng 4.24 Tổng hợp kết quả robot dẫn đường tại E3:MICA 130Bảng 4.25 Bảng tổng hợp thông số kỹ thuật 131

Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 182Bảng B.2 Kết quả nhận dạng tượng CSDL Naiscorp 2012 183Bảng B.3 Kết quả điểm nhận dạng đối tượng CSDL Robot Vision 2013 185

DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ

Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT 13

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa 22

Hình 2.2 Minh họa di chuyển của robot với vận tốc v và góc lái α 24

Hình 2.3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO 25 Hình 2.4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ 26

Hình 2.5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO 27

Hình 2.6 Tạo các điểm đánh dấu dọc hành trình 28

Hình 2.7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn 28

Hình 2.8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu 29

Hình 2.9 Các bước của giải thuật FAB-MAP [29] 30

Hình 2.10 Xây dựng từ điển và biểu diễn quan sát theo mô hình túi từ 32

Hình 2.11 Một số những thách thức khi nhận dạng vị trí trong môi trường 33 Hình 2.12 Cây nhị phân Chow liu theo hướng đồ thị có hướng 34

Hình 2.13 Biểu diễn các quan sát cùng xuất hiện tại một thời điểm 34

Hình 2.14 Biểu diễn vị trí Li thành phần quan sát eq và quan sát có nhiễu zq 35 Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh; (b) Khung cảnh đại diện 40

Hình 2.16 Xác định các khung cảnh có cấu trúc giống nhau 41

Hình 2.17 Minh họa các bước trích chọn đặc trưng GIST 42

Hình 2.18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau 42

Hình 2.19 Minh họa các bước thực hiện giải thuật FAB-MAP* 43

Hình 2.20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng 44

Hình 2.21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot 45

Hình 2.22 Hệ thống thu thập dữ liệu 46

Hình 2.23 Biểu đồ so sánh RMSE giữa VO và VO* tại E1:NĐC 49

Hình 2.24 Minh họa giá trị ngưỡng θV O quyết định số điểm đặc trưng 49

Hình 2.25 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E1:NĐC 50

Hình 2.26 Biểu đồ so sánh RMSE giữa VO và VO* tại E2:TQB 51

Hình 2.27 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E2:TQB 51

Hình 2.28 Biểu đồ so sánh sai số RMSE giữa VO và VO* tại E3:MICA 52

Hình 2.29 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E3:MICA 53

Hình 2.30 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E1:NĐC 55

Hình 2.31 Minh họa kết quả định vị FAB-MAP* tại E1:NĐC 55

Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E2:TQB 56

Hình 2.33 Minh họa kết quả định vị FAB-MAP* tại E2:TQB 57

Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* tại E3:MICA 58 Hình 2.35 Minh họa kết quả định vị giải thuật FAB-MAP* tại E3:MICA 58

Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách 61

Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản 66

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định 68

Hình 3.4 Kết quả trích chọn đặc trưng SIFT 69

Hình 3.5 Minh họa giải thuật đối sánh các điểm đặc trưng 70

Hình 3.6 Kết quả đối sánh các điểm đặc trưng phát hiện 70

Hình 3.7 Kết quả loại bỏ một số cặp điểm đối sánh (matching) yếu 71

Hình 3.8 Lưu đồ giải thuật tính ma trận H 72

Hình 3.9 Minh họa kết quả xác định vùng chứa đối tượng 74

Hình 3.10 Sơ đồ các bước phát hiện người sử dụng HoG-SVM 75

Hình 3.11 Mô hình ước lượng khoảng cách vật cản từ hai quan sát 77

Hình 3.12 Hình ảnh của đối tượng (cây) quan sát từ hai góc thu nhận 78

Hình 3.13 Sơ đồ các bước tính bản đồ chênh lệch và ước lượng khoảng cách 80

Hình 3.14 Minh họa hai quan sát khi camera chuyển động 81

Hình 3.15 Kết quả tìm đường eplipolar trên mô hình camera chuyển động 82 Hình 3.16 Minh họa hiệu chỉnh hình ảnh trên cùng mặt phẳng ngang 82

Hình 3.17 Kết quả hiệu chỉnh hình ảnh 84

Hình 3.18 Dò tìm khối dữ liệu trên hai ảnh được hiệu chỉnh 85

Hình 3.19 Kết quả đối sánh ảnh sử dụng giải thuật SAD 85

Hình 3.20 Minh họa phương pháp tính bản độ chênh lệch 86

Hình 3.21 Kết quả phát hiện & ước lượng khoảng cách vật cản trên ảnh độ sâu 87 Hình 3.22 Minh họa hình ảnh thu nhận dữ liệu tại khung hình 289 88

Hình 3.23 Minh họa chuẩn bị dữ liệu đánh giá phát hiện đối tượng 89

Hình 3.24 Minh họa phương pháp đo khoảng cách vị trí vật cản trên thực địa 89 Hình 3.25 Biểu đồ đánh giá so sánh hai phương pháp phát hiện đối tượng 92 Hình 3.26 Một số hình ảnh phát hiện đối tượng của hai phương pháp Hình chữ nhật màu xanh là kết quả phát hiện bằng tay, màu đỏ là kết quả phát hiện tự động 92

Hình 3.27 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Chậu hoa 94 Hình 3.28 Minh họa dự đoán khoảng cách lớp đối tượng chậu hoa 94

Hình 3.29 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Bình cứu hỏa 95 Hình 3.30 Minh họa dự đoán khoảng cách lớp đối tượng bình cứu hỏa 95

Hình 3.31 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp thùng rác 96 Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác 96

Hình 3.33 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp người 97

Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người 97

Hình 4.1 Tích hợp các thiết bị phần cứng lên robot 100

Hình 4.2 Mô hình tổng quát của hệ thống đề xuất 101 Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ môi trường 103

Hình 4.4 Lược đồ điều khiển robot 104

Hình 4.5 Các bước tính toán chính của giải thuật của lọc Kalman 106

Hình 4.6 Minh họa các bước điều khiển sử dụng lọc Kalman 107

Hình 4.7 Lược đồ điều khiển robot sử dụng lọc Kalman 109

Hình 4.8 Minh họa tương tác giữa người-robot 111

Hình 4.9 Bản đồ tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu 112

Hình 4.10 Bản đồ thử nghiệm robot dẫn đường hành lang tầng 5 tại E2:TQB 113 Hình 4.11 Kịch bản thử nghiệm robot dẫn đường tại E3:MICA 114

Hình 4.12 Kết quả đánh giá việc xác định vị trí xuất phát của robot 116

Hình 4.13 Vai trò của lọc Kalman trong điều khiển robot 117

Hình 4.14 Một số học sinh khiếm thị tham gia đánh giá tương tác người-robot120 Hình 4.15 Thử nghiệm các tần số rung trên điện thoại di động với NKT 121

Hình 4.16 Một số hình ảnh robot chuyển động tịnh tiến tại E1-NĐC 122

Hình 4.17 Hình ảnh thử nghiệm robot dẫn đường gặp sự cố tại E1-NĐC 123

Hình 4.18 Minh họa robot chuyển động quay và tịnh tiến tại E1:NĐC 124

Hình 4.19 Một số hình ảnh robot chuyển động quay và tịnh tiến tại E1-NĐC 125 Hình 4.20 Kịch bản robot phát hiện vật cản tại E1:NĐC 126

Hình 4.21 Minh họa trường hợp vật cản xuất hiện bất ngờ E1:NĐC 127

Hình 4.22 Minh họa hình ảnh robot dẫn đường tại E2:TQB 128

Hình 4.23 Minh họa hình ảnh robot dẫn đường tại E3:MICA 130

Hình 4.24 Lược đồ thời gian trung bình vận hành điều khiển robot dẫn đường 131 Hình 4.25 Một số hình ảnh trong phóng sự “cuộc sống tươi” đẹp phát trên kênh VTV4 - Đài truyền hình Việt Nam 149

Hình A.1 Minh họa phát hiện các điểm đặc trưng Harris-Corner 151

Hình A.2 Một số trường hợp phát hiện đặc trưng Harris-Corner 152

Hình A.3 Một số trường hợp phát hiện đặc trưng Harris-Corner 152

Hình A.4 Minh họa đặc trưng biểu diễn các điểm đặc biệt trong ảnh 154

Hình A.5 Mô tả tạo bộ mô tả các điểm đặc trưng (nguồn [87]) 157

Hình A.6 Minh họa đặc trưng SURF biểu diễn các điểm đặc biệt trong ảnh 158 Hình A.7 Minh họa xấp xỉ đạo hàm cấp 2 hàm Gaussian [5] 158

Hình A.8 Minh họa giảm không gian không gian trong biểu diễn đặc trưng 159 Hình A.9 Minh họa các điểm quan tâm được phát hiện quanh tâm 160

Hình A.10 Phép lọc Haar wavelet: x (trái) và y hướng (phải) Vùng đen trọng số -1 và vùng trắng trọng số +1 161

Hình A.11 Gán hướng: một cửa sổ kích thước π 3 161

Hình A.12 Xác định ô 4 × 4 hình vuông con xung quanh điểm đặc trưng 162

Hình A.13 Các mô tả của miền đại diện cho tính chất của mẫu 163

Hình A.14 Một số trường hợp so khớp giữa các đặc trưng 163

Hình A.15 Minh họa các tính chất của khung cảnh 164

Hình A.16 Bộ lọc Gabor 4 tỉ lệ, 8 hướng 165

Hình A.17 Minh họa quá trình trích chọn đặc trưng HoG 166

Hình A.18 Thứ tự các Histogram với các góc khác nhau (0o đến 180o) 167

Hình A.19 Hai loại hình học khối chính của đặc trưng HoG 168

Hình A.20 Ví dụ minh họa các bước trích chọn đặc trưng HoG 169

Hình A.21 Tính góc và biên độ theo Gradient-X và Gradient-Y 169

Hình A.22 Một số ứng dụng phát hiện đối tượng sử dụng đặc trưng Haar 170

Hình A.23 Các kiểu cơ bản của đặc trưng Haar 171

Hình A.24 Cách tính tổng các điểm ảnh trong một hình chữ nhật bất kì 171

Hình B.1 Minh họa cơ sở dữ liệu Robot Vision 2013 173

Hình B.2 Minh họa 20 lớp đối tượng trong Pascal VOC 174

Hình B.3 Những khó khăn thách thưc trên 3 CSDL đề xuất 175

Hình B.4 Các lớp đối tượng trong CSDL Naicorp 2012 176

Hình B.5 Khung làm việc tổng quát phát hiện và nhận dạng đối tượng 177

Hình B.6 Minh họa giải thuật Adaboost 178

Hình B.7 Mô hình phân tầng CascadeAdaboost 179

Hình B.8 Siêu phẳng tách với khoảng cách lề cực đại SVM 180

Hình B.9 Phân tách theo siêu phẳng (w,b) trong không gian 2 chiều tập mẫu 181 Hình B.10 Minh họa các bước tính toán k-NN 181

Hình B.11 Một số kết quả nhận dạng đúng/sai CSDL Naicorp 2012 184

Hình B.12 Một số kết quả nhận dạng đúng/sai CSDL RobotVision2013 184

Hình B.13 Đồ thị AP của 20 lớp đối tượng CSDL PascalVOC 2007 186

Hình B.14 Đồ thị AP từng lớp đối tượng CSDL PascalVOC 2007 186

Hình B.15 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 187

Hình B.16 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 187

Hình C.1 Một số giải pháp thu thập dữ liệu từ 2 camera 188

Hình C.2 Một số lỗi khi xây dựng bản đồ tại môi trường trong nhà 189

Hình C.3 Một số lỗi khi xây dựng bản đồ tại môi trường ngoài trời 189

Hình C.4 Thiết kế xe camera thu thập dữ liệu 190

Hình C.5 Mô hình thu nhận ảnh của camera 191

Hình C.6 Các loại biến dạng khi thu nhận ảnh 192

Hình C.7 Quá trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng 193

Hình C.8 Các phiên bản của robot PC-Bot 914 194

Hình C.9 Vị trí lắp các cảm biển hồng ngoại IR 195

Hình C.10 Cơ cấu bánh xe điều khiển của robot PC-Bot 914 195

MỞ ĐẦU Tính cấp thiết, ý nghĩa khoa học của luận án

Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng

285 triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừaphải đến mức độ nặng và 39 triệu người mù [107] Tại Việt Nam, theo số liệu của Việnmắt Trung ương cung cấp, có khoảng 1.2 triệu NKT, trong đó 820.503 người khôngcòn khả năng nhìn thấy ánh sáng Nếu tính cả những người bị các tật về mắt như cậnhoặc viễn thì con số này còn lớn hơn rất nhiều

Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng nhưnắm bắt các cơ hội việc làm Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quantâm của nhiều nhà khoa học trong thời gian gần đây Trong số các yêu cầu trợ giúp,trợ giúp định hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường

đi hay đưa ra các thông báo về môi trường xung quanh

Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợđịnh hướng cho NKT, như sử dụng gậy [32], chó dẫn đường [32], hay thiết bị điện tử[14] Mỗi phương pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm

vi phát hiện vật cản theo kích thước của gậy; chó dẫn đường thường có chi phí cao vàgây trở ngại về tâm sinh lý đối với người dùng; thiết bị điện tử như các điện cực đặttrên lưỡi có thể gây tâm lý ngại ngần khi sử dụng

Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đườnghiệu quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCSthực hiện đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh,ứng dụng trợ giúp dẫn đường cho người khiếm thị”

Mục tiêu và những thách thức

Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như một người bạn đồnghành có khả năng giao tiếp thân thiện và hiệu quả Luận án hướng đến phát triển một

hệ thống trợ giúp định hướng và cảnh báo vật cản cho NKT sử dụng robot di động

Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các

vị trí trong môi trường và nhận dạng được các vật cản trên đường đi Do vậy, chúngtôi chia các mục tiêu đạt được thành ba bài toán cụ thể:

1 Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vịtrí hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang

ở đâu trong môi trường và đường đi đến vị trí đích như thế nào

Để giải quyết vấn đề này, bản đồ môi trường phải được xây dựng từ trước vàrobot phải có khả năng định vị từ một vị trí bất kỳ trên bản đồ Mặc dù có nhiềuphương pháp đã được đề xuất, hướng tiếp cận tổng quát và bền vững với các yếu

tố môi trường đang là những mục tiêu mà các nhà khoa học theo đuổi

2 Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển,

để đảm bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cảntrong môi trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnhbáo về mức độ nguy hiểm có thể gây ra

Ngoài các thách thức chung của bài toán phát hiện đối tượng trong lĩnh vực thịgiác máy tính như điều kiện chiếu sáng thay đổi, che khuất, bóng, luận án cònphải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết bị, camera dichuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian thực

3 Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bàitoán robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệtvới việc dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảmbảo an toàn cho NKT

Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định vị làmột thách thức trong lĩnh vực điều khiển động học Tương tác người-robot phảithân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ thốngđang hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác quan

tự nhiên là một bài toán đòi hỏi nhiều thời gian thử nghiệm trên người dùngkhiếm thị

Những điểm mới của luận án

Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phươngpháp với những đóng góp chính sau đây:

1 Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa trong

đó bản đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật cảntĩnh trong môi trường

2 Nâng cao độ chính xác của giải thuật xây dựng bản đồ và định vị sử dụng hìnhảnh, vốn thường được thiết kế cho môi trường ngoài trời nhưng gặp phải các khókhăn khi hoạt động trong môi trường trong nhà

3 Đề xuất phương pháp phát hiện một số vật cản phù hợp với ngữ cảnh của bàitoán robot dẫn đường.

4 Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thông qua việcphát triển ứng dụng trợ giúp định hướng NKT sử dụng robot

Cấu trúc của luận án

Luận án gồm 4 chương với nội dung tóm tắt như sau:

◦ Chương 1: Tổng quan về thống trợ giúp người khiếm thị giới thiệu một

số nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích ưunhược điểm của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đường choNKT di chuyển trong môi trường diện hẹp sử dung robot”

◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễnmôi trường và định vị dựa trên hình ảnh Hai giải thuật với những cải tiến sẽđược giới thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu,giải thuật xây dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh

◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày mộtphương pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh

và ước lượng khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quansát khác nhau trên 01 camera

◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệthống dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêmmột số chức năng khác như tìm đường, điều khiển, tương tác người robot sử dụngcác kỹ thuật cơ bản sẵn có Phần thử nghiệm và đánh giá trên người dùng khiếmthị 100% không nhìn thấy ánh sáng tại 03 môi trường khác nhau

CHƯƠNG 1

TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP

NGƯỜI KHIẾM THỊ 1.1 Đặt vấn đề

Để nhận biết được thế giới xung quanh, con người sử dụng hệ giác quan gồm thịgiác, thính giác, khứu giác, vị giác và xúc giác Mỗi giác quan đều có vai trò quan trọng

và hỗ trợ mật thiết cho nhau trong quá trình định hình không gian và thời gian chocon người Đối với người khiếm thị, khiếm khuyết thị giác làm cho họ rất khó khăn khihòa nhập vào xã hội Việc cảm nhận thế giới xung quanh của họ lúc đầu thông quacác giác quan còn lại như xúc giác (lần, sờ), thính giác (nghe phản xạ âm thanh gần

và xa), khứu giác (ngửi) hay vị giác (nếm) và dần dần hình thành thói quen

Ngày nay, với sự phát triển vượt bậc của khoa học kỹ thuật, nhiều công nghệ đãđược nghiên cứu và triển khai trợ giúp NKT được hòa nhập nhiều hơn trong xã hộitrong nhiều hoạt động khác nhau Trong khuôn khổ của luận án, chúng tôi tập trunggiải quyết bài toán trợ giúp dẫn đường cho NKT, cụ thể là dẫn NKT đi giữa hai vịtrí trong môi trường Phần 1.2 của chương này trình bày các nghiên cứu trợ giúp dẫnđường, dẫn hướng, tránh vật cản cho NKT Các trợ giúp khác như đọc sách, đi chợ,v.v nằm ngoài phạm vi nghiên cứu của luận án Phần 1.3 trình bày hệ thống đề xuấtvới các chức năng chính

1.2 Các nghiên cứu liên quan

1.2.1 Các nghiên cứu trên thế giới

Trên thế giới, chủ đề trợ giúp NKT đã thu hút đông đảo các nhà nghiên cứu pháttriển từ những năm 70 của thế kỷ trước Cho đến nay, nhiều công trình nghiên cứu

và sản phẩm ứng dụng đã được đưa vào thực tế Chúng tôi chia các phương pháp nàythành 05 nhóm chính dựa trên công nghệ sử dụng để thu nhận tín hiệu môi trườngphục vụ cho việc phân tích và cảnh báo cho NKT: Siêu âm, Hồng ngoại, Laser, Camera,

Đa cảm biến

1.2.1.1 Siêu âm

Các phương pháp trợ giúp NKT sử dụng công nghệ siêu âm dựa trên nguyên lýphản xạ của sóng siêu âm để đo khoảng cách từ nguồn phát sóng đến vật cản, cácnghiên cứu được phát triển trong thời gian dài của thập kỷ trước

Nghiên cứu đầu tiên của Kay 1974 đề xuất kính siêu âm SonicGuide [72] dựa trên

ý tưởng định vị không gian sóng phản xạ của loài dơi Với thiết kế đến dưới hình thứccủa một cặp gọng kính trên đó có gắn cảm biến siêu âm và bộ thu tín hiệu Cảm biếtsiêu âm phát ra chùm tia siêu âm một góc hình nón (α = 5500) Bộ thu tín hiệu cónhiệm vụ chuyển đổi tín hiệu phản xạ từ các đối tượng thành tín hiệu âm thanh phát

ra bên tai trái và phải người đeo kính Sự chênh lệch biên độ từ nguồn âm thanh ở haitai cho phép NKT xác định hướng của tiếng vọng phản xạ của đối tượng Kích thướccủa một đối tượng được mã hóa bởi tiếng vang tỉ lệ nghịch với tần số của nguồn âmthanh Vùng âm thấp thể hiện đối tượng ở gần Các tín hiệu từ hai nguồn thu nhậnđược chuyển tới mỗi tai một cách độc lập Sự khác biệt biên độ dao động âm cho phépphân biệt hướng của vật cản Kính siêu âm SonicGuide có thể hoạt động độc lập hoặc

có thể dùng như một thiết bị thứ cấp, kết hợp với một thiết bị cầm tay khác như gậyhoặc chó dẫn đường để tăng hiệu quả dẫn đường cho NKT

Leslie Kay 1984 đề xuất thiết bị tên Sonic torch [71] có khả năng hỗ trợ di chuyểncho NKT thiết bị này có thiết kế nhỏ gọn dạng cầm tay giống như một chiếc đèn pinbao gồm 2 phần, phần thứ nhất là các cảm biến siêu âm phát ta chùm sóng siêu âmhướng phía trước và nhận được chùm tia phản xạ từ vật cản gần nhất, phần thứ hai

là hệ thống truyền âm thanh tới tai NKT

Pressey 1977 đề xuất thiết bị cầm tay Mowat sensor [113] cho phép xác định vậtcản cầm tay Thiết bị này có thiết kế nhỏ gọn, có thể bỏ túi khi không sử dụng Thiết

bị này phát hiện vật cản phía trước bằng cách gửi một chùm sóng siêu âm tần số ngắn

và nhận được chùm tia phản xạ Nếu có vật cản phía trước, hệ thống sẽ phát ra một

âm báo và rung lắc cho biết phía trước có vật cản Phạm vị mà thiết bị phát hiệnđược vật cản là 4m Chùm tia phát ra hình elip với góc phương vị là (β = 1500) vàgóc ngẩng (α = 3000) Tần số rung của thiết bị tỷ lệ với khoảng cách tới vật cản Mộtrung động ở tần số 4hz tương ứng với khoảng cách tới vật cản là 4m ngược lại nếu ởkhoảng cách 1m thì tín hiệu rung lắc có tần số f = 40hz Về ưu điểm, thiết bị này sảnxuất với chi phí thấp, thuận tiện cho người dùng khi di chuyển để xác định vật cảnphía trước Tuy nhiên, để sử dụng thiết bị một cách hữu thì cần thêm một chiếc gậythông thường trong một số tình huống di chuyển trong nhà hoặc người trời với phạm

vi nhỏ

Dodds và Allan 1984 đề xuất thiết bị siêu âm tìm đường có tên The Sonic

Pathfinder [36] hoạt động theo nguyên lý phản hồi âm thanh Thiết bị này được kếthừa các mặt tối ưu của các nghiên cứu trước như Mowat sensor [113] và Sonic torch[71] Hệ thống gồm có 5 đầu dò siêu âm gắn lên mũ trong đó 3 cảm biến siêu âm thunhận tín hiệu sóng siêu âm phản xạ, được chia làm 3 vùng: trái, phải, giữa và 2 bộphát tín hiệu siêu âm về hướng phía trước Tín hiệu sóng siêu âm phản xạ từ các vậtcản trên đường đi nhận lại từ 3 bộ cảm biến này được truyền về bộ xử lý trung tâm.Đầu ra là tín hiệu âm thanh được truyền vào một tai nghe hoặc cả hai Tùy thuộc vàovật cản nằm ở vùng trái hoặc vùng phải, nếu âm thanh có cả 2 tai nghe thì vật cảnnằm vùng trung tâm Cứ 30cm thiết bị lại cảnh báo thông tin về vật cản cho NKTmột lần, phạm vi xác định là 0-2.5m.

Một số sản phẩm thương mại tiêu biểu có thể kể đến là iNavBelt [11] [124], gắntrên đầu NKT sử dụng cảm biến siêu âm quét một góc α = 1200 phía trước NKT chophép phát hiện các vật cản phía trước họ Sản phẩm có tên GuideCane [13] là mộtchiếc gậy có gắn cảm ứng siêu âm ở đầu có khả năng phát hiện các chướng ngại vật và

đồ vật xung quanh người sử dụng thông qua một lực tương tác nhỏ ở phần đầu của gậychỉ đường Thiết bị EyeRing[101] là một thiết bị kích thước nhỏ bằng một đốt ngóntay, có khả năng truyền tải thông tin hình ảnh sang một dạng tín hiệu dưới vành tai.Hiện nay, thiết bị này đã có thể truyền tải các thông tin về màu sắc, văn bản, nhậndạng chữ số của giá cả trên một miếng tag gắn trên hàng hóa Mặc dù những thôngtin này là hữu ích trong một số môi trường, hạn chế chính là chỉ có khả năng hỗ trợmột lượng giới hạn thông tin đồng thời yêu cầu NKT phải điều khiển với sự tập trungcao độ Các nhà nghiên cứu tại MIT gần đây cũng đã phát minh việc sử dụng thêmmột số cảm biến cho thiết bị này, ví dụ: cảm biến độ sâu, cảm biến quán tính, gia tốc.Tại Châu Âu, nghiên cứu có tên GuideCane được đề xuất bởi Ulrich 2001 [133] làgậy thông minh có khả năng tránh vật cản Thiết kế phần cứng giống như một cây gậy

có gắn bánh xe, phía đầu dưới có gắn 10 cảm biến siêu âm, trong đó 8 cảm biến đượcgắn hình vòng cung, mỗi cái cách nhau một góc α = 150, 2 cảm biến được gắn 2 bên.Các cảm biến có nhiệm vụ phát hiện vật cản trong phạm vi góc α = 1200 trước NKT.Một nghiên cứu trợ giúp NKT khi mua hàng tại siêu thị có tên RoboCart [79] [54] [81][52] [53] [80] được đề xuất bởi Vladimir Kulyukin và các cộng sự trong khoảng thờigian 2005-2009 Robot có khả năng trợ giúp chọn lựa sản phẩm mong muốn từ mộtkho lưu trữ của hàng ngàn sản phẩm Để làm được điều này công nghệ RFID đã được

áp dụng để định vị Các thẻ RF được dán dưới thảm tại các vị trí quan trọng trongsiêu thị Robot được trang bị 01 máy tính kết nối với một đầu đọc thẻ RFID reader,

01 ăng ten thu tín hiệu, 01 cảm biến laser LRF truyền tín hiệu về máy tính giúp chorobot có thể phát hiện được vật cản phía trước, 01 bộ động cơ gồm cơ cấu 2 bánh giúpcho robot di chuyển một cách dễ dàng nhờ phần mềm điều khiển được cài đặt trongmáy tính Mặc dù có nhiều nỗ lực trong cải tiến phương thức giao tiếp, những sản

phẩm này vẫn có những hạn chế cố hữu như giới hạn nguồn thông tin, không có tínhtương tác với người dùng.

1.2.1.2 Hồng ngoại

Loughborough 1979 phát triển một thiết bị có tên Talking Signs [86] sử dụng bộphát hồng ngoại lưu giữ bộ tiếng nói tổng hợp các vị trí cần trợ giúp được lắp đặt trêncác điểm quan trọng trên toàn hộ hành trình NKT được trang bị bộ thu tín hiệu hồngngoại có khả năng chuyển đổi tín hiệu hồng ngoại thành tín hiệu âm thanh Ứng dụngnày cho phép NKT biết được vị trí hiện tại của mình như trước cửa phòng, phía trướccon đường Tuy nhiên, nghiên cứu này cũng có những nhược điểm như khả năng lưutrữ thông tin không nhiều, chi phí lắp đặt nhiều nguồn phát hồng ngoại

1.2.1.3 Laser

Từ những năm 70 của thế kỷ trước, nhiều công trình khoa học công bố sử dụngcông nghệ laser gắn trên gậy để trợ giúp di chuyển cho NKT đã được đề xuất Năm

1970, Benjamin và các đồng nghiệp đã dựa trên ý tưởng xác định và tránh vật cản được

đề xuất bởi [10] để thiết kế chế tạo gậy dẫn đường có gắn cảm biến quang Năm 1973ông phát triển gậy dẫn đường gắn cảm biến laser [7] nhằm phát các hiện vật cản nhô

ra trên mặt đường Khi hoạt động, chùm tia laser được phát ra ở tần số f = 200Hzphía trước khoảng 50cm trên mặt đất Độ cao mà chùm tia có thể phát hiện vật cản

từ điểm gắn cảm biến laser trên gậy là 40cm đến 60cm Khi phát hiện ra vật cản phíatrước, thiết bị phát ra tiếng bíp ở tần số f = 2600Hz đủ để người khiếm thị có thểnghe thấy Gậy hoạt động liên tục được 3 tiếng với nguồn pin 6 vôn Nghiên cứu này

có ưu điểm bởi tính gần gũi như gậy truyền thống của NKT Tuy nhiên, do gắn cácthiết bị nên gậy có trọng lượng lớn việc cầm nắm di chuyển kém linh động hơn Chonên thiết bị này là một bước đột phá trong lĩnh vực trợ giúp NKT thập kỷ 70

1.2.1.4 Camera

Sử dụng camera để thay thế đôi mắt thu nhận thông tin hình ảnh về môi trường

là một hướng tiếp cận tự nhiên Có nhiều nghiên cứu đã được đề xuất và triển khaitheo hướng tiếp cận, như:

Năm 1992, Meijer và đồng nghiệp đã thiết kế và phát triển một hệ thống vOICebiến đổi trực tiếp hình ảnh thu nhận được từ môi trường bởi 01 camera thành mộtbản đồ âm thanh để giúp cho NKT có thể nhận biết về môi trường [91] Cường độ của

âm thanh sẽ tỷ lệ với cường độ sáng của điểm ảnh tương ứng Việc ánh xạ thông tinảnh sang âm thanh sẽ tạo ra một bản đồ âm rất phức tạp Nhất là trong môi trường

có nhiều đối tượng, bản đồ âm sẽ rất nhiễu gây khó khăn cho NKT khi sử dụng Việcngười dùng hiểu được bản đồ âm thanh đòi hỏi phải trải qua một quá trình huấn luyệnlâu dài Hơn nữa, với phương pháp này, bản đồ âm được sinh ra liên tiếp đòi hỏi cơquan thính giác của NKT liên tục phải hoạt động, từ đó dễ gây mệt mỏi cũng nhưđánh mất khả năng nhận biết thông qua thính giác của NKT.

Trong [67], các nhà nghiên cứu thuộc đại học Stuttgart, Đức đã thiết kế một hệthống gồm một gậy có gắn 02 camera, la bàn số, một máy tính xách xử lý các tínhiệu thu thập được từ cảm biến nhằmtrợ giúp di chuyển cho NKT trong môi trườngtrong nhà Các cảm biến hình ảnh sẽ thu nhận thông tin môi trường, các giải thuật

xử lý hình ảnh được áp dụng để phát hiện vật cản Thông tin vật cản sẽ được gửi đếnngười dùng thông qua bộ tổng hợp tiếng nói và truyền đến tai của người So với thiết

bị vOICe, với sự trợ giúp của các giải thuật xử lý hình ảnh, lượng thông tin truyềntải đến tai người đã được phân tích, chọn lọc nên thông tin cô đọng hơn Nhất là cáchthức truyền tải thông qua tiếng nói tổng hợp nên không đòi hỏi phải huấn luyện NKTtrước khi dùng Năm 2012, Rodrguez và các đồng nghiệp đã phát triển một hệ thốngtrợ giúp NKT di chuyển tránh vật cản sử dụng camera kép [118] Với việc sử dụngcamera kép, bản đồ độ sâu trước camera được tính toán một cách dễ dàng Từ đó, mặtđường được xác định, cho phép phát hiện các đối tượng vật cản nằm trên mặt đường.Phản hồi âm thanh được sử dụng để thông báo với NKT về vật cản trên đường đi.Các hệ thống sử dụng camera kép dễ dàng xác định được bản đồ độ sâu nhưnggiá thành tương đối đắt và đòi hỏi quá trình hiệu chỉnh phức tạp Trong [8], các tácgiả giới thiệu một hệ thống sử dụng cảm biến Kinect phát triển bởi Microsoft Cảmbiến này được gắn vào một đai thắt lưng của NKT Các thông tin thu được từ Kinect

sẽ được xử lý bằng cách chuyển thông tin độ sâu và hình ảnh sang biểu diễn dạng đámmây điểm, phát hiện vật cản trên đám mây điểm, phân tích thông tin gia tốc để xácđịnh tốc độ chuyển động của người Cuối cùng các phản hồi sẽ được truyền đến taingười bằng tín hiệu âm thanh Những phương pháp trình bày phía trên đều sử dụng

âm thanh để phản hồi đến người dùng Như đã phân tích, việc sử dụng tín hiệu âmthanh làm cho hạn chế hoạt động của thính giác, là một trong những giác quan quantrọng để NKT cảm nhận và di chuyển Để không chiếm hữu giác quan này, một sốhướng tiếp cận sử dụng xúc giác trên một số bộ phận của cơ thể người như trên lưỡi,đầu ngón tay

[68] thiết kế một thiết bị chuyển đổi thông tin hình ảnh thành các tín hiệu tiếpxúc Thiết bị gồm một đai đeo với 14 bộ rung đặt cách nhau, hai camera quan sát môitrường Tín hiệu hình ảnh thu được từ hai camera cho phép tái tạo bản đồ độ sâu phíatrước NKT Bản đồ này sau đó được chia thành 14 vùng theo chiều dọc Khi có vậtcản xuất hiện ở trong một vùng, cảm biến rung tương ứng với vùng đó được kích hoạt.Tần số của tín hiệu thể hiện khoảng cách của vật cản

Song song với việc phản hồi thông tin thông qua các cảm biến rung, một hướngtiếp cận khác sử dụng các phản hồi thông qua việc phát ra các xung điện kích hoạt đếncác tế bào thần kinh trên bề mặt da, lưỡi cũng được nhiều nhà khoa học theo đuổi.Brainport[31] là kết quả nghiên cứu và chuyển thành sản phẩm thương mại nằm trongnhóm các phương pháp này Thiết bị gồm camera gắn trên một chiếc kính đeo dànhcho NKT, một bộ điều khiển cầm tay, một ma trận điện cực và các dây nối Tín hiệuhình ảnh thu nhận được từ camera được lấy mẫu và truyền xuống ma trận điện cực cókích thước 20 × 20 Cường độ sáng của điểm ảnh càng lớn thì kích thích tại điện cựctương ứng càng mạnh và ngược lại Giải pháp này cho phép NKT có thể nhận diệnmột số đồ vật sau một thời gian huấn luyện.

1.2.1.5 Đa cảm biến

Ngoài các thiết bị trên, một hướng tiếp cận khác là sử dụng các cảm biến tích hợptrên robot di động trợ giúp NKT cũng đang là hướng nghiên cứu dành được sự quantâm thu hút của nhiều nhóm nghiên cứu:

Năm 2004, J Yoon và các đồng nghiệp đã kết hợp ý tưởng trợ giúp truyền thống

sử dụng gậy và chó dẫn đường để phát triển Robot gậy Roji[123] Robot Roji đượccấu thành từ một thanh cầm dài, hai bánh lái, các cảm biến (3 cảm biến hồng ngoại,

1 cảm biến siêu âm, 2 anten) và bảng điều khiển để tương tác với người dùng Roji sửdụng vi điều khiển PICBASIC2000 để xử lý các thông tin đến từ các cảm biến đồngthời sinh các xung điều khiển đến mô tơ động cơ để thực hiện các chuyển động trênbánh lái Trong quá trình di chuyển, các cảm biến siêu âm sẽ quét một góc ±900 đểphát hiện vật cản ở khoảng cách 2.5m Bộ ba cảm biến hồng ngoại cho phép xác địnhcác vật cản lồi chặn trên đường đi của robot gậy ở khoảng cách 0.6m Các vật cản ởkhoảng gần hơn sẽ được phát hiện thông qua hai anten tiếp xúc Các bộ chuyển mạchgiới hạn, bộ phát hiện góc, cảm biến mô men xoắn được gắn trên các anten này đểphát hiện nhanh chóng và dễ dàng hơn sự thay đổi của môi trường khi chiết áp tiếpxúc với một bề mặt hoặc chỗ gập Để tương tác với Robot, NKT sử dụng bảng điềukhiển với 4 nút cơ bản để điều khiển: đi thẳng, rẽ trái, rẽ phải, dừng NKT sẽ nhậnthông tin phản hồi từ phía hệ thống thông qua các tín hiệu âm thanh với các tôngkhác thể hiện khoảng cách của vật cản Robot có hai chế độ hoạt động: hoạt động dựatheo bốn lệnh điều khiển của người dùng hoặc tự hành Ở chế độ tự hành, robot cókhả năng tránh vật cản và chuyển động an toàn Có thể nói Robot Roji đã có đầy đủcác chức năng cần thiết để trợ giúp di chuyển cho NKT với các thông báo về vật cản.Tuy nhiên, các thí nghiệm và các đánh giá định lượng trong các môi trường chưa đượctriển khai Vì vậy rất khó để đánh giá về độ tin cậy, tính hiệu quả của Robot này.Cũng giống ý tưởng thiết kế robot Roji, năm 2009 A Melvin và các đồng nghiệp

đã nghiên cứu và phát triển robot ROVI [1] trợ giúp NKT di chuyển tránh vật cản ROVI được thiết kế với một thanh cầm gắn với robot, bộ vi điều khiển BASIC Stamp2p thực hiện các phép xử lý và tạo xung điều khiển, 9 cảm biến siêu âm để phát hiệnvật cản ở phía trước của robot trong khoảng ±900 Trong thí nghiệm, các tác giả choNKT cầm thanh cầm gắn với robot di chuyển ở tốc độ chậm (trong khoảng 0.1 đến 0.2m/s) Mục đích của thí nghiệm là sử dụng robot để dẫn NKT đến vị trí đích đã đượcxác định trước trong môi trường Lộ trình đi từ điểm khởi đầu đến điểm đích là mộtđường thẳng trên đó có đặt các vật cản ở khoảng cách 20cm-70cm so với robot Các thínghiệm được thực hiện trong nhà và ngoài trời, tuy nhiên cũng giống như với nghiêncứu trình bày trong [123], không có bất kỳ đánh giá định lượng nào đã được thực hiện.Các tác giả cũng không đề cập cách thức phản hồi thông tin đến người dùng.

1.2.2 Các nghiên cứu trong nước

Trong thời gian gần đây, một số nhóm nghiên cứu trong nước cũng đã đề xuấtgiải pháp công nghệ trợ giúp cho NKT Có thể kể đến một số điển hình sau:

ˆ Gậy cho người khiếm thị: Năm 2011, một nhóm 4 sinh viên bao gồm cả mắt sáng

và khiếm thị đã thiết kế gậy dẫn đường rất đơn giản để trợ giúp đi lại cho NKT.Gậy được cấu thành từ gồm 4 đoạn ống inox, dây dù, một bóng đèn LED, mộtthiết bị phát âm thanh, dây điện, công tắc Trong quá trình di chuyển, NKTmang theo gậy có gắn đèn và âm thanh sẽ tạo sự chú ý cho các phương tiện thamgia giao thông, đặc biệt là vào ban đêm

ˆ Chiếc nón kì diệu - SPKT Eye: Năm 2012, TS Nguyễn Bá Hải và các công sự đãthiết kế mũ gắn cảm biến laser trợ giúp cảnh báo vật cản cho NKT Cảm biếnlaser cho phép thu nhận các tín hiệu của các vật thể xung quanh người khiếm thị

và chuyển các tín hiệu này thành các tín hiệu rung động gắn trên vành của mũ.Phạm vi hoạt động của thiết bị là 2 − 3m Vật cản càng gần thì tín hiệu rungcàng lớn và người lại Năm 2014, nhóm đã xuất giải pháp chế tạo thiết bị có têngọi Mắt kính giúp người khiếm thị cảm nhận được vật cản ở xa, gần, to, nhỏ

ˆ Cảnh báo NKT tránh vật cản bằng ma trận điện cực: Trong nhóm các phươngpháp sử dụng ma trận điện cực, một số nhà khoa học Pháp và Việt Nam phốihợp trong một sự án nghiên cứu trong đó sử dụng camera để thu nhận và môhình hóa môi trường, chuyển đổi các thông tin vật cản thành các tín hiệu để cảnhbáo thông qua các kích thích từ ma trận điện cực Trong [64], các tác giả sử dụngcảm biến Kinect để phát hiện các vật cản, sau đó thông tin vật cản được mã hóacảnh báo đến NKT thông qua các kích thích trên các điện cực

ˆ Đa cảm biến dùng cho kỹ thuật dẫn đường các robot di động: nhóm tác giả TrầnThuận Hoàng, Trần Quang Vinh [35] [62] [63] đề xuất giải pháp tổng hợp cảmbiến với việc sử dụng bộ lọc Kalman mở rộng để kết hợp những ưu nhược điểmcủa một hoặc nhiều cảm biến cho phép tăng được độ chính xác, tin cậy của việcđịnh vị robot nhằm nâng cao chất lượng dẫn đường cho robot di động Trong đócải tiến thành công một thiết bị đo xa laser 2D thành một cảm biến đo xa 3D;tổng hợp tới 4 cảm biến hiện đại (lập mã quang, từ-địa bàn, laser và camera toànphương) Qua đó xây dựng được bản đồ và vạch đường đi mong muốn, cũng nhưđiều khiển robot chuyển động ổn định tiệm cận đích.

Ngoài ra nhóm tác giả Phạm Thượng Cát [20] Viện hàn lâm Khoa học Việt Nam

đề xuất một số phương pháp điều khiển robot di động như phương pháp tránhvật cản sử dụng VFH [22] truyền thống cho phép tránh vật cản không xác định

từ trước đồng thời hướng robot chuyển động về phía mục tiêu và chỉ thích hợpvới các robot di động có gắn bộ các cảm biến siêu âm (sonar) được phân bố đềuxung quanh robot Hay phương pháp điều khiển bền vững cho hệ robot camerabán mục tiêu di động ứng dụng mạng noron [21] trong điều khiển hệ thống robotcamera có nhiều tham số bất định bám theo mục tiêu di động Nguyên lý hoạtđộng dựa trên cơ sở sai lệch đặc trưng ảnh, kết quả tìm được cấu trúc của hệđiều khiển, tính được các moomen khớp cần thiết và chứng minh được tính ổnđịnh tiệm cận toàn cục của robot camera bám mục tiêu

độ nguy hiểm ra sao và không có khả năng dẫn đường NKT trong môi trường

ˆ Các phương pháp sử dụng hình ảnh đòi hỏi kỹ thuật xử lý hình ảnh phức tạp hơn,tuy nhiên lượng tin nhiều hơn, cho phép phân loại đối tượng, xác định khoảngcách và mức độ nguy hiểm Cho nên nhóm các phương pháp này gặp nhiều tháchthức của các bài toán thị giác máy tính, dẫn hướng sử dụng hình ảnh, v.v

ˆ Trong tất cả các phương pháp nêu trên, không có phương pháp nào thực hiệndẫn đường cho NKT đến vị trí mong muốn mà chỉ hỗ trợ trong quá trình đi lại.Các phương pháp cảnh báo vật cản chỉ dừng lại ở cảnh báo có hay không màkhông chỉ rõ đối tượng và mức độ nguy hiểm là gì

1.3 Mục tiêu nghiên cứu và phương pháp đề xuất

1.3.1 Mục tiêu và phạm vi nghiên cứu

Trong khuôn khổ của LATS, chúng tôi đi theo hướng tiếp cận sử dụng cảm biếncamera bởi lượng thông tin hình ảnh thu thập được phong phú, cho phép đồng thờithực hiện bài toán dẫn đường và phát hiện vật cản Hơn nữa, cảm biến hình ảnh ngàycàng có giá thành rẻ và thông dụng với người dùng Mục tiêu chúng tôi muốn hướngđến là:

− Nghiên cứu và phát triển một số kỹ thuật định vị sử dụng thông tin hình ảnhhiệu quả phù hợp với môi trường trong nhà

− Ứng dụng triển khai hệ thống trợ giúp dẫn đường và cảnh báo vật cản cho NKTmột cách hiệu quả và thân thiện

Trong LATS này, trợ giúp dẫn đường được hiểu là dẫn NKT di chuyển đến vị trímong muốn trên bản đồ với các cảnh báo về vật cản trong quá trình di chuyển Khithiết kế một hệ thống, chúng tôi đều phải dựa trên một số ràng buộc theo đặc thù củamôi trường triển khai Môi trường trong nhà hay ngoài trời đều có những thách thứcriêng Do vậy chúng tôi giới hạn pham vi nghiên cứu là môi trường cảm thụ diện hẹp.Môi trường cảm thụ diện hẹp được định nghĩa là môi trường hẹp (ví dụ hành lang củamột tòa nhà) có gắn các thiết bị (wifi), cảm biến (camera) cho phép thu thập các tínhiệu của môi trường nhằm phục vụ cho các ứng dụng khác nhau Hệ thống đề xuất chỉphục vụ 01 người dùng tại một thời điểm

1.3.2 Phương pháp đề xuất

Các thành phần chính của hệ thống đề xuất được mô tả như trong Hình 1.1 gồmrobot di động có gắn camera thu nhận hình ảnh môi trường, thực hiện các phép xử lýtính toán để trả lời 02 câu hỏi chính: i) robot đang ở đâu? có những vật cản gì? ii) làmthế nào để dẫn NKT đi đến vị trí mong muốn? khi NKT sử dụng điện thoại di động cókết nối không dây để điều khiển và nhận phản hồi từ hệ thống Trong quá trình dẫn,NKT bám vào một điểm trên robot để đi theo

Để trả lời các câu hỏi đã đặt ra, 5 bài toán sau sẽ lần lượt giải quyết trong cácchương 2, 3, 4 của luận án:

ˆ Biểu diễn môi trường (chương 2): Do yêu cầu của bài toán là dẫn đường giữa hai

vị trí nên bản đồ của môi trường cần phải xây dựng từ trước ở pha ngoại tuyến

ˆ Định vị (chương 2): Để dẫn đường đến vị trí mong muốn, robot cần phải biết vịtrí hiện tại của nó ở đâu trên bản đồ môi trường

• Mạng Wireless

thông minh

• Camera

Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT

ˆ Phát hiện và ước lượng khoảng cách vật cản (chương 3): Để cảnh báo vật cản,các vật cản tĩnh và động trong mơi trường phải được phát hiện và khoảng cách

từ robot đến vật cản phải được ước lượng

ˆ Tìm đường và điều khiển di chuyển (chương 4): Để dẫn đường, robot phải tìmđường từ vị trí hiện tại đến vị trí đích và phải được điều khiển để di chuyển giữahai vị trí này

ˆ Tương tác người - hệ thống (chương 4): Yêu cầu của người dùng và đáp ứng của

hệ thống phải được thực hiện một cách tự nhiên, thân thiện và hiệu quả

Việc phát triển một hệ thống hồn chỉnh cĩ khả năng ứng dụng trong thực tiễnđịi hỏi triển khai rất nhiều mơ đun khác nhau Trong phạm vi nghiên cứu của luận

án, chúng tơi tập trung nghiên cứu giải quyết bài tốn 1, 2, 3 và phát triển ứng dụnghồn chỉnh Các bài tốn cịn lại được giải quyết dựa trên các cơng cụ cĩ sẵn

1.4 Kết luận chương 1

Trong chương 1 nghiên cứu sinh đã trình bày tổng quan các nghiên cứu trợ giúpngười khiếm thị trên thế giới và tại Việt Nam Cĩ thể nhận thấy các cơng nghệ sửdụng rất đa dạng như cảm biến hồng ngoại, cảm biến siêu âm, laser và cảm biến hìnhảnh Mỗi cơng nghệ cĩ những đặc thù riêng, dẫn đến khả năng hỗ trợ cho NKT mộtcách khác nhau Dựa trên việc phân tích ưu nhược điểm, chúng tơi đã đề xuất phươngpháp trợ giúp dẫn đường cho NKT sử dụng cảm biến hình ảnh Chúng tơi cũng trìnhbày các ràng buộc, giới hạn pham vi nghiên cứu và các bài tốn cơ bản cần giải quyết.Các chương tiếp theo sẽ trình bày lần lượt các bài tốn liên quan

CHƯƠNG 2

BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ

Như đã trình bày trong chương I, chúng tôi hướng đến phát triển hệ thống robotdẫn đường cho NKT di chuyển giữa hai vị trí trong môi trường Để đạt được mục tiêu

đã đặt ra, hai nhiệm vụ quan trọng cần giải quyết là: i) biểu diễn môi trường; ii) xácđịnh vị trí của robot trên bản đồ Ở Chương 2, chúng tôi trình bày kỹ thuật để giảiquyết các nhiệm vụ đã đề xuất và kết quả thực nghiệm

2.1 Giới thiệu chung

Dẫn đường robot được mô tả như một quá trình xác định đường đi hợp lý và antoàn từ điểm khởi đầu đến một điểm đích để robot có thể di chuyển giữa chúng Rấtnhiều cảm biến khác nhau như GPS, Lidar, Wifi đã được sử dụng để giải quyết bàitoán này Tuy nhiên những dữ liệu đó không có sẵn hoặc thuận tiện cho việc thu thập,đặc biệt trong môi trường nhỏ hoặc vừa Ví dụ, hệ thống định vị GPS chỉ cung cấpcác dịch vụ bản đồ trong điều kiện khắt khe như thời tiết tốt, môi trường lớn, ngoàitrời và không hỗ trợ trong môi trường nhỏ như trong các tòa nhà [105] Các hệ thống

sử dụng Lidar đòi hỏi phải đầu tư chi phí [139] Hệ thống định vị Wifi cũng không dễdàng triển khai, cài đặt, ngay cả đối với các môi trường diện hẹp [9]

Trong 30 năm trở lại đây, hướng tiếp cận dẫn hướng dựa trên hình ảnh đã thuhút sự quan tâm đặc biệt của các nhà nghiên cứu và phát triển Các hướng tiếp cậndẫn hướng nói chung và sử dụng hình ảnh nói riêng có thể phân thành hai loại: loạithứ nhất dựa trên bản đồ môi trường đã được xây dựng từ trước bởi chính robot hoặcbởi một công cụ khác; loại thứ hai vừa định vị vừa tự xây dựng bản đồ (hay còn gọichung là SLAM) Các phương pháp thuộc hướng tiếp cận thứ hai chỉ cho phép dẫnhướng cho robot nhưng không cho phép tìm đường đi giữa hai vị trí trong môi trường.Trong khi ngữ cảnh bài toán đặt ra là robot dẫn đường từ hai vị trí biết trước, vì vậyphải có một bản đồ môi trường được xây dựng ở pha ngoại tuyến và được sử dụng ởpha trực tuyến để định vị và tìm đường

Trong khuôn khổ luận án, chúng tôi đi theo hướng tiếp cận xây dựng bản đồ môitrường ở pha ngoại tuyến và định vị sử dụng nguồn thông tin hình ảnh thu thập được

từ camera Ưu điểm chính của việc sử dụng camera là giá thành rẻ hơn rất nhiều sovới các cảm biến khác trong khi cung cấp nguồn thông tin hình ảnh có giá trị phục

vụ cho nhiều bài toán khác nhau như xây dựng bản đồ, định vị và phát hiện vật cản

Đặc biệt có thể sử dụng các thiết bị thông thường để thu thu thập xử lý dữ liệu nhưcamera cầm tay, camera gắn trên điện thoại hay camera mạng có vùng quan sát rộng.

Sử dụng camera dễ lắp đặt và triển khai ở các môi trường khác nhau như trong nhàhay ngoài trời Tuy nhiên việc sử dụng camera phải đối mặt với nhiều thách thức nhưđòi hỏi tính toán lớn vì bản thân cảm biến không cho phép xác định một cách trựctiếp đối tượng quan tâm; chuyển động của robot không chính xác, độ phức tạp và biếnđộng của môi trường, yêu cầu đáp ứng thời gian thực

2.2 Những nghiên cứu liên quan

Phần dưới đây chúng tôi chia các hướng tiếp cận biểu diễn môi trường theo banhóm: i) hướng tiếp cận sử dụng bản đồ số liệu; ii) hướng tiếp cận sử dụng bản đồ topo;iii) hướng tiếp cận lai

2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu

Bản đồ số liệu loại bản đồ mô tả thế giới theo khoảng cách (theo đơn vị mét);khoảng cách trên bản đồ tương ứng với khoảng cách trên thế giới thực Các loại bản

đồ số liệu chia thành hai nhóm chính [65]: bản đồ lưới (grid map) và bản đồ đặc trưng(feature map)

− Bản đồ dựa theo đặc trưng: thường được sử dụng bởi các nhà nghiên cứu tronglĩnh vực robot di động Ý tưởng cơ bản của hướng tiếp cận là sử dụng các đặctrưng như tường, góc, cạnh trong không gian để tái tạo lại bản đồ thường được sửdụng trong bài toán điều khiển, tự động định vị và xây dựng bản đồ môi trườngđược phát triển trong thời gian khá dài Phần dưới đây là các nghiên cứu tiêubiểu

John Leonard và đồng nghiệp 1991 [83] trình bày phương pháp vừa định vị vừaxây dựng bản đồ môi trường sử dụng tường và góc cạnh là đặc trưng biểu diễn.Robot di động được trang bị cảm biến siêu âm thu thập thông tin môi trườngphục vụ cho việc xây dựng bản đồ từ vị trí robot đến các vị trí tiếp theo trênhành trình di chuyển

W.D Rencken 1994 [116] đề xuất phương pháp sử dụng cảm biến siêu âm tự độngđiều hướng trong môi trường không có cấu trúc, và không biết sử dụng robot.Bản đồ môi trường được xây dựng nhờ vào các đặc trưng của môi trường nhưgóc, cạnh và mặt sàn Với mô hình robot sử dụng bộ lọc Kalman mở rộng đề cậpnhật và dự đoán vị trí của nó trên bản đồ Các cảm biến siêu âm sẽ trả về giátrị đo lường, đối với mỗi lần đo có nhiều cách cách biểu diễn như: đặc trưng đã

biết của mặt sàn, góc, cạnh; đặc trưng không biết của mặt sàn, góc, cạnh; đặctrưng không phân loại được Robot điều khiển di chuyển xung quanh một vănphòng có cấu trúc không đổi bên trong là bàn ghế, vách ngăn Robot di chuyểnvới tốc độ 12cm/s, thời gian tính toán là 1.5 giây thực hiện định vi với độ sai số

là 2.66m

Jorge Gasós và Alejandro Martín 1996 [51] đề xuất giải thuật hệ mờ xây dựngbản đồ cho robot di động sử dụng thông tin thu thập từ cảm siêu âm để phácthảo môi trường bằng việc tính toán xấp xỉ đa giác 2D Hệ mờ sử dụng để đạidiện cho sự không chắc chắn về các vị trí ranh giới thực sự của đối tượng Phầnthực nghiệm được triển khai biểu diễn bản đồ trong môi trường văn phòng chứacác tập đối tượng như bàn, vách ngăn, ô làm việc, kệ để sách, máy in, bàn làmviệc, ghế

Dulimart 1997 [40] trình bày sử dụng bản đồ môi trường dựa theo đặc trưng làbiển số của cửa và ánh sáng đèn trần nhằm xây dựng bài toán định vị robot didộng trong nhà Phần thử nghiệm được tiến hành đánh giá trên 3 tầng của tòanhà cho robot chuyển động 0.3-0.4m/s thu nhận hình từ camera gắn trên robot

xử lý theo mô hình máy chủ/máy trạm Kết quả độ sai số định vị từ 0.6-1m, thờigian phát hiện biển số cửa và đèn 50ms/ảnh

− Bản đồ lưới: được định nghĩa là bản đồ 2D trong đó không gian được chia thànhlưới các ô có kích thước nhất định Tọa độ của các ô trên lưới được xác định theomột hệ quy chiếu đã định nghĩa từ trước Mỗi ô (x, y) trên lưới có một giá trị thểhiện xác suất mà ô đó có chứa vật cản Nói cách khác, giá trị đó thể hiện khảnăng mà robot có nên di chuyển qua ô đó trong môi trường hay không Giá trịnày được xác định thông qua việc phân tích dữ liệu từ cảm biến Cụm từ bản đồlưới được đề cập đầu tiên bởi Nilsson 1969 [102] nơi bản đồ lưới được định nghĩabởi một lưới kích thước (4 × 4) Nếu một ô lưới được xem là sử dụng thì nó đượcchia thành 16 tế bào mới bằng một giải thuật đệ quy

Elfes và Moreavec 1985 [94] trình bày lần đầu tiên một phương pháp sử dụngcảm biến siêu âm và cảm biến laser sử dụng nhiều phép đo góc rộng các khuvực là rỗng, bị chiếm dụng hoặc chưa định nghĩa nhằm xây dựng bản đồ lưới vàhướng di chuyển xung quanh robot

Borenstein 1991 [12] đề xuất phương pháp xây dựng bản đồ HIMM (HistogramicIn-Motion Mapping) trong thời gian thực cho robot tự hành, biểu diễn bởi mộtmảng hai chiều hay còn lưới tần suất lược đồ màu được cập nhật nhanh thôngviệc lấy mẫu chuyển động của cảm biến siêu âm nhằm biểu diễn thông tin môitrường như vị trí vật cản, đường đi của robot HMIMM triển khai trên robot diđộng với tính năng kép như biểu diễn vật cản chưa biết trên bản đồ môi trường

được tạo ra và đồng thời robot di chuyển tránh vật cản với vận tốc 0.78m/s.Cyrill Stachniss và Wolfram Burgard 2003 [127] trình bày phương pháp xây dựngbản đồ lưới với tỷ lệ che phủ trên các ô đại diện bao phủ bởi vật cản trong môitrường Lilienthal và Duckett 2004 [84] đề xuất phương pháp lập bản đồ lưới sửdụng cảm biến laser và siêu âm để thu thập thông tin môi trường Kỹ thuật xâydựng bản đồ sử dụng hàm trọng số Gauss để mô hình hóa khả năng suy giảm đạidiện cho khoảng cách trên bản đồ xây dựng tính từ điểm đo Phần thực nghiệmtiến hành tại trong phòng thí nghiệm kích thước (10.6 × 4.5m2) robot xây dựngbản đồ môi trường, các chiến lược khác nhau tổng thời gian là 70h.

2.2.2 Hướng tiếp cận sử dụng bản đồ topo

Bản đồ topo mô tả mối liên hệ giữa các điểm (vị trí) hay các đối tượng liên quanvới nhau để mô tả cấu trúc của môi trường Bản đồ topo không bao gồm thông tin

số liệu, thông tin khoảng cách giữa các điểm trên bản đồ Thay vào đó, các thông tinchính đại diện trong bản đồ topo là quan hệ giữa các địa điểm, nơi mà robot có thể dichuyển trực tiếp từ nơi này đến nơi khác

Brooks 1984 [16] biểu diễn môi trường sử dụng thông tin thị giác nhằm xây dựngmột bản đồ topo trong đó vị trí như xa lộ được định nghĩa là các khối, đường cao tốc

là các cạnh và đồng cỏ là các nút của bản đồ Ý tưởng này có thể được kết hợp trongbiểu diễn bản đồ bằng cách tránh việc sử dụng một hệ tọa độ 2-D Thay vào đó, chỉ

có các mối quan hệ giữa các phần của bản đồ được lưu trữ, trong một đại diện đồthị Các mối quan hệ bao gồm phần dự đoán trên các thành phần không chắc chắn(uncertainty)

Để hiểu và di chuyển trong môi trường dễ dàng, thì robot di động phải có đượcmột mô hình thông nhất Chatila 1985 [23] đề xuất phương pháp biểu diễn môi trườngvới khái niệm vị trí được định nghĩa là một vùng của bản đồ topo như là một đơn vịriêng biệt Trong đó phương pháp biểu diễn môi trường được thực hiện làm 2 pha: thứnhất, việc sử dụng một hệ thống cảm biến, ưu tiên các dữ liệu thu thập bởi các cảnbiến có độ chính xác trong một số tình huống cụ thể, trung bình của các phép khácnhau nhưng nhất quán của cùng một đối tượng không chắc chắn; thứ hai, phương phápcho phép robot di động để xác định mốc tham chiếu trong việc khám phá môi trườngkhi di chuyển

Trong khi đó Kuipers và Byun 1991 [77] lại định nghĩa các nút của bản đồ nhưmột phòng hoặc một hành lang, các cửa ra vào và lối đi được định nghĩa là các cạnh.Các tác giả đã phát triển một phương pháp định tính trong bài toán biểu diễn môitrường, lập bản đồ ngữ nghĩa và điều hướng cho robot di dộng trong môi trường có

không gian quy mô lớn Bằng phương pháp thực nghiệm định lượng, các tác giả củabài báo đã xây dựng một bản đồ trong môi trường biết trước với độ chính xác cao.Phương pháp thực hiện bằng việc mô tả mạng topo được hình thành bằng các liên kếtnhững vị trí đặc biệt khi di chuyển qua các cạnh Bản đồ số liệu sau đó tăng dần đồnghóa thông tin của các vị trí và các cạnh Cuối cùng một bản đồ ngữ nghĩa được trồngghép thành bản đồ ngữ nghĩa của môi trường.

Với những phương pháp được công bố trên các tạp chí và hội nghị uy tín thì bàitoán biểu diễn môi trường cho robot di động thu hút được các nhà nghiên cứu lớn nhưKortenkamp 1994 [75] đề xuất sử dụng kết hợp hai luồng thông tin siêu âm và hìnhảnh nhằm biểu diễn môi trường, trong đó nguồn dữ liệu siêu âm không đủ dồi dào vàphạm vi bị giới hạn tại các góc dẫn tới sự phân biệt khó khăn tại các địa điểm đặcbiệt Việc sử dụng cảm biến hình ảnh cho phép nhận dạng các vị trí mà cảm biến siêu

âm không thực hiện được, thông tin của hai luồng dữ liệu này được kết hợp lại bằngmạng Bayes đơn giản

Hay Simmons 1995 [125] phát triển một phương pháp sử dụng mô hình Markov

để biểu diễn môi trường , giám sát và theo vết vị trí di chuyển của robot, trong đó banguồn thông tin được sử dụng để xây dựng mô hình Markov bao gồm: bản đồ topo môitrường, thông tin đã biết về môi trường và những thông tin gần đúng liên quan đến

độ dài môi trường Ngoài ra phương pháp này tích hợp các thông tin bản đồ topo vàthông tin số liệu gần đúng giải quyết các tình huống dự đoán không chắc chắn trongbài toán mô tả thông tin môi trường Năm 1996 Thrun [130] xây dựng bản đồ phânvùng sau đó ánh xạ vào một đồ thị đẳng cấu Đây là phương pháp áp dụng kỹ thuậtcấu trúc đồ thị liên thông đại diện cho môi trường, trong đó các nút đồ thị tương ứngvới địa điểm, đường nối giữa các địa điểm là các cạnh

Vào đầu thế kỷ XXI, Ulrich 2000 [134] trình bày kỹ thuật định vị dựa trên bản đồtopo môi trường sử dụng thông tin hình ảnh trong bài toán nhận dạng vị trí, phươngpháp biểu diễn môi trường sử dụng một hệ thống hình ảnh toàn cảnh (Panoramic) để

mô hình hóa môi trường, hình ảnh được thu thập và phân loại trong thời gian thựcbằng phương pháp láng giềng gần nhất kết hợp với biểu đồ sắc tố màu và một cơ chếbình chọn quyết định vị trí trong môi trường

Cũng cùng năm đó E.Fabrizi và A Saffiotti 2000 [46] đề xuất xây dựng bản đồtopo dựa trên việc biểu diễn mới của không gian làm việc cho robot di động, bản đồnày tự động trích xuất thông từ một bản đồ lưới từ các dữ liệu hình ảnh thu thập từcamera Tiếp theo sử dụng hệ mờ để định nghĩa các vị trí trên môi trường, với cáchtiếp cận này bản đồ môi trường được biểu diễn tạo ra có khẳng năng xử lý nhiễu thuthập và các thay đổi trong môi trường nhỏ hẹp

Duckett 2003 [37] đề xuất một hệ thống mà một nút mới trên bản đồ được đặt

sau khi robot đã đi qua vị trí đó, tác giả đã sử dụng một thuật toán học nhanh trựctuyến cho tập bản đồ hình học sử dụng thông tin số liệu cục bộ Thuật toán hoạt độngbằng cách sử dụng kỹ thuật giảm thiểu năng lượng thu nhận thông qua một hàm nănglượng qua nhiều bước nhỏ Các thí nghiệm được thực hiện trong môi trường lớn, phứctạp đã ánh xạ được vị trí robot lên bản đồ xây dựng trong thời gian thực.

2.2.3 Hướng tiếp cận lai

Ý tưởng chính bản đồ lai nhằm biểu diễn môi trường hiệu quả trong những nămgần đây xu hướng tạo ra bản đồ lai tận dụng những ưu điểm của hai loại bản đồ số liệu

và bản đồ topo giải quyết các vấn đề trong lĩnh vực robot di động thường tập trungvào 3 kiểu lai: lai đầu, lai song song, lai chắp vá

− Bản đồ lai đầu: Giralt 1979 [56] và Chatila và Laumond 1985 [23] trình bày tổngquan về bản đồ lai, ngoài việc phân tích các ưu nhược điểm của bản đồ số liệu

và bản đồ topo các tác giả còn đưa thêm khái niệm về bản đồ ngữ nghĩa với kháiniệm ràng buộc mối quan hệ về không gian và đối tượng Đây cũng là tiền đềxây dựng các bài toán SLAM cho robot di động Kuipers và Byun 1991 [77] đãchứng minh được để xây dựng hiệu quả một bản đồ lai thì một bản đồ topo đượcxây dựng bằng cách sử dụng các phương pháp phân biệt cho các nút của đồ thị,mỗi nút của bản đồ được gắn các thông tin số liệu, do đó bản đồ số liệu sẽ thựchiện lai sau bản đồ topo Cùng với nghiên cứu kết hợp giữa bản đồ topo và bản

đồ số liệu còn có các nghiên cứu tiêu biểu, như: Kuipers và Benjamin 2000 trìnhbày phương phương biểu diễn môi trường cho bài toán robot di động sử dụngbản đồ lai toàn diện nhất [76], tác giả đã đề xuất tính tổng quát của không gianSSH (Spatial Semantic Hierarchy) là một mô hình quy mô lớn bao gồm nhiều đạidiện tương tác cả về định tính và định lượng Bản đồ lai được xây dựng từ phéplai giữa bản đồ hình học tham chiếu đến bản đồ topo nhằm xây dựng một thamchiếu phục vụ mức độ kiểm soát các luật cấu thành nên các thành phần của môitrường, SHH là cơ sở cho một số hướng nghiên cứu sau này

Kuipers 2004 [78] mô tả phương pháp xây dựng bản đồ lai từ việc chiết xuấtthông tin bản đồ cục bộ số liệu kết hợp với không gian SSH để tạo ra bản đồtopo trong điều khiển robot di động Phương pháp Metrical SLAM được sử dụng

để xây dựng bản đồ cục bộ với không gian quy mô nhỏ, trong khi đó phươngpháp topo được sử dụng để đại diện cho cấu trúc không gian quy mô lớn Vớicách làm này, bản đồ được tạo ra phù hợp hơn với giả thuyết khi thực hiện việckhai phá dữ liệu trong môi trường Beeson 2005 [6] trình bày phương pháp biểudiễn môi trường bằng hướng tiếp cận bản đồ lai trên cơ sở hệ mở rộng của đồthị Voronoi được sử dụng trong bài toán phát hiện vị trí Các tác giả đã đề xuất

một thuật toán tin cậy phát hiện các vị trí từ các cảm biến trên các vùng độclập.

− Bản đồ lai song song: được xây dựng từ ít nhất hai bản đồ khác nhau thực hiệntrên cùng một môi trường, điều này thích hợp cho tình huống cụ thể được sửdụng Hầu hết các bản đồ được xây dựng tự động hoặc được xây dựng từ việcchiết xuất thông tin từ một bản đồ khác như trường hợp bản đồ topo được chiếtxuất ra khỏi bản đồ số liệu Ví dụ như trong nghiên cứu của Thrun và B¨ucken

1996 [130] và Thrun 1998 [129] xây dựng bản đồ lai từ việc chiết xuất thông tin

từ đồ thị Voronoi của phần thông tin trống trên bản đồ số liệu được chia thànhcác phân đoạn mà cực đại có thể tìm thấy trong sơ đồ

Poncela 2002 [112] bản đồ số liệu được chia thành các ô trong bản đồ lưới và đượcđịnh nghĩa thành 3 loại (rỗng, chiếm dụng, chưa khai phá), tất cả các những bản

đồ topo được trích xuất có thể sử dụng trong bài toán xây dựng đường đi tối ưu.Ngược lại để trích xuất các bản đồ số liệu trên bản đồ topo ít thực hiện đượctrình bày trong Duckett và Saffiotti 2000 [38] Lập và tìm đường đi hiệu quả làtrọng tâm chính trong bản đồ lai song song trong Fernández-Madrigal 2004 [47];Galindo 2004 [50] đưa ra khái niệm AH-graph (Annotated Hierarchical-graph)sắp xếp theo chiều dọc khi thực hiện mức độ gia tăng các điểm trên bản đồ topo

và kết hợp với bản đồ số liệu cục bộ hỗ trợ cho việc định vị

− Bản đồ lai chắp vá: thực chất là bản đồ số liệu hình thành từ bản đồ topo baogồm toàn bộ khu vực cộng với tập hợp các bản vá lỗi số liệu nhỏ cho mỗi núttopo, với ưu điểm là cấu trúc được thu nhỏ khi làm việc ở môi trường lớn Tiêubiểu như nghiên cứu của Dudek 1996 đã mô tả bản đồ lai bao gồm một số loạibản đồ ở mức độ trừu tượng khác nhau như: cảm quan, hình học (số liệu), quan

hệ cục bộ, topo và ngữ nghĩa [39] Theo hướng tiếp cận khác, bản đồ lai đượcxây dựng từ đồ thị Voronoi được đề cập trong Nagatani 1999 [99] có nghĩa cácnút tương ứng trong bản đồ topo kết hợp với một đặc trưng của bản đồ số liệu.Tomatis 2002 [132] và Tomatis 2003 [131] trình bày về phương pháp xây dựngbản đồ lai nơi các nút trong bản đồ topo tương ứng với khe hở giữa hai phònghoặc hành lang, mỗi phòng đều có một bản đồ số liệu liên quan, các cạnh cóthông tin về điểm mốc có thể được phát hiện từ hai nút “The Hierarchical Atlas”định nghĩa cấu trúc của bản đồ được trình bày trong Lisien 2005 [85] là mộtdạng bản đồ lai giữa số liệu và topo nhắm tới mục tiêu xây dựng hệ thống SLAMtrong điều khiển và khai phá thông tin môi trường

2.2.4 Thảo luận

Để lựa chọn phương pháp biểu diễn môi trường phù hợp với ngữ cảnh của bài toánđặt ra, chúng tôi tiến hành đánh giá ưu nhược điểm của từng phương pháp cụ thể nhưsau:

− Về ưu điểm:

+ Đối với bản đồ số liệu: thường được sử dụng cho các bài toán xác định vị trí,định tuyến và tìm đường tối ưu Cung cấp thông tin chính xác về khoảngcách Hỗ trợ bài toán tìm đường ngắn nhất Bản đồ số liệu dễ dàng xâydựng, biểu diễn và bảo trì cho các môi trường phạm vi nhỏ hẹp

+ Đối với bản đồ topo: dễ dàng mở rộng bản đồ đối với các môi trường cóphạm vi lớn hơn Đây là loại bản đồ phù hợp cho bài toán tìm đường đi tối

ưu khi biết trước hai điểm Không cần một mô hình cấu trúc dữ liệu tin cậy

và dự đoán chính xác vị trí khi xây dựng bản đồ môi trường

+ Đối với bản đồ lai : phù hợp với các bài toán robot tự hành, có khả năng kếthợp nhiều loại bản đồ phục vụ một mục đích chung Có khả năng mở rộng

và thu nhỏ phạm vi biểu diễn môi trường với nhiều chiều nhìn tại các góckhác nhau

− Về nhược điểm:

+ Đối với bản đồ số liệu: rất khó mở rộng đối với môi trường có quy mô lớn,bài toán tìm đường tối ưu tính toán lâu, chiếm dụng nhiều bộ nhớ Cần cómột mô hình số liệu tin cậy và xác định chính xác vị trí khi xây dựng bản

đồ môi trường

+ Đối với bản đồ topo: độ chính xác không cao, cung cấp các đường đi dướimức tối ưu Khó khăn khi xây dựng và duy trì

+ Đối với bản đồ lai : không đưa ra được nguyên tắc chung để kết hợp các bản

đồ khác nhau Khó khăn khi đánh giá và so sánh với các hệ thống khác.Căn cứ vào các phân tích đánh giá phía trên, luận án lựa chọn hướng tiếp cận thứ

ba theo hướng tiếp cận lai và bổ sung thêm các thành phần của môi trường với mụcđích biểu diễn được các thông tin của môi trường phục vụ cho các bài toán định vị,dẫn đường cho robot, phần tiếp theo sẽ trình bày chi tiết của phương pháp đề xuất

2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường

Xuất phát từ mục tiêu của luận án nghiên cứu phương pháp định vị sử dụng hìnhảnh hỗ trợ cho bài toán trợ giúp dẫn đường cho NKT, chúng tôi đề xuất mô hình biểudiễn môi trường theo hướng tiếp cận lai ngữ nghĩa

Ý nghĩa của cụm từ lai, ngữ nghĩa được giải thích như sau Bản đồ của môi trườngđược cấu thành từ bản đồ số liệu và bản đồ topo Ngoài ra, các thông tin vật cản tĩnhcủa môi trường ở từng vị trí trên bản đồ cũng được xác định và đưa vào mô hình biểudiễn môi trường như mô tả trong Hình 2.1 dưới đây:

◦ Bản đồ được biểu diễn theo cấu trúc topo gồm một tập

N điểm trong môi trường sao cho tồn tại đường đi giữa

đã được định nghĩa Tọa độ được tính theo đơn vị (m)

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa

Để biểu diễn môi trường theo mô hình này, các nhiệm vụ sau cần thực hiện:

1 Xác định các vị trí mốc trong môi trường Li với i = 1, N

2 Xác định tọa độ các vị trí mốc trong môi trường Mi = (xi, yi, zi)

3 Xác định các vật cản O = {O , O O } trên ảnh I thu tại vị trí L Tập vật

cản Oi thuộc lớp đối tượng đã định nghĩa từ trước và hình dạng vật cản khôngảnh hưởng đến mô hình biểu diễn, chi tiết phương pháp xác định vật cản đượctrình bày tại CHƯƠNG III của luận án.

Như đã trình bày ở các phần trước, luận án đi theo hướng tiếp cận chỉ sử dụngthông tin hình ảnh để biểu diễn môi trường và định vị Với bài toán xác định vị trímốc trong môi trường nhằm tạo bản đồ topo thì các phương pháp xây dựng bản đồtopo dựa trên hình ảnh AM (Appearance based Mapping) thường được sử dụng Vớibài toán xác định tọa độ các vị trí mốc nhằm tạo thông tin số liệu, các phương pháp

đo hành trình sử dụng hình ảnh VO thường được sử dụng

Thông thường, góc nhìn của camera hướng mặt đường đối với các bài toán VOtrong khi các bài toán AM camera thường quan sát khung cảnh phía trước Để giảiquyết đồng thời cả hai bài toán trong một khung làm việc đồng nhất, chúng tôi thiết

kế hệ thống thu thập dữ liệu gồm hai camera lắp vuông góc (một nhìn xuống mặtđường, một nhìn về phía trước) Chi tiết kỹ thuật thiết kế hệ thống thu thập dữ liệu

để biễu diễn môi trường trình bày trong PHỤ LỤC C của luận án

Trong các phần trình bày tiếp theo, chúng tôi sử dụng hình ảnh thu thập từcamera nhìn xuống mặt đường phục vụ cho bài toán đo hành trình để tạo bản đồ sốliệu Hình ảnh thu được từ camera nhìn về phía trước phục vụ cho bài toán xác địnhcác vị trí mốc trong môi trường để tạo bản đồ topo Việc sử dụng tương ứng các khunghình thu tại cùng một thời điểm cho phép ánh xạ các vị trí mốc trên bản đồ topo sangbản đồ số liệu để có được vị trí thực của điểm mốc trên hệ quy chiếu

2.4 Phương pháp xây dựng bản đồ môi trường

2.4.1 Xây dựng bản đồ số liệu

Bài toán đo hành trình sử dụng hình ảnh được phát biểu như sau: Cho trước chuỗihình ảnh liên tiếp thu thập từ camera I = {I1, I2, , IN} trong đó N là tổng số ảnh thuthập được Xác định vị trí camera của trong quá trình di chuyển P = {P1, P2, PN}.Nếu vị trí ban đầu được biết trước, vị trí tiếp theo được xác định bởi một phép biếnđổi T trừ đi vị trí trước đó đến vị trí hiện tại, trong đó T cấu thành từ chuyển độngtịnh tiến ti

i−1 và chuyển động quay Ri

i−1 của camera giữa thời điểm hiện tại i và thờiđiểm trước đó i − 1

Ti−1i =

"

Ri i−1 ti i−1

#

(2.1)trong đó Ti

i−1∈ ℜ3×3, ti

i−1∈ ℜ1×3, Ri

i−1∈ ℜ2×3