Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

Các thínghiệm được thực hiện trong nhà và ngoài trời, tuy nhiên cũng giống như với nghiêncứu trình bày trong [131], không có bất kỳ đánh giá định lượng nào đã được thực hiện.Các tác giả

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2017

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính

Mã số chuyên ngành: 62480101

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 TS Trần Thị Thanh Hải

2 PGS.TS Nguyễn Quang Hoan

Hà Nội −2017

LỜI CAM ĐOAN

Tôi xin cam đoan luận án: “Nghiên cứu phát triển một số kỹ thuật định vị dựatrên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” là công trình nghiêncứu của riêng tôi

Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công

bố trên các tạp chí khoa học chuyên ngành Kỷ yếu Hội nghị khoa học trong nước vàquốc tế Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiêncứu nào

Hà Nội, ngày 20 tháng 3 năm 2017

TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Nguyễn Quốc Hùng

LỜI CẢM ƠN

Luận án tiến sĩ được thực hiện tại Viện Nghiên cứu Quốc tế MICA, trường Đạihọc Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS Trần Thị Thanh Hải vàPGS.TS Nguyễn Quang Hoan Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới cácthầy, cô về định hướng khoa học; các nhà khoa học, tác giả của các công trình đã đượctrích dẫn; cung cấp nguồn tư liệu quý báu trong quá trình nghiên cứu và hoàn thànhluận án

Nghiên cứu sinh trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiệnMICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS PhạmThị Ngọc Yến; GS.TS Eric Castelli; đề tài KHCN tiềm năng mã số: KC.01.TN19/11-15,

đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08;Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu HàNội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ đã tạo điều kiện thuận lợi

về thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thựchiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu

Nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Cao đẳng Y tếThái Nguyên; gia đình và đồng nghiệp đã động viên khích lệ, tạo mọi điều kiện thuậnlợi để NCS yên tâm công tác và học tập

Hà Nội, ngày 20 tháng 3 năm 2017

NGHIÊN CỨU SINH

Nguyễn Quốc Hùng

MỤC LỤC

1.1 Đặt vấn đề 4

1.2 Các nghiên cứu liên quan 4

1.2.1 Các nghiên cứu trên thế giới 4

1.2.1.1 Siêu âm 5

1.2.1.2 Hồng ngoại 7

1.2.1.3 Laser 7

1.2.1.4 Camera 7

1.2.1.5 Đa cảm biến 9

1.2.2 Các nghiên cứu trong nước 11

1.2.3 Thảo luận 12

1.3 Mục tiêu nghiên cứu và phương pháp đề xuất 13

1.3.1 Mục tiêu và phạm vi nghiên cứu 13

1.3.2 Phương pháp đề xuất 13

1.4 Kết luận chương 1 14

2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ 15 2.1 Giới thiệu chung 15

2.2 Những nghiên cứu liên quan 16

2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu 16

2.2.2 Hướng tiếp cận sử dụng bản đồ topo 18

2.2.3 Hướng tiếp cận lai 20

2.2.4 Thảo luận 21

2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường 23

2.4 Phương pháp xây dựng bản đồ môi trường 24

2.4.1 Xây dựng bản đồ số liệu 24

2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô hình không chắc chắn 25

2.4.1.2 Thích nghi VO cho môi trường trong nhà 28

2.4.2 Xây dựng bản đồ topo 30

2.4.2.1 Giải thuật FAB-MAP 31

2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo 40 2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ 45

2.5 Phương pháp định vị 45

2.6 Kết quả thực nghiệm 46

2.6.1 Môi trường đánh giá 46

2.6.2 Thu thập dữ liệu đánh giá 47

2.6.2.1 Hệ thống thu thập dữ liệu 47

2.6.2.2 Thu thập dữ liệu 48

2.6.3 Kết quả đánh giá 49

2.6.3.1 Đánh giá phương pháp xây dựng bản đồ số liệu 49

2.6.3.2 Đánh giá phương pháp định vị hình ảnh 54

2.7 Kết luận chương 2 60

3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 61 3.1 Định nghĩa bài toán và các thách thức 61

3.2 Những nghiên cứu liên quan 62

3.2.1 Các phương pháp sử dụng 01 camera 62

3.2.1.1 Hướng nghiên cứu sử dụng stereo camera 63

3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect 65

3.2.1.3 Phân tích và đánh giá các phương pháp 66

3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách 67

3.4 Phát hiện vật cản 68

3.4.1 Phát hiện vật cản cố định 68

3.4.1.1 Đối sánh các điểm đặc trưng 69

3.4.1.2 Phát hiện vật cản từ kết quả đối sánh 72

3.4.1.3 Xác định vùng chứa đối tượng 75

3.4.2 Phát hiện vật cản động 76

3.4.2.1 Trích chọn đặc trưng HoG 76

3.4.2.2 Bộ phân loại SVM 77

3.5 Ước lượng khoảng cách vật cản 78

3.5.1 Nguyên lý ước lượng khoảng cách 78

3.5.2 Xây dựng bản đồ chênh lệch 80

3.5.2.1 Thu thập dữ liệu 81

3.5.2.2 Hiệu chỉnh hình ảnh 81

3.5.2.3 Đối sánh hình ảnh 85

3.5.2.4 Tính toán độ sâu 85

3.6 Kết quả đánh giá 89

3.6.1 Xây dựng cơ sở dữ liệu vật cản 89

3.6.2 Đánh giá giải thuật phát hiện đối tượng 91

3.6.3 Đánh giá giải thuật ước lượng khoảng cách vật cản 94

3.7 Kết luận chương 3 99

4 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 100 4.1 Hệ thống tích hợp 100

4.1.1 Tích hợp phần cứng 100

4.1.2 Kiến trúc tổng thể 102

4.2 Phát triển hệ thống dẫn đường sử dụng robot 103

4.2.1 Tìm đường cho robot 103

4.2.2 Điều khiển robot 104

4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định 104

4.2.2.2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman 106

4.2.3 Tương tác người - robot 112

4.3 Thử nghiệm và đánh giá hệ thống dẫn đường 113

4.3.1 Môi trường và quy trình thử nghiệm 113

4.3.1.1 Môi trường thử nghiệm 113

4.3.1.2 Quy trình thử nghiệm 116

4.3.2 Kết quả thực nghiệm 117

4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot 117 4.3.2.2 Đánh giá khả năng điều khiển robot 118

4.3.2.3 Đánh giá khả năng tương tác người - robot 120

4.3.2.4 Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 122 4.3.3 Bàn luận hệ thống robot dẫn đường 131

4.4 Kết luận chương 4 133

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 150

A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 153

A.1 Đặc trưng Harris Corner 153

A.2 Đặc trưng SIFT 155

A.3 Đặc trưng SURF 159

A.4 Đặc trưng GIST 165

A.5 Đặc trưng HoG 167

A.6 Đặc trưng Haar 172

B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 175 B.1 Giới thiệu 3 CSDL thử nghiệm 175

B.2 Khung nhận dạng đối tượng tổng quát 179

B.3 Độ đo đánh giá 184

B.4 Kết quả đánh giá 185

C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 190 C.1 Xe camera thu thập dữ liệu 190

C.2 Hiệu chỉnh camera góc rộng 193

C.3 Robot PC-Bot914 195

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

TT Viết tắt Nghĩa đầy đủ (tiếng Việt/tiếng Anh)

1 AM Appearance based Mapping

4 CSDL Cơ sở dữ liệu

6 FAB-MAP Fast Appearance Based Mapping

7 FLANN Fast Library for Approximate Nearest Neighbors

10 GPS Global Positioning System

11 HOG Histogram of Oriented Gradients

12 HSI Hue Saturation and Intensity

14 KH&CN Khoa học và Công nghệ

15 k-NN K-Nearest Neighbors

16 LASER Light Amplification by Stimulated Emission of Radiation

17 LATS Luận án tiến sĩ

18 LIDAR Light Detection And Ranging

19 MICA Multimedia, Information, Communication & Applications

20 MUT Motion Uncertainty Tetragon

21 NCS Nghiên cứu sinh

22 NĐC Nguyễn Đình Chiểu

23 NKT Người khiếm thị

24 PUT Perspective Uncertainty Tetragons

25 RANSAC RANdom SAmple Consensus

26 RFID Radio Frequency Identification

27 RGB Red Green and Blue

28 RMSE Root Mean Square Error

29 SAD Sum of Absolute Differences

30 SIFT Scale Invariant Feature Transforms

31 SLAM Simultaneous Localization and Mapping

32 SURF Speeded Up Robust Features

33 SVM Support Vector Machine

DANH MỤC CÁC BẢNG

Bảng 2.1 Bảng tổng hợp thông tin về 03 môi trường thử nghiệm 47

Bảng 2.2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 48 Bảng 2.3 Dữ liệu thu thập tại E1:NĐC 48

Bảng 2.4 Dữ liệu thu thập tại E2:TQB 48

Bảng 2.5 Dữ liệu thu thập tại E3:MICA 48

Bảng 2.6 Kết quả đánh giá RMSE tại E1:NĐC 49

Bảng 2.7 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E2:TQB 51

Bảng 2.8 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E3:MICA 53

Bảng 2.9 So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC 55 Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 57 Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 58 Bảng 3.1 Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá 89 Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách vật cản 91

Bảng 3.3 Kết quả phát hiện đối tượng theo phương pháp đề xuất 92

Bảng 3.4 Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost 92 Bảng 3.5 Kết quả dự đoán độ sai số ước lượng khoảng cách vật cản 95

Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường tại E1:NĐC 113

Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường tại E2:TQB 114 Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường tại E3:MICA 115 Bảng 4.4 Kết quả đánh giá điểm xuất phát của robot 118

Bảng 4.5 Kết quả đánh giá vai trò lọc Kalman trong điều khiển robot 119

Bảng 4.6 Kết quả sai số định vị sử dụng sai số trung vị 119

Bảng 4.7 Kết quả sai số định vị sử dụng sai số trung bình 120Bảng 4.8 Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống 120Bảng 4.9 Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 122Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 123Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến123Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến 124Bảng 4.13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển độngtịnh tiến và quay tại E1:NĐC 124Bảng 4.14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC125Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC 126Bảng 4.16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờtại E1:NĐC 127Bảng 4.17 Kết quả đánh giá hiệu năng dẫn đường robot phát hiện vật cản 127Bảng 4.18 Kết quả đánh giá robot dẫn đường chuyển động quay và tịnh tiến 128Bảng 4.19 Kết quả đánh giá độ sai số RMSE tại E2:TQB 128Bảng 4.20 Kết quả đánh giá hiệu năng dẫn đường robot tại E2:TQB 129Bảng 4.21 Tổng hợp kết quả robot dẫn đường tại E2:TQB 130Bảng 4.22 Kết quả đánh giá độ sai số RMSE tại E3:MICA 130Bảng 4.23 Kết quả đánh giá hiệu năng dẫn đường của robot tại E3:MICA 130Bảng 4.24 Tổng hợp kết quả robot dẫn đường tại E3:MICA 131Bảng 4.25 Bảng tổng hợp thông số kỹ thuật 132

Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 184Bảng B.2 Kết quả nhận dạng tượng CSDL Naiscorp 2012 185Bảng B.3 Kết quả điểm nhận dạng đối tượng CSDL Robot Vision 2013 187

DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ

Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT 14

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa 23

Hình 2.2 Minh họa di chuyển của robot với vận tốc v và góc lái α 25

Hình 2.3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO 26 Hình 2.4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ 27

Hình 2.5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO 28

Hình 2.6 Tạo các điểm đánh dấu dọc hành trình 29

Hình 2.7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn 29

Hình 2.8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu 30

Hình 2.9 Các bước của giải thuật FAB-MAP [32] 31

Hình 2.10 Xây dựng từ điển và biểu diễn quan sát theo mô hình túi từ 33

Hình 2.11 Một số những thách thức khi nhận dạng vị trí trong môi trường 34 Hình 2.12 Cây nhị phân Chow liu theo hướng đồ thị có hướng 35

Hình 2.13 Biểu diễn các quan sát cùng xuất hiện tại một thời điểm 35

Hình 2.14 Biểu diễn vị trí Li thành phần quan sát eq và quan sát có nhiễu zq 36 Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh; (b) Khung cảnh đại diện 41

Hình 2.16 Xác định các khung cảnh có cấu trúc giống nhau 42

Hình 2.17 Minh họa các bước trích chọn đặc trưng GIST 43

Hình 2.18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau 43

Hình 2.19 Minh họa các bước thực hiện giải thuật FAB-MAP* 44

Hình 2.20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng 45

Hình 2.21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot 46

Hình 2.22 Hệ thống thu thập dữ liệu 47

Hình 2.23 Biểu đồ so sánh RMSE giữa VO và VO* tại E1:NĐC 50

Hình 2.24 Minh họa giá trị ngưỡng θV O quyết định số điểm đặc trưng 50

Hình 2.25 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E1:NĐC 51

Hình 2.26 Biểu đồ so sánh RMSE giữa VO và VO* tại E2:TQB 52

Hình 2.27 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E2:TQB 52

Hình 2.28 Biểu đồ so sánh sai số RMSE giữa VO và VO* tại E3:MICA 53

Hình 2.29 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E3:MICA 54

Hình 2.30 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E1:NĐC 56

Hình 2.31 Minh họa kết quả định vị FAB-MAP* tại E1:NĐC 56

Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E2:TQB 57

Hình 2.33 Minh họa kết quả định vị FAB-MAP* tại E2:TQB 58

Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* tại E3:MICA 59 Hình 2.35 Minh họa kết quả định vị giải thuật FAB-MAP* tại E3:MICA 59

Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách 62

Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản 67

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định 69

Hình 3.4 Kết quả trích chọn đặc trưng SIFT 70

Hình 3.5 Minh họa giải thuật đối sánh các điểm đặc trưng 71

Hình 3.6 Kết quả đối sánh các điểm đặc trưng phát hiện 71

Hình 3.7 Kết quả loại bỏ một số cặp điểm đối sánh (matching) yếu 72

Hình 3.8 Lưu đồ giải thuật tính ma trận H 73

Hình 3.9 Minh họa kết quả xác định vùng chứa đối tượng 75

Hình 3.10 Sơ đồ các bước phát hiện người sử dụng HoG-SVM 76

Hình 3.11 Mô hình ước lượng khoảng cách vật cản từ hai quan sát 78

Hình 3.12 Hình ảnh của đối tượng (cây) quan sát từ hai góc thu nhận 79

Hình 3.13 Sơ đồ các bước tính bản đồ chênh lệch và ước lượng khoảng cách 81

Hình 3.14 Minh họa hai quan sát khi camera chuyển động 82

Hình 3.15 Kết quả tìm đường eplipolar trên mô hình camera chuyển động 83 Hình 3.16 Minh họa hiệu chỉnh hình ảnh trên cùng mặt phẳng ngang 83

Hình 3.17 Kết quả hiệu chỉnh hình ảnh 85

Hình 3.18 Dò tìm khối dữ liệu trên hai ảnh được hiệu chỉnh 86

Hình 3.19 Kết quả đối sánh ảnh sử dụng giải thuật SAD 86

Hình 3.20 Minh họa phương pháp tính bản độ chênh lệch 87

Hình 3.21 Kết quả phát hiện & ước lượng khoảng cách vật cản trên ảnh độ sâu 88 Hình 3.22 Minh họa hình ảnh thu nhận dữ liệu tại khung hình 289 89

Hình 3.23 Minh họa chuẩn bị dữ liệu đánh giá phát hiện đối tượng 90

Hình 3.24 Minh họa phương pháp đo khoảng cách vị trí vật cản trên thực địa 90 Hình 3.25 Biểu đồ đánh giá so sánh hai phương pháp phát hiện đối tượng 93 Hình 3.26 Một số hình ảnh phát hiện đối tượng của hai phương pháp Hình chữ nhật màu xanh là kết quả phát hiện bằng tay, màu đỏ là kết quả phát hiện tự động 93

Hình 3.27 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Chậu hoa 95 Hình 3.28 Minh họa dự đoán khoảng cách lớp đối tượng chậu hoa 96

Hình 3.29 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Bình cứu hỏa 96 Hình 3.30 Minh họa dự đoán khoảng cách lớp đối tượng bình cứu hỏa 97

Hình 3.31 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp thùng rác 97 Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác 98

Hình 3.33 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp người 98

Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người 99

Hình 4.1 Tích hợp các thiết bị phần cứng lên robot 101

Hình 4.2 Mô hình tổng quát của hệ thống đề xuất 102 Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ môi trường 104

Hình 4.4 Lược đồ điều khiển robot 105

Hình 4.5 Các bước tính toán chính của giải thuật của lọc Kalman 107

Hình 4.6 Minh họa các bước điều khiển sử dụng lọc Kalman 108

Hình 4.7 Lược đồ điều khiển robot sử dụng lọc Kalman 111

Hình 4.8 Minh họa tương tác giữa người-robot 112

Hình 4.9 Bản đồ tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu 113

Hình 4.10 Bản đồ thử nghiệm robot dẫn đường hành lang tầng 5 tại E2:TQB 114 Hình 4.11 Kịch bản thử nghiệm robot dẫn đường tại E3:MICA 115

Hình 4.12 Kết quả đánh giá việc xác định vị trí xuất phát của robot 117

Hình 4.13 Vai trò của lọc Kalman trong điều khiển robot 118

Hình 4.14 Một số học sinh khiếm thị tham gia đánh giá tương tác người-robot121 Hình 4.15 Thử nghiệm các tần số rung trên điện thoại di động với NKT 122

Hình 4.16 Một số hình ảnh robot chuyển động tịnh tiến tại E1-NĐC 123

Hình 4.17 Hình ảnh thử nghiệm robot dẫn đường gặp sự cố tại E1-NĐC 124

Hình 4.18 Minh họa robot chuyển động quay và tịnh tiến tại E1:NĐC 125

Hình 4.19 Một số hình ảnh robot chuyển động quay và tịnh tiến tại E1-NĐC 126 Hình 4.20 Kịch bản robot phát hiện vật cản tại E1:NĐC 127

Hình 4.21 Minh họa trường hợp vật cản xuất hiện bất ngờ E1:NĐC 128

Hình 4.22 Minh họa hình ảnh robot dẫn đường tại E2:TQB 129

Hình 4.23 Minh họa hình ảnh robot dẫn đường tại E3:MICA 131

Hình 4.24 Lược đồ thời gian trung bình vận hành điều khiển robot dẫn đường 132 Hình 4.25 Một số hình ảnh trong phóng sự “cuộc sống tươi” đẹp phát trên kênh VTV4 - Đài truyền hình Việt Nam 151

Hình A.1 Minh họa phát hiện các điểm đặc trưng Harris-Corner 153

Hình A.2 Một số trường hợp phát hiện đặc trưng Harris-Corner 154

Hình A.3 Một số trường hợp phát hiện đặc trưng Harris-Corner 154

Hình A.4 Minh họa đặc trưng biểu diễn các điểm đặc biệt trong ảnh 156

Hình A.5 Mô tả tạo bộ mô tả các điểm đặc trưng (nguồn [91]) 159

Hình A.6 Minh họa đặc trưng SURF biểu diễn các điểm đặc biệt trong ảnh 160 Hình A.7 Minh họa xấp xỉ đạo hàm cấp 2 hàm Gaussian [6] 160

Hình A.8 Minh họa giảm không gian không gian trong biểu diễn đặc trưng 161 Hình A.9 Minh họa các điểm quan tâm được phát hiện quanh tâm 162

Hình A.10 Phép lọc Haar wavelet: x (trái) và y hướng (phải) Vùng đen trọng số -1 và vùng trắng trọng số +1 163

Hình A.11 Gán hướng: một cửa sổ kích thước π 3 163

Hình A.12 Xác định ô 4 × 4 hình vuông con xung quanh điểm đặc trưng 164

Hình A.13 Các mô tả của miền đại diện cho tính chất của mẫu 165

Hình A.14 Một số trường hợp so khớp giữa các đặc trưng 165

Hình A.15 Minh họa các tính chất của khung cảnh 166

Hình A.16 Bộ lọc Gabor 4 tỉ lệ, 8 hướng 167

Hình A.17 Minh họa quá trình trích chọn đặc trưng HoG 168

Hình A.18 Thứ tự các Histogram với các góc khác nhau (0o đến 180o) 169

Hình A.19 Hai loại hình học khối chính của đặc trưng HoG 170

Hình A.20 Ví dụ minh họa các bước trích chọn đặc trưng HoG 171

Hình A.21 Tính góc và biên độ theo Gradient-X và Gradient-Y 171

Hình A.22 Một số ứng dụng phát hiện đối tượng sử dụng đặc trưng Haar 172

Hình A.23 Các kiểu cơ bản của đặc trưng Haar 173

Hình A.24 Cách tính tổng các điểm ảnh trong một hình chữ nhật bất kì 173

Hình B.1 Minh họa cơ sở dữ liệu Robot Vision 2013 175

Hình B.2 Minh họa 20 lớp đối tượng trong Pascal VOC 176

Hình B.3 Những khó khăn thách thưc trên 3 CSDL đề xuất 177

Hình B.4 Các lớp đối tượng trong CSDL Naicorp 2012 178

Hình B.5 Khung làm việc tổng quát phát hiện và nhận dạng đối tượng 179

Hình B.6 Minh họa giải thuật Adaboost 180

Hình B.7 Mô hình phân tầng CascadeAdaboost 181

Hình B.8 Siêu phẳng tách với khoảng cách lề cực đại SVM 182

Hình B.9 Phân tách theo siêu phẳng (w,b) trong không gian 2 chiều tập mẫu 183 Hình B.10 Minh họa các bước tính toán k-NN 183

Hình B.11 Một số kết quả nhận dạng đúng/sai CSDL Naicorp 2012 186

Hình B.12 Một số kết quả nhận dạng đúng/sai CSDL RobotVision2013 186

Hình B.13 Đồ thị AP của 20 lớp đối tượng CSDL PascalVOC 2007 188

Hình B.14 Đồ thị AP từng lớp đối tượng CSDL PascalVOC 2007 188

Hình B.15 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 189

Hình B.16 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 189

Hình C.1 Một số giải pháp thu thập dữ liệu từ 2 camera 190

Hình C.2 Một số lỗi khi xây dựng bản đồ tại môi trường trong nhà 191

Hình C.3 Một số lỗi khi xây dựng bản đồ tại môi trường ngoài trời 191

Hình C.4 Thiết kế xe camera thu thập dữ liệu 192

Hình C.5 Mô hình thu nhận ảnh của camera 193

Hình C.6 Các loại biến dạng khi thu nhận ảnh 194

Hình C.7 Quá trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng 195

Hình C.8 Các phiên bản của robot PC-Bot 914 196

Hình C.9 Vị trí lắp các cảm biển hồng ngoại IR 197

Hình C.10 Cơ cấu bánh xe điều khiển của robot PC-Bot 914 197

MỞ ĐẦU

Tính cấp thiết, ý nghĩa khoa học của luận án

Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng

285 triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừaphải đến mức độ nặng và 39 triệu người mù [112] Tại Việt Nam, theo số liệu của Việnmắt Trung ương cung cấp, có khoảng 1.2 triệu NKT, trong đó 820.503 người khôngcòn khả năng nhìn thấy ánh sáng Nếu tính cả những người bị các tật về mắt như cậnhoặc viễn thì con số này còn lớn hơn rất nhiều

Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng nhưnắm bắt các cơ hội việc làm Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quantâm của nhiều nhà khoa học trong thời gian gần đây Trong số các yêu cầu trợ giúp,trợ giúp định hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường

đi hay đưa ra các thông báo về môi trường xung quanh

Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợđịnh hướng cho NKT, như sử dụng gậy [35], chó dẫn đường [35], hay thiết bị điện tử[15] Mỗi phương pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm

vi phát hiện vật cản theo kích thước của gậy; chó dẫn đường thường có chi phí cao vàgây trở ngại về tâm sinh lý đối với người dùng; thiết bị điện tử như các điện cực đặttrên lưỡi có thể gây tâm lý ngại ngần khi sử dụng

Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đườnghiệu quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCSthực hiện đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh,ứng dụng trợ giúp dẫn đường cho người khiếm thị”

Mục tiêu và những thách thức

Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như người bạn đồng hành

có khả năng giao tiếp thân thiện và hiệu quả, luận án hướng đến nghiên cứu và pháttriển một số kỹ thuật định vị sử dụng thông tin hình ảnh ứng dụng trợ giúp dẫn đườngcho NKT

Trong luận án, chúng tôi nghiên cứu và phát triển ứng dụng thực hiện tại môitrường trong nhà, sử dụng robot dẫn đường Ở đây, môi trường định nghĩa là môitrường cảm thụ diện dẹp (như hành lang của tòa nhà) có độ rộng đủ lớn, được trang

bị các thiết bị công nghệ đảm bảo kết nối giữa các thành phần trong hệ thống Đặcđiểm cơ bản của môi trường là tĩnh, ít thay đổi và đối tượng di chuyển là người chỉhoạt động trên mặt sàn không dốc, trong mỗi phiên làm việc chỉ trợ giúp 01 người.

Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các

vị trí trong môi trường và nhận dạng được các vật cản trên đường đi Do vậy, chúngtôi chia các mục tiêu đạt được thành ba bài toán cụ thể:

1 Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vịtrí hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang ởđâu trong môi trường và đường đi đến vị trí đích như thế nào? để giải quyết vấn

đề này, bản đồ môi trường phải được xây dựng từ trước và robot có khả năngđịnh vị từ một vị trí bất kỳ trên bản đồ Mặc dù có nhiều phương pháp đã được

đề xuất, hướng tiếp cận tổng quát và bền vững với các yếu tố môi trường đang lànhững mục tiêu mà các nhà khoa học theo đuổi

2 Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển,

để đảm bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cảntrong môi trường bao gồm vật cản tĩnh và động được phát hiện và cảnh báo vềmức độ nguy hiểm có thể gây ra

Ngoài các thách thức chung của bài toán phát hiện đối tượng trong lĩnh vực thịgiác máy tính, như điều kiện chiếu sáng thay đổi: che khuất, bóng luận án còngiải quyết với chất lượng ảnh không tốt do rung lắc, camera di chuyển, ước lượngkhoảng cách từ NKT tới vật cản trong thời gian thực

3 Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bàitoán robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệtvới việc dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảmbảo an toàn cho NKT

Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định vị

là một thách thức trong lĩnh vực điều khiển động học Tương tác người - robotphải thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệthống đang hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giácquan tự nhiên là một bài toán đòi hỏi nhiều thời gian thử nghiệm trên NKT

Những điểm mới của luận án

Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phươngpháp với những đóng góp chính sau đây:

1 Mô hình biểu diễn môi trường theo hướng tiếp cận kết hợp bản đồ số liệu và bản

đồ topo cùng với các thông tin về vật cản của môi trường

2 Đề xuất một kỹ thuật định vị dựa trên hình ảnh trong đó kỹ thuật VO* chophép làm giàu hơn thông tin về môi trường và giải thuật FAB-MAP* cho phépnâng cao độ chính xác định vị

3 Đề xuất phương pháp phát hiện nhanh và chính xác một số vật cản trong môitrường

Cấu trúc của luận án

Luận án gồm 4 chương với nội dung tóm tắt như sau:

◦ Chương 1: Tổng quan về hệ thống trợ giúp người khiếm thị giới thiệumột số nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích

ưu nhược điểm của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đườngcho NKT di chuyển trong môi trường diện hẹp sử dung robot”

◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễnmôi trường và định vị dựa trên hình ảnh Hai giải thuật với những cải tiến sẽđược giới thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu,giải thuật xây dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh

◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày mộtphương pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh

và ước lượng khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quansát khác nhau trên 01 camera

◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệthống dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêmmột số chức năng khác như tìm đường, điều khiển, tương tác người robot sử dụngcác kỹ thuật cơ bản sẵn có Phần thử nghiệm và đánh giá trên người dùng khiếmthị 100% không nhìn thấy ánh sáng tại 03 môi trường khác nhau

CHƯƠNG 1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP

và xa), khứu giác (ngửi) hay vị giác (nếm) và dần dần hình thành thói quen

Ngày nay, với sự phát triển vượt bậc của khoa học kỹ thuật, nhiều công nghệ đãđược nghiên cứu và triển khai trợ giúp NKT được hòa nhập nhiều hơn trong xã hộitrong nhiều hoạt động khác nhau Trong khuôn khổ của luận án, chúng tôi tập trunggiải quyết bài toán trợ giúp dẫn đường cho NKT, cụ thể là dẫn NKT đi giữa hai vịtrí trong môi trường Phần 1.2 của chương này trình bày các nghiên cứu trợ giúp dẫnđường, dẫn hướng, tránh vật cản cho NKT Các trợ giúp khác như đọc sách, đi muasắm trong siêu thị, v.v nằm ngoài phạm vi nghiên cứu của luận án Phần 1.3 trình bày

hệ thống đề xuất với các chức năng chính

1.2 Các nghiên cứu liên quan

1.2.1 Các nghiên cứu trên thế giới

Trên thế giới, chủ đề trợ giúp NKT đã thu hút đông đảo các nhà nghiên cứu pháttriển từ những năm 70 của thế kỷ trước Cho đến nay, nhiều công trình nghiên cứu

và sản phẩm ứng dụng đã được đưa vào thực tế Chúng tôi chia các phương pháp nàythành 05 nhóm chính dựa trên công nghệ sử dụng để thu nhận tín hiệu môi trườngphục vụ cho việc phân tích và cảnh báo cho NKT: Siêu âm, Hồng ngoại, Laser, Camera,

Đa cảm biến

1.2.1.1 Siêu âm

Các phương pháp trợ giúp NKT sử dụng công nghệ siêu âm dựa trên nguyên lýphản xạ của sóng siêu âm để đo khoảng cách từ nguồn phát sóng đến vật cản, cácnghiên cứu được phát triển trong thời gian dài của thập kỷ trước

Nghiên cứu đầu tiên của Kay 1974 đề xuất kính siêu âm SonicGuide [76] dựa trên

ý tưởng định vị không gian sóng phản xạ của loài dơi Với thiết kế đến dưới hình thứccủa một cặp gọng kính trên đó có gắn cảm biến siêu âm và bộ thu tín hiệu Cảm biếtsiêu âm phát ra chùm tia siêu âm một góc hình nón (α = 5500) Bộ thu tín hiệu cónhiệm vụ chuyển đổi tín hiệu phản xạ từ các đối tượng thành tín hiệu âm thanh phát

ra bên tai trái và phải người đeo kính Sự chênh lệch biên độ từ nguồn âm thanh ởhai tai cho phép NKT xác định hướng của tiếng vọng phản xạ của đối tượng Kíchthước của đối tượng được mã hóa bởi tiếng vang tỉ lệ nghịch với tần số của nguồn âmthanh Vùng âm thấp thể hiện đối tượng ở gần Các tín hiệu từ hai nguồn thu nhậnđược chuyển tới mỗi tai một cách độc lập Sự khác biệt biên độ dao động âm cho phépphân biệt hướng của vật cản Kính siêu âm Sonic Guide có thể hoạt động độc lập hoặc

có thể dùng như thiết bị thứ cấp, kết hợp với thiết bị cầm tay khác như gậy hoặc chódẫn đường để tăng hiệu quả dẫn đường cho NKT

Leslie Kay 1984 đề xuất thiết bị tên Sonic torch [75] có khả năng hỗ trợ di chuyểncho NKT thiết bị này có thiết kế nhỏ gọn dạng cầm tay giống như một chiếc đèn pinbao gồm 2 phần, phần thứ nhất là các cảm biến siêu âm phát ta chùm sóng siêu âmhướng phía trước và nhận được chùm tia phản xạ từ vật cản gần nhất, phần thứ hai

là hệ thống truyền âm thanh tới tai NKT

Pressey 1977 đề xuất thiết bị cầm tay Mowat sensor [119] cho phép xác định vậtcản cầm tay Thiết bị này có thiết kế nhỏ gọn, có thể bỏ túi khi không sử dụng Thiết

bị này phát hiện vật cản phía trước bằng cách gửi chùm sóng siêu âm tần số ngắn vànhận được chùm tia phản xạ Nếu có vật cản phía trước, hệ thống sẽ phát ra âm báo

và rung lắc cho biết phía trước có vật cản Phạm vị mà thiết bị phát hiện được vậtcản là 4m Chùm tia phát ra hình elip với góc phương vị là (β = 1500) và góc ngẩng(α = 3000) Tần số rung của thiết bị tỷ lệ với khoảng cách tới vật cản Một rung động

ở tần số 4hz tương ứng với khoảng cách tới vật cản là 4m ngược lại nếu ở khoảng cách1m thì tín hiệu rung lắc có tần số f = 40hz Về ưu điểm, thiết bị này sản xuất vớichi phí thấp, thuận tiện cho người dùng khi di chuyển để xác định vật cản phía trước.Tuy nhiên, để sử dụng thiết bị một cách hữu ích thì cần thêm chiếc gậy thông thườngtrong một số tình huống di chuyển trong nhà hoặc người trời với phạm vi nhỏ

Dodds và Allan 1984 đề xuất thiết bị siêu âm tìm đường có tên The SonicPathfinder [39] hoạt động theo nguyên lý phản hồi âm thanh Thiết bị này được kế

thừa các mặt tối ưu của các nghiên cứu trước như Mowat sensor [119] và Sonic torch[75] Hệ thống gồm có 5 đầu dò siêu âm gắn lên mũ trong đó 3 cảm biến siêu âm thunhận tín hiệu sóng siêu âm phản xạ, được chia làm 3 vùng: trái, phải, giữa và 2 bộphát tín hiệu siêu âm về hướng phía trước Tín hiệu sóng siêu âm phản xạ từ các vậtcản trên đường đi nhận lại từ 3 bộ cảm biến này được truyền về bộ xử lý trung tâm.Đầu ra là tín hiệu âm thanh được truyền vào một tai nghe hoặc cả hai Tùy thuộc vàovật cản nằm ở vùng trái hoặc vùng phải, nếu âm thanh có cả 2 tai nghe thì vật cảnnằm vùng trung tâm Cứ 30cm thiết bị lại cảnh báo thông tin về vật cản cho NKTmột lần, phạm vi xác định là 0-2.5m.

Một số sản phẩm thương mại tiêu biểu có thể kể đến là iNavBelt [12] [132], gắntrên đầu NKT sử dụng cảm biến siêu âm quét một góc α = 1200 phía trước NKT chophép phát hiện các vật cản phía trước họ Sản phẩm có tên GuideCane [14] là chiếcgậy có gắn cảm ứng siêu âm ở đầu có khả năng phát hiện các chướng ngại vật và đồvật xung quanh người sử dụng thông qua lực tương tác nhỏ ở phần đầu của gậy chỉđường Thiết bị EyeRing[105] là thiết bị kích thước nhỏ bằng đốt ngón tay, có khảnăng truyền tải thông tin hình ảnh sang dạng tín hiệu dưới vành tai Hiện nay, thiết

bị này đã có thể truyền tải các thông tin về màu sắc, văn bản, nhận dạng chữ số đượcgắn trên sản phẩm Mặc dù những thông tin này là hữu ích trong một số môi trườngtuy nhiên nó còn hạn chế: khả năng hỗ trợ một lượng giới hạn thông tin, NKT phảiđiều khiển với sự tập trung cao độ Các nhà nghiên cứu tại MIT gần đây cũng đã phátminh việc sử dụng thêm một số cảm biến cho thiết bị này, ví dụ: cảm biến độ sâu, cảmbiến quán tính, gia tốc

Tại Châu Âu, nghiên cứu có tên GuideCane được đề xuất bởi Ulrich 2001 [141] làgậy thông minh có khả năng tránh vật cản Thiết kế phần cứng giống như một cây gậy

có gắn bánh xe, phía đầu dưới có gắn 10 cảm biến siêu âm, trong đó 8 cảm biến đượcgắn hình vòng cung, mỗi cái cách nhau một góc α = 150, 2 cảm biến được gắn 2 bên.Các cảm biến có nhiệm vụ phát hiện vật cản trong phạm vi góc α = 1200 trước NKT.Nghiên cứu trợ giúp NKT khi mua hàng tại siêu thị có tên RoboCart [83] [58] [85] [56][57] [84] được đề xuất bởi Vladimir Kulyukin và các cộng sự trong khoảng thời gian

2005 - 2009 Robot có khả năng trợ giúp chọn lựa sản phẩm mong muốn từ kho lưutrữ của hàng ngàn sản phẩm Để làm được điều này công nghệ RFID đã được áp dụng

để định vị Các thẻ RF được dán dưới thảm tại các vị trí quan trọng trong siêu thị.Robot được trang bị 01 máy tính kết nối với một đầu đọc thẻ RFID reader, 01 ăng tenthu tín hiệu, 01 cảm biến laser LRF truyền tín hiệu về máy tính giúp cho robot có thểphát hiện được vật cản phía trước, 01 bộ động cơ gồm cơ cấu 2 bánh giúp cho robot

di chuyển dễ dàng nhờ phần mềm điều khiển được cài đặt trong máy tính Mặc dù cónhiều nỗ lực trong cải tiến phương thức giao tiếp, những sản phẩm này vẫn có nhữnghạn chế cố hữu như giới hạn nguồn thông tin, không có tính tương tác với người dùng

1.2.1.2 Hồng ngoại

Loughborough 1979 phát triển thiết bị có tên Talking Signs [90], sử dụng bộ pháthồng ngoại lưu giữ bộ tiếng nói tổng hợp của vị trí cần trợ giúp được lắp đặt trên cácđiểm quan trọng trên toàn hộ hành trình NKT được trang bị bộ thu tín hiệu hồngngoại có khả năng chuyển đổi tín hiệu hồng ngoại thành tín hiệu âm thanh Ứng dụngnày cho phép NKT biết được vị trí hiện tại của mình, như trước cửa phòng, phía trướccon đường Tuy nhiên, nghiên cứu này cũng có những nhược điểm như khả năng lưutrữ thông tin, chi phí lắp đặt nhiều nguồn phát

1.2.1.3 Laser

Từ những năm 70 của thế kỷ trước, nhiều công trình khoa học công bố sử dụngcông nghệ laser gắn trên gậy để trợ giúp di chuyển cho NKT đã được đề xuất Năm

1970, Benjamin và các đồng nghiệp đã dựa trên ý tưởng xác định và tránh vật cản được

đề xuất bởi [11] để thiết kế chế tạo gậy dẫn đường có gắn cảm biến quang Năm 1973ông phát triển gậy dẫn đường gắn cảm biến laser [8] nhằm phát các hiện vật cản nhô

ra trên mặt đường Khi hoạt động, chùm tia laser được phát ra ở tần số f = 200Hzphía trước khoảng 50cm trên mặt đất Độ cao mà chùm tia có thể phát hiện vật cản

từ điểm gắn cảm biến laser trên gậy là 40cm đến 60cm Khi phát hiện ra vật cản phíatrước, thiết bị phát ra tiếng bíp ở tần số f = 2600Hz đủ để người khiếm thị có thểnghe thấy Gậy hoạt động liên tục được 3 tiếng với nguồn pin 6 vôn Nghiên cứu này

có ưu điểm bởi tính gần gũi như gậy truyền thống của NKT Tuy nhiên, do gắn cácthiết bị nên gậy có trọng lượng lớn, việc cầm nắm di chuyển kém linh động hơn Do

đó thiết bị này là một bước đột phá trong lĩnh vực trợ giúp NKT thập kỷ 70

1.2.1.4 Camera

Sử dụng camera để thay thế đôi mắt thu nhận thông tin hình ảnh về môi trường

là một hướng tiếp cận tự nhiên Có nhiều nghiên cứu đã được đề xuất và triển khaitheo hướng tiếp cận, như:

Năm 1992, Meijer và đồng nghiệp đã thiết kế và phát triển một hệ thống vOICebiến đổi trực tiếp hình ảnh thu nhận được từ môi trường bởi 01 camera thành một bản

đồ âm thanh để giúp cho NKT có thể nhận biết về môi trường [95] Cường độ của âmthanh sẽ tỷ lệ với cường độ sáng của điểm ảnh tương ứng Việc ánh xạ thông tin ảnhsang âm thanh sẽ tạo ra bản đồ âm rất phức tạp, nhất là trong môi trường có nhiềuđối tượng, bản đồ âm sẽ rất nhiễu gây khó khăn cho NKT khi sử dụng Việc ngườidùng hiểu được bản đồ âm thanh đòi hỏi phải trải qua quá trình huấn luyện lâu dài.Hơn nữa, với phương pháp này, bản đồ âm được sinh ra liên tiếp đòi hỏi cơ quan thính

giác của NKT liên tục phải hoạt động, từ đó dễ gây mệt mỏi cũng như đánh mất khảnăng nhận biết thông qua thính giác của NKT.

Trong [71], các nhà nghiên cứu thuộc đại học Stuttgart - Đức đã thiết kế hệ thốnggồm gậy có gắn 02 camera, la bàn số, máy tính xách tay xử lý các tín hiệu thu thậpđược từ cảm biến nhằm trợ giúp di chuyển cho NKT trong môi trường trong nhà Cáccảm biến hình ảnh thu nhận thông tin môi trường, các giải thuật xử lý hình ảnh được

áp dụng để phát hiện vật cản Thông tin vật cản được gửi đến người dùng thông qua

bộ tổng hợp tiếng nói và truyền đến tai của người nghe So với thiết bị vOICe, sựtrợ giúp của giải thuật xử lý hình ảnh, lượng thông tin truyền tải đến tai người nghe

đã được phân tích, chọn lọc nên thông tin cô đọng hơn, nhất là cách thức truyền tảithông qua tiếng nói tổng hợp nên không đòi hỏi phải huấn luyện NKT trước khi dùng.Năm 2012, Rodrguez và các đồng nghiệp đã phát triển một hệ thống trợ giúp NKT dichuyển tránh vật cản sử dụng camera kép [125] Với việc sử dụng camera kép, bản đồ

độ sâu trước camera được tính toán một cách dễ dàng Từ đó, mặt đường được xácđịnh, cho phép phát hiện các đối tượng vật cản nằm trên mặt đường Phản hồi âmthanh được sử dụng để thông báo với NKT về vật cản trên đường đi

Các hệ thống sử dụng camera kép dễ dàng xác định được bản đồ độ sâu nhưnggiá thành tương đối đắt và đòi hỏi quá trình hiệu chỉnh phức tạp Trong [9], các tácgiả giới thiệu hệ thống sử dụng cảm biến Kinect phát triển bởi Microsoft Cảm biếnnày được gắn vào đai thắt lưng của NKT Các thông tin thu được từ Kinect sẽ được

xử lý bằng cách chuyển thông tin độ sâu và hình ảnh sang biểu diễn dạng đám mâyđiểm, phát hiện vật cản trên đám mây điểm, phân tích thông tin gia tốc để xác địnhtốc độ chuyển động của người sử dụng, và truyền tín hiệu âm thanh Những phươngpháp trình bày phía trên đều sử dụng âm thanh để phản hồi đến người dùng Như đãphân tích, việc sử dụng tín hiệu âm thanh làm cho hạn chế hoạt động của thính giác,

là một trong những giác quan quan trọng để NKT cảm nhận và di chuyển Để khôngảnh hưởng đến giác quan này, hướng tiếp cận sử dụng xúc giác trên một số bộ phậncủa cơ thể người như trên lưỡi, đầu ngón tay

Trong [72] thiết kế thiết bị chuyển đổi thông tin hình ảnh thành các tín hiệu tiếpxúc Thiết bị gồm đai đeo với 14 bộ rung đặt cách nhau, hai camera quan sát môitrường Tín hiệu hình ảnh thu được từ hai camera cho phép tái tạo bản đồ độ sâu phíatrước NKT Bản đồ này sau đó được chia thành 14 vùng theo chiều dọc Khi có vậtcản xuất hiện ở trong vùng, cảm biến rung tương ứng với vùng đó được kích hoạt thìtần số của tín hiệu sẽ thể hiện khoảng cách của vật cản

Song song với việc phản hồi thông tin thông qua các cảm biến rung, hướng tiếpcận khác sử dụng các phản hồi thông qua việc phát ra các xung điện kích hoạt đếncác tế bào thần kinh trên bề mặt da, lưỡi cũng được nhiều nhà khoa học theo đuổi

Brainport[34] là kết quả nghiên cứu và chuyển thành sản phẩm thương mại nằm trongnhóm các phương pháp này Thiết bị gồm camera gắn trên chiếc kính đeo dành choNKT, bộ điều khiển cầm tay, ma trận điện cực và các dây nối Tín hiệu hình ảnh thunhận được từ camera được lấy mẫu và truyền xuống ma trận điện cực có kích thước

20 × 20 Cường độ sáng của điểm ảnh càng lớn thì kích thích tại điện cực tương ứngcàng mạnh và ngược lại Giải pháp này cho phép NKT có thể nhận diện một số đồ vậtsau thời gian huấn luyện

1.2.1.5 Đa cảm biến

Ngoài các thiết bị trên, hướng tiếp cận khác là sử dụng các cảm biến tích hợp trênrobot di động trợ giúp NKT cũng đang là hướng nghiên cứu dành được sự quan tâmthu hút của nhiều nhóm nghiên cứu:

Năm 2004, J Yoon và các đồng nghiệp đã kết hợp ý tưởng trợ giúp truyền thống

sử dụng gậy và chó dẫn đường để phát triển Robot gậy Roji[131] Robot Roji đượccấu thành từ một thanh cầm dài, hai bánh lái, các cảm biến (3 cảm biến hồng ngoại,

1 cảm biến siêu âm, 2 anten) và bảng điều khiển để tương tác với người dùng Roji sửdụng vi điều khiển PICBASIC2000 để xử lý các thông tin đến từ các cảm biến đồngthời tạo ra các xung điều khiển đến mô tơ động cơ để thực hiện các chuyển động trênbánh lái Trong quá trình di chuyển, các cảm biến siêu âm sẽ quét một góc ±900 đểphát hiện vật cản ở khoảng cách 2.5m Bộ ba cảm biến hồng ngoại cho phép xác địnhcác vật cản lồi chặn trên đường đi của robot gậy ở khoảng cách 0.6m Các vật cản ởkhoảng gần hơn sẽ được phát hiện thông qua hai anten tiếp xúc Các bộ chuyển mạchgiới hạn, bộ phát hiện góc, cảm biến mô men xoắn được gắn trên các anten này đểphát hiện nhanh chóng và dễ dàng hơn sự thay đổi của môi trường khi chiết áp tiếpxúc với một bề mặt hoặc chỗ gập Để tương tác với Robot, NKT sử dụng bảng điềukhiển với 4 nút cơ bản để điều khiển: đi thẳng, rẽ trái, rẽ phải, dừng NKT sẽ nhậnthông tin phản hồi từ phía hệ thống thông qua các tín hiệu âm thanh với các tôngkhác thể hiện khoảng cách của vật cản Robot có hai chế độ hoạt động: hoạt động dựatheo bốn lệnh điều khiển của người dùng hoặc tự hành Ở chế độ tự hành, robot cókhả năng tránh vật cản và chuyển động an toàn Có thể nói Robot Roji đã có đầy đủchức năng cần thiết để trợ giúp di chuyển cho NKT với các thông báo về vật cản Tuynhiên, thí nghiệm và đánh giá định lượng trong các môi trường chưa được triển khai

Vì vậy rất khó để đánh giá về độ tin cậy, tính hiệu quả của Robot

Cũng giống ý tưởng thiết kế robot Roji, năm 2009 A Melvin và các đồng nghiệp

đã nghiên cứu và phát triển robot ROVI [1] trợ giúp NKT di chuyển tránh vật cản.ROVI được thiết kế với một thanh cầm gắn với robot, bộ vi điều khiển BASIC Stamp2p thực hiện các phép xử lý và tạo xung điều khiển, 9 cảm biến siêu âm để phát hiện

vật cản ở phía trước của robot trong khoảng ±900 Trong thí nghiệm, các tác giả choNKT cầm thanh cầm gắn với robot di chuyển ở tốc độ chậm (trong khoảng 0.1 đến 0.2m/s) Mục đích của thí nghiệm là sử dụng robot để dẫn NKT đến vị trí đích đã đượcxác định trước trong môi trường Lộ trình đi từ điểm khởi đầu đến điểm đích là mộtđường thẳng trên đó có đặt các vật cản ở khoảng cách 20cm-70cm so với robot Các thínghiệm được thực hiện trong nhà và ngoài trời, tuy nhiên cũng giống như với nghiêncứu trình bày trong [131], không có bất kỳ đánh giá định lượng nào đã được thực hiện.Các tác giả cũng không đề cập cách thức phản hồi thông tin đến người dùng.

Năm 2015, Nazemzadeh.P và Moro.F [106] nghiên cứu và mở rộng phương phápđịnh vị robot di động trong nhà ra môi trường công cộng có phạm vi lớn, trong đó

kỹ thuật ước lượng, theo dõi vị trí được phát triển và phân tích thông qua các thựcnghiệm Mục tiêu là phát triển một robot có bánh xe chuyển động trợ giúp cho người

sử dụng, cách tiếp cận dựa trên sự kết hợp dữ liệu từ nhiều điểm và nó được hìnhthành nhằm đảm bảo sự cân bằng giữa độ chính xác mong muốn, mức độ tin cậy vàchi phí triển khai Trong nghiên cứu, các tác giả sử dụng công nghệ truyền sóng ngắnRFID để định vị vị trí robot đồng thời sử dụng kết hợp bộ lọc mở rộng Kalman (EKF)

để ước lượng trạng thái của hệ thống phi tuyến, theo các giả định: 1 Mô hình đầu rakhông tuyến tính; 2 Các vị trí dự đoán không chắc chắn khác nhau thường được phânphối với một mức độ không trung bình Kết quả của bộ lọc mở rộng Kalman sẽ ướclượng vị trí và hướng di chuyển của robot đồng thời bù lại hệ số vận tốc góc của bánh

xe gây ra bởi sự bất đối xứng giữa các bộ mã hóa bên phải và bên trái Môi trườngthử nhiệm trong nhà có diện tích 300m2, trên mặt sàn có dán các thẻ RFID trên mặtsàn, mỗi thẻ cách nhau 2m, kết quả sai số định vị nằm trong khoảng từ 50 cm đến 1m.Năm 2016, Wachaja.A và đồng nghiệp [144] đưa nghiên cứu thiết bị xe thông minh

có tên là “Smart Walker” hỗ trợ NKT bị tật khi di chuyển trong môi trường phức tạp,

hệ thống xe được trang bị cảm biển LIDARs phát hiện vật cản và dẫn đường cho NKT,

dữ liệu được truyền về bộ xử lý trung tâm và dưa ra phản hồi rung trên hai tay cầmcủa xe, giúp cho NKT phát hiện được các vật cản ở phía trước cũng như khi xe dichuyển với 04 tín hiệu rung khác nhau như: đi thẳng, rẽ trái, đến đích Mỗi tín hiệuđược lặp vài lần giúp cho NKT cảm nhận trạng thái hoạt động của xe Số lượng 10tham gia thực nghiệm gồm người mắt sáng và NKT, kết quả hệ thống đáp ứng đượcmục tiêu đặt ra với thời gian đáp ứng là 1 giây trước các tác động của môi trường.Azenkot.S, Feng.C và Cakmak.M [3] xây dựng và thiết kế một dịch vụ dẫn hướngcho NKT tại môi trường trong nhà sử dụng robot, các tính năng chính của hệ thốnglà: NKT có thể yêu cầu robot trợ giúp khi ở trong nhà; lựa chọn 3 phương thức hỗ trợ

từ robot (hướng dẫn đi lại, di, chuyển cùng và đưa ra thông tin của môi trường); nhậnđược các thông tin trợ giúp từ robot Kết quả là các sản phẩm như biểu đồ chức năngcủa robot dẫn hướng, bản thiết kế kiểu dáng robot, các mô đun phần mềm cài đặt, các

chế độ trợ giúp, hướng dẫn định tuyến chọn đường đi Quy trình thiết kế có sự thamgia của các chuyên gia, người dùng (NKT) nhằm hướng tới một dịch vụ trợ giúp dẫnhướng cho NTK bằng robot.

1.2.2 Các nghiên cứu trong nước

Trong thời gian gần đây, một số nhóm nghiên cứu trong nước cũng đã đề xuấtgiải pháp công nghệ trợ giúp cho NKT Có thể kể đến một số điển hình sau:

ˆ Gậy cho người khiếm thị: Năm 2011, nhóm 4 sinh viên bao gồm cả mắt sáng vàkhiếm thị đã thiết kế gậy dẫn đường rất đơn giản để trợ giúp đi lại cho NKT.Gậy được cấu thành từ 4 đoạn ống inox, dây dù, bóng đèn LED, thiết bị phát

âm thanh, dây điện, công tắc Trong quá trình di chuyển, NKT mang theo gậy

có gắn đèn và âm thanh sẽ tạo sự chú ý cho các phương tiện tham gia giao thông,đặc biệt là vào ban đêm

ˆ Chiếc nón kì diệu - SPKT Eye: Năm 2012, TS Nguyễn Bá Hải và các công sự đãthiết kế mũ gắn cảm biến laser trợ giúp cảnh báo vật cản cho NKT Cảm biếnlaser cho phép thu nhận các tín hiệu của các vật thể xung quanh người khiếm thị

và chuyển các tín hiệu này thành các tín hiệu rung động gắn trên vành của mũ.Phạm vi hoạt động của thiết bị là 2 − 3m Vật cản càng gần thì tín hiệu rungcàng lớn và người lại Năm 2014, nhóm đã xuất giải pháp chế tạo thiết bị có têngọi Mắt kính giúp người khiếm thị cảm nhận được vật cản ở xa, gần, to, nhỏ

ˆ Cảnh báo NKT tránh vật cản bằng ma trận điện cực: Trong nhóm các phươngpháp sử dụng ma trận điện cực, một số nhà khoa học Pháp và Việt Nam phốihợp trong dự án nghiên cứu sử dụng camera để thu nhận và mô hình hóa môitrường, chuyển đổi thông tin vật cản thành các tín hiệu để cảnh báo thông quakích thích từ ma trận điện cực Trong [68], các tác giả sử dụng cảm biến Kinect

để phát hiện vật cản, sau đó thông tin vật cản được mã hóa cảnh báo đến NKTthông qua kích thích trên các điện cực

ˆ Đa cảm biến dùng cho kỹ thuật dẫn đường các robot di động: nhóm tác giả TrầnThuận Hoàng, Trần Quang Vinh [38] [66] [67] đề xuất giải pháp tổng hợp cảmbiến với việc sử dụng bộ lọc Kalman mở rộng để kết hợp những ưu nhược điểmcủa một hoặc nhiều cảm biến cho phép tăng được độ chính xác, tin cậy của việcđịnh vị robot nhằm nâng cao chất lượng dẫn đường cho robot di động Trong đócải tiến thành công một thiết bị đo xa laser 2D thành một cảm biến đo xa 3D;tổng hợp tới 4 cảm biến hiện đại (lập mã quang, từ-địa bàn, laser và camera toànphương) Qua đó xây dựng được bản đồ và vạch đường đi mong muốn, cũng nhưđiều khiển robot chuyển động ổn định tiệm cận đích

Ngoài ra nhóm tác giả Phạm Thượng Cát [22] Viện hàn lâm Khoa học Việt Nam

đề xuất một số phương pháp điều khiển robot di động, như: phương pháp tránhvật cản sử dụng VFH [24] truyền thống cho phép tránh vật cản không xác định

từ trước đồng thời hướng robot chuyển động về phía mục tiêu và chỉ thích hợpvới các robot di động có gắn bộ các cảm biến siêu âm (sonar) được phân bố đềuxung quanh robot; phương pháp điều khiển bền vững cho hệ robot camera bámmục tiêu di động, ứng dụng mạng noron [23] trong điều khiển hệ thống robotcamera có nhiều tham số bất định bám theo mục tiêu di động Nguyên lý hoạtđộng dựa trên cơ sở sai lệch đặc trưng ảnh, kết quả tìm được cấu trúc của hệđiều khiển, tính được các moomen khớp cần thiết và chứng minh được tính ổnđịnh tiệm cận toàn cục của robot camera bám mục tiêu

gì, mức độ nguy hiểm ra sao và không có khả năng dẫn đường cho NKT trongmôi trường

ˆ Các phương pháp sử dụng hình ảnh cho phép phân loại đối tượng, xác địnhkhoảng cách và mức độ nguy hiểm của vật cản Tuy nhiên nhóm các phươngpháp này gặp nhiều thách thức trong việc giải quyết các bài toán về thị giác máytính và dẫn hướng sử dụng hình ảnh

ˆ Các phương pháp sử dụng đồng thời nhiều loại cảm biến khác nhau sẽ tận dụngđược các ưu điểm của mỗi loại cảm biến để giải quyết các thách thức trong môitrường phức tạp Tuy nhiên các phương pháp này gặp khó khăn trong việc thuthập và xử lý đồng bộ các loại dữ liệu, thời gian đáp ứng còn chậm Hiện tại, cácphương pháp này mới nghiên cứu và thử nghiệm trong phòng thí nghiệm, chưa

có sản phẩm thương mại sử dụng đa cảm biến

ˆ Trong tất cả các phương pháp nêu trên, không có phương pháp nào thực hiệndẫn đường cho NKT đến vị trí mong muốn mà chỉ hỗ trợ trong quá trình đi lại.Các phương pháp cảnh báo vật cản chỉ dừng lại ở cảnh báo có hay không màkhông chỉ rõ đối tượng và mức độ nguy hiểm là gì

1.3 Mục tiêu nghiên cứu và phương pháp đề xuất

1.3.1 Mục tiêu và phạm vi nghiên cứu

Trong khuôn khổ của LATS, chúng tôi đi theo hướng tiếp cận sử dụng cảm biếncamera bởi lượng thông tin hình ảnh thu thập được phong phú, cho phép đồng thờithực hiện bài toán dẫn đường và phát hiện vật cản Hơn nữa, cảm biến hình ảnh ngàycàng có giá thành rẻ và thông dụng với người dùng Mục tiêu đề tài hướng đến là:

− Nghiên cứu và phát triển một số kỹ thuật định vị sử dụng thông tin hình ảnhhiệu quả phù hợp với môi trường trong nhà

− Ứng dụng triển khai hệ thống trợ giúp dẫn đường và cảnh báo vật cản cho NKTmột cách hiệu quả và thân thiện

Trong LATS, trợ giúp dẫn đường được hiểu là dẫn NKT di chuyển đến vị trí mongmuốn trên bản đồ với các cảnh báo về vật cản trong quá trình di chuyển Khi thiết kế

hệ thống, chúng tôi dựa trên một số ràng buộc theo đặc thù của môi trường triển khai.Đặc điểm của môi trường trong nhà có nhiều thách thức như cấu trúc giống nhau,thường xuyên lặp lại, độ chiếu sáng không đồng đều, độ rộng hành lang là khác nhautại các địa điểm thực nghiệm Do vậy chúng tôi giới hạn phạm vi nghiên cứu là môitrường cảm thụ diện hẹp Môi trường cảm thụ diện hẹp được định nghĩa là môi trườnghẹp (ví dụ hành lang của một tòa nhà) có gắn các thiết bị (wifi), cảm biến (camera)cho phép thu thập các tín hiệu của môi trường nhằm phục vụ cho các ứng dụng khácnhau, hệ thống đề xuất chỉ phục vụ 01 người tại một thời điểm

1.3.2 Phương pháp đề xuất

Các thành phần chính của hệ thống đề xuất mô tả như trong Hình 1.1 gồm robot

di động có gắn camera thu nhận hình ảnh môi trường, thực hiện các phép xử lý tínhtoán để trả lời 02 câu hỏi chính: i) robot đang ở đâu? có những vật cản gì? ii) làm thếnào để dẫn NKT đi đến vị trí mong muốn? khi NKT sử dụng điện thoại di động có kếtnối không dây để điều khiển và nhận phản hồi từ hệ thống Trong quá trình di chuyển,NKT bám vào một điểm trên robot để đi theo

Để trả lời các câu hỏi đã đặt ra, 5 bài toán sau sẽ lần lượt giải quyết trong cácchương 2, 3, 4 của luận án:

ˆ Biểu diễn môi trường (chương 2): Do yêu cầu của bài toán là dẫn đường giữa hai

vị trí nên bản đồ của môi trường cần phải xây dựng từ trước ở pha ngoại tuyến

ˆ Định vị (chương 2): Để dẫn đường đến vị trí mong muốn, robot cần phải biết vịtrí hiện tại của nó ở đâu trên bản đồ môi trường

• Mạng Wireless

thông minh

• Camera

Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT

ˆ Phát hiện và ước lượng khoảng cách vật cản (chương 3): Để cảnh báo vật cản, cácvật cản tĩnh và động trong mơi trường được phát hiện và khoảng cách từ robotđến vật cản cần được ước lượng

ˆ Tìm đường và điều khiển di chuyển (chương 4): Để dẫn đường, robot tìm đường

từ vị trí hiện tại đến vị trí đích và được điều khiển để di chuyển giữa hai vị trí

ˆ Tương tác người - hệ thống (chương 4): Yêu cầu của người dùng và đáp ứng của

hệ thống được thực hiện một cách tự nhiên, thân thiện và hiệu quả

Việc phát triển một hệ thống hồn chỉnh cĩ khả năng ứng dụng trong thực tiễnđịi hỏi triển khai rất nhiều mơ đun khác nhau Trong phạm vi nghiên cứu của luận

án, chúng tơi tập trung nghiên cứu giải quyết bài tốn 1, 2, 3 và phát triển ứng dụnghồn chỉnh Các bài tốn cịn lại được giải quyết dựa trên các cơng cụ cĩ sẵn

1.4 Kết luận chương 1

Trong chương 1 nghiên cứu sinh đã trình bày tổng quan các nghiên cứu trợ giúpngười khiếm thị trên thế giới và tại Việt Nam Cĩ thể nhận thấy, các cơng nghệ sửdụng rất đa dạng như: cảm biến hồng ngoại, cảm biến siêu âm, laser và cảm biến hìnhảnh Mỗi cơng nghệ cĩ những đặc thù riêng, dẫn đến khả năng hỗ trợ cho NKT mộtcách khác nhau Dựa trên việc phân tích ưu nhược điểm, chúng tơi đã đề xuất phươngpháp trợ giúp dẫn đường cho NKT sử dụng cảm biến hình ảnh Chúng tơi cũng trìnhbày các ràng buộc, giới hạn phạm vi nghiên cứu và các bài tốn cơ bản cần giải quyết.Các chương tiếp theo sẽ trình bày lần lượt các bài tốn liên quan

CHƯƠNG 2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ

Như đã trình bày trong chương 1, chúng tôi hướng đến phát triển hệ thống robotdẫn đường cho NKT di chuyển giữa hai vị trí trong môi trường Để đạt được mục tiêu

đã đặt ra, hai nhiệm vụ quan trọng cần giải quyết là: i) biểu diễn môi trường; ii) xácđịnh vị trí của robot trên bản đồ Ở Chương 2, chúng tôi trình bày kỹ thuật để giảiquyết các nhiệm vụ đã đề xuất và kết quả thực nghiệm

2.1 Giới thiệu chung

Dẫn đường robot được mô tả như một quá trình xác định đường đi hợp lý và antoàn từ điểm khởi đầu đến điểm đích để robot có thể di chuyển giữa chúng Rất nhiềucảm biến khác nhau như GPS, Lidar, Wifi đã được sử dụng để giải quyết bài toán này.Tuy nhiên những dữ liệu đó không có sẵn hoặc thuận tiện cho việc thu thập, đặc biệttrong môi trường nhỏ hoặc vừa Ví dụ, hệ thống định vị GPS chỉ cung cấp các dịch vụbản đồ trong điều kiện khắt khe như thời tiết tốt, môi trường lớn, ngoài trời và không

hỗ trợ trong môi trường nhỏ như trong các tòa nhà [110] Các hệ thống sử dụng Lidarđòi hỏi phải đầu tư chi phí [148] Hệ thống định vị Wifi cũng không dễ dàng triển khai,cài đặt, ngay cả đối với các môi trường diện hẹp [10]

Trong 30 năm trở lại đây, hướng tiếp cận dẫn hướng dựa trên hình ảnh đã thu hút

sự quan tâm đặc biệt của các nhà nghiên cứu và phát triển Các hướng tiếp cận dẫnhướng nói chung và sử dụng hình ảnh nói riêng được chia thành hai loại: thứ nhất dựatrên bản đồ môi trường đã được xây dựng từ trước bởi chính robot hoặc bởi một công

cụ khác; thứ hai vừa định vị vừa tự xây dựng bản đồ (hay còn gọi chung là SLAM).Các phương pháp thuộc hướng tiếp cận thứ hai chỉ cho phép dẫn hướng cho robotnhưng không cho phép tìm đường đi giữa hai vị trí trong môi trường Trong khi ngữcảnh bài toán đặt ra là robot dẫn đường từ hai vị trí biết trước, vì vậy phải có bản

đồ môi trường được xây dựng ở pha ngoại tuyến và được sử dụng ở pha trực tuyến đểđịnh vị và tìm đường

Trong khuôn khổ luận án, chúng tôi đi theo hướng tiếp cận xây dựng bản đồ môitrường ở pha ngoại tuyến và định vị sử dụng nguồn thông tin hình ảnh thu thập được

từ camera Ưu điểm chính của việc sử dụng camera là giá thành rẻ hơn rất nhiều sovới các cảm biến khác trong khi cung cấp nguồn thông tin hình ảnh có giá trị phục

vụ cho nhiều bài toán khác nhau như xây dựng bản đồ, định vị và phát hiện vật cản

Đặc biệt có thể sử dụng các thiết bị thông thường để thu thu thập xử lý dữ liệu nhưcamera cầm tay, camera gắn trên điện thoại hay camera mạng có vùng quan sát rộng.

Sử dụng camera dễ lắp đặt và triển khai ở các môi trường khác nhau như trong nhàhay ngoài trời Tuy nhiên việc sử dụng camera đối mặt với nhiều thách thức như đòihỏi tính toán lớn vì bản thân cảm biến không cho phép xác định một cách trực tiếp đốitượng quan tâm; chuyển động của robot không chính xác, độ phức tạp và biến độngcủa môi trường, yêu cầu đáp ứng thời gian thực

2.2 Những nghiên cứu liên quan

Phần dưới đây chúng tôi chia các hướng tiếp cận biểu diễn môi trường theo banhóm: i) hướng tiếp cận sử dụng bản đồ số liệu; ii) hướng tiếp cận sử dụng bản đồ topo;iii) hướng tiếp cận lai

2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu

Bản đồ số liệu loại bản đồ mô tả thế giới theo khoảng cách (theo đơn vị mét);khoảng cách trên bản đồ tương ứng với khoảng cách trên thế giới thực [20] Các loạibản đồ số liệu chia thành hai nhóm chính [69]: bản đồ lưới (grid map) và bản đồ đặctrưng (feature map)

− Bản đồ dựa theo đặc trưng: thường được sử dụng bởi các nhà nghiên cứu tronglĩnh vực robot di động Ý tưởng cơ bản của hướng tiếp cận là sử dụng các đặctrưng như tường, góc, cạnh trong không gian để tái tạo lại bản đồ thường được sửdụng trong bài toán điều khiển, tự động định vị và xây dựng bản đồ môi trườngđược phát triển trong thời gian khá dài

John Leonard và đồng nghiệp 1991 [87] trình bày phương pháp vừa định vị vừaxây dựng bản đồ môi trường sử dụng tường và góc cạnh là đặc trưng biểu diễn.Robot di động được trang bị cảm biến siêu âm thu thập thông tin môi trườngphục vụ cho việc xây dựng bản đồ từ vị trí robot đến các vị trí tiếp theo trênhành trình di chuyển

W.D Rencken 1994 [123] đề xuất phương pháp sử dụng cảm biến siêu âm tự độngđiều hướng trong môi trường không có cấu trúc, và không biết sử dụng robot.Bản đồ môi trường được xây dựng nhờ vào các đặc trưng của môi trường nhưgóc, cạnh và mặt sàn Với mô hình robot sử dụng bộ lọc Kalman mở rộng đề cậpnhật và dự đoán vị trí của nó trên bản đồ Các cảm biến siêu âm sẽ trả về giátrị đo lường, đối với mỗi lần đo có nhiều cách cách biểu diễn như: đặc trưng đãbiết của mặt sàn, góc, cạnh; đặc trưng không biết của mặt sàn, góc, cạnh; đặc

trưng không phân loại được Robot điều khiển di chuyển xung quanh phòng cócấu trúc không đổi bên trong là bàn ghế, vách ngăn Robot di chuyển với tốc độ12cm/s, thời gian tính toán là 1.5 giây thực hiện định vi với độ sai số là 2.66m.Jorge Gasós và Alejandro Martín 1996 [55] đề xuất giải thuật hệ mờ xây dựngbản đồ cho robot di động sử dụng thông tin thu thập từ cảm siêu âm để phácthảo môi trường bằng việc tính toán xấp xỉ đa giác 2D Hệ mờ sử dụng để đạidiện cho sự không chắc chắn về các vị trí ranh giới thực sự của đối tượng Phầnthực nghiệm được triển khai biểu diễn bản đồ trong phòng chứa các tập đối tượngnhư bàn, vách ngăn, ô làm việc, kệ để sách, máy in, bàn làm việc, ghế.

Dulimart 1997 [43] trình bày sử dụng bản đồ môi trường dựa theo đặc trưng làbiển số của cửa và ánh sáng đèn trần nhằm xây dựng bài toán định vị robot didộng trong nhà Phần thử nghiệm được tiến hành đánh giá trên 3 tầng của tòanhà cho robot chuyển động 0.3-0.4m/s thu nhận hình từ camera gắn trên robot

xử lý theo mô hình máy chủ/máy trạm Kết quả độ sai số định vị từ 0.6-1m, thờigian phát hiện biển số cửa và đèn 50ms/ảnh

− Bản đồ lưới: được định nghĩa là bản đồ 2D trong đó không gian được chia thànhlưới các ô có kích thước nhất định Tọa độ của các ô trên lưới được xác định theo

hệ quy chiếu đã định nghĩa từ trước Mỗi ô (x, y) trên lưới có một giá trị thểhiện xác suất mà ô đó có chứa vật cản Nói cách khác, giá trị đó thể hiện khảnăng mà robot có nên di chuyển qua ô đó trong môi trường hay không Giá trịnày được xác định thông qua việc phân tích dữ liệu từ cảm biến Cụm từ bản đồlưới được đề cập đầu tiên bởi Nilsson 1969 [107] nơi bản đồ lưới được định nghĩabởi lưới kích thước (4 × 4) Nếu một ô lưới được xem là sử dụng thì nó được chiathành 16 tế bào mới bằng giải thuật đệ quy

Elfes và Moreavec 1985 [98] trình bày lần đầu tiên phương pháp sử dụng cảmbiến siêu âm và cảm biến laser sử dụng nhiều phép đo góc rộng các khu vực làrỗng, bị chiếm dụng hoặc chưa định nghĩa, nhằm xây dựng bản đồ lưới và hướng

di chuyển xung quanh robot

Borenstein 1991 [13] đề xuất phương pháp xây dựng bản đồ HIMM (HistogramicIn-Motion Mapping) trong thời gian thực cho robot tự hành, biểu diễn bởi mảnghai chiều còn gọi là lưới tần suất lược đồ màu, được cập nhật nhanh thông quaviệc lấy mẫu chuyển động của cảm biến siêu âm nhằm biểu diễn thông tin môitrường như vị trí vật cản, đường đi của robot HMIMM triển khai trên robot diđộng với tính năng kép như biểu diễn vật cản chưa biết trên bản đồ môi trườngđược tạo ra và đồng thời robot di chuyển tránh vật cản với vận tốc 0.78m/s.Cyrill Stachniss và Wolfram Burgard 2003 [135] trình bày phương pháp xây dựng

bản đồ lưới với tỷ lệ che phủ trên các ô đại diện bao phủ bởi vật cản trong môitrường Lilienthal và Duckett 2004 [88] đề xuất phương pháp lập bản đồ lưới sửdụng cảm biến laser và siêu âm để thu thập thông tin môi trường Kỹ thuật xâydựng bản đồ sử dụng hàm trọng số Gauss để mô hình hóa khả năng suy giảm đạidiện cho khoảng cách trên bản đồ xây dựng tính từ điểm đo Phần thực nghiệmtiến hành tại trong phòng thí nghiệm kích thước (10.6 × 4.5m2) robot xây dựngbản đồ môi trường, các chiến lược khác nhau tổng thời gian là 70h.

2.2.2 Hướng tiếp cận sử dụng bản đồ topo

Bản đồ topo mô tả mối liên hệ giữa các điểm (vị trí) hay các đối tượng liên quanvới nhau để mô tả cấu trúc của môi trường Theo [20] bản đồ topo không bao gồmthông tin số liệu, thông tin khoảng cách giữa các điểm trên bản đồ Thay vào đó, cácthông tin chính đại diện trong bản đồ topo là quan hệ giữa các địa điểm, nơi mà robot

có thể di chuyển trực tiếp từ nơi này đến nơi khác

Brooks 1984 [17] biểu diễn môi trường sử dụng thông tin thị giác nhằm xây dựngbản đồ topo trong đó vị trí như xa lộ được định nghĩa là các khối, đường cao tốc là cáccạnh và đồng cỏ là các nút của bản đồ Ý tưởng này có thể được kết hợp trong biểudiễn bản đồ bằng cách tránh việc sử dụng hệ tọa độ 2-D Thay vào đó, chỉ có các mốiquan hệ giữa các phần của bản đồ được lưu trữ trong một đại diện đồ thị, mối quan

hệ bao gồm phần dự đoán trên các thành phần không chắc chắn (uncertainty)

Để hiểu và di chuyển trong môi trường dễ dàng, thì robot di động phải có được

mô hình thông nhất Chatila 1985 [26] đề xuất phương pháp biểu diễn môi trường vớikhái niệm vị trí được định nghĩa là vùng của bản đồ topo như một đơn vị riêng biệt.Trong đó phương pháp biểu diễn môi trường được thực hiện làm 2 pha: thứ nhất, việc

sử dụng hệ thống cảm biến, ưu tiên các dữ liệu thu thập bởi các cản biến có độ chínhxác trong một số tình huống cụ thể, trung bình của các phép khác nhau nhưng nhấtquán của cùng đối tượng không chắc chắn; thứ hai, phương pháp cho phép robot diđộng để xác định mốc tham chiếu trong việc khám phá môi trường khi di chuyển.Trong khi đó Kuipers và Byun 1991 [81] lại định nghĩa các nút của bản đồ nhưmột phòng hoặc một hành lang, các cửa ra vào và lối đi được định nghĩa là các cạnh.Các tác giả đã phát triển phương pháp định tính, lập bản đồ ngữ nghĩa và điều hướngcho robot di dộng trong môi trường có không gian quy mô lớn Bằng phương pháp thựcnghiệm định lượng, các tác giả của bài báo đã xây dựng bản đồ trong môi trường biếttrước với độ chính xác cao Phương pháp thực hiện bằng việc mô tả mạng topo đượchình thành bằng các liên kết những vị trí đặc biệt khi di chuyển qua các cạnh Bản đồ

số liệu sau đó tăng dần đồng hóa thông tin của các vị trí và các cạnh Cuối cùng bản

đồ ngữ nghĩa được trồng ghép thành bản đồ ngữ nghĩa của môi trường

Với những phương pháp được công bố trên các Tạp chí và Hội nghị uy tín thì bàitoán biểu diễn môi trường cho robot di động thu hút được các nhà nghiên cứu lớn nhưKortenkamp 1994 [79] đề xuất sử dụng kết hợp hai luồng thông tin siêu âm và hìnhảnh, trong đó nguồn dữ liệu siêu âm không đủ dồi dào và phạm vi bị giới hạn tại cácgóc dẫn tới sự phân biệt khó khăn tại các địa điểm đặc biệt Việc sử dụng cảm biếnhình ảnh cho phép nhận dạng các vị trí mà cảm biến siêu âm không thực hiện được,thông tin của hai luồng dữ liệu này được kết hợp lại bằng mạng Bayes đơn giản.Simmons 1995 [133] phát triển phương pháp sử dụng mô hình Markov để biểudiễn môi trường, giám sát và theo vết vị trí di chuyển của robot, trong đó ba nguồnthông tin được sử dụng để xây dựng mô hình Markov bao gồm: bản đồ topo, thôngtin đã biết và những thông tin gần đúng liên quan đến độ dài môi trường Ngoài raphương pháp này tích hợp các thông tin bản đồ topo và thông tin số liệu gần đúng giảiquyết các tình huống dự đoán không chắc chắn trong bài toán mô tả thông tin môitrường Năm 1996 Thrun [138] xây dựng bản đồ phân vùng sau đó ánh xạ vào đồ thịđẳng cấu Đây là phương pháp áp dụng kỹ thuật cấu trúc đồ thị liên thông đại diệncho môi trường, trong đó các nút đồ thị tương ứng với địa điểm, đường nối giữa cácđịa điểm là các cạnh.

Vào đầu thế kỷ XXI, Ulrich 2000 [142] trình bày kỹ thuật định vị dựa trên bản đồtopo môi trường sử dụng thông tin hình ảnh trong bài toán nhận dạng vị trí, phươngpháp biểu diễn môi trường sử dụng một hệ thống hình ảnh toàn cảnh (Panoramic) để

mô hình hóa môi trường, hình ảnh được thu thập và phân loại trong thời gian thựcbằng phương pháp láng giềng gần nhất kết hợp với biểu đồ sắc tố màu và cơ chế bìnhchọn quyết định vị trí trong môi trường

E.Fabrizi và A Saffiotti 2000 [50] đề xuất xây dựng bản đồ topo dựa trên việcbiểu diễn mới của không gian làm việc cho robot di động, bản đồ này tự động tríchxuất thông tin bản đồ lưới từ các dữ liệu hình ảnh thu thập bằng camera Tiếp theo

sử dụng hệ mờ để định nghĩa các vị trí trên môi trường, với cách tiếp cận này bản đồmôi trường được biểu diễn tạo ra có khẳng năng xử lý nhiễu thu thập và các thay đổitrong môi trường nhỏ hẹp

Duckett 2003 [40] đề xuất hệ thống mà nút mới trên bản đồ được đặt sau khirobot đã đi qua vị trí đó, tác giả đã sử dụng thuật toán học nhanh trực tuyến cho tậpbản đồ hình học sử dụng thông tin số liệu cục bộ Thuật toán hoạt động bằng cách sửdụng kỹ thuật giảm thiểu năng lượng thu nhận hàm năng lượng qua nhiều bước nhỏ.Các thí nghiệm được thực hiện trong môi trường lớn, phức tạp đã ánh xạ được vị trírobot lên bản đồ xây dựng trong thời gian thực

2.2.3 Hướng tiếp cận lai

Ý tưởng chính bản đồ lai nhằm biểu diễn môi trường hiệu quả trong những nămgần đây xu hướng tạo ra bản đồ lai tận dụng những ưu điểm của hai loại bản đồ sốliệu và bản đồ topo giải quyết các vấn đề trong lĩnh vực robot di động Theo [20] bản

đồ lai thường tập trung vào 3 kiểu lai: lai đầu, lai song song, lai chắp vá

− Bản đồ lai đầu: Giralt 1979 [60] và Chatila và Laumond 1985 [26] trình bày tổngquan về bản đồ lai, ngoài việc phân tích các ưu nhược điểm của bản đồ số liệu

và bản đồ topo các tác giả còn đưa thêm khái niệm về bản đồ ngữ nghĩa với kháiniệm ràng buộc mối quan hệ về không gian và đối tượng Đây cũng là tiền đềxây dựng các bài toán SLAM cho robot di động

Kuipers và Byun 1991 [81] đã chứng minh được để xây dựng hiệu quả một bản

đồ lai thì một bản đồ topo được xây dựng bằng cách sử dụng các phương phápphân biệt cho các nút của đồ thị, mỗi nút của bản đồ được gắn các thông tin sốliệu, do đó bản đồ số liệu sẽ thực hiện lai sau bản đồ topo

Cùng với nghiên cứu kết hợp giữa bản đồ topo và bản đồ số liệu còn có các nghiêncứu tiêu biểu, như: Kuipers và Benjamin 2000 trình bày phương phương biểu diễnmôi trường cho bài toán robot di động sử dụng bản đồ lai toàn diện nhất [80], tácgiả đã đề xuất tính tổng quát của không gian SSH (Spatial Semantic Hierarchy)quy mô lớn bao gồm nhiều đại diện tương tác cả về định tính và định lượng Bản

đồ lai được xây dựng từ phép lai giữa bản đồ hình học tham chiếu đến bản đồtopo nhằm xây dựng tham chiếu phục vụ mức độ kiểm soát các luật cấu thànhnên các thành phần của môi trường, SHH là cơ sở cho một số hướng nghiên cứusau này

Kuipers 2004 [82] mô tả phương pháp xây dựng bản đồ lai từ việc chiết xuấtthông tin bản đồ cục bộ số liệu kết hợp với không gian SSH để tạo ra bản đồtopo trong điều khiển robot di động Phương pháp Metrical SLAM được sử dụng

để xây dựng bản đồ cục bộ với không gian quy mô nhỏ, trong khi đó phươngpháp topo được sử dụng để đại diện cho cấu trúc không gian quy mô lớn Vớicách làm này, bản đồ được tạo ra phù hợp hơn với giả thuyết khi thực hiện việckhai phá dữ liệu trong môi trường

Beeson 2005 [7] trình bày phương pháp biểu diễn môi trường bằng hướng tiếpcận bản đồ lai trên cơ sở hệ mở rộng của đồ thị Voronoi được sử dụng trong bàitoán phát hiện vị trí Các tác giả đã đề xuất thuật toán tin cậy phát hiện các vịtrí từ các cảm biến trên các vùng độc lập

− Bản đồ lai song song: được xây dựng từ ít nhất hai bản đồ khác nhau thực hiệntrên cùng môi trường, điều này thích hợp cho tình huống cụ thể được sử dụng

Hầu hết các bản đồ được xây dựng tự động hoặc được xây dựng từ việc chiếtxuất thông tin từ bản đồ khác như trường hợp bản đồ topo được chiết xuất rakhỏi bản đồ số liệu.

Thrun và B¨ucken 1996 [138] và Thrun 1998 [137] xây dựng bản đồ lai từ việcchiết xuất thông tin từ đồ thị Voronoi của phần thông tin trống trên bản đồ sốliệu được chia thành các phân đoạn mà cực đại có thể tìm thấy trong sơ đồ.Poncela 2002 [118] bản đồ số liệu được chia thành các ô trong bản đồ lưới và đượcđịnh nghĩa thành 3 loại (rỗng, chiếm dụng, chưa khai phá), tất cả các những bản

đồ topo được trích xuất có thể sử dụng trong bài toán xây dựng đường đi tối ưu.Ngược lại để trích xuất các bản đồ số liệu trên bản đồ topo ít thực hiện đượctrình bày trong Duckett và Saffiotti 2000 [41] Lập và tìm đường đi hiệu quả làtrọng tâm chính trong bản đồ lai song song trong Fernández-Madrigal 2004 [51];Galindo 2004 [54] đưa ra khái niệm AH-graph (Annotated Hierarchical-graph)sắp xếp theo chiều dọc khi thực hiện mức độ gia tăng các điểm trên bản đồ topo

và kết hợp với bản đồ số liệu cục bộ hỗ trợ cho việc định vị

− Bản đồ lai chắp vá: thực chất là bản đồ số liệu hình thành từ bản đồ topo baogồm toàn bộ khu vực cộng với tập hợp các bản vá lỗi số liệu nhỏ cho mỗi núttopo, với ưu điểm là cấu trúc được thu nhỏ khi làm việc ở môi trường lớn Tiêubiểu như nghiên cứu của Dudek 1996 đã mô tả bản đồ lai bao gồm một số loạibản đồ ở mức độ trừu tượng khác nhau như: cảm quan, hình học (số liệu), quan

hệ cục bộ, topo và ngữ nghĩa [42] Theo hướng tiếp cận khác, bản đồ lai đượcxây dựng từ đồ thị Voronoi được đề cập trong Nagatani 1999 [103] có nghĩa cácnút tương ứng trong bản đồ topo kết hợp với đặc trưng của bản đồ số liệu.Tomatis 2002 [140] và Tomatis 2003 [139] trình bày về phương pháp xây dựngbản đồ lai nơi các nút trong bản đồ topo tương ứng với khe hở giữa hai phònghoặc hành lang, mỗi phòng đều có bản đồ số liệu liên quan, các cạnh có thôngtin về điểm mốc có thể được phát hiện từ hai nút “The Hierarchical Atlas” địnhnghĩa cấu trúc của bản đồ được trình bày trong Lisien 2005 [89] là dạng bản đồlai giữa số liệu và topo nhắm tới mục tiêu xây dựng hệ thống SLAM trong điềukhiển và khai phá thông tin môi trường

2.2.4 Thảo luận

Để lựa chọn phương pháp biểu diễn môi trường phù hợp với ngữ cảnh của bài toánđặt ra, chúng tôi tiến hành đánh giá ưu nhược điểm của từng phương pháp cụ thể nhưsau:

− Về ưu điểm:

+ Đối với bản đồ số liệu: thường được sử dụng cho các bài toán xác định vị trí,định tuyến và tìm đường tối ưu Cung cấp thông tin chính xác về khoảngcách Hỗ trợ bài toán tìm đường ngắn nhất Bản đồ số liệu dễ dàng xâydựng, biểu diễn và bảo trì cho các môi trường phạm vi nhỏ hẹp.

+ Đối với bản đồ topo: dễ dàng mở rộng bản đồ đối với các môi trường cóphạm vi lớn hơn Đây là loại bản đồ phù hợp cho bài toán tìm đường đi tối

ưu khi biết trước hai điểm Không cần mô hình cấu trúc dữ liệu tin cậy và

dự đoán chính xác vị trí khi xây dựng bản đồ môi trường

+ Đối với bản đồ lai : phù hợp với các bài toán robot tự hành, có khả năng kếthợp nhiều loại bản đồ phục vụ mục đích chung, mở rộng và thu nhỏ phạm

vi biểu diễn môi trường với nhiều chiều nhìn tại các góc khác nhau

+ Đối với bản đồ lai : không đưa ra được nguyên tắc chung để kết hợp các bản

đồ khác nhau, khó khăn khi đánh giá và so sánh với các hệ thống khác.Căn cứ vào các phân tích đánh giá phía trên, luận án lựa chọn hướng tiếp cận thứ

ba theo hướng tiếp cận lai và bổ sung thêm các thành phần của môi trường với mụcđích biểu diễn được các thông tin của môi trường phục vụ cho các bài toán định vị,dẫn đường cho robot, phần tiếp theo sẽ trình bày chi tiết của phương pháp đề xuất

2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường

Xuất phát từ mục tiêu của luận án nghiên cứu phương pháp định vị sử dụng hìnhảnh hỗ trợ cho bài toán trợ giúp dẫn đường cho NKT, chúng tôi đề xuất mô hình biểudiễn môi trường theo hướng tiếp cận lai ngữ nghĩa

Ý nghĩa của cụm từ lai, ngữ nghĩa được giải thích như sau Bản đồ của môi trườngđược cấu thành từ bản đồ số liệu và bản đồ topo Ngoài ra, các thông tin vật cản tĩnhcủa môi trường ở từng vị trí trên bản đồ cũng được xác định và đưa vào mô hình biểudiễn môi trường như mô tả trong Hình 2.1 dưới đây:

◦ Bản đồ được biểu diễn theo cấu trúc topo gồm một tập

N điểm trong môi trường sao cho tồn tại đường đi giữa

1 M i = {x i , y i , z i } tọa độ điểm mốc trong hệ quy chiếu

đã được định nghĩa Tọa độ được tính theo đơn vị (m)

2 Z i : Mô hình quan sát tại vị trí L i

3 O i = {O i 1 , O i 2 , O ij}: Tập vật cản xuất hiện trên ảnh I i

y (m) Hội trường

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa

Để biểu diễn môi trường theo mô hình trên, các bước thực hiện tiến hành như sau:

1 Xác định các vị trí mốc trong môi trường Li với i = 1, N

2 Xác định tọa độ các vị trí mốc trong môi trường Mi = (xi, yi, zi)

3 Xác định các vật cản O = {O , O O } trên ảnh I thu tại vị trí L Tập vật