Development of a smart wheelchair using EEG technology and stereoscopic camera for disabled people

Đặc biệt, xe lăn thông minh sử dụng các cảm biến laser, máy ảnh, âm thanh, điện não, gia tốc và siêu âm để điều khiển xe trong môi trường có chướng ngại vật và có thể tự tránh va chạm [8

Lời Cảm Tạ

Nghiên cứu này được thực hiện bởi quỹ được cấp từ Đại Học Quốc Gia, Tp HCM theo

thuyết minh và hợp đồng C2013-28-06 được ký 01/03/2013 giữa PGS TS Chu Quốc

Thắng – Phó hiệu trưởng cũ của trướng ĐH Quốc tế, nay là TS Nguyễn Văn Chung -

Phó hiệu trưởng của trướng ĐH Quốc tế và TS Nguyễn Thanh Hải – Giảng viên của bộ

môn Kỹ Thuật Y Sinh

Chúng tôi cảm ơn đến ĐH Quốc Gia – Tp.HCM đã hổ trợ kinh phí nghiên cứu này

Chúng tôi còn cảm ơn đến ĐH Quốc tế nơn tôi đang công tác đã tạo điều kiện và hổ trợ

tôi để hoàn thành đề tài này Thêm nữa, chúng tôi còn gửi lời cảm ơn đến bộ môn Kỹ

Thuật Y Sinh cho những hổ trợ Cuối cùng, một lời cảm ơn đến các đồng nghiệp, những

sinh viên, gia đình và bạn bè đã hổ trợ và giúp đỡ chúng tôi để hoàn thành dự án này

Mục lục

Lời Cảm Tạ i

Mục lục ii

Tóm Tắt iii

Danh Sách Hình iv

Danh Sách Bảng iv

Danh Sách Từ Viết Tắt v

Chương 1: Giới Thiệu 1

1.1 Động Lực Nghiên Cứu 1

1.2 Nội Dung Chính Của Đề Tài 4

1.3 Kết Quả Nghiên Cứu 4

1.3.1 Bài báo khoa học (Phụ lục 2) 4

1.3.2 Đào Tạo (Phụ lục 2) 5

1.3.3 Sản Phẩm Xe Lăn Điện Thông Minh 5

1.4 Tổ Chức Của Đề Tài 6

Chapter 2: Cơ Sở Lý Thuyết 7

2.1 Giới Thiệu 7

2.2 Điều Khiển Dựa Vào Cảm Biến 8

2.3 Xe Lăn Sử Dụng Camera 9

2.4 Giao Tiếp Não-Máy Tính Dựa Vào EEG 11

2.5 Vấn Đề Điều Khiển 12

Chapter 3: Phương Pháp Nghiên Cứu 14

3.1 Thiết Kế Phần Cứng Xe Lăn 14

3.2 Tính Toán Xe Tự Động Tránh vật Thể Dùng Camera 17

3.2.1 Giới Thiệu 17

3.2.2 Thuật Toán Phối Hợp Khối 17

3.2.3 Thực Nghiệm Và Lựa Chọn Tham Số 20

3.2.3.1. Thay đổi kích thước cửa sổ M với phạm vi tìm kiếm d max cố định 21

3.2.4.2 Tính Toán Map 3D 25

3.2.4.3 Tính Toán Map 2D 29

3.2.5 Ứng Dụng Map Trên Xe Lăn 32

3.2.5.1 Áp Dụng Trên Hệ Thống Xe Lăn 32

3.2.5.2 Quá Trình Điều Khiển Xe Lăn 33

a Tìm và lựa chọn khoảng trống 33

b Lựa chọn hướng đi cho xe 34

c Tính toán khoảng giới hạn Zgiới hạn tới vật cản 36

3.2.6 Kết Quả Thực Nghiệm 37

3.2.6.1 Xe Phát Hiện Và Tránh Vật Cản Khi Độ Cao Vật Thể Nhỏ Hơn Độ Cao Của Xe 37

3.2.6.2 Xe phát hiện và đi qua khoảng trống khi vật thể cao hơn độ cao của xe 39 3.2.6.3 Xe phát hiện và tránh vật cản phía trước 44

3.2.7 Thảo Luận 8

3.3 Xử Lyù Tín Hiệu Điện Não EEG Để Điều Khiển Xe Lăn Điện 9

3.4 Kết Nối Giữa Phần Tự Động Tránh Vật Thể Dùng Camera và Phần Người Tự Điều Khiển Dùng Kỹ Thuật Điện Não EEG Để Cho Ra Xe Lăn Điện Thông Minh 33

Chương 4: Kết Luận và Vấn Đề Tương Lai 8

4.1 Kết Luận 8

4.2 Vấn Đề Tương Lai 9

References Error! Bookmark not defined Phụ Lục xiv

Phụ lục 1: xiv

1.1 Chương trình mode tự động xiv

1.1.1 Chương trình chính xiv

1.1.2 Thu dữ liệu xv

1.1.3 Xử lý dữ liệu xvi

1.1.4 Điều khiển xe lăn xvii

1.2 Chương trinh kết nối xix

1.2.2 Giao diện Labview xx

Phụ lục 2: Kết Quả và Sản Phẩm xxi

2.1 Bài báo khoa học xxi

2.2 Minh chứng đào tạo xxii

- Hợp đồng thực hiện đề tài; xxiii

- Thuyết minh đã được duyệt; xxiii

- Những quyết định cung cấp kinh phí; xxiii

Tóm Tắt

Những công nghệ trợ giúp đã được cài đặt trong xe lăn di động để cung cấp khả năng tiếp cận thêm cho người khuyết tật nặng và để tăng cường hoạt động độc lập của họ trong cuộc sống hàng ngày Cảm biến siêu âm và tia laser đã vừa được sử dụng để dò tìm vật thể hoặc để xây dựng map lưới hai chiều (2D) cho tránh va chạm

Những đóng góp chính của dự án là khai thác thông tin ảnh 3D từ hệ thống camera nổi

và sau đó biến đổi nó thành ảnh hai chiều (2D) Ngoài ra, lệnh nháy mắt dùng điện não EEG được thiết kế cho người sử dụng điều khiển Do đó, một chiến lược xe lăn điều khiể chia được đề xuất trong xe lăn thông minh

Để cung cấp thông tin ba chiều (3D) cho phát hiện khoảng trống và những vật thể, hệ thống camera lập thể “Bumblebee” được gắn trên một chiếc xe lăn điện Vậy thì, một thuật toán tổng của sự khác biệt tuyệt đối (SAD) được sử dụng để xây dựng map sai lệch tối ưu Dựa vào map sai lệch này, map điểm 3D và map khoảng cách 2D được tạo

ra cho mục đích điều khiển xe lăn tự động

Để áp dụng các cảm biến điện não EEG trong điều khiển chia, phương trình chuyển động cho việc đi tới-lui hoặc quẹ trái-phải được tính toán dựa vào chớp mắt-mở mắt

hay liếc mắt trái-phải Hơn nữa, vấn đề speed và steering được thiết kế để người sử

dụng xe lăn có thể điều khiển xe dễ dàng hơn

Một chiến lược điều khiể xe lăn bán tự động được kết hợp giữa người sử dụng điều khiển điện não EEG và mode điều khiển tự động tránh vật thể Trong mode tự động tránh vật thể, một khoảng trống thay đổi do vật thể di chuyển phía trước xe lăn có thể được phát hiện dựa vào đoạn từ vật thể đến camera Những lệnh của người sử dụng bằng điện não có thể không chắc chắn Nó có nghĩa là người sử dụng không được an toàn khi va chạm vào vật thể Do đó, một khoảng cách an toàn giữa camera và xe lăn được cài đặt trước cho an toàn của người sử dụng trong môi trường động Cụ thể, suốt quá trình di chuyển, khoảng cách giữa vật thể và xe luôn được camera dò tìm để tránh

va chạm nếu qua gần Cuối cùng, kết quả thực nghiệm minh chứng hiệu quả của phương pháp đề xuất

Danh Sách Hình

Hình 2.1a: Map lưới lượt đồ 2D 8

Hình 2.1b: Map lượt đồ cựu 1D 8

Hình 2.2a: Tránh vật thể dùng cảm biến siêu âm 9

Hình 2.2b: Tránh vật thể dùng cảm biến hồng ngoại 9

Hình 3.7: Xác định độ sai lệch D bằng thuật toán Phối hợp khối với cửa sổ 5x5 17

Hình 3.8: Xác định độ sai lệch D bằng thuật toán Phối hợp khối cho một điểm ảnh 18

Hình 3.9: Xác định độ sai lệch D cho tất cả các điểm ảnh 19

Hình 3.10: Ảnh trái (a) và ảnh phải (b) với hai vật thể phía trước camera 20

Hình 3.11: Ảnh sai lệch tính toán được với các vật thể có các màu xanh khác nhau 20

Hình 3.12: Ảnh sai lệch thu được với các giá trị lần lượt M = 5 (a), M = 7 (b), M = 9 (c), M = 11 (d), M = 13 (e), M = 15 (f), và dmax cố định dmax = 50 21

Hình 3.13: Ảnh sai lệch thu được với các giá trị M = 11, dmin = 0 và dmax lần lượt là dmax = 42 (a), dmax = 50 (b) và dmax = 73 (c) 22

Hình 3.14: Tính toán độ sâu Z dùng tam giác đồng dạng 23

Hình 3.15: Quan hệ giữa độ sâu và độ sai lệch 24

Hình 3.16: Tính toán tọa độ trong hệ tọa độ thực OXYZ 25

Hình 3.17: Ảnh trái (a) và phải (b) về môi trường với một tấm “bảng” ở độ cao hbảng=0.8m 26

Hình 3.18: Map 3D tính toán được nhìn từ trước (a) và từ bên phải (b) 26

Hình 3.21: Map 3D tính toán được nhìn từ trước (a) và từ bên phải (b) sau khi giới hạn ở độ cao h = 1.1m và độ sâu Z ≤ 5m 28

Hình 3.22: Tính toán map 2D từ mây điểm ảnh 3D 29

Hình 3.23: Tính toán Zimin 30

Hình 3.24: Map 2D vẽ được với “vật cản” là tấm “bảng” ở độ sâu Z = 2m phía trước camera 31

Hình 3.25: Xe lăn sử dụng trong đề tài tại Lab104, trường ĐH Quốc tế 32

Hình 3.26: Map 2D với một vật cản và hai khoảng trống 33

Hình 3.27: Quá trình tìm và lựa chọn khoảng trống cho xe 34

Hình 3.28: Quá trình lựa chọn hướng đi cho xe 35

Hình 3.29: Xe đi thẳng (a), rẽ trái (b) và rẽ phải (c) để đi qua khoảng trống 35

Hình 3.30: Khoảng mù của camera 36

Hình 3.31: Điều kiện của giá trị khoảng cách giới hạn Zgiới hạn tới vận cản 37

Hình 3.32: Ảnh trái (a) và phải (b) thô chụp được từ Bumblebee camera 37

Hình 3.33: Ảnh trái (a) và phải (b) đã được chỉnh méo và hiệu chỉnh ngang 37

Hình 3.34: Ảnh sai lệch dùng phương trình SAD với M = 11 38

Hình 3.35: Map 3D tính toán được nhìn từ trước (a) và từ bên phải (b) 38

Hình 3.36: Map 2D vẽ được với “vật cản” là tấm bảng 39

Hình 3.38: Ảnh trái (a) và phải (b) thô chụp được từ Bumblebee camera 39

Hình 3.40: Ảnh sai lệch tính được dùng phương trình SAD với M = 11 41

Hình 3.41: Map 3D tính toán được nhìn từ trước (a) và từ bên phải (b) 42

Hình 3.42: Map 2D vẽ được với “khoảng trống” ở vị trí tấm bảng 42

Hình 3.43: Quá trình xe tự động di chuyển qua khoảng trống 43

Hình 3.44: Ảnh trái (a) và phải (b) thô chụp được từ Bumblebee camera 44

Hình 3.45: Ảnh trái (a) và phải (b) đã được chỉnh méo và hiệu chỉnh ngang 44

Hình 3.46: Ảnh sai lệch tính dùng phương trình SAD với M = 11 44

Hình 3.47: Map 3D tính toán được nhìn từ trước (a) và từ bên phải (b) 45

Hình 3.48: Map 2D biểu diễn vật cản ở giữa và hai khoảng trống hai bên 45

Hình 3.49: Quá trình xe di chuyển né vật cản ở phía trước 46

Hình 3.50: Máy điện não Active Two 9

Hình 3.51: Vị trí các điện cực được sử dụng 10

Hình 3.52: Điện cực được gắn trên mũ đội đầu đối tượng 10

Hình 3.53: Protocol cho đối tượng thực hiện mở và chớp mắt 10

Hình 3.54: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm mở mắt 11

Hình 3.55: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm chớp mắt 11

Hình 3.56: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm liếc trái 11

Hình 3.57: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm liếc phải 12

Hình 3.58: Sơ đồ khối của hệ thống lọc nhiễu 12

Hình 3.59: Đáp ứng biên độ và pha của bộ lọc Hamming có L=11 13

Hình 3.60: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=11 13

Hình 3.61: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=3 13

Hình 3.62: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=17 14

Hình 3.63: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=23 14

Hình 3.64: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=27 14

Hình 3.65: Tín hiệu mở mắt tại Fp1, F7, F8 sau khi được lọc nhiễu 15

Hình 3.66: Tín hiệu chớp mắt tại Fp1, F7, F8 sau khi được lọc nhiễu 15

Hình 3.67: Tín hiệu liếc mắt trái tại Fp1, F7, F8 sau khi được lọc nhiễu 15

Hình 3.68: Tín hiệu liếc mắt phải tại Fp1, F7, F8 sau khi được lọc nhiễu 15

Hình 3.69: Sơ đồ trích các đặc tính của tín hiệu EEG 17

Hình 3.70: Tín hiệu mở mắt 18

Hình 3.71: Các hệ số AR 18

Hình 3.72: Tín hiệu chớp mắt 18

Hình 3.73: Các hệ số AR 18

Hình 3.74: Tín hiệu liếc trái 18

Hình 3.75: Các hệ số AR 18

Hình 3.76: Tín hiệu liếc phải 19

Hình 3.77: Các hệ số AR 19

Hình 3.78: Bốn vectơ hệ số của thí nghiệm chớp mắt, mở mắt, liếc trái và liếc phải 19

Hình 3.79: Sơ đồ xác định giá trị ngưỡng 20

Hình 3.80: Kết quả phân loại 24

Hình 3.81: Kết quả xác định hoạt động chớp mắt tại Fp1 24

Hình 3.82: Kết quả xác định hoạt động liếc phải tại F7 25

Hình 3.84: Đối tượng đang tiến hành mô phỏng online 26

Hình 3.85: Các hướng di chuyển và góc quay của đối tượng 26

Hình 3.86: Đối tượng điều khiển xe lăn điện 27

Hình 3.87: Cấu trúc của mạng truyền thẳng nhiều lớp 27

Hình 3.88: Hình dạng của hàm sigmoid 28

Hình 3.89: Cấu trúc mạng nơron nhiều lớp có 1 lớp ẩn 29

Hình 3.90: Cấu trúc của mạng nơron nhiều lớp có 2 lớp ẩn 29

Hình 3.91: Sơ đồ khối của điều khiể kết hợp 33

Hình 3.92: Sơ đồ dò khoảng cách để tránh của xe lăn 34

Hình 3.93: Lưu đồ tính toán của hệ thống điều khiển chia 34

Hình 3.94a: Tâm trái của khoảng trống A1A3; góc α1, α1 của tam giác A1OB Góc lái θθ θ θ từ tâm khoảng trống đến H; A3A4 là vật thể 35

Hình 3.94b: Tâm trái của khoảng trống A2A3; θθ θ θ góc lái, và A1A2 và A3A4 là vật thể được dò tìm 35

Hình 3.95: Lưu đồ của mode tự động 35

Hình 3.96: Sơ đồ khối của người sử dụng lệnh 36

Hình 3.97a: Tránh vật thể của xe lăn 38

Hình 3.97b: Map 2D 38

Hình 3.97c: Xe lăn đi qua khoảng trống 38

Hình 3.97d: Map 2D 38

Figure 3.42e: Xe lăn tránh vật thể và quẹo phải 38

Hình 3.97e: Map 2D 38

Hình 3.97f: Xe lăn tránh vật thể và quẹo trái 38

Hình 3.97g: Map 2D 38

Hình 3.97h: Xe lăn chọn khoảng trống bên trái để đi qua 39

Hình 3.97m: Map 2D 39

Hình 3.97n: Xe lăn chọn khoảng trống bên phải để đi qua 39

Hình 3.97l: Map 2D 39

Hình 3.98: Xe lăn tự điều khiển để tránh vật thể động là người 39

Hình 3.99: Người sử dụng đang điều khiển tránh vật thể tĩnh 40

Hình 3.100: Người sử dụng đang điều khiển xe lăn đến nơi mong muốn 40

Danh Sách Bảng

Bảng 3.1: Thông tin của đối tượng làm thí nghiệm 10

Bảng 3.2: Vectơ hệ số AR cho 4 thí nghiệm 17

Bảng 3.3: Các hệ số AR cho 4 thí nghiệm 19

Bảng 3.4: Kết quả thí nghiệm trên đối tượng 1 tại Fp1 22

Bảng 3.5: Kết quả thí nghiệm trên đối tượng 1 tại F7 22

Bảng 3.6: Kết quả thí nghiệm trên đối tượng 1 tại F8 23

Bảng 3.7: Kết quả tính toán ngưỡng các đối tượng còn lại 23

Bảng 3.8: Bảng kiểm tra kết quả phân loại 24

Bảng 3.9: Mô tả trạng thái của đèn 25

Bảng 3.10: Các lệnh điều khiển 26

Bảng 3.11: Mô tả việc phân loại tín hiệu EEG và ngõ ra mong muốn 30

Bảng 3.12: Vectơ hệ số AR cho 4 thí nghiệm 30

Bảng 3.13: Kết quả huấn luyện mạng khi có 1 lớp ẩn 31

Bảng 3.14: Kết quả huấn luyện mạng khi có 2 lớp ẩn 31

Danh Sách Từ Viết Tắt

1D - One-dimensional

2D - Two-dimensional

3D - Three-dimensional

BCD - Binary Conner Detection

CCD - Charge Coupled Device

EKF - Extended Kalman Filter

FPGA - Field Programmable Gate Array

GM - Global Map

IR - Infrared

ISR - Intelligent Security Robot

LRF - Laser Range Finder

PPMs - Perspective Projection Matrices

SAD - Sum of Absolute Differences

SSD - Sum of Squared Differences

TNIP - Total Number of Interest Points

VFH - Vector Field Histogram

AR - Autoregresion

EEG - Electroencephalogram

BCI - Brain Computer Interface

NN - Neural Networks

Chương 1: Giới Thiệu

1.1 Động Lực Nghiên Cứu

Lượng người chịu sự tàn tật và đau đớn ngày càng tăng lên bởi nhiều nguyên nhân như tai nạn

do thể thao, giao thông và bệnh tật như spina bifida, Friedreich’s Ataxia và nhiều loại khác nữa Những báo cáo của nhiều tổ chức khác nhau cho thấy số bệnh nhân và tàn tật tăng lên mỗi năm [1, 2] Báo cáo này đã phân loại ra những nguyên nhân cũng như những loại tàn tật khác nhau

Một báo cáo gần đây của Cripps cho thấy ước tính có khoảng 300-400 trường hợp mới mỗi năm tại Úc với bệnh tổn thương tủy sống (SCI), ngay cả chấn thương hay không chấn thương [1] Theo báo cáo này, trong năm 2004-2005, còn có 39 phần trăm các trường hợp khuyết tật phát sinh từ vận tải đường bộ, chín phần trăm từ các hoạt động liên quan đến nước, 29 phần trăm do té ngã, và hơn 10 phần trăm từ bị đánh hay va chạm bởi vật thể Ở Việt Nam, theo một báo cáo thống kê của UNFPA (2009) [3], đã có 6,1 triệu người khuyết tật, tương ứng với 7,8 phần trăm của người Việt Nam từ 5 tuổi

Theo một báo cáo được công bố bởi US Bureau and the US Department vào năm 2002, đã có 51,2 triệu người (hoặc 18,1 phần trăm dân số) bị khuyết tật, với một số 32,5 triệu người là trường hợp nghiêm trọng Các báo cáo của Mỹ cũng cung cấp dữ liệu độ tuổi cụ thể về người tàn tật, thấy rằng 2,7 triệu người khuyết tật cần xe lăn, có độ tuổi 15 tuổi trở lên [4]

Não người đóng vai trò quan trọng trong các hoạt động của con người [5] Nó có cấu trúc phức tạp gồm khoảng 100 tỉ tế bào thần kinh liên kết với nhau Các tế bào này thu thập và truyền tải các tín hiệu điện với nhau cho dù có hay không có các kích thích bên ngoài Dựa trên các tín hiệu điện não người ta xác định được những thay đổi trong hoạt động của não bộ phục vụ cho việc phát hiện, chuẩn đoán các chứng rối loạn não, rối loạn giấc ngủ, chấn thương đầu, viêm não, đột qụy

điện, phục vụ cho nhu cầu của những người có khó khăn về thể chất hoặc nhận thức Sử dụng các thiết bị hỗ trợ, người khuyết tật có thể được tiếp cận tốt hơn để học, làm việc, môi trường

và cộng đồng, thậm chí tham gia hoạt động thể thao phù hợp Đây là loại hình tham gia hỗ trợ trong việc phát triển cả trí tuệ và thể chất Xe lăn điện có thể hỗ trợ người khuyết tật tham gia độc lập hơn trong các loại hoạt động hàng ngày [6]

Viêm khớp, tổn thương tủy sống, rối loạn sự cân bằng, và các điều kiện khác thường liên quan đến chấn thương do tai nạn xe hơi, té ngã và những tai nạn liên quan đến ngựa và xe lăn [7] Để giảm thiểu tai nạn liên quan đến xe lăn, cũng như hỗ trợ người tàn tật nghiêm trọng với các hoạt động hàng ngày, những nghiên cứu và phát triển xe lăn đã được tập trung hơn vào xe lăn

"thông minh", mà nó được trang bị với những thiết bị với kỹ thuật cao Đặc biệt, xe lăn thông minh sử dụng các cảm biến laser, máy ảnh, âm thanh, điện não, gia tốc và siêu âm để điều khiển xe trong môi trường có chướng ngại vật và có thể tự tránh va chạm [8] Tuy nhiên, các lựa chọn trước đó cho xe là những cảm biến mà chỉ cho ra thông tin với map 2D và điều này là không đủ

Một ứng dụng quan trọng khác đó là dựa trên tín hiệu EEG để khôi phục lại các chức năng của con người Do bệnh tật hoặc do tai nạn gây ra, một số người không có khả năng đi lại, cử động Những người này mất đi khả năng tương tác với thế giới bên ngoài Hệ thống giao tiếp máy tính não (BCI) đóng vai trò quan trọng nhằm hỗ trợ và thay thế con người tương tác với thế giới bên ngoài Hệ thống này có thể chuyển tải các tín hiệu điện não thành các tín hiệu điện cho điều khiển mong muốn như điều khiển xe lăn điện, điều khiển thiết bị (tivi, máy lạnh, đèn và những vật dụng khác) và điều khiển cử động khác

Camera lập thể được gắn trên xe lăn di động có thể cung cấp thông tin chi tiết dựa vào ảnh sai lệch lập thể Cho mục đích xác định khoảng trống cũng như vị trí của những vật thể, những thông tin ảnh là cơ sở cho việc xây dựng map 2D map 3D [9, 10] Trong ứng dụng này, một robot di động sử dụng hệ thống camera để di chuyển và tự khám phá môi trường Ưu điểm chính của một hệ thống camera lập thể không chỉ là dò tìm những đặc tính môi trường mà còn xác định khoảng cách giữa vật thể và camera Ứng dụng này cho phép dò tìm vật thể và khoảng

người dùng và xe lăn tự động tránh vật thể có thể làm cho người sử dụng cảm thấy tự tin hơn trong việc sử dụng và còn thêm sự thoải mái khi sử dụng Việc áp dụng luật Bayesian cho phép

hệ thống thích ứng với người sử dụng, một thuật toán điều khiển bán tự động được kiến nghị để ước lượng ý định của người sử dụng [11, 12] [13] Những thuật toán kiến nghị có thể tính toán vận tốc điều khiển, phụ thuộc vào các hoạt động của dò tìm đường Tuy nhiên, mục đích chính

là hệ thống này là khuyến khích người tàn tật sử dụng một phần cơ thể khỏe mạnh còn lại để điều khiển hoạt động của xe lăn Vậy thì, hệ thống xe lăn có trang bị cảm biến giúp xe lăn có thể tránh được va chạm và tăng cường an toàn cho người sử dụng Vậy thì, một xe lăn thong minh sử dụng những cảm biến cần được phát triển để đảm bảo sự an toàn của người sử dụng

Một khó khăn chung của việc sử dụng các cảm biến laser và siêu âm trong điều khiển xe lăn điện và robot di động là các thông tin về môi trường là không đủ cho các phương tiện di động

có thể nhận ra những vật thể và khoảng trống Để giải quyết vấn đề này, một chiếc xe lăn điện được trang bị với một hệ thống camera lập thể cho phép thu thập thông tin 3D từ môi trường khác nhau Vậy thì việc sử dụng ảnh ảnh trái và phải được cung cấp bởi hệ thống camera lập thể là rất hữ ích Một phương pháp tổng sai lệch tuyệt đối (SAD) được sử dụng để tính map sai lệch Dựa vào map này, sự tính toán cho phép tạo ra một map điểm 3D và map khoảng cách 2D [14] Từ các map này, chiều cao và chiều rộng của khoảng trống có thể được xác định Các thuật toán kiến nghị được thực hiện cho một chiến lược điều khiển xe lăn bán tự động, cho phép tránh va chạm và an toàn cho người bị khuyết tật nặng [15]

Điều này có nghĩa là chiếc xe lăn điện thông minh tự động phát hiện chiều cao và chiều rộng của khoảng trống và chướng ngại vật để tránh va chạm và định người được kiến nghị Hơn nữa, trong chiến lược điều khiển xe lăn bán tự động, ý định di chuyển xe lăn của người sử dụng như lệnh di chuyển mắt dùng điện não được phát triển Vậy thì, một sự kết hợp được kiến nghị của kỹ thuật điện não và hệ thống camera lập thể để tạo ra một bộ điều khiển xe lăn thong minh Đây là một sáng tạo và một giải pháp mới cho người tàn tật, trong đó người dùng thông qua cảm biến cơ thể có thể ra lệnh cho hệ thống để đạt được mục đích điều khiển mong muốn

1.2 Nội Dung Chính Của Đề Tài

Đề tài trình bày các vấn đề về dò tìm vật thể và khỏang trống cho xe xe lăn điện di động sử dụng hệ thống camera lập thể Thêm nữa, người sử dụng điều khiển xe lăn dung lệnh di chuyển mắt dùng điện não EEG Cuối cùng là kết hợp giữa hai chức năng trên để tạo r axe lăn điện thong minh cho người tàn tật nặng Đề tài có ba nội dung cần được giải quyết như sau:

• Nội dung 1: Tính toán xe tự động tránh vật thể dùng camera

• Nội dung 2: Xử lyù tín hiệu điện não EEG để điều khiển xe lăn điện

• Nội dung 3: Kết nối giữa phần tự động tránh vật thể dùng camera và phần người tự

điều khiển dùng kỹ thuật điện não EEG để cho ra xe lăn điện thông minh

1.3 Kết Quả Nghiên Cứu

Các sản phẩm của dự án là xe lăn điện thông minh được cài đặt với một hệ thống camera lập thể và một mũ có những cảm biến điện não đội trên đầu người sử dụng Xe lăn điện có thể được điều khiển bởi chuyển động mắt người sử dụng để xe có thể đến nơi mong muốn trong môi trường trong nhà Một thuật toán an toàn dựa vào khoảng cách giữa vật thể và xe lăn được thu

từ việc xử lý những ảnh lập thể của camera được thiết lập để bảo vệ chiếc xe lăn điện va chạm với vật thể

1.3.1 Bài báo khoa học (Phụ lục 2.1)

• Hai bài báo hội nghị quốc tế:

1 Nguyen Thanh Hai, Nguyen V Trung, Vo V Toi, Tran V Su, “Autoregressive

Neural Networks for Recognition of Eye Commands in an EEG-Controlled Wheelchair” The International Conference on Advanced Technologies for Communications, Sep 2013

2 Ba Viet Ngo, Hai Thanh Nguyen, Nguyen Hung, “Tracking Landmarks for

Control of an Electric Wheelchair Using a Stereoscopic Camera System”, The

2013

• Một bài báo tạp chí trong nước:

3 Nguyen Thanh Hai, Nguyen Van Trung, Vo Van Toi “Control of Electric

Wheelchair by Eye Activities Using EEG Technique”, Vietnam Journal of

Science & Technology Development, No k3, pp., Nov 2013

• Hai bài tạp chí quốc tế

4 Truong Ngoc Ha, Nguyen Thanh Hai, Ngo Quoc Cuong, “Average Partial

Power Spectrum Density Approach to Feature Extraction for EEG-based Motor Imagery Classification ” American Journal of Biomedical Engineering, Vol 3, No.6 , Nov 2013

5 Thanh Hai Nguyen, Nguyen Van Trung, Vo Văn Toi, “Mean Threshold and

ARNN Algorithms for Identification of Eye Commands in an EEG-Controlled Wheelchair” Journal of Scientific Research on Engineering, pp 284-291, Pub Date: October 31, 2013, Oct 2013

1.3.2 Đào Tạo (Phụ lục 2.2)

• Hai sinh viên đại học: (Nguyễn Minh Châu và Phạm Hoàng Hải) đã bảo vệ luận văn và một sinh viên (nguyễn Thị Huệ-ngành KTYS) sẽ bảo vệ vào tháng 1/2014

• Hai sinh viên cao học (Trương Ngọc Hà và Ngô Bá Việt) đã bảo vệ luận văn

1.3.3 Sản Phẩm Xe Lăn Điện Thông Minh

Xe lăn này được gắn một hệ thống camera lập thể và những dụng cụ khác cho chức năng tự động tránh vật thể Một mũ có gắn các cảm biến điện não để thu tín não trên đầu người điều khiển Tất cả sảm phẩm là: quyển báo cáo đã hoàn thành, Tất cả những phần mềm, chương

điện não điều khiển

1.4 Tổ Chức Của Đề Tài

Đề tài được tổ chức các chương như sau:

• Chương 2 – Chương này trình bày những kiến thức cơ sở và những nghiên cứu trước

đó về những loại xe tự động sử dụng những cảm biến khác nhau như cảm biến siêu âm, laser, điện não và camera Hơn nữa, những xe lăn điện được gắn những cảm biến khác nhau để tạo ra một xe lăn thong minh Ngoài ra, chương này mô tả thông tin không chắc chắn từ các cảm biến được gắn trên robot di động hay xe lăn điện tự động Cuối cùng, giải pháp thực hiện xử lí hình ảnh dung camera và tín hiệu điện não EEG cho điều khiển

xe lăn bán tự động để khuyến khích và nâng cao hoạt động độc lập của người khuyết tật nặng trong cuộc sống hàng ngày

• Trong chương 3, Mô tả những dụng cụ như camera lập thể, điện não EEG và những

dụng cụ khác được gắn trên xe lăn điện Vấn đề tầm nhìn lien quan đến hình học epipolar và độ sâu được xem xét Tiếp theo, một thuật toán tổng sai lệch tuyệt đối (SAD) được áp dụng để tính toán map sai lệch mà nó được xây dựng từnhững ảnh trái

và phải sử dụng một hệ thống camera lập thể Tiếp theo, chiều cao và chiều rộng của khỏang trống được tính toán dựa trên map điểm 3D Từ map điểm 3D, xây dựng map 2D để xác định khoảng cách từ vật thể đến camera cho điều khiển xe lăn Phần quan trọng tiếp theo là những lệch EEG của người sử dụng được tính toán, trích đặc tình dung thuật tóan tự hồi qui và huấn luyện để điều khiển xe lăn dung mạng neuron Cuối cùng là một chiến lược kết nối để phân quyền tự động điềi khiển tránh vật thể và điều khiển người sử dụng được phát triển

• Chương 4 – Kết luận của đề tài và những công việc tương lai một cách ngắn được trình

bày trong chương này

Chapter 2: Cơ Sở Lý Thuyết

2.1 Giới Thiệu

Nhiều cá nhân với những chấn thương nghiêm trọng đã được giúp trong những công việc hàng ngày của họ thông qua các dụng cụ di động như xe lăn bằng tay và xe lăn điện Xe lăn điện thông thường không phải luôn luôn phục vụ được cho những yêu cầu di chuyển của người khuyết tật, các hoạt động là một nhiệm vụ khó khăn và nhiều đòi hỏi Vì lý do này, xe lăn điện được trang bị những cảm biến để tạo xe lăn tự động tránh vật thể và giúp người tàn tật có thể

tự di chuyển được mà không cần dung tay Những loại xe lăn 'thông minh' có thể hỗ trợ rất lớn cho việc di động độc lập hơn và còn an toàn trong môi trường nhiều vật thể [8, 16]

Trong những năm gần đây, các phương tiện di động đã được gắn với máy tính, những cảm biến như laser, ultrasound và camera cho việc việc dò tìm vật thể Điều này hổ trợ rất nhiều cho phương tiện di động có thể tránh được những vật thể tránh sự va chạm Các thông tin thu được từ các cảm biến bao gồm độ sâu, cạnh vật thể, màu sắc, hình dạng hoặc cử chỉ của người

sử dụng, những điều này được sử dụng để tính toán để phát hiện các chướng ngại vật chưa biết, và tránh va chạm, đồng thời giúp phương tiện di động dễ dàng tránh

Một số phương pháp tiên tiến được sử dụng để tính toán cho các chiến lược di động của xe, thông qua những thông tin thu thập được từ các cảm biến Những phương pháp này được sử dụng để đánh giá vị trí dựa trên thông tin không chắc chắn từ các cảm biến, hoặc những tính toán được áp dụng để xác định độ sâu, bản đồ và đặc tính môi trường Các dữ liệu thu được theo cách này được sử dụng để phát triển các hoạt động của xe di động như tránh va chạm và

dò tìm quỹ đạo

2.2 Điều Khiển Dựa Vào Cảm Biến

Cảm biến siêu âm gắn trên robot di động được sử dụng để cung cấp dữ liệu dãy Đối với ứng dụng này, sonar được cập nhật liên tục, xây dựng một lưới lượt đồ hai chiều (2D) Descartes như hình 2.1a Lưới được sử dụng như một mô hình không gian, mà nó được chuyển đổi thành một lượt đồ cực 1D [17, 18] Một phương pháp lượt đồ trường (VFH), như hình 2.1b, véc tơ được kiến nghị cho phép phát hiện những vật thể không lường trước và rồi thì thực hiện tránh

va chạm [19] Để đảm bảo hiệu suất cao, một phương pháp tăng cường VFH+ cung cấp một số cải tiến, chẳng hạn như một chiến lượt robot trơn tru hơn với độ tin cậy cao hơn Lựa chọn hướng phù hợp nhất dựa trên lượt đồ cực đeo gắn mặt nạ [20, 21]

Vấn đề chính cho các robot di động trong việc áp dụng các thuật toán tránh chướng ngại vật để tính toán sự sắp xếp của điểm dò tìm để so sánh với các điểm do tìm trước đó Những điểm này được sử dụng để phát hiện khoảng trống trong một hành lang dài [22] Sử dụng thông tin không chắc chắn từ một số bộ cảm biến siêu âm, thuật toán này sử dụng một giải pháp Bayesian [23] và lý thuyết quyết định để xác định một đáp ứng tối ưu Dựa trên xác suất của trạng thái (vượt qua hoặc không thể vượt qua) của thiên nhiên và sự mất hoạt động [24, 25], quyết định Bayesian, sau đó, được thực hiện cho các hoạt động (đi tới hoặc quay lại)

Mười sáu miếng cảm biến siêu âm và tám cảm biến hồng ngoại (IR) được đặt trên một robot di động được biết như là Robot an ninh thông minh (ISR), bằng việc tránh những vật thể tĩnh và động không được biết trước Như được thấy trong hình 2.2a và 2.2b, những điều này hỗ trợ robot để đến được mục trong không gian thực trong sự an toàn Dựa vào hình dạng và diện tich của những vật thể trong môi trường, một bản đồ môi trường mới được xây dựng [26] Trong khi tham gia vào quá trình tránh vật thể, điều này cho phép robot thay đổi quyết định ban đầu của nó Cuối cùng, thời gian và chiều dài của con đường sẽ khác nhau từ khi robot dò thấy vị trí bắt đầu với vị trí đã cho [27]

Hình 2.2a: Tránh vật thể dùng cảm biến siêu

âm

Hình 2.2b: Tránh vật thể dùng cảm biến hồng

ngoại Một phương pháp bám nhiều vật thể di chuyển trong một môi trường động, thay đổi nhanh , được thực hiện thông qua một chiếc xe lăn robot Trong phương pháp này, những vật thể được trích từ những ảnh sử dụng công cụ tìm dãy tia laser sử dụng hai bước heuristic Cụ thể trong bước đầu tiên, quá trình quét đã được phân đoạn thành những phần mẫu dày đặc, những phần này được chia dưới vật thể ‘gần như lồi’ sang những chuổi phụ Để bám những vật thể, thông tin về vật thể được so sánh với những dòng quét liên tiếp [28]

camera đơn được gắn trên một chiếc xe lăn điện để phát hiện hướng đầu của người sử dụng [29, 30] Một thuật toán bám khuôn mặt màu được sử dụng để tính toán chuyển động đầu của người dùng, mà nó được dùng để điều khiển xe lăn điện Hệ thống xe lăn này cho phép người

sử dụng có khả năng nhìn thấy và, có địch chuyển đầu tự do hơn, và mạnh mẽ thích nghi với những thay đổi ánh sáng và nền trong môi trường bên trong Xe lăn cũng được gắn một vòng cảm biến siêu âm để tăng cường sự an toàn dò tìm

Các nhà nghiên cứu đã kiến nghị một hệ thống dựa vào thị giác dùng ba camera CCD gắn trên

bo mạch, những điều này được đánh giá là có độ chính xác cao, cho vị trí 3D của một robot di động trong một môi trường tự nhiên [31] Một thuật toán dò tìm đặc tính nhanh được phát triển từ thuật toán dò tìm góc nhị phân [32] được sử dụng cho chuyển động bám đặc tính hai giai đoạn, cũng như đánh giá chuyển động lặp lại, trong một cách cộng sinh Kết quả minh họa

sự hiệu quả của các thuật toán được thể hiện trong hình 2.6a và 2.6b

Hình 2.6a: Đường dẫn cho robot di động Hình 2.6b: Biểu diễn đường dẫn đồ họa

Các thuật toán SAD thường được sử dụng để phát hiện những vật mốc, việc phối hợp những khoảng cách phù hợp cũng như đánh giá chuyển động [33] Việc sử dụng phương pháp SAD, một thuật toán phối hợp nhanh mới lạ được kiến nghị để tăng tốc độ tính toán của me tric khoảng cách phối hợp [34] Điều này phục vụ để tăng cường việc định vị robot sử dụng map sai lệch, những điều này cung cấp thông tin trên khoảng cách giữa các vật thể và vị trí camera Giải pháp với những giá trị độ sâu nhiễu được tìm thấy trong một thuật toán kỳ vọng-tối đa

hóa, điều này được áp dụng để xác định các thành phần chính của một tập dữ liệu Nó bao gồm các giá trị bị mất và nó được áp dụng cho những map sai lệch [35, 36] Kết quả thực nghiệm được biểu diễn để minh họa cho sự bền vững của sự xuất hiện dựa vào định vị dùng map sai lệch

Trong Não người có rất nhiều tế bào (hàng tỷ tế bào) với những cấu trúc khá phức tạp Hoạt động của con người điều liên quan đến bộ não Do vậy, việc tìm hiểu não người cho mục đích chẩn đoán và hổ trợ phục hồi chức năng là một thách thức lớn Trong những năm qua, nhiều nhà nghiên cứu vẫn tập trung tìm hiểu não người thông qua những kỹ thuật đo như cộng hưởng từ chức năng (fMRI), phổ hồng ngoại gần (fNIRS) và điện não (EEG) [5, 37, 38] Công nghệ điện não EEG đã và đang được các nhà khoa học nghiên cứu để giúp chuẩn đoán bệnh cho những bệnh nhân có khả năng bị động kinh, đột quỵ hay những bệnh mất ngủ Ngoài

ra, kỹ thuật điện não EEG còn được các nhà khoa học tìm hiểu để giúp cải thiện chức năng cho người bị tàn tật nặng như giúp họ có thể di chuyển xe lăn điện Cụ thể, người tàn tật không thể sử dụng tay để điều khiển xe thì họ có thể dùng suy nghĩ hay nháy mắt của mình để điều khiển xe [9, 39-45] Đây là một yù tưởng khá hay nhưng cũng không ít những thách thức đối với các nhà khoa học Bởi vì, tín hiệu điện não EEG thu được khá phức tạp bởi không chỉ nhiều tín hiệu khác nhau xuất hiện cùng lúc mà còn có nhiều tín hiệu nhiễu bởi môi trường xung quanh

Hệ thống BCI sử dụng biên độ sóng µ (8 - 12Hz) hoặc β (18 - 25Hz) để điều khiển con trỏ máy tính di chuyển trong 2 miền trên màn hình máy tính [3] Sự di chuyển của con trỏ chuột trong mỗi miền được xác định 10 lần/s dựa trên các đặc tính của tín hiệu EEG Dữ liệu được thu thập offline và sử dụng ba phương pháp khác nhau để tăng độ chính xác của việc di chuyển con trỏ chuột Bằng cách chọn lựa các đặc tính của tín hiệu EEG và chuyển đổi chúng thành các lệnh điều khiển, tác giả đã cải tiến được tốc độ và độ chính xác của việc di chuyển trỏ chuột [42]

Bệnh nhân có thể điều khiển cánh tay giả để giao tiếp với môi trường bên ngoài bằng bằng cách tưởng tượng [37] Tác giả đã phân tích thời gian thực các thành phần tín hiệu EEG trong suốt quá trình tưởng tượng Một bộ phân loại tuyến tính được sử dụng để phân biệt trường hợp tưởng tượng cánh tay di chuyển trái hoặc phải Độ chính xác của việc điều khiển này đạt 82,5% đến 90% Kết quả phân loại được sử dụng để điều khiển cánh tay giả di chuyển

Một hệ thống BCI lai được sử dụng để điều khiển xe lăn dựa trên tín hiệu EEG và EOG [46] Trong bài báo này, tác giả đã sử dụng thuật toán ngưỡng để xác định các hoạt động của mắt để xác định hướng di chuyển của xe lăn điện Tín hiệu EOG được sử dụng để điều khiển các hướng bên trái và bên phải Và tín hiệu EEG được sử dụng để để kiểm soát hướng tiến, lùi, ngừng Bằng cách sử dụng 2 kênh tín hiệu, độ chính xác phân loại đạt 95% Để phân biệt các hoạt động của tay trái và tay phải [47], tác giả sử dụng thuật toán tìm ngưỡng dựa vào độ lệch chuẩn Giá trị ngưỡng được sử dụng bằng giá trị trung bình cộng với 2 lần độ lệch chuẩn Kết quả phân loại chính xác đạt 87%

Tín hiệu EEG thu được chứa rất nhiều nhiễu, do đó lọc nhiễu là bước quan trọng trước khi phân tích tín hiệu Một bộ lọc thông dải 0.5 – 30 Hz sử dụng kỹ thuật dịch chuyển trung bình [48] được sử dụng để loại bỏ để loại bỏ các thành phần nhiễu Các tác giả [49] sử dụng các bộ lộc thông dải Chebyshev 2 để chia tín hiệu điện não thành 9 dải tần số khác nhau [4-8Hz, 9 -12Hz, …] để từ đó tìm ra các đặc tính riêng của các dải tần này Bộ lọc thông dải Butterworth bậc 4 được sử dụng để tách tín hiệu alpha (8 -25Hz) từ tín hiệu EEG thu được Tác giá [50] sử dụng bộ lọc thông dải Hamming để chia tín hiệu EEG thành các dải tần khác nhau Trung

động học của xe lăn [11] Ý định của người điều khiển xe lăn được nhận biết thông qua cảm biến, và sự không chắc chắn người sử dụng được ước tính, để cho phép người sử dụng đến mục tiêu [12, 51, 52]

Hình 2.13a: Người sử dụng tham gia thử

Điều khiển giữ một vai trò quan trọng trong hoạt động hệ thống xe di động như robot và xe lăn điện Những chiến lược điều khiển khác nhau có thể phụ thuộc vào các loại cảm biến như camera, laser hoặc siêu âm, trực tiếp dựa trên các động cơ điều khiển xe Tuy nhiên, điều khiển đóng một vai trò quan trọng trong hoạt động hệ thống xe điện thoại di động như robot

và xe lăn điện Các chiến lược điều khiển khác nhau có thể phụ thuộc vào các loại cảm biến như máy ảnh, laser hoặc siêu âm, hoặc đang trực tiếp dựa trên các động cơ kiểm soát xe Tuy nhiên một điều khiển xe lăn bán tự động kết hợp giữa sức mạnh ý định người dùng và chế độ

tự động nên được phát triển để khuyến khích hoạt động độc lập của người dùng thông qua các cảm biến cơ thể

Trong nghiên cứu này, các tác giả đã tạo ra một xe lăn điện thông minh với điều khiển người

sử dụng dùng kỹ thuật điện não Trong đó, người sử dụng có thể di chuyển những lệnh mắt (liếc mắt trai-phải hay chớp-mở mắt) của mình để điều khiển xe lăn di chuyển theo ý muốn Thêm nữa, một camera lập thể được gắn phía trước để do tìm vật thể và rồi thì tự động tránh

để đảm bào an toàn cho người sử dụng, Điều này sẽ khuyến khích được những người tàn tật nặng, không thể dung tay điều khiển những xe lăn điện thông dụng, để hoạt động hàng nagy2

mà không cần người hổ trợ

Chapter 3: Phương Pháp Nghiên Cứu

Trong chương này, xe lăn được gắn máy vi tính, hệ thống camera nổi và những dụng cụ khác cho mục đích tự động tránh vật to bảo vệ an toàn cho người sử dụng là tàn tật nặng Camera sẽ cho ra hai ảnh trái và phải Từ những ảnh này, ảnh sai lệch (disparity map) sẽ được xây dựng for mục đích xác định khoảng cách từ camera đến vật thể Dựa vào khoảng cách tìm được này, người ta có thể tính toán cho xe lăn tự động tránh vật thể Thêm nữa, để điều khiển xe lăn di chuyển, người sử dụng đội một mũ có gắn những điện cực để dò tìm sóng não Những song não thu được từ những hoạt động dịch chuyển mắt được xử lý và nhận dạng để người dung có thể di chuyển xe theo ý muốn, còn được gọc là xe điện thông minh

3.1 Thiết Kế Phần Cứng Xe Lăn

Trong phần này, để có thể tạo ra xe lăn điện thông minh, những dụng cụ được cài đặy trên xe lăn Những cụ này sẽ thu thập dữ liệu cho máy tính xử lý và điều khiển xe lăn di chuyển đến đích mong muốn dung điện não Xe lăn loại này còn có thể tự động tránh vật thể nhờ camera lập thể để bảo vệ an toàn người sử dụng

Camera Bumblebee và cảm biến điện não EEG được sử dụng để cung cấp thông tin dữ liệu từ môi trường xung quanh và lệnh điều khiển xe lăn điện vào máy tính Máy tính được cung cấp nguồn điện áp AC thông qua một bộ chuyển đổi DC-AC Màn hình mini được cài đặt phía trước xe lăn là để hiển thị thông tin cho quan sát và hiệu chỉnh những tham số điều khiển Dữ liệu sau khi được xử lý bởi máy tính được kết nối với một bộ chuyển đổi dữ liệu ADC để chuyển đổi dữ liệu sang tín hiệu tương tự cho việc điều khiển xe lăn di chuyển Hình 3.1

Hình 3.1: Sơ đồ dụng được gắn trên xe lăn

Hình 3.2: Hệ thống camera lập thể

Hệ thống camera như được thấy trong Hình 3.2 có hai camera nhỏ như “hai mặt” Camera lập thể cung cấp thông tin 3D của những ảnh trái và phải Dựa vào thuật toán, người ta có thể tính toán map sai lệch, 2D và 3D cho điều khiển tự động tránh vật thể

Hình 3.3: Bộ điện não EEG

Hình 3.3 là hệ thống điện não bao gồm một mũ đỏ có thể gắn được những điện cực Những điện cực này được kết nối với hệ thống thu dữ liệu điện não từ người và đưa vào máy tính để

xử lý Máy tính sẽ xử lý dữ liệu và xuất ra ngoài để kết nối điều khiển

Máy tính

Máy tính này (xem Hình 3.4) được gắn trên xe lăn để thu thập dữ liệu điện não và camera lập thể cho xử lý điều khiể xe Máy tính này mỏng, nhẹ và dễ sử dụng và cài đặt trên xe lăn

Bộ DAQ có 8 ngõ vào tương tự (12-bit, 10 kS/s) và 2 ngõ ra tương tự (12-bit, 150 S/s); 12 digital I/O; 32-bit bộ đếm Chức năng của nó là chuyển đổi dữ liệu số từ ngõ ra máy tính sang

dữ liệu tương tự cho điều khiể xe lăn điện như Hình 3.5

Hình 3.6: Xe lăn điện được cài đặt máy tính và những dụng cụ khác

Hình 3.6 là xe lăn điện thông minh với các thiết bị công nghệ cao được cài đặt Xe lăn này khi

di chuyển sẽ tự động tránh chướng ngại vật gần với hướng chuyển động Trong trường hợp này, người sử dụng không thể điều khiển được xe dùng điện não EEG

3.2 Tính Toán Xe Tự Động Tránh vật Thể Dùng Camera

3.2.1 Giới Thiệu

Để tính toán được ảnh sai lệch từ các ảnh trái và phải sau khi đã thực hiện việc chỉnh méo và

hiệu chỉnh ngang, có thể sử sử dụng một trong các thuật toán xử lý “theo vùng” hoặc “theo đặc tính” [53] Theo những phân tích đã trình bày ở trên, thuật toán được lựa chọn sử dụng

trong đề tài là thuật toán Phối hợp khối với phương trình tìm kiếm SAD nhờ tốc độ thực thi nhanh và kết quả tính toán được tương đối chính xác [54]

3.2.2 Thuật Toán Phối Hợp Khối

Giả sử đang tham chiếu tới điểm ảnh Ar (x 0 , y 0 ) của một vật thể trên ảnh phải như hình 3.6 Khi

đó, nhiệm vụ của thuật toán là tìm ra điểm ảnh tương ứng của vật thể này trên ảnh trái Al (x 0 ,y 0 )

và tính toán được độ sai lệch D của điểm ảnh trên hai ảnh phải và trái

Để làm được việc đó, thuật toán Phối hợp khối sẽ sử dụng một cửa sổ kích thước (2m +

1)x(2n+1) di chuyển dọc theo đường epipolar trên ảnh trái tương ứng xuất phát từ vị trí (x0 ,y 0 ) trong phạm vi độ sai lệch được giả định trước d : dmin – d max Trong quá trình di chuyển đó, các

thông số cần thiết (sự khác biệt về mức xám hoặc màu sắc của điểm ảnh trên ảnh trái với điểm

ảnh (x0 ,y 0 ) trên ảnh phải) sẽ được lưu lại xem Hình 3.7

Hình 3.7: Xác định độ sai lệch D bằng thuật toán Phối hợp khối với cửa sổ 5x5

Có nhiều thuật toán khác nhau để tính toán các thông số cần thiết này như SAD, SSD, CORR… Trong đó, thuật toán tương đối đơn giản và được sử dụng rộng rãi nhất là thuật toán SAD Thuật toán SAD sẽ tính toán giá trị khác biệt về mức xám cho từng vị trí cửa sổ tương

ứng với từng giá trị d theo phương trình sau:

|)),(

),((|

(),,

− −

+++

−++

=

n

n k m

m l

L

I d

y x

−++

=

n

n k m

m l

L

R d

y x

Sau khi tính toán và lưu lại thông số SAD cho tất cả các vị trí cửa sổ tương ứng với tất cả các

giá trị d trong phạm vi dmin – d max, giá trị độ sai lệch D cuối cùng được lựa chọn là giá trị d có

SAD tương ứng nhỏ nhất

max min

d y x SAD D

d d

Việc tính toán giá trị độ sai lệch D cho một điểm ảnh theo giá trị SAD mức xám của thuật toán Phối hợp khối được thực thi cụ thể như lưu đồ Hình 3.8

Việc tính toán giá trị độ sai lệch của tất cả các điểm ảnh được thực thi theo lưu đồ Hình 3.9

Hình 3.9: Xác định độ sai lệch D cho tất cả các điểm ảnh

3.2.3 Thực Nghiệm Và Lựa Chọn Tham Số

Khi sử dụng thuật toán Phối hợp khối để tính toán, có thể tùy chỉnh nhiều tham số khác nhau

để thu được kết quả mong muốn như: kích thước cửa sổ M, phạm vi giới hạn của giá trị d tìm

kiếm dmin , d max, dò tìm theo cạnh, dò tìm theo bề mặt Tuy nhiên, trong phạm vi giơi hạn, đề tài chỉ tập trung phân tích ảnh hưởng và lựa chọn giá trị của các tham số M, dmax

Trên Hình 3.10 là các ảnh trái và phải chụp được từ stereo camera Các ảnh này, đã được xử lý chỉnh méo và hiệu chỉnh ngang, sau đó sẽ được dùng để tìm ảnh sai lệch dùng thuật toán Phối hợp khối với phương trình SAD Kết quả ảnh sai lệch thu được như ở Hình 3.11

Hình 3.10: Ảnh trái (a) và ảnh phải (b) với hai vật thể phía trước camera

Hình 3.11: Ảnh sai lệch tính toán được với các vật thể có các màu xanh khác nhau

Trên ảnh sai lệch thu được, tương ứng với các vật thể càng gần với vị trí đặt camera sẽ được thể hiện bằng các điểm ảnh có màu xanh càng “nhạt”, tương ứng với giá trị sai lệch càng lớn, các vật thể càng xa vị trí đặt camera sẽ có màu xanh càng “đậm”, tương ứng với các giá trị sai

lệch càng nhỏ Trên Hình 3.11, vị trí “Ghế 2” là gần camera nhất nên có màu xanh “nhạt” nhất, vị trí “Ghế 1” ở xa hơn nên có màu xanh “đậm” hơn và các vật thể còn lại trên hành lang

phía xa có màu xanh “đậm” nhất

3.2.3.1 Thay đổi kích thước cửa sổ M với phạm vi tìm kiếm d max cố định

Kích thước cửa sổ M sẽ quyết định phạm vi dò tìm các điểm ảnh trên ảnh trái xung quanh 1 vị trí điểm ảnh trên ảnh phải Kích thước cửa sổ càng lớn sẽ cho ra ảnh sai lệch càng mịn và mượt, tuy nhiên có thể thiếu chính xác đặc biệt là tại vị trí giữa các vật thể có khoảng cách xa

và gần cách biệt nhau nhiều Ngược lại, kích thước cửa sổ càng nhỏ sẽ cho ra ảnh sai lệch càng thưa và nhiễu, tuy nhiên với các vị trí giữa các vật thể có khoảng cách cách biệt nhau nhiều thì

sẽ chính xác hơn

Hình 3.12: Ảnh sai lệch thu được với các giá trị lần lượt M = 5 (a), M = 7 (b), M = 9 (c), M = 11 (d),

M = 13 (e), M = 15 (f), và dmax cố định dmax = 50

Kích thước cửa sổ được chọn phải được mang các giá trị lẻ và tỉ lệ thuận với độ phân giải của các ảnh thu được Một cửa sổ (2M + 1)x(2M +1) = 5x5 dùng trên các ảnh trái và phải có độ phân giải 320x240 pixel sẽ tương ứng với cửa sổ 9x9 dùng trên các ảnh với độ phân giải 640x480 pixel

Trên Hình 3.12 là các ảnh sai lệch khác nhau thu được từ các ảnh trái và phải ở Hình 3.10

tương ứng với các giá trị kích thước cửa sổ M khác nhau Phạm vi giới hạn dò tìm dmax trong

các trường hợp này được cố định là 50

Hình 3.12a là ảnh sai lệch tính toán được với cửa sổ có kích thước nhỏ ( M = 5), vì vậy ảnh thu được tương đối thiếu chi tiết Các hình tiếp theo là ảnh sai lệch với các kích thước cửa sổ lớn dần Ảnh sai lệch tính toán với kích thước cửa sổ lớn (M = 13) thu được trên Hình 3.12f là

“mịn” và “mượt” nhất, nhưng hầu như thiếu chính xác ở vùng lân cận các vật thể “Ghế 1” và

“Ghế 2” Do vậy, tùy thuộc vào từng ứng dụng và yêu cầu cụ thể mà kích thước cửa sổ sẽ được lựa chọn phù hợp

3.2.3.2 Thay đổi phạm vi tìm kiếm d max với kích thước cửa sổ M cố định

Phạm vi dò tìm d min – d max sẽ quyết định khoảng cách gần nhất và xa nhất của các vật thể mà camera có thể “nhìn” được Các vật thể ở xa vô cùng sẽ có giá trị d = 0, các vật thể gần nhất sẽ

có giá trị dmax Như vậy, khi giá trị dmax càng lớn thì khả năng nhìn của camera càng gần Tuy

nhiên, điều này làm gia tăng thời gian thực thi của thuật toán tìm kiếm phối hợp khối

Hình 3.13: Ảnh sai lệch thu được với các giá trị M = 11, dmin = 0 và dmax lần lượt là dmax = 42 (a), dmax

= 50 (b) và dmax = 73 (c)Hình 3.13 là các ảnh sai lệch tính toán được từ các ảnh trái và phải ở Hình 3.10 với phạm vi

giới hạn dò tìm dmax thay đổi, dmin và kích thước cửa sổ cố định dmin = 0 và M = 11

Ở Hình 3.12a, giá trị dmax được chọn nhỏ (dmax = 42) tương ứng với vật thể gần nhất mà camera có thể “nhìn” thấy được tương đối xa Do vậy, các vật thể “Ghế 1” và “Ghế 2” xuất hiện trên ảnh sai lệch với các màu xanh “nhạt” hơn, chứng tỏ 2 vật thể này khá gần với khoảng

cách gần nhất giới hạn của camera Ở các hình 3.13b và 3.13c, giá trị dmax được chọn tăng dần,

do đó các vật thể “Ghế 1” và “Ghế 2” xuất hiện trên ảnh sai lệch với màu xanh “đậm” tăng

dần, do khoảng cách gần nhất mà camera có thể “nhìn” được được thu hẹp lại Giá trị dmin

được chọn cố định dmin = 0 để khoảng cách xa nhất mà camera có thể nhìn được sẽ ở vô cùng,

do vậy các vật thể còn lại phía sau hành lang xuất hiện trên ảnh sai lệch với màu xanh hầu như không đổi ở cả 3 hình

Như vậy, việc lựa chọn phạm vi dò tìm dmin – d max sẽ quyết định đến khoảng gần nhất – xa

nhất mà camera có thể “nhìn” được cũng như thời gian thực thi của thuật toán tìm kiếm Phối

hợp khối Khoảng d min – d max càng lớn thì khoảng cách “nhìn” của camera càng mở rộng

nhưng thời gian thực thi sẽ tăng Và ngược lại, khoảng dmin – d max càng nhỏ thì khoảng cách

“nhìn” của camera càng thu hẹp nhưng thời gian thực thi sẽ tăng Do vậy, việc lựa chọn

khoảng d min – d max còn tùy thuộc vào khoảng cách “nhìn” và thời gian thực thi yêu cầu của từng ứng dụng cụ thể

3.2.4 Tính Toán Map 3D Và 2D

Chương 4 trình bày về vấn đề tính toán thông số độ sâu cho các điểm ảnh từ ảnh sai lệch tính toán được ở chương 3 Từ thông tin độ sâu thu được, các vấn đề về tính toán map 3D và map 2D cũng được trình bày ở phần tiếp theo của chương

3.2.4.1 Tính Toán Độ Sâu

Sau khi chỉnh méo và hiệu chỉnh ngang cho các mặt phẳng ảnh tốt thì hệ thống stereo camera

sẽ như ở Hình 3.14

Hình 3.14: Tính toán độ sâu Z dùng tam giác đồng dạng

Các mặt phẳng ảnh của hai camera hoàn toàn đồng phẳng với nhau, có các trục quang học

song song với với nhau và cách nhau một khoảng biết trước b, đồng thời tiêu cự của hai

camera cũng bằng nhau f l = f r Đồng thời, các quang tâm left

x

c và right

x

c đã được căn chỉnh

sao cho có cùng tọa độ pixel trong mặt phẳng ảnh của từng camera Lưu ý rằng quang tâm thường không trùng với trung tâm của ảnh

Một điểm P trong thực tế sẽ cho ảnh trên các mặt phẳng ảnh của hai camera tương ứng là

và với tọa độ theo trục ngang tương ứng là l

x và r

x Gọi l r

x x

D= − là độ sai lệch của điểm ảnh và trên các mặt phẳng ảnh của camera trái và phải Khi đó, sử dụng tam giác đồng dạng, ta có:

Z

b f Z

D b

Hình 3.15: Quan hệ giữa độ sâu và độ sai lệch

Như vậy, khi tính toán được độ sai lệch D cho các điểm ảnh chung của hai ảnh tạo bởi hai

camera trái và phải thì ta có thể tính toán được độ sâu tương ứng của vật thể tới hệ thống camera Từ đó, có thể sử dụng thông tin độ sâu này cho các mục đích tính toán map 3D và 2D

3.2.4.2 Tính Toán Map 3D

Mây điểm ảnh 3D thể hiện các điểm ảnh về môi trường thu được với các tọa độ X, Y, Z trong

hệ tọa độ thực OXYZ Trên mây điểm ảnh 3D, ngoài thông tin độ sâu Z đã tính toán được, còn

có thông tin về tọa độ X và Y của các điểm ảnh trong hệ tọa độ thực Các thông tin này sẽ được

dùng để tính toán kích thước các vật thể trong môi trường thực theo chiều cao và chiều ngang,

từ đó làm cơ sở cho việc xây dựng các map 2D về môi trường

Hình 3.16: Tính toán tọa độ trong hệ tọa độ thực OXYZ

Hình 3.16 bên dưới minh họa phép chiếu từ một điểm ảnh thu được trên mặt phẳng ảnh với hệ

tọa độ ảnh về hệ tọa độ thực OXYZ

Giả sử có điểm A có tọa độ (X,Y,Z) trong môi trường thực Sau khi được chụp bởi camera đang xét, ảnh của điểm A là điểm ảnh a nằm trên mặt phẳng ảnh với tọa độ a (x, y) Thông số

độ sâu Z từ điểm A tới gốc tọa độ O sẽ được tính toán nhờ vào thông tin kết hợp với camera

thứ hai như đã trình bày ở phần trước theo quan hệ:

D

fb

Sau khi tính toán được Z, sử dụng các tam giác đồng dạng, có thể suy ra được quan hệ giữa tọa

độ X và Y của điểm A với Z là:

Z

f X

Từ đó suy ra được:

Z f

x

Z f

y

Như vậy, khi xét tất cả các điểm ảnh thu được trên mặt phẳng ảnh của camera đang xét, từ

công thức, ta sẽ tính toán được thông tin độ sâu Z của tất cả các điểm nhìn thấy được trong

môi trường thực; sau đó, sử dụng các quan hệ ở công thức ở trên, ta sẽ tính toán được thông

tin X, Y trong hệ tọa độ thực của tất cả các điểm Từ đó sẽ thu được thông tin về mây điểm ảnh

3D của các vật thể trong môi trường

Ví dụ với môi trường chụp được như ở Hình 3.17, sau khi tính toán ảnh sai lệch, sử dụng các phương trình chiếu, ta sẽ thu được thông tin của tất cả các điểm ảnh trên mây điểm ảnh 3D như ở Hình 3.18

Hình 3.17: Ảnh trái (a) và phải (b) về môi trường với một tấm “bảng” ở độ cao hbảng=0.8m

(a)

(b)

Hình 3.18: Map 3D tính toán được nhìn từ trước (a) và từ bên phải (b)

Lúc này, mây điểm ảnh 3D thu được sẽ chứa thông tin của tất cả các điểm ảnh thu được Tuy nhiên, trong thực tế, khi hệ thống stereo camera được sử dụng trên các thiết bị tự hành (ví dụ như robot, xe lăn, xe tự hành…), không phải tất cả các điểm ảnh của mây điểm ảnh 3D thu được đều được sử dụng để làm cơ sở cho việc dò tìm đường đi hay tránh vật cản Giả sử,

stereo camera được gắn trên một xe lăn có chiều cao là h (h=h l - h h ) tính từ mặt đất tới nơi cao

nhất của xe Khi đó, trên mây điểm ảnh 3D, các điểm ảnh nằm ngoài phạm vi h có thể được bỏ

qua vì các vật thể ở ngoài phạm vi độ cao này không thể là vật cản cho xe.Lúc này, mây điểm ảnh 3D chỉ có các điểm ảnh thỏa yêu cầu sau:

h

Việc loại bỏ các điểm ảnh ngoài độ cao h sẽ được thực thi như lưu đồ ở hình 3.19

Sau khi loại bỏ các điểm ảnh ngoài vùng cao độ h của xe, các điểm ảnh còn lại sẽ nằm trong

“vùng quan sát” của xe Các điểm ảnh này tương ứng với các vật thể phía trước xe: từ khoảng

cách Z từ gần nhất tới xa nhất và khoảng cách xa nhất có thể là ở vô cùng Tuy nhiên, các vật

thể ở khoảng cách quá xa sẽ tạm thời chưa thể là vật cản trên đường đi của xe Do vậy, trên thực tế, khoảng Z sẽ được thu hẹp trong tầm từ minZ – maxZ để “vùng quan sát” của camera

chỉ tập trung ở vùng gần Khi đó, trên mây điểm ảnh 3D, các điểm ảnh có Z nằm ngoài “ vùng

quan sát” sẽ được loại bỏ Mây điểm ảnh lúc này chỉ chứa các điểm ảnh thõa yêu cầu:

Z

Z Z max

Chẳng hạn, với mây điểm ảnh thu được như ở Hình 3.21, nếu stereo camera đang sử dụng trên

một xe lăn có tổng chiều cao hxe = 1.1m thì những điểm ảnh nằm ngoài cao độ 1.1m có thể được bỏ qua, vì đối với xe, những điểm ảnh những điểm ảnh này không thể là “vật cản” trên đường đi của xe Đồng thời, “tầm nhìn” của camera lúc này cũng có thể được giới hạn lại

trong phạm vi Z ≤ 5m để lượt bỏ những hậu cảnh ở phía sau và khá xa vi trị hiện tại của xe

Kết quả sau khi thực hiện giới hạn, mây điểm ảnh 3D thu được sẽ còn lại như ở Hình 3.21

(a)

(b)

Hình 3.21: Map 3D tính toán được nhìn từ trước (a) và từ bên phải (b) sau khi giới hạn ở độ cao h =

1.1m và độ sâu Z ≤ 5mTrên Hình 3.21 là mây điểm ảnh 3D về môi trường ở Hình 3.17 Lúc này trên mây còn lại các điểm ảnh của tấm bảng ở độ cao dưới 1.1m và hai ghế đặt ở hai chân bảng Đó chính là các điểm ảnh của các “vật cản” mà xe “quan sát” được trong vùng độ cao và độ sâu giới hạn Như vậy, sau khi loại bỏ các điểm ảnh nằm ngoài vùng độ cao và độ sâu, trên mây điểm ảnh 3D sẽ còn lại các điểm ảnh nằm trong “tầm nhìn” của xe Mây điểm ảnh này sau đó sẽ được sử dụng để tính toán nên Map 2D, giúp xác định được các “vật cản” trong “vùng quan sát” của

xe, từ đó có thể giúp xe tránh các “vật cản” hay lựa chọn đường đi thích hợp

3.2.4.3. Tính Toán Map 2D

Map 2D sẽ chứa các thông tin về khoảng độ sâu Z tương ứng với tọa độ ngang X của các vật cản cũng như khoảng trống trong “vùng quan sát” của camera Điều này sẽ giúp cho xe có thể xác định được vật cản hay khoảng trống phía trước Do vậy, map 2D sẽ hữu ích cho việc tính toán tránh vật cản trên đường đi của xe

Hình 3.22: Tính toán map 2D từ mây điểm ảnh 3D

Quá trình tính toán Map 2D được dựa trên thông tin từ mây điểm ảnh 3D được minh họa ở Hình 3.22

Đầu tiên, mây điểm ảnh 3D sẽ được chia thành các cột theo phương thẳng đứng (phương trục

Y ) Sau đó, sẽ tiến hành dò tìm các điểm gần nhất tới camera trên mỗi cột, tức điểm có Z nhỏ nhất trên cột thứ i (Zimin), và lưu lại thông số Zimin cùng với giá trị X tương ứng trên từng cột

Nếu cột nào “không có” điểm ảnh trong “vùng quan sát” thì vị trí cột đó được xem như vị trí khoảng trống Giá trị khoảng độ sâu nhỏ nhất Zimin của cột thứ i sẽ được tìm theo phương trình:

ij n j

Z

, 0 min min

=

trong đó Zimin là độ sâu nhỏ nhất của cột thứ i tìm được, j = 0 – n là số hàng trên ảnh

Quá trình tính toán Zimin được thể hiện cụ thể trong lưu đồ ở Hình 3.23

Hình 3.23: Tính toán Zimin