Thi công hệ thống điều khiển xe lăn điện cho người khuyết tật sử dụng điện não và camera

HỒ CHÍ MINHKHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ---ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: THIẾT KẾ VÀ THI CÔNG HỆ THỐNG ĐIỀU KHIỂN XE

BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA ĐIỆN – ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

-ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:

THIẾT KẾ VÀ THI CÔNG HỆ THỐNG ĐIỀU KHIỂN XE LĂN ĐIỆN CHO NGƯỜI KHUYẾT TẬT SỬ DỤNG TÍN HIỆU ĐIỆN NÃO VÀ

CAMERA

GVHD: ThS Ngô Bá Việt SVTH1: Vũ Hoàng Thiên MSSV1: 16141282

SVTH2: Đoàn Lâm MSSV2: 16141190

Tp Hồ Chí Minh - 08/2020

BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA ĐIỆN – ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

CAMERA

GVHD: ThS Ngô Bá Việt SVTH1: Vũ Hoàng Thiên MSSV1: 16141282

SVTH2: Đoàn Lâm MSSV2: 16141190

Tp Hồ Chí Minh - 08/2020

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

I TÊN ĐỀ TÀI: THIẾT KẾ VÀ THI CÔNG HỆ THỐNG ĐIỀU KHIỂN XE LĂN

ĐIỆN CHO NGƯỜI KHUYẾT TẬT SỬ DỤNG TÍN HIỆU ĐIỆN NÃO VÀ CAMERA

II NHIỆM VỤ

1 Các số liệu ban đầu:

- Các tài liệu về Python và thư viện OpenCV, pyrealsense, Giáo trình Xử lý ảnh

- Các tài liệu về Arduino và thư viện Arduino

- Các ví dụ về nhận dạng hình học cơ bản, ví dụ về xử lý tín hiệu điện não

- Phần mềm huấn luyện: EmotivBCI, Visual Studio Code, IDE Arduino

2 Nội dung thực hiện:

- Tìm hiểu phương pháp nhận dạng vật bằng thuật toán xử lý ảnh

- Tìm hiểu Camera 3D, tín hiệu điện não, thiết bị công suất và các Module

liên quan

- Xây dựng tập huấn luyện chuẩn để phục vụ cho việc điều khiển thông qua

phần mềm EmotivBCI

- Xây dựng thuật toán xử lý ảnh để nhận diện vật cản

- Thi công mô hình

- Viết chương trình trên Python và Arduino IDE

- Chạy thử nghiệm, chỉnh sửa và hoàn thiện hệ thống.

- Đánh giá kết quả thực hiện

- Thực hiện viết báo cáo đề tài

- Tiến hành báo cáo trước hội đồng

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Thiết kế và thi công hệ thống điều khiển xe lăn điện cho người khuyết tật

sử dụng tín hiệu điện não và camera

GVHD

02-9/03 - Chọn đề tài

10-17/03 - Viết đề cương chi tiết đồ án tốt nghiệp

18/03-25/03 - Tìm hiểu phương pháp nhận dạng hình cơ bản

- Tìm hiểu về tín hiệu điện não và cách xử lý tínhiệu điện não

26/03-01/04 - Tìm hiểu module công suất và động cơ

- Tìm hiểu sơ đồ nguyên lí của hệ thống, giảithích chức năng cách khối

02-09/04 - Tìm hiểu camera 3D

- Tìm hiểu Emotiv Epoc

iii

10-26/04 - Tìm hiểu thuật toán tính khoảng cách

- Tìm hiểu cách huấn luyện tín hiệu điện não, lấytín hiệu từ Server gửi về máy tính

27/04-03/05 - Tìm hiểu về Arduino

- Tìm hiểu về python, Open CV và các thư việnliên quan như release2,

04/05-11/05 - Tiến hành tính toán lựa chọn linh kiện, vẽ PCB

mạch điều khiển động cơ và thi công mạch

- Training tín hiệu điện não sử dụng phần mềmEmotivBCI

27/05-11/06 - Lập trình Arduino cho khối điều khiển động cơ

- Lập trình Matlab sử dụng la bàn để mô phỏnglại dữ liệu đường đi của xe lăn điện

12/06-19/06 - Thi công mô hình và chạy thử toàn bộ mô hình

- Sữa lỗi phần cứng và phần mềm

- Viết quyển luận văn

20/06-27/07 - Hoàn thành, cân chỉnh lại toàn bộ lại hệ thống

- Viết hoàn chỉnh quyển luận văn

28/07-02/08 - Hoàn chỉnh hệ thống và quyển luận văn

03-18/08 - Báo cáo, bảo vệ đồ án tốt nghiệp

GV HƯỚNG DẪN

ThS Ngô Bá Việt

LỜI CAM ĐOAN

Đề tài này là do nhóm tôi tự thực hiện dựa vào kiến thức được học, nghiên cứutìm hiểu một số tài liệu, đề tài trước đó và không sao chép từ tài liệu hay công trình đã

có trước đó

Người thực hiện đề tài

Vũ Hoàng Thiên – Đoàn Lâm

LỜI CẢM ƠN

Lời đầu tiên, nhóm thực hiện đề tài xin được cảm ơn chân thành tới Thầy Ngô

Bá Việt - Giảng viên bộ môn Điện Tử Công Nghiệp – Y Sinh, Thầy đã tận tình hướngdẫn nhóm để có thể hoàn thành tốt đề tài Thầy luôn hỗ trợ hết mình, giải đáp thắcmắc, chỉ ra sai sót cũng như gợi ý những phương án thực hiện sao cho khả thi và dễtiếp cận nhất

Nhóm xin gửi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đãtạo những điều kiện tốt nhất cho tôi hoàn thành đề tài, đặc biệt là các Thầy trongphòng lab C306 đã tận tình giúp đỡ, giải đáp thắc mắc trong quá trình thực hiện đề tàicủa nhóm Những kiến thức bổ ích mà các Thầy Cô dạy, nó được áp dụng vào đề tài

Đồ Án Tốt Nghiệp rất nhiều, từ những kiến thức nhỏ nhặt cho tới những bài học lớn.Một lần nữa nhóm xin được gửi lời cảm ơn đến tất cả Thầy Cô, nếu không có Thầy Côthì chắc giờ này nhóm sẽ khó có thể hoàn thành đề tài này

Tiếp theo nhóm cũng xin cảm ơn tới các Anh, Chị khóa trên cùng các bạn sinhviên đã tạo điều kiện giúp đỡ, từ những tài liệu liên quan tới đề tài cho tới những kinhnghiệm sống thực tế Nhờ họ mà nhóm mới có thể phát triển được

Nhóm cũng gửi lời đồng cảm ơn đến các bạn lớp 16141DT2A đã chia sẻ traođổi kiến thức cũng như những kinh nghiệm quý báu trong thời gian thực hiện đề tài, vàcũng là lớp học có nhiều kí ức nhất thời sinh viên của nhóm

Cuối cùng, nhóm xin cảm ơn chân thành và sâu sắc đến Cha, Mẹ - những ngườiluôn bên cạnh hỗ trợ hết mình về tài chính cũng như tinh thần trong suốt những nămtháng qua

Thành công của đề tài ngày hôm nay chính là một phần đóng góp to lớn củamọi người Một lần nữa, nhóm xin gửi lời cảm ơn chân thành nhất đến quý thầy cô,bạn bè và quý phụ huynh đã hỗ trợ nhóm thực hiện đề tài hoàn chỉnh

Xin chân thành cảm ơn!

Người thực hiện đề tài

Vũ Hoàng Thiên – Đoàn Lâm

MỤC LỤC

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP i

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP iii

LỜI CAM ĐOAN vi

LỜI CẢM ƠN vii

MỤC LỤC viii

LIỆT KÊ HÌNH VẼ xi

LIỆT KÊ BẢNG xiv

LIỆT KÊ CÁC TỪ VIẾT TẮT xv

TÓM TẮT xvi

Chương 1: TỔNG QUAN 1

1.1 ĐẶT VẤN ĐỀ 1

1.2 MỤC TIÊU 1

1.3 NỘI DUNG NGHIÊN CỨU 3

1.4 GIỚI HẠN 4

1.5 BỐ CỤC 4

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 6

2.1 TÍN HIỆU ĐIỆN NÃO 6

2.1.1 Giới thiệu về EEG 6

2.1.2 Nguyên lý xử lí tín hiệu điện não 8

2.1.3 Phương pháp giao tiếp giữa não và máy tính 9

2.2 CAMERA 3D VÀ CÁC PHƯƠNG PHÁP XỬ LÝ ẢNH 11

2.2.1 Camera 3D 11

2.2.2 Ảnh độ sâu và đám mây điểm 11

2.2.3 Các phương pháp xử lý ảnh 11

2.3 NGÔN NGỮ PYTHON VÀ CÁC THƯ VIỆN LIÊN QUAN 13

2.4 GIỚI THIỆU PHẦN CỨNG 14

2.4.1 Camera Intel RealSense D435 14

viii

2.4.2 Emotiv Epoc 17

2.4.3 Nguồn LM2596 18

2.4.4 Kit Arduino Nano 18

2.4.5 Module Điều khiển động cơ BTS7960 20

CHƯƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ 22

3.1 GIỚI THIỆU 22

3.2 THIẾT KẾ PHẦN CỨNG CỦA HỆ THỐNG XE LĂN CHO NGƯỜI KHUYẾT TẬT SỬ DỤNG ĐIỆN NÃO VÀ CAMERA TRÁNH VẬT CẢN 22

3.2.1 Khối thu tín hiệu 23

3.2.2 Khối xử lý trung tâm và hiển thị 25

3.2.3 Khối điều khiển 26

3.2.4 Khối nguồn 27

3.3 PHƯƠNG PHÁP TÍNH TOÁN KHOẢNG TRỐNG VÀ PHÁT HIỆN VẬT CẢN 28

3.3.1 Xây dựng bản đồ khoảng cách 2D từ bản đồ ảnh độ sâu 23

3.3.2 Xác định vật cản 25

3.3.3 Tính độ rộng khoảng trống 29

3.3.4 So sánh các khoảng trống và tìm điểm giữa 27

CHƯƠNG 4: THI CÔNG HỆ THỐNG 32

4.1 GIỚI THIỆU 32

4.2 THI CÔNG MÔ HÌNH 32

4.2.1 Kết nối bộ phận điều khiển và động lực 33

4.2.2 Kết nối bộ phận điều khiển và động lực với nguồn 33

4.2.3 Kết nối bộ phận Camera với máy tính 34

4.2.4 Kết nối bộ phận Emotiv Epoc với máy tính 34

4.2.5 Mô hình hoàn chỉnh 35

4.3 LẬP TRÌNH HỆ THỐNG ĐIỀU KHIỂN XE LĂN SỬ DỤNG TÍN HIỆU ĐIỆN NÃO VÀ CAMERA 36

4.3.1 Lưu đồ giải thuật 36

4.3.2 Công cụ sử dụng 40

4.4 TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC 455

CHƯƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 47

5.1 KẾT QUẢ THI CÔNG BỘ ĐIỀU KHIỂN XE LĂN 47

5.2 KẾT QUẢ THÍ NGHIỆM 47

5.2.1 Kết quả phát hiện khoảng trống và vật cản dùng camera 47

5.2.2 Kết quả điều khiển xe lăn dùng EEG 53

5.2.3 Kết quả điều khiển xe lăn bằng tín hiệu điện não kết hợp với camera 57

5.2.4 So sánh khả năng di chuyển của xe lăn ở cả 3 chế độ 59

CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 61

6.1 KẾT LUẬN 61

6.2 HƯỚNG PHÁT TRIỂN 61

TÀI LIỆU THAM KHẢO 62

PHỤ LỤC 64

LIỆT KÊ HÌNH VẼ

Hình 2.1 Sơ đồ điện cực trên não người 6

Hình 2.2 Phân loại các vec tơ đặc trưng sử dụng phương pháp phân tích phân biệt tuyến tính 8

Hình 2.3 Sơ đồ xử lý tín hiệu điện não 9

Hình 2.4 Liên kết giữa não và máy tính theo phương pháp cấy ghép thiết bị trong não10 Hình 2.5 Liên kết giữa não và máy tính theo phương pháp đọc tín hiệu trên vỏ não 10

Hình 2.6 Ảnh trước và sau khi chuyển đổi sang ảnh độ sâu 12

Hình 2.7 Ảnh đám mây điểm của 1 vùng núi nhô cao 13

Hình 2.8 Ảnh độ sâu khi phân đoạn theo 2 màu xanh dương và xanh lá 13

Hình 2.9 Camera Intel RealSense D435 3D 14

Hình 2.10 Cấu tạo Camera Intel RealSense D435 15

Hình 2.11 Nguyên lý hoạt động Camera Intel RealSense D435 3D 16

Hình 2.12 Sơ đồ phần cứng Camera Intel RealSense D435 3D 16

Hình 2.13 Headset Emotiv Epoc 14 Channel EEG 17

Hình 2.14 Module LM2596 18

Hình 2.15 Kit Arduino Nano 19

Hình 2.16 Module điều khiển động cơ BTS7960 20

Hình 3.1 Sơ đồ khối hệ thống điều khiển xe lăn điện cho người khuyết tật 22

Hình 3.2 Sơ đồ thu tín hiệu hình ảnh từ camera 23

Hình 3.3 Sơ đồ thu tín hiệu từ điện não 24

Hình 3.4 Một số tín hiệu điện não thu được khi người dùng nhắm mắt 25

Hình 3.5 Khối xử lý và hiển thị 25

Hình 3.6 Sơ đồ nguyên lý của khối điều khiển 26

Hình 3.7 Acquy sử dụng cho xe lăn điện 27

Hình 3.8 Mô tả việc chuyển đổi bản đồ đám mây điểm sang bản đồ khoảng cách 2D 29 Hình 3.9 Ảnh môi trường có một vật cản là hộp vuông nằm lệch phải 30

Hình 3.10 Kết quả phương pháp tính toán khoảng trống và xác định vật cản 31

Hình 4.1 Bộ phận điều khiển 33

Hình 4.2 Kết nối bộ phận điều khiển và động lực với nguồn 33

Hình 4.3 kết nối bộ phận camera với máy tính 34

Hình 4.4 Kết nối Emotiv Epoc với máy tính 34

Hình 4.5 Giao diện kiểm tra kết nối của phần mềm EmotivBCI 35

Hình 4.6 Mô hình xe lăn điện hoàn chỉnh 35

Hình 4.7 Người sử dụng và bộ Emotiv 36

Hình 4.8 Lưu đồ giải thuật cho chương trình chính 37

Hình 4.9 Lưu đồ chương trình con xử lý tín hiệu điều khiển EEG 38

Hình 4.10 Lưu đồ chương trình con xử lý ảnh 2D tránh vật cản 39

Hình 4.11 Giao diện của Visual Studio Code 40

Hình 4.12 Cách chọn cổng Com để tiến hành nạp cho Arduino Nano 41

Hình 4.13 Giao diện kết nối giữa thiết bị với phần mềm 41

Hình 4.14 Giao diện kiểm tra độ kết nối với Emotiv 42

Hình 4.15 Tạo một tập huấn luyện mới trên phần mềm EmotivBCI 42

Hình 4.16 Kiểm tra kết quả các lệnh của tập huấn luyện 43

Hình 4.17 Giao diện thử nghiệm độ chính xác của lệnh 43

Hình 4.18 Kiểm tra lại tín hiệu left sau khi training 44

Hình 4.19 Hình ảnh của 1 tập dữ liệu hoàn chỉnh với 4 lệnh cơ bản 44

Hình 4.20 Tạo một cortex apps để kết nối với server 44

Hình 4.21 Kiểm tra các thư viện cần thiết 45

Hình 5.1 Bộ điều khiển xe lăn 47

Hình 5.2 Ảnh môi trường và ảnh độ sâu từ camera 47

Hình 5.3 Vùng khoảng trống phía trước Camera 48

Hình 5.4 Vùng có vật cản phía bên trái Camera 49

Hình 5.5 Quá trình di chuyển và xử lý ảnh tránh vật cản của xe lăn khi phía trước là khoảng trống 50

Hình 5.6 Quá trình di chuyển và xử lý ảnh tránh vật cản của xe lăn khi phía trước có vật cản 51

Hình 5.7 Đường đi camera trong 2 lần thí nghiệm 52

Hình 5.8 Tập huấn luyện hoàn chỉnh với 4 cử chỉ 53

Hình 5.9 Lấy dữ liệu từ server và hiển thị ở khung terminal 53

Hình 5.10 Quá trình di chuyển của xe lăn khi sử dụng tín hiệu điện não điều khiển 56

Hình 5.11 Đường đi EEG trong 2 lần thí nghiệm 57

Hình 5.12 Quá trình di chuyển hết một vòng của xe lăn điện khi kết hợp sử dụng 2 chế độ camera và EEG 58

Hình 5.13 Dạng đường đi của xe lăn khi kết hợp 2 chế độ 59

Hình 5.14 Biểu đồ đường đi theo 3 chế độ: Camera, EEG, EEG + Camera trong bản đồ thứ nhất 60

Hình 5.15 Biểu đồ đường đi theo 3 chế độ: Camera, EEG, EEG + Camera trong bản đồ thứ hai 60

LIỆT KÊ BẢNG

Bảng 2.1: Biểu đồ hoạt động của 5 dạng sóng EEG cơ bản 7

Bảng 2.2: Đặc điểm kỹ thuật của Arduino Nano 19

Bảng 3.1: Thống kê dòng tải của bộ điều khiển động cơ xe lăn điện 26

Bảng 4.1: Danh sách các module và linh kiện liên quan 32

Bảng 4.2: Bảng hướng dẫn sử dụng xe lăn 46

Bảng 5.1: Thống kê kết quả xác định khoảng cách tối đa camera nhìn thấy vật cản 48

Bảng 5.2: Tổng hợp tín hiệu điều khiển cho rẽ trái 54

Bảng 5.3: Tổng hợp tín hiệu điều khiển cho rẽ phải 55

Bảng 5.4: Tổng hợp tín hiệu điều khiển cho đi thẳng 55

LIỆT KÊ CÁC TỪ VIẾT TẮTBCI

Common Average ReferencingIndependent Component AnalysisPrincipal Component AnalysisOpen Computer Vision

True PositionFalse PositionFalse PositionTrue Position

TÓM TẮT

Theo công bố của Tổng cục thống kê và UNICEF ngày 11-1-2019, hơn 7% dân

số Việt Nam từ 2 tuổi trở lên – khoảng 6,2 triệu người là người khuyết tật Từ con sốthực tế trên có thể nhận thấy số lượng người khuyết tật chiếm một phần không nhỏtrong dân số Việt Nam Vì thế nhu cầu di chuyển của họ là một vấn đề cần đặc biệtđược quan tâm, để có thể dễ dàng di chuyển thì phương tiện luôn đi liền với cuộc sốngcủa họ chính là xe lăn Đề tài “Thiết kế và thi công hệ thống điều khiển xe lăn điện chongười khuyết tật sử dụng tín hiệu điện não và camera” là mô hình với mục đích đápứng như cầu di chuyển tự động nhưng không tốn nhiều công sức, tiện lợi trong việc sửdụng

Hệ thống xe lăn điện trong đề tài này tập trung nghiên cứu và phát triển mô hìnhkết hợp giữa việc điều khiển xe thông qua tín hiệu điện não, đồng thời hỗ trợ thêmcamera tránh vật cản giúp người sử dụng tránh được những va chạm không cần thiếtxảy ra

Hệ thống sau khi hoàn thiện đạt những yêu cầu ban đầu đề ra như cấu trúc bênngoài đơn giản, bộ điều khiển được đặt gọn nhẹ phù hợp tương thích với mọi loại xelăn điện, phần camera đặt được phía trước xe lăn, bộ Emotiv Epoc điều khiển xe đượcđội lên đầu người dùng để điều khiển

Trải qua quá trình nghiên cứu và thực nghiệm, kết quả cho thấy được hệ thống xelăn điện có khả năng xác định được vật cản nhờ vào camera, điều khiển xe lăn điệntheo tín hiệu điện não, điều hướng xe lăn di chuyển khi có vật cản, tối ưu được quãngđường đi khi kết hợp camera với tín hiệu điện não Với kết quả đạt được xe lăn có thểchạy theo đúng với yêu cầu của người điều khiển trong điều kiện thực tế, có thể ứngdụng vào trong y tế

CHƯƠNG 1 TỔNG QUAN

CHƯƠNG 1: TỔNG QUAN

1.1 ĐẶT VẤN ĐỀ

Theo công bố của Tổng cục thống kê và UNICEF ngày 11-1-2019, hơn 7% dân

số Việt Nam từ 2 tuổi trở lên – khoảng 6,2 triệu người là người khuyết tật [1] Bêncạnh đó, có 13% dân số - gần 12 triệu người, sống chung trong hộ gia đình có ngườikhuyết tật Người khuyết tật được phân thành 6 loại dạng tật, đó là: Khuyết tật vậnđộng (chân, tay); khuyết tật nghe, nói (câm, điếc); khuyết tật nhìn (khuyết tật về mắt,khiếm thị); khuyết tật thần kinh, tâm thần (người rối loạn thần kinh, người điên);khuyết tật trí tuệ (bại não, động kinh, tự kỷ); khuyết tật khác (nạn nhân chất độc dacam, người nhiễm vi rút độc hủy hoại cơ thể) Cơ sở hạ tầng hiện nay ở nước ta vẫnchưa phát triển các hạng mục dành cho người khuyết tật [1]

Trong lĩnh vực y tế, loại bệnh nhân được phân ra thành nhiều đối tượng khácnhau, các đối tượng bị ảnh hưởng bởi các cơ quan nội tạng bên trong và cơ quan bênngoài Người khuyết tật phần lớn thuộc vào nhóm đối tượng thứ 2, khi chịu tác độngbởi các yếu tố vật lý làm tổn hại nặng nề, có thể hồi phục hoặc không thể hồi phục cácchi Trong khi một trong những nhu cầu thiết của một người là vấn đề di chuyển, tựchủ trong cuộc sống thì đối với người khuyết tật những điều đó gần như không tồn tạitrong cuộc sống của họ Vì vậy sự ra đời của xe lăn đã đóng góp 1 phần lớn trong việcgiải quyết vấn đề tự chủ di chuyển trong cuộc sống, so với ngày trước việc sử dụng các

mô hình xe lăn truyền thống làm cho người dùng tốn nhiều sức lực hơn, khá bất tiện.Tương tự như việc ra đời xe máy chạy bằng động cơ đốt trong thì xe lăn dành chongười khuyết tật cũng được cải tiến thành xe lăn điện [2]

Một số phương pháp điều khiển xe lăn điện hiện nay như bộ điều khiển thường làmột bên tay vịn của xe lăn có gắn thêm một số các nút điều khiển hướng cho phép chophép người dùng tinh chỉnh và điều khiển ở nhiều chế độ khác nhau [2] Đối vớiphương pháp này, yêu cầu tay của người dùng di chuyển cần điều khiển hoặc nhấn nút

để điều khiển chuyển động của xe lăn điện Một số người dùng bị khiếm khuyết tayhoàn toàn hoặc những người gặp khó khăn trong việc kiểm soát bàn tay như bệnh nhânviêm Poliomyel không thể điều hướng chuyển động của xe lăn Do đó, họ không thể tự

di chuyển Vì thế để giải quyết vấn đề trên cách xây dựng là sử dụng bộ não để điều

CHƯƠNG 1 TỔNG QUAN

khiển trực tiếp chuyển động của xe lăn Phương pháp này sẽ cho phép hầu hết mọingười tự chủ động trong việc điều khiển xe lăn Do đó, điều này sẽ mang lại tác độngcực kỳ cao, đặc biệt đối với những người khuyết tật không có khả năng để giao tiếp vật

lý Các hoạt động của não bắt buộc phải được phân tích để thực hiện giao tiếp computer (BCI) cho xe lăn [3] Theo công nghệ hiện nay, có một số phương pháp được

Brain-sử dụng để thu được tín hiệu điện não như chụp cắt lớp phát xạ đơn Photon, chụp cắtlớp phát xạ Positron, chụp cộng hưởng từ chức năng và điện não đồ (EEG) Tuy nhiên,EEG là phương pháp phù hợp nhất được sử dụng để lấy tín hiệu của hoạt động nãotheo thứ tự để thực hiện trong hệ thống giao tiếp giữa não và máy tính EEG là phươngpháp dẫn nhập điện cực thông qua da đầu Sau khi đặt các điện cực này lên da đầu mộtcách thích hợp, sự dao động điện áp do dòng ion trong các tế bào thần kinh của nãođược đo và từ đó các tín hiệu dạng sóng điện của não được ghi lại theo phương phápnày Theo suy nghĩ của con người, các sóng điện khác nhau được tạo ra Ngay cả khi

co cơ, cũng sẽ tạo ra tín hiệu điện duy nhất Bằng cách sử dụng thiết bị EEG, những tínhiệu này được thu lại và truyền đến máy tính để xử lý [4]

Trong quá khứ, trọng tâm chính là phát triển các ứng dụng trong y tế giúp bệnhnhân bị liệt hoặc tàn tật để tương tác với thế giới bên ngoài bởi ánh xạ tín hiệu não đếncác chức năng nhận thức hoặc cảm giác của con người [5] Tuy nhiên, sự phát triểnBCI không còn bị hạn chế chỉ đối với bệnh nhân hoặc để điều trị, có sự thay đổi tậptrung vào những người có sức khỏe bình thường Đặc biệt các game thủ đang trở thànhmột nhóm mục tiêu có khả năng thích nghi để sử dụng EEG [5] Trong những năm gầnđây, kỹ thuật EEG đã nhanh chóng phát triển và thu hút được nhiều nhà nghiên cứutìm hiểu những vấn đề liên quan đến não bộ con người Nhiều ứng dụng giao tiếp máytính – não (BCI) cũng như chẩn đoán dựa trên não đã được nghiên cứu thành công,trong đó vấn đề BCI đã được nghiên cứu để thực hiện trên con người trong những nămgần đây Đặc biệt, một hệ thống BCI có thể cho phép con người giao tiếp và điều khiểncác thiết bị bên ngoài Điều này có nghĩa là con người có thể chuyển các hoạt động nãothành các thông điệp hoặc các lệnh để điều khiển các thiết bị [6]

Đồng thời bên cạnh sự phát triển vượt bậc về kỹ thuật EEG thì vai trò của các kỹthuật về xử lý ảnh cũng đang ngày càng ứng dụng một cách rộng rãi Trong nhữngnăm gần đây, các phương pháp về xử lý ảnh ngày càng được ứng dụng nhầm nâng cao

CHƯƠNG 1 TỔNG QUAN

chất lượng bằng những phương pháp phân tích và nghiên cứu, chẳng hạn như nâng cao

độ sáng hay độ phân giải hình ảnh Về sau, sự xuất hiện và phát triển mạnh của máytính đã tạo điều kiện hơn nữa cho quá trình thực hiện các thuật toán xử lý ảnh Ứngdụng của xử lý ảnh ngày càng được mở rộng sang các lĩnh vực khác, chẳng hạn nhưviễn thông, điều khiển tự động, giao thông thông minh, kỹ thuật y sinh [6]

Từ những khảo sát trên, cùng với các kiến thức đã được trang bị, nhóm làm đề tàikiến nghị thực hiện thiết kế và thi công một hệ thống áp dụng tín hiệu điện não của conngười, từ đó tương tác với những thiết bị bên ngoài và đồng thời sử dụng thêm mộtcamera thông qua kỹ thuật xử lý ảnh sẽ giúp cho người sử dụng tránh được nhữngnguy hiểm hoặc va chạm trước mặt Đề tài “Thiết kế và thi công hệ thống điều khiển

xe lăn điện cho người khuyết tật sử dụng tín hiệu điện não và camera” có chức nănggiúp những người khuyết tật, người không còn sức lao động có thể dễ dàng tự chủtrong việc di chuyển

1.2 MỤC TIÊU

Mục tiêu nghiên cứu của đề tài “ Thiết kế và thi công hệ thống điều khiển xe lănđiện cho người khuyết tật sử dụng tín hiệu điện não và camera ” để hỗ trợ phương tiện

di chuyển cho cả người khuyết tật, người không còn sức lao động và người già có thể

dễ dàng sử dụng không cần những thao tác mà chỉ cần dùng những cử chỉ khuôn mặt

Cụ thể là:

- Áp dụng các kĩ thuật xử lý ảnh trên vùng ảnh độ sâu, đám mây điểm để xác định vị trí vật cản, khoảng trống

- Tìm hiểu cách sử dụng tín hiệu điện não để giao tiếp với máy tính

- Giao tiếp với Arduino Nano để điều khiển động cơ đặt dưới xe lăn điện

1.3. NỘI DUNG NGHIÊN CỨU

Trong quá trình thực hiện Đồ án tốt nghiệp với đề tài “ Thiết kế và thi công hệthống điều khiển xe lăn điện cho người khuyết tật sử dụng tín hiệu điện não vàcamera” đã tập trung giải quyết và hoàn thành được những nội dung sau:

• NỘI DUNG 1: Nghiên cứu và xây dựng cách giao tiếp từ não tới máy tính

• NỘI DUNG 2: Nghiên cứu và xử lý tín hiệu điện não

• NỘI DUNG 3: Nghiên cứu và xử lý hình ảnh từ camera

CHƯƠNG 1 TỔNG QUAN

• NỘI DUNG 4: Nghiên cứu xây dựng ứng dụng biểu diễn cho việc di chuyển của xe

• NỘI DUNG 5: Thiết kế mô hình hệ thống

• NỘI DUNG 6: Nghiên cứu lập trình để xe lăn điện tự động di chuyển

• NỘI DUNG 7: Thi công phần cứng, chạy thử nghiệm và hiệu chỉnh hệ thống

• NỘI DUNG 8: Viết báo cáo thực hiện

1.4 GIỚI HẠN

Ngoài những nội dung nghiên cứu trên, đề tài “ Thiết kế và thi công hệ thốngđiều khiển xe lăn điện cho người khuyết tật sử dụng tín hiệu điện não và camera ” vẫncòn một số giới hạn như sau:

- Còn hạn chế trong nghiên cứu sâu về cách xử lý, khử nhiễu cho tín hiệu điệnnão thô

- Còn hạn chế trong việc giải quyết vấn đề khử nhiễu cho camera ở những vị trí với bức xạ hồng ngoại cao

- Chưa tích hợp khả năng tăng giảm tốc độ cho xe lăn điện

• Chương 2: Cơ sở lý thuyết

Chương này sẽ trình bày cơ bản về xử lý ảnh, phương pháp cơ bản xử lý để nhậndạng tránh vật cản, giới thiệu cơ bản về camera 3D Intel RealSense D435 và thư việnliên quan, cách giao tiếp từ não tới máy tính, xử lí tín hiệu điện não

CHƯƠNG 1 TỔNG QUAN

• Chương 3: Thiết kế và tính toán

Chương này sẽ đi tính toán để lựa chọn các linh kiện phù hợp với hệ thống Thiết

kế sơ đồ khối, giải thích sơ đồ khối, sơ đồ nguyên lí của hệ thống điều khiển, tìm hiểu

kỹ các thuật toán nhận dạng để camera tránh vật cản

• Chương 4: Thi công hệ thống

Nội dung chương này là quá trình thiết kế phần cứng cho các phần của hệ thống.Viết chương trình điều khiển cho Arduino, chương trình điều khiển EEG kết hợpcamera để điều khiển xe lăn

• Chương 5: Kết quả nhận xét và đánh giá

Nội dung chương này là đưa ra kết quả đạt được sau một thời gian nguyên cứu,thiết kế, một số hình ảnh của bộ điều khiển xe lăn, hình ảnh đạt được trong quá trìnhđiều khiển xe lăn Đưa ra những nhận xét, đánh giá toàn bộ hệ thống điều khiển xe lănbằng EEG kết hợp với camera

• Chương 6: Kết luận và hướng phát triển

Trình bày những kết luận về hệ thống, những kết quả đạt được và những hạn chế,kết luận hiệu quả của hệ thống điều khiển xe lăn trong thực tế, đồng thời nêu ra hướngphát triển cho hệ thống

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 TÍN HIỆU ĐIỆN NÃO

2.1.1 Giới thiệu về EEG

EEG – Electroencephalography hay điện não đồ là một hệ thống có khả năng ghilại các xung điện được phát ra từ các neuron thần kinh, là một xét nghiệm nhằm pháthiện những bất thường trong hoạt động điện của não, và tiếp nhận qua vỏ não của conngười EEG được phát hiện bởi Berger năm 1924 bằng một dụng cụ đo dòng điện vớimột điện cực bề mặt trên đầu con trai ông và ghi lại được một mẫu nhịp nhàng nhữngdao động điện [7] Tín hiệu này phản hồi điện sinh học được tiếp nhận ngay tức khắccủa tế bào não thông qua vỏ não Là một trong những bộ phận phức tạp nhất trên cơthể người, não người khi có các tác động từ các giác quan như: Thị giác, thính giác,xúc giác, sẽ sản sinh ra các tín hiệu điện rất nhỏ phản hồi lại và được trao đổi thôngqua các neuron thần kinh

Hình 2.1 Sơ đồ điện cực trên não người

Tín hiệu điện của sóng não khá bé nên trước khi tiến hành lưu trữ thường đượcqua một bộ phận khuếch đại tín hiệu Về cơ bản, dải tần của sóng não EEG thườngnằm trong khoảng từ 0.5Hz – 40Hz và được chia nhỏ thành các loại sóng cơ bản nhưsau:

• Sóng Delta (< 4Hz): Là sóng có tần số thấp và biên độ cao, thường được phát hiện khi con người chìm vào giấc ngủ sâu

• Sóng Theta (4-7Hz): Là sóng có biên độ khá thấp thường được phát hiện khi con người ngủ

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

• Sóng Alpha (8-15Hz): Là sóng thường xuất hiện ở người trưởng thành, xuấthiện nhiều hơn tại phía sau vỏ não người Thường xuất hiện khi con người thoải mái

và nhắm mắt

• Sóng Beta (16-31Hz): Xuất hiện đồng đều cả về độ tuổi và tần suất tại các vùng

vỏ não Là sóng có biên độ thấp nhưng tần số khá lớn, thường xuất hiện lúc con ngườiđang tập trung suy nghĩ hay lo lắng cao độ

• Sóng Gamma (> 32Hz): Là sóng có tần số lớn nhất và biên độ thấp nhất, là loạisóng liên quan mật thiết tới các tác vụ cấp cao của con người như những chức năngcủa nhận thức Sóng Gamma xuất hiện nhiều khi con người gặp stress, căng thẳng [7]

Bảng 2.1: Biểu đồ hoạt động của 5 dạng sóng EEG cơ bản

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

2.1.2 Nguyên lý xử lý tín hiệu điện não

Trong thiết kế BCI của phần mềm Emotiv, xử lý tín hiệu điện não nhằm mụcđích dịch các tín hiệu điện não thô thành các lớp tín hiệu điện não mô tả trạng thái tinhthần của người sử dụng [8] Trong phần mềm xử lý Emotiv, tín hiệu điện não được xử

lý và phân tích dưới dạng mô hình mạng nơ-ron ANN, bằng cách sử dụng phươngpháp nhận dạng mẫu, có 2 quá trình chính như sau:

• Trích xuất đặc trưng: Quá trình tiền xử lý tín hiệu gọi là trích xuất đặc trưng

riêng và nhằm mục đích mô tả thông tin đặc trưng trong các tín hiệu điện não (lý

tưởng) bằng một số giá trị có liên quan gọi là đặc trưng riêng Các đặc trưng này sẽchứa thông tin được nhúng trong các tín hiệu điện não có liên quan để mô tả trạng tháitinh thần xác định, đồng thời loại bỏ nhiễu Tất cả các đặc trưng được trích xuấtthường được sắp xếp thành một vec tơ, được gọi là vec tơ đặc trưng [8]

Hình 2.2 Phân loại các vec tơ đặc trưng sử dụng phương pháp phân tích

phân biệt tuyến tính

• Phân loại: Phân loại các vec tơ đặc trưng đã được trích xuất từ tín hiệu thành

các lớp, mỗi lớp tương ứng với loại trạng thái tinh thần được xác định Phương phápphân loại thường được sử dụng là phân tích phân biệt tuyến tính (LDA) Mục đích củaLDA là sử dụng các siêu mặt phẳng để phân tách các vec tơ đặc trưng Tương ứng vớicác vector đặc trưng là các nhãn được gán với các thuộc tính lớp Sau đó, kiểm travectơ nằm phía nào của siêu mặt phẳng Để nhận ra các chuyển động từ tín hiệu điệnnão, các đặc trưng nằm trong một dải tần số cụ thể [8]

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Hình 2.3 Sơ đồ xử lý tín hiệu điện não

Xử lý tín hiệu điện não thường được xây dựng bằng mô hình mạng nơ-ron ANN.Điều này có nghĩa là bộ phân loại và các đặc trưng được điều chỉnh tự động, thườngtùy vào mỗi người dùng Những ví dụ về tín hiệu điện não được gọi là tập huấn luyện

và được gán nhãn với thuộc tính lớp (dựa trên trạng thái tinh thần tương ứng) Dựa vàotập huấn luyện, bộ phân loại sẽ được điều chỉnh để nhận ra các lệnh tương ứng với cácthuộc tính điều khiển [8]

2.1.3 Phương pháp giao tiếp giữa não và máy tính

Trong mô hình giao tiếp giữa não và máy tính như BMI (brain-machineinterface) hoặc còn được gọi BCI (brain-computer interface), bao gồm 3 dạng chính :liên kết xâm lấn hoàn toàn, liên kết xâm lấn 1 phần, liên kết chống xâm lấn Trong đó

xử lý tín hiệu điện não là mảng thuộc về liên kết chống xâm lấn

a Phương pháp liên kết xâm lấn hoàn toàn

Đây là phương pháp được sử dụng chủ yếu trong lĩnh vực y tế khi xử lý chuyênsâu về từng vùng hoạt động của não, các thùy trong não Phương pháp này cần phẫuthuật để cấy điện cực dưới da đầu để truyền tín hiệu não Ưu điểm chính là cung cấpkhả năng đọc chính xác hơn; tuy nhiên, mặt trái của nó bao gồm các tác dụng phụ từphẫu thuật Sau khi phẫu thuật, các mô sẹo có thể hình thành khiến tín hiệu não yếuhơn [9]

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Hình 2.4 Liên kết giữa não và máy tính theo phương pháp cấy ghép thiết bị trong não

b Phương pháp liên kết xâm lấn một phần

Thiết bị liên kết xâm lấn một phần được cấy vào bên trong hộp sọ nhưng nằmbên ngoài não hơn là bên trong chất xám Các thiết bị này tạo ra tín hiệu phân giải tốthơn so với BCI không xâm lấn, ứng dụng của phương pháp liên kết xâm lấn 1 phầngiúp người bệnh sửa chữa thị lực bị hư hỏng và cung cấp chức năng mới cho nhữngngười bị liệt Tuy không nằm hẳn trong phần não nhưng vẫn gây ảnh hưởng tới môxương của hộp sọ, có nguy cơ bị lệch và hình thành mô sẹo trong hộp sọ nhưng thấphơn so với phương pháp liên kết xâm lấn hoàn toàn [9]

c Phương pháp liên kết chống xâm lấn

Hình 2.5 Liên kết giữa não và máy tính theo phương pháp đọc tín hiệu trên vỏ não

EEG hay còn gọi là điện não đồ là một ứng dụng tiêu biểu cho phương phápchống xâm lấn khi sử dụng chỉ cần đội một thiết bị với nhiều phần điện cực tiếp xúcbên ngoài da đầu Mặc dù các giao diện dựa trên điện não đồ dễ đội và không cần phẫuthuật, nhưng chúng có độ phân giải tương đối kém và không thể sử dụng hiệu quả cho

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

các tín hiệu tần số cao hơn vì vùng tiếp xúc bên ngoài vỏ não làm giảm tín hiệu, phântán và làm mờ các sóng điện từ do tế bào thần kinh tạo ra [9]

2.2.1 Camera 3D

Máy ảnh 3D là một thiết bị hình ảnh cho phép nhận diện về chiều sâu của hìnhảnh để tái tạo ảnh ba chiều cho trải nghiệm thông qua thị giác hai mắt của con người.Một số máy ảnh 3D sử dụng hai hoặc nhiều ống kính để ghi lại nhiều điểm quan sát,trong khi một số khác sử dụng một ống kính duy nhất thay đổi vị trí của nó Chụp ảnh3D có thể cho phép một khoảng khắc đóng băng trong thời gian cho ảnh tĩnh hoặc nộidung video dường như đủ thực để chạm vào Nguyên tắc hiệu ứng 3D được gọi là soinổi và công nghệ tương ứng được gọi là hình ảnh lập thể Sự khác biệt giữa các vật thểnhìn qua mắt trái và mắt phải (chênh lệch hai mắt) là điều cho phép phối cảnh trong thịlực của con người, cùng với vị trí của chúng ta thông qua tập trung và diễn giải trungtâm thị giác để tích hợp hai quan điểm đó [11] Một máy ảnh 3D hiện đại, thiết bị IntelRealSense, bao gồm một camera 1080p và một camera hồng ngoại (IR) hoạt độngcùng với máy chiếu laser IR để đo chính xác không gian 3D

2.2.2 Ảnh độ sâu và đám mây điểm

a Ảnh độ sâu

Ảnh độ sâu là một kỹ thuật để phát triển, tạo ảo giác về chiều sâu trong hình ảnh.Một điểm ảnh màu (color pixel) được tạo bởi sự kết hợp giữa ba màu cơ bản: Đỏ(Red), lục (Green) và lam (Blue) – hệ màu RGB Mỗi màu cơ bản thường được gọi làmột kênh màu (color channel) Mỗi màu cơ bản này lại có thể được thể hiện theo 256

“kiểu” độ sáng khác nhau; nói cách khác, bản thân mỗi màu cơ bản này lại có độ sâu

số (bit depth) là 8 bit Độ sâu số của màu cơ bản được tính bằng bit trên một kênh màu(bits per channel) Độ sâu số của một điểm ảnh (bits per pixel – bpp) là tổng số bit của

ba kênh màu tạo ra màu sắc của điểm ảnh Ví dụ, một hình ảnh số có thể có giá trị 8 bit(một kênh) hay 8 x 3 = 24 bit (điểm ảnh với 3 kênh) [11]

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Hình 2.6 Ảnh trước và sau khi chuyển đổi sang ảnh độ

sâu Ứng dụng của ảnh độ sâu:

Hình ảnh độ sâu có nhiều ứng dụng trong công nghiệp, giúp người dùng nhậnbiết được khả năng mô tả trực quan của hình ảnh xác định được vị trí khoảng cách củamôi trường Một số ứng dụng phổ biến của hình ảnh độ sâu trong các ngành hàngkhông, vũ trụ, ô tô và thiết bị y tế như: hỗ trợ CAD kiểm tra tính nhất quán, xác địnhcác khuyết tật bên trong như các vết nứt hoặc lỗ rỗng trong vật thể

b Giới thiệu về đám mây điểm

Một đám mây điểm là một mô hình 3D bao gồm một số lượng lớn các điểm trongkhông gian ba chiều Các đám mây điểm sử dụng hệ tọa độ Descartes (X, Y, Z) để xácđịnh vị trí của từng điểm Những điểm này đại diện cho một điểm trên bề mặt của mộtđối tượng, xác định hình dạng của đối tượng được mô hình hóa Các điểm càng dàyđặc biểu diễn của đối tượng càng chi tiết, cho phép các tính năng nhỏ hơn và chi tiếtkết cấu được xác định rõ ràng và chính xác hơn

Tùy thuộc vào công nghệ quét 3D, máy chiếu laser hoặc ánh sáng được tập trungvào một đối tượng Bằng cách sử dụng số học đơn giản, chẳng hạn như tam giác hoặcthời gian hồi tiếp, tọa độ của các điểm trên bề mặt của đối tượng sẽ được tính toán liênquan đến vị trí của máy quét 3D Các điểm có thể được thu thập hàng trăm hoặc hàngnghìn cùng một lúc bằng chức năng quét 3D để các cụm điểm dữ liệu được tạo nhanhchông [12]

Các thiết bị quét 3D nhận tập hợp các đám mây điểm sắp xếp và xử lý chungtrong 1 khung hình trả về là một tập hợp các điểm ảnh ánh xạ tọa độ XYZ được gọi làảnh đám mây điểm

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Hình 2.7 Ảnh đám mây điểm của 1 vùng núi nhô

cao 2.2.3 Các phương pháp xử lý ảnh

Các phương pháp xử lý ảnh trong đề tài chủ yếu được ứng dụng trong việc xử lýảnh 3D Từ ảnh đầu vào là ảnh độ sâu, bắt đầu quá trình tiền xử lý qua các bướccalibration (hiệu chỉnh) để thu được ảnh độ sâu chính xác với từng điểm ảnh Chuyểnđổi lần lượt các điểm ảnh thành tập hợp các đám mây điểm trong tọa độ không gian 3chiều Dựa vào giá trị tọa độ của từng điểm trong mặt phẳng Z, tiến hành phân tích tìmngưỡng giới hạn, phân đoạn thành từng vùng có vật và vùng trống cho ảnh

Hình 2.8 Ảnh độ sâu khi phân đoạn theo 2 màu xanh dương và xanh lá

Python là một ngôn ngữ lập trình thông dịch, hướng đối tượng, ngôn ngữ lậptrình cấp cao được giải thích với ngữ nghĩa động Python với triết lý thiết kế của nó rấtthuận tiện cho việc đọc hiểu code, đơn giản và rõ ràng được thiết kế bởi Guido vanRossum Thiết kế bắt đầu vào cuối những năm 1980 và được phát hành lần đầu tiênvào tháng 2 năm 1991 Python hoàn toàn tạo kiểu động và sử dụng cơ chế cấp phát bộnhớ tự động Ngôn ngữ này có cấu trúc dữ liệu cấp cao mạnh mẽ và cách tiếp cận đơn

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

giản nhưng hiệu quả đối với lập trình hướng đối tượng Với Python, việc xử lý BigData và các phép toán phức tạp trở nên dễ dàng hơn Mặc dù Python ra đời khá lâu,nhưng nó luôn cải thiện nhà bộ mã nguồn mở được cộng đồng xây dựng [13]

Trong lĩnh vực xử lý ảnh và nhận dạng vật thể, Python cung cấp 1 công cụ rấtmạnh là thư viện thị giác máy tính - OpenCV (Open Computer Vision) là một thư viện

mã nguồn mở hàng đầu cho xử lý về thị giác máy tính, machine learning, xử lý ảnh, vàcác tính năng tăng tốc GPU trong hoạt động thời gian thực Thư viện được lập trìnhtrên các ngôn ngữ cấp cao: C++, C, Python, hay Java và hỗ trợ trên các nền tảngWindow , Linux, Mac OS, iOS và Android OpenCV đã được tạo ra tại Intel vào năm

1999 bởi Gary Bradsky, và ra mắt vào năm 2000 OpenCV được dùng làm thư việnchính để xử lý hình ảnh đầu vào đồng thời kết hợp với các kĩ thuật xử lý ảnh ma trận

để đưa ra kết quả

Các tính năng của thư viện OpenCV:

+ Đối với hình ảnh, chúng ta có thể đọc và lưu hay ghi chúng, xử lý, hiển thị(core, imgproc, highgui), phát hiện các vật thể (objdetect, feature2d, nonfree)

+ Xử lý hình ảnh có thể lọc nhiễu cho ảnh, hay chuyển đổi ảnh

+ Thực hiện nhận dạng đặc điểm của hình dạng trong ảnh

+ Phát hiện các đối tượng được xác định trước như khuôn mặt, mắt, xe trong video hoặc hình ảnh

2.4.1 Camera Intel RealSense D435

a Camera Intel RealSense D435

Hình 2.9 Camera Intel RealSense D435 3D

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Intel RealSense D435 là sản phẩm của Microsoft dựa trên công nghệ camerađược phát triển bởi PrimeSense Camera độ sâu Intel RealSense D435 cung cấpkhoảng nhìn rộng nhất trong tất cả các camera cùng loại, cùng với cảm biến độ sâu lýtưởng cho phù hợp cho các ứng dụng di chuyển nhanh, là một giải pháp theo dõi âmthanh nổi, cung cấp độ sâu chất lượng cho nhiều ứng dụng Tầm nhìn rộng của nó làhoàn hảo cho các ứng dụng như điều hướng robot hay thực tế ảo và nhận dạng đốitượng Các cảm biến cung cấp độ nhạy sáng rất thấp cho phép robot điều hướng khônggian khi tắt đèn Với phạm vi lên tới 10m, camera có kích thước nhỏ này có thể đượctích hợp vào bất kỳ giải pháp nào một cách dễ dàng và hoàn thiện với Intel RealSenseSDK 2.0 và hỗ trợ đa nền tảng [14]

b Cấu tạo Camera Intel RealSense D435

Hình 2.10 Cấu tạo Camera Intel RealSense D435

+ Là camera ngoại vi, có cổng kết nối USB 3 Type-C và có kích thước chiều dài x độ sâu x chiều cao là 90mm x 25 mm x 25 mm

+ Khoảng cách độ sâu tối thiểu Zmin = 0.105m và phạm vi tối đa 10m, thay đổitùy theo hiệu suất, ánh sáng

+ Thành phần gồm hai module chính là Intel RealSense Module D430 và camera RGB

+ Camera RGB: Là một camera có 3 kênh dữ liệu có độ phân giải 1280x960 vàtốc độ khung hình lên đến 90 khung hình/giây Camera này có khả năng chụp lại ảnhmàu

+ Cảm biến hồng ngoại: Độ sâu thu về nhờ cảm biến IR projector từ đó tínhtoán ra bản đồ độ sâu [14]

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

c Nguyên lý hoạt động của Camera Intel RealSense D435

Hình 2.11 Nguyên lý hoạt động Camera Intel RealSense D435 3D

Cặp cảm biến camera RGB bên trái sẽ giúp phát hiện được có vật chuyển động,kết hợp với tia hồng ngoại được phát ra từ mắt của camera đến vật và phản xạ ngượclại sẽ tạo nên 1 giá trị độ sâu theo tọa độ 3D với 3 điểm XYZ trong không gian 3chiều Tiếp theo camera sẽ bắt đầu quá trình tìm kiếm ứng với từng điểm ảnh trên ảnhRBG tương ứng với 1 giá trị trong tọa độ 3D đã được tính toán ở trên Sau khi hoàn tấtquá trình tìm kiếm ta sẽ có được tập hợp các đám mây điểm trong không gian 3 chiều

d Dữ liệu thu được từ Camera Intel RealSense D435

Dựa vào sơ đồ phần cứng kết nối của camera ta có thể thấy các cảm biến củaIntel RealSense D435 được điều khiển thu thập và xử lý dữ liệu thông qua chip IntelRealsense Vision Processor D4 có tần số 24 MHz, sau đó được lưu trữ vào bộ nhớEEPROM Các dữ liệu này có thể truyền vào máy tính thông qua cổng USB 3.0 Cáctín hiệu thu thập bao gồm dữ liệu về độ sâu, màu sắc trong đó tín hiệu về độ sâu là dữliệu quan trọng có nhiều ứng dụng Sở dĩ dữ liệu về chiều độ sâu có tầm quan trọngnhư vậy bởi nó giúp việc nhận dạng các vật thể đơn giản hơn nhiều so với xử lý ảnhthông thường

Hình 2.12 Sơ đồ phần cứng Camera Intel RealSense D435 3D

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Trong khi đó, với thông tin về độ sâu, các vật thể được phân biệt với nhau thôngqua vị trí Những điểm có khoảng cách gần nhau có xu hướng cùng một đối tượng màkhông phân biệt màu sắc Chỉ khi độ sâu giảm đột ngột như ở cạnh và ở một số phầnnhỏ của đối tượng, hình ảnh trên bản đồ độ sâu mới có sự thay đổi [14]

2.4.2 Emotiv Epoc

Là thiết bị ghi lại hoạt động của não, đo lường sự thay đổi trong hoạt động điệncủa não Thiết bị dùng để đánh giá hoạt động điện trong vỏ não, quét EEG được thựchiện bằng cách đặt các cảm biến EEG-đĩa kim loại nhỏ còn được gọi là điện cực EEG-trên da đầu của bạn Những điện cực này nhận và ghi lại hoạt động điện trong não củacon người Cảm biến điện não có thể ghi lại tới vài nghìn bức ảnh chụp hoạt động điệnđược tạo ra trong não trong một giây Các tín hiệu điện não sau khi thu thập đượckhuếch đại, số hóa, sau đó được gửi đến máy tính, thiết bị di động hoặc trên cơ sở dữliệu đám mây để lưu trữ và xử lý dữ liệu [15]

Hình 2.13 Headset Emotiv Epoc 14 Channel EEG

Emotiv Epoc là thiết bị nghiên cứu tín hiệu điện não của con người theo ngữcảnh và có thể mở rộng và cung cấp quyền truy cập vào dữ liệu não cấp chuyên nghiệpvới thiết kế nhanh chóng và dễ sử dụng Có thể được ứng dụng trong các lĩnh vực về yhọc thông qua việc quan sát các tín hiệu trên vỏ não, đồng thời được sử dụng trongnghiên cứu khoa học dùng để điều khiển các thiết bị thông qua cử chỉ

Đặc điểm:

+ Có 14 cảm biến toàn bộ não (điện cực)

+ Thiết lập trong 3-5 phút

+ Kết nối không dây với PC và thiết bị di động thông qua USB

+ 9 cảm biến chuyển động: Phát hiện chuyển động đầu

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

2.4.3 Nguồn LM2596

Mạch giảm áp LM2596 là module giảm áp có khả năng điều chỉnh được dòng rađến 3A LM2596 là IC tích hợp, khi cấp nguồn 9V vào module, sau khi giảm áp ta cóthể lắp được nguồn 5V hoặc 3.3V

Hình 2.14 Module LM2596

Thông số kỹ thuật:

+ Module nguồn không sử dụng cách ly

+ Nguồn đầu vào từ 4V – 35V

+ Nguồn đầu ra 1V – 30V

+ Dòng ra Max: 3A

+ Kích thước mạch: 53mm x 26mm

+ Đầu vào: INPUT+,

INPUT-+ Đầu ra: OUTPUTINPUT-+,

OUTPUT-2.4.4 Kit Arduino Nano

Arduino Nano là một trong những phiên bản nhỏ gọn của board Arduino nhưhình 2.14, nặng khoảng 7gam với kích thước từ 1,8cm – 4,5 cm, có thể lập trình đượcbằng máy tính Arduino Nano có đầy đủ chức năng và chương trình có trên ArduinoUno do cùng sử dụng MCU Atmega328P Sự khác biệt chính là board Uno có dạngPDIP (Plastic Dual-In-line Package) với 30 chân còn board Nano có sẵn trong TQFP(Plastic quad flat pack) với 32 chân Nhờ việc sử dụng IC dán của Atmega328P thay vì

IC chân cắm nên Arduino Nano có thêm hai chân Analog Arduino Nano có 8 cổngADC, không có giắc nguồn DC như các board Arduino khác, thay vào đó có cổngmini-USB, cổng này được sử dụng cho cả việc lập trình và bộ giám sát nối tiếp Đặc

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

điểm nổi bật của Arduino Nano là nó sẽ chọn công suất lớn nhất với hiệu điện thế của

nó Thông số kỹ thuật của Arduino Nano được trình bày như bảng 2.2

Hình 2.15 Kit Arduino Nano Bảng 2.2: Đặc điểm kỹ thuật của Arduino Nano

Arduino Nano Thông số kỹ thuật

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

2.4.5 Module Điều khiển động cơ BTS7960

Driver sử dụng 2 chip BTS7960 bao gồm mạch điều khiển cầu H và bảo vệ quádòng, quá áp, quá nhiệt, ngắn mạch BTS7960 bao gồm một MOSFET cao kênh-P,một MOSFET thấp kênh-N, cùng với một IC điều khiển, tạo thành một nửa cầu đượctích hợp đầy đủ Cả ba chip được gắn trên một khung chì thông thường, sử dụng côngnghệ chip trên chip (chip on chip) Giao tiếp với một vi điều khiển được thực hiện dễdàng bởi IC điều khiển tích hợp có đặc điểm đầu vào mức logic, điều chỉnh tốc độ, bảo

vệ chống lại nhiệt độ quá cao, quá điện áp, quá dòng và ngắn mạch [16]

Hình 2.16 Module điều khiển động cơ

BTS7960 Thông số kỹ thuật:

+ Nguồn: 6 ~ 27V

+ Dòng điện tải mạch: 43A

+ Tự động shutdown khi điện áp thấp: Để tránh điều khiển động cơ ở mức điện

áp thấp thiết bị sẽ tự động shutdown Nếu điện áp < 5.5, driver sẽ tự ngắt điện và sẽ

mở lại sau khi điện áp > 5.5V

+ Bảo vệ quá nhiệt: BTS7960 bảo vệ chống quá nhiệt bằng cảm biến nhiệt tích hợp bên trong Đầu ra sẽ bị ngắt khi có hiện tượng quá nhiệt

+ VCC: Nguồn tạo mức logic điều khiển (5V – 3.3V)

+ GND: Nguồn nối đất

+ R_EN = 0: Disable nửa cầu H phải

+ R_EN = 1: Enable nửa cầu H phải

+ L_EN = 0: Disable nửa cầu H trái