Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ ron tích chập

S K L 0 0 8 8 9 8THIẾT KẾ VÀ XÂY DỰNG PHẦN MỀM ĐỂ PHÂN TÍCH VÀ PHÂN LOẠI VẬN ĐỘNG TAY TRÁI/PHẢI CỦA CON NGƯỜI QUA TÍN HIỆU ĐIỆN NÃO ĐỒ VÀ ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP GVHD: THS.. Hồ C

S K L 0 0 8 8 9 8

THIẾT KẾ VÀ XÂY DỰNG PHẦN MỀM ĐỂ PHÂN TÍCH VÀ PHÂN LOẠI VẬN ĐỘNG TAY TRÁI/PHẢI CỦA CON NGƯỜI QUA TÍN HIỆU ĐIỆN NÃO ĐỒ

VÀ ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP

GVHD: THS TRẦN ĐĂNG KHOA SVTH: TRẦN THỊ HẬU

VŨ THỊ MINH

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA ĐIỆN – ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

MSSV: 18129034

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA ĐIỆN – ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

MSSV: 18129034

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH

KHOA ĐIỆN-ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ KHÓA LUẬN TỐT NGHIỆP

Họ tên sinh viên: Trần Thị Hậu MSSV: 18129018

Chuyên ngành: Kỹ thuật Y Sinh Mã ngành: 01

Hệ đào tạo: Đại học chính quy Mã hệ: 1

- Phần mềm huấn luyện: Matlab 2019

- Tập dữ liệu: Dữ liệu EEG về 2 dạng gập duỗi khuỷu tay trái/phải thu từ các tình nguyện viên thuộc Đại học Sư Phạm Kỹ Thuật thành phố Hồ Chí Minh trong độ tuổi từ 20-22

- Thiết bị thu dữ liệu: Emotiv Flex 32 kênh

- Phần mềm thu dữ liệu: EmotivPRO

2 NỘI DUNG thực hiện:

- Đọc và tìm hiểu tài liệu liên quan đến đề tài

- Xây dựng giao thức thí nghiệm

- Tiến hành thu dữ liệu

- Đánh giá chất lượng tín hiệu thô

- Tiền xử lý tín hiệu

- Trích đặc trưng của dữ liệu

III NGÀY GIAO NHIỆM VỤ: 25/02/2022

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 15/06/2022

V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: ThS Trần Đăng Khoa

CÁN BỘ HƯỚNG DẪN BM ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH

KHOA ĐIỆN-ĐIỆN TỬ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

Tp Hồ Chí Minh, ngày 12 tháng 3 năm 2022

LỊCH TRÌNH THỰC HIỆN KHÓA LUẬN TỐT NGHIỆP (Bản lịch trình này được đóng vào đồ án)

Họ tên sinh viên: Trần Thị Hậu MSSV: 18129018

Họ tên sinh viên: Vũ Thị Minh MSSV: 18129034

Lớp: 181290B

Tên đề tài: Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay

trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập

- Đọc hiểu tài liệu điện não và phương pháp

xử lý tín hiệu liên quan tới các vận động tay

- Viết đề cương KLTN và nộp cho GVHD xét duyệt

- Viết báo cáo tiến độ cho BM

Tuần 36

(25/4-1/5)

- Tiếp tục trích đặc trưng và phân loại dữ liệu điện não về vận động tay trái/phải, kèm theo chú thích, mô tả, phân tích và đánh giá kết quả

- Tìm hiểu và vận dụng các phần mềm phân tích, thống kê dữ liệu trong khoa học

- Nộp báo cáo tiến độ cho BM

Tuần 37

(2/5-8/5)

- Tiếp tục trích đặc trưng và phân loại dữ liệu điện não về vận động tay trái/phải, kèm theo chú thích, mô tả, phân tích và đánh giá kết quả

- Tìm hiểu và vận dụng các phần mềm phân tích, thống kê dữ liệu trong khoa học

Tuần 38

(9/5-15/5)

- Tiếp tục trích đặc trưng và phân loại dữ liệu điện não về vận động tay trái/phải, kèm theo chú thích, mô tả, phân tích và đánh giá kết quả

- Tìm hiểu và vận dụng các phần mềm phân tích, thống kê dữ liệu trong khoa học

Tuần 39

(16/5-22/5)

- Ứng dụng phần mềm cho việc tổng hợp và thống kê tất cả kết quả phân loại dữ liệu điện não

Tuần 40

(23/5 - 29/5)

- Viết báo cáo KLTN

- Thiết kế bài thuyết trình Powerpoint Tuần 41

(30/5 - 5/6)

- Chỉnh sửa báo cáo KLTN

- Chỉnh sửa Powerpoint thuyết trình Tuần 42

GV HƯỚNG DẪN (Ký và ghi rõ họ và tên)

LỜI CAM ĐOAN

Đề tài này là do nhóm của chúng tôi tự thực hiện dựa vào các tài liệu trước đó và không sao chép đề tài đã có trước đó

Người thực hiện đề tài

LỜI CẢM ƠN

Em xin gửi lời cảm ơn đến Thầy Trần Đăng Khoa - Giảng viên hướng dẫn khóa luận tốt nghiệp đã trực tiếp hướng dẫn và tạo điều kiện tốt nhất để giúp chúng em có thể hoàn thành tốt đề tài

Em xin chân thành cảm ơn đến các thầy cô trong Khoa Điện - Điện Tử đã giúp đỡ và tạo những điều kiện tốt nhất để chúng em hoàn thành đề tài

Em xin cảm ơn đến tập thể lớp 181290 vì đã luôn sẵn sàng trao đổi những kiến thức

bổ ích để giúp em trau dồi thêm nhiều kiến thức

Em cũng muốn gửi lời cảm ơn sâu sắc đến cha mẹ vì đã luôn đồng hành và ủng hộ mình trong quá trình học tập và phát triển

Xin chân thành cảm ơn!

Người thực hiện đề tài

MỤC LỤC

LỜI CAM ĐOAN x

LỜI CẢM ƠN xi

MỤC LỤC xii

MỤC LỤC HÌNH ẢNH xv

DANH MỤC BẢNG xvii

TÓM TẮT xx

Chương 1 TỔNG QUAN 1

1.1 ĐẶT VẤN ĐỀ 1

1.2 MỤC TIÊU 3

1.3 NỘI DUNG NGHIÊN CỨU 3

1.4 GIỚI HẠN 3

1.5 BỐ CỤC 4

Chương 2 CƠ SỞ LÝ THUYẾT 5

2.1 TÍN HIỆU ĐIỆN NÃO 5

2.1.1 Tín hiệu điện não 5

2.1.2 Nguồn gốc tín hiệu điện não 5

2.2 CẤU TRÚC CỦA NÃO BỘ 7

2.3 TÍN HIỆU CHỚP MẮT TRONG EEG 9

2.3.1 Tín hiệu chớp mắt 9

2.3.2 Thuật toán lọc EOG bằng phương pháp RLS: 11

2.4 PHÂN TÍCH WAVELET COHERENCE 12

2.4.1 Khái niệm Wavelet 12

2.4.2 Phép biến đổi Wavelet 13

2.4.3 Wavelet Coherence 13

2.4.4 Các kênh được sử dụng trong phân tích Wavelet Coherence 14

2.5 MẠNG NƠ-RON TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK - CNN) 15

2.6 THIẾT BỊ EMOTIV 18

2.6.1 Thiết bị EPOC Flex 18

2.6.2 Thành phần các thiết bị Emotiv 18

2.6.3 Thông số kỹ thuật của EPOC Flex 19

Chương 3 TÍNH TOÁN VÀ THIẾT KẾ 20

3.1 GIỚI THIỆU 20

a Tạo form đăng ký 20

b Sàng lọc đối tượng thí nghiệm 21

c Quy định dành cho đối tượng thí nghiệm 21

d Thiết kế giao thức thí nghiệm 21

e Thiết kế quy trình thu dữ liệu EEG 24

3.2.2 Thiết kế phần mềm 25

a Thiết kế cấu trúc phần mềm 26

b Thiết kế giao diện phần mềm 28

3.2.3 Thuật toán 30

a Thuật toán tìm ngưỡng 30

b Thuật toán RLS 30

CHƯƠNG 4 THI CÔNG HỆ THỐNG 32

4.1 GIỚI THIỆU 32

4.2 THI CÔNG HỆ THỐNG 32

4.2.1 Quá trình thu dữ liệu 32

a Giao thức thí nghiệm 32

b Chuẩn bị và cài đặt thiết bị đo EEG 35

4.2.2 Phương pháp xử lý tín hiệu 41

a Tiền xử lý 41

b Trích đặc trưng 46

c Phân loại 47

4.3 LẬP TRÌNH PHẦN MỀM 49

a Lưu đồ 49

b Thi công phần mềm 56

4.4 HƯỚNG DẪN SỬ DỤNG PHẦN MỀM 62

CHƯƠNG 5 KẾT QUẢ – NHẬN XÉT – ĐÁNH GIÁ 73

5.1 DỮ LIỆU 73

5.2 TIỀN XỬ LÝ 74

5.3 WAVELET COHERENCE 75

5.3.1 Kênh C3 (Right) và FC5 (Right) 75

5.1.2 Kênh C4 (Left) và FC6 (Left) 76

5.4 PHÂN LOẠI 77

5.5 GIAO DIỆN 80

CHƯƠNG 6 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 82

6.1 KẾT LUẬN 82

6.2 HƯỚNG PHÁT TRIỂN 82

TÀI LIỆU THAM KHẢO 82PHỤ LỤC 86

MỤC LỤC HÌNH ẢNH

Hình 2.1: Tín hiệu điện não đồ đầu tiên được ghi lại 5

Hình 2.2: Cấu tạo tế bào thần kinh 6

Hình 2.3: Cấu trúc của đại não 7

Hình 2.4: Vị trí các thùy trong não bộ 8

Hình 2.5: Các dạng tín hiệu nhiễu trong EEG 9

Hình 2.6: Điện áp của mắt 10

Hình 2.7: Tín hiệu chớp mắt 10

Hình 2.8: Vị trí điện cực thu tín hiệu mắt 11

Hình 2.9: Mô hình mẫu CNN với 2 lớp chập và một lớp được kết nối đầy đủ 16

Hình 2.10: Thành phần các thiết bị Emotiv 18

Hình 3.1: Sơ đồ khái quát quá trình thiết kế quy trình thu dữ liệu EEG 20

Hình 3.2: Giao thức thí nghiệm 22

Hình 3.3: Quá trình thu dữ liệu EEG 24

Hình 3.4: Hình ảnh khái quát quá trình chuẩn bị thiết bị đo EEG 24

Hình 3.5: Hình ảnh khái quát quá trình thiết kế phần mềm 26

Hình 3.6: Sơ đồ khối khái quát cấu trúc phần mềm 26

Hình 3.7: Sơ đồ khối thể hiện chi tiết quá trình nhập dữ liệu đầu vào 26

Hình 3.8: Sơ đồ khối thể hiện chi tiết quá trình tiền xử lý 27

Hình 3.9: Sơ đồ khối thể hiện chi tiết quá trình trích xuất đặc trưng 28

Hình 3.10: Sơ đồ khối thể hiện giao diện giới thiệu của phần mềm 29

Hình 3.11: Sơ đồ khối thể hiện giao diện của quá trình tiền xử lý 29

Hình 3.12: Sơ đồ khối thể hiện giao diện của quá trình phân loại 29

Hình 3.13: Sơ đồ mô phỏng hệ thống tạo ra EOG 31

Hình 4.1: Hình ảnh hiển thị dấu hiệu của 10s đầu nghỉ ngơi trên màn hình máy tính 32

Hình 4.2: Hình ảnh hiển thị dấu hiệu chớp mắt đầu tiên trên màn hình máy tính 33

Hình 4.3: Hình ảnh hiển thị dấu hiệu gập duỗi tay trái trên màn hình máy tính 33

Hình 4.4: Hình ảnh hiển thị dấu hiệu gập duỗi tay phải trên màn hình máy tính 34

Hình 4.5: Hình ảnh hiển thị dấu hiệu gập duỗi tay trên màn hình máy tính 34

Hình 4.7: Hình ảnh chèn điện cực vào mũ đo điện não 35

Hình 4.8: Sơ đồ mô tả vị trí điện cực 36

Hình 4.9: Hình ảnh cố định bộ điều khiển lên mũ đo tín hiệu 36

Hình 4.10: Hình ảnh thu gọn dây điện cực 36

Hình 4.11: Hình ảnh kết nối cảm biến với bộ điều khiển 37

Hình 4.12: Hình ảnh kết nối bộ điều khiển với máy tính 37

Hình 4.13: Hình ảnh sau khi chuẩn bị và cài đặt xong các thiết bị thu dữ liệu 37

Hình 4.14: Không gian phòng thu tín hiệu điện não 38

Hình 4.15: Hình ảnh mô tả tư thế ngồi của đối tượng thí nghiệm trong thời gian nghỉ ngơi 38

Hình 4.16: Đội mũ điện cực và bôi gel lên da đầu của đối tượng 39

Hình 4.17: Hình ảnh huấn luyện đối tượng thí nghiệm 39

Hình 4.18: Hình ảnh đối tượng thí nghiệm thực hiện gập duỗi tay trái/phải 40

Hình 4.19: Hình ảnh đối tượng thực hiện thu dữ liệu thực tế 40

Hình 4.20: Hình ảnh khái quát chi tiết quá trình tiền xử lý 41

Hình 4.21: Hình ảnh mô tả bốn cấp độ phân rã của biến đổi Wavelet 43

Hình 4.22: Các trường hợp đỉnh EOG bị lỗi 44

Hình 4.23: Hình ảnh tín hiệu trước và sau khi lọc của kênh C3 45

Hình 4.24: Dữ liệu của kênh C3 sau quá trình tiền xử lý 45

Hình 4.25: Hình ảnh dữ liệu sau khi biến đổi Wavelet Coherence 46

Hình 4.26: Ảnh xám của dữ liệu sau khi biến đổi từ ảnh màu 47

Hình 4.27: Mô hình phân loại CNN 47

Hình 4.28: Quá trình chuyển giao diện khi phần mềm đang hiển thị giao diện đầu tiên 49 Hình 4.29: Quá trình chuyển giao diện khi phần mềm đang hiển thị giao diện thứ hai 50

Hình 4.30: Quá trình chuyển giao diện khi phần mềm đang hiển thị giao diện thứ ba 51

Hình 4.31: Lưu đồ khái quát quá trình hoạt động của giao diện thứ nhất 52

Hình 4.32: Lưu đồ khái quát quá trình nhập dữ liệu đầu vào 53

Hình 4.33: Lưu đồ giải thuật khái quát quá trình tìm đỉnh EOG đầu tiên 54

Hình 4.34: Lưu đồ khái quát quá trình hoạt động của giao diện thứ ba 55

Hình 4.35: Lưu đồ khái quát quá trình trích đặc trưng và phân loại của phần mềm 56

Hình 4.37: Giao diện của App Designer 57

Hình 4.38: Giao diện của các khối ta có thể sử dụng để thiết kế giao diện 57

Hình 4.39: Giao diện của “Application Compiler” 58

Hình 4.40: Giao diện của “Application Compiler” khi xuất dữ liệu thành công 58

Hình 4.41: File cài đặt chương trình của phần mềm vừa xuất được 59

Hình 4.42: Giao diện của file cài đặt 59

Hình 4.43: Chọn folder mong muốn để cài đặt phần mềm 60

Hình 4.44: Thông báo “Matlab Runtime” đã sẵn sàng cài đặt 60

Hình 4.45: Mức độ hoàn thành quá trình cài đặt 61

Hình 4.46: Hoàn thành quá trình cài đặt 61

Hình 4.47: Phần mềm phân loại vận động tay 62

Hình 4.48: Giao diện giới thiệu của phần mềm phân loại vận động tay trái/phải 62

Hình 4.49: Giao diện nhập dữ liệu đầu vào và tiền xử lý 63

Hình 4.50: Giao diện khối nhập dữ liệu đầu vào 63

Hình 4.51: Giao diện phần mềm khi chọn file dữ liệu có định dạng là CSV 64

Hình 4.52: Giao diện phần 1.2 của phần mềm sau khi nhập các thông số cần thiết 64

Hình 4.53: Giao diện phần mềm khi thực hiện các bước 1.3 65

Hình 4.54: Giao diện sau khi thực hiện đầy đủ bước của khối nhập dữ liệu đầu vào 65

Hình 4.55: Giao diện phần mềm khi thực hiện bước 2.1 65

Hình 4.56: Giao diện của phần mềm khi thực hiện thao tác trong bước 2.2 66

Hình 4.57: Giao diện của phần mềm sau khi thực hiện xong bước 2.2 67

Hình 4.58: Giao diện của phần mềm sau khi thực hiện xong phần 2 67

Hình 4.59: Giao diện của khi thực hiện từng thao tác trong phần “3 Remove EOG” 68

Hình 4.60: Giao diện khi hoàn thành các thao tác trong phần “3 Remove EOG” 69

Hình 4.61: Giao diện thứ 3 có chức năng phân loại dữ liệu 69

Hình 4.62: Giao diện biến đổi Wavelet Coherence và phân loại của phần mềm 71

Hình 5.1: Các đỉnh EOG đáp ứng đủ yêu cầu theo giao thức 74

Hình 5.2: Tín hiệu điện não trước và sau khi tiền xử lý 75

Hình 5.3: Một số hình ảnh thể hiện Wavelet Coherence trên dữ liệu gập tay phải đã được lọc EOG 76

Hình 5.4: Một số hình ảnh thể hiện Wavelet Coherence trên dữ liệu gập tay trái đã được

lọc EOG 77

Hình 5.5: Kết quả quá trình học của mạng CNN 78

Hình 5.6: Kết quả mô hình phân loại 79

Hình 5.7: Giao diện giới thiệu phần mềm 80

Hình 5.8: Giao diện nhập dữ liệu đầu vào và tiền xử lý 81

Hình 5.9: Giao diện dữ liệu đầu vào của bộ phân loại là ảnh xám và kết quả phân loại 81

DANH MỤC BẢNG

Bảng 2.1: Thông số kỹ thuật của EPOC Flex 19

Bảng 3.1: Giao thức thí nghiệm……… ……… … 22

Bảng 4.1: Thống kê kết quả phân loại dữ liệu của đối tượng thứ 13……… 48

Bảng 5.1: Phân chia dữ liệu huấn luyện và thử nghiệm cho mô hình CNN… 78

Bảng 5.2: Kết quả của mô hình phân loại CNN … 78

Bảng 5.3: Phân chia dữ liệu huấn luyện và thử nghiệm cho mô hình CNN 79

TÓM TẮT

Bệnh đột quỵ là nguyên nhân gây tàn tật đứng thứ ba và cũng là nguyên nhân gây

tử vong đứng thứ hai trên toàn thế giới Khoảng 87% các trường hợp tử vong và tàn tật do bệnh đột quỵ xảy ra ở các nước có thu nhập thấp và trung bình Sau cơn đột quỵ, việc tập các bài vật lý trị liệu là bắt buộc để có thể hồi phục chức năng cho bệnh nhân Do đó, theo dõi khả năng hồi phục và chuyển động của bệnh nhân sau đột quỵ

là việc rất quan trọng Hôn mê sâu là một trong những trường hợp bệnh nhân mắc phải sau cơn đột quỵ Não sống là đặc điểm chung của các bệnh nhân sống sót sau cơn đột quỵ Hơn nữa, mọi hoạt động hay suy nghĩ của con người đều sẽ gửi tín hiệu lên não Vì vậy, việc phân tích các tín hiệu não để nhận biết, phân biệt các cử chỉ, hoạt động, suy nghĩ con người có ý nghĩa rất quan trọng trong việc chẩn đoán, theo dõi tình trạng của bệnh nhân trong y học Do đó, nhóm chúng tôi quyết định thực hiện

đề tài “Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập” Sau khi thực hiện quá trình thu dữ liệu, nhóm chúng tôi sử dụng các thuật toán

tìm ngưỡng, RLS (tiếng Anh: Recursive Least Square) để thực hiện quá trình tiền xử

lý Sau đó, dựa vào phương pháp Wavelet Coherence để trích xuất đặc trưng của tín hiệu, chuyển tín hiệu sóng 2D sang tín hiệu ảnh màu 3D Dữ liệu sau đó được chuyển đổi từ dạng dữ liệu ảnh màu 3D sang ảnh xám 2D và chuẩn hóa kích thước hình ảnh đồng bộ là 100x100 để đưa vào mô hình mạng nơ-ron tích chập (tiếng Anh: Convolutional Neural Network – CNN) Sau quá trình nghiên cứu, thiết kế và hoàn thiện, có tổng dữ liệu đầu vào dùng để huấn luyện là 8666 ảnh Trong đó, 4303 là tổng

số lượng dữ liệu của dữ liệu vận động tay trái và 4363 là tổng số lượng dữ liệu của dữ liệu vận động tay phải Để đưa vào mô hình, ta sẽ chia 70% tổng số dữ liệu để làm tập train, 30% tổng số dữ liệu để làm tập test Mô hình phân loại vận động tay đạt kết quả với độ chính xác là 94,5%, trong đó kết quả nhận diện vận động đạt 99,8% đối với tay phải và 89,1% đối với tay trái Kết quả đạt được cho thấy phần mềm hoạt động đạt yêu cầu về tính chính xác khi phân loại Đề tài nghiên cứu này giúp tạo tiền đề để

áp dụng và phát triển hệ thống phần mềm phong phú, nhiều chức năng hơn trong tương lai để phục vụ sức khỏe con người, nhất là trong bối cảnh số lượng người bị tàn

Chương 1 TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ

Đột quỵ là một hội chứng đặc trưng bởi sự khởi phát cấp tính của các triệu chứng thần kinh trung ương gây ra do rối loạn lưu lượng máu não Đột quỵ là nguyên nhân gây tàn tật đứng thứ ba và cũng là nguyên nhân gây tử vong đứng thứ hai trên toàn thế giới Khoảng 87% các trường hợp tử vong và tàn tật do bệnh đột quỵ xảy ra ở các nước có thu nhập thấp và trung bình Hơn nữa, tỷ lệ tử vong ở Châu Á cao hơn so với các nước ở phương Tây Tỷ lệ mắc bệnh đột quỵ ở các nước phát triển là 5/1000 người Tuy nhiên, tỷ lệ mắc bệnh đột quỵ ở các nước đang phát triển là 5-10/1000 người (1)

Từ thực trạng trên, ta có thể thấy được sự nguy hiểm và hậu quả của bệnh mang lại cho các bệnh nhân đột quỵ Sau cơn đột quỵ, việc tập các bài vật lý trị liệu là bắt buộc

để có thể hồi phục chức năng cho bệnh nhân Do đó, theo dõi khả năng hồi phục và chuyển động của bệnh nhân sau đột quỵ là việc rất quan trọng Não sống là đặc điểm chung của các bệnh nhân sống sót sau cơn đột quỵ Bên cạnh đó, mọi hoạt động hay suy nghĩ của con người đều sẽ gửi tín hiệu lên não Vì vậy, việc phân tích các tín hiệu não để nhận biết, phân biệt các cử chỉ, hoạt động, suy nghĩ con người có ý nghĩa rất quan trọng trong việc chẩn đoán, theo dõi tình trạng của bệnh nhân trong y học Giao diện Máy tính - Não bộ (Brain - Computer Interface – BCI) là một trọng tâm nghiên cứu trong lĩnh vực phục hồi chức năng sinh học, có thể cải thiện hoặc phục hồi hiệu quả khả năng tự chăm sóc của người khuyết tật đã đạt được sự phát triển nhanh chóng trong những năm gần đây (2) BCI giúp ta có thể giải mã được các tín hiệu sinh lý thần kinh từ não người và chuyển chúng thành các lệnh để điều khiển các thiết bị điện tử khác (chương trình máy tính, xe lăn…) Với những người khuyết tật, BCI sẽ giúp họ giao tiếp với mọi thứ xung quanh Về các phép đo được sử dụng, BCIs

có thể phân loại thành xâm lấn và không xâm lấn BCI không xâm lấn có thể tận dụng các phép đo không xâm lấn ví dụ như EEG, MEG, những phép đo này đều không yêu cầu phẫu thuật khi áp dụng Trong các kỹ thuật BCI, EEG được sử dụng phổ biến trong BCI do giá trị của chúng dễ dàng thiết lập, tính di động và chi phí thấp, cũng như cung cấp các tín hiệu với SNR hợp lý và độ phân giải tạm thời cao (3)

Trong nhiều năm trở lại đây, đã có nhiều nghiên cứu về các phép đo phức tạp phi tuyến tính để phân tích tín hiệu EEG Đa số những phương pháp này đều được sử dụng để phân tích tình trạng điện sinh lý của các đối tượng nhằm phân biệt các nhiệm

vụ của trí óc và chẩn đoán các bệnh lý khác nhau như: động kinh, suy giảm trí nhớ và rối loạn giấc ngủ Nó đã được báo cáo lại rằng sự phức tạp của các tín hiệu có tương quan với tình trạng tinh thần và sinh lý của các đối tượng nghiên cứu (4)

Giải mã hoạt động vận động hoặc kiểm soát cử động chân tay do não thực hiện là một trong những lĩnh vực nghiên cứu phổ biến ở BCI Trong nghiên cứu của K K Virdi và S Pawar đã dự đoán chuyển động của tay và chân bằng cách sử dụng tín hiệu EEG bằng bộ mã hóa Stacked Deepauto (5) Kết quả cho thấy bộ mã hóa Stacked Deepauto đã đạt được độ chính xác và xấp xỉ khoảng 91% P Boonme và cộng sự đã nghiên cứu và trình bày các hoạt động tín hiệu sinh học của các chuyển động của cánh tay bằng cách sử dụng học sâu để phân loại giữa cánh tay phải và cánh tay trái (6) Kết quả thí nghiệm phân loại có độ chính xác 90,86% và 94,71% F Wang và cộng

sự đã phân tích hiện tượng ERD trong μ và β, và sử dụng hai dải tần số kết hợp với thuật toán lọc mẫu không gian chung để phân loại chuyển động tay trái sang phải (2)

Từ đó đã chứng minh thuật toán phân loại này có thể được sử dụng như một phương pháp phân loại trực tuyến để phân loại chuyển động tay trái-phải trong công nghệ BCI R Xiao và L Ding đã chỉ ra rằng những thay đổi năng lượng của alpha/beta không chứa đầy đủ thông tin về chuyển động của từng ngón tay, trong khi chúng góp phần cải thiện độ chính xác giải mã khi kết hợp với các đặc trưng khác (3) Các phát hiện trong nghiên cứu này cung cấp tài liệu tham khảo trong việc lựa chọn các đặc trưng để giải mã từng ngón tay từ một tay, điều này có thể làm tăng phần lớn số lượng đặc trưng cho các ứng dụng BCI và nâng cao trình độ của kỹ thuật BCI không xâm lấn với độ phức tạp cao Các nghiên cứu trước đây sử dụng khá nhiều phương pháp

xử lý tín hiệu phổ biến, ví dụ như: mẫu không gian chung (Common Spatial Pattern – CSP), bộ lọc Butterworth, máy véc-tơ hỗ trợ (Support Vector Machine – SVM), bộ phân loại (K-Nearest Neighbor – kNN)

Qua quá trình đọc và tìm hiểu tài liệu, nhóm chúng em quyết định thực hiện đề tài

“Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải

phù hợp để phân tích các dữ liệu tay chân tương ứng Kết quả phân tích dữ liệu sẽ được tổng hợp và thống kê qua phần mềm để có thể đánh giá một cách khách quan nhất

1.2 MỤC TIÊU

Nghiên cứu mối quan hệ giữa vận động tay với não bộ Cụ thể, nhóm sẽ phân biệt tín hiệu gập duỗi khuỷu tay trái và phải từ tín hiệu điện não dựa vào mạng nơ-ron tích chập (CNN) Sau đó, nhóm sẽ thiết kế phần mềm có khả năng đọc dữ liệu, tiền xử lý

và phân loại tín hiệu dựa vào phần mềm Matlab

1.3 NỘI DUNG NGHIÊN CỨU

Trong quá trình thực hiện Khóa luận Tốt nghiệp với đề tài “Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập”, nhóm chúng em sẽ tập trung

thực hiện và hoàn thành các công việc như sau:

• NỘI DUNG 1: Thực hành tiền xử lý tín hiệu điện não sử dụng các bộ lọc trên

phần mềm

• NỘI DUNG 2: Tìm hiểu và thực nghiệm phần mềm phân tích tín hiệu điện não

và các thuật toán liên quan

• NỘI DUNG 3: Sắp xếp, phân tích cấu trúc và dữ liệu điện não về vận động tay

• NỘI DUNG 4: Lập trình/ứng dụng phần mềm vào việc thu nhận, tiền xử lý,

trích đặc trưng và phân loại tín hiệu điện não

• NỘI DUNG 5: Tiến hành lấy và lưu trữ kết quả tiền xử lý tín hiệu điện não kèm

theo chú thích, mô tả và phân tích

• NỘI DUNG 6: Tiến hành trích đặc trưng và phân loại dữ liệu điện não về vận

động tay, kèm theo chú thích, mô tả, phân tích và đánh giá kết quả

• NỘI DUNG 7: Tìm hiểu và vận dụng các phần mềm phân tích, thống kê dữ liệu

trong khoa học

• NỘI DUNG 8: Ứng dụng phần mềm cho việc tổng hợp và thống kê tất cả kết

quả phân loại dữ liệu điện não

1.4 GIỚI HẠN

• Tín hiệu vẫn còn nhiễu

• Kết quả phân tích dữ liệu vẫn còn sai số

• Phần mềm chỉ đọc được file có định dạng là CSV và PNG File có định dạng PNG phải là hình ảnh kết quả của Wavelet Coherence

1.5 BỐ CỤC

• Chương 1: Tổng quan

• Chương 2: Cơ sở lý thuyết

• Chương 3: Tính toán và thiết kế

• Chương 4: Thi công hệ thống

• Chương 5: Kết quả - Nhận xét - Đánh giá

• Chương 6: Kết luận và hướng phát triển

Chương 2 CƠ SỞ LÝ THUYẾT 2.1 TÍN HIỆU ĐIỆN NÃO

2.1.1 Tín hiệu điện não

Richard Caton đã thực hiện những bản ghi sinh lý thần kinh đầu tiên trên bộ não của mèo và thỏ Các kết quả được trình bày vào năm 1875 cho thấy “các dòng điện yếu theo các hướng khác nhau sẽ truyền qua hệ số nhân khi các điện cực được đặt ở hai điểm của bề mặt bên ngoài, hoặc một điện cực trên chất xám và một trên bề mặt hộp sọ” Phát hiện này được coi là một khám phá về hoạt động điện não, đặt nền móng cho những bước tiến về phép đo điện não sau này (7)

Hans Berger, một bác sĩ tâm thần người Đức, đã đi tiên phong trong việc tạo điện não đồ ở người Ông đã ghi lại sóng não bằng cách tiêm Novocain vào da đầu và đặt điện cực vào màng xương Ông ghi lại điện não đồ đầu tiên vào ngày 6 tháng 7 năm

1924, trên một cậu bé 17 tuổi (8)

Hình 2.1: Tín hiệu điện não đồ đầu tiên được ghi lại (8)

2.1.2 Nguồn gốc tín hiệu điện não

Hầu hết các tín hiệu điện não đồ bắt nguồn từ lớp ngoài của não (vỏ não), được cho là chịu trách nhiệm chính về suy nghĩ, cảm xúc và hành vi của cá nhân chúng ta Hoạt động tiếp hợp của vỏ não tạo ra các tín hiệu điện thay đổi trong phạm vi 10 đến

100 mili giây Phép đo EEG (Electroencephalogram - điện não) và MEG (Magnetoencephalography - từ tính não) là những công nghệ duy nhất có sẵn với độ

phân giải theo thời gian đủ để theo dõi những thay đổi nhanh chóng này (9) Tế bào thần kinh được tạo nên từ thân tế bào, đuôi gai và sợi trục, như có thể thấy trong hình bên dưới:

Hình 2.2: Cấu tạo tế bào thần kinh (10)

Thân tế bào (còn được gọi là soma) chứa tất cả các bào quan cần thiết cho chức năng tế bào, sợi trục là kênh liên lạc mà thông tin được truyền đến một tế bào thần kinh khác, trong khi đuôi gai nhận các kết nối từ các tế bào thần kinh khác truyền tới Khi mà hai tế bào thần kinh truyền thông tin thì tại đó gọi là khớp nối giữa các tế bào, hay cũng chính là synapse Synapse giúp cho thông tin từ tế bào thần kinh này truyền đến tế bào thần kinh khác (10,11)

Dòng điện trong não được tạo ra chủ yếu bằng cách bơm các ion dương là Na+,

K+, Ca2+ và ion âm là Cl– qua màng tế bào thần kinh Đầu cuối của synapse có một khoảng trống giữa hai nơi mà các chất dẫn truyền thần kinh được trao đổi trong quá trình tiếp hợp Những chất dẫn truyền thần kinh này dẫn đến sự thay đổi tính thấm của màng với các ion, từ đó dẫn đến nồng độ ion khác nhau và kết quả là có sự khác biệt về điện thế của nó, lúc này dòng điện trong não xuất hiện (10,11) Các điện cực gắn vào đầu làm cho sự khác biệt về điện thế có thể được khuếch đại và lưu trữ để tạo

ra các biểu diễn đặc trưng của hoạt động não (12)

Các dạng sóng EEG có thể được phân loại đặc trưng dựa trên vị trí, biên độ, tần

số, hình thái, tính liên tục (nhịp nhàng, ngắt quãng hoặc liên tục), đồng bộ, đối xứng

phân loại các dạng sóng EEG là theo tần số Các sóng EEG được đặt tên dựa trên dải tần của chúng bằng cách sử dụng các chữ cái Hy Lạp (13)

2.2 CẤU TRÚC CỦA NÃO BỘ

Ở cấp độ cao, não có thể được chia thành đại não, thân não và tiểu não:

- Đại não:

Hình 2.3: Cấu trúc của đại não (14)

Bao gồm chất xám (nằm ở vỏ não) và chất trắng ở trung tâm Đây là phần lớn nhất của não người và điều phối suy nghĩ, hành động của chúng ta Đại não chia làm hai bán cầu: bán cầu não phải và bán cầu não trái Trong đó mỗi bán cầu gồm có bốn phần: thùy trán, thùy đỉnh, thùy chẩm và thùy thái dương (15,16)

+ Thùy trán (Frontal Lobe): Thùy lớn nhất của não, nằm ở phía trước của đầu, có liên quan đến các đặc điểm tính cách, khả năng nói và suy luận, biểu cảm, ra quyết định và vận động… (15,16)

+ Thùy đỉnh (Parietal Lobe): Nằm ở phía sau và bên trên của não và kiểm soát các hành vi phức tạp của chúng ta, bao gồm các giác quan như thị giác, xúc giác, nhận thức cơ thể Thùy đỉnh giúp não hiểu ngôn ngữ nói, chịu trách nhiệm về khả năng định vị và chuyển động của cơ thể (15,16)

+ Thùy chẩm (Occipital Lobe): là phần sau của não, liên quan đến thị giác (16), đồng thời giúp não nhận thức trực quan về ngôn ngữ cơ thể, như tư thế, biểu cảm

và cử chỉ, trạng thái (15)

+ Thùy thái dương (Temporal Lobe): nằm ngang vị trí hai bên tai ở mỗi bên của não, thùy thái dương có liên quan đến trí nhớ ngắn hạn, giúp não hiểu lời nói, nhịp điệu âm nhạc và nhận biết mùi ở một mức độ nào đó (15)

Hình 2.4: Vị trí các thùy trong não bộ (17)

- Thân não: Thân não đảm nhận các chức năng quan trọng trong chuyển động cơ, đặc biệt là chuyển động của mắt, thính giác và thị giác Thân não gồm ba phần: não giữa, cầu não và hành não (15)

+ Não giữa: Chịu trách nhiệm cho các phản ứng thị giác, thính giác, xúc giác (16) + Cầu não: Nằm phía trên tủy, bên dưới não giữa và ngay trước tiểu não Chứa các dây thần kinh chịu trách nhiệm về cảm giác ở mặt, điều khiển các cơ chịu trách nhiệm cắn, nhai và nuốt, đồng thời có chức năng cho phép nhìn từ bên này sang bên kia và dây thần kinh tiền đình cho phép nghe (15)

+ Hành não: Ở dưới cùng của thân não và là nơi giao với tủy sống, giúp điều chỉnh nhiều hoạt động của cơ thể, bao gồm nhịp tim, nhịp thở, lưu lượng máu, nồng độ O2 và CO2

- Tiểu não: Duy trì trạng thái, tư thế cân bằng, trương lực cơ, tư thế và điều phối các chuyển động mang tính chủ động của cơ bằng cách điều chỉnh mức độ căng

cơ giữa cơ chủ vận và cơ đối kháng (18)

Từ các thông tin trên, ta thấy rằng vùng thùy trán của đại não và tiểu não hỗ trợ nhau để điều hòa các vận động của cơ thể Đây là một trong những cơ sở để nhóm xác định kênh phù hợp với vận động tay của cơ thể trên mũ điện cực 32 kênh

2.3 TÍN HIỆU CHỚP MẮT TRONG EEG

Có một số loại tín hiệu nhiễu thường gặp trong tín hiệu EEG có thể được kể đến như tín hiệu nhiễu do chuyển động, tín hiệu điện cơ, tín hiệu điện tim, tín hiệu điện mắt, và các loại nhiễu khác xuất hiện do sự chuyển động và tác nhân bên ngoài gây

Hình 2.6: Điện áp của mắt (22)

Khi nhãn cầu di chuyển, điện thế tăng hoặc giảm tùy vào hướng chuyển động của mắt, nguyên nhân là vì sự thay đổi hướng mắt làm cho vị trí của giác mạc và võng mạc thay đổi so với phần còn lại của đầu Sự thay đổi điện áp này được gọi là điện thế giác mạc và thay đổi trong khoảng 0,4 đến 1 mV (21) Hình dưới thể hiện sự thay đổi điện thế của mắt khi nhãn cầu chuyển động, cụ thể là thực hiện hành động nhắm mắt và mở mắt

Hình 2.7: Tín hiệu chớp mắt (23)

Độ dài nháy mắt thường kéo dài khoảng 100 ms (11) Điện áp của nháy mắt có chủ ý lớn hơn so với nháy mắt không chủ ý (24) Trong bài báo cáo này, nhóm tập trung vào hoạt động nháy mắt để loại bỏ các tín hiệu nhiễu này, bằng cách quan sát

và phân tích tín hiệu ở các kênh Fp1, Fp2, F3, F4 Đây cũng là các điện cực được đặt

ở gần mắt nên chúng sẽ thu được tín hiệu chớp mắt một cách rõ ràng nhất

Hình 2.8: Vị trí điện cực thu tín hiệu mắt (25)

2.3.2 Thuật toán lọc EOG bằng phương pháp RLS

Trong tín hiệu EEG, các tín hiệu chớp mắt được xem là nhiễu mà ta cần phải loại

bỏ, vì các tín hiệu nhiễu này sẽ làm ảnh hưởng chất lượng tín hiệu EEG mà ta thu được, từ đó làm giảm độ chính xác kết quả phân loại vận động tay Trong nghiên cứu này, nhóm sử dụng thuật toán bình phương cực tiểu đệ quy (tiếng Anh: Recursive Least Square - RLS) để lọc tín hiệu EOG

Phương pháp RLS được áp dụng như sau (26):

• Ước lượng bình phương cực tiểu đệ quy được sử dụng để ước tính các tham số của tín hiệu EOG

• Điện não đồ không có nhiễu được tái tạo bằng cách lấy điện não đồ bị nhiễu trừ

đi VEOG (tín hiệu điện mắt theo chiều dọc) và HEOG (tín hiệu điện mắt theo chiều ngang) đã tính được (26):

2.4 PHÂN TÍCH WAVELET COHERENCE

2.4.1 Khái niệm Wavelet

Wavelet là một dao động như dạng sóng được khoanh vùng và xác định theo thời gian, trong một miền hữu hạn Wavelet có hai giá trị thuộc tính cơ bản, đó là phạm vi

và vị trí (29)

Phân tích Wavelet là một phương pháp tương tự như phân tích Fourier, sử dụng một phép biến đổi để phân tách các tín hiệu thành các phần tử đơn giản Nó đã được ứng dụng thành công trong nhiều lĩnh vực như xử lý tín hiệu y sinh, hình ảnh y tế, phân tích số và xử lý tín hiệu Những tín hiệu như vậy có xu hướng bao gồm những điểm không liên tục và không cố định Phân tích Wavelet được cho là tốt hơn và cải tiến hơn so với phân tích Fourier vì thông tin có thể được trích xuất không chỉ từ tín hiệu hoàn chỉnh mà còn từ các thành phần của nó (30)

Phổ tương quan Wavelet được xác định và tính toán từ dữ liệu EEG và thiết lập sao cho quang phổ cường độ sóng chéo chỉ ra mức độ tương quan và ở giai đoạn chéo nhau Wavelet có thể được sử dụng để cung cấp luồng thông tin giữa hai tín hiệu kênh trên các vùng vỏ não khác nhau Phân tích tương quan Wavelet có thể chỉ ra sự đồng

bộ giữa tín hiệu đa kênh và được sử dụng để phân tích sự đồng bộ hóa và thông tin tương ứng khi xử lý các tín hiệu EEG (31)

Phân tích Wavelet xoay quanh việc sử dụng một hàm Wavelet, còn được gọi là hàm mẹ, được biểu thị bằng chữ cái Hy Lạp Upsilon (ψ) Một điều kiện chính là nó

có năng lượng hữu hạn, tức là (32):

Điều kiện thứ ba thường là hàm Wavelet phải có giá trị trung bình bằng 0, nghĩa

là nó phải dao động Về mặt toán học, biểu thức biểu diễn là (33):

2.4.2 Phép biến đổi Wavelet

Phép biến đổi Fourier chuyển đổi một tín hiệu phụ thuộc vào thời gian thành một tín hiệu phụ thuộc vào tần số Để hiểu rõ hơn một tín hiệu thì bước đầu tiên cần phải phân tích nó thành các thành phần nhỏ hơn để dễ tiếp cận hơn cho các bước xử lý tiếp theo (33) Biến đổi Fourier giúp phân tích một hàm thành các sin và cosin đơn giản

Về lý thuyết, bất kỳ hàm nào cũng có thể được biểu diễn dưới dạng tổng (có thể là vô hạn) các hàm sin và cosin của các biên độ và tần số khác nhau (34)

Một nhược điểm lớn của phép biến đổi Fourier là nó nắm bắt thông tin tần số toàn cục, nghĩa là các tần số tồn tại trên toàn bộ tín hiệu Loại phân hủy tín hiệu này có thể không phục vụ tốt cho tất cả các mục tiêu cần áp dụng, ví dụ như điện tâm đồ, trong

đó các tín hiệu có các dao động đặc trưng trong khoảng thời gian ngắn

Một phương pháp tiếp cận thay thế là phép biến đổi Wavelet Phép biến đổi này phân rã một hàm thành một tập hợp các Wavelet nhỏ hơn để thể hiện thông tin một cách hữu ích hơn Vì tín hiệu ban đầu hoặc hàm có thể được biểu diễn bằng các phép

mở rộng của Wavelet nên các phép toán dữ liệu có thể được thực hiện chỉ với các hệ

số của Wavelet Trong toán học, phép biến đổi Wavelet là tích chập của một Wavelet với tín hiệu (30)

Ưu điểm chính của Wavelet so với các hàm cơ sở Fourier là phân tích Wavelet sử dụng một tập hợp các hàm cơ sở, tương tự được tạo ra và đặc biệt được khoanh vùng

và xác định trong không gian và thời gian Điều này cho phép phân tích Wavelet được thực hiện ở các tỷ lệ hoặc độ phân giải khác nhau Bênh cạnh đó Fourier vẫn sử dụng hàm sin làm hàm cơ sở của nó, hàm này có miền vô hạn Ngược lại, Wavelet sử dụng các hàm cơ sở được xác định trong các miền hữu hạn, làm cho chúng rất phù hợp để phát hiện rõ ràng cả những bất thường và những dao động nhỏ trong dữ liệu (29)

2.4.3 Wavelet Coherence

Wavelet có thể được sử dụng khi phân tích để giải quyết các vấn đề do sự không

ổn định của các tín hiệu thần kinh Ngược lại với phân tích Fourier, phân tích Wavelet

có thể phân tích các tín hiệu có quang phổ thay đổi nhanh chóng (29) Coherence là

một trong những phương pháp được sử dụng rộng rãi nhất để đo lường các tương tác tuyến tính Nó dựa trên hệ số tương quan Pearson được sử dụng trong miền tần số và thời gian Phương pháp này đo độ dài véc-tơ kết quả trung bình của mật độ phổ chéo giữa hai tín hiệu Giá trị bình phương của nó thay đổi từ 0 đến 1, có nghĩa là tương quan tính từ thấp và cao Trong quá trình nghiên cứu này, tính tương quan được sử dụng làm tiêu chuẩn tham chiếu để so sánh với các phương pháp khác Trong miền tần số và thời gian, công thức Wavelet của sự tương quan giữa hai tín hiệu có thể được viết như công thức (2.5) và (2.6) (35):

là hệ số Wavelet ở thang w và thời gian t của chuỗi thời gian hữu hạn x(t), W y

(

)

là liên hợp phức của W y

(

)

(30,35)

Với hai tín hiệu đơn, có thể được sử dụng một toán tử làm mịn để cân bằng giữa

độ phân giải tần số - thời gian mong muốn và ý nghĩa thống kê Hàm f ở công thức

dưới chính là toán tử làm mịn trong trường hợp này:

2.4.4 Các kênh được sử dụng trong phân tích Wavelet Coherence

Trong nghiên cứu về hoạt động của cánh tay, ta cần phân tích tín hiệu điện não phụ trách bên nhóm vận động tay Theo nghiên cứu, não trái của con người có chức năng điểu khiển vận động tay phải, và ngược lại, não phải có đảm nhiệm chức năng điều khiển vận động tay trái Tín hiệu tại các điện cực cần đưa vào phân tích Wavelet Coherence là C3, FC5 và C4, FC6 Trong đó, tại C3 và FC5, tín hiệu phụ trách điều khiển vận động tay phải, còn tại C4 và FC6, tín hiệu phụ trách điều khiển vận động

Đối với phân loại chuyển động trái và phải, các kênh tốt nhất được dùng để phân tích là C3 và C4, bởi vì các cử động được điều khiển bởi vỏ não vận động, cũng là vị trí đặt hai điện cực này (36) Thêm vào đó, để phép phân tích Wavelet Coherence được củng cố và chính xác hơn, nhóm quyết định đưa thêm kênh FC5 và FC6 vào để xét độ tương quan vận động giữa hai tay trái và phải

2.5 MẠNG NƠ-RON TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK - CNN)

Với những tiến bộ trong khoa học nhận thức thần kinh, Fukushima và Miyake vào năm 1982 đã đề xuất tiền thân của mạng nơ-ron tích chập (CNNs), vào thời điểm đó được gọi là “Neocognitron” “Neocognitron” là một mạng phân cấp, tự tổ chức và có khả năng nhận ra các mẫu kích thích dựa trên sự khác biệt về hình dạng của chúng Đây là mạng lưới đầu tiên có khả năng độc đáo của hệ thống thị giác sinh học của động vật có vú, đó là đánh giá các đối tượng tương tự được gán cho cùng một loại đối tượng độc lập với vị trí của chúng và các biến thể hình thái nhất định

CNNs hợp nhất các quy trình trích xuất đối tượng và phân loại đối tượng thành một cơ quan học tập duy nhất Nó có thể học cách tối ưu hóa các tính năng trong giai đoạn đào tạo trực tiếp từ đầu vào thô Vì tế bào thần kinh CNN được kết nối thưa thớt với các trọng số ràng buộc, CNN có thể xử lý đầu vào lớn với hiệu quả tính toán lớn

so với mạng Perceptron nhiều lớp (MLP) được kết nối đầy đủ thông thường CNNs miễn nhiễm với các biến đổi nhỏ trong dữ liệu đầu vào bao gồm dịch, chia tỷ lệ, lệch

và biến dạng CNN có thể thích ứng với các kích thước đầu vào khác nhau

Trong một MLP thông thường, mỗi nơ-ron ẩn chứa trọng số vô hướng, đầu vào và đầu ra Tuy nhiên, do bản chất 2D của hình ảnh, mỗi nơ-ron trong CNN chứa các mặt phẳng 2-D cho các trọng số, được gọi là hạt nhân và đầu vào và đầu ra được gọi là bản đồ đặc trưng Hình 2.9 minh họa các khối cơ bản của CNN thông thường phân loại hình ảnh kích thước 24 pixel × 24 pixel thành hai loại Mạng mẫu này bao gồm hai lớp chập và hai lớp gộp Đầu ra của lớp tổng hợp cuối cùng được xử lý bởi một lớp được kết nối đầy đủ duy nhất và tiếp theo là lớp đầu ra tạo ra đầu ra phân loại (37)

Hình 2.9: Mô hình mẫu CNN với 2 lớp chập và một lớp được kết nối đầy đủ

(37).

❖ Cấu trúc mạng tích chập 2D

CNN 2D tập trung vào việc truyền hình ảnh theo không gian trong từng dải quang phổ để rút ra các đặc điểm không gian Ở phần cuối của cấu trúc, sự dự đoán được đưa ra theo các đặc điểm đã trích xuất (38)

• Lớp đầu vào (Input Layer)

Lớp đầu tiên trong mạng tích chập dùng để đưa dữ liệu đầu vào Trong nghiên cứu này, dữ liệu đầu vào mà nhóm sử dụng chính là các hình ảnh Wavelet Coherence của các kênh vận động ở dạng ảnh xám

• Lớp tích chập (Convolution Layer)

Lớp tích chập bao gồm các Kernels (bộ lọc) trượt trên tín hiệu EEG Kernel là

ma trận được biến đổi với tín hiệu EEG đầu vào và bước sóng kiểm soát mức độ

bộ lọc chuyển đổi qua tín hiệu đầu vào Lớp này thực hiện tích phân trên các tín hiệu EEG đầu vào với Kernel bằng cách sử dụng phương trình (2.8) Đầu ra của tích chập còn được gọi là sơ đồ đặc trưng Phép toán tích chập như sau (39):

Trong đó x là tín hiệu, h là bộ lọc và N là số phần tử trong x Véc-tơ đầu ra là

y Các chỉ số con biểu thị phần tử thứ n của véc-tơ

• Đơn vị kích hoạt tuyến tính chỉnh lưu (Rectified Linear Activation Unit)

Sau mỗi lớp tích chập, việc sử dụng một hàm kích hoạt là một việc phổ biến Chức năng kích hoạt là một hoạt động ánh xạ một đầu ra với một tập hợp các đầu vào Chúng được sử dụng để truyền tải tính phi tuyến tính cho cấu trúc mạng Bộ chỉnh lưu tuyến tính là một hàm kích hoạt được thiết lập để học sâu

Hàm kích hoạt (40):

Hàm nhận dạng cho các đầu vào không âm và sẽ lọc các giá trị đầu vào âm, chuyển các giá trị đó bằng 0

• Lớp gộp (Pooling Layer)

Bản chất của lớp gộp là giảm mẫu, làm giảm kích thước của các nơ-ron đầu ra

từ lớp chập để giảm cường độ tính toán và ngăn chặn tình trạng over-fitting (trình trạng mô hình tìm được quá khớp với dữ liệu training) Có hai kiểu gộp phổ biến: mean-pooling và max-pooling (41) Max-pooling được sử dụng và nó chỉ chọn giá trị lớn nhất trong mỗi sơ đồ đặc trưng và do đó làm giảm số lượng nơ-ron đầu ra nhưng vẫn giữ các đặc trưng quan trọng của mẫu Nó có thể ngăn chặn hiện tượng lỗi tham số mạng gây ra sự thay đổi giá trị trung bình ước tính và giúp trích xuất thông tin đặc trưng tốt hơn (42)

• Lớp kết nối đầy đủ (Fully-connected Layer)

Sau khi trích xuất đặc trưng, lớp kết nối đầy đủ được áp dụng để nâng cao khả năng ánh xạ phi tuyến của mạng Lớp này nhận thức thông tin toàn cục và tổng hợp các đặc trưng cục bộ đã học được từ lớp tích chập để tạo thành các đặc trưng toàn cục để phân loại Mỗi nơ-ron trong lớp này được kết nối với tất cả các nơ-ron

ở lớp trước và không có kết nối giữa các nơ-ron trong cùng một lớp (42)

• Lớp đầu ra (Output Layer)

Mô hình của đề tài xuất ra các tên gọi dùng để phân loại vận động tay trái hay phải

2.6 THIẾT BỊ EMOTIV

2.6.1 Thiết bị EPOC Flex

Trong đề tài này, nhóm sử dụng thiết bị EPOC Flex để thu dữ liệu điện não EPOC Flex là một hệ thống điện não đồ linh hoạt gồm có 32 kênh Nó được chế tạo dựa trên công nghệ EPOC+ từng đoạt giải thưởng và được thiết kế cho các nhà nghiên cứu muốn vị trí đặt cảm biến linh hoạt hơn hoặc có mật độ cảm biến lớn hơn (43) Bên cạnh đó cần sử dụng thêm phần mềm EmotivPRO để có thể quan sát và đo tín hiệu điện não

2.6.2 Thành phần các thiết bị Emotiv

- Bộ điều khiển

- Bộ thu USB đa năng đi kèm với bộ điều khiển

- Mũ điện não

- Cảm biến điện cực – mẫu EPOC Flex Gel

- Dây cáp sạc cổng Micro-B – cổng USB A

Hình 2.10: Thành phần các thiết bị Emotiv (43)

2.6.3 Thông số kỹ thuật của EPOC Flex

❖ Bảng 2 1: Thông số kỹ thuật của EPOC Flex (44)

Phương pháp lấy mẫu Lấy mẫu tuần tự

Tốc độ lấy mẫu 128 SPS (1024 Hz nội bộ)

Độ phân giải EEG 14-bit 1 LSB = 0.51 µV (16-bit ADC, loại bỏ

tầng nhiễu thiết bị 2-bit) Tốc độ quay tối đa 32,64 µV/mẫu (cần nén để truyền dữ liệu BLE) Băng thông 0,2 – 45 Hz, độ suy giảm cao ở 50 Hz và 60Hz Lọc Tích hợp bộ lọc Sinc bậc 5 kỹ thuật số

Chế độ khớp nối Được kết hợp AC

Kết nối Độc quyền 2,4 GHz không dây, BLE

Dung lượng pin Pin LiPo 595 mAh

Thời gian sử dụng pin 6 – 9 giờ

Lấy mẫu chuyển động 16 Hz

Độ phân giải chuyển động Đầu ra 8-bit

Vật liệu cảm biến - Ag/AgCl được nung kết (mẫu EPOC Flex

Gel) có thể được sử dụng với bất kỳ loại gel nào

- Ag/AgCl được mạ điện (kiểu EPOC Flex Saline) với miếng nỉ Polyester có thể được khử trùng và tái sử dụng

Chương 3 TÍNH TOÁN VÀ THIẾT KẾ

3.1 GIỚI THIỆU

Chương 3 khái quát về quá trình tính toán và thiết kế của đề tài Quá trình thiết

kế quy trình thu dữ liệu EEG, thiết kế phần mềm và ứng dụng thuật toán sẽ được nêu

rõ ở phần 3.2

3.2 TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG

3.2.1 Thiết kế quy trình thu dữ liệu

Hình 3.1: Sơ đồ khái quát quá trình thiết kế quy trình thu dữ liệu EEG

Hình 3.1 thể hiện quá trình thiết kế quy trình thu dữ liệu EEG bao gồm 5 giai đoạn Giai đoạn đầu là tạo form đăng ký và khảo sát đối tượng đăng ký tham gia Giai đoạn hai là sàng lọc đối tượng thí nghiệm dựa vào form đăng ký và khảo sát Sau đó, đối tượng thí nghiệm được đọc và yêu cầu thực hiện theo các yêu cầu quy định Giai đoạn thứ tư là thiết kế giao thức Ở phần này, giao thức sẽ được thiết kế và điều chỉnh sao cho thu được tín hiệu có chất lượng tốt nhất có thể Cuối cùng là giai đoạn thu thập dữ liệu Dữ liệu này sẽ được sử dụng trong việc phân loại tín hiệu vận động tay trái/phải

a Tạo form đăng ký

Ở giai đoạn đầu, form đăng ký và khảo sát được thiết kế để người đăng ký xác nhận đồng ý tham gia thí nghiệm Đồng thời, người đăng ký sẽ phải trả lời các câu hỏi khảo sát về thông tin cá nhân như giới tính, tuổi tác, các bệnh liên quan về mắt