Mạng neural trong hệ thống điều khiển xe lăn cho người tàn tật nặng sử dụng điện não (eeg) và camer

Trang 1 CHƯƠNG 1 TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO Tóm tắt chương 1 Trong chương này tác giả trình bày khái quát tình hình nghiên cứu tín hiệu điện não EEG trong và ngoài nước, những ứng

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI

TP HỒ CHÍ MINH

LÂM QUANG CHUYÊN

MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU

KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ

DỤNG ĐIỆN NÃO (EEG) VÀ CAMERA

LUẬN ÁN TIẾN SĨ KỸ THUẬT

TP HỒ CHÍ MINH – 3/2020

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI

TP HỒ CHÍ MINH

LÂM QUANG CHUYÊN

MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN

NÃO (EEG) VÀ CAMERA

CHUYÊN NGÀNH

KỸ THUÂT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA

MÃ SỐ: 9520216

NGƯỜI HƯỚNG DẪN KHOA HỌC

PGS TS NGUYỄN HỮU KHƯƠNG

PGS TS VÕ CÔNG PHƯƠNG

TP HỒ CHÍ MINH – 3/2020

Trang i

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi, các kết quả nghiên cứu được trình bày trong luận án là trung thực, khách quan và chưa từng để bảo vệ

ở bất kỳ học vị nào

Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện luận án đã được cám

ơn, các thông tin trích dẫn trong luận án này đều được chỉ rõ nguồn gốc

Tp Hồ Chí Minh, ngày 30 tháng 03 năm 2020

Tác giả luận án

Lâm Quang Chuyên

Trang ii

LỜI CẢM ƠN

Để hoàn thành được luận án Tiến sĩ này tôi xin chân thành cảm ơn đến với Thầy hướng dẫn PGS TS Nguyễn Hữu Khương đã tận tình hướng dẫn, giúp đỡ và động viên tôi trong suốt quá trình thực hiện luận án

Tôi xin chân thành cảm ơn Thầy PGS TS Võ Công Phương đã động viên, giúp đỡ tôi trong trong quá trình thực hiện luận án

Tôi xin chân thành cảm ơn Thầy TS Nguyễn Lương Anh Tuấn đã giúp đỡ trong vấn đề học thuật và góp ý một số vấn đề liên quan đến luận án

Tôi xin chân thành cảm ơn Thầy PGS TS Đặng Xuân Kiên đã tạo điều kiện thuận lợi trong quá trình thực hiện luận án

Ngoài ra tôi cũng chân thành cảm ơn đến quý Thầy/Cô trong khoa Điện và Viện sau đại học Trường Đại học Giao thông Vận tải TP HCM, đồng nghiệp Trường Cao đẳng Công thương TP HCM đã tạo điều kiện hết sức thuận lợi trong quá trình nghiên cứu, bổ sung hoàn thành các thủ tục trong quá trình nghiên cứu, tôi xin chân thành cảm ơn các em sinh viên Trường Cao đẳng Công thương TP

Hồ Chí Minh đã nhiệt tình tham gia trong quá trình thu thập dữ liệu, thực nghiệm điều khiển xe mô hình, tôi cũng xin chân thành cảm ơn đến với tất cả các bạn cùng

là nghiên cứu sinh như tôi

Tp Hồ Chí Minh, ngày 30 tháng 03 năm 2020

Tác giả luận án

Lâm Quang Chuyên

Trang iii

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC VÀ CHỮ VIẾT TẮT vi

DANH MỤC HÌNH vii

DANH MỤC BẢNG x

MỞ ĐẦU xi

CHƯƠNG 1 TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO 1

1.1 Tình hình nghiên cứu trong nước - 1

1.2 Tình hình nghiên cứu ngoài nước - 1

1.3 Nội dung thực hiện đề tài - 2

1.4 Mục đích nghiên cứu - 3

1.5 Đối tượng và phạm vi nghiên cứu - 4

1.6 Những đóng góp của luận án - 4

1.6.1 Đóng góp về mặt lý thuyết - 4

1.6.2 Đóng góp về mặt thực tiễn - 5

1.7 Cấu trúc nội dung của luận án - 5

1.8 Kết luận chương 1 - 6

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 7

2.1 Tín hiệu điện não EEG - 7

2.1.1 Giới thiệu về tín hiệu điện não EEG - 7

2.2.2 Các loại thiết bị thu nhận tín hiệu điện não EEG - 10

2.2.3 Các dạng sóng cơ bản của tín hiệu điện não EEG - 13

2.2 Ý nghĩa vị trí các điện cực trên thiết bị EEG - 16

2.3 Các phương pháp trích đặc điểm tín hiệu - 19

2.3.1 Biến đổi Fourier - 20

Trang iv

2.3.2 Biến đổi Wavelet - 20

2.3.3 Biến đổi HHT (Hilbert Huang Transform) - 23

2.4 Gom cụm dữ liệu - 29

2.5 Mô hình mạng Neural - 31

2.5.1 Cấu trúc mạng Neural - 31

2.5.2 Thuật toán huấn luyện mạng - 33

2.6 Kết luận chương 2 - 34

CHƯƠNG 3 XÂY DỰNG MÔ HÌNH HỆ THỐNG ĐIỀU KHIỂN 35

3.1 Mô hình mạng Neural đơn lớp - 35

3.1.1 Quá trình tiền xử lý - 36

3.1.2 Mạng Neural đơn lớp - 39

3.1.3 Kết quả thực nghiệm với mô hình mạng Neural đơn lớp - 40

3.2 Mô hình mạng Neural đa lớp - 42

3.2.1 Quá trình tiền xử lý - 45

3.2.2 Mô hình mạng Neural đa lớp - 46

3.2.3 Kết quả thực nghiệm với mô hình mạng Neural đa lớp - 49

3.3 Thiết kế mô hình tổng hợp xử lý tín hiệu - 52

3.3.1 Khối nhận dạng tín hiệu EEG - 53

3.3.2 Khối nhận dạng tín hiệu hướng mắt - 54

3.3.3 Mô hình mạng Neural đa lớp lan truyền ngược - 55

3.3.4 Kết quả thực nghiệm với mô hình tổng hợp đã thiết kế - 56

3.3.5 Dữ liệu thực nghiệm với mô hình điều khiển xe lăn đã xây dựng 59 3.3.6 Chọn tập dữ liệu và kết quả thực nghiệm - 59

3.4 Kết luận chương 3 - 62

CHƯƠNG 4 XÂY DỰNG PHẦN MỀM VÀ PHẦN CỨNG CHO HỆ THỐNG ĐIỀU KHIỂN XE LĂN MÔ HÌNH 63

4.1 Chức năng phần mềm điều khiển xe lăn - 63

4.1.1 Đăng nhập hệ thống - 63

4.1.2 Huấn luyện điều khiển xe lăn - 64

4.1.3 Điều khiển xe lăn - 66

4.1.4 Xem đồ thị dữ liệu - 69

Trang v

4.2 Các công việc phần mềm đảm nhận - 69

4.2.1 Thu nhận dữ liệu - 70

4.2.2 Trích đặc điểm dữ liệu - 71

4.2.3 Gom cụm dữ liệu - 71

4.2.4 Mạng neural đa lớp lan truyền ngược - 71

4.2.5 Xử lý ảnh thông qua Camera - 71

4.3 Hệ thống phần cứng - 72

4.3.1 Bảng quan sát - 72

4.3.2 Xe lăn mô hình - 73

4.3.3 Thiết bị Emotiv - 76

4.4 Các bước tiến hành thực nghiệm - 78

4.4.1 Quá trình huấn luyện người tham gia điều khiển - 78

4.4.2 Điều khiển xe lăn - 79

4.5 Lựa chọn nhóm tham gia quá trình đánh giá hệ thống - 79

4.6 Kết quả thực nghiệm cho 2 phương án sử dụng EEG và Camera - 79

4.7 Kết luận chương 4 - 80

CHƯƠNG 5 KẾT LUẬN VÀ KIẾN NGHỊ 81

5.1 Kết luận - 81

5.2 Kiến nghị - 83

TÀI LIỆU THAM KHẢO 86

Trang vi

DANH MỤC VÀ CHỮ VIẾT TẮT

1 ANN Mạng neural nhân tạo Artificial neural network

2 BCI Điều khiển thiết bị

bằng suy nghĩ Brain Computer Interfaces

3 CSDL Cơ sở dữ liệu Database

4 EEG Tín hiệu điện não Electroencephalographic

5 EMD Phân tích theo kinh

6 FFT Biến đổi Fourier nhanh Fast Fourier Transform

7 HHT Biến đổi Hilbert –

Huang

Hilbert Huang Transform

8 HT Biến đổi Hilbert Hilbert Transform

9 IMF Hàm bản chất Intrinsic Mode Function

10 LDA Phân tích di biệt tuyến

11 PSD Mật độ phổ công suất Power Spectral Density

12 RMS Giá trị hiệu dụng Root Mean Square

13 SNR Tỉ lệ nhiễu tín hiệu Signal to Noise Ratio

14 SQL Ngôn ngữ truy vấn Structured Query Language

16 SVM Thuật toán học máy có

giám sát Support Vector Machines

17 TNV Tình nguyện viên Volunteer

18 WT Biến đổi Wavelet Wavelet Transform

Trang vii

DANH MỤC HÌNH

Hình 2 1 Thu nhận tín hiệu điện não EEG - 7

Hình 2 2 Vị trí các điện cực theo chuẩn 10-20 - 8

Hình 2 3 Nhà tâm thần học Hans Berger - 10

Hình 2 4 Sản phẩm của NeuroScan - 11

Hình 2 5 Sản phẩm của Brain Products - 11

Hình 2 6 Sản phẩm của BioSemi - 12

Hình 2 7 Sản phẩm của EGI - 12

Hình 2 8 Sản phẩm của Emotiv - 13

Hình 2 9 Dạng sóng Delta - 14

Hình 2 10 Dạng sóng Theta - 14

Hình 2 11 Dạng sóng Alpha - 15

Hình 2 12 Dạng sóng Beta - 15

Hình 2 13 Dạng sóng Gamma - 16

Hình 2 14 Vị trí 5 thùy vỏ não - 16

Hình 2 15 Tên và vị trí các điện cực theo chuẩn quốc tế 10/20 - 18

Hình 2 16 Các dạng hàm Wavelet - 21

Hình 2 17 Tín hiệu EEG được phân tích thành 3 thành phần - 22

Hình 2 18 Tín hiệu được biến đổi Wavelet dạng ảnh - 22

Hình 2 19 Tín hiệu được biến đổi Wavelet dạng ảnh - 23

Hình 2 20 Lưu đồ giải thuật EMD - 25

Hình 2 21 Tín hiệu EEG cần phân tích - 26

Hình 2 22 Tín hiệu được phân tích thành IMF1 - 26

Hình 2 23 Tín hiệu được phân tích thành IMF2 - 27

Hình 2 24 Tín hiệu được phân tích thành IMF3 - 27

Hình 2 25 Tín hiệu được phân tích thành IMF4 - 27

Hình 2 26 Tín hiệu được phân tích thành IMF5 - 27

Hình 2 27 Tín hiệu được phân tích thành IMF6 - 27

Hình 2 28 Tín hiệu được phân tích thành IMF7 - 28

Hình 2 29 Tín hiệu được phân tích thành IMF8 - 28

Trang viii

Hình 2 30 Tín hiệu được phân tích thành IMF9 - 28

Hình 2 31 Tín hiệu được phân tích thành IMF10 - 28

Hình 2 32 Tín hiệu được phân tích thành IMF11 - 28

Hình 2 33 Tín hiệu được phân tích thành IMF12 - 28

Hình 2 34 Một kênh tín hiệu EEG được biến đổi thành các dạng sóng cơ bản - 29 Hình 2 35 Mô tả gom cụm dữ liệu - 29

Hình 2 36 Mô hình mạng Neural đơn lớp có 2 nút nhập - 32

Hình 2 37 Mô hình mạng Neural đa lớp - 33

Hình 3 1 Mô hình hệ thống - 36

Hình 3 2 Quá trình tiền xử lý - 36

Hình 3 3 Sóng con dạng hình nón Mêhicô - 37

Hình 3 4 Tín hiệu EEG ghi nhận được - 38

Hình 3 5 Một kênh tín hiệu được xử lý bằng biến đổi sóng con - 38

Hình 3 6 Mô hình mạng Neural - 39

Hình 3 7 Phân lớp kết quả nhận dạng - 40

Hình 3 8 Giản đồ thời gian thu nhận cho một khung hình - 41

Hình 3 9 Phân loại hình ảnh thành 05 lớp - 43

Hình 3 10 Lệnh điều khiển tương ứng - 44

Hình 3 11 Mô hình hệ thống - 44

Hình 3 12 Thuật toán K-Means - 46

Hình 3 13 Mô hình mạng Neural đa lớp - 46

Hình 3 14 Thuật toán huấn luyện mạng Neural - 47

Hình 3 15 Kiến trúc hệ thống - 53

Hình 3 16 Phát hiện mắt và lông mày - 54

Hình 3 17 Tâm đồng tử, phân đoạn ảnh mắt và lông mày - 54

Hình 3 18 Tỷ lệ mắt trái và lông mày trái - 54

Hình 3 19 Tỷ lệ mắt phải và lông mày phải - 55

Hình 3 20 Tỷ lệ tâm đồng tử và chiều dài mắt - 55

Hình 3 21 Mô hình mạng Neural - 56

Hình 3 22 Hệ thống phần cứng và phần mềm - 57

Trang ix

Hình 3 23 Xe lăn mô hình - 57

Hình 3 24 Bảng quan sát - 58

Hình 3 25 Thiết bị Emotiv EPOC+ - 58

Hình 3 26 So sánh kết quả thực nghiệm trên 2 tín hiệu riêng biệt - 62

Hình 4 1 Giao diện đăng nhập hệ thống - 64

Hình 4 2 Sinh viên tham gia điều khiển xe - 64

Hình 4 3 Bảng quan sát - 66

Hình 4 4 Giao diện huấn luyện - 66

Hình 4 5 Giao diện điều khiển - 67

Hình 4 6 Tín hiệu điều kiển “Chạy tới” - 67

Hình 4 7 Tín hiệu điều khiển “Chạy lùi” - 68

Hình 4 8 Tín hiệu điều khiển “Dừng” - 68

Hình 4 9 Tín hiệu điều khiển “Quay trái” - 68

Hình 4 10 Tín hiệu điều khiển “Quay phải” - 69

Hình 4 11 Giao diện xem từng kênh tín hiệu điện não EEG - 69

Hình 4 12 Mô hình hệ thống lưu trữ dữ liệu trên Websever - 70

Hình 4 13 Một kênh tín hiệu EEG được biến đổi thành các dạng sóng cơ bản - 71 Hình 4 14 Mô hình mạng neural đa lớp - 71

Hình 4 15 Các thiết bị phần cứng - 72

Hình 4 16 Bảng quan sát - 73

Hình 4 17 Camera Logitech C615 - 73

Hình 4 18 Xe lăn mô hình - 74

Hình 4 19 Sơ đồ nguyên lý mạch điện - 75

Hình 4 20 Lưu đồ giải thuật điều khiển xe - 76

Hình 4 21 Nón EPOC+ - 77

Hình 4 22 Máy tính giao tiếp với 2 thiết bị thông qua bluetooth - 77

Hình 5 1 Mô hình tổng hợp đề tài - 83

Hình 5 2 Xe lăn điều khiển bằng tín hiệu EEG - 84

Hình 5 3 Khảo sát khách hàng bằng tín hiệu EEG - 84

Trang x

DANH MỤC BẢNG

Bảng 2 3 Bảng so sánh giữa biến đổi Fourier, Wavelet và HHT [58][70][71] 26

Bảng 3 6 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm tra thứ nhất 59

Bảng 3 8 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm tra thứ hai 60

Trang xi

MỞ ĐẦU

Nghiên cứu tín hiệu điện não là một trong những lĩnh vực được quan tâm của nhiều nhà khoa học hiện nay, với mục đính là phát triển ứng dụng hỗ trợ, phát hiện bệnh lý con người như stress, trầm cảm [1][2][3]…, chuẩn đoán bệnh (động kinh, alzheimer – hội chứng suy giảm trí nhớ, chấn thương não), tuy nhiên trong lĩnh vực điều khiển tự động phục vụ cho con người, đặc biệt là người khuyết tật chưa được nghiên cứu nhiều

Trước đây, việc đọc tín hiệu điện não đồ hay điện tim đồ là công việc của các bác sĩ chuyên khoa thần kinh hay tim mạch, thì ngày nay với sự phát triển của các công cụ phân tích và xử lý tín hiệu hiện đại như mạng neural hay hệ thống AI các loại tín hiệu như thế có thể được xử lý để đưa ra những thông tin phục vụ cho các yêu cầu khác, như để điều khiển hỗ trợ hoạt động của con người Vì vậy mục tiêu của luận án là xây dựng được hệ thống hỗ trợ điều khiển một số hoạt động cơ bản của con người thông qua tín hiệu điện não, ví dụ như điều khiển chuyển động của

xe lăn cho người tàn tật mất khả năng hoạt động tay chân, có thể đáp ứng nhu cầu

xã hội bức thiết hiện nay

Nghiên cứu đã phân tích ba phương pháp tiền xử lý tín hiệu từ EEG, dùng biến đổi Fourier, phép biến đổi Wavelet, thuật toán HHT (Hilbert Huang Transform),

để biến đối thành 5 dạng sóng cơ bản Delta, Theta, Alpha, Beta, Gamma, sau đó

sử dụng kỹ thuật gom cụm dữ liệu trước khi đưa vào mạng neuron để phân loại thành 5 tín hiệu mong muốn chuyển động Các mạng reuron được thử nghiệm từ mạng đơn lớp đến mạng đa lớp cụ thể trong luận án này là 3 lớp

Hệ thống xử lý tín hiệu EEG bằng tiền xử lý HHT dùng mạng neural cùng với camera được thử nghiệm trên mô hình thực tế điều khiển xe lăn đã cho những kết quả chính xác tốt nhất đến 92,4% đối với nhóm 20 người được chọn cho thực nghiệm Điều này thể hiện thành công về ý nghĩa thực tiễn của luận án

Trang xii

ABSTRACT

Nowadays, EEG signal, one of the most important field was interested by science researchers, the main purpose research is support applications devlepment, diagnose and find out pathological of human as stress, depression, epileptic, alzheimer, brain trauma…, however, in the field of automatic control serving for human, especially for disabilities people, has not been studied so much

For long time ago, recording and processing the EEGs or ECGs signal was the work of neurologists or cardiologists Nowadays, with the development of modern signal processing and analysis tools such as neural networks and AI systems, such signals can be processed to meet the other needs, such as the control system support human acitivites.The goal of this thesis is to build a control system, which support some basic human activities through EEG signal For example, wheelchair equipement control for disabled people, meet today’s pressing social needs The author researched and analyzed three EEG signal pre-processing methods

as using Fourier transform, Wavelet transform and HHT transform, converting EEG signal to 5 basic waves (Delta, Theta, Alpha, Beta, Gamma), and then using data clustering technical before put them into input layer of multi neural network The neural network was test from single to multi layer (3 layer)

The EEG signal processing system with HHT pre-processing and image processing using multi neural network to control the wheelchair model with accuracy rate 92.4% for group 20 students, this shows the successful in the practical of the thesis

Trang 1

CHƯƠNG 1 TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO

Tóm tắt chương 1

Trong chương này tác giả trình bày khái quát tình hình nghiên cứu tín hiệu điện não EEG trong và ngoài nước, những ứng dụng đã đạt được hiện nay, phân tích những vấn đề chưa được giải quyết, còn hạn chế, mà trong luận án cần giải quyết, ngoài ra tác giả cũng trình bày mục đích và phạm vi nghiên cứu, những đóng góp của luận án trong thực tiễn

1.1 Tình hình nghiên cứu trong nước

Cho đến thời điểm hiện nay, các công trình nghiên cứu về lĩnh vực điện não ứng dụng trong kỹ thuật điều khiển ở nước ta không nhiều và chỉ dừng lại ở mức

độ nghiên cứu cơ bản như nghiên cứu hoạt động chớp mắt ảnh hưởng như thế nào đối với tín hiệu điện não [4], lọc nhiễu tín hiệu điện não EEG [5] trong ứng dụng nhận diện trạng thái điện não, trong các công trình nghiên cứu này, đối tượng thu nhận tín hiệu điện não là dạng hoạt động cơ nên việc phát hiện và phân loại được thực hiện bằng phương pháp ngưỡng biên độ Một nghiên cứu khác đó là lý thuyết

về tín hiệu điện não liên quan đến vận động chi trên [6], những nghiên cứu này được thực hiện trên lý thuyết và kết quả nghiên cứu chỉ ra có mối liên hệ giữa việc vận động và tưởng tượng vận động liên quan đến các hoạt động của thần kinh, một công trình nghiên cứu về lọc nhiễu tín hiệu điện não EEG… qua đây cho thấy việc nghiên cứu về tín hiệu điện não ứng dụng trong điều khiển tự động ở nước ta là chưa có, qua tìm hiểu một số công trình đã công bố và trang web ở các trường đại học danh tiếng trong nước cũng không có đề tài nào liên quan đến tín hiệu điện não trong điều khiển gần đây được công bố

1.2 Tình hình nghiên cứu ngoài nước

Hiện nay các công trình nghiên cứu được công bố trên các bài báo và tạp chí nước ngoài tập trung nghiên cứu chủ yếu vào phương pháp trích đặc điểm tín hiệu điện não offline, trạng thái tín hiệu điện não được hiện hữu thường xuyên như stress, trầm cảm, động kinh [2][3]…, mà chưa quan tâm nhiều đến trích đặc điểm online, thời điểm xuất hiện tín hiệu và thời gian tồn tại của tín hiệu

Trang 2

Theo [7][8] trong bất kỳ hoạt động nào của não bộ về một vấn đề nào đó nó đều có một đặc điểm riêng biệt được phản ánh thông qua các mẫu tín hiệu điện não

mà ta thu nhận được, tuy nhiên việc trích được những đặc điểm này là điều không

hề dễ dàng, chính vì thế trong thời gian gần đây để nhận dạng được đặc điểm của từng mẫu tín hiệu điện não, một số công việc được thực hiện phổ biến để trích xuất

và phát hiện thời điểm thực hiện như: chuyển động đầu, cổ, chớp mắt…[11][12][13][14] những hoạt động này dễ dàng được phát hiện thông qua biên độ ngưỡng do tác động cơ Các hoạt động khác như tập trung, sự chú ý, tư duy, tưởng tượng [15][16][17]…, hiện tượng trầm cảm, các bệnh lý như động kinh, đột quỵ… việc này đòi hỏi việc trích đặc điểm để nhận biết được sự kiện tương đối khó hơn so với vận động cơ do biên độ của nó không tăng đột biến [7][18], việc trích đặc điểm này đòi hỏi phải sử dụng các giải thuật để tìm được các đặc điểm như: phương pháp STFT, Wavelet Transform [19][20][21][22], nhưng do các hoạt động này có thời gian thực hiện kéo dài nên việc trích đặc điểm cũng tương đối thuận lợi [23][24][15][16] Một công việc có thời gian hoạt động ngắn đó là quan sát và cảm nhận các đối tượng bên ngoài, công việc này đòi hỏi trong thời gian ngắn phải trích được đặc điểm của nó và đây chính là mấu chốt giải quyết của luận văn, trong các công bố tương tự việc nhận dạng thường ở trạng thái offline [17] để phân tích và nhận dạng mẫu tín hiệu

1.3 Nội dung thực hiện đề tài

Trong quá trình thực hiện luận án của mình, để đánh giá phương pháp nghiên cứu của mình, tác giả dựa vào cơ sở dữ liệu về tín hiệu điện não EEG có sẵn được cung cấp bởi trường Đại học San Diego (UCSD) có uy tín của Mỹ, xếp hạng thứ

38 trên thế giới năm 2018 [26][27], để xây dựng các giải thuật xử lý và nhận dạng các mẫu tín hiệu điện não, cơ sở dữ liệu này chứa tín hiệu điện não EEG thu nhận được khi con người nhìn vào các loại hình ảnh khác nhau sẽ có những đặc trưng tín hiệu điện não khác nhau Sau khi đã đánh giá được tính khả thi của của việc nhận dạng mẫu tín hiệu thông qua mạng neural, tác giả tiến hành thu nhận 5 mẫu tín hiệu điện não thông qua việc quan sát 5 loại hình khác nhau trên bảng quan sát (con người, thành phố, phong cảnh, bông hoa và con vật), sau đó sử dụng những công cụ toán học để nâng cao độ chính xác quá trình xử lý và nhận dạng mẫu tín

Trang 3

hiệu EEG như phương pháp trích đặc điểm Wavelet Transform, HHT [28][29][30]

và các công thức tính toán tỉ lệ giữa tròng đen mắt, chân mày một cách hợp lý để

có được kết quả chính xác thông qua xử lý hình ảnh, tính mới của luận án so với các công trình trước là tác giả mạnh dạn sử dụng nhận dạng mẫu tín hiệu EEG trực tuyến khi người dùng nhìn vào 5 loại hình ảnh khác nhau và kết hợp camera để tăng độ chính xác của giải thuật, ngoài ra trong khâu tiền xử lý tác giả kết hợp giữa trích đặc điểm HHT với giải thuật gom cụm dữ liệu giúp cho việc nhận dạng thông qua mạng neural được nhanh hơn sử dụng phương pháp khác như Wavelet Transform và giúp cho mạng Neural dễ hội tụ, tránh bị “overfitting”, làm việc hiệu quả và chính xác hơn

Việc thiết kế phần mềm thu thập tín hiệu điện não EEG và kỹ thuật xử lý ảnh cho hoạt động quan sát chuyển động mắt đã thể hiện tính khả thi của luận án khi

áp dụng vào thực triển, một số các luận án trước đây liên quan đến việc hỗ trợ người khuyết tật như điều khiển bằng giọng nói, gậy thông minh cho người mù, các thiết bị cảm biến khác nhưng chưa có công trình nào trong nước cũng như ngoài nước thực hiện đầy đủ các nội dung trên

Thiết kế thiết bị điều khiển xe lăn mô hình phục vụ cho người khuyết tật nặng

sử dụng công nghệ điện não EEG và camera, kết quả luận án cho thấy rằng một người khuyết tật nặng, không thể tự mình di chuyển (nhưng còn minh mẫn và mắt hoạt động tốt) có thể điều khiển xe lăn theo ý muốn trong một phạm vi nào đó bằng việc sử dụng cảm nhận mắt của mình thông qua tín hiệu điện não EEG, ngoài ra sản phẩm của đề tài có yếu tố dễ sử dụng do có sự hỗ trợ của camera (được gắn trực tiếp trên bảng quan sát) giúp cho người chưa từng tham gia điều khiển xe lăn bằng tín hiệu điện não cũng có thể điều khiển được trong thời gian ngắn và dễ thực

Trang 4

hiện, đây được xem là tiền đề giúp cho các công trình nghiên cứu sau kế thừa phát huy để tạo ra được các công trình nghiên cứu thật sự có ích trong cuộc sống

1.5 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu chính trong luận án này là sử dụng mạng neural để phân loại 5 mẫu tín hiệu điện não EEG thu nhận được thành các dạng lệnh điều khiển tương ứng với 5 lệnh điều khiển xe lăn chạy tới, chạy lui, quay phải, quay trái, dừng lại, trong luận án còn đề cập đến quá trình xử lý ảnh để phát hiện hướng mắt

hổ trợ cho việc điều khiển xe được chính xác và hiệu quả hơn, tuy nhiên trong phần

xử lý ảnh tác giả không tập trung nhiều mà chủ yếu phần tín hiệu điện não EEG Trong phạm vi đề tài này tác giả chỉ tập trung về ý tưởng, học thuật và phương pháp phân loại các mẫu tín hiệu điện não EEG, xây dựng phần mềm ứng dụng để khiển xe lăn thực hiện như chạy tới, chạy lui, quay trái, quay phải và dừng lại (xe chỉ có thể xoay 1 góc 90o)

Do việc viết phần mềm điều khiển hệ thống chỉ mang tính chất minh họa, với yêu cầu đạt được một số trọng điểm chính nên luận án bỏ qua quy trình kiểm thử phần mềm

Luận án không tập trung vào thời gian xử lý tín hiệu để phát hiện câu lệnh, tốc

độ di chuyển, gia tốc, góc quay của xe, luận án cũng không tập trung nhiều vào phần xử lý ảnh để tìm ra vị trí hướng mắt vì đây là đề tài đã được thực hiện khá nhiều [31][32][33][34] và đạt được kết quả khả quan

Do vấn đề thiết kế xe lăn cho người tàn tật nặng thực tế khó khăn về kinh phí, thời gian thực hiện, mặt khác vấn đề nghiên cứu của luận án phần lớn tập trung vào xử lý và phần loại mẫu tín hiệu EEG online để điều khiều khiển xe lăn, do đó luận án sử dụng các đối là sinh viên trường Cao đẳng Công thương TP HCM thực hiện, trong quá trình thực nghiệm thu nhận tín hiệu điện não các em sinh viên chỉ

sử dụng mắt và suy nghĩ của mình, do đó về bản chất luận án vẫn đảm bảo tính khoa học

1.6 Những đóng góp của luận án

1.6.1 Đóng góp về mặt lý thuyết

Xây dựng được mô hình mạng Neural phân loại được 5 dạng mẫu tín hiệu điện não EEG khi con người nhìn vào 5 loại hình ảnh khác nhau Tìm ra được bảng

Trang 5

quan sát phù hợp và đơn giản để thu thập dữ liệu, kết hợp một cách khoa học giữa giải thuật trích đặc điểm và gom cụm dữ liệu trước khi đưa vào mạng neural để phân loại từng mẫu dữ liệu, chứng minh được rằng việc áp dụng kỹ thuật công nghệ về tín hiệu điện não EEG có rất nhiều ứng dụng hữu ích trong cuộc sống, không chỉ ứng dụng trong y sinh mà còn trong lĩnh vực điều khiển tự động, và đây

là lĩnh vực nghiên cứu mới giúp cho các bạn sinh viên Đại học và Sau đại học có thể nghiên cứu cho luận văn tốt nghiệp của mình

1.6.2 Đóng góp về mặt thực tiễn

Luận án cho thấy kết quả nghiên cứu này hoàn toàn có thể áp dụng cho người tàn tật nặng không thể tự mình di chuyển, có thể điều khiển xe lăn theo ý muốn (người tàn tật nặng ở đây là người không thể tự di chuyển bằng chân tay của mình, nhưng đầu óc còn minh mẫn và mắt hoạt động như người bình thường), đây là bước đầu tiên giúp cho các công trình sau kế thừa phát huy để tạo ra được các công trình nghiên cứu hữu ích trong cuộc sống dựa vào công nghệ tín hiệu điện não EEG

1.7 Cấu trúc nội dung của luận án

Cấu trúc của luận án bao gồm 3 phần: Tổng quan (chương 1, 2), nội dung nghiên cứu (chương 3, 4, 5), kết luận và kiến nghị (chương 6) Các chương trong luận án được tóm tắt như sau:

Chương 1: Tổng quan – Trình bày khái quát tình hình nghiên cứu tín hiệu điện

não EEG trong và ngoài nước, những ứng dụng đã đạt được hiện nay, phân tích những vấn đề chưa được giải quyết, còn hạn chế, mà trong luận án cần giải quyết, ngoài ra tác giả cũng trình bày mục đích và phạm vi nghiên cứu, những đóng góp

của luận án trong thực tiễn

Chương 2: Cơ sở lý thuyết – Trình bày những kiến thức cơ bản liên quan đến

luận án từ việc giới thiệu sơ bộ về kiến thức tín hiệu điện não EEG, các phương pháp, kỹ thuật trích đặc điểm tín hiệu như : Fourier, Wavelet Transform, HHT…, gom cụm dữ liệu, đến việc phân loại các đặc tính từng mẫu tín hiệu bằng mạng neural đa lớp, kỹ thuật xử lý ảnh để trích đặc điểm hướng mắt, đây là những kiến thức cơ bản cần có để nghiên cứu phát triển các thuật toán xử lý và thực hiện nội

dung của luận án

Trang 6

Chương 3: Xây dựng mô hình – Trình bày quá trình xây dựng mạng neural đa

lớp, được tiến hành từng bước từ việc phân loại 2 mẫu tín hiệu đến phân loại 5 mẫu tín hiệu Trong chương này cũng trình bày về kỹ thuật xử lý tín hiệu điện não kết hợp với xử lý ảnh thông qua camera Mỗi kết quả nghiên cứu đều có các công trình

nghiên cứu được đăng trên các bài báo, tạp chí quốc tế

Chương 4: Xây dựng phần mềm và phần cứng điều khiển xe lăn – Trong

chương này trình bày quá trình thiết kế phần mềm, các chức năng của phần mềm được thiết kế, những hướng dẫn cho người sử dụng đã hoặc chưa từng điều khiển

xe lăn làm quen với việc điều khiển và quá trình điều khiển xe lăn Các công việc

mà phần mềm đảm nhận như: kết nối server, quá trình thu nhận tín hiệu, trích đặc điểm, gom cụm và mạng neural đa lớp phân loại các mẫu tín hiệu Ngoài ra phần mềm còn đảm nhận việc xử lý ảnh từ camera để phát hiện sự di chuyển của hướng mắt kết hợp với việc xử lý tín hiệu điện não EEG để đưa ra kết quả cuối cùng Trình bày các bước thực nghiệm để đánh giá kết quả quá trình thực hiện luận

án, so sánh kết quả thực hiện giữa 2 phương pháp riêng biệt đó là tín hiệu điện não

và xử lý ảnh và cuối cùng là sự kết hợp giữa 2 phương pháp trên để cho kết quả sau cùng Mục đích trong lần thực nghiệm này là đánh giá lại toàn bộ hoạt động của hệ thống phần mềm

Chương 5: Kết luận và kiến nghị – Chương này đánh giá kết quả đạt được so

với yêu cầu của luận án và đề xuất hướng phát triển của đề tài đề ngày càng hoàn thiện hơn

1.8 Kết luận chương 1

Trong chương này tác giả trình bày tổng quan về tín hiệu điện não EEG, mục đích nghiên cứu, những đóng góp của luận án về mặt lý thuyết cũng như thực tiễn Trong chương 2 tác giả sẽ trình bày về các phương pháp trích đặc điểm tín hiệu cũng như lý thuyết về mạng neural đa lớp và các kiến thức khác liên quan đến luận

án

2.1 Tín hiệu điện não EEG

2.1.1 Giới thiệu về tín hiệu điện não EEG

Điện não đồ (EEG - Electroencephalogram) là đo lường sự khác biệt về điện trường giữa 2 vị trí khác nhau trên vỏ não, việc đo lường sự biến đổi về điện trường

ta thu nhận được tín hiệu điện não phản ánh sự hoạt động của não bộ [7][8][35]

Hình 2 1 Thu nhận tín hiệu điện não EEG

Từ việc so sánh các dạng sóng thu được với các dạng sóng tiêu chuẩn (delta, theta, alpha, beta và gamma), các bác sỹ có thể đưa ra được các chẩn đoán về tình trạng bệnh lý của bệnh nhân (stress/ trầm cảm) được chính xác hơn Từ khi ra đời cho đến nay, với sự phát triển và hoàn thiện không ngừng về việc nghiên cứu hoạt động cũng như đặc trưng của tín hiệu điện não, điện não đồ đóng góp vai trò đáng

kể trong chẩn đoán, điều trị và tiên lượng bệnh của hệ thần kinh trung ương[36][37]

Trang 8

Tín hiệu điện não EEG được thu nhận từ quá trình hoạt động về điện trường của hàng tỉ tế bào thần kinh, các tế bào này liên lạc với nhau thông qua các xung điện từ [7][38], khi nó hoạt động nó sẽ phát ra một trường điện từ đủ lớn để xuyên qua các mô, xương sọ và vỏ não và cuối cùng ta có thể đo lường được trên da đầu của mình, tín hiệu này chứa lượng thông tin vô cùng phong phú rất có ích cho con người nên ghi lại và xử lý các tín hiệu này có ý nghĩa vô cùng quan trọng [7][39] Hãy tưởng tượng giống như động đất, mỗi xung đơn lẻ phát ra thể không tạo

ra được sự chú ý lớn hay thậm chí chúng ta cũng không thể nhận biết được, nhưng khi nhiều xung phát ra tại cùng một thời điểm, cùng một vị trí và cùng một tần số thì chúng ta có thể nhận biết được thậm chí ở cách xa hàng trăm cây số, hoạt động của tín hiệu y sinh cũng tương tư như thế

Các điện cực được gắn trên các vị trí trên da đầu như hình 2.2 theo chuẩn

10-20 của quốc tế [40], sẽ giúp chúng ta thu nhận được tín hiệu y sinh (điện não) mà

nó phản ánh đầy đủ cường độ hoạt động của các dây thần kinh tại thời điểm thu nhận tín hiệu

Hình 2 2 Vị trí các điện cực theo chuẩn 10-20

Có 3 loại điện cực được sử dụng để thu nhận tín hiệu điện não: can thiệp, bán can thiệp và không can thiệp [22][41][42][43] Can thiệp và bán can thiệp đòi hỏi đặt các điện cực bên trong lớp da đầu của con người [44] điều này giúp cho việc thu nhận tín hiệu được tốt hơn, trung thực hơn tuy nhiên tiềm ẩn nhiều rủi ro nên

đa phần các nhà khoa học sử dụng phương pháp không can thiệp để thu nhận tín

Trang 9

hiệu điện não [45][46] Có thể tóm tắt lịch sử phát triển của tín hiệu điện não EEG như sau [7]:

 Năm 1875: nhà phẫu thuật người Anh Richard Caton, một bác sĩ vùng

Liverpool, có một công trình nghiên cứu được công bố trong báo y học Anh về phát hiện điện trường trong não của thỏ và khỉ, đây là lần đầu tiên quan sát được hoạt động điện có nhịp ở não động vật sống, khi con vật chết hoạt động này cũng mất Sau đó nhiều nhà khoa học trên thế giới đi sâu tìm hiểu về dòng điện hoạt động của não cá, ếch, thỏ, chó

 Năm 1890: Beck công bố thí nghiệm cho thấy có tín hiệu điện trong não

của chó và thỏ dao động khi có thay đổi ánh sáng

 Năm 1812: Vladimir Pravdich-Neminsky, bác sĩ Nga, đã trình bày điện

não đồ đâu tiên và ghi được xung điện neuron của não chó

 Năm 1914: Cybulsky và Jelenska-Macieszyna chụp ảnh được điện não đồ

của cơn động kinh trong phòng thí nghiệm

 Năm 1920: Hans Berger, bác sĩ, nhà tâm thần học người Đức lần đầu tiên

công bố ghi được sóng alpha và sóng beta ở não người Từ EEG (Electroencephalogram) do ông đặt ra Edgar Douglas Adrian sau đó tiếp nối công trình của ông và bắt đầu từ đây mở ra một hướng nghiên cứu mới về sinh lý và bệnh lý của não

 Năm 1934: Bác sĩ Fisher và Lowenback ghi được sóng bất thường

trên điện não đồ của bệnh nhân bị động kinh

loạt sóng bất thường của bệnh nhân bị động kinh - ngay cả lúc chưa lên cơn Đây

là bước ngoặc lớn trong khoa nghiên cứu dùng điện não đồ để chẩn đoán bệnh động kinh Cùng năm, một bệnh viện lớn tại Massachusetts bắt đầu sử dụng điện não đồ Franklin Offner, giáo sư lý sinh đại học Northwestern thiết kế điện não đồ

với khả năng ghi nét mực của sóng trên giấy cuộn

Trang 10

Hình 2 3 Nhà tâm thần học Hans Berger

quốc tế về điện não đồ

người đang mơ ngủ (cấp độ ngủ với mắt di chuyển nhanh)

Kể từ năm 1957 đến nay, có rất nhiều nhà khoa học trên thế giới đã tập trung nghiên cứu, phát minh cải tiến kỹ thuật và hoàn thiện dần phương pháp thu thập điện não đồ (H Berger, Grey, Wather, Gibbs, Jasper, Gastaut, Lennox, EA ZhirmunsKaja G Durup, F Bremer, N Harvey, G D Hobart, E Niedermeyer,

F L Silva ), đến nay đã có nhiều kỹ thuật mới, hiện đại như ghi điện não đồ có phân tích tự động, điện não đồ ghi qua băng cassete, qua vô tuyến, điện não đồ bản

đồ, điện não đồ video điện não đồ đã trở thành chuyên ngành thăm dò chức năng điện sinh lý thần kinh, cùng với các phương tiện xét nghiệm bổ trợ khác, điện não

đồ phát huy vai trò trong công tác chẩn đoán, điều trị bệnh và trong các công trình nghiên cứu của ngành y sinh học

2.2.2 Các loại thiết bị thu nhận tín hiệu điện não EEG

Hiện nay, có rất nhiều công ty sản xuất thiết bị thu nhận tín hiệu điện não, điều này chứng minh rằng lĩnh vực điện não ngày càng phát triển và sẽ cho ra những công trình nghiên cứu có tính ứng dụng cao trong cuộc sống, một số thiết bị tín hiệu điện não nổi tiếng như:

Trang 11

 NeuroScan là một trong những công ty lâu đời nhất thuộc lĩnh vực EEG,

NeuroScan được thành lập vào năm 1985 và trở thành công ty hàng đầu thế giới cung cấp thiết bị điện não EEG như hình 2.4, công ty cung cấp rất nhiều loại bao gồm công nghệ, phần mềm, thiết bị sử dụng 1 lần phục vụ cho nghiên cứu EEG

và lâm sàng

Hình 2 4 Sản phẩm của NeuroScan

 Brain Products Đây là công ty của Đức với hơn 160 kênh nhận tín hiệu

EEG như hình 2 5, ban đầu được thành lập vào năm 1997 và đã trở thành một trong những công ty hàng đầu trong lĩnh vực phân tích tín hiệu EEG cả phần cứng lẫn phần mềm, với chiến lược tập trung chủ yếu vào phần cứng, họ sản xuất ra các dụng cụ phụ vụ trong lĩnh vực fMRI, NIRS

Hình 2 5 Sản phẩm của Brain Products

Trang 12

 BioSemi được thành lập năm 1998 tại trường đại học Amsterdam cung

cấp lĩnh vực nghiên cứu về phần cứng và phần mềm, BioSemi đang nghiên cứu chuyên sâu vào lĩnh vực điện thế sinh học (Biopotential) với mục đích cải tiến hệ thống theo yêu cầu từ ban lãnh đạo công ty, sản phẩm thu nhận tín hiệu điện não của công ty BioSemi như ở hình 2.6

Hình 2 6 Sản phẩm của BioSemi

 EGI được thành lập vào năm 1992 là công ty của Mỹ chế tạo ra các thiết

bị EEG phục vụ cho lĩnh vực nghiên cứu khoa học và nghiên cứu lâm sàng, điểm nổi bậc nhất của công ty này là cung cấp thiết bị EEG nhiều nhất thế giới, hình 2.7 minh họa sản phẩm thu nhận tín hiệu điện não của công ty EGI

Hình 2 7 Sản phẩm của EGI

Trang 13

 Emotiv được thành lập vào năm 2011 và nhanh chóng trở thành công ty

sản xuất phần cứng EEG lớn nhất, hiện tại có 2 loại sử dụng để thu nhận tín hiệu điện não tùy thuộc vào mục đích khác nhau, đặc biệt người đồng sáng lập công ty này là người Úc gốc Việt, Lê Thị Thái Tần (Tần Lê) hiện đang là CEO của công

ty Emotiv, thiết bị EPOC+ như hình 2.8 là thiết bị thu nhận tín hiệu điện não của hãng đã được rất nhiều trường Đại học nghiên cứu do giá thành tương đối rẻ hơn

so với các hãng khác

Hình 2 8 Sản phẩm của Emotiv

 Neurosky Thành lập vào năm 2004 tại thung lũng Silicon được dùng nhiều

trong lĩnh vực sức khỏe, giáo dục và giải trí

Qua tham khảo một số các nhà cung cấp thiết bị EEG về đặc tính kỹ thuật cũng như giá thành, tác giả chọn thiết bị thiết bị Emotiv vì thiết bị có giá thành tương đối phù hợp, số lượng kênh 16 đủ để sử dụng trong nghiên cứu và người sáng lập

ra thiết bị là người Úc gốc Việt

2.2.3 Các dạng sóng cơ bản của tín hiệu điện não EEG

Theo các chuyên gia phân tích và các công trình nghiên cứu trước đó, tín hiệu điện não bao gồm 5 dạng sóng cơ bản, 5 dạng sóng cơ bản này đủ để phản ánh các đặc tính khác nhau của quá trình vận động não bộ, ví dụ nó phản ánh được quá trình tập trung, thư giãn, hưng phấn, bị stress… phản ánh được quá trình chuyển

Trang 14

đổi từ trạng thái này sang trạng thái khác như: nhìn hình dạng của đối tượng này sang đối tượng khác (vuông sang tròn, chữ nhật hình sao), nhìn từ màu sắc này sang màu sắc khác, nhận dạng đánh vần chữ viết [47] các sóng cơ bản này có tần

số thấp như: Sóng Delta, Theta, Alpha, Beta và Gamma [48] Các dạng sóng của tín hiệu điện não phản ánh sự hoạt động của của tế bào thần kinh thông qua điện

từ, tín hiệu điện não rất nhỏ khoảng vài micro volt (uV), các dạng tín hiệu điện não

có những đặc tính cơ bản sau:

Sóng Delta có tần số từ 0 đến 3 Hz là sóng có tần số thấp nhất nhưng biên độ lớn nhất như hình 2.9, sóng này xuất hiện nhiều ở lứa tuổi từ bé đến một tuổi và ở những người lớn trong lúc ngủ, ngủ say, dạng sóng này thường xuất hiện khắp nơi trên da đầu [7][49][50]

Hình 2 9 Dạng sóng Delta

Sóng Theta có tần số từ 3 Hz đến 7 Hz nó thường xuất hiện khi nhắm mắt và khi tinh thần ở trạng thái thư giãn như hình 2.10, xuất hiện ở những người trẻ hoặc lúc tỉnh thức ở người lớn tuổi và thường xuất hiện tại vùng thái dương [48]

Hình 2 10 Dạng sóng Theta

Sóng Alpha có tần số từ 7 đến 13 Hz như hình 2.11, xuất hiện nhiều nhất ở người lớn tuổi, hoạt động sóng alpha thường xảy ra 2 bên đầu nhưng thường có biên độ 2 bên không lớn hơn nhiều Sóng alpha xuất hiện khi nhắm mắt (trạng thái

Trang 15

thư giãn) và thường biến mất khi mở mắt hay bị stress Nó được xem là một dạng sóng bình thường [48]

Hình 2 11 Dạng sóng Alpha

Sóng Beta rất ngắn và có biên độ nhỏ như hình 2.12, dãy tần số từ 13 đến 30

Hz Dạng sóng này thường xuất hiện ở những bệnh nhân mà thường có tâm trạng cảnh giác, đề phòng, lo lắng hoặc khi mở mắt Sóng Beta được phân bố đối xứng

2 bên và rõ ràng nhất ở phía trước, thường xuất hiện ở phía trước và trên đỉnh đầu

vỏ não, biên độ sóng Beta thường nhỏ hơn 30uV [48]

uV

t (s)50

Trang 16

Hình 2 13 Dạng sóng Gamma 2.2 Ý nghĩa vị trí các điện cực trên thiết bị EEG

Não là một trong những cơ quan lớn nhất và phức tạp nhất trong cơ thể con người Nó được hình thành hơn 100 tỉ dây thần kinh, liên lạc tới 1000 tỉ khớp thần kinh [51], dựa vào vị trí, chức năng của từng khu vực sẽ giúp cho tác giả có thể tập trung vào nhiều những vị trí liên quan đến quá trình nghiên cứu của mình Não là khu vực đặc biệt và được chia thành các khu vực như hình 2.14, chức năng của từng vùng được thể hiện như bảng 2.1

Hình 2 14 Vị trí 5 thùy vỏ não Bảng 2 1 Chức năng của thùy vỏ não – [52]

Thùy trán trước Thực thi

Tập trung Thực thi Riêng tư

Nhận thức Hành vi Tính cánh Thùy trán Suy nghĩ Lô gíc

(Mắt)

Thùy trán: lớn nhất trong các thùy và chịu trách nhiệm cho chức năng vận động tự ý lời nói, trí tuệ, hành vi Vỏ não trán trước đóng vai trò quan trọng về trí nhớ, trí thông minh, sự tập trung, tính khí và cá tính

Thủy chẩm: cho phép con người tiếp nhận và xử lý thông tin thị giác Nó ảnh hưởng đến quá trình cảm thụ màu sắc và hình dạng Thùy chẩm bên phải diễn giải tín hiệu từ thị trường bên trái, trong khi thùy chẩm bên trái làm chức năng tương

tự cho thị trường bên phải

Thùy đỉnh: phân tích đồng thời các tín hiệu nhận được từ các khu vực khác nhau của não như thính giác, thị giác, vận động, cảm giác và trí nhớ Dựa vào trí nhớ và các thông tin nhận được để đưa ra ý nghĩa cho các thông tin sự việc Thùy thái dương: Thùy này nằm ở vị trí ngang tai của mỗi bên não bộ, và có thể được chia thành 2 phần Một phần nằm ở phía dưới và phần kia nằm ở phía trên mỗi bán cầu Một phần ở bên phải là tham gia vào bộ nhớ thị giác và giúp con người nhận biết sự vật và khuôn mặt người Một phần ở bên trái tham gia vào bộ nhớ ngôn ngữ, giúp con người ghi nhớ và hiểu ngôn ngữ Phần phía sau của thái dương cho phép con người phân tích cảm xúc và phản ứng của người khác

Hiện nay, ý nghĩa vị trí các điện cực như hình 2.15 phản ánh như thế nào đối với con người, cũng như phản ánh hiện tượng hoạt động, có rất ít bài báo đề cập đến vấn đề này Tuy nhiên điều này rất quan trọng trong việc phân tích tín hiệu cũng giảm số kênh trong quá trình xử lý tín hiệu, một số bài báo đề cập đến vấn đề này liên quan đến các dạng sóng cơ bản trong tín hiệu điện não [53], ngoài ra cũng

có một vài trang web trên internet đề cập đến vấn đề này như bảng 2.2, khi kết hợp

2 vị trí khác nhau ta lại có thêm nhiều ý nghĩa hơn, điều này giúp tác giả giảm bớt

số kênh cũng như rút ngắn thời gian xử lý

3

4

5

1 Fz Phối hợp vận động giữa các chi

dưới

Chạy, đi bộ và đá

2 Cz Giác quan vận động liên quan

đến 2 chi dưới

Đi bộ, đi dạo

3 T3 Thông tin về bộ nhớ và lưu trữ Xử lý phát âm, nghe có xử lý tiếng ù

4 T4 Thông tin về bộ nhớ và lưu trữ

Nghe (song phương) có tính lọc nhiễu, lưu trữ bào bộ nhớ một cách

tự nhiên

5 F3 Vận động cơ bên tay phải

Phối hợp vận động tinh tế Liên quan đến EOG và EMG [46]

6 F4 Vận động cơ bên tay trái

Phối hợp vận động tinh tế Liên quan đến EOG và EMG [46]

7 O1 Xử lý thị giác nữa không gian

bên phải

Nhận biết khuôn mẫu, nhận thức màu, vận động, nhận thức trắng đen,

và đường biên

9 C3 Cảm giác vận động chi bên phải

Đáp ứng viết tay nhanh nhẹn (tay phải)

10 C4 Cảm giác vận động chi bên trái Viết tay êm đềm (tay trái)

14 P4 Nhận thức nữa không gian bên

Xử lý âm thanh

17 FP1 Chú ý về luận lý

Khả năng phán đoán Tranh luận

18 FP2 Chú ý về cảm xúc

Xét xử, tranh luận

Tự cảm nhận

Tự chủ Kiềm chế sự bóc đồng

2.3 Các phương pháp trích đặc điểm tín hiệu

Như ta đã biết trong một tín hiệu bất kỳ luôn bao gồm 3 thành phần cơ bản (tần số, biên độ và thời gian) [54][55][56][57][58] và tín hiệu luôn ẩn chứa rất nhiều thông tin trong đó, việc phân tích biến đổi các thông tin đó thành các đại

Trang 20

lượng tần số, biên độ và thời gian [59] giúp chúng ta tìm ra được những đặc trưng riêng biệt tương ứng với từng loại thông tin khác nhau, để hiểu rõ hơn về việc phân tích tín hiệu, dưới đây là một số phương pháp biến đổi tín hiệu cơ bản thường sử dụng:

2.3.1 Biến đổi Fourier

Trong xử lý tín hiệu, phép biến đổi Fourier (FT, Fourier Transform) là một công cụ toán học quan trọng vì nó là cầu nối cho việc biểu diễn tín hiệu giữa miền không gian và miền tần số [48][60][61], tuy nhiên ngày nay tín hiệu được lưu trữ dưới dạng số (rời rạc) nên việc biến đổi fourier cũng được thực hiện trên tín hiệu rời rạc, phép biến đổi Fourier rời rạc chỉ cung cấp thông tin có tính chất toàn cục

và chỉ thích hợp cho tín hiệu tuần hoàn, không chứa các đột biến hoặc các thay đổi không dự báo được [62] Trong hình 2.17 phổ của f(t) cho thấy các thành phần tần

số cấu thành tín hiệu nhưng không cho biết các tần số này xuất hiện ở thời điểm nào của tín hiệu Để khắc phục khuyết điểm này Gabor, D., (1946) [51] đã áp dụng phép biến đổi Fourier cửa sổ (WFT, Windowed Fourier Transform), hay còn gọi

là STFT (short time fourier Transform) cho từng phân đoạn nhỏ của tín hiệu; phép biến đổi này cho thấy mối liên hệ giữa không gian và tần số, thông số quan trọng nhất trong phương pháp này là độ dài cửa sổ và độ chồng lấp, hai thông số về thời gian và phổ tần số ảnh hưởng rất nhiều bởi việc lựa chọn độ dài cửa sổ, khi giảm bớt độ dài cửa sổ ta sẽ xác định được vị trí của tín hiệu tốt hơn là phổ tần số, khi chúng ta tăng độ rộng việc xác định vị trí tín hiệu bị giảm và xác định phổ tần số được tăng lên, điều này gây ra hiện tượng được gọi là nguyên lý không chắc chắn Heisengber (Kaiser, G., 1994) [62] Ứng dụng của STFT phù hợp trong việc xử lý

âm thanh, giọng nói, đôi khi nó cũng được ứng dụng trong xử lý ảnh, với độ rộng

cố định trong biến đổi STFT và bị giới hạn trong phổ thời gian và miền tần số, đây

là lý do vì sao người ta không sử dụng liên quan đến đến việc phân tích tín hiệu trong miền thời gian và tần số, đặc biệt những tín hiệu phi tuyến biến đổi liên tục như tín hiệu y sinh EEG, phép biến đổi Wavelet là bước tiếp theo để khắc phục hạn chế này

2.3.2 Biến đổi Wavelet

Với ( ) là dạng sóng Wavelet được sử dụng

Hàm sóng Wavelet có đặc trưng về năng lượng được chuẩn hóa bằng đơn vị cho mọi tỉ lệ của s, tính chất thứ hai của hàm Wavelet là:

Trang 22

Ưu điểm chính của phép biến đổi Wavelet là phân tích chi tiết tín hiệu cần xử

lý thành từng vùng không gian rất nhỏ [63][64][65], quá trình phân tích này giúp chúng ta dễ dàng phát hiện các điểm đứt gãy (do xuất hiện/ biến mất của một hay nhiều tần số nào đó mà ta không biết trước), điểm đứt gãy này càng dễ phát hiện nếu ta chọn hàm Wavelet đồng dạng với tín hiệu

Có hai cách biểu diễn các hệ số Wavelet Thứ nhất biểu diễn các hệ số trong

hệ tọa độ ba trục vuông góc: tần số, thời gian và biên độ như hình 2.17, thứ hai biểu diễn các hệ số trong mặt phẳng không gian tỉ lệ (gọi là tỉ lệ đồ) ở dạng các đường đẳng trị hay ở dạng ảnh; cách biểu diễn này thông dụng trong xử lý ảnh như hình 2.18, hình 2.19

Hình 2 17 Tín hiệu EEG được phân tích thành 3 thành phần

Hình 2 18 Tín hiệu được biến đổi Wavelet dạng ảnh

Trang 23

Hình 2 19 Tín hiệu được biến đổi Wavelet dạng ảnh

Qua các hình minh họa trên, ta nhận thấy rằng tùy thuộc vào từng ứng dụng khác nhau mà ta có thể sử dụng biến đổi Wavelet theo dạng ảnh hay dạng không gian 3 chiều

2.3.3 Biến đổi HHT (Hilbert Huang Transform)

Biến đổi HHT là phương pháp trích đặc điểm tín hiệu theo dạng thực nghiệm, HHT là công cụ hữu ích trong việc phân tích tín hiệu biến đổi liên tục theo thời gian, và EMD là cốt lõi trong giải thuật này, nó ảnh hưởng trực tiếp đến kết quả phân tích cuối cùng, tuy nhiên nó có một vài vấn đề cần giải quyết trong EMD như: tính hiệu quả và đường bao [3][28][67]

Giải thuật EMD truyền thống (Empirical Mode Decomposition – phân tích theo kinh nghiệm) [28][68][69] Ý tưởng chính của giải thuật EMD là quá trình lặp lại để phân tích tín hiệu đã cho thành các tập IMF, IMF là hàm đơn giản nhất thay đổi theo biên độ và tần số mà nó có một vài đặc tính sau:

Trong suốt độ dài của tín hiệu IMF, số lượng cực trị và số lượng qua điểm 0 (điểm zero) bằng nhau hoặc có sai số là 1

Tại bất kỳ vị trí nào của dữ liệu, giá trị trung bình của đường bao được xác định là cực đại và đường bao được xác định là cực tiểu đều bằng zero

Với 2 đặc tính này của IMF, quá trình thực hiện để trích xuất 1 IMF từ tín hiệu

đã cho x(t) được mô tả như sau:

Xác định tất cả các điểm cực trị cục bộ (bao gồm cực đại và cực tiểu) nối những điểm cực đại lại ta được xmax(t) và cực tiểu ta được xmin(t) theo dạng hàm bậc 3 theo cho 2 đường bao cực đại và cực tiểu

Trang 24

Giá trị trung bình của 2 đường bao được trừ đi bởi tín hiệu đã cho ta được phương trình sau:

h(t) = x(t) – (xmax(t) – xmin(t))/2 (2.3) Gán h(t) là tín hiệu cần phân tích lặp lại từ bước 1 đến bước 2 cho đến khi các đường bao đối xứng theo giá trị zero theo 1 chuẩn nào đó Tín hiệu h(t) cuối cùng này được xem là c1(t), và 1 IMF đầu tiên được tìm thấy

Lấy r1(t) = x1(t) – c1(t) sau đó xử lý như một tín hiệu mới và thực hiện quá trình như đã nêu trên, ta tìm được IMF lần 2 từ r1(t) quá trình này được tiếp tục cho đến khi tìm ra được IMF hay 1 tín hiệu đủ nhỏ, có nghĩa là các hàm tích phân của các giá trị tuyệt đối hay tín hiệu còn lại không có biến đổi Cộng tất cả các IMF lại và được trừ đi từ tín hiệu ban đầu tín hiệu còn lại đó là biểu diễn hướng của tín hiệu Cuối cùng tín hiệu x(t) có thể được viết như sau:

Theo công thức (2.4), N là số lượng IMF, rN(t) là phần dư (hướng của tín hiệu) và các ci(t) gần như trực giao với nhau Tóm lại giải thuật EMD được tóm tắt như sau:

Trang 25

Hình 2 20 Lưu đồ giải thuật EMD

Bằng các quá trình sàng lọc, dữ liệu giờ là những IMF, mà biến đổi HHT có thể được áp dụng; phổ Hilbert cho phép chúng ta thể hiện được biên độ và tần số tức thời theo thời gian trong không gian 3 chiều, phân bổ theo thời gian và tần số của biên độ được gọi là phổ biên độ Hilbert, cũng được gọi là biến đổi Hilbert –

Bắt đầux(n)r(n) = x(n)r(n)

Đ

Trang 26

Huang (HHT) Phương pháp HHT không những cung cấp cho chúng ta thông tin

về các sự kiện theo thời gian và tần số tốt hơn phân tích Wavelet [63] mà còn có ý nghĩa vật lý trong việc diễn giải quá trình động, bảng 2.3 cho chúng ta thấy rõ các đặc tính khác nhau giữa 3 phương pháp đã trình bày phần trên

Bảng 2 3 Bảng so sánh giữa biến đổi Fourier, Wavelet và HHT [58][70][71]

Tần số Có tính toàn cục Có tính cục bộ Khác nhau trên từng

vùng cục bộ, chính xác Thời gian biến đổi Nhanh Chậm Nhanh [36]

Phi tuyến Không phù hợp Phù hợp Phù hợp

Trích đặc điểm Không phù hợp Phù hợp Phù hợp

Cơ sở lý thuyết Cơ sở toán học Cơ sở toán

Độ phức tạp trong

giải thuật Phức tạp Phức tạp Đơn giản [36]

Một tín hiệu EEG như hình 2.21 được phân tích bằng phương pháp HHT cho

ta kết quả như sau:

Hình 2 21 Tín hiệu EEG cần phân tích

Hình 2 22 Tín hiệu được phân tích thành IMF1