Thuật toán tìm ngưỡng xác định các hoạt động của mắt dựa vào tín hiệu EEG

Cao học Hệ đào tạo: chính quy Thời gian đào tạo: từ 8/20010 đến 8/2012 Nơi học trường, thành phố: Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM Ngành học: Kỹ Thuật Điện Tử Tên luận án: Thuật t

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ NGUYỄN VĂN TRUNG

NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270

S 0 9

THUẬT TOÁN TÌM NGƯỠNG XÁC ĐỊNH CÁC

HOẠT ĐỘNG CỦA MẮT DỰA VÀO TÍN HIỆU EEG

S 0 6

S KC 0 0 3 7 4 5

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ

Tp Hồ Chí Minh, tháng 10/2012

NGUYỄN VĂN TRUNG

THUẬT TOÁN TÌM NGƯỠNG XÁC ĐỊNH CÁC HOẠT

ĐỘNG CỦA MẮT DỰA VÀO TÍN HIỆU EEG

NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270

Hướng dẫn khoa học:

TS NGUYỄN THANH HẢI

LÝ LỊCH KHOA HỌC

I LÝ LỊCH SƠ LƢỢC

Họ & tên: Nguyễn Văn Trung Giới tính: Nam

Ngày, tháng, năm sinh: 20/10/1987 Nơi sinh: Bà Rịa – Vũng Tàu

Quê quán: Quảng Trị Dân Tộc: kinh

Chỗ ở riêng hoặc địa chỉ liên lạc: Tổ 15, thôn Sông Cầu, xã Nghĩa Thành, huyện Châu Đức, tỉnh Bà Rịa – Vũng Tàu

Điện thoại cơ quan: Điện thoại nhà riêng: 0934.924.981

Fax: E-mail: nguyenvantrung201087@yahoo.com

II QUÁ TRÌNH ĐÀO TẠO

1 Đại học:

Hệ đào tạo: chính quy Thời gian đào tạo từ 10/2005 đến 2/2010

Nơi học (trường, thành phố): Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM

Ngành học: Kỹ Thuật Điện – Điện Tử

Tên đồ án, luận án hoặc môn thi tốt nghiệp: Máy Khoan Mạch In Tự Động

Người hướng dẫn: Nguyễn Đình Phú, Đại Học Sư Phạm Kỹ Thuật TP.HCM

2 Cao học

Hệ đào tạo: chính quy Thời gian đào tạo: từ 8/20010 đến 8/2012

Nơi học (trường, thành phố): Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM

Ngành học: Kỹ Thuật Điện Tử

Tên luận án: Thuật toán tìm ngƣỡng xác định các hoạt động của mắt dựa vào

Ngày và nơi bảo vệ: tháng 10/2012 tại trường Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM

Người hướng dẫn: TS Nguyễn Thanh Hải, Đại Học Quốc Tế, Đại Học Quốc Gia TP.HCM

III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC:

Thời gian Nơi công tác Công việc đảm nhiệm 8/2010 – 3/2012 Trường CĐ Kỹ Thuật Cao Thắng Giảng Viên

4/2012 - nay Công ty cáp Taihan Sacom Kỹ sư quản lý chất lượng

IV CÁC BÀI BÁO ĐÃ CÔNG BỐ

TT Thời gian Tên bài báo Nơi công bố

1 3/2012

A Mean Threshold Algorithm For Human Eye Blinking Detection Using EEG

Đại Học Quốc Tế, Đại Học Quốc Gia TP.HCM

2 9/2012

A Mean Threshold Algorithm For Detection Of Human Eye Activities Using EEG Technique

Trường ĐH Sư Phạm

Kỹ Thuật TP.HCM

Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012

Người khai ký tên

Nguyễn Văn Trung

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của tôi với sự hướng dẫn của TS Nguyễn Thanh Hải

Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác

Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012

(Ký và ghi rõ họ tên)

Nguyễn Văn Trung

LỜI CẢM TẠ

Đầu tiên, tôi xin gởi lời cám ơn sâu sắc đến TS Nguyễn Thanh Hải – người đã trực tiếp hướng dẫn tôi một cách tận tình và chu đáo từ lúc nhận đề cương cho tới lúc hoàn thành đề tài Trong quá trình làm đề tài, Thầy Nguyễn Thanh Hải đã luôn theo sát tiến trình thực hiện đề tài, có những gợi ý và chỉ dẫn khoa học giúp tôi giải quyết những khó khăn trong quá trình làm đề tài

Tôi xin cảm ơn quý Thầy Cô đã tham gia giảng dạy lớp cao học khóa 2010 – 2012, người đã mang đến cho tôi những kiến thức quý báu trong khoa học kỹ thuật

Tôi xin chân thành cảm ơn lãnh đạo Trường Cao Đẳng Cao Thắng, nơi tôi công tác

đã tạo mọi điều kiện thuận lợi cho tôi hoàn thành đề tài

Tôi gửi lời biết ơn sâu sắc đến gia đình, những người đã ủng hộ và động viên để tôi yên tâm học tập và nghiên cứu

Cuối cùng, tôi xin gởi lời cám ơn đến quý Thầy Cô bộ môn Điện Tử Y Sinh, trường Đại Học Quốc Tế TP.HCM và các sinh viên của trường đã hỗ trợ tôi trong quá trình thu thập dữ liệu tại đây

Xin chân thành cảm ơn!

Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012

Học viên

Nguyễn Văn Trung

TÓM TẮT

Não người đóng vai trò quan trọng trong hoạt động của con người Dựa trên tín hiệu điện não ta có người ta có thể xác định những thay đổi trong hoạt động của não bộ phục vụ cho việc chuẩn đoán bệnh tật cũng như khôi phục lại khả năng vận động của con người Trong đề tài này, thuật toán ngưỡng và mạng nơron truyền thẳng nhiều lớp được sử dụng để xác định các hoạt động của mắt dựa trên tín hiệu EEG Trước khi phân tích tín hiệu EEG, tín hiệu gốc được loại bỏ nhiễu và lọc lấy tín hiệu delta bằng bộ lọc thông dải Đặc tính của tín hiệu EEG được trích xuất bởi các hệ số của mô hình AR Các hệ số này là ngõ vào của mạng nơron truyền thẳng nhiều lớp

để phận loại các hoạt động của mắt Bên cạnh đó thuật toán ngưỡng cũng được áp dụng để xác định các hoạt động của mắt Nghiên cứu này hữu ích cho việc chuẩn đoán các bệnh về mắt như khô mắt và tạo ra một hệ thống BCI để điều khiển xe lăn điện hoặc kiểm soát đèn trong nhà

MỤC LỤC

LÝ LỊCH KHOA HỌC i

LỜI CAM ĐOAN iii

LỜI CẢM TẠ iv

TÓM TẮT v

ABSTRACT vi

MỤC LỤC vii

DANH SÁCH CÁC CHỮ VIẾT TẮT x

DANH SÁCH CÁC HÌNH xi

DANH SÁCH CÁC BẢNG xiv

Chương 1 TỔNG QUAN 1

1.1 Tổng Quan 1

1.2 Mục Đích Của Đề Tài 2

1.3 Phạm Vi Của Đề Tài 2

1.4 Phương Pháp Nghiên Cứu 2

1.5 Nội Dung Của Luận Văn 3

Chương 2 CỞ SỞ LÝ THUYẾT 5

2.1 Ứng Dụng Hệ Thống BCI Điều Khiển Thiết Bị 5

2.2 Ứng Dụng Thuật Toán Ngưỡng Để Nhận Dạng 5

2.3 Trích Đặc Tính EEG Sử Dụng Hệ Số Mô Hình AR Và Nhận Dạng Bằng

Mạng Nơron 6

2.4 Lọc Nhiễu Tín Hiệu EEG 6

Chương 3 HỆ THỐNG GIAO TIẾP MÁY TÍNH NÃO VÀ THU THẬP DỮ LIỆU EEG

7

3.1 Hệ Thống Giao Tiếp Máy Tính Não 7

3.1.1 Khái niệm 7

3.1.2 Hệ Thống BCI Của Đề Tài 8

3.2 Thu Thập Tín Hiệu Điện Não Bằng Công Nghệ EEG 10

3.2.1 Các Phương Pháp Thu Tín Hiệu Điện Não 10

3.2.1.1 Đo Tín Hiệu Dùng Phương Pháp Điện Não Đồ 10

3.2.1.2 Đo Tín Hiệu Điện Não Dùng Phương Pháp Hồng Ngoại Gần 13

3.2.1.3 Đo Tín Hiệu Não Dùng Phương Pháp Cộng Hưởng Từ 14

3.2.1.4 Đo Tín Hiệu Não Sử Dụng Phương Pháp Từ Não 15

3.2.2 Thu Thập Dữ Liệu Dùng Máy Active Two 16

3.2.2.1 Giới Thiệu Máy Active Two 16 16 3.2.2.2 Các Bước Thu Tín Hiệu Bằng Máy Active Two 17

3.2.2.3 Thu Thập Dữ Liệu Thí Nghiệm Bằng Máy Active Two 18

Chương 4 TIỀN XỬ LÝ TÍN HIỆU EEG DÙNG BỘ LỌC THÔNG DẢI HAMMING 23

4.1 Lý Thuyết Về Bộ Lọc Số 23

4.2 Lọc Nhiễu Tín Hiệu EEG Bằng Bộ Lọc Hamming 27

Chương 5

TRÍCH ĐẶC TÍNH CỦA TÍN HIỆU EEG DỰA TRÊN CÁC HỆ SỐ MÔ

HÌNH AR 34

5.1 Trích Các Đặc Tính Của Tín Hiệu Dựa Trên Các Hệ Số Mô Hình AR 34

5.2 Trích Các Đặc Tính Của Tín Hiệu EEG Dựa Trên Các Hệ Số Mô Hình AR 35

Chương 6 THUẬT TOÁN NGƯỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT 40

6.1 Thuật Toán Ngưỡng 40

6.2 Thuật Toán Ngưỡng Xác Định Các Hoạt Động Của Mắt 41

6.3 Dùng Thuật Toán Ngưỡng Xác Định Các Hoạt Động Của Mắt Online 47

Chương 7 NHẬN DẠNG CÁC HOẠT ĐỘNG CỦA MẮT DÙNG MẠNG LAN TRUYỀN NGƯỢC 50

7.1 Mạng Lan Truyền Ngược 50

7.2 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược 53

Chương 8 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 58

8.1 Kết Luận 58

8.2 Hướng Phát Triển Của Đề Tài 58

TÀI LIỆU THAM KHẢO 59

ANH SÁCH CÁC CHỮ VIẾT TẮT

AR – Autoregresion

EEG – Electroencephalogram

BCI – Brain Computer Interface

fNIRS – function Near - Infrared Spectroscopy

fMRI – function Magnetic Resonance Imaging

MEG – Magnetoencephalography

MLP – Multi - Layer Perceptron

DANH SÁCH CÁC HÌNH

Hình 3.1: Hệ thống giao tiếp máy tính não 8

Hình 3.2: Sơ đồ khối xác định các hoạt động của mắt sử dụng thuật toán ngưỡng 9

Hình 3.3: Sơ đồ khối xác định các hoạt động của mắt sử dụng mạng nơron 10

Hình 3.4: Đo tín hiệu điện não dùng phương pháp EEG 11

Hình 3.5: Đo tín hiệu điện não dùng fNIRS 13

Hình 3.6: Đo tín hiệu điện não bằng phương pháp fMRI 15

Hình 3.7: Đo tín hiệu sử dụng phương pháp MEG 16

Hình 3.8: Máy Active Two đặt tại phòng A104 16

Hình 3.9: Sơ đồ khối của máy Active Two 17

Hình 3.10: Gắn nón vào người làm thí nghiệm 18

Hình 3.11: Cho gel vào lỗ giữ điện cực 18

Hình 3.12: Gắn các điện cực vào lỗ chứa điện cực 18

Hình 3.13: Giao diện phần mềm Actiview 18

Hình 3.14: Vị trí các điện cực 19

Hình 3.14: Điện cực được gắn trên đối tượng 19

Hình 3.15: Protocol cho đối tượng thực hiện mở và chớp mắt 19

Hình 3.16: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm mở mắt 20

Hình 3.17: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm chớp mắt 21

Hình 3.18: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm liếc trái 21

Hình 3.19: Tín hiệu EEG thu được tại Fp1, F7, F8 khi thí nghiệm liếc phải 22

Hình 4.2: Cửa sổ Hamming với L=71 26

Hình 4.3: Đáp ứng biên độ và pha của bộ lọc Hamming 27

Hình 4.4: Sơ đồ khối của hệ thống lọc nhiễu 27

Hình 4.5: Đáp ứng biên độ và pha của bộ lọc Hamming có L=11 28

Hình 4.6: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=11 28

Hình 4.7: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=3 29

Hình 4.8: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=17 29

Hình 4.9: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=23 30

Hình 4.10: Tín hiệu gốc (F8) và tín hiệu được lọc nhiễu với L=27, N=26 30

Hình 4.11: Tín hiệu mở mắt tại Fp1, F7, F8 sau khi được lọc nhiễu 31

Hình 4.12: Tín hiệu chớp mắt tại Fp1, F7, F8 sau khi được lọc nhiễu 31

Hình 4.13: Tín hiệu liếc mắt trái tại Fp1, F7, F8 sau khi được lọc nhiễu 32

Hình 4.14: Tín hiệu liếc mắt phải tại Fp1, F7, F8 sau khi được lọc nhiễu 32

Hình 5.1: Sơ đồ trích các đặc tính của tín hiệu EEG 35

Hình 5.2 : Tín hiệu mở mắt 36

Hình 5.3: Các hệ số AR 36

Hình 5.4: Tín hiệu chớp mắt 37

Hình 5.5: Các hệ số AR 37

Hình 5.6: Tín hiệu liếc trái 37

Hình 5.7: Các hệ số AR 37

Hình 5.8: Tín hiệu liếc phải 38

Hình 5.9: Các hệ số AR 38 Hình 5.10: Bốn vectơ hệ số của thì nghiệm chớp mắt, mở mắt, liếc trái và liếc phải

39

Hình 6.1: Sơ đồ xác định giá trị ngưỡng 41

Hình 6.2: Kết quả phân loại 45

Hình 6.3: Kết quả xác định hoạt động chớp mắt tại Fp1 46

Hình 6.4: Kết quả xác định hoạt động liếc phải tại F7 46

Hình 6.5: Kết quả xác định hoạt động liếc trái tại F8 47

Hình 6.6: Đối tượng đang tiến hành mô phỏng online 47

Hình 6.7: Các hướng di chuyển và góc quay của đối tượng 49

Hình 6.8: Đối tượng điều khiển xe lăn điện 49

Hình 7.1: Cấu trúc của mạng truyền thẳng nhiều lớp 51

Hình 7.2: Hình dạng của hàm sigmoid 51

Hình 7.3: Cấu trúc mạng nơron nhiều lớp có 1 lớp ẩn 53

Hình 7.4: Cấu trúc của mạng nơron nhiều lớp có 2 lớp ẩn 54

DANH SÁCH CÁC BẢNG

Bảng 3.1: Thông tin của đối tượng làm thí nghiệm 20

Bảng 5.1: Vectơ hệ số AR cho 4 thí nghiệm 36

Bảng 5.2: Các hệ số AR cho 4 thí nghiệm 38

Bảng 6.1: Kết quả thí nghiệm trên đối tượng 1 tại Fp1 43

Bảng 6.2: Kết quả thí nghiệm trên đối tượng 1 tại F7 43

Bảng 6.3: Kết quả thí nghiệm trên đối tượng 1 tại F8 44

Bảng 6.4: Kết quả tính toán ngưỡng các đối tượng còn lại 44

Bảng 6.5: Bảng kiểm tra kết quả phân loại 45

Bảng 6.6: Mô tả trạng thái của đèn 48

Bảng 6.7: Các lệnh điều khiển 48

Bảng 7.1: Mô tả việc phân loại tín hiệu EEG và ngõ ra mong muốn 54

Bảng 7.2: Vectơ hệ số AR cho 4 thí nghiệm 55

Bảng 7.3: Kết quả huấn luyện mạng khi có 1 lớp ẩn 56

Bảng 7.4: Kết quả huấn luyện mạng khi có 2 lớp ẩn 56

Một ứng dụng quan trọng khác đó là dựa trên tín hiệu EEG để khôi phục lại các chức năng của con người Do bệnh tật hoặc do tai nạn gây ra, một số người không

có khả năng đi lại, cử động…,những người này mất đi khả năng tương tác với thế giới bên ngoài Hệ thống giao tiếp máy tính não (BCI) đóng vai trò quan trọng nhằm hỗ trợ và thay thế con người tương tác với thế giới bên ngoài Hệ thống này chuyển các tín hiệu điện não thành các tín hiệu điều khiển mong muốn như điều khiển xe lăn điện, điều khiển thiết bị (tivi, máy lạnh, đèn…), điều khiển cử động (cánh tay giả trên người bênh nhân)

Hiện nay có nhiều phương pháp thu tín hiệu điện não được sử dụng cho việc chuẩn đoán và xây dựng hệ thống BCI Phương pháp điện não đồ (EEG) và từ não sử dụng các điện cực gắn trực tiếp trên da đầu Còn phương pháp cộng hưởng từ (fMRI), hồng ngoại gần (fNIR) đo nồng độ oxy trong máu ở trên não người

Với sự phát triển của khoa học kỹ thuật, các nghiên cứu gần đây tập trung vào nâng cao độ chính xác và tốc độ của hệ thống bằng việc nghiên cứu các đặc tính hoạt động của não, cải tiến thiết bị thu thập dữ liệu và tối ưu hóa các kỹ thuật xử lý tín

1 Tổng Quan

Tại Việt Nam, việc xây dựng các thuật toán xử lý tín hiệu điện não và xây dựng hệ thống BCI ứng dụng là hướng nghiên cứu mới được nhiều người quan tâm Để xây dựng được hệ thống BCI, đòi chúng ta phải sử dụng các thuật toán như lọc nhiễu, nhận dạng mô hình, huấn luyện…để tìm ra những đặc tính của tín hiệu điện não

Từ các ứng dụng của tín hiệu điện não, thiết bị đang có và sự gợi ý của TS Nguyễn

Thanh Hải Vì vậy tên đề tài được chọn là: “Thuật toán tìm ngưỡng xác định các

hoạt động của mắt dựa vào tín hiệu EEG”

1.2 Mục Đích Của Đề Tài

Mục đích nghiên cứu của đề tài là xây dựng được thuật toán ngưỡng và mạng nơron truyền thẳng nhiều lớp để xác định các hoạt động của mắt So sánh kết quả của hai thuật toán Đồng thời xây dựng hệ thống BCI để điều khiển thiết bị (đèn hoặc xe lăn)

1.3 Phạm Vi Của Đề Tài

Phạm vi của đề tài là tìm hiểu tín hiệu EEG và các ứng dụng dựa trên tín hiệu EEG Xây dựng thuật toán ngưỡng và huấn luyện mạng nơron để xác định các hoạt động của mắt Kiểm chứng kết quả qua các ứng dụng mô phỏng hoặc điều khiển xe lăn điện

1.4 Phương Pháp Nghiên Cứu

Các phương pháp nghiên cứu được sử dụng trong đề tài:

- Phương pháp nghiên cứu tài liệu: thu thập các tài liệu, bài báo khoa học liên quan đến lĩnh vực nghiên cứu Nghiên cứu lý thuyết để xây dựng thuật toán cho đề tài

- Phương pháp thực nghiệm: tiến hành đo tín hiệu não từ máy Active Two Áp dụng các thuật toán để xử lý tín hiệu đo được

- So sánh: so sánh kết của đạt được giữa các phương pháp

1 Tổng Quan

1.5 Nội Dung Của Luận Văn

Nội dung của luận văn bao gồm 8 chương:

Chương 1: Tổng quan

Chương này trình bày tổng quan về lĩnh vực nghiên cứu Các nhiệm vụ, phạm vi và phương pháp nghiên cứu đề tài

Chương 2: Cơ sở lý thuyết

Chương này trình bày về các cơ sở lý thuyết cần thiết phục vụ cho nghiên cứu trong

đề tài

Chương 3: Hệ hệ thống giao tiếp máy tính não và thu thập dữ liệu EEG

Chương này trình bày về hệ thống giao tiếp máy tính não Các phương pháp thu thập tín hiệu điện não và tiến hành thu dữ liệu các thí nghiệm tiến hành trong đề tài bằng máy Active Two

Chương 4: Tiền xử lý tín hiệu EEG dùng bộ lọc Hamming

Chương này trình bày ứng dụng của bộ lọc Hamming để loại bỏ các thành phần nhiễu và tín hiệu không mong muốn

Chương 5: Trích đặc tính tín hiệu EEG dựa trên hệ số mô hình AR

Tín hiệu sau khi được loại bỏ nhiễu sẽ được đưa qua mô hình AR (Autoregresion)

để tìm các hệ số của mô hình AR, các hệ số này sẽ được đưa vào mạng nơron truyền thẳng nhiều lớp nhận dạng các hoạt động của mắt

Chương 6: Thuật toán ngưỡng để phân biệt các hoạt động của mắt

Chương này trình bày thuật toán ngưỡng để phân biệt các hoạt động của mắt

Chương 7: Nhận dạng các hoạt động của mắt dùng mạng nơron

Mạng nơron truyền thẳng nhiều lớp được sử dụng để nhận dạng các hoạt động của mặt dựa trên các hệ số của mô hình AR