Não người 1, 2, 3 là phần trên và trước nhất của hệ thần kinh trung ương và là cơ quan chủ yếu trong điều hành hệ thần kinh ngoại vi. Não người nặng khoảng 1500g (Williams và Warwick, 1989). Diện tích bề mặt của não khoảng 1600 cm², và dày khoảng 3 mm. Não gồm có: thân não, tiểu não, não trung gian và đại não. Não bộ của con người là một tổ chức phức tạp, tinh vi nhất của hệ thần kinh. Thông qua các giác quan như mắt, tai, da, bộ não tiếp thu các thông tin về thị giác, thính giác, xúc giác... để từ đó nhận thức ra đối tượng, xử lý và giai đáp thông tin qua các hình thức vận động. Do vậy bộ não giữ vai trò quan trọng trong hoạt động toàn diện, đa dạng của con người, giúp con người thích ứng với các hoàn cảnh xã hội. Ngày nay, khi thế giới ngày càng phát triển thì các bênh về não cũng ngày càng phát triển như: các bệnh về động kinh, viêm não,u não ….. Do vậy, việc thu nhận và xử lí tín hiệu điện não sẽ giúp chúng ta chẩn đoán chính xác được các bệnh về não. Vì thế, các bệnh nhân não sẽ có cơ hội được cứu chữa nhiều hơn. 1.1.1 Khái quát chung về EEG Electroencephalogram não đồ (EEG) là điện thế hoạt động của vỏ não phát ra. EEG được phát hiện bởi Berger năm 1924 bằng 1 dụng cụ đo dòng điện với 1 điện cực bề mặt trên đầu con trai ông và ghi lại được 1 mẫu nhịp nhàng những dao động điện. Tín hiệu này là phản hồi điện sinh học ngay tức khắc của tế bào não. Ngày nay, người ta cho rằng tín hiệu EEG giống như như tín hiệu EEG lấy từ lưỡng cực trong lớp tế bào hình chóp. Rất nhiều tế bào hình chóp và sợi thần kinh của nó được sắp xếp thẳng đứng. Sự sắp xếp này được đưa ra 1 dendrosomatic lưỡng cực hoặc điện thế là cái dao động do tác nhân kích thích gây ra. Vỏ não là nguồn gốc của các hoạt động điện của não thu được từ bề mặt của da đầu, các dạng khác nhau của hoạt động điện và dấn tới trường điện thế được tạo ra bởi các tế bào thần kinh vỏ não. Hình 1. 2 Cấu trúc vỏ não Sự sắp xếp của các tế bào ở các khu vực khác nhau trên vỏ não là khác nhau, mỗi vùng có kiểu hình thái khác nhau. Hầu hết các tế bào vỏ não được sắp xếp thành các cột, trong các cột này các neuron được phân bố dọc theo trục chính của các cây dạng nhánh, song song với mỗi cây khác và trực giao với bề mặt vỏ não. Vỏ não gồm các lớp khác nhau, các lớp này là không gian của cấu trúc các tế bào thần kinh đặc biệt, với các trạng thái và chức năng khác nhau trong đáp ứng xung điện. Neuron pyramidal là thành phần cấu tạo chủ yếu của vỏ não. Điện thế EEG 1, 2 ghi được từ các điện cực được đặt tiếp xúc với lớp da đầu là sự tổng hợp các thay đổi về điện thế ngoài của tế bào Pyramidal. Màng tế bào pyramidal không bao giờ trong trạng thái nghỉ bởi vì nó bị tác động liên tiếp bởi hoạt động sinh ra do các neuron khác có các liên kết synaptic. Các liên kết synaptic có thể là kích thích hoặc ức chế sự thay đổi tương ứng tính thẩm thấu của màng tế bào đối với ion K và ion Cl làm phát sinh dòng điện. Hình 1. 3 Dòng điện bên trong tế bào pyramidal lớn. Dòng ion được thiết lập cho phép cân bằng điện tích giữa bên trong và bên ngoài màng tế bào. Dòng điện sinh ra do điện thế của postsynaptic kích thích (EPSP) được thể hiện ở hình 3. Điện thế postsynaptic kích thích là tổng hợp của dòng đi vào trong màng tế bào gây ra bởi các ion dương và dòng đi ra ngoài màng tế bào tạo dọc theo phần mở rộng của tế bào extra synaptic. Điện trường bên ngoài tế bảo là hàm của điện thế xuyên màng. Trong đó là điện thế bên ngoài màng, là bán kính của sợi trục hoặc tua gai, là điện thế xuyên màng, là độ dẫn môi trường bên trong tế bào, là độ dẫn của môi trường bên ngoài tế bào. Mặc dù các điện thế bên ngoài tế bào riêng rẽ là nhỏ nhưng tổng điện thế của chúng cũng đáng kể đối với nhiều tế bào. Điều này là do các neuron pyramidal được kích hoạt tức thời lớn hơn hoặc nhỏ hơn cách mà liên kết synaptic và các thành phần dọc trục của dòng bên ngoài màng được thêm vào, trong khi đó các thành phần nằm ngang lại có xu hướng làm giảm điện thế này. Ngoài ra các nguồn khác cũng góp phần tạo ra tín hiệu EEG. Sự giảm điện thế màng tế bào tới mức giới hạn xấp xỉ 10 mV nhỏ hơn điện thế tái khử cực tại trạng thái nghỉ của màng tế bào. Điện thế hoạt động của các neuron não là nguồn gốc của EEG. Nhưng chúng góp phần nhỏ trong việc tạo ra tín hiệu EEG ghi được tại bề mặt của não. Do chúng thường hoạt động không đồng bộ trong cùng một thời gian đối với một số lượng lớn các sợi trục, các sợi trục này di chuyển theo nhiều hướng tương đối với bề mặt vỏ não. Nguyên nhân khác là phần của màng tế bảo bị khử cực bởi điện thế hoạt động tại các thời điểm cố định nhỏ hơn so với thành phần của màng tế bào được kích thích bởi một EPSP và điện thể hoạt động tồn tại trong thời gian ngắn hơn( cỡ 1 2ms) so với của EPSPs hoặc IPSPs là 10 – 250ms. Qua các quan điểm trình bày ở trên thì EEG thu được tại bề mặt da đầu có thể coi là kết quả của nhiều thành phần tích cực, trong đó điện thế của postsynaptic từ tế bào pyramidal là thành phần chính tạo ra tín hiệu điện não.
Trang 1ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KÝ THUẬT CÔNG NGHIỆP
NGÔ QUỐC TRUNG
ỨNG DỤNG MẠNG NƠ RON TRONG HỆ THỐNG NHẬN DẠNG CẢM XÚC DỰA TRÊN TÍN HIỆU ĐIỆN NÃO
Chuyên ngành: Kỹ thuật điều khiển và tự động hóa
Mã số:
LUẬN VĂN THẠC SĨ KỸ THUẬT
KHOA CHUYÊN MÔN
TRƯỞNG KHOA
NGƯỜI HƯỚNG DẪN KHOA HỌC
TS NGUYỄN PHƯƠNG HUY
PHÒNG ĐÀO TẠO
THÁI NGUYÊN 2018
Trang 2LỜI CAM ĐOAN
Tác giả xi cam đoa tất cả hữ g ội du g tro g uậ vă đú g h ội
du g tro g đề c ơ g v y u cầu của thầy giáo h ớ g dẫ Nếu sai t i ho to chịu trách hi m tr ớc hội đồ g hoa học v tr ớc pháp uật
Thái Nguyên, ngày 26 tháng 03 năm 2018
TÁC GIẢ LUẬN VĂN
NG QUỐC TRUNG
Trang 3LỜI CẢM ƠN
Sau một th i gia ghi cứu v m vi c ghi m túc, đ ợc sự độ g vi ,
giúp đỡ v h ớ g dẫ tậ tì h của Thầy giáo h ớ g dẫ TS Nguyễn Ph ng Huy,
uậ vă với đề t i “Ứng dụng mạng nơ-ron trong hệ thống nhận dạng cảm xúc dựa trên tín hiệu điện não” đã ho th h
Trang 4MỤC LỤC
LỜI CAM ĐOAN ii
LỜI CẢM ƠN iii
MỤC LỤC iv
DANH MỤC HÌNH vi
DANH MỤC BẢNG BIỂU viii
danh mục từ viết tắt ix
LỜI MỞ Đ U 1
CHƯƠNG 1 TỔNG QUAN V ĐIỆN N O ĐỒ VÀ CÁC PHƯƠNG PHÁP XỬ L T N HIỆU S NG ĐIỆN N O 4
1.1 T g qua về tí hi u đi ão 4
1.1.1 Khái quát chu g về G 5
1.1.2 Thu nhậ v đo đ c tiến hi u đi n não eeg 7
1.2 Các d g só g đi ão cơ bả 10
1.2.1 Nguyên tắc phâ tích só g đi n não 10
1.2.2 Phân bi t só g đi n não dựa vào tần s 11
1.3 H th g hậ d g cảm xúc dựa tr tí hi u só g đi ão 14
1.3.1 Nguy hận d ng cảm xúc dựa trên tín hi u đi n não 16
1.3.2 Các h ớng tiếp cận trong nhận d ng cảm xúc dựa trên tín hi u đi n não 19 1.3.3 Một s ph ơ g pháp ti u biểu trong trích chọ đặc tr g tí hi u đi n não 22
1.4 Giải pháp phâ ớp s d g m g eura tro g hậ d g cảm xúc 24
1.5 Kết uậ 25
CHƯƠNG 2 NHẬN DẠNG CẢM XÚC DỰA TRÊN S NG ĐIỆN N O SỬ DỤNG MẠNG NƠ RON 26
2.1 iế đ i wave et r i r c tro g h th g hậ d g cảm xúc 26
2.1.1 Vai trò của WT tro g quá trì h hậ d g cảm xúc 26
2.1.2 Các tham s đặc tr g của WT tro g vi c hậ d g cảm xúc 27
Trang 52.2 Phâ ớp s d g m g Nơ-ron 28
2.2.1 T g qua về m g Neura 28
2.2.2 ặc tr g của m ng neural 32
2.2.3 Phân lo i m ng neural nhân t o 35
2.2.4 Xây dựng m ng neural 38
2.2.5 Huấn luy n m ng neural 39
2.2.6 Thu thập dữ li u cho m ng neural 45
2.2.7 Biểu diễn chi thức cho m ng neural 47
2.2.8 Một s vấ đề của m ng neural 49
2.2.9 Ứng d ng của m ng neural 50
CHƯƠNG 3 THI T K HỆ THỐNG M PHỎNG 52
3.1 Chu bị dữ i u mẫu 52
3.2 Phâ ớp tr g thái cảm xúc s d g m g Nơ-ron 53
3.2.1 Xây dự g m g Nơ-ron 53
3.2.2 Huấ uy m g ơ-ron 55
3.2.3 Ch ơ g trì h uy m g Nơ-ron trên Matlab/toolbox 56
3.3 THI T K GI O I N M TL GUI 58
3.3.1 Matlab GUI 58
3.3.2 Thiết ế giao di GUI cho phâ ớp tr g thái cảm xúc 59
3.3.3 Các b ớc thực hi quá trì h phâ tích WT s d g giao di thiết ế trên GUI 61
3.4 K T LUẬN 66
Trang 6DANH MỤC HÌNH ẢNH
Hì h 1 1 Cấu t o bộ ão co g i 4
Hì h 1 2 Cấu trúc vỏ não 5
Hì h 1 3 ò g đi n bên trong tế bào pyramidal lớn 6
Hì h 1 4 Só g pha 4 12
Hì h 1 5 Só g eta 12
Hì h 1 6 Só g Theta 13
Hì h 1 7 Só g e ta 13
Hì h 1 8 Nhận d ng các d ng sóng theo tần s 14
Hì h 1 9 Ứ g d g giao tiếp với máy tí h 15
Hì h 1 10 Ứng d ng tín hi u đi ão tro g quâ đội 16
Hì h 1 11 Ứng d ng tín hi u đi ão tro g hậ di cảm xúc 17
Hì h 1 12 H th ng nhận d ng cảm xúc 18
Hì h 1 13 Thiết bị phầ c g motiv 19
Hì h 1 14 M hì h cảm xúc Russuell 21
Hì h 1 15 Thuật toán Higuchi Fractal Dimension 22
Hì h 1 16 Một c gái đa g th trải nghi m sản ph m đu i mèo Shippo t i Hội chợ Trò chơi To yo 2012 23
Hì h 2 1 H th g hậ d g cảm xúc s d g G 26
Hì h 2 2 Mô hình neural sinh học 28
Hì h 2 3 Mô hình một neural nhân t o 30
Hì h 2 4 Sơ đồ đơ giản về một m ng neural nhân t o 32
Hì h 2 5 M ng tiến với một mức neural 35
Hì h 2 6 M ng tiến kết n i đầy đủ với một mức n và một mức đầu ra 37
Hì h 2 7 M ng hồi quy không có neural n và không có vòng lặp tự phản hồi 37
Hì h 2 8 M ng hồi quy có các neural n 37
Hì h 2 9 Sơ đồ đồ thị có h ớ g đơ giản 38
Hì h 2 10 Cấu hì h m g ơ-ro v các h m v o ra 43
Hì h 3 1 motive poc Headset 52
Hì h 3 2 Sơ đồ cấu trúc phâ o i cảm xúc s d g m g Nơ-ron 53
Trang 7Hì h 3 3 L u đồ thuật toá huấ uy m g ơ-ron 55
Hì h 3 4 Cấu trúc m g ơ-ron 56
Hì h 3 5 Cấu trúc của m g ơ-ron nhiều lớp: 5 ớp , 3 mẫu dữ i u đầu v o 56
Hì h 3 6 Chất ợ g của quá trì h uy m g Nơ-ron 57
Hì h 3 7 Các giá trị gradie t, mu v va fai của quá trì h uy m g 57
Hì h 3 8 Giao di GUI cho vi c phâ ớp các tr g thái cảm xúc 59
Hì h 3 9 Giao di phầ c i đặt 60
Hì h 3 10 Giao di hiể thị đồ họa ISPL Y 60
Hì h 3 11 Giao di hiể thị các tham s eature xtraction Parameters 61
Hì h 3.12 Load cơ s dữ i u 62
Hì h 3.13 Luy m g Nơ-ron 62
Hì h 3 14 Quá trì h uy m g ơ-ron 63
Hì h 3 15 Lựa chọ mẫu cầ hậ d g 64
Hì h 3 16 Kết quả hậ d g cảm xúc vui 64
Hì h 3 17 Kết quả hậ d g cảm xúc bì h th g 65
Hì h 3 18 Kết quả hậ d g cảm xúc buồ 65
Trang 8DANH MỤC BẢNG BIỂU
ả g 2 1 Một s hàm kích ho t cơ bản trong m ng neural 31
Trang 9DANH MỤC TỪ VI T TẮT
Từ hoặc
cụm từ Từ tiếng Anh Từ tiếng Việt
EEG Electroencephalogram i ão đồ
EBGM Elastic Bunch Graph Matching Ph ơ g pháp đồ thị đ hồi
ER Emotion Recognition Nhận d g cảm xúc
ERS Emotion Recognition System H th ng nhận d g cảm xúc
LDA Linear Discriminant Analysis Ph ơ g pháp phâ tích sự khác bi t
tuyến tính
MLP MultiLayer Perceptron M g ơro Perceptro đa ớp
PCA Principal Component Analysis Ph ơ g pháp phâ tích thành phần
chính
SVM Support Vector Machine Học máy vectơ hỗ trợ
Trang 10LỜI MỞ Đ U
Cảm xúc đi cù g với mỗi g i tro g cuộc s g h g g y v đó g một vai trò qua trọ g tro g giao tiếp phi g gữ của co g i ó một tro g hữ g điều i qua trọ g để hiểu đ ợc các h h vi ứ g x của co g i Chí h vì thế
m b i toá hậ d g cảm xúc của co g i tuy một b i toá hó h g đ ợc rất hiều các h hoa học qua tâm ghi cứu
Tr ớc đây, vi c hậ d g cảm xúc có thể đ ợc thực hi th g qua vă bả , hội tho i, c chỉ cơ thể v biểu hi hu mặt Tuy hi , tro g xu h ớ g phát triể của co g i, các h th g hậ d g cảm xúc th g qua hữ g tí hi u “b tro g” h só g đi ão Electro EncephaloGraphy - G sẽ tr cầ thiết, quan trọ g v t o ra sự phát triể m h mẽ h g gừ g của các ứ g d g t ơ g tác Não - Máy (Brain Computer Interface - CI , đặt co g i v o vị trí tru g tâm
của m i t ơ g tác s tro g ỷ guy hi đ i Error! Reference source not found., Error! Reference source not found., Error! Reference source not found
Tro g hữ g ăm gầ đây, đã có rất hiều c g trì h c g b , đ a ra các
h ớ g tiếp cậ hác hau cho vi c giải quyết b i toá hậ d g cảm xúc co
g i th g qua só g đi ão Mọi ỗ ực đều tập tru g v o hi m v xây dự g
một h th g CI tác độ g ha h v có độ chí h xác cao Error! Reference source not found
Trang 11Có thể thấy rằ g hai hâu qua trọ g hất tro g h th g CI trích chọn đặc trưng và phân lớp ra quyết đị h Cũ g chí h vì thế, qua hảo sát các công
trì h ghi cứu đã c g b i qua đế CI v G đều chủ yếu tập tru g v o
cải tiế hai b ớc chí h y Error! Reference source not found., Error! Reference source not found
i với vi c giải b i toá hậ d g cảm xúc dựa tr tí hi u đi ão s
d g m g ơ-ro , tùy từ g y u cầu c thể của b i toá thực tế m g i thiết ế
phải trả i rất hiều câu hỏi h Error! Reference source not found., Error!
Trang 12Reference source not found., Error! Reference source not found.: Lựa chọ cấu
trúc m g ơro o? S ợ g các ớp cũ g h các ơro tro g mỗi ớp? S d g thuật toá học o để điều chỉ h các trọ g s của m g? Chí h vì vậy, đây vẫ cò một h ớ g m đòi hỏi các h hoa học qua tâm phải đầu t ghi cứu m rõ
Vì hữ g do tr , đ ợc sự gợi h ớ g của Thầy giáo, TS Nguyễ Ph ơ g
Huy, học vi ựa chọ đề t i “Ứng dụng mạng nơ ron trong hệ thống nhận dạng cảm xúc dựa trên tín hiệu điện não” m đề t i ghi cứu uậ vă t t ghi p th c
sĩ chuy g h K thuật đi t
i t ợ g của uậ vă : Các phương pháp nhận dạng cảm xúc dựa trên tín hiệu điện não sử dụng mạng nơron
Về ph m vi ghi cứu: ựa tr các bộ cơ s dữ i u có sẵ về các tí hi u
G đ ợc cộ g đồ g hoa học qu c tế c g hậ cơ s dữ i u chu để đ i
sá h các ph ơ g pháp , uậ vă sẽ hảo sát v đá h giá một s ph ơ g pháp
th g dù g tro g hậ d g cảm xúc dựa tr tí hi u đi ão s d g m g ơro h m g Perceptro , m g MLP, m g SOM, M g R ; Lựa chọ b i toá , đề xuất thuật toá s d g m g ơ ro phù hợp hất đ i với cơ s dữ i u mẫu G đã chọ ; Tập tru g sâu v o c i đặt phầ mềm m phỏ g hằm chứ g
mi h tí h đú g đắ v hả ă g ứ g d g tro g thực tế của ph ơ g pháp đề xuất
Trang 13CHƯƠNG 1 TỔNG QUAN V ĐIỆN N O ĐỒ VÀ CÁC PHƯƠNG
PHÁP XỬ L T N HIỆU S NG ĐIỆN N O 1.1 Tổng quan về t n hiệu điện n o
H nh 1 1 Cấu tạo bộ n o con ng ời
Não g i [1], [2], [3] là phầ tr v tr ớc nhất của h thầ i h tru g ơ g
v cơ qua chủ yếu tro g điều hành h thần kinh ngo i vi Não g i nặng khoảng 1500g (Williams và Warwick, 1989) Di n tích bề mặt của não khoảng 1600 cm², và dày khoảng 3 mm Não gồm có: thân não, tiểu ão, ão tru g gia v đ i não
Não bộ của co g i là một t chức phức t p, tinh vi nhất của h thần kinh Thông qua các giác qua h mắt, tai, da, bộ não tiếp thu các thông tin về thị giác, thí h giác, xúc giác để từ đó hận thức ra đ i t ợng, x v giai đáp th g ti qua các hình thức vậ động Do vậy bộ não giữ vai trò quan trọng trong ho t động toàn di , đa d ng của co g i, giúp co g i thích ứng với các hoàn cảnh xã hội Ngày nay, khi thế giới ngày càng phát triển thì các bênh về ão cũ g g y c g
Trang 14phát triể h : các b nh về độ g i h, vi m ão,u ão … o vậy, vi c thu nhận và
x lí tín hi u đi n não sẽ giúp chúng ta ch đoá chí h xác đ ợc các b nh về não
Vì thế, các b nh nhân não sẽ có cơ hội đ ợc cứu chữa nhiều hơ
1.1.1 Kh i qu t chung về EEG
ectroe cepha ogram ão đồ G đi n thế ho t động của vỏ não phát ra
G đ ợc phát hi n b i Berger ăm 1924 bằng 1 d ng c đo dò g đi n với 1 đi n cực bề mặt tr đầu con trai ông và ghi l i đ ợc 1 mẫu nhịp nhàng nhữ g dao động
đi n Tín hi u này là phản hồi đi n sinh học ngay tức khắc của tế bào não Ngày
ay, g i ta cho rằng tín hi u EEG gi ng h h tí hi u EEG lấy từ ỡng cực trong lớp tế bào hình chóp Rất nhiều tế bào hình chóp và sợi thần kinh của ó đ ợc sắp xếp thẳ g đứng Sự sắp xếp y đ ợc đ a ra 1 de dro-somatic ỡng cực hoặc
đi n thế cái dao động do tác nhân kích thích gây ra
Vỏ não là nguồn g c của các ho t độ g đi n của ão thu đ ợc từ bề mặt của
da đầu, các d ng khác nhau của ho t độ g đi n và dấn tới tr g đi n thế đ ợc t o
ra b i các tế bào thần kinh vỏ não
H nh 1 2 Cấu trúc vỏ não
Sự sắp xếp của các tế bào các khu vực khác nhau trên vỏ não là khác nhau, mỗi vùng có kiểu hình thái khác nhau Hầu hết các tế bào vỏ ão đ ợc sắp xếp thành các cột, trong các cột y các euro đ ợc phân b dọc theo tr c chính của các cây d ng nhánh, song song với mỗi cây khác và trực giao với bề mặt vỏ não
Trang 15Vỏ não gồm các lớp khác nhau, các lớp này là không gian của cấu trúc các tế bào thầ i h đặc bi t, với các tr ng thái và chức ă g hác hau tro g đáp ứng
xu g đi n Neuron pyramidal là thành phần cấu t o chủ yếu của vỏ ão i n thế EEG [1], [2] ghi đ ợc từ các đi n cực đ ợc đặt tiếp xúc với lớp da đầu là sự t ng hợp các thay đ i về đi n thế ngoài của tế bào Pyramidal Màng tế bào pyramidal không bao gi trong tr ng thái nghỉ b i vì nó bị tác động liên tiếp b i ho t động sinh ra do các neuron khác có các liên kết synaptic Các liên kết synaptic có thể là kích thích hoặc ức chế sự thay đ i t ơ g ứng tính th m thấu của màng tế b o đ i với io K v io C m phát si h dò g đi n
H nh 1 3 Dòng điện bên trong tế bào pyramidal lớn
ò g io đ ợc thiết lập cho phép cân bằ g đi n tích giữa bên trong và bên ngoài màng tế b o ò g đi si h ra do đi n thế của postsynaptic kích thích PSP đ ợc thể hi n hì h 3 i n thế postsynaptic kích thích là t ng hợp của
dò g đi v o tro g m g tế bào gây ra b i các io d ơ g v dò g đi ra go i m g
tế bào t o dọc theo phần m rộng của tế bào extra- sy aptic i tr ng bên ngoài
tế bảo là hàm của đi n thế xuyên màng
Tro g đó đi n thế bên ngoài màng, là bán kính của sợi tr c hoặc tua gai, là
đi n thế xuyên màng, độ dẫ m i tr ng bên trong tế b o, độ dẫn của môi
tr ng bên ngoài tế bào Mặc dù các đi n thế bên ngoài tế bào riêng rẽ là nhỏ h g
Trang 16t g đi n thế của chú g cũ g đá g ể đ i với nhiều tế b o iều này là do các euro pyramida đ ợc kích ho t tức th i lớ hơ hoặc nhỏ hơ cách m i ết synaptic và các thành phần dọc tr c của dò g b go i m g đ ợc thêm vào, trong
hi đó các th h phần nằm ngang l i có xu h ớng làm giảm đi n thế này Ngoài ra các nguồ hác cũ g góp phần t o ra tín hi u EEG Sự giảm đi n thế màng tế bào tới mức giới h n xấp xỉ 10 mV nhỏ hơ đi n thế tái kh cực t i tr ng thái nghỉ của màng tế b o i n thế ho t động của các neuron não là nguồn g c của E G Nh g chúng góp phần nhỏ trong vi c t o ra tín hi u G ghi đ ợc t i bề mặt của não Do chú g th ng ho t độ g h g đồng bộ trong cùng một th i gia đ i với một s ợng lớn các sợi tr c, các sợi tr c này di chuyển theo nhiều h ớ g t ơ g đ i với
bề mặt vỏ não Nguyên nhân khác là phần của màng tế bảo bị kh cực b i đi n thế
ho t động t i các th i điểm c định nhỏ hơ so với thành phần của màng tế bào
đ ợc kích thích b i một PSP v đi n thể ho t động tồn t i trong th i gian ngắn
hơ cỡ 1 - 2ms) so với của EPSPs hoặc IPSPs là 10 – 250ms Qua các qua điểm trình bày tr thì G thu đ ợc t i bề mặt da đầu có thể coi là kết quả của nhiều thành phần tích cực, tro g đó đi n thế của postsynaptic từ tế bào pyramidal là thành phần chính t o ra tín hi u đi n não
1.1.2 Thu nhận và đo đạc tiến hiệu điện não EEG
a) Vị trí đặt đi n cực chu n [9], [10]
Hi p hội qu c tế về sinh lí thầ i h âm s g v đi ão đề đ a ra chu đặt
đi n cực cho 21 đi n cực (gồm cả đi n cực t i dái tai Các đi n cực đặt t i dái tai
đ ợc gọi 1, 2 đ ợc n i t ơ g ứng với tai trái và tai phải đ ợc s d ng làm
đi n cực tham chiếu H th ng 10-20 trá h đặt đi n cực t i vị trí nhãn cầu, và cân nhắc một vài khoả g cách h g đ i b i s d ng các m c giải phẫu c thể Các
đi n cực lẻ đ ợc đặt b trái v các đi n cực lẻ đ ợc đặt bên phải ể thiết lập s
ợ g các đi n cực nhiều hơ m vẫ tuâ theo qui ớc tr , các đi n cực còn l i
go i 21 đi n cực chu đ ợc đặt giữa các đi n cực tr v cách đều nhau giữa chúng Ví d C1 đ ợc đặt giữa C3 và Cz Hai d g hác hau dù g để ghi tín hi u
đi n não là d ng vi sai và d ng tham chiếu i với d g vi sai hai đầu vào của mỗi
Trang 17bộ khuếch đ i vi sai là hai cực, còn kiểu tham chiếu thì chỉ một tro g hai đi n cực tham chiếu đ ợc dùng Một kiểu b trí đi n cực t ơ g tự khác là h th ng vị trí đi n cực Maudsley, h th ng 10 – 20 đ ợc thay đ i để ch p ghi đ ợc tín hi u từ tiêu điểm động kinh trong vi c thu tín hi u động kinh Chỉ có một sự khác nhau giữa hai
h th g y các đi n cực b go i đ ợc làm nhẹ hơ một chút cho phép ghi tín
hi u độ g i h đ ợc t t hơ Ưu điểm của h th ng này là di tích đ ợc trùm b i
mũ đi n cực đ ợc m rộ g, do đó m tă g độ nh y khi ghi l i tín hi u đi n não
b Ph ơ g pháp thu tí hi u đi n não
Vi c thu nhận các tín hi u và hình ảnh từ các bộ phận của cơ thể g i tr thành cần thiết cho vi c ch đoá sớm các lo i b nh tật Dữ li u thu đ ợc có thể
d ới d g đi n sinh học h tí hi u đi n tim, tín hi u đi cơ đồ EMG hay tín hi u
đi n não EEG, từ ão đồ M G …Các ph ơ g pháp đo đ c đ ợc dùng có thể là siêu
âm, ch p CT, hay ảnh cộ g h ng từ MRI hoặc cộ g h ng từ chức ă g fMRI,
ch p positron cắt lớp PET Các ho t động thầ i h đi đầu ti đ ợc ghi l i bằng máy đi n kế đơ giả ể khuếch đ i sự thay đ i của các điểm một tấm g ơ g đ ợc
s d g để phản x á h sá g đ ợc chiếu ra từ đi n kế lên bức t g Sau đó, đi n
kế rso va đ ợc gắn vào một cuộndây có thể di chuyể đ ợc, do đó á h sá g tập tru g tr g ơ g sẽ bị phản x hi cho dò g đi n ch y qua cuộn dây này
i n kế mao dẫ đ ợc t o ra b i Lippma v Marey i n kế dây rất nh y và
đo chí h xác hơ đ ợc Einthoven giới thi u v o ăm 1903 i n kế này tr thành
d ng c đo chu n trong vài thập kỉ v đ ợc cho phép s d ng ghi l i hình ảnh Các
h th g đo tí hi u EEG gồm s ợng lớ các đi n cực tinh vi, các m ch khuếch
đ i vi sai (cho mỗi kênh), bộ lọc v đồng hồ ghi có mũi im chỉ
Tín hi u G đa h đ ợc ghi l i lên tấm giấy nhẵn hoặc giấy có ới Ngay sau đó, h th g đo tí hi u G y đ ợc tung ra thị tr ng, các nhà nghiên cứu bắt đầu tìm kiếm h th g đ ợc máy tính hóa, h th ng này s hóa v u trữ tín hi u
Trang 18Do vậy để phân tích tín hi u G, ba đầu phải hiểu rằng tín hi u đ ợc chuyển sang d ng s S hóa tín hi u bao gồm các b ớc: lấy mẫu, ợng t hóa, và
mã hóa tín hi u Khi s cực đ ợc s d g c g tă g thì s ợng dữ li u càng lớn, tức s bít để mã hóa tín hi u cũ g hiều hơ H th g đ ợc máy tính hóa cho phép thiết lập các kiểu khác nhau, mô phỏng và lấy mẫu tần s và trong một s tr ng hợp tích hợp cả các công c x lí tín hi u đơ giản hoặc hi đ i giúp nâng cao hi u quả quá trình x lí tín hi u.Quá trình biế đ i từ tín hi u G t ơ g tự sang d ng
s đ ợc thực hi n b i bộ chuyể đ i s t ơ g tự đa h ải tần hi u quả cho tín
hi u EEG xấp xỉ 100Hz o đó tần s lấy mẫu nhỏ nhất là 200 mẫu/s thỏa mãn qui tắc Nyquist đủ để lấy mẫu tín hi u EEG Trong một s ứng d ng các ho t động của ão đ ợc qua sát đòi hỏi độ phân giải cao hơ tần s lấy mẫu có thể lên tới
2000 mẫu/ s ể duy trì thông tin ch đoá thì quá trì h ợng t hóa tín hi u
th g th ng phải rất t t
Các h th ng ghi tín hi u EEG ph biến s d ng các mẫu tín hi u d ới d ng 16bits Các đi n cực ghi đi tim có độ chính xác cao chủ yếu đ ợc s d g để thu thập dữ li u chất ợng cao
Các lo i đi n cực đ ợc s d ng trong h th ng ghi tín hi u đi ão h : i n cực dùng một lần (d g ge i n cực có thể s d ng nhiều lần (vàng, b c, thép hoặc ti i n cực kẹp và ch p đầu i n cực đ ợc nhúng mặ i n cực d ng kim khi ghi đa ênh với s ợng lớn của các đi n cực, thì đi n cực d g mũ ch p
th g đ ợc dù g Th g th g đi n cực d g mũ ch p gồm đĩa g – AgCl có
đ ng kính nhỏ hơ 3 mm, với các cực linh ho t có thể gắn vào bộ khuếch đ i
i n cực kim phải đ ợc cắm d ới vỏ não với độ sâu nhỏ nhất có thể Tr kháng cao giữa đi n cực v da đầu cũ g h các đi n cực có tr há g cao cũ g có thể dẫn tới méo d ng tín hi u.Do vậy các máy ghi đi ão th ơ g m i thông
th g đ ợc trang bị bộ phận theo dõi tr há g ể đảm bảo vi c ghi tín hi u đi n não chính xác, tr kháng của đi n cực phải nhỏ hơ 5kΩ , t t nhất là 1kΩ Cân bằng với các đi n cực hác tro g mũ T ơ g ứng với từng cấu trúc lớp và xoắn của não
sự phân b các đi n cực lên da phù hợp
Trang 191.2 C c dạng s ng điện n o c ản
1.2.1 Nguyên tắc phân tích s ng điện não
Hình ả h đi n não là nhữ g đặc tr g biểu hi n lâm sàng thần kinh tâm thần
và các b h hác o đó cần phải phân tích và mô tả chi tiết, đồng th i t ng hợp và khái quảt để b sung cho lâm sàng và những thông tin ch a có âm s g hoặc các tri u chứng khó phân bi t Khi phầ tích đi n não cần tuân theo một s nguyên tắc:
Tr c tu g bi độ của sóng Tr c hoành là tần s sóng
D ng sóng: hình sin, có nhịp hay không có nhịp, đơ d g hay đa d g, đều hay h g đều, sóng một pha hay nhiều pha Các sóng tr đ g đẳ g đi n là sóng âm (-), d ới só g d ơ g +
Tần s : là s sóng có trong một giây kí hi u là chu kỳ giây (ck/gy) hoặc (Hz)
i độ: là chiều cao của sóng tính bằng µV
Vi trí: só g đi n não biểu hi n các vị trí hác đi n cực khác nhau, và khác nhau theo vùng
Chỉ s : s sóng xuất hi n trong một th i gian nhất đị h xác đi h bản ghi
đ ợc tính theo tỷ l % Thông s y th g dù g để đá h giá âm s g
Tính chất xuất hi : các só g đi n não xấy hi n khác nhau không chỉ về d ng sóng mà còn cả tính chất
Kịch phát: một sóng, một nhóm sóng xuất hi n và kết thúc đột ngột Có thể kịch phát toàn thể hay khu trú, kéo dài 1-2/10 giây đến nhiều giây
ồng thì: cùng một th i điểm đồng bộ hai bán cầu cân xứng, hay một bán cầu Kho g đồng thì: không cùng một lúc xuất hi n, mất cân xứng một bán cầu về tấn s , bi độ hoặc cả 2
Liên t c: các sóng b nh lý có những khoả g giá đo n, không gi ng nhau Từng nhóm: các sóng xuất hi n từng nhóm với s sòng và d g t ơ g tự nhau [4]
Trang 201.2.2 Phân biệt s ng điện não dựa vào tần số
Năm 1924, h tâm thần học g i Áo t Ha s erger g i đầu tiên ghi đ ợc EEG Ông nhận thấy trên bả ghi G bì h th ng, nhịp của các sóng
đi n não gồm có vài lo i sóng có thể phân bi t theo tần s ây cò gọi là các d ng
só g đặc tr g si h
a) S ng Alpha (α)
D ng sóng hình sin là chủ yếu, có tần s từ 8 -13 ck/gy
Alpha nhanh: 11-13 ck/gy
Alpha trung bình: 10 ck/gy
Alpha chậm: 8-9 ck/gy
Só g th g có bi độ khoảng 50µV (mặc dù cũ g có thể giao động từ 5 tới
100 µV)
Sóng này thấy rõ nhất phần phía sau của ão g i, v ơi x lý các tín
hi u thị giác, tức là vùng ch m (occipital region) cả 2 bên, ít vù g đỉnh và giảm dần về phía thái d ơ g Vì vậy, đ i hi g i ta còn gọi nhịp alpha là nhịp trội phía sau (the posterior-dominant rhythm)
Có nhiều giả thuyết giải thích cơ chế này Theo P.V simonov (1956) cho rằng alpha có vai trò lớ tro g cơ chế điều chỉnh giữa nội môi và ngo i môi của chức
ă g gă cản các tín hi u đi v o ão Theo u ch a pha có vai trò điều chỉ h đồng
bộ của các tín hi u vào và ra khỏi não; D.G Shmelkin (1955) thấy a pha u đi cùng với tr ng thái cân bằ g i qua đề h g phấn và ức chế Sóng alpha tr nên
rõ nhất khi nhắm mắt l i, bị tri t tiêu khi m mắt Nh vậy sóng alpha là dấu hi u cho biết ão đa g tình tr ng không chú i atte tive brai , v đa g ch để đ ợc kích thích Thực tế là có một vài tác giả đã gọi ó “ hịp ch đợi” "waiti g rhythm" ây hịp sóng chủ yếu thấy đ ợc tr g i lớ bì h th g v th giãn – sóng hi n di n trong hầu hết các th i kỳ của cuộc đ i, nhất là khi trên 30
tu i, khi ấy sóng này chiếm u thế tr đ ng ghi EEG lúc nghỉ gơi
Trang 21d ơ g v đỉnh ch m Só g eta i qua đến tr g thái h g phấn của th n kinh Sóng Beta sẽ n i bật lên khi dung thu c an thần gây ngủ Sóng có thể mất hoặc suy giảm vùng có t th ơ g vỏ não Nhịp beta th g đ ợc coi là nhịp bì h th ng,
nó là nhịp chiếm u thế những b h hâ đa g thức tỉnh cảnh giác hoặc lo sợ, hoặc khi m mắt
đa g tỉ h táo, h g i bì h th ng trẻ em d ới 10 tu i Sau 10 tu i, sóng
Trang 22theta nhanh và chuyển dầ sa g a pha Cũ g có thể thấy theta t o thành 1 vùng bất
th ng trên nhữ g ơi có t th ơ g d ới vỏ c c bộ Sóng theta biểu hi n cho giảm
ho t động của v não, nên ngoài lứa tu i nhỏ, còn thấy xuất hi n lứa tu i cao Sóng theta xuất hi n g i lớn nhiều hay ít, lan tỏa hay hu trú đều i qua đến
r i loan chức ă g của ão, đặc bi t cấu trúc d ới vỏ
4 của giấc ngủ) Nói chung, nếu sóng Delta xuất hi n trên một g i lớn (trừ khi
đa g gủ) thì chứng tỏ não có vấ đề o đó: ví d u ão, động ki h, tă g áp ực nột
sọ, khiếm khuyết về trí tu , hay h m Khi đã xuất hi n, thì nhịp Delta có khuynh
h ớng thay thế cho nhịp alpha Cả sóng beta lẫ só g de ta đều không bị ả h h ng
b i m mắt hay nhắm mắt ) Nó có thể xuất hi n c c bộ khi có t th ơ g d ới vỏ
và phân b rộng khắp khi có t th ơ g a tr , tro g b nh não do chuyển hóa (metabolic encephalopathy), b h ão ớc (hydrocephalus) hay t th ơ g đ ng giữa tro g sâu deep mid i e esio s Nó th ng trội nhất vùng trán g i lớn (ví d FIRDA - Frontal Intermittent Rhythmic Delta – sóng delta có nhịp cách hồi vùng trán) và phân b trội các vùng phía sau trên trẻ em (ví d OIRDA - Occipital Intermittent Rhythmic Delta - sóng delta có nhịp cách hồi vùng ch m)
H nh 1 7 Sóng Delta
Trang 23H nh 1 8 Nhận dạng các dạng sóng theo tần số
1 3 Hệ thống nhận dạng cảm xúc dựa trên t n hiệu s ng điện n o
Cảm xúc đi cù g với mỗi g i tro g cuộc s g h g g y v đó g một vai trò qua trọ g tro g giao tiếp phi g gữ của co g i ó một tro g hữ g điều i qua trọ g để hiểu đ ợc các h h vi ứ g x của co g i Nhậ di cảm xúc có thể đ ợc thực hi th g qua vă bả , hội tho i, c chỉ cơ thể v biểu
hi hu mặt V tro g xu h ớ g phát triể của co g i tro g đầu hữ g thập
ỷ y, sự cầ thiết v qua trọ g của các h th g hậ di cảm xúc co g i
th g qua hữ g tí hi u “b tro g” từ só g đi ão G đã phát triể m h
mẽ cù g với vai trò h g gừ g tă g của các ứ g d g t ơ g tác Não Máy CI
i terfaces tro g vi c đặt co g i v o vị trí tru g tâm của m i t ơ g tác s tro g
ỷ guy hi đ i
Trang 24H g ăm các đ o diễ cho ra đ i h g ghì bộ phim tr to thế giới Tro g đó tập tru g phầ ớ M ây một thị tr g tiềm ă g đ i với các thiết bị đo hậ cảm xúc/ tr g thái của g i xem đ i với các bộ phim tr ớc hi
tu g ra thị tr g Tr thực tế, đ o diễ i tiế g James Camero cũ g đã s d g thiết bị thu hậ só g đi ão G để iểm tra hi u quả tâm của g i xem
tr ớc hi tu g si u ph m đi ả h vatar ra thị tr g Tr đây hai tro g s rất hiều hữ g ứ g d g tiềm ă g của vi c hai thác só g đi ão G của co
g i Tr thực tế, các h ghi cứu v các doa h ghi p ớc go i đã sớm
hì hậ ra t ơ g ai phát triể của t ơ g tác s Tro g đó, cách thức m co
g i giao tiếp với máy tí h th g qua ghĩ só g đi ão một tro g hữ g qua tâm h g đầu
H nh 1 9 Ứng dụng giao tiếp với m y t nh
Cho đến ngày nay thế giới đã có hữ g b ớc tiến dài trong vi c nghiên cứu sóng EEG, rất nhiều sản ph m máy đi n não, kèm theo cả phần mềm trị giá tới tri u
đ a M đa g đ ợc triển khai trong các b nh vi n ph c v chu đoá , chữa trị
b h động kinh Ngoài ra rất nhiều tập đo ớ cũ g đa g đầu t h g tri u đ a
M cho vi c nghiên cứu G h vi c giao tiếp, xác định cảm xúc co g i Năm
2009 công ty Toyota công b đã th h c g tro g vi c nghiên cứu xe ă đ ợc điều
Trang 25khiển bằng sĩng não mà khơng cần dùng cơ bắp hay giọ g ĩi Xe ă rẽ trái, rẽ phải, tiến và dừng l i đ ợc thực hi th g qua suy ghĩ của co g i Cơng ty Emotiv Limited là một trong những cơng ty của M thành cơng trong vi c nghiên cứu chuyên sâu về sĩ g đi ão v đã cĩ sản ph m bán ra thị tr ng Sản ph m của cơng ty là một mũ poc cĩ chức ă g thu hậ sĩ g đi n não, kết hợp với Epoc
là bộ th vi n EDK (Emotiv development kit), bộ th vi n này cĩ khả ă g thu nhận và x lý rất t t tín hi u sĩng não của co g i và cĩ khả ă g ứng d ng rất nhiều tro g các ĩ h vực giáo d c, y tế, an ninh qu c phịng
H nh 1 10 Ứng dụng tín hiệu điện n o trong quân đội
1.3.1 Nguyên l nhận dạng cảm xúc dựa trên tín hiệu điện não
Cĩ nhiều nghiên cứu tr ớc đây về vi c nhận d ng cảm xúc dựa trên tín hi u
sĩ g đi n não và cĩ một s cơng trình nghiên cứu liên quan về b i tố đã đ ợc cơng b K Ishi o et a đề xuất h th ng nhận d ng cảm xúc với độ chính xác 54.4% cho cảm xúc vui, 67.7% cho tức giận, 59% cho buồn và 62.9% cho th giã Berkman et al s d ng m g ơ-tro để dự đố cảm xúc tích cực và tiêu cực với
độ chí h xác 43% Li et a đã phát triể ph ơ g pháp phâ o i đa ớp SVM (multi-class support vector machine) cho bài tốn nhận d ng cảm xúc Kết quả thu
đ ợc với độ chính xác trung bình 82.37% cho các cảm xúc vui, buồn, tức giận và thoải mái Chanel et al s d g ph ơ g pháp phâ o i Nạve ayes v đ a ra độ
Trang 26chính xác lớn t t nhất khoảng 58% cho ba lo i cảm xúc th giã , h nh phúc, bình
th g Ph ơ g pháp phâ lo i SVM cũ g đ ợc s d ng cho vi c phân lo i cảm xúc với độ chí h xác 32% cho Va e ce v 37% cho rousa Tro g đó, Va e ce thể
hi n sự biến thiên của cảm xúc từ tiêu cực đến tích cực và Arousal thể hi n sự biến thiên từ bì h tĩ h đến kích thích Gầ đây, Y Liu et a đ a ra m hì h hận d ng dựa trên lý thuyết về phân d ng (FD-fractal dimension) Họ cũ g chỉ ra rằng mô hình phân d g cho độ chí h xác cao hơ tro g hâ d ng cảm xúc dựa trên EEG
Mô hình họ đề xuất có thể nhận d g đ ợc sáu cảm xúc cơ bản h buồn, vui, lo sợ, thoải mái, h nh phúc, và thất vọng
Hì h 1 11 Ứng d ng tín hi u đi ão tro g hậ di cảm xúc
Hi n có nhữ g h ớng tiếp cận khác nhau cho bài toán nhận d ng cảm xúc Do vậy tồn t i nhiều mô hình nhận d ng cảm xúc khác nhau Nhóm phát triển mô hình dựa trên mô hình cảm xúc Russell, thuật toá H v ph ơ g pháp phâ o i SVM Kết quả thực nghi m chỉ ra rằng mô hình có thể nhận d g đ ợc sáu nhãn cảm xúc
cơ bản (vui, tức giận, buồ , th giã , bì h th ng và buồn ngủ) với độ chính xác tru g bì h 81% Th m v o đó, m hì h có thể m rộng áp d ng cho một lớp đ i
t ợng thay vì cho từng cá nhân riêng bi t
Trang 27H nh 1 12 Hệ thống nhận dạng cảm xúc
Trong báo cáo nay thiết bị thu nhận tín hi u đi n não là thiết bị phần cứng Emotiv, các ho t độ g i qua đến vi c thu thập tín hi u só g đi n não từ đầu TNV đều s d ng thiết bị Epoc của công ty Emotiv Thiết bị này gồm hai thành phần, một thành phần có d g h một chiếc mũ để đặt l đầu g i dùng (hình
d ới), một thành phần gắn với c ng USB của máy tí h để đảm nhận vi c truyền tín
hi u từ chiếc mũ đế máy tí h th g qua só g Wifi Mũ poc bao gồm 14 đi n cực
t ơ g ứng với 14 vị trí để thu thập tín hi u só g đi ão tr đầu g i dùng Khi
s d g, để nhậ đ ợc tín hi u só g đi n phát ra từ ão g i, các đi n cực này phải đ ợc làm m bằng dung dịch đi èm với thiết bị
Trang 281 3 2 C c h ớng tiếp cận trong nhận dạng cảm xúc dựa trên tín hiệu điện não
mà bài toán nhận d ng cảm xúc của co g i tuy là một b i toá hó h g đ ợc rất nhiều các nhà khoa học quan tâm nghiên cứu
Tr ớc đây, vi c nhận d ng cảm xúc có thể đ ợc thực hi n thông qua vă bản, hội tho i, c chỉ cơ thể và biểu hi n khuôn mặt Tuy hi , tro g xu h ớng phát
Trang 29triển của co g i, các h th ng nhận d ng cảm xúc thông qua những tín hi u “b tro g” h só g đi n não (Electro EncephaloGraphy - EEG) sẽ tr nên cần thiết, quan trọng và t o ra sự phát triển m nh mẽ không ngừng của các ứng d g t ơ g tác Não - Máy (Brain Computer Interface - CI , đặt co g i vào vị trí trung tâm của m i t ơ g tác s trong kỷ nguyên hi đ i
Hi n nay có nhiều h ớng nhận d ng cảm xúc khác nhau, chủ yếu là sự tồn t i của nhiều mô hình cảm xúc hác hau Các m hì h t ợ g tr g cho mỗi phát hi đặc điểm nhận d ng cảm xúc khác nhau Tiêu biểu hơ cả là nhóm nhận d ng cảm xúc dựa trên mô hình cảm xúc Russell, thuật toá H v ph ơ g pháp phâ o i SVM
a) Mô hình cảm xúc Russell
Hi n nay, có nhiều mô hình cảm xúc đ ợc đ a ra dựa trên các nghiên cứu về thần kinh học Nhìn chung, những mô hình này có thể chia thành hai nhóm chính Nhóm thứ nhất là các mô hình cảm xúc r i r c Những mô hình này có một vài cảm xúc chí h h tức giận, sợ hãi, buồn, ghê sợ, ng c nhiên, háo hức, chấp nhận,
và yêu thích Các cảm xúc khác là sự t hợp của các cảm xúc chính này Nhóm thứ hai là các mô hình cảm xúc liên t c
Mô hình Russell là một mô hình cảm xúc liên t c Trong các mô hình cảm xúc liên t c, các cảm xúc đ ợc phân b trong một không gian hai chiều với hai tr c cơ
bả va e ce v arousa h hì h 1 Tr c valence bắt đầu từ tiêu cực đến tích cực
và tr c arousal bắt đầu từ bì h tĩ h đến kích thích Mỗi tr c có 9 tha g đo từ 1 đến
9 Trong nghiên cứu của mình, nhóm s d ng mô hình Russell b i từ mô hình này chúng ta có thể xác đị h đ ợc các cảm xúc h tro g m hì h r i r c bằng cách định vị các vị trí trong không gian 2 chiều valence, arousal
Trang 30H nh 1 14 Mô hình cảm xúc Russuell
b) Thuật toán Higuchi Fractal Dimension
Phân tích hình học fracta đ ợc áp d ng t t cho các h th ng phi tuyến và cho dãy tín hi u trong th i gian thực Ph ơ g pháp y đ ợc áp d ng trong nhiều nghiên cứu về x lí tín hi u, đặc bi t só g đi n não EEG Trong nghiên cứu của
mì h, Higuchi để đề xuất một thuật toá để phân tích chiều hình học fractal của dãy các tín hi u theo th i gia đó H H cu g cấp một ph ơ g thức hi u quả để xác đị h đặc tính của dãy các tín hi u tuần tự Dãy tín hi u y có đặc tính là mỗi một thành phần của dãy có thể đ ợc coi là hình ảnh thu nhỏ của cả dãy Có thể s
d ng tính chất y để tí h toá đặc tr g của dãy tín hi u theo th i gian thực Mỗi một dãy con tín hi u mới nhận đ ợc từ nguồn có thể m đầu vào cho thuật toán HFD Nh vậy, vi c tính toán ra giá trị đặc tr g fracta có thể thực hi n liên t c theo th i gian thực
Trang 31H nh 1 15 Thuật toán Higuchi Fractal Dimension
1.3.3 Một số ph ng ph p tiêu biểu trong trích chọn đặc tr ng t n hiệu điện não
Ph ơ g pháp tro g trích trọ đặc tr g của tín hi u đi n não rất đa d ng và pho g phú h PC , IC , R, m g ơ ro Mỗi một ph ơ g pháp có hữ g u điểm riêng, từ đó đề xuất thuật toán phù hợp nhất đ i với bài toán trích chọ đặc
tr g tí hi u EEG Với luậ vă y tập tru g sâu v o m rõ cơ s lý thuyết cũ g
h các ứng d ng của ph ơ g pháp trích chọ đặc tr g só g đi n não s d ng biế đ i wavelet
Nếu một g i liên kết với một cái máy có chức ă g thu hận tín hi u não bộ
v g i khác l i liên kết với một cái máy khác có chức ă g ích thích một phần não bộ, thì g i thứ nhất có thể kiểm soát h h động của g i thứ hai
Các nhà nghiên cứu từ tr g i học Washington do Rajesh P N Rao đứng đầu, đã xuất bản một nghiên cứu vào tháng 11/2014 trên t p chí PLOS One, cho thấy một cách thực nghi m tính khả thi của lo i hình kiểm soát tâm trí này Một ý định mu n di chuyển tay phải của g i A sẽ đ ợc thu nhận b i chiếc mũ đi n não
G Ý định này sẽ đ ợc g i đến một chiếc máy tính có chức ă g truyền tải nó
d ới d g các xu g đi n tới một cuộn dây di tro g ph ơ g pháp ích thích từ xuyên sọ tr đỉ h đầu g i B, trang Live Science diễn giải Tay phải của g i B
Trang 32sẽ co l i Tuy rằng nó không đ t đ ợc đế trì h độ kiểm soát tâm trí h tro g các
bộ phim khoa học viễ t g, h g đây chí h một kh i điểm
Bộ headset EEG hi đã cho phép g i dù g t ơ g tác với trang ph c đa g mặc, bằng cách kích ho t sự thay đ i trên trang ph c dựa theo cảm xúc của họ Bộ headset y cũ g cho phép g i dù g chơi game từ xa
Bên c h đó cũ g có một thiết bị th i tra g đọc đ ợc cảm xúc T p chí Smithso ia đã đ a ti về hai lo i thiết bị th i trang lấy cảm hứng từ khoa học viễn
t g đu i Shippo v tai mèo Necomimi Cũ g gi g h vi c một chú chó sẽ vẫy, hay g c đu i xu ng hoặc vểnh tai lên tùy thuộc vào tr ng thái cảm xúc của nó, những lo i thiết bị th i trang này (nhìn bên ngoài chỉ đơ giả đu i v tai giả của động vật) sẽ phản ứng với tr ng thái cảm xúc của g i đeo Thiết bị th i trang này
sẽ đọc cảm xúc của g i đeo dựa vào các tín hi u não
H nh 1 16 Một cô g i đang thử trải nghiệm sản phẩm đuôi mèo Shippo tại Hội chợ
Trò ch i Tokyo 2012
Nhận d ng khuôn mặt là một trong nhữ g ĩ h vực mới của x lý ảnh Và ngày nay nhận d g đ ợc ứng d ng rộng rãi trong nhiều ĩ h vực của đ i s g h
Trang 33nhận d g tro g ĩ h vực th ơ g m i, hay phát hi n tội ph m tro g ĩ h vực an
i h, hay tro g ĩ h vực x lý video, hình ảnh
1.4 Giải ph p phân lớp sử dụng mạng neural trong nhận dạng cảm xúc
Trong nhữ g ăm gầ đây, đã có rất nhiều công trình công b , đ a ra các
h ớng tiếp cận khác nhau cho vi c giải quyết bài toán nhận d ng cảm xúc con
g i th g qua só g đi ão Phầ quan trọ g đầu tiên của nhận di n cảm xúc thông qua tín hi u EEG chính là trích chọ đặc tr g Tro g h ớng tiếp cận truyền
th ng dựa trên k thuật trích chọ đặc tr g, có một s ph ơ g pháp ti u biểu phải
kể đế Ph ơ g pháp phâ tích th h phần chính (Principal Component Analysis – PC , Ph ơ g pháp phâ tích th h phầ độc lập (Independent Component Analysis – ICA), Mô hình tự hồi quy (Autoregressive Modeling - R Các ph ơ g pháp trên chủ yếu dựa vào vi c phân tích tín hi u trên không gian tuyến tính, vì vậy không khai thác hết đ ợc bản chất phi tuyến của tín hi u EEG Gầ đây, dựa trên các u điểm biểu diễn tín hi u phi tuyến trên cả hai miền tần s và th i gian của phép biế đ i Wavelet, một s công trình công b trên thế giới đã tập trung vào áp
d ng k thuật y cho phâ tích đặc tr g của tín hi u G v thu đ ợc hi u quả cao hơ so với các ph ơ g pháp truyền th ng Ở Vi t Nam, các nghiên cứu về EEG
và BCI vẫn còn h n chế, chủ yếu là phân tích tín hi u G d ới d g “th ” Vi c
áp d ng biế đ i Wavelet mới chỉ dùng cho vi c lọc nhiễu tín hi u EEG hoặc x lý tín hi u đi n tim ECG
Dựa trên các bộ cơ s dữ li u có sẵn về các tín hi u G đ ợc cộ g đồng khoa học qu c tế công nhậ cơ s dữ li u chu để đ i sá h các ph ơ g pháp , luậ vă sẽ khảo sát và chứng minh tính hi u quả hơ của ph ơ g pháp trích chọn đặc tr g só g đi n não s d ng biế đ i wavelet r i r c so với một s ph ơ g pháp th ng dùng Sau đó tiế đế s d g m g ơ-ro để phâ bi t các tr g thái cảm xúc: Vui, buồ , tức giậ , …
Trang 341.5 Kết luận
Ch ơ g 1 trì h b y về tí hi u đi ão: cách đo đ c v thu hậ tí hi u, các
d g só g đi ão cơ bả guy tắc phâ tích đi ão đồ, phâ bi t các d g
só g de ta, beta, theta, a pha, gramma c h đó Ch ơ g 1 cũ g trì h b y về
m i i h giữa tí hi u só g ão v cảm xúc, một s h ớ g tiếp cậ tro g hậ
d g cảm xúc áp d g tí hi u só g ão Từ đó đ a ra ph ơ g pháp đề xuất s d g
ph ơ g pháp biế đ i wave et r i r c để phâ tích só g đi ão hằm thu đ ợc các tham s qua trọ g tro g vi c hậ d g cảm xúc Các tham s y sẽ đ ợc s d g tro g phầ hậ d g cảm xúc tr cơ s phâ ớp s d g m g ơ-ron
Trang 35CHƯƠNG 2 NHẬN DẠNG CẢM XÚC DỰA TRÊN S NG ĐIỆN NÃO
Phâ đo trích chọ đặc tr g có rất hiều ph ơ g pháp hác hau, có thể ể
đế PC , IC , R, m g ơ ro Mỗi một ph ơ g pháp có hữ g u điểm riêng,
từ đó đề xuất thuật toán phù hợp nhất đ i với bài toán trích chọ đặc tr g tí hi u
G Tuy hi ph ơng pháp trích chọ đặc tr g só g đi n não s d ng biế đ i wave et r i r c có u điểm v ợt trội hơ so với các ph ơ g pháp hác: cấu trúc đơ giả , độ chí h xác cao, v đặc tí h đ ợc mi u tả tr cả miề th i gia v tầ s
Trang 362.1 2 C c tham số đặc tr ng c a DWT trong việc nhận dạng cảm xúc
ể thực hi phâ đo trích chọ đặc tr g tro g h th g hậ d g cảm xúc, uậ vă trì h b y ph ơ g pháp s d g biế đ i wave et r i r c Cơ s dữ i u thu đ ợc sẽ đ ợc phâ tách th h 5 th h phầ só g cơ bả : e ta, Theta, pha, eta v Gamma Từ các th h phầ só g cơ bả y các tham s đặc tr g ph c v cho phâ đo phâ o i cảm xúc đ ợc tí h toá : mea , sta dard deviation, variance, arousal, dominance, skewness, entropy, power, RMS values
a) Gi trị trung nh (Mean)
Giá trị tru g bì h một đ i ợ g điể hì h của một tập dữ i u, ó đ ợc tí h
bằ g t g tất cả các giá trị tro g tập dữ i u đó chia cho s phầ t của tập dữ i u Giả s chú g ta có tí hi u đ ợc m tả b i X={x1, x2, x3…x thì giá trị tru g
b) Độ lệch chuẩn (Standard deviation)
ộ l ch chu , hay độ l ch tiêu chu n (Standard Deviation) là một đ i ợng
th ng kê mô tả dù g để đo mức độ phân tán của một tập dữ li u đã đ ợc lập thành bảng tần s ộ ch chu thấp đồ g ghĩa với điểm dữ i u gầ với giá trị tru g
bì h v g ợc i, ếu giá trị độ ch chu ớ thì điểm dữ i u đó cách xa giá trị tru g bì h 14]
Giả s X một biế gẫu hi với giá trị tru g bì h , thì độ ch chu
Trang 37H nh 2 2 Mô hình neural sinh học
Soma là thân của neural
Các dendrites là các dây mảnh, dài, gắn liền với soma, chúng truyền dữ li u
d ới d g xu g đi n thế đến cho soma x lý Bên trong soma các dữ li u đó đ ợc
Trang 38t ng hợp l i, có thể xem gầ đú g sự t ng hợp ấy h một phép lấy t ng tất cả các dữ li u mà neural nhậ đ ợc
Một lo i dây dẫn tín hi u hác cũ g gắn với soma là các axon Khác với dendrites, axons có khả ă g phát các xu g đi n thế, chúng là các dây dẫn tín hi u
từ eura đi các ơi hác Chỉ hi o đi n thế tro g soma v ợt quá một giá trị
g ỡng nào đó thì axo mới phát một xu g đi n thế, còn nếu không thì nó tr ng thái nghỉ
Axon n i với các dendrites của các neural khác thông qua những m i n i đặc
bi t gọi sy apse Khi đi n thế của sy apse tă g do các xu g phát ra từ axon thì synapse sẽ nhả ra một s chất hoá học (neurotransmitters); các chất này m
"c a" tr de drites để cho các ions truyề qua Chí h dò g io s y m thay đ i
đi n thế trên dendrites, t o ra các xung dữ li u lan truyền tới các neural khác
Có thể tóm tắt ho t động của một eura h sau: eura ấy t ng tất cả các
đi n thế vào mà nó nhậ đ ợc, và phát ra một xu g đi n thế nếu t ng ấy lớ hơ một g ỡ g o đó Các eura i với nhau các sy apses Sy apse đ ợc gọi là
m ch khi nó cho phép truyền dẫn dễ dàng tín hi u qua các eura hác Ng ợc l i, một synapse yếu sẽ truyền dẫn tín hi u rất hó hă
Các sy apses đó g vai trò rất quan trọng trong sự học tập Khi chúng ta học tập thì ho t động của các sy apses đ ợc tă g c ng, t o nên nhiều liên kết m nh giữa các neural Có thể nói rằ g g i nào học càng giỏi thì càng có nhiều synapses
và các synapses ấy càng m nh mẽ, hay nói cách khác, thì liên kết giữa các neural càng nhiều, càng nh y bén
2.2.1.2 Neural nhân tạo
Neural nhân t o là một đơ vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu v o đến từ một liên kết ặc tr g của neural là một hàm kích ho t phi tuyến chuyể đ i t hợp tuyến tính của tất cả các tín hi u đầu vào thành tín hi u đầu ra Hàm kích ho t y đảm bảo tính chất phi tuyến cho tính toán của m ng neural
Trang 39H nh 2 3 Mô hình một neural nhân tạo
Một eura đ ợc cầu t o gồm các thành phần chính: liên kết neural, bộ cộng, hàm kích ho t.Liên kết neural là một thành phần của m ng neural nhận t o để liên kết giữa các neural, nó n i đầu ra của neural lớp này với đầu vào của một neural trong lớp hác ặc tr g của thành phần liên kết là một trọng s mà mỗi tín hi u đi qua đều đ ợc nhân với trọng s này Các trọng s liên kết chính là các tham s tự
do cơ bản của m ng neuron, có thể thay đ i đ ợc nhằm thích nghi với m i tr ng xung quanh.Bộ cộ g dù g để tính t ng các tín hi u đầu vào của eura , đã đ ợc nhân với các trọng s liên kết t ơ g ứng Phép toá đ ợc mô tả đây t o nên một
bộ hợp tuyến tính Hàm kích ho t hay còn gọi hàm kích ho t phi tuyến, chuyể đ i một t hợp tuyến tính của tất cả các tín hi u đầu vào thành tín hi u đầu ra Hàm kích
ho t y đảm bảo tính chất phi tuyến cho tính toán m g eura Nó đ ợc xem h
là một hàm giới h n, nó giới h n ph m vi bi độ cho phép của tín hi u đầu ra trong một khoảng giá trị hữu h n Mô hình neural trong Hình 2.8 còn bao gồm một h s điều chỉ h b tác động từ bên ngoài H s điều chỉnh b có tác d g tă g hoặc giảm đi đầu vào thực của hàm kích ho t, tùy theo ó d ơ g hay âm