Nghiên cứu, thiết kế và thực hiện cấu trúc vi mạch cho mạng lưới thần kinh tích chập convolutional neural network, hướng ứng dụng chẩn đoán bệnh ung thư vú

Ngõ ra c栄a m衣ng có xét t噂i h羽 s嘘 biau+"8逢嬰c th詠c hi羽n b荏i công th泳c và hình v胤 sau... Vi羽c tri吋n khai các m衣ng th亥p"mkpj"8«"8逢嬰c s逸p x院p h嬰p lý nh運 e e"vj逢"xk羽p"8逢嬰c xây d詠ng xung quanh

-o0o -

Cán b瓜 j逢噂ng d磯n khoa h丑c : PGS TS Hoàng Trang

Xác nh壱n c栄a Ch栄 t鵜ch H瓜i 8欝pi"8 pj"ik "NX"x "Vt逢荏ng Khoa qu違n lý chuyên ngành

sau khi lu壱n v<n 8ã 8逢嬰c s穎a ch英a (n院u có)

CH 曳 T卯CH H浦K"A唄NG VT姶雲PI"MJQC"AK烏N-AK烏N T盈

PGS TS HÀ HOÀNG KHA

I VçP"A陰 TÀI: Nghiên c泳u, thi院t k院 và th詠c hi羽n c医u trúc vi m衣ch cho m衣pi"n逢噂i th亥n

kinh tích ch壱p Î convolutional neural netyqtm."j逢噂ng 泳ng d映ng ch育p"8q p"d羽nh ung vj逢"x¿"*Research, design and implement microchip structure for convolutional neural

network, application for breast cancer diagnosis)

II NHI 烏M V影 VÀ N浦I DUNG:

pi逢運i b羽nh hay không b羽nh Kho d英 li羽u t鰻ng h嬰p các nghiên c泳u v隠 v医p"8隠 này

framework tensorflow, 泳ng d映ng nh壱n bi院t các y院u t嘘 gây ung thu vú d詠c"vt‒p"e挨"

III NGÀY GIAO NHI 烏M V影 : 21/09/2020

IV NGÀY HOÀN THÀNH NHI 烏M V影 : 13/06/2021

L せI CＵO"∨P

L運k"8亥u tiên em xin chân thành c違o"挨p"v医t c違 quý Th亥y C»"8«"j逢噂ng d磯n và ch雨 b違o em

h院t s泳c t壱n tình trong th運i gian v瑛c"swc."8員c bi羽v"n "mjqc"Ak羽n- Ak羽n t穎 8«"v衣q"8k隠u ki羽n thu壱n

l嬰i nh医t giúp em hoàn thành lu壱p"x<p"p {0"Go"kính g穎i l運i c違m 挨p 8院n Th亥y Hoàng Trang,

Th亥y n "pi逢運i tr詠c ti院r"j逢噂ng d磯n và u v"e pj"e pi"pj逢"nw»p"ejq"go"e c ý ki院p"8„pi"i„r"pj茨m ik¿r"8隠 v k"pi {"e pi"8逢嬰c hoàn thi羽p"j挨p"swc"v瑛ng ngày

Trong ph衣m vi c栄c"8隠 tài này, f́"8«"e嘘 g逸pi"pj逢pi"fq"vj運i gian có h衣n nên lu壱p"x<p"x "thi院t k院 thi công vi m衣ch không tránh kh臼i còn nhi隠u h衣n ch院

V噂k"逢噂c mong h丑c h臼i, em r医t mong nh壱p"8逢嬰c s詠 8„pi"i„r"#"mk院p."j逢噂ng d磯n c栄a quý

Th亥y C»"8吋 v ej"n {"8逢嬰c thêm nhi隠u kinh nghi羽m j挨p"p英a, t瑛 8„ ti院p t映c hoàn thi羽n và phát tri吋n 8隠 tài c栄a mình sau này

Xin chân thành c違o"挨p0

Tp Hげ Chí Minh, ngày tháng p<o"

H 丑c viên

TÓM T 溢T LU一P"X;P

Wpi"vj逢"x¿"n "e<p"d羽nh nguy hi吋m và là d衣pi"wpi"vj逢"rj鰻 bi院n nh医t 荏 ph映 n英 Trong s嘘 8„."wpi"vj逢"dk吋u mô 嘘ng d磯n tr泳ng xâm l医n (IDC) là lo衣k"wpi"vj逢"x¿"rj鰻 bi院n nh医t, theo Hi羽p

h瓜k"Wpi"vj逢"Jqc"M T益 l羽 t穎 vong cao nh医v"fq"wpi"vj逢"x¿"n "fq"vjk院u nh壱n th泳c v隠 t亥m quan

tr丑ng c栄a vi羽c phát hi羽n các tri羽u ch泳ng s噂o."e pi"pj逢"vjk院w"8 q"v衣o v隠 e ej"z e"8鵜nh các tri羽u

ch泳pi"wpi"vj逢"x¿"]3_0"O員t khác, xác su医t c泳u s嘘ng m瓜t ph映 n英 b鵜 wpi"vj逢"x¿"rj映 thu瓜c ch栄

y院u vào vi羽c b羽nh nhân nh壱p"8逢嬰c ch育p"8q p"d羽nh 荏 ikck"8q衣p"8亥u và b逸v"8亥w"8k隠u tr鵜 ngay l壱p

t泳e"jc{"mj»pi"]4_"]5_"]6_0"Fq"8„."xk羽e"z e"8鵜nh và phân lo衣i chính xác các lo衣k"wpi"vj逢"x¿"n "

m瓜t nhi羽m v映 lâm sàng quan tr丑pi."vtqpi"8„"e e"rj逢挨pi"rj r"v詠 8瓜ng có th吋 8逢嬰c s穎 d映pi"8吋

ti院t ki羽m th運i gian và gi違m thi吋u sai sót

Lu壱p"x<p này trình bày công vi羽c c栄a chúng tôi v隠 vi羽e"8 pj"ik "jk羽u qu違 c栄a m瓜t ki院n trúc m衣pi"p挨-ron ph泳c h嬰p sâu m噂i (CNN) 8逢嬰e"8隠 xu医t 8吋 phân lo衣i hình 違nh mô h丑c vú cho các y院u t嘘 piw{"e挨"wpi"vj逢"n "¤o"v pj"jc{"f逢挨pi"v pj0"Piq k"tc."e医u trúc ph亥n c泳ng c栄a mô j·pj"8隠 xu医v"8«"8逢嬰c t鰻ng h嬰p và xác minh thành công thông qua Altera Quartus K院t qu違 ch雨

ra r茨ng m瓜v"EPP"8逢嬰e"8 q"v衣o trên m瓜t t壱p d英 li羽u nh臼 8«"8衣v"8逢嬰c giá tr鵜 AUC t鰻ng th吋 (Khu

v詠e"f逢噂k"8逢運ng cong ROC - ROC là t瑛 vi院t t逸t c栄c"8員c tính ho衣v"8瓜ng c栄a máy thu) là 0,922 trên m瓜t b瓜 55505 hình 違nh th穎 nghi羽m

ABSTRACT

Breast cancer is a deadly disease and is the most common form of cancer in women Among them, invasive ductal carcinoma (IDC) is the most common type of breast cancer, according to the American Cancer Society The highest mortality from breast cancer is due to

a lack of awareness about the importance of detecting symptoms early, as well as a lack of training in how to identify breast cancer symptoms [1] On the other hand, the probability of saving a woman's life with breast cancer depends mainly on whether the patient receives a diagnosis of the disease at an early stage and begins treatment immediately [2] [3] [4] Therefore, the accurate identification and classification of breast cancers is an important clinical task, where automated methods can be used to save time and minimize errors

This thesis presents our work on evaluating the effectiveness of a proposed new deep complex neural network (CNN) architecture for breast histological image classification for cancer risk factors is negative or positive In addition, the hardware structure of the proposed model has been successfully synthesized and verified through Altera Quartus The results indicated that a CNN trained on a small data set achieved an overall AUC value (Area under the ROC curve - ROC stands for receiver operating characteristic) of 0.922 on a set of 55505 test images

L 云K"ECO"AQCP

V»k"zkp"eco"8qcp"u違n ph育m lu壱p"x<p"ÐPijk‒p"E泳u, Thi院t K院 Và Th詠c Hi羽n C医u Trúc

Vi M衣ch Cho M衣pi"N逢噂i Th亥n Kinh Tích Ch壱p Î Eqpxqnwvkqpcn"Pgwtcn"Pgvyqtm."J逢噂ng 永ng

D映ng Ch育p"Aq p"D羽pj"Wpi"Vj逢"X¿Ñ"n "e»pi"vt·pj"pijk‒p"e泳u cá nhân c栄a tôi trong th運i gian qua Toàn b瓜 n瓜i dung và k院t qu違 nghiên c泳u là do tôi t詠 tìm hi吋u, phân tích m瓜t cách khách quan, trung th詠c, có ngu欝n g嘘e"t "t pi"x "ej逢c"8逢嬰c công b嘘 f逢噂i b医t k hình th泳c nào

Tôi xin ch鵜u hoàn toàn trách nhi羽m n院u có s詠 không trung th詠c trong thông tin s穎

d映ng trong công trình nghiên c泳u này

"" " " " " " " " J丑e"xk‒p1"V e"ik違

"" " " " " " " " """X "V医p"Rj v

M 影C L影C

1 GI 閏I THI烏U 1

1.1 T 鰻ng quan 1

1.2 Tình hình nghiên c 泳w"vtqpi"x "piq k"p逢噂c 1

1.3 Nhi 羽m v映 lu壱p"x<p 2

2 LÝ THUY 蔭T 3

2.1 T 鰻ng quan m衣ng th亥n kinh 3

2.2 Kh 違o sát các mô hình m衣pi"p挨"tqp< 3

2.2.1 M 衣ng ti院p"8挨p"o泳c: 3

2.2.2 M 衣ng ti院p"8c"o泳c: 4

2.2.3 M 衣ng th亥n kinh tích ch壱p (Convolutional neural network): 6

2.3 Hàm m 医t mát (loss function): 8

2.4 Các lu 壱t hu医n luy羽n cho m衣pi"p挨"tqp< 9

2.5 Kh 違o sát ch丑n hàm tích c詠c 24

2.5.1 Hàm kích ho 衣t ReLU 24

2.5.2 Hàm Softmax 26

2.6 Tensorflow-XLA 27

3 THI 蔭T K蔭 VÀ TH衛C HI烏N KI蔭N TRÚC M萎NG TH井N KINH TÍCH CH一R"A陰 XU遺T 28

3.1 D 英 li羽u hu医n luy羽n 28

3.1.1 Phân tích t 鰻ng quan b瓜 d英 li羽u 28

3.1.2 Hình 違nh c栄a mô kh臼e m衣nh so v噂k"o»"wpi"vj逢 29

3.1.3 V<pi"u嘘 n逢嬰ng d英 li羽u (Data Augmentation) 31

3.1.4 Chia b 瓜 d英 li羽u cho các nhi羽m v映 hu医n luy羽n và ki吋m tra 31

3.2 Th 詠c hi羽n ki院n trúc mô hình m衣ng th亥p"mkpj"8隠 xu医t 32

3.2.1 Th 詠c thi ki院n trúc m衣ng th亥n kinh tích ch壱p 32

3.2.2 Th 詠c hi羽n ki院n trúc ph亥n c泳ng cho m衣ng th亥n kinh tích ch壱r"8隠 xu医t 35

3.2.2.1 LegUp 35

3.2.2.2 LeFlow 36

3.2.2.3 Ki 院n trúc ph亥n c泳ng cho m衣ng th亥n kinh tích ch壱p 36

4 K 蔭T QU謂 TH衛C HI烏N 39

4.1 Tóm t 逸t k院t qu違 8衣v"8逢嬰c 39

4.2 Các c 違i ti院n và k院t qu違 chi ti院t 40

4.2.1 Quy trình hu 医n luy羽n m衣ng 40

4.2.2 Ki 院n trúc m衣ng th亥n kinh tích ch壱r"8隠 xu医t 42

4.2.3 K 院t qu違 th詠c hi羽n mô ph臼ng trên ph亥n c泳ng 44

5 K 蔭T LU一P"XÉ"J姶閏NG PHÁT TRI韻N 45

5.1 K 院t lu壱n 45

5.2 H 逢噂ng phát tri吋n 45

TÀI LI 烏U THAM KH謂O 46

DANH SÁCH HÌNH OKPJ"J窺C

Hình 1 Mô hình neuron tiêu chu 育n 3

J·pj"4"O»"j·pj"Rgtegrvtqp"8挨p"n噂p 4

J·pj"5"O»"j·pj"rgtegrvtqp"8c"n噂p 6

Hình 4 B 瓜 l丑e"m ej"vj逢噂c 3x3 6

Hình 5 K 院t qu違 sau khi b瓜 l丑e"Ðvt逢嬰vÑ 6

Hình 6 Mô hình m 衣pi"p挨"tqp"x噂i b瓜 vector vào-ra mong mu嘘n 隙岫倦岻 穴岫倦岻 10

Hình 7 Mô hình m 瓜v"p¿v"8挨p"ik違n trong bi吋w"8欝 tính toán CNN 13

Hình 8 Mô hình m 瓜v"p¿v"8挨p"ik違n trong bi吋w"8欝 tính toán CNN nh壱p"8逢嬰c giá tr鵜 truy隠n v隠 t瑛 hàm m医t mát 13

Hình 9 Mô hình minh h 丑a quá trình tính toán sai l羽ch (loss gradient) 14

Hình 10 Ma tr 壱n pixel ngõ vào X 14

Hình 11 Ma tr 壱n pixel b瓜 l丑c F 14

Hình 12 K 院t qu違 th詠c hi羽n tích ch壱p 14

Hình 13 Mô hình minh h 丑c"sw "vt·pj"v pj"vq p"pi逢嬰c 15

Hình 14 Minh h 丑a phép tính ch壱p tính toán giá tr鵜 8衣o hàm m医t mát theo F 19

Hình 15 L 壱t b瓜 l丑c F 180 0 .23

Hình 16 Minh h 丑a phép tích ch壱r"8亥{"8栄 (full convolution) tính toán giá tr鵜 項詣項隙 23

J·pj"39"A欝 th鵜 hàm ReLU 25

J·pj"3:"A欝 th鵜 hàm Tanh 25

J·pj"3;"A欝 th鵜 hàm Softmax 26

Hình 20 Tóm t 逸t t鰻ng quan d英 li羽u 28

Hình 21 Hình 違nh bi吋u th鵜 e e"o»"f逢挨pi"v pj 29

Hình 22 Hình 違nh bi吋u th鵜 các mô âm tính 29

Hình 23 Bi 吋w"8欝 nhi羽t (nh鵜 phân) th吋 hi羽n các khu v詠e"wpi"vj逢"e„"zw"j逢噂ng xu医t hi羽n 30

Hình 24 Bi 吋w"8欝 nhi羽t th吋 hi羽n các khu v詠e"wpi"vj逢"e„"zw"j逢噂ng xu医t hi羽n 31

Hình 25 Mô hình chia tách d 英 li羽u thành các t壱p d英 li羽u riêng bi羽t 32

Hình 26 Ki 院n trúc m衣ng th亥n kinh h丑e"u¤w"8隠 xu医t cho ch育p"8q p"wpi"vj逢"o»"v院 bào vú 33

Hình 27 Ki 院n trúc m衣ng th亥n kinh nhân t衣q"8逢嬰c bi吋u di宇p"f逢噂i d衣ng Tensor graph 34

Hình 28 T 鰻ng quan cách ho衣v"8瓜ng c栄a LegUp[28] 35

Hình 29 Mô hình chuy 吋p"8鰻i ho衣v"8瓜ng t瑛 ph亥n m隠m sang ph亥n c泳ng 36

Hình 30 Ki 院n trúc ph亥n c泳ng m衣ng th亥n kinh (post-mapping) 37

Hình 31 Ki 院n trúc ph亥n c泳ng Register-transfer level (RTL) c栄a m衣ng th亥n kinh 38

Hình 32 Tóm t 逸t k院t qu違 mô ph臼ng ph亥n c泳ng 40

Hình 33 Bi 吋w"8欝 traning mô hình phân lo衣k"8逢嬰e"8隠 xu医v"8亥u tiên c栄a chúng tôi s穎 d映ng Adam 41

Hình 34 Bi 吋w"8欝 traning mô hình phân lo衣k"8逢嬰e"8隠 xu医v"8亥u tiên c栄a chúng tôi s穎 d映ng Adadelta 41

Hình 35 Bi 吋w"8欝 traning mô hình phân lo衣k"8逢嬰e"8隠 xu医t th泳 hai c栄a chúng tôi s穎 d映ng Adam 41

Hình 36 Bi 吋w"8欝 traning mô hình phân lo衣k"8逢嬰e"8隠 xu医t th泳 hai c栄a chúng tôi s穎 d映ng Adadelta 41

J·pj"59"A逢運pi"eqpi"TQE"ejq"e e"rj逢挨pi"vj泳c ti院p c壱p"vtqpi"8隠 tài 44

DANH SÁCH B 謂NG S渦 LI烏U

B 違ng 1 B違ng t鰻ng h嬰p thông s嘘 các l噂p m衣ng 35

B 違ng 2 B違ng th嘘ng kê d英 li羽u 39

B 違ng 3 Th嘘pi"m‒"uq"u pj"CWE"ejq"e e"rj逢挨pi"rj r 39

B 違ng 4 Confusion matrix c栄a mô hình th泳 nh医t 42

B 違ng 5 Confusion matrix c栄a mô hình th泳 hai 42

1 GI 閏I THI烏U

1.1 T 鰻ng quan

Wpi"vj逢"x¿ n "nq衣k wpi"vj逢 vj逢運pi"i員r"pj医v"x "i¤{ v穎"xqpi j pi"8亥w"荏 rj映"p英 pjk隠w"

p逢噂e Theo E挨"swcp"Pijk‒p"e泳w"Wpi"vj逢"Vj院"ik噂k (IARC)[5_"x q"p<o"423: u嘘"ec"o逸e"o噂k"n "4"2::":6;"pi逢運k."ejk院o"3308'"vtqpi"v鰻pi"u嘘"e e"nq衣k"wpi"vj逢"荏"rj映"p英"vt‒p"vq p vj院"ik噂k0"E pi"theo IARC, u嘘"ec"v穎"xqpi"v pj"tk‒pi"vtqpi"p<o"423:"n "848"89;"pi逢運k."ejk院o"808'"v鰻pi"u嘘"ec"v穎"xqpi"fq"wpi"vj逢"vt‒p"vq p"vj院"vj噂k

Wpi" vj逢" x¿" 8cpi" vt荏" p‒p" rj鰻" dk院p" v衣k e e" p逢噂e" 8cpi" rj v" vtk吋p0" V衣k Xk羽v" Pco, p<o 2018."荏"p英"ik噂k."wpi"vj逢"x¿"n "nq衣k wpi"vj逢 e„"v亥p"uw医v"ecq"pj医v x噂k zw医v"8瓜 ejw育p"j„c"vjgq"vw鰻k"n "48.3 (trên 100 000 dân)

Vjgq"u嘘"nk羽w"p<o"423:"v瑛"KCTE."u嘘"ec"o逸e"o噂k"v衣k"XP"n "37"44;"x "v穎"xqpi"n "8"325"ec0 A¤{" n " o瓜v" d羽pj" j院v" u泳e" rj泳e" v衣r" o " vtqpi" pjk隠w" p<o" swc" 8«" e„" pjk隠w" pijk‒p" e泳w"

x隠 nguyên nhân, d羽pj"ukpj và 8k隠w"vt鵜0"O瓜v"8k隠w"swcp"vt丑pi"e亥p"rj違k"pj壱p"vj医{"n "xk羽e phát jk羽p"u噂o"wpi"vj逢"x¿"swc"u詠"v亥o"uq v"荏"pj英pi"rj映"p英"d·pj"vj逢運pi"8«"n o"vjc{"8鰻k"t "

t pi"d羽pj"u穎"v詠"pjk‒p"e栄c"d羽pj"e pi"pj逢"e違k"vjk羽p"8 pi"m吋"vk‒p"n逢嬰pi"d羽pj0

Hi羽n nay có nhi隠w"rj逢挨pi"rj r"8吋 ch育p"8q p"d羽pj"wpi"vj逢"x¿."vw{"pjk‒p"泳ng d映ng trí thông minh nhân t衣q"8吋 ch育p"8q p"n "o瓜v"rj逢挨pi"rj r"ik¿r"vk院t ki羽m th運i gian, chi phí và ít b鵜 xâm l医p"j挨p0"A„pi"xck"vt "pj逢"o瓜v"e挨"u荏 8嘘i chi院w"8 pi"vkp"e壱{"ik¿r"e e"d e"u "8逢c"tc"sw{院t 8鵜nh chu育p"z e"j挨p0

Công vi羽e"8逢嬰c trình bày 荏 8¤{"ejq"vj医y kh違 p<pi"u穎 d映ng các m衣ng th亥n kinh nh壱n d衣ng các y院u t嘘 piw{"e挨"e栄a b羽pj"wpi"vj逢"x¿."x噂i nh英ng cân nh逸c th詠c t院 v隠 m ej"vj逢噂c m衣ng th亥n kinh, cách s穎 d映ng và tri吋n khai h羽 th嘘ng Bên c衣pj"8„ ki院n trúc m衣ng 8逢嬰c 8隠 xu医t e pi s胤 8逢嬰c t鰻ng h嬰p và xác nh壱n s穎 d映ng Altera Quartus pj逢"o瓜t n厩 l詠e"8吋 8 pj"ik "v pj"mj違 thi c栄a

h羽 th嘘ng ti院p c壱n

1.2 Tình hình nghiên c 泳w"vtqpi"x "piq k"p逢噂c

Jk羽p"pc{"vtqpi"p逢噂e"xk羽e"u穎"f映pi"vt "vj»pi"okpj"pj¤p"v衣q"8吋"ej育p"8q p"d羽pj"e p"pjk隠w j衣p" ej院0" X磯p" e p" e亥p" pjk隠w" vj運k" ikcp" 8吋" vj詠e" u詠" rj v" vtk吋p" 8¿pi" x噂k" vk隠o" p<pi0 Vt‒p"vj院"ik噂k."xk羽e"u穎"f映pi"vt "vj»pi"okpj"pj¤p"v衣q"vtqpi"ej育p"8q p"wpi"vj逢"8cpi"i¤{"tc t医v"pjk隠w"vk院pi"xcpi"n噂p"pj運"x q"8瓜"ej pj"z e"e栄c"p„."vw{"pjk‒p"x磯p"e p"o瓜v"u嘘"j衣p"ej院."e„ vj吋"u胤"8逢嬰e"mj逸e"rj映e"x "vt荏"p‒p"jq p"vjk羽p"vtqpi"v逢挨pi"nck"i亥p

Trong [6-16_."O衣pi"vj亥p"mkpj"ejw{吋p"8鰻k"*EPP+"- o瓜v"vt逢運pi"eqp"e栄c"o {"j丑e"e pi"8«"8逢嬰e"u穎"f映pi"8吋"rj¤p"nq衣k"j·pj"違pj"o»"d羽pj"j丑e"n "n pj"v pj"jc{" e"v pj0

Vw{"pjk‒p."vtqpi"e e"rj逢挨pi"rj r"e栄c"e e"v k"nk羽w"pijk‒p"e泳w"8«"8隠"e壱r"荏"vt‒p."xk羽e"n詠a ej丑p"vtk吋p"mjck"rj亥p"e泳pi"ejq"e e"mk院p"vt¿e"EPP" v"8逢嬰e"ej¿"#."o員e"f́"n嬰k" ej"e栄c"xk羽e"vtk吋p"mjck"rj亥p"e泳pi o衣pi"EPP"8«"8逢嬰e"ej泳pi"okpj"]39-19_"x噂k"ikck"8q衣p"uw{"nw壱p"fq"mk院p"vt¿e"uqpi"uqpi"x "jk羽w"uw医v cao vt‒p"o瓜v"8挨p"x鵜"e»pi"uw医v0"D‒p"e衣pj"8„."rj亥p"e泳pi"e„"pj英pi"j衣p"ej院"fq"v k"piw{‒p"rj亥p"e泳pi"e„"j衣p0"Fq"8„."8k隠w"swcp"vt丑pi"n "rj違k"v·o"tc"o瓜v"mk院p"vt¿e"rj亥p"e泳pi"jk羽w"sw違"e栄c EPP"8吋"ewpi"e医r"ejq"p„"mj違"p<pi"vj詠e"jk羽p pjk隠w"v pj"vq p"j挨p

1.3 Nhi 羽m v映 lu壱p"x<p

Lu壱p"x<p p {"8隠 xu医t m瓜t mô hình có kh違 p<pi"vtk吋n khai ph亥n c泳ng m衣ng CNN và kh逸c

ph映c v医p"8隠 gi噂i h衣n tài nguyên ph亥n c泳ng Ki院n trúc c栄c"o»"j·pj"8逢嬰c xây d詠ng v噂i kích vj逢噂c phù h嬰r"8吋 8 r"泳ng kh違 p<pi"vtk吋n khai trong ph亥n c泳ng và nó s胤 8栄 linh ho衣v"8吋 thay 8鰻i m瓜t s嘘 l噂p ho員c cho m映e"8 ej"8 q"v衣o l衣i khi có s詠 vjc{"8鰻i trong d英 li羽w"8亥w"x q0"A欝ng

th運k."o»"j·pj"8逢嬰e"8隠 xu医t s胤 8衣v"8逢嬰c giá tr鵜 AUC (Di羽p"v ej"f逢噂k"8逢運ng cong ROC) t鰻ng

th吋 v逢挨pi"8逢挨pi"x噂i k院t qu違 8«"8逢嬰c công b嘘 c栄a các bài báo khoa h丑c dùng chung b瓜 d英 li羽u 8逢嬰c s穎 d映ng trong lu壱p"x<p"p { cho nhi羽m v映 phát hi羽n wpi"vj逢"x¿ trên b瓜 55505 hình 違nh

th穎 nghi羽m

e e"vt丑pi"u嘘"8«"8逢嬰e"pj¤p"x噂k"8亥w"x q"v逢挨pi"泳pi0"Pi "tc"e栄c"3"p挨"tqp"n "m院v"sw違"e栄c"3"j o"

m ej"jq衣v"x噂k"pi "x q"n "m院v"sw違"e栄c"rjfir"v pj"v鰻pi"p‒w"vt‒p0

Hình 1 Mô hình neuron tiêu chu 育n

2.2 Kh 違o sát các mô hình m衣pi"p挨"tqp<

M衣ng ti院p"8挨p"o泳c hay còn g丑i là perceptron m瓜t l噂p có c医w"vt¿e"8挨p"ik違n và d宇 th詠c hiên, tuy nhiên m衣ng này không có l噂p 育n (hidden layer) gi英a l噂p ngõ vào v噂i l噂p ngõ ra, do 8„"e„"j衣n ch院 trong vi羽c s穎 d映ng nó cho nh英ng bài toán ph泳c t衣p Ngõ ra c栄a m衣ng (có xét t噂i

h羽 s嘘 biau+"8逢嬰c th詠c hi羽n b荏i công th泳c và hình v胤 sau

剣沈 噺 血 嵜布 拳沈珍 抜 捲珍 髪 肯沈

朝 珍退怠

M衣ng perceptron nhi隠u l噂p (multilayer feedforward networks) có nhi隠u l噂r"p挨tqp<"o瓜t

ho員c không có l噂p vào, m瓜t hay nhi隠u l噂p 育n và m瓜t l噂p ra

Vt逢運ng h嬰p t鰻ng quát, m衣ng p挨tqp"u胤 có nhi隠w"j挨p"4"n噂p, lúc này m衣ng s胤 có m瓜t l噂p

pi "x q"*Kprwv"Nc{gt+"8逢嬰c k院t n嘘i t瑛 các ngõ vào c栄a m衣ng (x1, x2, , xn), m瓜t hay nhi隠u

l噂p 育n (Hidden Layer) không tr詠c ti院p k院t n嘘i v噂i ngõ vào và ngõ ra c栄a m衣ng, m瓜t l噂p ngõ

ra c栄a m衣ng (Output layer) k院t n嘘i v噂k"8亥u ra c栄a m衣ng(o1, o2, , oM)

Rj逢挨pi"vt·pj"v鰻ng quát tính output c栄a m衣ng (có xét t噂i h羽 s嘘 dkcu+"8逢嬰c th詠c hi羽p"pj逢"ucw: Zfiv"p挨"tqp"vj泳 q l噂p (s-1) có t鰻ng tr丑ng s嘘 là:

茎槌岫鎚貸怠岻噺 布 拳槌珍岫鎚貸怠岻 剣珍岫鎚貸態岻髪 肯槌岫鎚貸怠岻

陳 珍退怠

崟 髪 肯沈 陳

槌退怠

陳 槌退怠

‚ 剣珍岫鎚貸態岻: Tín hi羽u ngõ ra c栄a p挨"tqp th泳 j trong l噂p (s-2)

‚ 肯槌岫鎚貸怠岻 : H羽 s嘘 bias c栄a p挨"tqp th泳 q trong l噂p (s-1)

Hình 3 O»"j·pj"rgtegrvtqp"8c"n噂p

2.2.3 M 衣ng th亥n kinh tích ch壱p (Convolutional neural network):

Th運i gian g亥p"8¤{"O衣ng th亥n kinh tích ch壱p (CNNs) d亥p"8逢嬰c quan tâm nhi隠w"j挨p Vì CNN có th吋 z e"8鵜nh m嘘i quan h羽 không gian trong d英 li羽u và hình 違nh."fq"8„"EPP"8逢嬰c ch丑n pj逢"mk院n trúc n隠n t違pi"8吋 th詠c hi羽p"8隠 tài này

M衣pi"p挨-ron không c亥n ph違i có hình th泳c k院t n嘘i t瑛pi"8亥u vào v噂i m厩k"p挨-ron Trong

th詠c t院, t院 bào th亥n kinh có th吋 th詠c hi羽n h亥w"pj逢"d医t k ho衣v"8瓜ng nào mi宇n là nó khác bi羽t

M瓜t ki院n trúc m衣ng th亥n kinh ph鰻 bi院n khác là m衣pi"p挨"ron tích ch壱p (CNN)."xc{"o逢嬰n tích

ch壱p 2d t瑛 e e"vt逢運pi"pj逢"z穎 lý 違nh CNN có th吋 8逢嬰e"zgo"pj逢"n "Ðvt逢嬰vÑ"o瓜t b瓜 l丑c nh臼 trên

m瓜t hình 違nh 荏 c医r"8瓜 e e"8k吋m 違nh (pixels) Trong khi b瓜 l丑e"vt逢嬰t, m丑i s嘘 ch欝ng l医r"8逢嬰c pj¤p"n‒p"x "ucw"8„"e e"pi tc"8逢嬰c tính t鰻pi"8吋 t衣o ra pixel ngõ ra cu嘘i cùng M瓜t ví d映 8逢嬰c minh h丑a trong Hình 4 và 5[20]

Hình 4 B 瓜 l丑e"m ej"vj逢噂c 3x3 Hình 5 K 院t qu違 sau khi b瓜 l丑e"Ðvt逢嬰vÑ

N院w"ej¿pi"vc"e„"m ej"vj逢噂c hình 違nh 軽 抜 軽 x "m ej"vj逢噂c b瓜 l丑c 繋 抜 繋 thì sau khi tích

ch壱p k院t qu違 s胤 là:

là m瓜t quá trình thêm s嘘 không vào ma tr壱n 荏 ngõ vào m瓜t cách 8嘘i x泳ng

N院u chúng ta áp d映ng b瓜 l丑c (" 抜 "("trong ma tr壱p"8亥u vào 岫0" 髪 "にı岻"抜"岫0" 髪 "にı岻 v噂i

ph亥p"8羽m, thì chúng ta s胤 nh壱p"8逢嬰e"m ej"vj逢噂c ma tr壱p"8亥u ra 岫0" 髪 "にı 伐 (" 髪 "な岻"抜"岫0" 髪

"にı 伐 (" 髪 "な岻 0"Pj逢"ej¿pi"vc"dk院t r茨ng sau khi áp d映ng ph亥p"8羽m, chúng ta s胤 có ma tr壱n ngõ

ra có épi"m ej"vj逢噂c v噂k"m ej"vj逢噂c v噂i ma tr壱n 荏 ngõ vào x q"dcp"8亥u岫0" 抜 "0岻0"Fq"8„"ej¿pi"

T瑛 công th泳c 7 rút ra r茨ng m ej"vj逢噂c b瓜 8羽m tùy thu瓜e"x q"m ej"vj逢噂c b瓜 l丑c

Vi羽c tri吋n khai các m衣ng th亥p"mkpj"8«"8逢嬰c s逸p x院p h嬰p lý nh運 e e"vj逢"xk羽p"8逢嬰c xây

d詠ng xung quanh symbolic differentiation, t嘘k"逢w"j„c"8衣i s嘘 tuy院n tính và s穎 d映pi"IRW0"Vt逢噂c khi có các công c映 này, c亥n ph違i tính toán sai s嘘 nk‒p"swcp"8院n hàm m医t mát cho m瓜t tham s嘘 8«"ejq"o瓜t cách th栄 công, công vi羽e"8 k"j臼i quá trình tính toán r医t ph泳c t衣r0"Vjc{"x q"8„."x噂i các công c映 này các giá tr鵜 m医v" o v" 8逢嬰c t詠 8瓜ng tính toán b茨ng cách s穎 d映ng symbolic differentiation V隠 b違n ch医t, các ho衣v"8瓜pi"8逢嬰c chuy吋n thành m瓜t bi吋w"8欝 bao g欝m các nút và các c衣pj"8吋 e e"8衣o hàm có th吋 8逢嬰e"z e"8鵜nh b茨ng thu壱t toán Mã t嘘k"逢w"j„c"ucw"8„"e„"vj吋 8逢嬰c t衣o b茨ng các ho衣v"8瓜pi"8衣i s嘘 tuy院n tính tùy ch雨nh, t瑛 8„"ik¿r"ik違o"8瓜 ph泳c t衣p và t壱n

d映ng ph亥n c泳pi"pj逢"IRW0

Vtqpi"8隠 tài này, framework Tensorflow[21_"8逢嬰c s穎 d映ng Tensorflow làm cho vi羽c xây

d詠ng ki院n trúc m衣ng và t衣o ra b違n m磯u tr荏 nên nhanh chóng và thu壱n ti羽p"j挨p0"Vj逢"xk羽n h厩 tr嬰

m瓜t s嘘 l噂p m衣ng ph鰻 bi院p"z e"8鵜pj"vt逢噂c, có th吋 k吋 8院p"pj逢"e e"n噂p dense hay các l噂p tích

ch壱p Cùng v噂k"8„"xk羽c tùy ch雨nh các l噂p ho員e"rj逢挨pi"vj泳c hu医n luy羽p"e pi"f宇 f pi"j挨p"fq"tính ch医t mã ngu欝n m荏 c栄c"htcogyqtm"e pi"pj逢"e e"o磯u có s印n trong tài li羽w0"A欝ng th運i m瓜t backend chuyên bi羽t c栄a frameyqtm"Vgpuqthnqy"e pi"u胤 8逢嬰c s穎 d映pi"8吋 xây d詠ng ki院n trúc

ph亥n c泳ng, tensorflow-XLA[22], s胤 8逢嬰c th違o lu壱p"u¤w"j挨p"荏 ph亥n sau

2.3 Hàm m 医t mát (loss function):

Các m衣pi"p挨"tqp"8«"vt荏 nên ph鰻 bi院n do kh違 p<pi"8逢嬰c hu医n luy羽n m瓜t cách có giám sát

v噂k"8瓜 dóc g嘘e"e pi"pj逢"e e"vj»pi"u嘘 liên quan khác c栄c"p„0"A吋 th詠c hi羽n quá trình này, m瓜t hàm m医v"o v"L"*nquu"hwpevkqp+"jc{"e p"8逢嬰c g丑i b茨ng nhi隠w"e k"v‒p"mj e"pj逢"j o"n厩i (error function), hàm m映e"vk‒w"*qdlgevkxg"hwpevkqp+"jc{"j o"8k隠u ch雨nh (fitness function) là c亥n thi院t Hàm m医t mát v隠 e挨"d違p"8員t m瓜t s嘘 cho m泳e"8瓜 sai l羽ch c栄c"pi "tc"p挨"tqp0"J o"o医v"o v"8挨p"

gi違n nh医t có th吋 k吋 8院n là Sai s嘘 d·pj"rj逢挨pi"vtwpi"d·pj"*OUG+<

蛍 噺なに 布盤検沈貸槻賦日匪態

鎮 沈退怠

Công th 泳c 9

Tro pi"8„<"

‚ M: s嘘 n逢嬰ng các l噂p ngõ vào c亥n phân lo衣i

‚ 検頂: giá tr鵜 ngõ ra mong mu嘘n c栄c"p挨"tqp""

‚ 検賦頂: giá tr鵜 ngõ ra th詠c t院 c栄c"p挨"tqp"

Khác v噂i MSE, hàm m医t mát này ho衣t 8瓜pi"pj逢"o瓜t cách tính xác su医t ngõ ra cho hai hay nhi隠u l噂r"pi "x q."8員c bi羽t h英u ích cho vi羽c phân lo衣k"8c"n噂p Ví d映, có th吋 e„":"p挨"tqp"trong l噂p ngõ ra bi吋w"vt逢pi"ejq":"n噂p khác nhau c栄a ngõ vào Ho員c ch雨 e„"3"p挨"tqp"pj逢"n "pi "

ra nh鵜 phân hi吋n th鵜 Ðe„Ñ"jq員e"Ðmj»piÑ0

2.4 Các lu 壱t hu医n luy羽n cho m衣pi"p挨"tqp<

V噂i hàm m医v"o v"8逢嬰c ch丑n, m衣ng th亥n kinh có th吋 8逢嬰c hu医n luy羽n b茨pi"rj逢挨pi"rj r"

t嘘k"逢w"j„c"rjk"vw{院p."vj逢運ng là thu壱v"vq p"8瓜 dóc g嘘c (gradient descent) Thu壱t toán này ho衣t 8瓜ng b茨ng cách l員r"8k"l員p l衣k"e e"d逢噂c trên b隠 m員t c栄a hàm m医v"o v"vjgq"j逢噂ng t嘘i thi吋u c映c

b瓜 g亥n nh医t v噂i m瓜t m映e"vk‒w"8„"n "v·o"8逢嬰c giá tr鵜 c詠c ti吋u toàn c映c Khi hàm m医v"o v"8衣t 8逢嬰c giá tr鵜 c詠c ti吋u, m衣ng th亥n kinh s胤 8衣v"8逢嬰e"8瓜 chính xác cao nh医t trong vi羽c d詠 8q p"e e"

l噂p ngõ vào

Khi nhi隠u l噂p t院 bào th亥p"mkpj"8逢嬰c s穎 d映pi"8吋 t衣o thành m瓜t m衣pi"n逢噂i th亥n kinh, vi羽c

l医{"8衣o hàm riêng c栄a hàm m医v"o v"8嘘i v噂i m瓜t tham s嘘 s胤 tr荏 nên ph泳c t衣r"j挨p0"Fq"8„."nw壱t

h丑c lan truy隠p"pi逢嬰e"*Dcemrtqrcicvkqp+"8逢嬰c s穎 d映ng

Bryson và Ho 8«"8隠 xu医t s穎 d映ng lu壱t h丑c lan truy隠p"pi逢嬰c (Backpropagation)[23] cho

m衣ng truy隠n th鰯ng lan truy隠p"pi逢嬰e"x q"p<o"3;8;0"Ejq"vt逢噂c c員p m磯u tín hi羽u vào-ra c栄a

m衣ng là 版盤隙岫賃岻 穴岫賃岻匪繁 v噂i k=1,2,3 ,p (t泳c là ta có p c員p m磯u tín hi羽u vào-ra)

‚ 隙岫賃岻 chính là vector th泳 k c栄c"8亥u vào c栄a m衣ng 隙岫賃岻 = 岶岷捲怠 捲態 捲朝峅脹岼岫賃岻

‚ 穴岫賃岻 chính là vector th泳 k c栄c"8亥u ra mong mu嘘n c栄a m衣ng 穴岫賃岻 = 岶岷穴怠 穴態 穴暢峅脹岼岫賃岻

Hình 6 Mô hình m衣pi"p挨"tqp"x噂i b瓜 vector vào-ra mong mu嘘n 版隙岫賃岻 穴岫賃岻繁

Gi違i thu壱t lan truy隠p"pi逢嬰c th詠c hi羽n hu医n luy羽n cho m瓜t c員p m磯u d英 li羽u theo hai theo hai d逢噂c sau:

‚ D逢噂c tính toán theo chi隠u thu壱p<"Xgevqt"8亥w"x q"Z"8逢嬰e"8逢c"x q"o衣ng, tính toán thông qua các l噂p, và cho k院t qu違 荏 ngõ ra c栄a m衣ng

‚ D逢噂c tính toán theo chi隠u ngh鵜ch: M瓜v"mjk"8«"e„"xgevqt"pi "tc"e栄a m衣ng o, vector ngõ ra s胤 so sánh v噂i giá tr鵜 mong mu嘘p"8吋 tìm sai l羽ej"Ðg"?q"Î fÑ"*q<"Ik "vt鵜 th詠c

t院 荏 ngõ ra; d: Giá tr鵜 mong mu嘘n), 泳ng v噂i giá tr鵜 sai l羽ch này các tr丑ng s嘘 c栄a

m衣ng s胤 8逢嬰e"v pj"vq p"8吋 hi羽u ch雨nh l衣i

Chi ti院t tính toán s嘘 h丑e"8逢嬰c trình bày chi ti院v"pj逢"ucw<

D逢噂c 1: Tính toán theo chi隠u thu壱n

Zfiv"p挨"tqp"vj泳 q l噂p (s-1) có t鰻ng tr丑ng s嘘 là:

茎槌岫鎚貸怠岻噺 布 拳槌珍岫鎚貸怠岻 剣珍岫鎚貸態岻髪 肯槌岫鎚貸怠岻

陳 珍退怠

Công th 泳c 10

Tín hi羽u ra c栄c"p挨"tqp"vj泳 q l噂p (s-1) là:

剣槌岫鎚貸怠岻噺 血岫茎槌岫鎚貸怠岻岻

Công th 泳c 11

Zfiv"p挨"tqp"vj泳 i c栄a l噂p s có t鰻ng tr丑ng s嘘 là:

茎沈鎚 噺 " 布 拳沈槌鎚 剣槌岫鎚貸怠岻髪 肯沈 噺 布 拳沈槌 血 嵜布 拳槌珍岫鎚貸怠岻 剣珍岫鎚貸態岻髪 肯槌岫鎚貸怠岻

陳 珍退怠

崟 髪 肯沈

陳 槌退怠

陳 槌退怠

Công th 泳c 12

Tín hi羽u ra c栄c"p挨"tqp"vj泳 i c栄a l噂p ngõ ra s胤 là:

剣沈鎚 噺 血岫茎沈鎚岻 噺 血 嵜布 拳沈槌 血 嵜布 拳槌珍岫鎚貸怠岻 剣珍岫鎚貸態岻髪 肯槌岫鎚貸怠岻

陳 珍退怠

崟 髪 肯沈

陳 槌退怠

血 嵜布 拳槌珍岫鎚貸怠岻 剣珍岫鎚貸態岻

陳 珍退怠

牒 賃退怠

Ti院p t映c s穎 d映pi"rj逢挨pi"rj r"j衣 8瓜 d嘘c g嘘c itcfkgpv"v·o"n逢嬰ni"8k隠u ch雨nh c栄a tr丑ng s嘘 gi英a

p挨 ron th泳 j c栄a l噂p vào v噂k"p挨tqp"vj泳 q c栄a l噂p 育n, v噂i 絞槌珍 là tín hi羽u sai l羽ch c栄c"p挨tqp"vj泳

q c栄a l噂p 育n ta có:

絞槌珍噺 伐項懸項継

沈 噺 血嫗盤茎槌匪 布 絞墜沈拳沈槌

津 沈退怠

Ucw"8¤{."e ej"vj泳c ho衣v"8瓜ng c栄a gi違i thu壱t Backpropagation trong m衣ng th亥n kinh tích

ch壱r"*EPP+"o "8隠 tài ti院p c壱n s胤 8逢嬰c trình bày

J«{"j·pj"fwpi"EPP"pj逢"o瓜t bi吋w"8欝 tính toán kh鰻ng l欝 Gi違 s穎 ta có m瓜t c鰻ng f trong

bi吋w"8欝 8„"x噂i giá tr鵜 ngõ vào l亥p"n逢嬰v"n "z"x "{."pi "tc"|"8逢嬰c minh h丑a trong hình 7

Hình 7 Mô hình m瓜v"p¿v"8挨p"ik違n trong bi吋u

8欝 tính toán CNN Hình 8 8欝 tính toán CNN nh壱p"8逢嬰c giá tr鵜 truy隠n Mô hình m瓜v"p¿v"8挨p"ik違n trong bi吋u

l羽ch này ti院p t映e"8逢嬰c truy隠p"pi逢嬰e"8院n các l噂p khác trong CNN, các thông s嘘 岾擢挑擢掴峇 và 岾擢槻擢挑峇

c亥p"8逢嬰e"z e"8鵜nh

Áp d映ng quy t逸c chu厩i (chain rule), ta có th吋 v pj"8逢嬰c giá tr鵜 các thông s嘘 岾擢挑擢掴峇 và 岾擢槻擢挑峇 mong mu嘘p0"J·pj"ucw"8¤{"okpj"j丑a cho quá trình trên

Hình 9 Mô hình minh h丑a quá trình tính toán sai l羽ch (loss gradient)

Hãy gi違 8鵜nh r茨ng f là m瓜t hàm tích ch壱p (convolution) gi英a ngõ vào X và b瓜 l丑c F X là

m瓜t ma tr壱p"rkzgn"m ej"vj逢噂c 3x3 và F là m瓜t ma tr壱n pixel v噂k"m ej"vj逢噂e"4z4"pj逢"j·pj"32"x "

Ucw"mjk"vjw"8逢嬰c k院t qu違 tính toán tích ch壱p theo chu亥n thu壱p"pj逢"x瑛a trình bày, ta ti院p

t映c ti院n hành tính toán theo chi隠w"pi逢嬰e0"Vjgq"o»"j·pj"v pj"vq p"pi逢嬰e"8«"8逢嬰e"8隠 c壱p 荏 ph亥n vt‒p."vc"e„"sw "vt·pj"v pj"vq p"pi逢嬰e"8逢嬰c minh h丑c"pj逢"j·pj"ucw<

Hình 13 Mô hình minh h丑c"sw "vt·pj"v pj"vq p"pi逢嬰c Pj逢pi"v衣i sao chúng ta l衣i ph違k"8k"v·o"擢諜擢挑 và 擢挑