Tìm Hiểu Mạng Neural Hamming Và Ứng Dụng Trong Bài Toán Nhận Dạng Chữ Cái Tiếng Việt

Sốhóabởitrungtâmhọcliệu http://www.lrc.tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TÌM HIỂU MẠNG NEURAL HAMMING VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT Thái Nguyên – 2013... ĐẠI

Sốhóabởitrungtâmhọcliệu http://www.lrc.tnu.edu.vn/

ĐẠI HỌC THÁI NGUYÊN

TÌM HIỂU MẠNG NEURAL HAMMING

VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT

Thái Nguyên – 2013

ĐẠI HỌC THÁI NGUYÊN

TÌM HIỂU MẠNG NEURAL HAMMING

VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT

Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS Lê Quang Minh

Thái Nguyên – 2013

Đểhoànthànhbảnluậnvănnày,bêncạnhsựnỗlựccốgắngcủabảnthâncòncósựhướngdẫnnhiệttìnhcủaquýThầyCô,cũngnhưsựđộngviênủnghộcủagiađìnhvàbạnbètrongsuốtthờigianhọctậpnghiêncứuvàthựchiệnluậnvănthạcsĩ

XinchânthànhbàytỏlòngbiếtơnđếnThầygiáoTS.LêQuangMinh,ngườiđãhếtlònggiúpđỡvàtạomọiđiềukiệntốtnhấtchotôihoànthànhluậnvănnày.XingửilờitriânnhấtcủatôiđốivớinhữngđiềumàThầyđãdànhchotôi

Xinchânthànhbàytỏlòngbiếtơnđếntoànthểquý

ThầyCôtrongtrườngĐạihọcCôngnghệThôngtin&TruyềnthôngcũngnhưquýThầyCôđãtậntìnhtruyềnđạtnhữngkiếnthứcquýbáuvàtạomọiđiềukiệnthuậnlợichotôitrongsuốtquátrìnhhọctập,nghiêncứuvàchođếnkhithựchiệnluậnvăn

Xinchânthànhbàytỏlòngbiếtơnđếngiađình,nhữngngườiđãkhôngngừngđộngviên,hỗtrợvàtạomọiđiềukiệntốtnhấtchotôitrongsuốtthờigianhọctậpvàthựchiệnluậnvăn

Cuốicùng,tôixinchânthànhbàytỏlòngbiếtơnđếncácanhchịvàcácbạnbèđồngnghiệpđãhỗtrợchotôitrongsuốtquátrìnhhọctập,nghiêncứuvàthựchiệnluậnvănmộtcáchhoànchỉnh

TháiNguyên,tháng11năm2013

Họcviênthựchiện

PhùngVănKiệm

LỜICẢMƠN 3

MỤCLỤC 4

DANHMỤCCÁCTỪVIẾTTẮT 7

DANHMỤC HÌNHVẼ 8

MỞ ĐẦU 1

CHƯƠNGI:TỔNGQUANVỀHIỆNTRẠNGCÁCBÀITOÁNNHẬNDẠNGV ÀTHIẾTLẬPBÀITOÁNNGHIÊNCỨU 3

1.1Tổngquanvềbài toánnhậndạng 3

1.2 CụthểvềbàitoánnhậndạngchữcáiTiếngViệt 4

1.3 Thiếtlậpbàitoán 4

1.3.1 Ảnhđầuvà 5

1.3.2 Tiềnsửlý 5

1.3.2.1 Nhịphânhóaảnh 5

1.3.2.2 Lọcnhiễu 6

1.3.2.3 Chuẩnhóakíchthướcảnh 7

1.3.2.4 Làmtrơnbiênchữ 7

1.3.2.5 Làmđầy chữ 8

1.3.2.6 Làmmảnh chữ 8

1.3.2.7 Điềuchỉnh độnghiêngcủavănbản 8

1.3.3 Quátrìnhbiếnđổiảnh 9

1.3.3.1 BiếnđổiFourier 9

1.3.3.2 BiếnđổiWavelet 9

1.3.3.3 Phươngphápmômen 9

1.3.3.4 KhaitriểnKarhunent-Loeve 9

1.3.4 Nhận dạng 10

1.3.4.1 Đốisánhmẫu 10

1.3.4.2 Phươngpháptiếpcậncấutrúc 11

1.3.4.3 MôhìnhMarkovẩn(HMM-HiddenMarkovModel) 13

1.3.4.4 Máyvéctơtựa(SVM) 13

1.3.4.5 Mạng nơron 14

1.3.5.Kếtquả 15

1.4 Kếtluận 15

CHƯƠNGII:TÌMHIỂUMẠNGNEURALVÀMẠNGHAMMING 16

2.1 MạngNeural 16

2.1.1 KháiniệmmạngNeural 16

2.1.2 LịchsửpháttriểnmạngNeural 16

2.1.3 Đặctrưngcủa mạngneural 18

2.1.3.1 Tính phituyến 18

2.1.3.2 Tínhchấttươngướngđầuvàođầura 19

2.1.3.3 Tínhchấtthíchnghi 19

2.1.3.4 Tínhchấtđưaralờigiảicóbằngchứng 19

2.1.3.5 Tínhchấtchấpnhậnsaixót 20

2.1.3.6 KhảnăngcàiđặtVLSI(Very-large-scale-intergrated) 20

2.1.3.7 Tínhchấtđồngdạngtrongphântíchvàthiếtkế 20

2.1.4 Phânloạimạngneuralnhântạo 21

2.1.4.1 Phânloạitheokiểuliênkếtneural 21

2.1.4.2 Mộtsốloạimạngneural 21

2.1.5 Xâydựngmạngneural 23

2.1.6 Huấnluyệnmạngneural 25

2.1.6.1 Phươngpháphọc 25

2.1.6.2 Thuậttoánhọc 26

2.1.7Ứng dụngcủamạngneural 31

2.2 MạngHamming 32

2.2.1 KiếntrúcmạngHamming 32

2.2.2 ThuậttoánhọcđiểnhìnhcủamạngNeural 34

2.3 Kếtluận 40

CHƯƠNGIII:Ứ N G D Ụ N G M Ạ N G HAMMINGTRONGB À I TOÁNNH ẬN DẠNGCÁCCHỮ CÁITIẾNGVIỆT 41

3.1.ĐặcthùvàkhókhăncủabàitoánnhậndạngchữcáiTiếngViệt 41

3.2 Thuậttoánchungcủachươngtrình 43

3.3 CấutrúcmạngNeuralHammingcủachươngtrìnhnhậndạngcác chữcáiTiếngViệt 44

3.4 XâydựngchươngtrìnhnhậndạngchữcáiTiếngViệt 46

3.4.1 Côngcụvàngônngữlậptrình 46

3.4.2 Xâydựngchươngtrình 46

3.4.2.1 XâydựngmôhìnhmạngNeuralHammingvàcáctínhiệu đầuvào 46

3.4.2.2 Địnhvịvàthugọn kíchcỡảnh 48

3.4.2.3 Xây dựng thuậttoán 49

3.4.2.4 Nhậndạng 50

3.4.2.5 Giaodiệnchươngtrình 54

3.5 Thửnghiệmchươngtrình 54

3.6 Nhậnx é t c h u n g q u á t r ì n h t h ử n g h i ệ m n h ậ n d ạ n g c h ữ c á i T i ế n g Việtvàkếtluậnchương3 60

KẾTLUẬN 62

TÀILIỆUTHAMKHẢO 63

Bảng3.1:KếtquảnhậndạngcácchữcáiTiếngViệtFontTimesNewRoman 57

Bảng3.2:KếtquảnhậndạngcácchữcáiTiếngViệtFontArial 59

Hình1.1.Sơđồ hệthốngnhậndạng 5

Hình1.2.Nhịphânhóaảnh 6

Hình1.3.Nhiễuđốmvànhiễuvệt 6

Hình1.4.Chuẩnhóakíchthướcảnhcáckýtự“A”và“P” 7

Hình1.5.(a)Ảnhgốc,(b)Ảnhsaukhiđượclàmtrơnbiên 7

Hình1.6.Làmmảnhchữ 8

Hình1.7.Hiệuchỉnhđộnghiêngcủavăn bản 8

Hình2.1:Mạngtiến vớimộtmứcneural 21

Hình2.2:Mạngtiếnkếtnốiđầyđủvớimộtmứcẩnvàmộtmứcđầura 22

Hình2.3:Mạnghồiquykhôngcóneuralẩnvàkhôngcóvònglặptựphảnhồi 23

Hình2.4:Mạnghồiquycócácneuralẩn 23

Hình2.5:Sơđồđồthịcóhướngđơngiản 24

Hình2.6Cấutrúcmạnghamming 32

Hình2.7Sơđồkhốithuậttoánlantruyềnngược 39

Hình3.1Phântíchchữcáicỡ30x20thànhcácđiểmảnh 41

Hình3.2Phântíchchữcáicỡ60x30thànhcácđiểmảnh 42

Hình3.3Sơđồthuậttoánchungcủachươngtrình 43

Hình3.4Lưuđồquátrìnhxửlýảnh 44

Hình3.5CấutrúcmạngNeural 45

Hình3.6.HàmtruyềncủaNeurallớp1 45

Hình3.7Quátrìnhxửlýảnhtrongthuậttoán 47

Hình3.8.Định vịtrícácbiêncủaảnh 48

Hình3.9.HàmtruyềncủaNeurallớpthứ 2 49

Hình3.10 Sơđồ hàmđầura 51

Hình3.12KếtquảnhậndạngchữÂvớikíchthướclà80x50vàđộnhiễu25% 55

Hình3 1 3 K ế t q u ả n h ậ n d ạ n g c h ữ Â v ớ i k í c h t h ư ớ c l à 8 0 x 5 0 p i x e l v à đ ộ nhiễulà35% 55

Hình3 1 4 K ế t q u ả n h ậ n d ạ n g c h ữ Â v ớ i k í c h t h ư ớ c l à 6 0 x 3 0 p i x e l v à đ ộ nhiễulà25% 56

Hình3.15KếtquảnhậndạngchữÂfontArialvớikíchthước60x30pixelvớiđộnhiễu25 % 56

Hình3.16Bảngkếtquảtrọngsốđầuraảnhkhôngtínhnhiễu 57

Hình3.17Bảngkếtquảtrọngsốđầuraảnhcótínhnhiễu 57

Hình3.18Sosánhgiữaảnhđầuvàovàảnhmẫu 60

MỞĐẦU

Từlâucácnhàkhoahọcđãnhậnthấynhữngưuđiểmcủabộócconngười và tìmcáchbắtchướcđểthực hiệntrên nhữngmáytính,tạochonócókhảnăng

khoahọcđãnghiêncứuvàsángtạoramạngNeuralnhântạo.Nóthựcsựđượcchúývànhanhchóngtrởthànhmộthướngnghiêncứuđầytriểnvọngđặcbiệtlàlĩnhvựcn hậ ndạng.Vàbàitoánnhậndạngkýtựlàmộtbàitoáncontronglớpcácbàitoánnhậndạng,xửlýảnh

Hiệnn ay trê nt hế giới,c ác sản p h ẩ m nhậnd ạ n g kýtự đãđượctri ểnkhaitươngđốirộngrãi.TuynhiênđâylàcácsảnphẩmnhậndạngkýtựtiếngAnh,dođóđốivớinhậndạngký

tựtiếngViệtthìchỉcóngườiViệtNammớicóthểpháttriểnđược.Ởnướctatrongmộtvàinămgầnđâycũngđãcómộtsốsảnphẩmnhậndạngtiếngviệtđượctriểnkhaitrênthịtrường.Nhưngcácsảnphẩmnàyđượcbántrênthịtrườngdướidạngđóngkínnênviệcđểpháttriểnthànhphầnmềmtựđộngcậpnhậtảnhlàđiềukhôngthể.Vìvậynêntôiđãchọnđềtài:

“TìmhiểumạngNeuralHammingvàứngdụngtrongbàitoánnhậndạngcác chữcáiTiếngViệt”.

HệthốngchữcáiTiếngViệtlàđượcxâydựngdựatrênchữcáiLatinhcóthêmchữghépvàdấuphụ.DođóviệcnhậndạngsẽgặpkhókhănhơnsovớichữcáiLatinhthôngthườngvàcầnphảicóthuậttoánxửlýđemlạiđộchínhxáccao

Trongkhuônkhổ,thờilượngcủaluậnvăn,tôiđưaramộtchươngtrìnhmôphỏngmạngNeuralnhậndạng29chữcáiTiếngViệttừAđếnYvà10chữsốtừ0đến9

CHƯƠNGI TỔNG QUAN VỀHIỆNTRẠNGCÁC BÀITOÁNNHẬNDẠNGVÀTHIẾTLẬPBÀITOÁNNGHIÊNCỨU 1.1 Tổngquanvềbàitoánnhậndạng

Nhậndạngchữlàmộtlĩnhvựcđãđượcquantâmnghiêncứuvàứngdụngtừnhiềunămnaytheohaihướngchính:

1) Nhậndạngchữin:phụcvụchocôngviệctựđộnghóađọctàiliệu,tăngtốcđộvà hiệuquảnhậpthôngtinvàomáytínhtrựctiếptừcácnguồntàiliệu.

2) Nhậndạngchữviếttay:vớinhữngmứcđộràngbuộckhácnhauvềcác hviết,kiểuchữ phụcvụchocácứng dụngđọcvàxửlýchứngtừ,hóađơn,p hiếughi,bảnthảoviếttay Nhậndạngchữviếttayđượctáchthànhhaih ư ớ

n g p h á t triển:n h ậ n d ạ n g c h ữ viếtt a y t r ự c tuyến( o n

-line)v à n h ậ n dạngchữviếttayngoạituyến(off-line).

Đếnthờiđiểmnày,bàitoánnhậndạngchữinđãđượcgiảiquyếtgầnnhưtrọnvẹn(sảnphẩmFineReader11củahãngABBYYcóthểnhậndạngchữintheo20 ngônngữkhác nhau trongđó có cả ViệtNam,phầnmềmnhậndạngchữViệtinVnDOCR4.0củaViệnCôngnghệThôngtin

liệuchứahìnhảnh,bảngvàvănbảntiếngViệt

vớiđộchínhx ác tr ên 99%, ).Tu y n hi ên tr ê n thếg iớ i cũngn h ư ởViệt N a

m , b ài toánnhậndạngchữviếttayvẫncònlàvấnđềtháchthứclớnđốivớicácnhànghiêncứu.Bàitoànnàychưathểgiảiquyếttrọnvẹnvìnóphụthuộcquánhi

ề uvàongườiviếtvàsựbiếnđổiquáđadạngtrongcáchviếtvàtrạngtháitinhthầncủatừngngườiviết.ĐặcbiệtđốivớiviệcnghiêncứunhậndạngchữviếttaytiếngViệtlạicànggặpnhiềukhókhănhơndobộkýtựtiếngViệtcóthêmphầndấu,rấtdễnhầmlẫnvớicácnhiễu

1.2 CụthểvềbàitoánnhậndạngchữcáiTiếngViệt

Hiệnnaycũngcórấtnhiềubàibáođềcậpđếnbàitoánnhậndạngkítựquanghọc,nhằmcảitiếncácphươngphápphânđoạnảnh,nhậndạng.Songvẫnchưagiảiquyếtmộtcáchtriệtđểnhữngvấn đềkhókhăncủabàitoánthườnggặpphải.ĐặcbiệtlàđốivớiviệcnhậndạngcáckítựtiếngViệt,gặprấtnhiềukhókhăn,dotínhriêngbiệtcủatiếngViệt:Sốkítựnhiều,cáckítựlạicódấu…

Nênbàitoánvẫncònthuhútđượcsựquantâm,nghiêncứunhằmgiảiquyếtnhữngvấnđềkhókhăncủabàitoánmộtcáchtriệtđể.MộtsốhệnhậnnhậndạngvănbảnđãvàđangđượcápdụngrấtnhiềuvàoứngdụngnhưFineReadercủahãngAABBYY,OmmiPagecủahãngScansoftđượcdùngđểnhậndạng cácvăn bản tiếngAnh,…VNDOCRcủaViện công nghệ thông tinchocácvănbảntiếngViệt

Nhìnchung,cácsảnphẩm phầnmềmnhậndạngvănbảnTiếng Việtchữi n c ủ a n ư ớ c t a đ ã t h u đượck ế t q u ả k h ả q u a n , đ ặ c b i ệ t p h ầ n

m ề m VNDOCRđãđượcsửdụngrộngrãitrongcáccơquannhànước.Riêngphầnnhậndạngkítựviếttayvẫnđangđượcnghiêncứuvàpháttriểnnhằmphụcvụchocácyêucầukhácnhaunhưđ ọ c vàxửlýcácbiểumẫu:hóađơn,phiếuđiềutra

Khók h ă n l ớ n n h ấ t k h i nghiêncứub à i t o á n n h ậ n d ạ n g c h ữ c á i t i ế n gViệt làsựbiếnthiênquáđadạngtrongcáchviếtcủatừngngười.Cùngmộtngư

ờ iviếtnhưngđôikhicũngcónhiềusựkhácbiệttrongcáchviếttuỳthuộcvàotừngngữcảnh,kiểuviếtcủamộtng ườ i cũngcóthểthayđổitheothờigianh o ặ c th eo t

h ó i q ue n Đi ều n à y g â y r a n h i ề u tr ở n g ạ i trongv i ệ c n hậ n dạngcũngnhưlựachọnmôhìnhnhậndạng

1.3 Thiếtlậpbàitoán

Đềtàimàtôithựchiệnlà:“ỨngdụngmạngNeuralHammingtrongbàitoánn h

ậ n d ạ n g cácc h ữ cáiT i ế n g V i ệ t ” , c ô n g v i ệ c c h í n h l à “ X â y d ự n

g chươngtrìnhnhậndạngcácchữcáiTiếngViệt”ýtưởngbàitoánnhưsau:

đầu vào Tiền xửlý

Quá trìnhbiếnđổi ảnh

kíchthước,lấpkhoảngtrống,lấybiên,tathuđượcảnhkýtựvớibiêncủanó

1.3.2 Tiềnsửlý

Giaiđoạnnàygópphầnlàmtăngđộchínhxácphânlớpcủahệthốngnhậndạng,tuynhiênnócũnglàmchotốcđộnhậndạngcủahệthốngchậmlại.Vìvậy, tùythuộcvào chất lượngảnh quét vàocủa từng vănbảncụthểđểchọnmộthoặcmộtvàichứcnăngtrongkhốinày.Nếucầnưutiêntốcđộxửlývàchấtlượngcủamáyquéttốtthìcóthểbỏquagiaiđoạnnày.Khốitiềnxửlýbaogồmmộtsốchứcnăng:

Nhịphânhóaảnh,lọcnhiễu,chuẩnhóakíchthướcảnh,làmtrơnbiênchữ,làmđầychữ,làmmảnhchữvàxoayvănbản

1.3.2.1 Nhịphânhóaảnh

Nhịphânhóaảnhlàmộtkỹthuậtchuyểnảnhđacấpxámsangảnhnhịphân.Trongbấtkỳbàitoánphântíchhoặcnângcaochấtlượngảnhnào,nó

hiệuquả,trongtrườnghọpnàysửdựngphươngphápkhửcácvùngliênthôngnhỏtỏracóhiệuquảhơn

Hình1.3.Nhiễuđốmvànhiễuvệt

1.3.2.3 Chuẩnhóakíchthướcảnh

Hình1.4.Chuẩnhóakíchthướcảnhcáckýtự“A”và“P”

Việcchuẩnhóakíchthướcảnhdựatrênviệcxácđịnhtrọngtâmảnh,sauđóxácđịnhkhoảngcáchlớnnhấttừtâmảnhđếncáccạnhtrên,dưới,trái,phảicủahìnhchữnhậtbaoquanhảnh.Thôngquakhoảngcáchlớnnhấtđó,cóthểxácđịnhđượcmộttỷlệco,giãncủaảnhgốcsovớikíchthướcđãxácđịnh,từđóhiệuchỉnhkíchthướcảnhtheotỷlệco,giãnnày.Nhưvậy,thuậttoánchuẩnhóakíchthướcảnhluônluônđảmbảođượctínhcânbằngkhicogiãnảnh,ảnhsẽkhôngbịbiếndạnghoặcbịlệch

1.3.2.4 Làmtrơnbiênchữ

Đôikhidochấtlượngquétảnhquáxấu,cácđườngbiêncủachữkhôngcòngiữđượcdángđiệutrơntrubanđầumàhìnhthànhcácđườngrăngcưagiảtạo.Trongcáctrườnghọpnày,phảidùngcácthuậttoánlàmtrơnbiênđểkhắcphục[8]

Hình1.5.(a)Ảnhgốc,(b)Ảnhsaukhiđượclàmtrơnbiên

1.3.2.5 Làmđầychữ

Chứcnăngnàyđượcápdụngvớicáckýtựbịđứtnétmộtcáchngẫunhiên.Ảnhđứtnétgâykhókhănchoviệctáchchữ,dễbịnhầmhaiphầnliênthôngc ủ a k

ý t ự t h à n h h a i k ý t ựr i ê n g b i ệ t , t ạo n ê n sa i l ầ m tro ng q u á trì nh nhậndạng

1.3.2.6 Làmmảnhchữ

Đâylàmộtbướcquantrọngnhằmpháthiệnkhungxươngcủakýtựbằngcáchloạibỏdầncácđiểmbiênngoàicủacácnét.Tuynhiên,quátrìnhlàmmảnhchữrấtnhạycảmvớiviệckhửnhiễu.Hiệnnaycónhiềuphươngpháplàmmảnhchữ,cácthuậttoántìmxươngcóthểthamkhảoở[8]

Hình1.6.Làmmảnhchữ

1.3.2.7 Điềuchỉnhđộnghiêngcủavănbản

Do trangtàiliệu quét vàokhôngcẩnthận hoặcdo sự cố in ấn,cáchàngchữbịlệchsovớilềchuẩnmộtgócα,điềunàygâykhókhănchocôngđoạntách chữ,đôikhikhôngthểtáchđược.Trongnhữngtrườnghợpnhưvậy,phảitínhlạitọađộđiểmảnhcủacácchữbịsailệch.Cónhiềukỹthuậtđểđiềuchỉnhđ ộ n g h

i ê n g , k ỹ thuậtp h ổ b i ế n n h ấ t d ự a t r ê n c ơ s ở b i ể u đ ồ c h i ế u (projectionprofile)củaảnhtàiliệu;mộtsốkỹthuậtdựatrêncơsởcácphépb i ế n đổiHoughvàFourier,mộtsốkỹthuậthiệuchỉnhđộnghiêngkháccóthểtìmthấytrong[8]

Hình1.7.Hiệuchỉnhđộnghiêngcủavănbản

1.3.3.2 BiếnđổiWavelet

Phépbiếnđổinàylàmộtdãycáckỹthuậtkhaitriểnchophépmôtảđặctrưngcủaảnhởcácmứcđộkhácnhau.Cáccôngđoạntáchchữthànhcáckýtựhoặctừđượcmôtảbằngcáchệsowavelettheocácmứcđộkhácnhauđốivớitừnggiảipháp.Sauđócáchệsowaveletđượcchuyểnquamộtmáyphânlớpđểphụcvụchoviệcnhậndạng[11,12]

1.3.3.3 Phươngphápmômen

Theophươngphápnày,ảnhgốcsẽđượcthaythế

bằngmộttậpcácđặctrưngvừađủcủađểnhậndạngcácđốitượngbấtbiếnđốivớicácphépthayđổitỷlệ,tịnhtiếnhoặcquay[13].Cácmômenđượcxétnhưcácdãykhaitriển đặctrưngvìảnhgốccóthểxâydựnglạimộtcáchđầyđủtừcáchệsốmômen

1.3.3.4 KhaitriểnKarhunent-Loeve

Việc khaitriểnnàynhằm phântíchcác véctơ riêngđểrútgọnsốchiềucủatậpđặc trưng bằngcáchtạo ra cácđặc trưngmới làtổhợptuyếntínhcủacácđặctrưnggốc.Đâychỉlàmộtphépbiếnđổitốiưutrongmộtsốgiớihạnnàođócủaviệcnénthôngtin[14],KhaitriểnKarhunent-

Loeveđượcdùngtrongmộtsốbàitoánnhậndạngmẫunhưnhậndạngmặtngười,nócũngđượcsửdụngtronghệthốngOCRcủaViệnCôngnghệvàTiêuchuẩnQuốcgiaHoaKỳ(NIST-NationalInstituteofStandardsandTechnologyoftheUnited

States).V ì v i ệ c k h a i t r i ể n n à y đ ò i h ỏ i ph ải sử d ụ n g cáct h u ậ t t o á n c ó k h ố ilượngtínhtoánrấtlớnnênviệcsửdựngcácđặctrưngKarhunent-

Loevetrongcácbàitoánnhậndạngchữkhông đượcphổbiếnrộngrãi.Tuynhiên,đểtăngtốcđộtínhtoánchocácmáyphânlớp,cácđặctrưngnàytrởnênthiếtthựchơnchocáchệnhậndạngchữtrongnhữngnămgầnđây

1.3.4 Nhậndạng

Cónhiềuphươngphápnhậndạngmẫukhácnhauđượcápdụngrộngrãitrongcáchệthốngnhậndạngchữviếttay.Cácphươngphápnàycóthểđượctíchhợptrongcáchướngtiếpcậnsau:Đốisánhmẫu,thốngkê,cấutrúc,SVMvàmạngnơron

1.3.4.1 Đốisánhmẫu

Kỹt h u ậ t n h ậ n d ạ n g c h ữ đ ơ n g i ả n n h ấ t d ự a t r ê n c ơ s ở đ ố i sánhcácnguyênmẫu( p r o t o t y p e ) v ớ i n h a u đ ể n h ậ n d ạ n g k ý t ự h o ặ c t ừ N ó i c h

u n g , toántửđốisánhxácđịnhmứcđộgiốngnhaugiữahaivétơ(nhómcácđiểm,hìnhdạng,

độcong )trongmộtkhônggianđặctrưng.Cáckỹthuậtđốisánhcóthểnghiêncứutheobahướngsau:

Đốisánhtrựctiếp:Mộtkýtựđầuvàolàảnhđacấpxámhoặcảnhnhịphânđư

ợcsosánhtrựctiếpvớimộttậpmẫuchuẩnđãđượclưutrữ.Việcsosánhd ự a t h e omộtđ ộ đ o v ề s ự t ư ơ n g đ ồ n g n à o đ ó ( c h ẳ n g h ạ n n h ư đ ộ đ o Euclide)đểnhậndạng.Cáckỹthuậtđốisánhnàycóthểđơngiảnnhưviệcsosánhmột-mộthoặc

[15,16].Mặcdùphươngphápđốisánhtrựctiếpđơngiảnvàcómộtcơsởtoánhọcvữngchắcnhưngkếtquảnhậndạngcủanócũngrấtnhạycảmvớinhiễu

Cácmẫubiến dạngvàĐổisánh mềm:Mộtphươngphápđốisánhk

háclàsửdụngcácmẫubiếndạng,trongđómộtphépbiếndạngảnhđượcdùngđểđốisánhmộtảnhchưabiếtvớimộtcơsởdữliệuảnhđãbiết[17].Ýtưởngcơbảncủađốisánhmềmlàđốisánhmộtcáchtốiưumẫuchưabiếtvới

Đốisánh giảmnhẹ:Đâylàmộtkỹ thuật đốisánhảnhởmứcđộtượngtrưng,kỹthuậtnàysửdựnghìnhdángđặctrưngcơbảncủaảnhkýtự.Thứnhất,cácvùngđốisánhđãđượcnhậnbiết.Sauđó,trêncơsởmộtsốvùngđốisánhđượcđánhgiátốt,cácphầntửcủaảnhđượcsosánhvớicácvùngđốisánhnày.Côngviệcnàyđòihỏimộtkỹthuậttìmkiếmtrongmộtkhônggianđachiềuđểtìmcựcđạitoàncụccủamộtsốhàm[20].Cáckỹthuậtđốisánhmẫuchỉáp dựngtốtđối với nhận dạngchữin,còn đối với chữviết taythìcáckỹthuậtnàytỏrakémhiệuquả

1.3.4.2 Phươngpháptiếpcậncấutrúc

Cáchtiếpcậncủaphươngphápnàydựavàoviệcmôtảđốitượngnhờmộtsốkháiniệmbiểudiễnđốitượngcơsởtrongngônngữtựnhiên.Đểmôtảđốitượngngườitadùngmộtsốdạngnguyênthuỷnhưđoạnthẳng,cung, Mỗiđốitượngđượcmôtảnhưmộtsựkếthọpcủacácdạngnguyênthuỷ

Cácquytắckếthọpcácdạngnguyênthuỷđượcxâydựnggiốngnhưviệcnghiêncứuvănphạmtrongmộtngônngữ,dođóquátrìnhquyếtđịnhnhậndạnglàquátrìnhphântíchcúpháp

[21,22].Phươngphápnàyđặtvấnđềđểgiải quyếtbài toánnhậndạngchữ tổngquát.Tuyvậy,chođến naycònnhiềuvấnđềliênquanđếnhệnhậndạngcúphápchưađượcgiảiquyếtđộclậpvàchưaxâydựngđượccác thuậttoánphổdụng.Hiệnnay,nhậndạng theocấutrúcphổbiếnlàtríchtrọncácđặctrưngcủamẫuhọc,phânhoạchbảngkýtựdựatrêncácđặctrưngnày,sauđóảnhcầnnhậndạngsẽđượctríchchọnđặctrưng,sauđósosánhtrênbảngphânhoạchđểtìmrakýtựcócácđặctrưngphùhợp

Đốiv ớ i n h ậ n d ạ n g c h ữ v i ế t t a y r ờ i r ạ c d ự a t h e o cấut r ú c x ư ơ n g

v à đườngbiên,côngviệcnàyđòihỏiphảixâydựngcácđặctrưngcủachữ,đặcbiệtlàđặctrưngvềcácđiểmuốn,điểmgấpkhúcvàđặctrưngcủacácnét.Saukhitiến hành công đoạntiềnxửlý, công việctáchcácnét đượctiếnhànhthôngquacácđiểmchạc.Sauđótríchchọnđặctrưngcấutrúcxươngcủachữ,mỗinétđặctrưngbởicặpchỉsốđầuvàcuốitươngứngvớithứtựcủađiểmchạcđầuvàđiểmchạccuối.Cuốicùnglàxâydựngcâytìmkiếm,dựavàođặctrưngvềcấutrúcxươngvàcấutrúcbiênđểphântậpmẫuhọcthànhcáclớp.Quátrìnhtìmkiếmđểphânlớpđượctiếnhànhquahaibước:Xácđịnhlớptươngứngvớimẫuvàovàtìmkiếmtronglớpđómẫunàogầngiốngvớimẫuvàonhất[14,15].Cácphươngphápcấutrúcápdụngchocácbàitoánnhậndạngchữđượcpháttriểntheohaihướngsau:

1.3.4.2.1 Phươngphápngữpháp(GrammaticalMethods)

Giữathậpniên1960,cácnhànghiêncứubắtđầuxétcácluậtcủangônngữhọcđểphântíchtiếngnóivà

chữviết.Sauđó,cácluậtđadạngcủachínhtả,từvựngvàngônngữhọcđãđượcápdụngchocácchiếnlượcnhậndạng.Cácphươngphápngữphápkhởitạomộtsốluậtsinhđểhìnhthànhcáckýtựtừmộttậpcáccôngthứcngữphápnguyênthủy.Cácluậtsinhnàycóthểkếtnối bất kỳ kiểu đặc trưng thống kê và đặctrưng hình tháinào

dướimộtsốcúpháphoặccácluậtngữnghĩa[14,15,16].Giốngnhưlýthuyếtngônngữ,cácluậtsinhchophépmôtảcáccấutrúccâucóthểchấpnhậnđượcvàtríchchọnthôngt i n theon g ữ cảnhv ề c h ữ v i ế t b ằn g cáchsử d ụ n g cáck iể un gữ p h á p khácnhau[18] Trongcácphươngpháp này,việchuấnluyệnđược thựchiệnbằngcáchmôtảmỗikýtựbằngmộtvănphạmGi.Còntrongphanhậndạngthìchuỗi,câyhoặcđồthịcủamộtđơnvịviếtbấtkỳ(kýtự,từhoặccâu)đượcphântíchđểquyếtđịnhvănphạmcủa mẫuđóthuộc lớpnào.Cácphương

1.3.4.2.2 Phươngphápđồthị(GraphicalMethods)

Cácđơnvịchữviếtđượcmôtảbởicáccâyhoặccácđồthị.Cácdạngnguyênthủycủakýtự(cácnét)đượclựachọnbởimộthướngtiếpcậncấutrúc.Đốivớimỗilớp,mộtđ ồthịhoặccâyđ ượ ct hà nh lậptronggiaiđoạn huấnluyệnđểmôtảcácnét,cáckýtựhoặccáctừ.Giaiđoạnnhậndạnggánmộtđồthịchưabiếtvàomộttrongcáclớpbằngcáchsửdụngmộtđộđođểsosánhcácđặcđiểmgiốngnhaugiữacácđồthị

Córấtnhiềuhướngtiếpcậnkhácnhausửdụngphươngphápđồthị,tiêubiểulàhướngtiếpcậnđồthịphâncấpđượcdùngtrongviệcnhậndạngchữviếttayTrungQuốcvàHànQuốc

1.3.4.3 MôhìnhMarkovẩn(HMM-HiddenMarkovModel)

HMMlàmộtmôhìnhxácsuấthữuhạntrạngtháitheokiểuphátsinhtiếntrìnhbằngcáchđịnhnghĩaxácsuấtliênkếttrêncácchuỗiquansát.Mỗichuỗiquansátđượcsinhrabởimộtchuỗicácphépchuyểntrạngthái,bắtđầutừtrạngtháikhởiđầuchođếnkhithuđượctrạngtháikếtthúc.Tạimỗitrạngtháithìmộtphầntửcủachuỗiquansátđượcphátsinhngẫunhiêntrướckhichuyểnsangtrạngtháitiếptheo.CáctrạngtháicủaHMMđượcxemlàẩnbêntrongmôhìnhvìtạimỗithờiđiểmchỉnhìnthấycáckíhiệuquansátcòncáctrạngtháicũngnhưsựchuyểnđổitrạngtháiđượcvậnhànhẩnbêntrongmôhình[14]

HMMđãtừngđượcápdụngrộngrãiđốivớicácbàitoánnhậndạngchữviếttayởmứctừ[15,16,17,18,19]

1.3.4.4 Máyvéctơtựa(SVM)

CáckếtquảchủyếuvềlĩnhvựcnàychỉtậptrungtrêncáctậpdữliệuchữsốviếttaychuẩnnhưUSPSvàMNIST[20],bêncạnhđócũngcómộtsố

côngtrình nghiêncứutrêncáchệchữcáitiếngLa

tinh,HyLạp,TrungQuốc,ViệtNam tuynhiêncáckếtquảđạtđượccũngcònnhiềuhạnchế[21,22]

SVMđượcápdụngrộngrãitrongcáclĩnhkhaiphádữliệuvàthịgiácmáytính SVMgốcđượcthiếtkếđểgiảibàitoánphânlớpnhịphân,ýtưởngchínhcủaphươngphápnàylàtìmmộtsiêuphẳngphâncáchsaochokhoảngcáchlềgiữahailớpđạtcựcđại.Khoảngcáchnàyđượcxácđịnhbởicácvéctơtựa(SV-

SupportVector),cácsvnàyđượclọcratừtậpmẫuhuấnluyệnbằngcáchgiảimộtbàitoántốiưulồi[6]

1.3.4.5 Mạngnơron

Mộtmạngnơ ronđượcđịnhnghĩanhưmộtcấutrúctínhtoánbaogồmnhiềubộxửlý“nơron”đượckếtnốisongsongchằngchịtvớinhau.Dobảnchấtsongsongcủacácnơronnênnócóthểthựchiệncáctínhtoánvớitốcđộcaohơnsovớicáckỹthuậtphânlớpkhác.Mộtmạngnơronchứanhiềunút,đầur a c ủ a mộtn ú t đ ư

ợ c sử d ụ n g chomộtn ú t k h á c ở tr o n g mạngv à h à m quyếtđịnhcuốicùngphụthuộcvàosựtươngtácphứctạpgiữacácnút.Mặcdùnguyên

lýkhácnhau,nhưnghầuhếtcác

kiếntrúcmạngnơronđềutươngđươngvớicácphươngphápnhậndạngmẫuthốngkê[6,7]

Cáckiếntr úc mạngn ơro nc ó thểđượcp hâ n thànhh ai nhóm chính:mạngtruyềnthẳngvàmạnglantruyềnngược.Trongcáchệthốngnhậndạngc h ữ , cácmạngnơronsửdụngphổbiếnnhấtlàmạngperceptronđalớpthuộcnhómmạngtruyềnthẳngvàmạngSOM(SelfOriganizingMap)củaKohonenthuộc nhómmạnglantruyềnngược

MạngperceptronđalớpđượcđềxuấtbởiRosenblattđượcnhiềutácgiảsửdụngtrongcáchệnhậndạngchữviếttay[11,12].Hầuhếtcácnghiêncứupháttriểnnhậndạngchữviếttayhiện

nayđềutậptrungvàomạngSOM[13].SOMkếthợptríchchọnđặctrưngvànhận

dạngtrênmộttậplớncáckýtựhuấnluyện.Mạngnàychứngtỏrằngnótươngđươngvớithuậttoánphâncụmk-means.

Vớithuậttoánđơngiảnnhưngrấthiệuquả,cùngvớithànhcôngcủamô hìnhn ày trong c ác ứng dụ ng t h ự c tiễn,mạ ng n ơ ronh iệ nđanglàmộttr ongcáchướngnghiêncứucủalĩnhvựchọcmáy.Mạngnơrontỏraphùhợp vớicácbàitoánđốisánh,phânloạimẫu,xấpxỉhàm,tốiưuhoá,lượngtửhoávéct ơvàphânhoạchkhônggiandữliệu,trongkhicácphươngpháptruyềnthốngkhô

nêutrênmộtcáchhiệuquả.Đ ặ c b i ệ t t r o n g c á c h ệ t h ố n g n h ậ n d ạ n g s ử d ụ n

g m ạ n g n ơ r o n đ ã đ ạ t đượctỉlệnhậndạngkháchínhxác,cóthểsosánhvớicácphư ơngphápnhậndạngcấutrúc,thốngkê,

1.3.5.Kếtquả

Saukhitrảiquaquátrìnhtiềnxửlýmẫuảnhcầnnhậndạngđượcthugọnvớikíchcỡlà60x30vàđếnquátrìnhánhxạgiátrịpixelảnhvào.Bướcquantrọngcuốicùngđólànhậndạngvàchorakếtquả

1.4.Kếtluận

Nộidungcủachương1làtrìnhbàyvềcácbàitoánnhậndạngnóichungvànhậndạngchữnóiriêngtrênthếgiớicũngnhưởViệtNam:Nhữngứngdụngđãđượcápdụngtrongthựctế;mộtsốkếtquảđượccoilàthànhcôngnhất.Vàthiếtlậpđượcnộidungcủabàitoánđượcxâydựngtrongluậnvăn

Từ

nhữngthiếtlậpbàitoánởtrênđểgiảiquyếtbàitoánnhậndạngchữvớinhữngưuđiểmđơngiảnvềthuậttoánnhưngrấthiệuqủa,cùngvớinhữngthànhcôngtrongcácứngdụngthựctiễnTôichọnphươngphápnhậndạngchữsửdụngmạngnơronnhântạolàmđịnhhướngtậptrungnghiêncứucủaluậnán

h a u t ạ o t h à n h mộtk h ố i t h ố n g n h ấ t L ý t h u y ế t mạngN e u r a l n h â n t ạ o , ArtificialNeuralNetwork(ANN)haygọitắtlà“MạngNeural” đãđượcrađờiđólàmộtmôhìnhxửlýthôngtinmôphỏngtheocáchthứcxửlýthôngtincủacáchệneuralsinhhọc.Haithànhphầnchínhcấutạonênmạngneurallàcácneural(môphỏngtheocáctếbàothầnkinh)và

cácsynapse(môphỏngcáckhớpnốithầnkinh).Trongkiếntrúccủamộtmôhìnhkếtnối,cácneuralchínhlàcácnútmạng,đượcliênkếtvớinhauthôngquacácsynapselàcáccungmạng

Neurallàmộtđơnvịtínhtoáncónhiềuđầuvàovàmộtđầura,mỗiđầuvàođếntừmộtsynapse.Đặctrưngcủaneurallàmộthàmkíchhoạtphituyếnchuyểnđổimộttổhợptuyếntínhcủatấtcảcáccáctínhiệuthànhtínhiệuđầura.Hàmkíchhoạtnàyđảmbảotínhchấtphituyếnchotínhtoáncủamạngneural

Synapselàmộtthànhphầnliênkếtgiữacácneural,nónốiđầuracủaneuralnàyvớiđầuracủaneuralkhác.Đặctrưngcủasynapselàmộttrọngsốmàmỗitínhi

này.Cáctrọngsốsynapsechínhl à cáct h a m s ố t ự d o c ơ b ả n c ủ a mạngn e u r a l ,

c ó t h ể t h a y đ ổ i đ ư ợ c nhằmthíchnghivớimôitrườngxungquanh

2.1.2 LịchsửpháttriểnmạngNeural

Cácnghiêncứuvềbộnãoconngườiđãđượctiếnhànhtừhàngnghìnnămnay.Cùngvớisựpháttriểncủakhoahọckĩthuậtđặcbiệtlànhữngtiếnbộtrongngànhđiệntửhiệnđại,việcconngườibắtđầunghiêncứucácneural

- CuốiTK19,đầuTK20,sựpháttriểnchủyếuchỉlànhữngcôngviệccósựthamgiacủacả bangànhVật lýhọc, Tâm lýhọcvàThầnkinhhọc,bởicácnhàkhoahọcnhưHermannvonHemholtz,ErnstMach,IvanPavlov.Cácc ô n

g trìnhnghiêncứucủahọchủyếuđisâuvàocáclýthuyếttổngquátvềhọc(Learning),nhìn(vision)vàlậpluận(conditioning), Vàkhônghềđưaranhữngmôhìnhtoánhọccụthểmôtảhoạtđộngcủacácneural

- Vàon h ữ n g n ă m 1 9 4 0 v ớ i c ô n g t r ì n h c ủ a W a r r e n M c C u l

l o c h v à WalterPitts.Họchỉranguyêntắc,mạngcủacácneuralnhântạocóthểtínhtoánbấtkỳmộthàmsốhọchaylogicnào

- Tiếpt h e o h a i n g ư ờ i l à D o n a l d H e b b , ô n g đ ã p h á t b i ể u r ằ n g

v i ệ c thuyếtlậpluậncổđiển(classicalconditioning)

(nhưPavlovđưara)làhiệnthựcbởidocácthuộctínhcủatừngneuralriêngbiệt.Ôngcũngnêuramộtphươngpháphọccủacácneuralnhântạo

- Ứngdụngthựcnghiệmđầutiêncủacácneuralnhântạocóđượcvàocuốinhữngn ă m 5 0 c ù n g v ớ i p h á t minhc ủ a mạngn h ậ n t h ứ c (perceptronn e t w o r k )

v à luậthọctươngứngbởiFrankRosenblatt

Mạngnàycókhảnăngnhậndạngcácmẫu.Điềunàyđãmởrarấtnhiềuhyvọngchoviệcnghiêncứumạngneural.Tuynhiênnócóhạnchếlàchỉcóthểgiảiquyếtmộtsốlớphữuhạncácbàitoán

- Cùngthờigianđó,BernardWidrowvàTedHoffđãđưaramộtthuậttoánhọcmớivàsửdụngnóđểhuấnluyệnchocácmạngneuraltuyếntínhthíchnghi,mạngcócấutrúcvàchứcnăngtươngtựnhưmạngcủaRosenblatt.Luật họcWidrow-

Hoffvẫncònđượcsửdụngchođếnnay

-

TuynhiêncảRosenblattvàWidrow-HoffđềucùngvấpphảimộtvấnđềdoMarvinMinskyvàSeymourPapertpháthiệnra,đólàcácmạngnhậnthứcchỉcókhảnănggiảiquyếtcácbàitoánkhảphântuyếntính.Họcốgắng

-

DonhữngkếtquảcủaMinsky-Papertnênviệcnghiêncứuvềmạngneuralgầnnhưbịđìnhlạitrongsuốtmộtthậpkỷdonguyênnhânlàkhôngcóđượccácmáytínhđủmạnhđểcóthểthựcnghiệm

- Mặcdùvậy,cũngcómộtvàiphátkiếnquantrọngvàonhữngnăm

70 Năm1972,TeuvoKohonenvàJamesAndersonđộc lậpnhaupháttriểnmộtl o ạ i mạngm ớ i c ó t h ể h o ạ t đ ộ n g n h ư mộtb ộ n h ớ S t e p h e n Grossbergcũngr ấ t tíchc ự c tro ng v i ệ c khảosát cá c mạngt ự t ổ c h ứ c (Se lf organizingnetworks)

-V à o những năm80,việc nghiêncứumạngneural phát triểnrấtmạnhmẽcùngvớisựrađờicủaPC.Cóhaikháiniệmmớiliênquanđếnsựhồisinhnày,đólà:

1 Việcsửdụngcácphươngphápthốngkêđểgiảithíchhoạtđộngcủamộtlớpcácmạnghồiquy(recurrentnetworks)cóthểđượcdùngnhưbộnhớliênhợp(associativememory)trongcôngtrìnhcủanhàvậtlýhọcJohhHopfield

2

Sựrađờicủathuậttoánlantruyềnngược(back-propagation)đểluyệncácmạngnhiềulớpđượcmộtvàinhànghiêncứuđộclậptìmranhư:DavidRumelhart,JamesMcCelland, ĐócũnglàcâutrảlờichoMinsky-

Papert

2.1.3 Đặctrưngcủamạngneural

2.1.3.1 Tínhphituyến

Mộtneuralcóthểtínhtoánmộtcáchtuyếntínhhayphituyến.Mộtmạngneural,cấuthànhbởisựkếtnốicácneuralphituyếnthìtựnósẽcótínhphituyến.Hơnnữa,điềuđặcbiệtlàtínhphituyếnnàyđượcphântántrêntoànmạng.Tínhphituyếnlàmộtthuộctínhrấtquantrọng,nhấtlàkhi

2.1.3.2 Tínhchấttươngướngđầuvàođầura

Mặcdùkháiniệm“học”hay“huấnluyện”chưađượcbànđếnnhưngđểhiểuđượcmốiquanhệđầuvào-

đầuracủamạngneural,chúngtasẽđềcậpsơ quavềkháiniệmnày.Mộtmôhìnhhọcphổbiếnđượcgọilàhọcvớimộtngườidạyhayhọccógiámsátliênquanđếnviệcthayđổicáctrọngsốliênkếtcủamạngneuralbằngviệcápdụngmộttậphợpcácmẫutíchluỹhaycácv ídụtíchluỹ.Mỗimộtvídụbaogồmmộttínhiệuđầuvàovàmộtđầuramongmuốntươngứng.Mạngneuralnhậnmộtvídụlấymộtcáchngẫunhiêntừtậphợpnóitrêntạiđầu vàocủanó,vàcáctrọngsốliênkếtcủamạngđượcbiếnđổisaochocóthểcựctiểuhoásựsaikhácgiữađầuramongmuốnvàđầurathựcsựcủamạngtheomộttiêuchuẩnthốngkêthíchhợp.Sựtíchluỹcủamạngđượclặplạivớinhiềuvídụtrongtậphợpchotớikhimạngđạttớimộttrạngtháiổnđịnhmàởđó không cómộtsự thay đổiđángkể nàocủacáctrọngsốliênkết.Cácvídụtíchluỹđượcápdụngtrướccóthểđượcápdụnglạitrongthờigiancủaphiêntíchluỹnhưngtheomộtthứtựkhác.Nhưvậymạngneuralhọc từcácvídụbằngcáchxâydựng nênmộttươngứngđầuvào-

đầurachovấnđềcầngiảiquyết

2.1.3.3 Tínhchấtthíchnghi

Cácmạngn eu ra l cómộtkhảnăng mặcđịnhlàbiếnđổi cáctrọngsố liênkếttuỳtheosựthayđổicủamôitrườngxungquanh.Đặcbiệt,mộtmạngneuralđãđượctíchluỹđểhoạtđộngtrongmộtmôitrườngxácđịnhcóthểđượctíchluỹlạimộtcáchdễdàngkhicónhữngthayđổinhỏcủacácđiềukiệnmôitrườnghoạtđộng

2.1.3.4 Tínhchấtđưaralờigiảicóbằngchứng

Trongngữcảnhphânloạimẫu,mộtmạngneuralcóthểđượcthiếtkếđểđưarathôngtinkhôngchỉvềmẫuđượcphânloại,màcònvềsựtincậy

của quyết địnhđãđược thựchiện.Thông tinnàycó thể được

sửdụngđểloạibỏcácmẫumơhồhaynhậpnhằng

2.1.3.5 Tínhchấtchấpnhậnsaixót

Mộtmạngneural,đượccàiđặtdướidạngphầncứng,vốncókhảnăngchấpnhậnlỗi,haykhảnăngtínhtoánthô,vớiýnghĩalàtínhnăngcủanóchỉthoáihoákhi

dụ,nếumộtneuralhaycácliênkếtkếtnốicủanóbịhỏng,việcnhậndạnglạimộtmẫuđượclưutrữsẽsuygiảmvềchấtlượng

2.1.3.6 KhảnăngcàiđặtVLSI(Very-large-scale-intergrated)

Bảnchấtsongsongđồsộcủamộtmạngneurallàmchonórấtnhanhtrongtínhtoánđốivớimộtsốcôngviệc.ĐặctínhnàycũngtạorachomộtmạngneuralkhảnăngphùhợpchoviệccàiđặtsửdụngkỹthuậtVery-large-scale-

intergrated(VLSI).Kỹthuậtnàychophépxâydựngnhữngmạchcứngtínhtoánsongsongquymôlớn.ChínhvìvậymàưuđiểmnổibậtcủaVLSIlàmanglạinhữngphươngtiệnhữuhiệuđểcóthểxửlýđượcnhữnghànhvicóđộphứctạpcao

2.1.3.7 Tínhchấtđồngdạngtrongphântíchvàthiếtkế

Vềc ơ b ả n , c á c m ạ n g n e u r a l c ó t í n h c h ấ t c h u n g nhưl à c á c b ộ x ử l ý thôngtin.Chúngtanêurađiềunàyvớicùngýnghĩachotấtcảcáclĩnhvựccóliênquantớiviệcứngdụngmạngneural.Đặctínhnàythểhiệnởmộtsốđiểmnhưsau:

Cácneural,dướidạngnàyhoặcdạngkhác,biểudiễnmộtthànhphầnchungchotấtcảcácmạngneural

Tínhthốngnhấtnàyđemlạikhả năngchiasẻcác lý thuyết và cácthuậttoánhọctrongnhiềuứngdụngkhácnhaucủamạngneural

Cácmạngtổhợp(modular)cóthểđượcxâydựngthôngquamộtsựtíchhợpcácmôhìnhkhácnhau

2.1.4 Phânloạimạngneuralnhântạo

2.1.4.1 Phânloạitheokiểuliênkếtneural

Tacómạngneuraltruyềnthẳngvàneuralmạngquihồi

Trongmạngtruyềnthẳngcácneuralđitheomộthướngnhấtđịnhtạothànhđồthịkhôngcóchutrình,cácđỉnhlàcácneuralcòncáccạnhlàcácliênkếtgiữachúng

Cácmạngquihồichophépcácliênkếtneuraltạothànhchutrình,cácthôngtinracủacácneuralđượctruyềnlạichocácneuralđãgópphầnkíchhoạtchúng,nênmạngquihồicòncókhảnănglưugiữtrạngtháitrongcủanódướidạngcácngưỡngkíchhoạtngoàicáctrọngsốliênkếtneural

2.1.4.2 Mộtsốloạimạngneural

2.1.4.2.1Mạngdẫntiến

Cóthểnóimạngneuraldẫntiếnlàmộtkiểumạngđơngiảntrongviệcsắpđặtmạng.Trongmạngnàythôngtinchỉtruyềntrênmộthướngduynhất.từlớpđầuvàox

Khôngcóchutrìnhhoặcvòngtrongmạng

a Cácmạngdẫntiếnđ ơ n mức

Trongmộtmạngneuralphânmức,cácneuralđượctổchứcdướidạngcácmức.Vớidạngđơngiảnnhấtcủamạngphânmức,chúngtacómộtmứcđầuvàogồmcácnútnguồnchiếutrựctiếptớimứcđầuragồmcácneural

Mức đầu vào Mức đầu ra

Hình2.1:Mạngtiến vớimộtmứcneural

b Cácmạngdẫntiếnđamức

Lớpthứhaicủamộtmạngneuraldẫntiếnđượcphânbiệtbởisựcómặtcủa mộthaynhiềumứcẩn,màcácnúttínhtoáncủachúngđượcgọilàcácneuralẩnhayc

làkhôngtiếpxúcvớimôitrường).Chứcnăngcủacácneuralẩnlàcanthiệpvàogiữađầuvàovàđầuracủamạngmộtcáchhữuhiệu.Bằngviệcthêmmộtvàimứcẩn,mạngcó khảnăngrútra đượccácthốngkêbậc cao của tínhiệuđầu vào.Khảnăngcácneuralẩnrútrađượccácthốngkêbậccaođặcbiệtcógiátrịkhimứcđầuvàocókíchthướclớn

Mạngneuraltronghình2.2đượcgọilàkếtnốiđầyđủvớiýnghĩalàtấtcảcácnúttrongmỗimứccủamạngđượcnốivớitấtcảcácnúttrongmứctiếpsau.Nếumộtsốkếtnốikhôngtồntạitrongmạng,chúngtanóirằngmạnglàkếtnốikhôngđầyđủ

Mức đầu vào Mức ẩn Mức đầura gồmcác nút gồmcác gồmcác nguồn neuralẩn neuralđầura

Hình2.2:M ạ n g tiếnkết nốiđầyđủvớimộtmứcẩnvàmột mứcđầu ra

Trái vớimạngneuraldẫntiến,mạngnổnquyhồi lànhữngmôhìnhvớihailuồngdữliệucóhướng.Trongkhimạngdẫntiếntruyềndữliệutheomộtđườngthẳngthìnhữngmạngneuralquyhồicóítnhấtmộtphảnhồitừnhữngneuralxửlýsauquaytrởlạicácneuralxửlýtrướcđó

Bước4:Thựchiệnkhởitạongẫunhiênt r ọ n g sốkếtnốivớineuralkcủalớpi-1trongkhoảng(-a,a).

2.1.6.1.1 Họccógiámsát

Mộtthànhphầnkhôngthểthiếucủaphươngphápnàylàsựcómặtcủamộtngườithầy(ởbênngoàihệthống).Ngườithầynàycókiếnthứcvềmôitrườngthểhiệnquamộttậphợpcáccặpđầuvào-đầurađãđược

biếttrước.Hệthốnghọc(ởđâylàmạngneural)sẽphảitìmcáchthayđổicácthamsốbêntrongcủamình(cáctrọngsốvàcácngưỡng)đểtạonênmộtánhxạcókhảnăngánhxạcácđầuvàothànhcácđầuramongmuốn.Sựthayđổinàyđượctiếnhànhnhờviệcsosánhgiữađầurathựcsựvàđầuramongmuốn

2.1.6.1.2 Họckhônggiámsát

Tronghọckhôngcógiámsát,tađượcchotrướcmộtsốdữliệuxvàhàmchiphícầnđượccựctiểuhóacóthểlàmộthàmbấtkỳcủadữliệuxvàđầura

tt

củamạng,f–

hàmchiphíđượcquyếtđịnhbởiphátbiểucủabàitoán.Phầnlớncácứngdụngnằmtrongvùngcủacácbàitoánướclượngnhưmôhìnhhóathốngkê,nén,lọc,phâncụm

2.1.6.1.3 Họctăngcường

Dữliệuxthườngkhôngđượctạotrướcmàđượctạoratrongquátrìnhmộtagenttươngtácvớimôitrường.Tạimỗithờiđiểmt,agentthựchiệnhànhđộngytvàmôitrườngtạomộtquansátxtvớimộtchiphítứcthờiCt,theomộtquytrìnhđộngnàođó(thườnglàkhôngđượcbiết).Mụctiêulàmộtsáchlượclựachọnhànhđộngđểcựctiểuhóamộtchiphídàihạnnàođó,nghĩalàchiphítíchlũymongđợi.Quytrìnhhoạtđộngcủamôitrườngvàchiphídàihạnchomỗisáchlượcthườngkhôngđược biết,nhưngcóthể ướclượngđược.Mạngneuralnhântạothườngđượcdùngtronghọctăngcườngnhưmộtphầncủathuậttoántoàncục.Cácbàitoánthườngđượcgiảiquyếtbằnghọctăngcườnglàcácbàitoánđiềukhiển,tròchơivàcácnhiệmvụquyếtđịnhtuầntự(sequentialdecisionmaking)khác

Thuậttoánhọccủaperceptronhaymạngneuralmộtlớpgồm3 bướcchính:Bước1:Khởitạo:

Bước3:lặplạibước2chotấtcảcácmẫu.Nhậnxét

:

Phươngtrìnhw.v=0làchínhlàsiêuphẳngtrongkhônggiand-chiều,suyraperceptroncókhảnăngphânlớptuyếntính,cókhảnănggiảibàitoánquyhồituyếntính

Quátrìnhtruyềntuyếntính:Dữliệutừlớpnhậpqualớpẩnvàđếnlớpxuấtđể:

 ThayđổigiátrịcủatrọngsốliênkếtWcủacácneuraltrongmạn

gb i ể u diễnđượcdữliệuhọc

 Tìmrasựkhácnhaugiữagiátrịthậthàmmẫumàmạngtínhđượcvàkếtquảdựđoáncủamạnggọilàlỗi(họccógiámsát)

Bước5: Tí n h đ ạ o h à m r i ê n g “δE”th eo t r ọ n g số c h o l ớ p ẩ n sử d ụ n g GRADIENTcủahàmlỗi.

(1.6)

Đối với các neural lớp ẩn:

Lớp đầura