(Luận án) Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

Tra c˘u£nh d¸a vào nÎi dung Content-based image retrieval hay gÂi t≠tlàCBIRd˜Òc giÓi thiªu b i các nghiên c˘u tành˙ng năm1980.CBIRdãd˜Òcdãd˜Òc nghiên c˘u rÎng rãi, nhi∑u ph˜Ïng pháp và t

HỌCVÀCÔNGNGHỆVIỆTNA M

HỌCVIỆNKHOAHỌCVÀCÔNGNGHỆ

-HàNội–2017

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN

HẠNGTRONGTRA CỨU ẢNHDỰAVÀONỘI DUNG

LUẬNÁNTIẾN SỸTOÁN HỌC Chuyênngành:C ơ sởToánhọcchoTinhọcMãs

ố: 62 46 01 10

Ngườihướngdẫnkhoahọc:

1 PGS.TS.NgôQuốcTạo

2 PGS.TS.NguyễnHữuQuỳnh

Tôi xin camdoan lu™n án “Nghiêncfíu mÎt sËkˇthu™t phân h§ng trongtracfíu£nhd¸avàonÎidung”làcôngtrìnhnghiênc˘ucıariêngtôi.CácsËliªu,k

∏tqu£d˜Òctrìnhbàytronglu™nánlàhoàntoàntrungth¸cvàch˜at¯ngd˜ÒccôngbËtrongbßtk˝mÎtcôngtrìnhnàokhác

□ Tôidã trích d®nd¶ydıcác tài liªu tham kh£o, công trình nghiên c˘uliênquan trongn˜ÓcvàquËct∏.Ngo§itr¯cáctàiliªuthamkh£onày,lu™nánhoàntoànlàcôngviªcc ıariêngtôi

□ TrongcáccôngtrìnhkhoahÂcd˜ÒccôngbËtronglu™nán,tôidãth∫hiªnrõràngvàchínhxácdónggópcıacácdÁngtácgi£vành˙nggìdotôidãdónggóp

Lu™nánd˜Òcth¸chiªnd˜Óis¸h˜Óngd®nkhoahÂccıaPGS.TSNgôQuËcT§ovàPGS.TSNguyπnH˙uQu˝nh.Nghiênc˘usinhxinbàyt

‰lòngbi∏tÏnsâus≠cd∏nhaiTh¶yv∑d‡nhh˜ÓngkhoahÂc,nh˙ngbàihÂc,nh˙nggóp˛qu˛báutrongnghiênc˘u.CácTh¶ydãt§odi∑ukiªnvôcùngthu™nlÒitrongsuËtquátrìnhnghiênc˘ucıaNghiênc˘usinh

Tôixind˜Òcc£mÏncácnhàkhoahÂc,tácgi£cıacáccôngtrìnhcôngbËdãd˜Òctríchd®ntronglu™nán,dâylành˙ngt˜liªuqu˛,ki∏nth˘cliênquanquantrÂnggiúpNghiênc˘usinhhoànthànhlu™nán.Xinc£mÏnd∏ncácnhàkhoahÂcdãph£nbiªncáccôngtrìnhnghiênc˘ucıaNghiênc˘usinh

TôitrântrÂngc£mÏnPhòngNh™nd§ngvàCôngnghªtrith˘c,Phòngqu£nl˛dào t§o,Viªn Công nghªthông tin, HÂc viªn Khoa hÂc và Công nghª, ViªnHànlâmKhoahÂcvàCôngnghªViªtNamdãt§odi∑ukiªnthu™nlÒichotôitrongsuËtquátrìnhnghiênc˘uth¸chiªnlu™nán.TôicÙngxinc£mÏnsâus≠cd∏nHÎidÁngKhoahÂcViªnCôngnghªthôngtin,các Th¶ytrongH ÎidÁngb£ovªcßpcÏs dãgóp˛giúpNghiênc˘usinhhoànthiªncôngtrìnhlu™nánnày

TôicÙngbàyt

‰s¸c£mÏnsâus≠cd∏nKhoaCôngnghªthôngtin,Tr˜ÌngD§ihÂcDiªnL¸c,HàNÎidãt§odi∑ukiªnchotôid˜ÒchÂct™p,traodÍivànghiênc˘u.Tôixinc£mÏnTr˜ÌngD§ihÂcH£iPhòngdãt§odi∑ukiªnv∑thÌigianvàtàichínhchotôith¸chiªnlu™nánnày

MÎtph¶ncıanghiênc˘unàyd˜Òcth¸ch iªntrongkhuônkhÍd∑tàinghiênc˘umãsËCS’15.03cıaViªnCôngnghªThôngtin,ViªnHànlâmKhoahÂcvàCôngnghªViªtNamvàd∑tàinghiênmãsËVAST01.07/15-

16cıaViªnHànlâmKhoahÂcvàCôngnghªViªtNam.Xinc£mÏncáctraodÍivàtrÒgiúpcıacácthànhviênd∑tài

CuËicùng,tôixinbàyt

‰lòngbi∏tÏnvôh§ndËivÓichamµ,vÒconvàtoànth∫anhemtronggiadìnhdãluônınghÎ,giúpdÔtôi

1.1 MÎts Ëd∞ct r ˜ng£ nht h ˜Ìngs ˚dˆngt r o n g t r a c ˘u£ nhd ¸av à o

nÎidung 9

1.1.1 Miêut£toàncˆc 9

1.1.2 Miêut£cˆcbÎ 12

1.2 TÍhÒpd∞ ctr ˜ngtr ong tr ac ˘u£nhd ¸avàonÎidung 13

1.3 Chu©nhoátrongCBIR 14

1.3.1 Mˆcdíchcıachu©nhoá 14

1.3.2 Chu©nhóamin-max 16

1.3.3 Chu©nhóaGauss. 16

1.4 Kho£ngtrËngng˙nghæa 19

1.5 Ph£nhÁiliênquantrong CBIR 21

1.6 HiªuchønhtrÂngsËvàd‡chchuy∫ntruyvßntrongCBIRs˚dˆng ph£nhÁiliênquan 23

1.7 Trac˘u£nhd¸avàonÎidungs˚dˆngkˇthu™tmáyhÂc 27

1.7.1 Hußnluyªnvàki∫mtra 27

1.7.2 Nhãnd˙liªu 28

1.7.3 Xâyd¸ngmôhìnhhÂc 29

1.8 MÎtsËti∏pc™nd¸atheoph˜ÏngpháptËi˜uPareto 33

2 D∑xußtchu©nhoád∞ctr˜ngvàhiªuchønhtrÂngsËtrongtÍhÒp

2.1 Chu©nhoád∞ctr˜ngd¸avàophâncˆmmÌFCM 39

2.2 Chu©nhoákho£ngcáchd¸avàophâncˆmFCM 45

2.3 HiªuchønhtrÂngs Ë,d‡chchuy∫ntruyvßn 46

2.3.1 HiªuchønhtrÂngsË 51

2.3.2 D‡chchuy∫ntruyvßn 52

2.4 Th˚nghiªmv à d ánhg i á c á c k ∏tq u £ 54

2.4.1 CÏs d˙liªu£nh 54

2.4.2 TríchrútbÎd∞ctr˜ngk∏thÒp 55

2.4.3 Cáck∏tqu£th¸cnghiªmvàlu™ngi£i 55

2.5 K∏tlu ™nCh˜Ïng2 68

3 D∑xußtkˇthu™tPareto frontda mfíc sâu nâng cao hiªu qu£phânlÓp£nh 69 3.1 MÎtsËtínhchßthìnhth˘cd¸atrênkˇthu™tParetofrontdam˘c sâutrongkhônggiantÍhÒpd∞ctr˜ng 73

3.2 Nângcaohiªuqu£phânlÓp£nh 81

3.3 Th˚nghiªmv à d ánhg i á c á c k ∏tq u £ 86

3.3.1 CÏs d˙liªu£nh 86

3 3 2 C á c p h ˜ Ï n g p h á p c Ï s 88

3.3.3 Ph˜Ïngphápdánhgiá 88

3.3.4 Cáck∏tqu£th¸cnghiªm 89

3.4 K∏tlu ™nCh˜Ïng3 96

K∏tlu™nvàh˜Óngpháttri∫n 97 DanhmˆccôngtrìnhdãcôngbË 99 AM Îts ËcÏsd ˙liªu£nhsfidˆng 111 A.1 Corel 111

A.2 Wang 112

A.3 Caltech1 0 1 113

A.4 OxfordBuilding 114

màu,dÎsángL2R Learningt o R a n k HÂcx∏ph§ng

MARS Multimedia Analysis

andRetrievalSystems

Các hª thËng phân tíchdaph˜Ïngti ªnvàtrac˘u

NB — T™p£nhd˜Òcxác nh ™nkh ôn gliê n qua n ph£nhÁicıang˜Ìidùn g

NB +T™p£nhd˜ Òcxác nh ™nliê nquan ph£nhÁicıang˜Ìid ùn g

NB ⇠ T™p£nhcóth˘h§ngdÎt˜Ïngt¸caovàthuÎct™pNB —trongmÎttrac˘u

I

Q

—

—

—

—

0.1 HªthËngt r a c ˘u£ nhd ¸av à o n Îid u n g 3

0.2 HªthËngd∑xußt 6

1.1 Thànhph¶nth˘nhßtcıad∞ctr˜ngmômenmàu 15

1.2 PhânbËd˙liªuthànhph¶n1cıad∞ctr˜ngmômenmàu(gËc) 18

1.3 (a)PhânbËd˙liªuthànhp h ¶n 5l ˜Òcd Á d ∞ ct r ˜ngl ˜Òcd Á HSV(gËc) (b)L˜ÒcdÁd∞ctr˜ngl˜ÒcdÁHSVchu©nhoátheolu™t3σthànhph¶nt h˘5,97.45 55% d ˙liªu“r Ïivào” [ - 1 , 1 ] 18

1.4 Énht r u y v ßn“ mandolini m a g e 0 0 0 1 jpg” 19

1.5 HªthËngtrac˘uvÓi£nhtruyvßn“ mandolini m a g e 0 0 0 1 jpg” 19

1.6 K∏tqu£top 20các£nht˜Ïngt¸nhßtvÓi£nhtruyvßnl¶ntra c˘ukhit§o .20

1.7 Hai£ nhc ó n g ˙nghæat ˜Ïngd Á ng 20

1.8 L˜ÒcdÁmàucıa£nhtruyvßnvàhai£nhtrongk∏tqu£top—20 21

1.9 Minhho§siêuphØng 32

2.1 MôhìnhhªthËngd∑xußt 38

2.2 Minhho§chu©nhóa3σ—FCM 42

2.3 Minhho§tínhchßtb£otoànth˘t¸cıachu©nhoá3σ—FCM 43

2.4 PhânbËd˙liªugËcthànhph¶nth˘n´mcıacácd∞ctr˜ng(a) L˜Òcd Á màuH S V , ( b ) l ˜Òcd Á t¸t˜Ïngq u a n m à u , ( c ) m ô m e n màu,(d)k∏tcßuGabor,(e)mômenWavelet,(f)GIST 56

2.5 (a)PhânbËd˙liªud∞ctr˜ngl˜ÒcdÁHSV(chu©nhoá3σ)thànhph¶n 5 gÁm 97.45% thuÎc [-1,1] (b) Phân bËd˙liªud∞c tr˜ng l˜ÒcdÁHSV(chu©nhoá3 σFCM)thànhph¶n 5gÁm99.81%thuÎc [-1,1] 5 7 2.6 (a)PhânbËd˙liªud∞ctr˜ngautoCorrelogram(chu©nhoá3σ)thànhph¶n5gÁ m98.02% thuÎc [-1,1] (b) Phân bËd˙liªud∞ctr˜ngautoCorrelogram(chu©nhoá3σFCM)thànhph¶n5gÁm 99.9955% thuÎc[-1,1] 57

2.7 (a)PhânbËd˙liªud∞ctr˜ngmômenmàu(chu©nhoá3σ)thànhph¶n 5 gÁm 99.68% thuÎc [-1,1] (b) Phân bËd˙liªud∞c tr˜ng

mômenmàu(chu©nhoá3σFCM)thànhph¶n 5gÁm100%thuÎc

[-1,1] 5 8

—

—

—

—

—

—

—

—

k∏tcßuGabor(chu©nhoá3σFCM)thànhph¶n5gÁm99.95%thuÎc

[-1,1] 5 8

2.9 (a)PhânbËd˙liªud∞ctr˜ngbßtbi∏nWavelet(chu©nhoá3σ)thànhp h ¶n5 g Ám9 9 5 % t h u Îc[ - 1 , 1 ]

( b ) P h â n b Ëd ˙l i ªud ∞ ctr˜ngbßtbi∏nWavelet(chu©nhoá3σFCM)thà

nhph¶n5gÁm100%t h u Îc[ - 1 , 1 ] 59

2.10 (a)PhânbËd˙liªud∞ctr˜nghìnhd§ngGIST(chu©nhoá3σ)thànhph¶n5gÁm 98.8%thuÎc[-1,1].(b) Phân bËd˙liªud∞ctr˜nghìnhd§ngGIST(chu©nhoá3σFCM)thànhph¶n5gÁm99 9985% thuÎc[-1,1] 59

2.11 Sosánhchßtl˜Òngtruyvßn.(a)HiªunăngPrecision/Recall.(b) HiªunăngdÎchínhxác 60

2.12 TrungbìnhdÎchínhxáccıakˇthu™td∑xußttrêntop kk∏tqu£ theonămvòngcıaph£nhÁiliênquan 63

2.13 SosánhtrungbìnhdÎchínhxáccıakˇthu™td∑xußtvàPowerTool trênc á ct o p —kk ∏tq u £ 64

2.14 SosánhtrungbìnhdÎchínhxáccıakˇthu™td∑xußtvàPowerTool trêntop—20k∏tqu£theom˜Ìivòngcıaph£nhÁiliênquan 66

2.15 Bi∫udÁPrecisionvàRecallcıakˇthu™td∑xußtvàPowerTool 67

3.1 HªthËngd∑xußt 72

3.2 Minhho §khônggiantìm ki∏mEQ 74

3.3 MÎtmiêut£Paretofront 76

3.4 Minhho§haim˘cdÎsâul à P F1 vàPF 2 cıakhônggianE Q 78

3.5 TrungbìnhdÎchínhxác(Precision)trênk∏tqu£top kcıad∑ xußtPareto-AdaBoosttrênbat™pd˙liªutheonămvòngph£nhÁi liênquan.(a)Db1.(b)Db2.(c)Db3 91

3.6 TrungbìnhdÎchínhxác(Precision)trênk∏tqu£top kcıad∑ xußtPareto-SVMtrênbat™pd˙liªutheonămvòngph£nhÁiliênquan.( a ) D b 1 ( b ) D b 2 ( c ) D b 3 92

3.7 SosánhdÎchínhxáctrêncáck∏tqu£top kcıakˇthu™td∑xußtPareto-AdaBoostvÓicáckˇthu™tcÏstrênbat™pd˙liªu.(a)T™p d˙liªuDb1.(b)T™pd˙liªuDb2.(c)T™pd˙liªuDb3 94

3.8 SosánhdÎchínhxáctrêncáck∏tqu£top kcıakˇthu™td∑xußtPareto-SVMvÓicáckˇthu™tcÏstrênbat™pd˙liªu.(a)T™pd˙ liªuDb1.(b)T™pd˙liªuDb2.(c)T™pd˙liªuDb3 94

3.9 DÁth‡dÎchínhxác(Precision)vàhÁit˜ng(Recall)cıacácph˜Ïngpháp Pareto-AdaBoost,SVM,AdaBoostvàMARStrênt™pd˙liªu (a) T™pd˙liªuDb1.(b)T™pd˙liªuDb2.(c)T™pd˙liªuDb3 95

3.10 DÁth‡dÎchínhxác(Precision)vàhÁit˜ng(Recall)cıacácph˜Ïngpháp Pareto-SVM,SVM,AdaBoostvàMARStrênt™pd˙liªuDb1, Db2và Db3 95

A.1 Các£ nhv íd ˆt¯cÏsd˙liªuCorel 112

1 0

£nhCaltech101 117

A.4 Cácm®ucıacÏsd˙liªuWang,cácchıd∑ng˙nghæa:bi∫n,Châu Phi,ho ahÁng,khınglong,ng¸a,núi,th˘căn,ditích,voi,xebu˛t MÈidòngmÎtchıd∑,vídˆmÈichıd∑5£nht˜Ïng˘ngtàtrênxuËngd˜Ói 118

A.5 ToànbÎ55£nhtruyvßnd˜Òcs˚dˆngtrongdánhgiágroundtruth.MÈi dòngchobi∏tcáctruyvßnkhácnhauchocùngc£nhd‡adanh L˜u˛s¸thaydÍilÓnv∑ph§mvicıacácvùngtruyvßnvàthay dÍiv‡trí,ánhsáng,v.vcıachínhcác£nh 119

B.1 D˜am Ît£ nhv à o h ªthËngt r a c ˘ud ∑ xußt 120

B.2 K∏tqu£trac˘ukhit§ocıatop—20 121

B.3 K∏tqu£trac˘utop—20vòngph£nh Áith˘nhßt 121

B.4 K∏tqu£trac˘utop—20vòngph£nh Áith˘hai 122

B.5 K∏tqu£trac˘utop—20vòngph£nh Áith˘ba 122

B.6 D˜avàohªthËngmÎttruyvßn 123

B.7 K∏tqu£trac˘ukhit§otop—20 123

B.8 K∏tqu£trac˘utop—20vòngph£nh Áith˘nhßt 124

B.9 K∏tqu£trac˘utop—20vòngph£nh Áith˘hai 124

B.10 K∏tqu£trac˘utop—20vòngph£nh Áith˘ba 124

B.11 K∏tqu£trac˘utop—20vòngph£nh Áith˘t˜ 125

—

—

—

—

—

2.1 B£ngmÎtsË£nhtheonh™nd‡nhchıquancıang˜Ìidùngsosánhv∑t˜Ïngt

¸ng˙nghæavÓitruyvßnQ= 710.jpg.Các£nhn¨mtrong

t™pWang 48

2.2 DÎdokho£ngcáchcıa£nhtruyvßn710.jpgdËivÓicác£nht™pNB+,NB— vàNB⇠.K˛hiªucáccÎt(d1),(d2),(d3), (d4), (d5), (d6)làkho£ngcácht˜Ïng˘ngcıacácbÎd∞ctr˜ngl˜ÒcdÁmàuHSV, t¸t˜Ïng quan màu, mô men màu, k∏t cßu Gabor, mô menWaveletvàGISTtheocáchàmkho£ngcách;Dlàkho£ngcách toànbÎ 49

2.3 DÎdokho£ngcáchL2cıa£nhtruyvßn710.jpgdËivÓicác£nhtrongt™pNB+,NB — vàNB ⇠ 50

2.4 Cácmiêut££nhvàhàmkho£ngcáchs˚dˆngtrongth¸cnghiªm 50

2.5 Thams Ëphânc ˆmF C M 55

2.6 CácdËit˜Òngcıat™pAGR t trênsául¶nl∞pph£nhÁidËivÓi£nh truyvßnQ=710.jpg 60

2.7 ThËngkêtrÂngsËkho£ngcáchtàngbÎd∞ctr˜ngw t t h e o mÈil¶n l∞pdËivÓimÎtsË£nhtruyvßn 61

2.8 Trungb ì n h d Î chínhx á c ( P r e c i s i o n ) t o p kk∏tqu£trên10vòng ph£nhÁiliênquand ËivÓit™pd˙liªuWangcıakˇthu™td∑ xußt. 63 2.9 TrungbìnhdÎhÁit˜ng(Recall)top kk∏tqu£trên10vòngph£n hÁiliênquandËivÓit™pd˙liªuWangcıakˇthu™td∑xußt 64

2.10 Trungb ì n h d Î chínhx á c ( P r e c i s i o n ) t o p kk∏tqu£trên10vòng ph£nhÁiliênquandËivÓit™pd˙liªuWangcıaPowerTool(MARS)65 2.11 TrungbìnhdÎhÁit˜ng(Recall)top kk∏tqu£trên10vòngph£n hÁiliênquandËivÓit™pd˙liªuWangcıaPowerTool(MARS) 65

3.1 Kho£ngc á c h g i ˙aQ vào1,o2,o3t r o n g c á c d ∞ ct r ˜ngm à u s ≠cv à k∏tcßu 70

3.2 Cácmiêut££nhvàhàmkho£ngcáchs˚dˆngtrongth¸cnghiªm 87

3.3 CácthamsËs˚dˆngtrongth¸cnghiªm 89

3.4 Sˢngvi ên Pa reto th eo t o p —kd Ë ivÓiD b 1 90

3.5 Sˢngvi ên Pa reto th eo t o p —kd Ë ivÓiD b 2 90

3.6 Sˢngvi ên Pa reto th eo t o p —kd Ë ivÓiD b 3 91

3.7 TrungbìnhdÎchínhxáctop kk∏tqu£cıad∑xußtPareto-AdaBoosttrênnămvòngph£nhÁiliênquandËivÓit™pd˙liªu Db1 91

—

—

—

—

Db2 92

3.9 TrungbìnhdÎchínhxáctop kk∏tqu£cıad∑xußtPareto-AdaBoosttrênnămvòngph£nhÁiliênquandËivÓit™pd˙liªu Db3 92

3.10 TrungbìnhdÎchínhxáctop kk∏tqu£cıad∑xußtPareto-SVM trênnămvòngph£nhÁiliênquandËivÓit™pd˙liªuDb1 93

3.11 TrungbìnhdÎchínhxáctop kk∏tqu£cıad∑xußtPareto-SVM trênnămvòngph£nhÁiliênquandËivÓit™pd˙liªuDb2 93

3.12 TrungbìnhdÎchínhxáctop kk∏tqu£cıad∑xußtPareto-SVM trênnămvòngph£nhÁiliênquandËivÓit™pd˙liªuDb3 93

A.1 Danhsách10chıd∑cıacÏsd˙liªuWang 114

A.2 Danhsách101chıd∑cıacÏsd˙liªuCaltech101 115

A.3 Danhsách17chıd∑cıacÏsd˙liªuOxfordBuildings 116

Tínhcßpthi∏tcıad∑tài

S¸pháttri∫nm§nhm≥cıaInternetchophépdπdàngxâyd¸ng,l˜utr˙cáccÏsd˙liªulÓn.M Îtt r o n g s Ëdól à F l i c k r1,Y o u T u b e2,F a c e b o o k3,T w i tt e r 4v àtoànb Îm§ngI n t e r n e t Y ê u c ¶uk h a i t h á c m Îtc á c h h i ªuq u £d˙liªud ap h ˜Ïngtiªntrênthúcd©ys¸quantâmcıacÎngdÁngnghiênc˘u[21].Nhi∑uhªthËngtìmk i ∏mt h ô n g ti n vănb £nv à £ nhn h ˜Google5,B i n g6,Y a h o o7dãd ˜ Ò cp h á t tri∫nm§nhm≥trongnh

˙ngnămg¶ndâynh˜ngv®nch˜adáp˘ngd˜Òcnhuc¶ung˜Ìidùng.S¸pháttri∫nm§nhm≥cıad˙liªudaph˜Ïngtiªnngàycàngtr thànhmÎttháchth˘clÓn.Khikíchth˜Óccıakho£nhrßtlÓncáchti∏pc™ntrac˘ub ¨ngt àkhóat r nênkhôngkh£thid®ntÓicácnghiênc˘ukhaitháctrac˘ud¸atrên n Îidungd ˙liªu£ nh

Tra c˘u£nh d¸a vào nÎi dung (Content-based image retrieval) hay gÂi t≠tlàCBIRd˜Òc giÓi thiªu b i các nghiên c˘u tành˙ng năm1980.CBIRdãd˜Òcdãd˜Òc nghiên c˘u rÎng rãi, nhi∑u ph˜Ïng pháp và

tri∫nd∫tríchrútnÎidungcıa£nhb¨ngcáchs˚dˆngcácd∞ctr˜ngm˘cthßp D˙liªutrongCBIRd˜ÒclßytrêncÏs cá c nÎidungmànótríchrútb¨ngcáchs˚dˆng

cáckˇthu™ttríchrútd∞ctr˜ngm˘cthßpbêntrongcıamÈi£nh( màus≠c,hìnhd§ng,k∏tcßu,vv).

TuyCBIRcónhi∑uti∏nbÎsongng˜Ìidùngv®ng∞pkhókhăntrongviªctìmki∏mthôngtinliênquantàt™pd˙liªu£nhlÓnkhôngdÁngnhßtv∑m∞tnÎidung và ng˙nghæa.Di∑u

nh˜mongmuËn.Thôngtinmàmáytínhhi∫un Îidung£nhth˜Ìnglàcácgiátr‡di∫m£nh,vectord∞ctr˜ngd˜Òctríchrúttheocácthıtˆc, cònconng˜Ìihi∫uv∑nÎidungcıa£nhth˜Ìnglàcáckháiniªmng˙nghæa.Dokhôngcós¸t˜ÏngquanmÎtcáchchính xác gi˙a nÎidung mà máy tính cód˜Òc thông quad∞c tr˜ng tr¸c quanm˘cthßpvÓinÎidungmàc o n n g ˜Ìih i ∫ut h ô n g q u a c á c k h á i n i ªmn g ˙nghæam˘ccaod ®nd ∏ nk h o £ngt r Ëngn g ˙nghæa.K h o £ngt r Ëngn g ˙nghæad ‡ nhn g hæatheoSmeuldersvàcÎngs¸[94]nh ˜sau:

“Kho£ng trËng ng˙nghæa là s¸không t˜ÏngđÁng gi˙a thông

tin£nh,đ˜Òctríchrútt¯d˙liªutr¸cquansovÓidiπngi£iv∑d˙liªu£nhđó bing˜Ìidùngtrong tìnhhu Ëngcˆth∫”.

Kho£ngtrËngng˙nghæan¨mgi˙acácd∞ctr˜ngtr¸cquanm˘cthßpcıacác

£nhvàcácng˙nghæam˘ccaomongmuËnd¸d‡nhsuyratàcácd∞ctr˜ngtr¸cquanm˘cthßp.Nhi∑unghiênc˘utronglænhv¸cCBIRd∏nnayv®ndangcËg≠ngthuhµpkho£ngtrËngng˙nghæanày.Cˆth∫,hÏnbath™pkøquanhi∑uhªthËngCBIRdãd˜Òcpháttri∫n,baogÁmQBIC[28],Photobook[80],MARS[79],[83],

[90],PicHunter[17],VisualSEEK[96],Blobworld[11],MindReader[46city[110],FIRE[23],vàcácnghiênc˘ukhác[12],[41],[60],[115],[124]

],SIMPLI-Mˆctiêu,ph§mvinghiêncfíucıalu™nán

Thông th˜Ìng mÎt hªthËng tra c˘u£nh d¸a vào nÎi dungd˜Òc miêut£nh˜Hình0.1 [62].C ácnÎidungtr¸cq uancıacác£nhtrongcÏs d˙liªud˜Òctríchrútvàmiêut£b icácvectord∞ctr˜ngnhi∑uchi∑u.Cácvectord∞ctr˜ngcıacác

£nht r o n g c Ïs d˙liªut §on ê n m Îtc Ïs d˙liªud∞ctr˜ng.D∫trac˘ucác£nh,thôngtintruyvßncıang˜Ìidùngd˜avàohªthËngtrac˘ucóth∫làcác£nhm®u ho∞c v≥phác

t˜Ïng˘ngvÓibi∫udiπncıacácvectord∞ctr˜ng.CácdÎt˜Ïngt¸ho∞ccáckho£ngcáchgi˙acácvectord∞ctr˜ngcıa£nhtruyvßnvÓicác£nhtrongcÏs d ˙liªud˜Òctínhvàtrac˘ud˜Òcth¸chiªnd¸atrênmÎtl˜ÒcdÁchøsË.L˜ÒcdÁchøsËd˜aramÎtcáchhiªuqu£d∫tìmki∏mcác£nhtrongcÏs d˙liªu.Q u a k h £os át nh i ∑un h i ê n

Hình0.1.HªthËngtr ac˘u£nhd ¸avàonÎidung.

c˘uCBIR,s¸k∏t hÒpdad∞c tr˜ng ch˜ad˜Òc xem xét mÎtcáchd¶ydıd®nd∏nviªcsosánhdÎt˜Ïngt¸d§thiªuqu£ch˜acao.TronghªthËngnàydánhchøsËvà tra c˘u s˚dˆng k∏t hÒpdad∞c tr˜ng cÙng c¶nd˜Òc nghiên c˘ud∫nângcaohiªuqu£trac˘u.D∫nângcaok∏tqu£trac˘uchínhxác d¶ura,lu™nánd˜aracácmˆcti

ê u vàgi Óih §nph §mvi nghi ê n c˘unh ˜sau

Mˆctiêucıalu™nán

So sánhdÎt˜Ïng t¸: Nghiên c˘u vàd∑xußt chu©n hoád∞c tr˜ng, chu©n

hoákho£ngc ác hd∫ nângc aohi ªuqu £sos ánh dÎ t˜Ïngt¸

Ph£nhÁiliênquan:Nghiênc˘uvàd∑xußtkˇthu™thiªuchønhtrÂngsËvàd‡chchuy∫ntruyvßn

DánhchøsËvàtrac˘u:Tßtc£các£nhtrongcÏs d˙liªuvectord∞ctr˜ngd˜Òctínhtoántr˜Ócvàl˜utr˙tronghªqu£ntr‡cÏs d˙liªu.RútgÂnkhônggiantìmki∏ms˚dˆngti∏pc™ntËi˜uParetod∫l¸achÂnt™p˘ngviêntËtnhßttàcÏs d˙liªu.Trac˘ud˜ara“top”k∏tqu£các£nhcókho£ngcáchcıavectord∞ctr˜ngnh

‰nhßtho∞cd˜Òcd¸báox∏ph§ngcaonhßtvÓi£nhtruyvßn

Ph§mvinghiêncfíucıalu™nán

S˚dˆngmÎtsËt™p£nhchu©nd˜Òcs˚dˆngnhi∑utrongcácnghiênc˘uv∑CBIR.Xâyd¸ngc Ïs d ˙liªud ∞ ct r ˜ngd ¸at r ê n m Îts Ëph˜Ïngp h á p t r í c h r ú t d∞ct r ˜ngt Ëtd ãc

ó C à i d∞tt h ¸cn g h i ªmc h o c á c d ∑ xußt.S o s á n h v à d ánhg i á hiªunăngv∑m∞tdÎchínhxácthôngquat™pk∏tqu£trac˘u

Ph˜ÏngphápvànÎidungnghiêncfíu

Ph˜Ïng pháp nghiên c˘u là k∏t hÒp gi˙a nghiên c˘u l˛thuy∏t và th¸cnghiªm.CÏs d˙liªuvàthôngtinkhoahÂcd˜Òcthuth™p,tÍnghÒptàcáct§pchíkhoahÂcchuyên ngành trong và ngoài n˜Óc, qua Xêmina ho∞c tham gia báo cáo t§icáchÎith£okhoahÂc,quatraodÍivÓith¶yh˜Óngd®nvàcácdÁngnghiªpcùnglænhv¸cnghiênc˘u,

Lu™nántÍnghÒpcácthôngtinliênquantronglænhv¸cCBIR,l¸achÂncáccáchti ∏pc™nd ãd ˜ Òcápd ˆngt h ànhc ông,ti ∏nh ànht h˚nghiªmvÓic áct ™pd ˙liªu£nhchu©ntrongcác bàibáokhoah Âcvàdánhgiák∏tqu£

NÎidungnghiênc˘utronglu™nángÁm:

(1) Nghiênc˘utÍngquanv∑trac˘u£nhd¸avàonÎidung

(2) Nghiên c˘u cách k∏t hÒp nhi∑ud∞c tr˜ng trong hªthËngCBIRtà dó

pháthiªncácquylu™t,ràngbuÎccÏb£ncıak∏thÒpnhi∑ud∞ctr˜ng

D∑xußts˚dˆngtËi˜uParetoxâyd¸ngt™p˘ngviênd∫nângcaodÎchínhxáccıahªthËngCBIRtrênkhônggiank∏thÒpdad∞ctr˜ngtrongcôngtrình[CT7]

MôhìnhtÍngquátchocácd∑xußtcıalu™nántrongHình0.2d˜Òcmôt£nh˜sau:(1) D∞ctr˜ng£nhcıatruyvßnvàcácd∞ctr˜ng£nhcıacác£nhcÏs d˙liªud˜Òcchu

(7) S≠px∏pcác£nhtrongt™pki∫mtratheogiátr‡d¸báophânlÓp.T™pk∏tqu£hi∫nth‡

gÁmtop—k£nhcóth˘h§nggiátr‡d¸báophânlÓpcaonhßt.

(8) Ph£nhÁiliênquan:S˚dˆngthôngtindánhgiácıang˜Ìidùngliênquanho∞ckhôn

gliênquantrênt™pk∏tqu£top—k.D¸atrêncác£nhd˜Òcdánhgiá,

Cácnghiênc˘ucıalu™nándãd˜ÒccôngbËtrongcáccôngtrìnhd˜ara cuËicıalu™nán,dónggópchocácd∑tàicßpcÏs ViªnCNTT,mãsËCS’16.03,CS’14.03 vàd∑tài cßpViªn Hàn lâm Khoa hÂc và Công nghªViªt Nam, mã sËVAST01.07/15-16

Cßutrúccıalu™nán

Ch˜Ïng1 g iÓit h i ªuk i ∏nt h ˘ct Íngq u a n b a o gÁm:G i Óit h i ªum Îts Ëd∞ctr˜

ng và s¸k∏t hÒpdad∞c tr˜ng th˜Ìngd˜Òc s˚dˆng trong mÎt sËnghiênc˘utiêubi∫uv∑CBIR.GiÓithiªuvàphântíchmÎtsËkˇthu™tchu©nhoád∞ctr˜ng,chu©nhoákho£ngcách.GiÓithiªuvàphântíchmÎtsËkˇthu™tgi£iquy∏tbàitoánkho£ngtrËngng

˙nghæanh˜kˇthu™thiªuchønhtrÂngsË,d‡chchuy∫ntruyvßns˚dˆngthôngtinph£nhÁiliênquan,mÎtsËkˇthu™tmáyhÂc

Ch˜Ïng2d∑xußt chu©n hoád∞c tr˜ng c£i ti∏n d¸a theo chu©n hoáGauss.D∑xußtkˇthu™thiªuchønhtrÂngs Ëvàd‡chchuy∫ntruyvßnd¸avàothôngtinph£nhÁicıang˜Ìidùng

Ch˜Ïng3d∑xußtrútgÂnt™p˘ngviênnh¨mgi£mkhônggiantìmki∏md¸avào ti∏pc™n tËi˜u Pareto vÓi các tiêu chí l¸a chÂn là không giandad∞ctr˜ng.T™pcác £nhliên quant heoph £nhÁicıang˜Ìid ùn gd˜Òcs˚dˆngd∫ hiªuchønhl§it™pParetod∫phùhÒpvÓinhuc¶utìmki∏mcıachínhng˜Ìidùng,chophépnângc ao dÎchínhxácphânlÓptrongCBIR

CuËicùnglàph¶nK∏tlu™nvàh˜Óngpháttri∫n,tÍnghÒpcáck∏tqu£chínhcıalu™nánvàmÎts Ëkhuy∏nngh‡nghiênc˘ut˜Ïnglai

[112].M Îth ªthËngC B I R gÁmc á c t h à n h p h ¶nc Ïb£nmôt£trongsÏdÁHình0.1.NÎidungcıach˜Ïngs≥nghiênc˘umÎtsËthànhph¶n cÏb£n nh˜trích rútd∞c tr˜ng, chu©nhoá, ph£n hÁi liên quan Bên c§nhdóch˜Ïng s≥phân tích mÎt sËnghiên c˘u liênquan, nh˙ng y∏u tË £nh h˜ngd∏nhiªuqu£hªthËngCB IR.

Mˆc1 1 g iÓit h i ªum Îts Ëd∞ct r ˜ng£ nhs ˚dˆngt r o n g h ªthËngC B I R D∫s˚dˆnghiªuqu£cácd∞ ctr˜ng,trongM ˆc1 2 g iÓithiªumÎtsËhªthËngCBIR s˚dˆng

k ∏th Òpd ad ∞ ct r ˜ng.M ˆc1 3 g iÓit h i ªuv à p h â n tí c h m Îts Ëph˜Ïngphápchu©nhoáth˜Ìngd˜Òcs˚dˆngtrongCBIRchod∞ctr˜ngvàgiátr‡kho£ngcách.Kho£ngtrËngng˙nghæad˜ÒctrìnhbàytrongMˆc1.4.MÎtsËkˇthu™t

8

gi£m kho£ngtrËng ng˙nghæad˜Òc trình bày trong cácMˆc1.5,1.6,1.7và1.8.Mˆc1.9 trìnhbàyph˜ÏngphápdánhgiáhiªunăngcıahªthËngC BIRs ˚dˆngtrongcácd∑xußt Ch˜Ïng2vàCh˜Ïng3.

íu£nhd¸avàonÎidung

TrongC B I R , tr íc h r ú t d ∞ ct r ˜ngn h ¨mc h u y ∫nd ő im Èi£ nhd ¶ uv à o t h à

n h mÎtt™pcácd∞ctr˜ng(thôngth˜Ìngd˜Óihìnhth˘cvectord∞ctr˜ng).Cácd∞ctr˜ngm˘cthßpd˜ÒctríchrútmÎtcácht ¸

dÎngd ¸at r ê n c á c t h u Îctí n h k h á c nhau(màus≠c,k∏tcßu,hìnhd§ng,v.v.)cıachính£nhdó.Tr˜Óckhitríchrútd∞c tr˜ng, các£nhd˜Òcti∑n x˚l˛(chuy∫ndői không gianmàu, gi£m nhiπu, l˜Òngt˚hoá, v.v.) Cácd∞c tr˜ng s≥mangd¶ydıthông tin v∑ £nh,viªc tìm cácd∞ctr˜ngliênquanbi∫udiπnnÎidungtr¸cquancıacác£nhtrongmÎtcÏsd˙liªulÓnv®ndanglàmÎtnhiªmvˆtháchth˘c.L¸achÂnd∞ctr˜ngtuythuÎcvàocÏs d ˙liªu£nh,tuythuÎc˘ngdˆngvàcÙngnh˜tuythuÎcvàomongmuËncıang˜Ìid ù n g C á c d

∞ ct r ˜ngc ó t h ∫bi∫ud i πnt o à n c ˆc( c h o t o à n b Σnh),c ˆcb Î(chomÎtvùngd∞cbiªtcıa£nh)ho∞ccácti∏pc™nkhônggian

Gi£d‡nhmàutrongmÎt£nhcóth∫theomÎtph ânph Ëixács ußtnh ßtd ‡nh.Khidó,

c ácmômenp hânphËimàus≥d˜Òcs ˚dˆngnh˜cácd∞ct r˜ngmàucıa

£nh.StrickervàOrengo[97]d‡nhnghæacácmômenmàukhácnhauchomÈikênhmàutrong £nh

T˜Ïngq u a n m à u

T˜Ïngquanmàunóid∏nt˜Ïngquankhônggiancıacácc∞pmàutrong£nh[45].Trong [74], [84]dã s˚dˆngd∫trích rútd∞ctr˜ng£nh s˚dˆng choCBIR.T˜Ïngt¸l˜ÒcdÁmàu và các mô men màu, t˜Ïng quan màu có th∫s˚dˆngchocáclo§ikhônggianmàukhác nhau

D∞ctr˜ngk∏tcßu

D∞ct r ˜ngk ∏tc ßud ˜ Ò cs ˚dˆngr Îngr ã i t r o n g C B I R , ph £ná n h c ßut r ú

c khônggian,b∑m∞t, Cóth∫d ‡nhnghæamÎtvùngk∏tcßunh˜mÎtvùngcóc˜ÌngdÎkhôngdÁng nhßt Cácd∞c tr˜ng k∏t cßu cÙng là cácd∞c tr˜ng tr¸cquanquantrÂngcıa£nh.ChØngh§n,conhővàconbáokhôngth∫phânbiªtn∏uchøs˚dˆng

m à u s ≠cv à h ì n h d §ng.C á c d ∞ ct r ˜ngk ∏tc ßul à c ¶nt h i ∏tt r o n g t r ˜ÌnghÒpnày

Có th∫chia bi∫u diπn k∏t cßu thành ph˜Ïng pháp cßu trúc và ph˜Ïng phápthËng

kê Các ph˜Ïng pháp cßu trúc miêu t£k∏t cßu b¨ng cách xácd‡nh tínhb£nchßtho∞ccácm®ucÏb£n(nh˜làcácd˜Ìngtròn,hìnhlˆcgiác,hìnhch˙nh™t, )vàquy t≠cd∫t§o nên k∏t cßu Các ph˜Ïng pháp này có hiªu qu£khi miêu t£cáck∏t cßu

có cßu trúc, quad∑c™p trong bài báo [38], [66], [105], [109] Ph˜ÏngphápthËngkêmiêut£k∏tcßuthôngquat™pthËngkêcácvectord∞ctr˜ng,d¸atrêncáctính

c h ßtn h ˜dÎt˜Ïngph £n,e n t r o p y , d ˜ ar a t r o n g [38],[39]

[56]d¸avàonguyênl˛k∏tcßulàs¸l∞pdil∞pl§icıacácchßtliªuvÓimÎtt¶nsußtnhßtd‡nh,˛t

˜ngcıaph˜Ïngphápnàylàs˚dˆngmÎtt™pcácbÎlÂcGabord∫phântí chcßutrúccıak∏tcßudatølª(t¶nsË)vàdah˜Óng.ZhangvàcÎngs¸[121]s˚dˆngbi∏ndőiGaborwavelets˚dˆngchoCBIR

D∞ctr˜nghìnhd§ng

Cácd∞ctr˜nghìnhd§ngd˜Òcs˚dˆngrÎngrãitrongc á c h ªthËngC B I R [107].Dây

là ki∫ud∞c tr˜ng miêu t£ dËi t˜Òng và vùng Các miêu t£hình d§ngd˜Òc trích rút,sau khi phândo§n£nh theo cácdËi t˜Òng và các vùng Cácd∞ctr˜ng hình d§ngkhông phong phú b¨ng cácd∞c tr˜ng màu và k∏t cßu.D∞ctr˜nghìnhd §ngd ˜ Ò cg i Óit h i ªutr on g b à i b á o [117].C ó t h ∫chiac h ú n g v à o h a i n h ó

m :

(i)C á c m i ê u t £d˜Ìngd Á ngm ˘c;

( i i ) C á c m i ê u t £vùng.C á c m i ê u t £d˜Ìngd Á ngm˘cd˜a ra trong mÎt sËbài báo[29], [119], [122] Các miêu t£vùng, cóth∫bi∫udiπncácthuÎctínhcıatoànbÎvùng,d˜Òcd˜aratrongcácbàibáov∑cácmômenHu[44],cácbßtbi∏nZernike[51]

D∞ctr˜ngGIST

OlivavàTorralba[75]môhìnhhoáviªcnh™nd§ngc£nhth∏giÓith¸cb

‰quaphândo§n,quátrìnhx˚l˛cácvùngvàcácdËit˜Òngcˆth∫b¨ngd∑xußtt™pchi∑utr¸cquan(tínht¸nhiên,tínhrõràng,tínhnhám,giãnn ,gÁgh∑)bi∫udiπncßutrúckhônggiancıamÎtc£nh.Môhìnhnàyt§oramÎtkhônggiandachi∑u,trongdócácc£nhliênquantÓicácchıd∑ng˙nghæa(vídˆnh˜d˜ÌngphË,caotËc,bÌbi∫n)d˜Òcxemnh˜g¶nnhau.Tínhhiªuqu£cıad∞ctr˜ngGISTdãd˜Òcch˘ngminhtrongnh™nd§ngdËit˜Òng[76],[103]

Bi∏ndői Haar Waveletlà bi∏ndői cÏb£n tàmi∑n không gian sang mi∑n t¶nsË.Haar Waveletd˜Òcd∑xußt bi Alfred Haar [36].D∞c tr˜ng nàyd˜Òcs˚dˆngtrongcôngtrình [CT4]

1.1.2 Miêut £cˆcb Î

Cácd∞ctr˜ng cˆc bÎhiªn nayd˜Òcs˚dˆng rÎng rãi trong CBIR Thay vìtínhtoán d˙liªud∞c tr˜ng trên toàn bÎ £nh, các ph˜Ïng pháp trích rútd∞ctr˜ngd¸atrêncáchti∏pc™nnàychømiêut£cácthuÎctínhcˆcbÎcıacácvùng£nhho∞cxácd

‡nhcácdi∫mnőib™t.MÈi£nhd˜Òcmiêut£b¨ngmÎtt™pcácvectord∞ctr˜ng(mÈivectorchomÈidi∫m)

Cáckˇthu™tpháthiªncácdi∫mnőib™tdãd˜Òcd∑xußttrongmÎtsËnghiênc˘unh˜phát hiªn Harris [40], phát hiªn Harris-Laplace [67],phát hiªn DifferenceofGaussian (DoG) [59],v.v MÎt sËph˜Ïng pháp tiêu bi∫u nhßt nh˜SIFT (Scale-Invariant Feature Transform) [63] và SURF (Speed Up Robust Features) [3].Trongcông trình [CT5]dãd˜a ra mÎt sË dánh giá v∑haid∞c tr˜ng SIFT và SURFtronghªthËngSIMPLE

Bên c§nh s˚dˆng cácdi∫m női b™t, trong£nh còn có rßt nhi∑udi∫m£nhn¨mr£iráckhôngt§othànhvùngdÁngnhßt(vùngdÁngnhßtgÁmcácdi∫m£nhcùngmàuvàli∑nk∑nhau).Viªcs˚dˆngtßtc£cácdi∫m£nhtrong£nh(c£cácdi∫m

£nh n¨m r£i rác) vào quá trình tra c˘u,dÎph˘c t§p tính toán s≥cao và nhi∑ukhichßtl ˜Òngt r a c ˘uk h ô n g d ˜ Ò cc £it h i ªn.T r o n g c ô n g t r ì n h [ C T 2 ] d ãs ˚dˆn

gk ˇthu™ttríchrútd∞ctr˜ngd¸atrênvùngthu¶nnhßt

1.2 TÍhÒpd∞ctr ˜ngt ro ngt rac fíu£ nhd¸avào nÎ

id u n g

Cáck i ∫ud ∞ ct r ˜ngt r ¸cq u a n t h ˜Ìngd ˜ Ò cs ˚dˆngl à m à u s ≠c,k ∏tc ßuv à hìnhd§ng MÎt sËbi∫u diπn cho ki∫ud∞c tr˜ng màu gÁm bÎ d∞c tr˜ng l˜ÒcdÁmàu và

mô men màu [98], bi∫u diπn ki∫ud∞c tr˜ng k∏t cßu gÁm mÎt sËbÎd∞ctr˜ngnh˜Tamura[65],[99]vàmatr™ndÁngm˘c[39] Trong[89]s˚dˆngmÎtsËbÎd∞c tr˜ng k∏t hÒp : l˜ÒcdÁmàu, mô men màu, ma trândÁng m˘c,Tamura,miêut£Fouriervàmi ê u t£hìnhd§ng

Trong [35], [96] s˚dˆng k∏t hÒp ki∫ud∞c tr˜ngmàu, k∏t cßu, hình d§ng,gÁmcácbÎd∞ctr˜ngl˜ÒcdÁmàu,mômenmàu[98],k∏tcßuTamura[99]vàmatr™ndÁngm˘c[39]

Trong [73] s˚dˆng k∏t hÒp mÎt sËbÎ d∞c tr˜ng : l˜ÒcdÁmàu, bßt bi∏nmàuvàmatr™ndÁngm˘c.Trong[48]s˚dˆngk∏thÒpmÎtsËbÎd∞ctr˜ngl˜ÒcdÁmàu,t¸t˜Ïngquanmàu,bßtbi∏nmàu,lÂcGaborvàbi∏ndőiwavelet.Kˇthu™tphân tích k∏t cßuth˜Ìngd˜Òc s˚dˆng choCBIRlà Haar Wavelet [50], [108].Sauthu™ttoánbi∏ndőinhi∑um˘c,d∞ctr˜ngthud˜Òctàbakênhmàub¨ngchu©nF-

norm[106]

Trong[90]dËivÓit™pd˙liªu£nhth˘nhßts˚dˆngk∏thÒpbÎd∞ctr˜ngmômen màu[98] cho ki∫ud∞c tr˜ng màu, bÎ d∞c tr˜ng Tamura [99], ma tr™ndÁngm˘c [73],[87]cho ki∫ud∞c tr˜ng k∏t cßu, bÎ d∞c tr˜ng miêu t£Fourier và miêut£hìnhd§ngchamfer[89]choki∫ud∞ctr˜nghìnhd§ng.Trênt™pd˙liªuth˘hais˚dˆng k∏thÒp mÎt sËbÎ d∞c tr˜ng gÁm l˜ÒcdÁmàu, mô men màu [98], matr™ndÁngm˘c[39],[73].T™pki∫ud∞ctr˜ngvàbÎd∞ctr˜ngd˜Òcmiêut£nh˜sau:

(1) F={fi }làt™pki∫ud∞ctr˜ngtr¸cquanm˘cthßpgÁm :màu,k∏tcßu,hìnhd§ng.

i j

(2) T={tij }làt™pbi∫udiπnnhi∑ubÎd∞ctr˜ngt ij ,trongdómÈibÎd∞ctr˜ng

thuÎcvào mÎt ki∫ud∞ctr˜ngfi vàt ij ⌘[t ij1, .,tijk , .,t ijM ] là vectorgÁmnhi∑uthànhph¶n.

◊udi∫mviªcs˚dˆngtőhÒpd∞ctr˜ngnh¨mk∏thÒpth∏m§nhcıacácbÎd∞ctr˜ngtrongmiêut£nÎidungtr¸cquancıa£nh

trongd óS ij làd Î t˜Ïngt ¸theob Îd∞ct r ˜ngt ij ,W ij l à t r Ângs Ët˜Ïng˘ ng.

Ta bi∏t r¨ngdÎ do t˜Ïng t¸ d˜Òc s˚dˆngd∫xácd‡nh t˜Ïng t¸ho∞c khôngt˜Ïngt¸gi˙a hai£nh CácdÎ do t˜Ïng t¸khác nhaud˜Òc s˚dˆng cho cácbi∫udiπnd∞ctr˜ngkhácnhau.B imÎtsËhàmt˜Ïngt¸tr£l§imÎtgiátr‡trongph§mvi[0,1

],nh˜kho£ngcáchL1( “ g i a o l˜ÒcdÁ ”)[64],

[95]d˜ Òcs˚dˆngchos osánh cácbi∫udiπnl˜ÒcdÁmàu,trongkhicáchàmkhácthìkhôn

gnh˜v™y.Th¸ct∏,kho£ng cáchÃ-clit (L2)d˜Òc dùng rÎng rãi nhßt nh˜trong [57],[72], [80], [95].MÎt sË dÎ do phőbi∏n khácdã s˚dˆng kho£ng cáchÃ-clit trÂngsËnh˜trong[5], [90], kho£ng cách MinkowskyLp tőng quát [92] và kho£ng cáchMahalanobistrong[80],[95]

Gi£thi∏tr¨ngcácgiátr‡dÎt˜Ïngt¸cıamÈibÎd∞ctr˜ng(S(tij ))trongph§mvidÎngt

à0tÓi1.Theocáchk∏thÒptuy∏ntínhnh˜Ph˜Ïngtrình(1.1)s≥

trnênít˛nghæa.BivìmÎtS(tij )nàodócóth∫lßnátcáikhácdogiátr‡cıanólÓn.Bil˛donh˜

v™y,khitínhS(tij )cácthànhph¶nvectort ijk ph£id˜Òcchu©nhoátr˜Óck hit ínhdÎdot˜Ïn

gt¸.Chu©nh oácácthànhph¶ntijkd˜Òcxemnh˜chu©n hoád∞c tr˜ng và chu©n hoáS(tij )d˜Òc xem nh˜chu©n hoá kho£ng cáchho∞cdÎt˜Ïngt¸.

Hình1.1.Thànhph¶nth˘nhßtcıad∞ctr˜ngmômenmàu.

Cho cÏsd˙liªuI1,I2, ,IN gÁmN£nh,t ij =[t ij1, ,tijk , ,t ijM ] là bi∫udiπnvectorcıabÎd∞ctr˜ngt ij trongki∫uf i Tacóth∫hìnhthànhmÎtmatr™nd∞c

tr˜ngN⇥Mtrongdótijk là thành ph¶nd∞c tr˜ng th˘k. TrongHình1.1mÈicÎtcıamatr™nlàmÎtchuÈi{tijk }.Mˆcdíchchu©nhoágiátr‡trongmÈicÎt

vàomÎt ph§m vi,d£m b£o mÈi thành ph¶nd∞c tr˜ng nh™n trÂng sËb¨ng nhautrongviªc xácd‡nhdÎt˜Ïng t¸gi˙a hai vector TrongCBIRth˜Ìng s˚dˆng hai

phépchu©nhoá:chu©nhoámin-maxv à chu©nhoáGauss.

Lu™t1.1.3σ([ 90 ])xlàđ§il˜Òngng®unhiêncótrungbìnhµvàđÎlªchσthìxácsußtP⇣ x

—µ

1⌘≥0.99.

D t ij (I x ,I y )—µ t D˜ t ij (

MoodvàcÎngs¸[70]dãchothßyxácsußt68%cácgiátr‡kho£ngcáchn¨mtrongkho£ng[

—1,1]khiK=1và99%khiK= 3.

H§nch∏:Phépc h u ©nh o á 3 σ“r£id ∑ u”t r o n g [ —

1,1]n h ˜ngy ê u c ¶ud ˙liªulàm Îtc hu ÈiG auss

Phép chu©n hoá 3σyêu c¶u d˙liªud∞c tr˜ng ph£i là mÎt chuÈi Gauss.Kh£osátt r ê n m Îts ËcÏsd ˙liªu£ nhc h u ©nW a n g1,C a l t e c h 1 0 12,O x f o r d B u i l d i n

g s3d˙liªud∞c tr˜ng sau khid˜Òc trích rútdã cho thßy gi£thi∏t yêu c¶u d˙liªuphânbËGausslàquách∞tch≥vìh¶uh∏td∑ukhôngtho£mãntheogi£thi∏tnày.Hình

x=1y =x+1

X

X

1.2 làvídˆv∑thànhph¶nd∞ctr˜ngcıamômenmàu“r£i”trênmÎtmi∑nrÎngvàkhông the

o phân b ËGauss

Thanhphan1dactrungMomenmau(goc)

400 350 300 250 200 150 100 50 0

1.4 Kho£ngt r Ëngn g ˙nghæa

Thu™tng˙“kho£ngtrËngng˙nghæa”d˜Òcdùngd∫miêut£s¸khácnhaugi˙ahaim˘cmiêut£cıamÎt£nh.M˘cmiêut£d¶utrongCBIRs˚dˆngcácvectord∞ctr˜ngchøthuthôngtind∞ctr˜ngm˘cthßpcıa£nh(màus≠c,k∏tcßu,hìnhd§ng, ) M˘c miêu t£th˘haith¸c hiªn b i con ng˜Ìi s˚dˆng các khái niªm ng˙nghæa m˘c cao khi tra c˘u£nh

4 http://www.vision.caltech.edu/Image_Datasets/Caltech101/

Queryimage Histogram:Queryimage

6000 4000 2000 0

0 50 100 150 200 250

Image 3

Image12

4000 2000 0

1000 500

caohÏntrong k∏tqu £top—20.

kc h o phépxâyd ¸ngtrÂngsË.Tr ÂngsËd˜ÒcgánmÎthªsËchomÈichi∑ucıadi∫mtruy

vßn,cáctrÂngsËc aovÓicác chi∑u quan trÂng hÏn và ng˜Òc l§i Trong [88] s˚dˆng

cáchÃ-clit,chophépx˚l˛cácm∞telipvÓitrˆcchínhd˜Òcgióngtheocáctrˆcto§dÎ.MindReader[

46]s ˚dˆngk h o £ngc á c h Ã

-clitt őngq u á t , c h o p h é p q u a y c á c t r ˆcd∫làmviªctËthÏnvÓicách˜Óngtuy˛cácm∞telip.D‡chchuy∫ntruyvßnnh˜trong[88]v à M i n d R e a d e r [46]b i ∫ud i πnt r u y v ßnn h

˜mÎtdi∫mdÏntrongkhônggiand∞c tr˜ng, di chuy∫ndi∫m truy vßn v∑phíacácdi∫m k∏t qu£liên quan và dichuy∫n ra xa cácdi∫m k∏t qu£không liên

tàph˜ÏngphápcıaRocchio[85].Trong[88],Mindreader[46]dòih‰i“truyvßnkh

it§o”dıtËtvàmÎtsËb˜Óchiªuchønhc¶nthi∏t,tr˜ÓckhicáctrÂngsËhÎitˆtÓicácgiátr‡dúng.MÎtcáchtr¸cgiác,cáchti∏pc™nnàyphùhÒpvÓinh™nth˘cchıquancıang˜Ìidùng.S¸h

§nch∏cıanh˙ngph˜ÏngphápnàylàkhóhÎitˆkhicácdi∫mliênquann¨mr£iráctrong

k hông gi an tr ¸cqu an

M rÎng truy vßn nh˜trong [52], [83] cho phép gi£i quy∏t vßnd∑khó hÎitˆ.B¨ngcáchs˚dˆngnhi∑udi∫mtruyvßnd∫xâyd¸ngcˆmcˆcbÎchocácdi∫m

liên quan, saudó hÒp tßt c£các k∏t qu£ Theo ti∏p c™n này, các cˆm cˆc bÎd˜ÒchÒpl§i,chophéphìnhthànhmÎtd˜ÌngdÏnbaophıtßtc£cácdi∫mliênquan.Tuynhi

ê n , p h ˜Ïngp h á p n àyc ó t h ∫b

‰sótcác£nhliênquantrongdótőngtoànbÎkho£ngcáchcaocıatoànbÎcácchi∑u,nh˜ngcóth∫nh˙ng£nhnàyt˜Ïngt¸ng˙nghǐavÓinhuc¶uthôngtincıang˜Ìidùng

Nhiªmvˆtrac˘ucıahªthËngCBIRcóth∫d˜Òcxemxétnh˜mÎtbàitoánhÂcmáy[1

6].Mˆcdíchd∫phânlÓpcÏs d˙liªuvàohailÓp:lÓpliênquanch˘acác£nht˜Ïngt¸vÓicác£nhtruyvßnvàlÓpkhôngliênquanbi∫udiπnlÓpcác

£nh mà không liên quan vÓi£nh truy vßn nh˜trong [100], [101], [123].Các£nhliên quan nhßt, theo phân lÓpd˜Òc tr£v∑cho ng˜Ìi dùng Saudó, ng˜Ìi dùngcóth∫ dánh giá các£nh k∏t qu£này nh˜là các£nh liên quan ho∞c không liênquan.Các£nhd˜Òcdánhgiáb ing˜Ìidùngsaudócóth∫d˜Òcthêmvàot™phußnluyªnchoquátrìnhhÂcchol¶nl∞pti∏ptheo

Nóichung,cácti∏pc™ntrênch˜ad£mb£otìmd˜Òc£nhliênquanmongmuËnvàdôi khichúng có th∫t≠c ngh≥n cˆc bÎho∞c tìm l§i quanh qu©n khi khôngtìmthßycác£nhmÓicóliênquan.D∫gi£iquy∏tnh˙ngbßtlÒidãnêutrên,lu™nánv®nti∏pnghiênc˘us¸k∏thÒpdad∞ctr˜ngtronghªthËngCBIRs˚dˆnghiªuchønhtrÂngsË,d ‡chchuy

q u a n d∫tăngc ˜Ìngd Î chínhx ác tr a c ˘u

rel, j

Das[20]l¸achÂntrÂngsËd¸avàotøsËcıas¸bi∏nthiênd ∞ctr˜ngquatßt

(1.8)

Khikhôngcó£nhliênquand˜Òctrac˘u,m®usËd˜ÒcgánmÎtgiátr‡d˜Ïngnh

‰✏saochocáctrÂngsËkhôngb‡thaydőidángk∫

WuvàZhang [114]s˚dˆngc£haicácm®uph£nhÁid˜Ïngvàph£nhÁiâm, s˚dˆngtøsËphânbiªt,xácd‡nhkh£năngcıamÎtd∞ctr˜ngd∫phântáchcác

£nh liên quan tàcác£nh không liên quan Gi£s˚I t,

(l) ={I t ,I2R (l) },Irel nghǐalà£nhliênquanthìvùngtrÎihÏntrongsËcác£nhliênquan l¶nl∞

Giátr‡cıa6jn¨mgi˙a 0và1,là 0khitßtc£các£nhliênquancùngn¨mtrong ph§m vi

trÎi nên khôngdánh trÂng sËcho các thành ph¶nd∞ctr˜ng này.Ng˜Òc l§i, khikhông có mÎt£nh liên quan nào n¨m trong ph§m vi trÎi, trÂngsËlÓnnhßts≥d˜Òcchocácthànhph¶nd∞ctr˜ngdó.Theodó,th¸cnghiªmtheo

σσ

trongd óm ij l à d Î t˜Ïngt ¸t˜Ïng˘ ngt h e o b Îd∞ct r ˜ngt ij v à σ ijk l à d Î lªchchu©ncı

achuÈitheothànhph ¶nt ijk trongsËcác£nhliênquan.

MÎt sËnghiên c˘u trong nh˙ng năm g¶ndây [12], [41], [115], [124]s˚dˆnghiªuchønhtrÂngsËtheoti∏pc™nhÂctr˜Óctàd˙liªud∞ctr˜ng.ZhouvàcÎngs¸[124]d∑xußthªthËnggÁmhaipha.Trongphaoff-

linexâyd¸ngmÎtt™pmôhìnhd ∫ ánhx §tßtc £các£ nht r o n g c Ïs d˙liªusangkhônggiand∞ctr˜ngliên

6σ

h ˜trongI s o l a ti o n F o r e s t [60].M Èi£ nhI t r o n g c Ïs d˙liªud ˜ Ò c

˜Ócl˜Ònggiátr‡liênquanli (I)theod∞ctr˜ngitrênmÈicâyT i (i2{1, ,t})

vàánh x §Is a n g k hông gi an d ∞ ctr ˜ngli ê n qu an nh ˜:

k∑.D˙liªud∞ctr˜ngcıatßtc£các£nhd˜Òctríchrútvàs˚dˆngnh˜to§dÎcıacácdi∫mtrongdÁth‡.Ti∏ptheo,l¸achÂnbi∫udiπnchocácdi∫mnh˜cácanchorvàxâyd¸ngmatr™ntrÂngsËZb¨ngkernelregressionvÓimÎtlânc™nnh‰s.Cácanchord˜Òcl¸a chÂn off-line và

không£nh h˜ng trong quá trình x˚l˛on-line Khi mÎttruyvßnd˜Òcd˜avào,saukhitríchrútd∞ctr˜ngm˘cthßp,saudóc™pnh™ttrÂngsËchomat

r™nZ,tínhtoándi∫mx∏ph§ng,chiti∏tv∑tínhtoánnàycótrong[115]