Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

Tôi xin ˜Òc c£m Ïn các nhà khoa hÂc, tác gi£ cıa các công trình công bË ã ˜Òctrích d®n trong lu™n án, ây là nh˙ng t˜ liªu qu˛, ki∏n th˘c liên quan quan trÂnggiúp Nghiên c˘u sinh hoàn thà

VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

-

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG

TRA CỨU ẢNH DỰA VÀO NỘI DUNG

LUẬN ÁN TIẾN SỸ TOÁN HỌC

HÀ NỘI – 2017

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC

VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

Người hướng dẫn khoa học:

1 PGS TS Ngô Quốc Tạo

2 PGS.TS Nguyễn Hữu Quỳnh

Hà Nội – 2017

Tôi xin cam oan lu™n án “Nghiên c˘u mÎt sË kˇ thu™t phân h§ng trongtra c˘u £nh d¸a vào nÎi dung” là công trình nghiên c˘u cıa riêng tôi Các sËliªu, k∏t qu£ ˜Òc trình bày trong lu™n án là hoàn toàn trung th¸c và ch˜a t¯ng

˜Òc công bË trong bßt k˝ mÎt công trình nào khác

quan  trong n˜Óc và quËc t∏ Ngo§i tr¯ các tài liªu tham kh£o này, lu™n

án hoàn toàn là công viªc cıa riêng tôi

rõ ràng và chính xác óng góp cıa các Áng tác gi£ và nh˙ng gì do tôi ãóng góp

Nh™n d§ng và Công nghª tri th˘c, Viªn Công nghª thông tin, Viªn Hànlâm Khoa hÂc và Công nghª Viªt Nam

Tác gi£ :

Hà NÎi :

i

Lu™n án ˜Òc th¸c hiªn d˜Ói s¸ h˜Óng d®n khoa hÂc cıa PGS.TS Ngô QuËc T§o

và PGS.TS Nguyπn H˙u Qu˝nh Nghiên c˘u sinh xin bày t‰ lòng bi∏t Ïn sâu s≠c

∏n hai Th¶y v∑ ‡nh h˜Óng khoa hÂc, nh˙ng bài hÂc, nh˙ng góp ˛ qu˛ báu trongnghiên c˘u Các Th¶y ã t§o i∑u kiªn vô cùng thu™n lÒi trong suËt quá trìnhnghiên c˘u cıa Nghiên c˘u sinh

Tôi xin ˜Òc c£m Ïn các nhà khoa hÂc, tác gi£ cıa các công trình công bË ã ˜Òctrích d®n trong lu™n án, ây là nh˙ng t˜ liªu qu˛, ki∏n th˘c liên quan quan trÂnggiúp Nghiên c˘u sinh hoàn thành lu™n án Xin c£m Ïn ∏n các nhà khoa hÂc ãph£n biªn các công trình nghiên c˘u cıa Nghiên c˘u sinh

Tôi trân trÂng c£m Ïn Phòng Nh™n d§ng và Công nghª tri th˘c, Phòng qu£n l˛

ào t§o, Viªn Công nghª thông tin, HÂc viªn Khoa hÂc và Công nghª, Viªn Hànlâm Khoa hÂc và Công nghª Viªt Nam ã t§o i∑u kiªn thu™n lÒi cho tôi trongsuËt quá trình nghiên c˘u th¸c hiªn lu™n án Tôi cÙng xin c£m Ïn sâu s≠c ∏n HÎiÁng Khoa hÂc Viªn Công nghª thông tin, các Th¶y trong HÎi Áng b£o vª cßp

cÏ s ã góp ˛ giúp Nghiên c˘u sinh hoàn thiªn công trình lu™n án này

tài chính cho tôi th¸c hiªn lu™n án này

MÎt ph¶n cıa nghiên c˘u này ˜Òc th¸c hiªn trong khuôn khÍ ∑ tài nghiên c˘u

mã sË CS’15.03 cıa Viªn Công nghª Thông tin, Viªn Hàn lâm Khoa hÂc và Côngnghª Viªt Nam và ∑ tài nghiên mã sË VAST01.07/15-16 cıa Viªn Hàn lâm KhoahÂc và Công nghª Viªt Nam Xin c£m Ïn các trao Íi và trÒ giúp cıa các thànhviên ∑ tài

CuËi cùng, tôi xin bày t‰ lòng bi∏t Ïn vô h§n Ëi vÓi cha mµ, vÒ con và toàn th∫anh em trong gia ình ã luôn ıng hÎ, giúp Ô tôi

ii

LÌi cam oan i

1.1 MÎt sË ∞c tr˜ng £nh th˜Ìng s˚ dˆng trong tra c˘u £nh d¸a vào

nÎi dung 9

1.1.1 Miêu t£ toàn cˆc 9

1.1.2 Miêu t£ cˆc bÎ 12

1.2 TÍ hÒp ∞c tr˜ng trong tra c˘u £nh d¸a vào nÎi dung 13

1.3 Chu©n hoá trong CBIR 14

1.3.1 Mˆc ích cıa chu©n hoá 14

1.3.2 Chu©n hóa min-max 16

1.3.3 Chu©n hóa Gauss 16

1.4 Kho£ng trËng ng˙ nghæa 19

1.5 Ph£n hÁi liên quan trong CBIR 21

1.6 Hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn trong CBIR s˚ dˆng ph£n hÁi liên quan 23

1.7 Tra c˘u £nh d¸a vào nÎi dung s˚ dˆng kˇ thu™t máy hÂc 27

1.7.1 Hußn luyªn và ki∫m tra 27

1.7.2 Nhãn d˙ liªu 28

1.7.3 Xây d¸ng mô hình hÂc 29

1.8 MÎt sË ti∏p c™n d¸a theo ph˜Ïng pháp tËi ˜u Pareto 33

iii

2 ∑ xußt chu©n hoá ∞c tr˜ng và hiªu chønh trÂng sË trong tÍ hÒp

2.1 Chu©n hoá ∞c tr˜ng d¸a vào phân cˆm mÌ FCM 39

2.2 Chu©n hoá kho£ng cách d¸a vào phân cˆm FCM 45

2.3 Hiªu chønh trÂng sË, d‡ch chuy∫n truy vßn 46

2.3.1 Hiªu chønh trÂng sË 51

2.3.2 D‡ch chuy∫n truy vßn 52

2.4 Th˚ nghiªm và ánh giá các k∏t qu£ 54

2.4.1 CÏ s d˙ liªu £nh 54

2.4.2 Trích rút bÎ ∞c tr˜ng k∏t hÒp 55

2.4.3 Các k∏t qu£ th¸c nghiªm và lu™n gi£i 55

2.5 K∏t lu™n Ch˜Ïng 2 68

3 ∑ xußt kˇ thu™t Pareto front a m˘c sâu nâng cao hiªu qu£ phân lÓp £nh 69 3.1 MÎt sË tính chßt hình th˘c d¸a trên kˇ thu™t Pareto front a m˘c sâu trong không gian tÍ hÒp ∞c tr˜ng 73

3.2 Nâng cao hiªu qu£ phân lÓp £nh 81

3.3 Th˚ nghiªm và ánh giá các k∏t qu£ 86

3.3.1 CÏ s d˙ liªu £nh 86

3.3.2 Các ph˜Ïng pháp cÏ s 88

3.3.3 Ph˜Ïng pháp ánh giá 88

3.3.4 Các k∏t qu£ th¸c nghiªm 89

3.4 K∏t lu™n Ch˜Ïng 3 96

K∏t lu™n và h˜Óng phát tri∫n 97 Danh mˆc công trình ã công bË 99 A MÎt sË cÏ s d˙ liªu £nh s˚ dˆng 111 A.1 Corel 111

A.2 Wang 112

A.3 Caltech 101 113

A.4 Oxford Building 114

iv

D§ng vi∏t t≠t D§ng ¶y ı Diπn gi£i

retrie-val

Tra c˘u £nh d¸a vào nÎi dung

Transform

v

M Î dài cıa mÎt vector ∞c tr˜ng

NB T™p £nh có Î t˜Ïng t¸ cao nhßt theo ∞c tr˜ng toàn cˆc trong mÎt trac˘u

c˘u

vi

Vt,c(D) Tâm cˆm c t™p giá tr‡ kho£ng cách bÎ ∞c tr˜ng t theo FCM

Vt,c,j Tâm cˆm c cıa thành ph¶n ∞c tr˜ng j  bÎ ∞c tr˜ng t theo phân cˆm

mÌ FCM

⌘t,c,ip Giá tr‡ Î thuÎc cıa ph¶n t˚ th˘ i  bÎ ∞c tr˜ng t so vÓi cˆm c, p là

hª sË FCM

(l),NB +

0.1 Hª thËng tra c˘u £nh d¸a vào nÎi dung 3

0.2 Hª thËng ∑ xußt 6

1.1 Thành ph¶n th˘ nhßt cıa ∞c tr˜ng mô men màu 15

1.2 Phân bË d˙ liªu thành ph¶n 1 cıa ∞c tr˜ng mô men màu (gËc) 18

1.3 (a) Phân bË d˙ liªu thành ph¶n 5 l˜Òc Á ∞c tr˜ng l˜Òc Á HSV(gËc) (b) L˜Òc Á ∞c tr˜ng l˜Òc Á HSV chu©n hoá theo lu™t 3

thành ph¶n th˘ 5, 97.4555% d˙ liªu “rÏi vào” [-1,1] 18

1.4 Énh truy vßn “mandolin image 0001.jpg” 19

1.5 Hª thËng tra c˘u vÓi £nh truy vßn “mandolin image 0001.jpg” 19

1.6 K∏t qu£ top 20 các £nh t˜Ïng t¸ nhßt vÓi £nh truy vßn  l¶n trac˘u khi t§o 20

1.7 Hai £nh có ng˙ nghæa t˜Ïng Áng 20

1.8 L˜Òc Á màu cıa £nh truy vßn và hai £nh trong k∏t qu£ top 20 21

1.9 Minh ho§ siêu phØng 32

2.1 Mô hình hª thËng ∑ xußt 38

2.2 Minh ho§ chu©n hóa 3 FCM 42

2.3 Minh ho§ tính chßt b£o toàn th˘ t¸ cıa chu©n hoá 3 FCM 43

2.4 Phân bË d˙ liªu gËc  thành ph¶n th˘ n´m cıa các ∞c tr˜ng (a)L˜Òc Á màu HSV, (b) l˜Òc Á t¸ t˜Ïng quan màu, (c) mô menmàu, (d) k∏t cßu Gabor, (e) mô men Wavelet, (f) GIST 56

2.5 (a) Phân bË d˙ liªu ∞c tr˜ng l˜Òc Á HSV (chu©n hoá 3 ) thànhph¶n 5 gÁm 97.45% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞c tr˜ng l˜Òc

Á HSV (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm 99.81% thuÎc[-1,1] 57

2.6 (a) Phân bË d˙ liªu ∞c tr˜ng autoCorrelogram (chu©n hoá 3 )thành ph¶n 5 gÁm 98.02% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞ctr˜ng autoCorrelogram (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm99.9955% thuÎc [-1,1] 57

2.7 (a) Phân bË d˙ liªu ∞c tr˜ng mô men màu (chu©n hoá 3 ) thànhph¶n 5 gÁm 99.68% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞c tr˜ng mômen màu (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm 100% thuÎc[-1,1] 58

viii

cßu Gabor (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm 99.95% thuÎc[-1,1] 58

2.9 (a) Phân bË d˙ liªu ∞c tr˜ng bßt bi∏n Wavelet(chu©n hoá 3 )thành ph¶n 5 gÁm 99.5% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞ctr˜ng bßt bi∏n Wavelet (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm100% thuÎc [-1,1] 59

2.10 (a) Phân bË d˙ liªu ∞c tr˜ng hình d§ng GIST (chu©n hoá 3 )thành ph¶n 5 gÁm 98.8% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞ctr˜ng hình d§ng GIST (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm99.9985% thuÎc [-1,1] 59

2.11 So sánh chßt l˜Òng truy vßn (a) Hiªu n´ng Precision/Recall (b)Hiªu n´ng Î chính xác 60

2.12 Trung bình Î chính xác cıa kˇ thu™t ∑ xußt trên top k k∏t qu£theo n´m vòng cıa ph£n hÁi liên quan 63

2.13 So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTooltrên các top k k∏t qu£ 64

2.14 So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTooltrên top 20 k∏t qu£ theo m˜Ìi vòng cıa ph£n hÁi liên quan 66

2.15 Bi∫u Á Precision và Recall cıa kˇ thu™t ∑ xußt và PowerTool 67

3.1 Hª thËng ∑ xußt 72

3.2 Minh ho§ không gian tìm ki∏m EQ 74

3.3 MÎt miêu t£ Pareto front 76

3.4 Minh ho§ hai m˘c Î sâu là PF1 và PF2 cıa không gianEQ 78

3.5 Trung bình Î chính xác (Precision) trên k∏t qu£ top k cıa ∑xußt Pareto-AdaBoost trên ba t™p d˙ liªu theo n´m vòng ph£n hÁiliên quan (a) Db1 (b) Db2 (c) Db3 91

3.6 Trung bình Î chính xác (Precision) trên k∏t qu£ top k cıa ∑xußt Pareto-SVM trên ba t™p d˙ liªu theo n´m vòng ph£n hÁi liênquan (a) Db1 (b) Db2 (c) Db3 92

3.7 So sánh Î chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xußtPareto-AdaBoost vÓi các kˇ thu™t cÏ s trên ba t™p d˙ liªu (a) T™pd˙ liªu Db1 (b) T™p d˙ liªu Db2 (c) T™p d˙ liªu Db3 94

3.8 So sánh Î chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xußtPareto-SVM vÓi các kˇ thu™t cÏ s trên ba t™p d˙ liªu (a) T™p d˙liªu Db1 (b) T™p d˙ liªu Db2 (c) T™p d˙ liªu Db3 94

3.9 Á th‡ Î chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïngpháp Pareto-AdaBoost, SVM, AdaBoost và MARS trên t™p d˙ liªu.(a) T™p d˙ liªu Db1 (b) T™p d˙ liªu Db2 (c) T™p d˙ liªu Db3 95

3.10 Á th‡ Î chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïngpháp Pareto-SVM, SVM, AdaBoost và MARS trên t™p d˙ liªu Db1,Db2 và Db3 95

A.1 Các £nh ví dˆ t¯ cÏ s d˙ liªu Corel 112

ix

£nh Caltech 101 117

A.4 Các m®u cıa cÏ s d˙ liªu Wang, các chı ∑ ng˙ nghæa : bi∫n, Châu Phi, hoa hÁng, khıng long, ng¸a, núi, th˘c ´n, di tích, voi, xe bu˛t MÈi dòng mÎt chı ∑, ví dˆ mÈi chı ∑ 5 £nh t˜Ïng ˘ng t¯ trên xuËng d˜Ói 118

A.5 Toàn bÎ 55 £nh truy vßn ˜Òc s˚ dˆng trong ánh giá ground truth MÈi dòng cho bi∏t các truy vßn khác nhau cho cùng c£nh ‡a danh L˜u ˛ s¸ thay Íi lÓn v∑ ph§m vi cıa các vùng truy vßn và thay Íi v‡ trí, ánh sáng, v.v cıa chính các £nh 119

B.1 ˜a mÎt £nh vào hª thËng tra c˘u ∑ xußt 120

B.2 K∏t qu£ tra c˘u khi t§o cıa top 20 121

B.3 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ nhßt 121

B.4 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ hai 122

B.5 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba 122

B.6 ˜a vào hª thËng mÎt truy vßn 123

B.7 K∏t qu£ tra c˘u khi t§o top 20 123

B.8 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ nhßt 124

B.9 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ hai 124

B.10 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba 124

B.11 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ t˜ 125

x

2.1 B£ng mÎt sË £nh theo nh™n ‡nh chı quan cıa ng˜Ìi dùng so sánh v∑ t˜Ïng t¸ ng˙ nghæa vÓi truy vßn Q = 710.jpg Các £nh n¨m trong

t™p Wang 48

2.2 Î o kho£ng cách cıa £nh truy vßn 710.jpg Ëi vÓi các £nh t™p NB+, NB và NB⇠ K˛ hiªu các cÎt (d1), (d2), (d3), (d4), (d5), (d6) là kho£ng cách t˜Ïng ˘ng cıa các bÎ ∞c tr˜ng l˜Òc Á màu HSV, t¸ t˜Ïng quan màu, mô men màu, k∏t cßu Gabor, mô men Wavelet và GIST theo các hàm kho£ng cách ; D là kho£ng cách toàn bÎ 49

2.3 Î o kho£ng cách L2 cıa £nh truy vßn 710.jpg Ëi vÓi các £nh trong t™p NB+, NB và NB⇠ 50

2.4 Các miêu t£ £nh và hàm kho£ng cách s˚ dˆng trong th¸c nghiªm 50

2.5 Tham sË phân cˆm FCM 55

2.6 Các Ëi t˜Òng cıa t™p AGRt trên sáu l¶n l∞p ph£n hÁi Ëi vÓi £nh truy vßn Q = 710.jpg 60

2.7 ThËng kê trÂng sË kho£ng cách t¯ng bÎ ∞c tr˜ng wt theo mÈi l¶n l∞p Ëi vÓi mÎt sË £nh truy vßn 61

2.8 Trung bình Î chính xác (Precision) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa kˇ thu™t ∑ xußt 63 2.9 Trung bình Î hÁi t˜ng (Recall) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa kˇ thu™t ∑ xußt 64

2.10 Trung bình Î chính xác (Precision) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa PowerTool (MARS) 65 2.11 Trung bình Î hÁi t˜ng (Recall) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa PowerTool (MARS) 65

3.1 Kho£ng cách gi˙a Q và o1, o2, o3 trong các ∞c tr˜ng màu s≠c và k∏t cßu 70

3.2 Các miêu t£ £nh và hàm kho£ng cách s˚ dˆng trong th¸c nghiªm 87

3.3 Các tham sË s˚ dˆng trong th¸c nghiªm 89

3.4 SË ˘ng viên Pareto theo top k Ëi vÓi Db1 90

3.5 SË ˘ng viên Pareto theo top k Ëi vÓi Db2 90

3.6 SË ˘ng viên Pareto theo top k Ëi vÓi Db3 91

3.7 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-AdaBoost trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db1 91

xi

Db2 92

3.9 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-AdaBoost trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db3 92

3.10 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db1 93

3.11 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db2 93

3.12 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db3 93

A.1 Danh sách 10 chı ∑ cıa cÏ s d˙ liªu Wang 114

A.2 Danh sách 101 chı ∑ cıa cÏ s d˙ liªu Caltech 101 115

A.3 Danh sách 17 chı ∑ cıa cÏ s d˙ liªu Oxford Buildings 116

xii

Tính cßp thi∏t cıa ∑ tài

S¸ phát tri∫n m§nh m≥ cıa Internet cho phép dπ dàng xây d¸ng, l˜u tr˙ các

toàn bÎ m§ng Internet Yêu c¶u khai thác mÎt cách hiªu qu£ d˙ liªu a ph˜Ïng

tri∫n m§nh m≥ trong nh˙ng n´m g¶n ây nh˜ng v®n ch˜a áp ˘ng ˜Òc nhu c¶ung˜Ìi dùng S¸ phát tri∫n m§nh m≥ cıa d˙ liªu a ph˜Ïng tiªn ngày càng trthành mÎt thách th˘c lÓn Khi kích th˜Óc cıa kho £nh rßt lÓn cách ti∏p c™n trac˘u b¨ng t¯ khóa tr nên không kh£ thi d®n tÓi các nghiên c˘u khai thác tra c˘ud¸a trên nÎi dung d˙ liªu £nh

Tra c˘u £nh d¸a vào nÎi dung (Content-based image retrieval) hay gÂi t≠t làCBIR ˜Òc giÓi thiªu bi các nghiên c˘u t¯ nh˙ng n´m 1980 CBIR ã ˜Òc ã

˜Òc nghiên c˘u rÎng rãi, nhi∑u ph˜Ïng pháp và hª thËng ã ˜Òc phát tri∫n ∫trích rút nÎi dung cıa £nh b¨ng cách s˚ dˆng các ∞c tr˜ng m˘c thßp D˙ liªutrong CBIR ˜Òc lßy trên cÏ s các nÎi dung mà nó trích rút b¨ng cách s˚ dˆng

các kˇ thu™t trích rút ∞c tr˜ng m˘c thßp bên trong cıa mÈi £nh (màu s≠c, hìnhd§ng, k∏t cßu, vv).

Tuy CBIR có nhi∑u ti∏n bÎ song ng˜Ìi dùng v®n g∞p khó kh´n trong viªctìm ki∏m thông tin liên quan t¯ t™p d˙ liªu £nh lÓn không Áng nhßt v∑ m∞t nÎi

muËn Thông tin mà máy tính hi∫u nÎi dung £nh th˜Ìng là các giá tr‡ i∫m £nh,vector ∞c tr˜ng ˜Òc trích rút theo các thı tˆc, còn con ng˜Ìi hi∫u v∑ nÎi dungcıa £nh th˜Ìng là các khái niªm ng˙ nghæa Do không có s¸ t˜Ïng quan mÎt cáchchính xác gi˙a nÎi dung mà máy tính có ˜Òc thông qua ∞c tr˜ng tr¸c quan m˘cthßp vÓi nÎi dung mà con ng˜Ìi hi∫u thông qua các khái niªm ng˙ nghæa m˘ccao d®n ∏n kho£ng trËng ng˙ nghæa Kho£ng trËng ng˙ nghæa ‡nh nghæa theo

“Kho£ng trËng ng˙ nghæa là s¸ không t˜Ïng Áng gi˙a thông tin £nh, ˜Òctrích rút t¯ d˙ liªu tr¸c quan so vÓi diπn gi£i v∑ d˙ liªu £nh ó bi ng˜Ìi dùngtrong tình huËng cˆ th∫ ”

Kho£ng trËng ng˙ nghæa n¨m gi˙a các ∞c tr˜ng tr¸c quan m˘c thßp cıa các

£nh và các ng˙ nghæa m˘c cao mong muËn d¸ ‡nh suy ra t¯ các ∞c tr˜ng tr¸cquan m˘c thßp Nhi∑u nghiên c˘u trong lænh v¸c CBIR ∏n nay v®n ang cË g≠ngthu hµp kho£ng trËng ng˙ nghæa này Cˆ th∫, hÏn ba th™p kø qua nhi∑u hª thËng

Mˆc tiêu, ph§m vi nghiên c˘u cıa lu™n án

Thông th˜Ìng mÎt hª thËng tra c˘u £nh d¸a vào nÎi dung ˜Òc miêu t£ nh˜

rút và miêu t£ bi các vector ∞c tr˜ng nhi∑u chi∑u Các vector ∞c tr˜ng cıa các

£nh trong cÏ s d˙ liªu t§o nên mÎt cÏ s d˙ liªu ∞c tr˜ng ∫ tra c˘u các £nh,thông tin truy vßn cıa ng˜Ìi dùng ˜a vào hª thËng tra c˘u có th∫ là các £nhm®u ho∞c v≥ phác th£o Hª thËng sau ó s≥ bi∏n Íi nh˙ng m®u này t˜Ïng ˘ngvÓi bi∫u diπn cıa các vector ∞c tr˜ng Các Î t˜Ïng t¸ ho∞c các kho£ng cách gi˙acác vector ∞c tr˜ng cıa £nh truy vßn vÓi các £nh trong cÏ s d˙ liªu ˜Òc tính

và tra c˘u ˜Òc th¸c hiªn d¸a trên mÎt l˜Òc Á chø sË L˜Òc Á chø sË ˜a ra mÎtcách hiªu qu£ ∫ tìm ki∏m các £nh trong cÏ s d˙ liªu Qua kh£o sát nhi∑u nhiên

Hình 0.1 Hª thËng tra c˘u £nh d¸a vào nÎi dung

c˘u CBIR, s¸ k∏t hÒp a ∞c tr˜ng ch˜a ˜Òc xem xét mÎt cách ¶y ı d®n ∏nviªc so sánh Î t˜Ïng t¸ §t hiªu qu£ ch˜a cao Trong hª thËng này ánh chø sË

và tra c˘u s˚ dˆng k∏t hÒp a ∞c tr˜ng cÙng c¶n ˜Òc nghiên c˘u ∫ nâng cao

các mˆc tiêu và giÓi h§n ph§m vi nghiên c˘u nh˜ sau

Mˆc tiêu cıa lu™n án

So sánh Î t˜Ïng t¸ : Nghiên c˘u và ∑ xußt chu©n hoá ∞c tr˜ng, chu©n hoákho£ng cách ∫ nâng cao hiªu qu£ so sánh Î t˜Ïng t¸

Ph£n hÁi liên quan : Nghiên c˘u và ∑ xußt kˇ thu™t hiªu chønh trÂng sË vàd‡ch chuy∫n truy vßn

ánh chø sË và tra c˘u : Tßt c£ các £nh trong cÏ s d˙ liªu vector ∞c tr˜ng

˜Òc tính toán tr˜Óc và l˜u tr˙ trong hª qu£n tr‡ cÏ s d˙ liªu Rút gÂn khônggian tìm ki∏m s˚ dˆng ti∏p c™n tËi ˜u Pareto ∫ l¸a chÂn t™p ˘ng viên tËt nhßtt¯ cÏ s d˙ liªu Tra c˘u ˜a ra “top” k∏t qu£ các £nh có kho£ng cách cıa vector

∞c tr˜ng nh‰ nhßt ho∞c ˜Òc d¸ báo x∏p h§ng cao nhßt vÓi £nh truy vßn

Ph§m vi nghiên c˘u cıa lu™n án

S˚ dˆng mÎt sË t™p £nh chu©n ˜Òc s˚ dˆng nhi∑u trong các nghiên c˘u v∑CBIR Xây d¸ng cÏ s d˙ liªu ∞c tr˜ng d¸a trên mÎt sË ph˜Ïng pháp trích rút

∞c tr˜ng tËt ã có Cài ∞t th¸c nghiªm cho các ∑ xußt So sánh và ánh giáhiªu n´ng v∑ m∞t Î chính xác thông qua t™p k∏t qu£ tra c˘u

Ph˜Ïng pháp và nÎi dung nghiên c˘u

Ph˜Ïng pháp nghiên c˘u là k∏t hÒp gi˙a nghiên c˘u l˛ thuy∏t và th¸c nghiªm

CÏ s d˙ liªu và thông tin khoa hÂc ˜Òc thu th™p, tÍng hÒp t¯ các t§p chí khoahÂc chuyên ngành trong và ngoài n˜Óc, qua Xêmina ho∞c tham gia báo cáo t§i cáchÎi th£o khoa hÂc, qua trao Íi vÓi th¶y h˜Óng d®n và các Áng nghiªp cùng lænhv¸c nghiên c˘u,

Lu™n án tÍng hÒp các thông tin liên quan trong lænh v¸c CBIR, l¸a chÂn cáccách ti∏p c™n ã ˜Òc áp dˆng thành công, ti∏n hành th˚ nghiªm vÓi các t™p d˙liªu £nh chu©n trong các bài báo khoa hÂc và ánh giá k∏t qu£

NÎi dung nghiên c˘u trong lu™n án gÁm :

(1) Nghiên c˘u tÍng quan v∑ tra c˘u £nh d¸a vào nÎi dung

(2) Nghiên c˘u cách k∏t hÒp nhi∑u ∞c tr˜ng trong hª thËng CBIR t¯ ó pháthiªn các quy lu™t, ràng buÎc cÏ b£n cıa k∏t hÒp nhi∑u ∞c tr˜ng

(3) Nghiên c˘u mÎt sË kˇ thu™t gi£m kho£ng trËng ng˙ nghæa trong CBIR.

K∏t qu£ §t ˜Òc cıa lu™n án

Lu™n án ã có nh˙ng óng góp chính nh˜ sau :

∑ xußt chu©n hoá c£i ti∏n phù hÒp vÓi d˙ liªu th¸c t∏ trong tra c˘u £nh d¸avào nÎi dung, cho phép nâng cao hiªu qu£ Ëi sánh Î t˜Ïng t¸ d¸a vào ∞c tr˜ngm˘c thßp cıa các £nh trong hª thËng tra c˘u trong công trình [CT6]

∑ xußt kˇ thu™t hiªu chønh trÂng sË Î t˜Ïng t¸ và d‡ch chuy∫n truy vßnd¸a vào thông tin ph£n hÁi cıa ng˜Ìi dùng trong công trình [CT6]

∑ xußt s˚ dˆng tËi ˜u Pareto xây d¸ng t™p ˘ng viên ∫ nâng cao Î chínhxác cıa hª thËng CBIR trên không gian k∏t hÒp a ∞c tr˜ng trong công trình[CT7]

nh˜ sau :

liªu ˜Òc chu©n hoá theo ∑ xußt chu©n hoá ∞c tr˜ng

toán d¸a vào các vector ∞c tr˜ng ã ˜Òc chu©n hoá Các £nh ˜Òc x∏p h§ng

chønh trÂng sË và d‡ch chuy∫n truy vßn, k∏t qu£ ¶u ra là t™p các trÂng sË chomÈi bÎ ∞c tr˜ng

d¸a vào hàm kho£ng cách k∏t hÒp bÎ trÂng sË v¯a thu ˜Òc

Hình 0.2 Hª thËng ∑ xußt(4) Xây d¸ng t™p ˘ng viên Pareto ∫ gi£m không gian tìm ki∏m.

ki∫m tra là t™p ˘ng viên Pareto

(6) Tìm hàm phân lÓp d¸a vào thông tin ¶u vào là t™p hußn luyªn và t™pki∫m tra b¨ng mÎt máy phân lÓp

(7) S≠p x∏p các £nh trong t™p ki∫m tra theo giá tr‡ d¸ báo phân lÓp T™p k∏t

(8) Ph£n hÁi liên quan : S˚ dˆng thông tin ánh giá cıa ng˜Ìi dùng liên quan

hª thËng hiªu chønh trÂng sË, d‡ch chuy∫n truy vßn và Î t˜Ïng t¸ s≥ ˜Òc c™pnh™t l§i Quá trình ˜Òc l∞p l§i t¯ b˜Óc tìm t™p ˘ng viên Pareto.

Các nghiên c˘u cıa lu™n án ã ˜Òc công bË trong các công trình ˜a ra cuËi cıa lu™n án, óng góp cho các ∑ tài cßp cÏ s Viªn CNTT, mã sË CS’16.03,CS’14.03 và ∑ tài cßp Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam, mã sËVAST01.07/15-16

Cßu trúc cıa lu™n án

tr˜ng và s¸ k∏t hÒp a ∞c tr˜ng th˜Ìng ˜Òc s˚ dˆng trong mÎt sË nghiên c˘utiêu bi∫u v∑ CBIR GiÓi thiªu và phân tích mÎt sË kˇ thu™t chu©n hoá ∞c tr˜ng,chu©n hoá kho£ng cách GiÓi thiªu và phân tích mÎt sË kˇ thu™t gi£i quy∏t bàitoán kho£ng trËng ng˙ nghæa nh˜ kˇ thu™t hiªu chønh trÂng sË, d‡ch chuy∫n truyvßn s˚ dˆng thông tin ph£n hÁi liên quan, mÎt sË kˇ thu™t máy hÂc

∑ xußt kˇ thu™t hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn d¸a vào thông tinph£n hÁi cıa ng˜Ìi dùng

vào ti∏p c™n tËi ˜u Pareto vÓi các tiêu chí l¸a chÂn là không gian a ∞c tr˜ng.T™p các £nh liên quan theo ph£n hÁi cıa ng˜Ìi dùng ˜Òc s˚ dˆng ∫ hiªu chønhl§i t™p Pareto ∫ phù hÒp vÓi nhu c¶u tìm ki∏m cıa chính ng˜Ìi dùng, cho phépnâng cao Î chính xác phân lÓp trong CBIR

CuËi cùng là ph¶n K∏t lu™n và h˜Óng phát tri∫n, tÍng hÒp các k∏t qu£ chínhcıa lu™n án và mÎt sË khuy∏n ngh‡ nghiên c˘u t˜Ïng lai

TÍng quan v∑ Tra c˘u £nh d¸a

vào nÎi dung

VÓi s¸ gia t´ng nhanh chóng sË l˜Òng d˙ liªu £nh sË, CBIR tr thành lænh v¸cnghiên c˘u dành ˜Òc nhi∑u s¸ quan tâm trong nhi∑u n´m qua, gÁm rßt nhi∑u các

th˜Ìng trích rút các bi∫u diπn tr¸c quan cıa £nh và ‡nh nghæa các hàm tìm ki∏m,

n´ng tra c˘u, các kˇ thu™t hÂc máy hiªu qu£ ã ˜Òc s˚ dˆng trong phân lÓp

ph¶n cÏ b£n nh˜ trích rút ∞c tr˜ng, chu©n hoá, ph£n hÁi liên quan Bên c§nh óch˜Ïng s≥ phân tích mÎt sË nghiên c˘u liên quan, nh˙ng y∏u tË £nh h˜ng ∏nhiªu qu£ hª thËng CBIR

pháp chu©n hoá th˜Ìng ˜Òc s˚ dˆng trong CBIR cho ∞c tr˜ng và giá tr‡ kho£ng

8

gi£m kho£ng trËng ng˙ nghæa ˜Òc trình bày trong các Mˆc 1.5, 1.6, 1.7 và 1.8.

tra c˘u £nh d¸a vào nÎi dung

Trong CBIR, trích rút ∞c tr˜ng nh¨m chuy∫n Íi mÈi £nh ¶u vào thànhmÎt t™p các ∞c tr˜ng (thông th˜Ìng d˜Ói hình th˘c vector ∞c tr˜ng) Các ∞ctr˜ng m˘c thßp ˜Òc trích rút mÎt cách t¸ Îng d¸a trên các thuÎc tính khácnhau (màu s≠c, k∏t cßu, hình d§ng, v.v.) cıa chính £nh ó Tr˜Óc khi trích rút

∞c tr˜ng, các £nh ˜Òc ti∑n x˚ l˛ (chuy∫n Íi không gian màu, gi£m nhiπu, l˜Òngt˚ hoá, v.v.) Các ∞c tr˜ng s≥ mang ¶y ı thông tin v∑ £nh, viªc tìm các ∞ctr˜ng liên quan bi∫u diπn nÎi dung tr¸c quan cıa các £nh trong mÎt cÏ s d˙ liªulÓn v®n ang là mÎt nhiªm vˆ thách th˘c L¸a chÂn ∞c tr˜ng tu˝ thuÎc vào cÏs d˙ liªu £nh, tu˝ thuÎc ˘ng dˆng và cÙng nh˜ tu˝ thuÎc vào mong muËn cıang˜Ìi dùng Các ∞c tr˜ng có th∫ bi∫u diπn toàn cˆc (cho toàn bÎ £nh), cˆc bÎ(cho mÎt vùng ∞c biªt cıa £nh) ho∞c các ti∏p c™n không gian

1.1.1 Miêu t£ toàn cˆc

L˜Òc Á màu

màu j trong £nh và n là sË các giá tr‡ màu Nh˜ v™y, l˜Òc Á màu bi∫u diπn phân

bË cıa các màu trong £nh

Các mô men màu

Gi£ ‡nh màu trong mÎt £nh có th∫ theo mÎt phân phËi xác sußt nhßt ‡nh.Khi ó, các mô men phân phËi màu s≥ ˜Òc s˚ dˆng nh˜ các ∞c tr˜ng màu cıa

màu trong £nh

T˜Ïng quan màu

T˜Ïng quan màu nói ∏n t˜Ïng quan không gian cıa các c∞p màu trong £nh

T˜Ïng t¸ l˜Òc Á màu và các mô men màu, t˜Ïng quan màu có th∫ s˚ dˆng chocác lo§i không gian màu khác nhau

∞c tr˜ng k∏t cßu

∞c tr˜ng k∏t cßu ˜Òc s˚ dˆng rÎng rãi trong CBIR, ph£n ánh cßu trúckhông gian, b∑ m∞t, Có th∫ ‡nh nghæa mÎt vùng k∏t cßu nh˜ mÎt vùng cóc˜Ìng Î không Áng nhßt Các ∞c tr˜ng k∏t cßu cÙng là các ∞c tr˜ng tr¸c quanquan trÂng cıa £nh ChØng h§n, con hÍ và con báo không th∫ phân biªt n∏u chøs˚ dˆng màu s≠c và hình d§ng Các ∞c tr˜ng k∏t cßu là c¶n thi∏t trong tr˜ÌnghÒp này

Có th∫ chia bi∫u diπn k∏t cßu thành ph˜Ïng pháp cßu trúc và ph˜Ïng phápthËng kê Các ph˜Ïng pháp cßu trúc miêu t£ k∏t cßu b¨ng cách xác ‡nh tính b£nchßt ho∞c các m®u cÏ b£n (nh˜ là các ˜Ìng tròn, hình lˆc giác, hình ch˙ nh™t, )

và quy t≠c ∫ t§o nên k∏t cßu Các ph˜Ïng pháp này có hiªu qu£ khi miêu t£ các

thËng kê miêu t£ k∏t cßu thông qua t™p thËng kê các vector ∞c tr˜ng, d¸a trên

Trong [34], [56] d¸a vào nguyên l˛ k∏t cßu là s¸ l∞p i l∞p l§i cıa các chßtliªu vÓi mÎt t¶n sußt nhßt ‡nh, ˛ t˜ng cıa ph˜Ïng pháp này là s˚ dˆng mÎt t™pcác bÎ lÂc Gabor ∫ phân tích cßu trúc cıa k∏t cßu a tø lª (t¶n sË) và a h˜Óng.

∞c tr˜ng hình d§ng

Các ∞c tr˜ng hình d§ng ˜Òc s˚ dˆng rÎng rãi trong các hª thËng CBIR

˜Òc trích rút, sau khi phân o§n £nh theo các Ëi t˜Òng và các vùng Các ∞c

(i) Các miêu t£ ˜Ìng Áng m˘c ; (ii) Các miêu t£ vùng Các miêu t£ ˜Ìng Áng

diπn các thuÎc tính cıa toàn bÎ vùng, ˜Òc ˜a ra trong các bài báo v∑ các mô

∞c tr˜ng GIST

phân o§n, quá trình x˚ l˛ các vùng và các Ëi t˜Òng cˆ th∫ b¨ng ∑ xußt t™pchi∑u tr¸c quan (tính t¸ nhiên, tính rõ ràng, tính nhám, giãn n, gÁ gh∑) bi∫u diπncßu trúc không gian cıa mÎt c£nh Mô hình này t§o ra mÎt không gian a chi∑u,trong ó các c£nh liên quan tÓi các chı ∑ ng˙ nghæa (ví dˆ nh˜ ˜Ìng phË, caotËc, bÌ bi∫n) ˜Òc xem nh˜ g¶n nhau Tính hiªu qu£ cıa ∞c tr˜ng GIST ã ˜Òc

Bi∏n Íi Haar Wavelet

Bi∏n Íi Haar Wavelet là bi∏n Íi cÏ b£n t¯ mi∑n không gian sang mi∑n t¶n

trong công trình [CT4]

1.1.2 Miêu t£ cˆc bÎ

Các ∞c tr˜ng cˆc bÎ hiªn nay ˜Òc s˚ dˆng rÎng rãi trong CBIR Thay vìtính toán d˙ liªu ∞c tr˜ng trên toàn bÎ £nh, các ph˜Ïng pháp trích rút ∞c tr˜ngd¸a trên cách ti∏p c™n này chø miêu t£ các thuÎc tính cˆc bÎ cıa các vùng £nhho∞c xác ‡nh các i∫m nÍi b™t MÈi £nh ˜Òc miêu t£ b¨ng mÎt t™p các vector

∞c tr˜ng (mÈi vector cho mÈi i∫m)

Các kˇ thu™t phát hiªn các i∫m nÍi b™t ã ˜Òc ∑ xußt trong mÎt sË nghiên

công trình [CT5] ã ˜a ra mÎt sË ánh giá v∑ hai ∞c tr˜ng SIFT và SURF trong

hª thËng SIMPLE

Bên c§nh s˚ dˆng các i∫m nÍi b™t, trong £nh còn có rßt nhi∑u i∫m £nh n¨mr£i rác không t§o thành vùng Áng nhßt (vùng Áng nhßt gÁm các i∫m £nh cùngmàu và li∑n k∑ nhau) Viªc s˚ dˆng tßt c£ các i∫m £nh trong £nh (c£ các i∫m

£nh n¨m r£i rác) vào quá trình tra c˘u, Î ph˘c t§p tính toán s≥ cao và nhi∑u khichßt l˜Òng tra c˘u không ˜Òc c£i thiªn Trong công trình [CT2] ã s˚ dˆng kˇthu™t trích rút ∞c tr˜ng d¸a trên vùng thu¶n nhßt

1.2 TÍ hÒp ∞c tr˜ng trong tra c˘u £nh d¸a vào

màu, t¸ t˜Ïng quan màu, bßt bi∏n màu, lÂc Gabor và bi∏n Íi wavelet Kˇ thu™t

thu™t toán bi∏n Íi nhi∑u m˘c, ∞c tr˜ng thu ˜Òc t¯ ba kênh màu b¨ng chu©n

hình d§ng

(2) T = {tij} là t™p bi∫u diπn nhi∑u bÎ ∞c tr˜ng tij, trong ó mÈi bÎ ∞c

gÁm nhi∑u thành ph¶n

◊u i∫m viªc s˚ dˆng tÍ hÒp ∞c tr˜ng nh¨m k∏t hÒp th∏ m§nh cıa các bÎ

∞c tr˜ng trong miêu t£ nÎi dung tr¸c quan cıa £nh

1.3.1 Mˆc ích cıa chu©n hoá

i

Xj

Ta bi∏t r¨ng Î o t˜Ïng t¸ ˜Òc s˚ dˆng ∫ xác ‡nh t˜Ïng t¸ ho∞c khôngt˜Ïng t¸ gi˙a hai £nh Các Î o t˜Ïng t¸ khác nhau ˜Òc s˚ dˆng cho các bi∫udiπn ∞c tr˜ng khác nhau Bi mÎt sË hàm t˜Ïng t¸ tr£ l§i mÎt giá tr‡ trong ph§m

các bi∫u diπn l˜Òc Á màu, trong khi các hàm khác thì không nh˜ v™y Th¸c t∏,

MÎt sË Î o phÍ bi∏n khác ã s˚ dˆng kho£ng cách Ã-clit trÂng sË nh˜ trong

tr nên ít ˛ nghæa Bi vì mÎt S (tij) nào ó có th∫ lßn át cái khác do giá tr‡ cıa nó

ho∞c Î t˜Ïng t¸

Hình 1.1 Thành ph¶n th˘ nhßt cıa ∞c tr˜ng mô men màu

mÎt ph§m vi, £m b£o mÈi thành ph¶n ∞c tr˜ng nh™n trÂng sË b¨ng nhau trongviªc xác ‡nh Î t˜Ïng t¸ gi˙a hai vector Trong CBIR th˜Ìng s˚ dˆng hai phépchu©n hoá : chu©n hoá min-max và chu©n hoá Gauss

1.3.2 Chu©n hóa min-max

Chu©n hóa min-max cho phép chuy∫n d˙ liªu v∑ ph§m vi [0, 1] nh˜ sau :

T˜Ïng t¸ giá tr‡ kho£ng cách theo mÈi bÎ ∞c tr˜ng ˜Òc chu©n hoá nh˜ sau :

Cách ti∏p c™n này có th∫ thu hµp các giá tr‡ kho£ng cách theo bÎ ∞c tr˜ng

H§n ch∏ : H¶u h∏t thông thông tin h˙u ích b‡ chuy∫n vào mÎt ph§m vi rßthµp trong [0, 1] n∏u giá tr‡ max lÓn

1.3.3 Chu©n hóa Gauss

Chu©n hóa Gauss hay gÂi là 3 , phép chu©n hóa này khá hiªu qu£ ˜Òc s˚

Chu©n hoá thành ph¶n th˘ k cıa bÎ ∞c tr˜ng tij nh˜ sau :

k∏t cßu, và hình d§ng) và chu©n hóa giá tr‡ kho£ng cách :

kho£ng [ 1, 1] khi K = 1 và 99% khi K = 3

H§n ch∏ : Phép chu©n hoá 3 “r£i ∑u” trong [ 1, 1] nh˜ng yêu c¶u d˙ liªu

là mÎt chuÈi Gauss

Phép chu©n hoá 3 yêu c¶u d˙ liªu ∞c tr˜ng ph£i là mÎt chuÈi Gauss Kh£o

d˙ liªu ∞c tr˜ng sau khi ˜Òc trích rút ã cho thßy gi£ thi∏t yêu c¶u d˙ liªu phân

bË Gauss là quá ch∞t ch≥ vì h¶u h∏t ∑u không tho£ mãn theo gi£ thi∏t này Hình

1.2 là ví dˆ v∑ thành ph¶n ∞c tr˜ng cıa mô men màu “r£i” trên mÎt mi∑n rÎng

và không theo phân bË Gauss

−1000 0 100 200 300 50

100 150 200 250 300 350 400

Value

Thanh phan 1 dac trung Mo men mau (goc)

Hình 1.2 Phân bË d˙ liªu thành ph¶n 1 cıa ∞c tr˜ng mô men màu (gËc)

th˘ 5, 97.4555% d˙ liªu “rÏi vào” [-1,1]

ph£i là mÎt phân bË Gauss, t˘c là gi£ ‡nh phân bË chu©n áp ∞t là không hÒp l˛.Khi chu©n hóa theo 3 , d˙ liªu sau khi chu©n hóa có th∫ nhi∑u thành ph¶n n¨m

∞c tr˜ng là ch˜a §t ˜Òc mˆc tiêu cıa b˜Óc chu©n hoá

£nh k∏t qu£ có th∫ không phù hÒp vÓi mËi quan tâm cıa ng˜Ìi dùng.

Hình 1.4 Énh truy vßn “mandolin image 0001.jpg”

Hình 1.5 Hª thËng tra c˘u vÓi £nh truy vßn “mandolin image 0001.jpg”

Hình 1.6 K∏t qu£ top 20 các £nh t˜Ïng t¸ nhßt vÓi £nh truy vßn  l¶n tra

c˘u khi t§o

thßp

Hình 1.7 Hai £nh có ng˙ nghæa t˜Ïng Áng

tho£ mãn nhu c¶u tìm ki∏m cıa ng˜Ìi dùng Do con ng˜Ìi hi∫u £nh b¨ng các khái

Query image

0 2000 4000 6000

Histogram: Query image

Image 3

0 2000 4000

Histogram: Image 3

Image 12

0 500 1000

Histogram: Image 12

khi ó máy tính (hay hª thËng tính toán) hi∫u các £nh thông qua ∞c tr˜ng m˘c

˜Òc xem là t˜Ïng Áng v∑ l˜Òc Á màu, do ó ˜Òc hª thËng x∏p th˘ h§ng cao

∫ nâng cao Î chính xác k∏t qu£ tra c˘u trong các l¶n l∞p ti∏p sau c¶n thi∏t

(các vector ∞c tr˜ng m˘c thßp) vÓi thông tin ng˙ nghæa hÂc ˜Òc t¯ ph£n hÁi

Kˇ thu™t ph£n hÁi liên quan ˜Òc s˚ dˆng rÎng rãi nh¨m thu hµp “kho£ngtrËng ng˙ nghæa” trong CBIR, c£i thiªn k∏t qu£ tra c˘u thông qua t˜Ïng tác gi˙a

ng˜Ìi dùng và máy MÎt k‡ch b£n thông th˜Ìng cho ph£n hÁi liên quan trongCBIR nh˜ sau :

£nh truy vßn

ki∫u nh˜ “liên quan” ho∞c “không liên quan” vÓi nh™n th˘c cıa chính ng˜Ìidùng ó

B˜Óc 3 : Máy hÂc và th˚ l§i L∞p l§i b˜Óc 2

thu™t ph£n hÁi liên quan nh˜ hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn ; mrÎng truy vßn ; kˇ thu™t hÂc máy MÈi ph˜Ïng pháp có cách hÂc khác nhau trongviªc s˚ dˆng thông tin cıa ng˜Ìi dùng

sË ˜Òc gán mÎt hª sË cho mÈi chi∑u cıa i∫m truy vßn, các trÂng sË cao vÓi

Ã-clit, cho phép x˚ l˛ các m∞t elip vÓi trˆc chính ˜Òc gióng theo các trˆc to§ Î

∫ làm viªc tËt hÏn vÓi các h˜Óng tu˝ ˛ các m∞t elip D‡ch chuy∫n truy vßn nh˜

gian ∞c tr˜ng, di chuy∫n i∫m truy vßn v∑ phía các i∫m k∏t qu£ liên quan và dichuy∫n ra xa các i∫m k∏t qu£ không liên quan fi t˜ng này xußt phát t¯ ph˜Ïng

tËt và mÎt sË b˜Óc hiªu chønh c¶n thi∏t, tr˜Óc khi các trÂng sË hÎi tˆ tÓi các giátr‡ úng MÎt cách tr¸c giác, cách ti∏p c™n này phù hÒp vÓi nh™n th˘c chı quancıa ng˜Ìi dùng S¸ h§n ch∏ cıa nh˙ng ph˜Ïng pháp này là khó hÎi tˆ khi cáci∫m liên quan n¨m r£i rác trong không gian tr¸c quan

B¨ng cách s˚ dˆng nhi∑u i∫m truy vßn ∫ xây d¸ng cˆm cˆc bÎ cho các i∫m

liên quan, sau ó hÒp tßt c£ các k∏t qu£ Theo ti∏p c™n này, các cˆm cˆc bÎ ˜ÒchÒp l§i, cho phép hình thành mÎt ˜Ìng Ïn bao phı tßt c£ các i∫m liên quan.Tuy nhiên, ph˜Ïng pháp này có th∫ b‰ sót các £nh liên quan trong ó tÍng toàn

bÎ kho£ng cách cao cıa toàn bÎ các chi∑u, nh˜ng có th∫ nh˙ng £nh này t˜Ïng t¸ng˙ nghæa vÓi nhu c¶u thông tin cıa ng˜Ìi dùng

Nhiªm vˆ tra c˘u cıa hª thËng CBIR có th∫ ˜Òc xem xét nh˜ mÎt bài toán

các £nh t˜Ïng t¸ vÓi các £nh truy vßn và lÓp không liên quan bi∫u diπn lÓp các

liên quan nhßt, theo phân lÓp ˜Òc tr£ v∑ cho ng˜Ìi dùng Sau ó, ng˜Ìi dùng cóth∫ ánh giá các £nh k∏t qu£ này nh˜ là các £nh liên quan ho∞c không liên quan.Các £nh ˜Òc ánh giá bi ng˜Ìi dùng sau ó có th∫ ˜Òc thêm vào t™p hußnluyªn cho quá trình hÂc cho l¶n l∞p ti∏p theo

Nói chung, các ti∏p c™n trên ch˜a £m b£o tìm ˜Òc £nh liên quan mong muËn

và ôi khi chúng có th∫ t≠c ngh≥n cˆc bÎ ho∞c tìm l§i quanh qu©n khi không tìm

v®n ti∏p nghiên c˘u s¸ k∏t hÒp a ∞c tr˜ng trong hª thËng CBIR s˚ dˆng hiªuchønh trÂng sË, d‡ch chuy∫n truy vßn và d¸a vào ti∏p c™n tËi ˜u Pareto

trong CBIR s˚ dˆng ph£n hÁi liên quan

tin cıa ng˜Ìi dùng b¨ng cách i∑u chønh trÂng sË mÈi ∞c tr˜ng cıa truy vßn vàtrÂng sË cıa mÈi chi∑u trong cùng mÎt ∞c tr˜ng Các trÂng sË này ˜Òc i∑uchønh trong mÈi l¶n l∞p cıa ph£n hÁi liên quan Các trÂng sË lÓn ˜Òc gán chonh˙ng ∞c tr˜ng có s¸ phân biªt tËt gi˙a các £nh liên quan và không liên quan

∫ t´ng c˜Ìng Î chính xác tra c˘u

Das [20] l¸a chÂn trÂng sË d¸a vào tø sË cıa s¸ bi∏n thiên ∞c tr˜ng qua tßt

l∞p th˘ l MÎt l¸a chÂn rßt hi∫n nhiên cıa trÂng sË cho bÎ ∞c tr˜ng t  các l¶nl∞p th˘ (l + 1) là

wj(l+1)=

(l) j (l) rel,j

(1.8)

Khi không có £nh liên quan ˜Òc tra c˘u, m®u sË ˜Òc gán mÎt giá tr‡ d˜Ïngnh‰ ✏ sao cho các trÂng sË không b‡ thay Íi áng k∫

s˚ dˆng tø sË phân biªt, xác ‡nh kh£ n´ng cıa mÎt ∞c tr˜ng ∫ phân tách các

là £nh liên quan thì vùng trÎi hÏn trong sË các £nh liên quan  l¶n l∞p th˘ l cho

Tø sË phân biªt ˜Òc s˚ dˆng ∫ xác ‡nh kh£ n´ng mÎt thành ph¶n ∞c tr˜ngtrong viªc phân tách các £nh liên quan t¯ các £nh không liên quan là :

(l)

(l) j

trong ph§m vi trÎi nên không ánh trÂng sË cho các thành ph¶n ∞c tr˜ng này.Ng˜Òc l§i, khi không có mÎt £nh liên quan nào n¨m trong ph§m vi trÎi, trÂng sËlÓn nhßt s≥ ˜Òc cho các thành ph¶n ∞c tr˜ng ó Theo ó, th¸c nghiªm theo

hai cách hiªu chønh trÂng sË cho ∞c tr˜ng ˜Òc ˜a ra nh˜ sau :

wj(l+1) =

(l) j (l) rel,j

wj(l+1)= j(l)⇤

(l) j (l) rel,j

(1.12)

j

wijS (tij), wij(l+1)= wij(l)+ score(l), (1.14)

t˜Ïng ˘ng “liên quan cao”, “liên quan”, “không liên quan”, “không liên quan cao”

hiªu chønh trÂng sË theo ti∏p c™n hÂc tr˜Óc t¯ d˙ liªu ∞c tr˜ng Zhou và cÎng

hình ∫ ánh x§ tßt c£ các £nh trong cÏ s d˙ liªu sang không gian ∞c tr˜ng liên

quan Trong pha tra c˘u on-line, s≥ gán mÎt trÂng sË cho mÂi ∞c tr˜ng liên quand¸a vào £nh truy vßn, sau ó x∏p h§ng các £nh trong cÏ s d˙ liªu d¸a vào cácgiá tr‡ ∞c tr˜ng trung bình trÂng sË cıa nó MÈi ∞c tr˜ng ˜Òc s˚ dˆng ∫ xây

và ánh x§ I sang không gian ∞c tr˜ng liên quan nh˜ :

bÎ các £nh trong cÏ s d˙ liªu tính Î t˜Ïng t¸ tr˜Óc) t¯ d˙ liªu ∞c tr˜ng b¨ngcách xây d¸ng mËi liên quan ng˙ nghæa gi˙a các £nh thông qua Á th‡ (ma tr™nk∑) Nghiên c˘u này s˚ dˆng kˇ thu™t hÂc ánh x§ t¯ không gian ∞c tr˜ng m˘c

cho phép gi£m chi phí tính toán khi xây d¸ng ma tr™n li∑n k∑ D˙ liªu ∞c tr˜ngcıa tßt c£ các £nh ˜Òc trích rút và s˚ dˆng nh˜ to§ Î cıa các i∫m trong Áth‡ Ti∏p theo, l¸a chÂn bi∫u diπn cho các i∫m nh˜ các anchor và xây d¸ng matr™n trÂng sË Z b¨ng kernel regression vÓi mÎt lân c™n nh‰ s Các anchor ˜Òcl¸a chÂn off-line và không £nh h˜ng trong quá trình x˚ l˛ on-line Khi mÎt truyvßn ˜Òc ˜a vào, sau khi trích rút ∞c tr˜ng m˘c thßp, sau ó c™p nh™t trÂng sË