Luận án tiến sĩ nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

⌅ Trong các công trình khoa hÂc ˜Òc công bË trong lu™n án, tôi ã th∫ hiªn rõ ràng và chính xác óng góp cıa các Áng tác gi£ và nh˙ng gì do tôi ãóng góp.. ⌅ Lu™n án ˜Òc hoàn thành trong th

VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

-

VŨ VĂN HIỆU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG

TRA CỨU ẢNH DỰA VÀO NỘI DUNG

LUẬN ÁN TIẾN SỸ TOÁN HỌC

HÀ NỘI – 2017

VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

Người hướng dẫn khoa học:

1 PGS TS Ngô Quốc Tạo

2 PGS.TS Nguyễn Hữu Quỳnh

Hà N ội – 2017

Tôi xin cam oan lu™n án “Nghiên c˘u mÎt sË kˇ thu™t phân h§ng trongtra c˘u £nh d¸a vào nÎi dung” là công trình nghiên c˘u cıa riêng tôi Các sËliªu, k∏t qu£ ˜Òc trình bày trong lu™n án là hoàn toàn trung th¸c và ch˜a t¯ng

˜Òc công bË trong bßt k˝ mÎt công trình nào khác

⌅ Tôi ã trích d®n ¶y ı các tài liªu tham kh£o, công trình nghiên c˘u liênquan  trong n˜Óc và quËc t∏ Ngo§i tr¯ các tài liªu tham kh£o này, lu™n

án hoàn toàn là công viªc cıa riêng tôi

⌅ Trong các công trình khoa hÂc ˜Òc công bË trong lu™n án, tôi ã th∫ hiªn

rõ ràng và chính xác óng góp cıa các Áng tác gi£ và nh˙ng gì do tôi ãóng góp

⌅ Lu™n án ˜Òc hoàn thành trong thÌi gian tôi làm Nghiên c˘u sinh t§i PhòngNh™n d§ng và Công nghª tri th˘c, Viªn Công nghª thông tin, Viªn Hànlâm Khoa hÂc và Công nghª Viªt Nam

Tác gi£ :

Hà NÎi :

i

Lu™n án ˜Òc th¸c hiªn d˜Ói s¸ h˜Óng d®n khoa hÂc cıa PGS.TS Ngô QuËc T§o

và PGS.TS Nguyπn H˙u Qu˝nh Nghiên c˘u sinh xin bày t‰ lòng bi∏t Ïn sâu s≠c

∏n hai Th¶y v∑ ‡nh h˜Óng khoa hÂc, nh˙ng bài hÂc, nh˙ng góp ˛ qu˛ báu trongnghiên c˘u Các Th¶y ã t§o i∑u kiªn vô cùng thu™n lÒi trong suËt quá trìnhnghiên c˘u cıa Nghiên c˘u sinh

Tôi xin ˜Òc c£m Ïn các nhà khoa hÂc, tác gi£ cıa các công trình công bË ã ˜Òctrích d®n trong lu™n án, ây là nh˙ng t˜ liªu qu˛, ki∏n th˘c liên quan quan trÂnggiúp Nghiên c˘u sinh hoàn thành lu™n án Xin c£m Ïn ∏n các nhà khoa hÂc ãph£n biªn các công trình nghiên c˘u cıa Nghiên c˘u sinh

Tôi trân trÂng c£m Ïn Phòng Nh™n d§ng và Công nghª tri th˘c, Phòng qu£n l˛

ào t§o, Viªn Công nghª thông tin, HÂc viªn Khoa hÂc và Công nghª, Viªn Hànlâm Khoa hÂc và Công nghª Viªt Nam ã t§o i∑u kiªn thu™n lÒi cho tôi trongsuËt quá trình nghiên c˘u th¸c hiªn lu™n án Tôi cÙng xin c£m Ïn sâu s≠c ∏n HÎiÁng Khoa hÂc Viªn Công nghª thông tin, các Th¶y trong HÎi Áng b£o vª cßp

cÏ s ã góp ˛ giúp Nghiên c˘u sinh hoàn thiªn công trình lu™n án này

Tôi cÙng bày t‰ s¸ c£m Ïn sâu s≠c ∏n Khoa Công nghª thông tin, Tr˜Ìng §ihÂc iªn L¸c, Hà NÎi ã t§o i∑u kiªn cho tôi ˜Òc hÂc t™p, trao Íi và nghiênc˘u Tôi xin c£m Ïn Tr˜Ìng §i hÂc H£i Phòng ã t§o i∑u kiªn v∑ thÌi gian vàtài chính cho tôi th¸c hiªn lu™n án này

MÎt ph¶n cıa nghiên c˘u này ˜Òc th¸c hiªn trong khuôn khÍ ∑ tài nghiên c˘u

mã sË CS’15.03 cıa Viªn Công nghª Thông tin, Viªn Hàn lâm Khoa hÂc và Côngnghª Viªt Nam và ∑ tài nghiên mã sË VAST01.07/15-16 cıa Viªn Hàn lâm KhoahÂc và Công nghª Viªt Nam Xin c£m Ïn các trao Íi và trÒ giúp cıa các thànhviên ∑ tài

CuËi cùng, tôi xin bày t‰ lòng bi∏t Ïn vô h§n Ëi vÓi cha mµ, vÒ con và toàn th∫anh em trong gia ình ã luôn ıng hÎ, giúp Ô tôi

ii

LÌi cam oan i

1.1 MÎt sË ∞c tr˜ng £nh th˜Ìng s˚ dˆng trong tra c˘u £nh d¸a vào

nÎi dung 9

1.1.1 Miêu t£ toàn cˆc 9

1.1.2 Miêu t£ cˆc bÎ 12

1.2 TÍ hÒp ∞c tr˜ng trong tra c˘u £nh d¸a vào nÎi dung 13

1.3 Chu©n hoá trong CBIR 14

1.3.1 Mˆc ích cıa chu©n hoá 14

1.3.2 Chu©n hóa min-max 16

1.3.3 Chu©n hóa Gauss 16

1.4 Kho£ng trËng ng˙ nghæa 19

1.5 Ph£n hÁi liên quan trong CBIR 21

1.6 Hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn trong CBIR s˚ dˆng ph£n hÁi liên quan 23

1.7 Tra c˘u £nh d¸a vào nÎi dung s˚ dˆng kˇ thu™t máy hÂc 27

1.7.1 Hußn luyªn và ki∫m tra 27

1.7.2 Nhãn d˙ liªu 28

1.7.3 Xây d¸ng mô hình hÂc 29

1.8 MÎt sË ti∏p c™n d¸a theo ph˜Ïng pháp tËi ˜u Pareto 33

iii

2 ∑ xußt chu©n hoá ∞c tr˜ng và hiªu chønh trÂng sË trong tÍ hÒp

2.1 Chu©n hoá ∞c tr˜ng d¸a vào phân cˆm mÌ FCM 39

2.2 Chu©n hoá kho£ng cách d¸a vào phân cˆm FCM 45

2.3 Hiªu chønh trÂng sË, d‡ch chuy∫n truy vßn 46

2.3.1 Hiªu chønh trÂng sË 51

2.3.2 D‡ch chuy∫n truy vßn 52

2.4 Th˚ nghiªm và ánh giá các k∏t qu£ 54

2.4.1 CÏ s d˙ liªu £nh 54

2.4.2 Trích rút bÎ ∞c tr˜ng k∏t hÒp 55

2.4.3 Các k∏t qu£ th¸c nghiªm và lu™n gi£i 55

2.5 K∏t lu™n Ch˜Ïng 2 68

3 ∑ xußt kˇ thu™t Pareto front a m˘c sâu nâng cao hiªu qu£ phân lÓp £nh 69 3.1 MÎt sË tính chßt hình th˘c d¸a trên kˇ thu™t Pareto front a m˘c sâu trong không gian tÍ hÒp ∞c tr˜ng 73

3.2 Nâng cao hiªu qu£ phân lÓp £nh 81

3.3 Th˚ nghiªm và ánh giá các k∏t qu£ 86

3.3.1 CÏ s d˙ liªu £nh 86

3.3.2 Các ph˜Ïng pháp cÏ s 88

3.3.3 Ph˜Ïng pháp ánh giá 88

3.3.4 Các k∏t qu£ th¸c nghiªm 89

3.4 K∏t lu™n Ch˜Ïng 3 96

K∏t lu™n và h˜Óng phát tri∫n 97 Danh mˆc công trình ã công bË 99 A MÎt sË cÏ s d˙ liªu £nh s˚ dˆng 111 A.1 Corel 111

A.2 Wang 112

A.3 Caltech 101 113

A.4 Oxford Building 114

iv

D§ng vi∏t t≠t D§ng ¶y ı Diπn gi£i

CBIR Content based image

retrie-val

Tra c˘u £nh d¸a vào nÎi dung

FCM Fuzzy c-means Phân cˆm mÌ c-means

HI Histogram Interrsection L˜Òc Á giao

HSV hue, saturation, value màu s≠c, Î bão hoà màu, Î sángL2R Learning to Rank HÂc x∏p h§ng

MARS Multimedia Analysis and

Retrieval Systems

Các hª thËng phân tích aph˜Ïng tiªn và tra c˘u

Pr Precision Î chính xác

Re Recall Î hÁi t˜ng

RF Relevance feedback Ph£n hÁi liên quan

RGB red, green, blue ‰, xanh lá, xanh d˜Ïng

SIFT Scale-Invariant Feature

TransformSVM Support vector machine Máy vector hÈ trÒ

v

M Î dài cıa mÎt vector ∞c tr˜ng

top k T™p gÁm k £nh có th˘ h§ng t˜Ïng t¸ cao nhßt Ëi vÓi £nh truy vßn

NB T™p £nh có Î t˜Ïng t¸ cao nhßt theo ∞c tr˜ng toàn cˆc trong mÎt trac˘u

NB T™p £nh ˜Òc xác nh™n không liên quan  ph£n hÁi cıa ng˜Ìi dùng

NB+ T™p £nh ˜Òc xác nh™n liên quan  ph£n hÁi cıa ng˜Ìi dùng

NBt T™p £nh có Î t˜Ïng t¸ cao nhßt theo ∞c tr˜ng  bÎ t trong mÎt tra c˘u

NB⇠ T™p £nh có th˘ h§ng Î t˜Ïng t¸ cao và thuÎc t™p NB trong mÎt trac˘u

vi

wt TrÂng sË kho£ng cách cıa bÎ ∞c tr˜ng t

⌘t ,c,ip Giá tr‡ Î thuÎc cıa ph¶n t˚ th˘ i  bÎ ∞c tr˜ng t so vÓi cˆm c, p là

hª sË FCM

(l),NB +

t ,kI t k Î lªch chu©n theo Î dài ∞c tr˜ng bÎ ∞c tr˜ng t trong l¶n l∞p th˘

l Ëi vÓi các £nh trong t™p NB+

0.1 Hª thËng tra c˘u £nh d¸a vào nÎi dung 3

0.2 Hª thËng ∑ xußt 6

1.1 Thành ph¶n th˘ nhßt cıa ∞c tr˜ng mô men màu 15

1.2 Phân bË d˙ liªu thành ph¶n 1 cıa ∞c tr˜ng mô men màu (gËc) 18

1.3 (a) Phân bË d˙ liªu thành ph¶n 5 l˜Òc Á ∞c tr˜ng l˜Òc Á HSV(gËc) (b) L˜Òc Á ∞c tr˜ng l˜Òc Á HSV chu©n hoá theo lu™t 3

thành ph¶n th˘ 5, 97.4555% d˙ liªu “rÏi vào” [-1,1] 18

1.4 Énh truy vßn “mandolin image 0001.jpg” 19

1.5 Hª thËng tra c˘u vÓi £nh truy vßn “mandolin image 0001.jpg” 19

1.6 K∏t qu£ top 20 các £nh t˜Ïng t¸ nhßt vÓi £nh truy vßn  l¶n trac˘u khi t§o 20

1.7 Hai £nh có ng˙ nghæa t˜Ïng Áng 20

1.8 L˜Òc Á màu cıa £nh truy vßn và hai £nh trong k∏t qu£ top 20 21

1.9 Minh ho§ siêu phØng 32

2.1 Mô hình hª thËng ∑ xußt 38

2.2 Minh ho§ chu©n hóa 3 FCM 42

2.3 Minh ho§ tính chßt b£o toàn th˘ t¸ cıa chu©n hoá 3 FCM 43

2.4 Phân bË d˙ liªu gËc  thành ph¶n th˘ n´m cıa các ∞c tr˜ng (a)L˜Òc Á màu HSV, (b) l˜Òc Á t¸ t˜Ïng quan màu, (c) mô menmàu, (d) k∏t cßu Gabor, (e) mô men Wavelet, (f) GIST 56

2.5 (a) Phân bË d˙ liªu ∞c tr˜ng l˜Òc Á HSV (chu©n hoá 3 ) thànhph¶n 5 gÁm 97.45% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞c tr˜ng l˜Òc

Á HSV (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm 99.81% thuÎc[-1,1] 57

2.6 (a) Phân bË d˙ liªu ∞c tr˜ng autoCorrelogram (chu©n hoá 3 )thành ph¶n 5 gÁm 98.02% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞ctr˜ng autoCorrelogram (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm99.9955% thuÎc [-1,1] 57

2.7 (a) Phân bË d˙ liªu ∞c tr˜ng mô men màu (chu©n hoá 3 ) thànhph¶n 5 gÁm 99.68% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞c tr˜ng mômen màu (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm 100% thuÎc[-1,1] 58

viii

cßu Gabor (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm 99.95% thuÎc[-1,1] 58

2.9 (a) Phân bË d˙ liªu ∞c tr˜ng bßt bi∏n Wavelet(chu©n hoá 3 )thành ph¶n 5 gÁm 99.5% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞ctr˜ng bßt bi∏n Wavelet (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm100% thuÎc [-1,1] 59

2.10 (a) Phân bË d˙ liªu ∞c tr˜ng hình d§ng GIST (chu©n hoá 3 )thành ph¶n 5 gÁm 98.8% thuÎc [-1,1] (b) Phân bË d˙ liªu ∞ctr˜ng hình d§ng GIST (chu©n hoá 3 FCM ) thành ph¶n 5 gÁm99.9985% thuÎc [-1,1] 59

2.11 So sánh chßt l˜Òng truy vßn (a) Hiªu n´ng Precision/Recall (b)Hiªu n´ng Î chính xác 60

2.12 Trung bình Î chính xác cıa kˇ thu™t ∑ xußt trên top k k∏t qu£theo n´m vòng cıa ph£n hÁi liên quan 63

2.13 So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTooltrên các top k k∏t qu£ 64

2.14 So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTooltrên top 20 k∏t qu£ theo m˜Ìi vòng cıa ph£n hÁi liên quan 66

2.15 Bi∫u Á Precision và Recall cıa kˇ thu™t ∑ xußt và PowerTool 67

3.1 Hª thËng ∑ xußt 72

3.2 Minh ho§ không gian tìm ki∏m EQ 74

3.3 MÎt miêu t£ Pareto front 76

3.4 Minh ho§ hai m˘c Î sâu là PF1 và PF2 cıa không gian EQ 78

3.5 Trung bình Î chính xác (Precision) trên k∏t qu£ top k cıa ∑xußt Pareto-AdaBoost trên ba t™p d˙ liªu theo n´m vòng ph£n hÁiliên quan (a) Db1 (b) Db2 (c) Db3 91

3.6 Trung bình Î chính xác (Precision) trên k∏t qu£ top k cıa ∑xußt Pareto-SVM trên ba t™p d˙ liªu theo n´m vòng ph£n hÁi liênquan (a) Db1 (b) Db2 (c) Db3 92

3.7 So sánh Î chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xußtPareto-AdaBoost vÓi các kˇ thu™t cÏ s trên ba t™p d˙ liªu (a) T™pd˙ liªu Db1 (b) T™p d˙ liªu Db2 (c) T™p d˙ liªu Db3 94

3.8 So sánh Î chính xác trên các k∏t qu£ top k cıa kˇ thu™t ∑ xußtPareto-SVM vÓi các kˇ thu™t cÏ s trên ba t™p d˙ liªu (a) T™p d˙liªu Db1 (b) T™p d˙ liªu Db2 (c) T™p d˙ liªu Db3 94

3.9 Á th‡ Î chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïngpháp Pareto-AdaBoost, SVM, AdaBoost và MARS trên t™p d˙ liªu.(a) T™p d˙ liªu Db1 (b) T™p d˙ liªu Db2 (c) T™p d˙ liªu Db3 95

3.10 Á th‡ Î chính xác (Precision) và hÁi t˜ng (Recall) cıa các ph˜Ïngpháp Pareto-SVM, SVM, AdaBoost và MARS trên t™p d˙ liªu Db1,Db2 và Db3 95

A.1 Các £nh ví dˆ t¯ cÏ s d˙ liªu Corel 112

ix

£nh Caltech 101 117

A.4 Các m®u cıa cÏ s d˙ liªu Wang, các chı ∑ ng˙ nghæa : bi∫n, Châu Phi, hoa hÁng, khıng long, ng¸a, núi, th˘c ´n, di tích, voi, xe bu˛t MÈi dòng mÎt chı ∑, ví dˆ mÈi chı ∑ 5 £nh t˜Ïng ˘ng t¯ trên xuËng d˜Ói 118

A.5 Toàn bÎ 55 £nh truy vßn ˜Òc s˚ dˆng trong ánh giá ground truth MÈi dòng cho bi∏t các truy vßn khác nhau cho cùng c£nh ‡a danh L˜u ˛ s¸ thay Íi lÓn v∑ ph§m vi cıa các vùng truy vßn và thay Íi v‡ trí, ánh sáng, v.v cıa chính các £nh 119

B.1 ˜a mÎt £nh vào hª thËng tra c˘u ∑ xußt 120

B.2 K∏t qu£ tra c˘u khi t§o cıa top 20 121

B.3 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ nhßt 121

B.4 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ hai 122

B.5 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba 122

B.6 ˜a vào hª thËng mÎt truy vßn 123

B.7 K∏t qu£ tra c˘u khi t§o top 20 123

B.8 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ nhßt 124

B.9 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ hai 124

B.10 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ ba 124

B.11 K∏t qu£ tra c˘u top 20 vòng ph£n hÁi th˘ t˜ 125

x

2.1 B£ng mÎt sË £nh theo nh™n ‡nh chı quan cıa ng˜Ìi dùng so sánh v∑ t˜Ïng t¸ ng˙ nghæa vÓi truy vßn Q = 710.jpg Các £nh n¨m trong

t™p Wang 48

2.2 Î o kho£ng cách cıa £nh truy vßn 710.jpg Ëi vÓi các £nh t™p NB+, NB và NB⇠ K˛ hiªu các cÎt (d1), (d2), (d3), (d4), (d5), (d6) là kho£ng cách t˜Ïng ˘ng cıa các bÎ ∞c tr˜ng l˜Òc Á màu HSV, t¸ t˜Ïng quan màu, mô men màu, k∏t cßu Gabor, mô men Wavelet và GIST theo các hàm kho£ng cách ; D là kho£ng cách toàn bÎ 49

2.3 Î o kho£ng cách L2 cıa £nh truy vßn 710.jpg Ëi vÓi các £nh trong t™p NB+, NB và NB⇠ 50

2.4 Các miêu t£ £nh và hàm kho£ng cách s˚ dˆng trong th¸c nghiªm 50

2.5 Tham sË phân cˆm FCM 55

2.6 Các Ëi t˜Òng cıa t™p AGRt trên sáu l¶n l∞p ph£n hÁi Ëi vÓi £nh truy vßn Q = 710.jpg 60

2.7 ThËng kê trÂng sË kho£ng cách t¯ng bÎ ∞c tr˜ng wt theo mÈi l¶n l∞p Ëi vÓi mÎt sË £nh truy vßn 61

2.8 Trung bình Î chính xác (Precision) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa kˇ thu™t ∑ xußt 63 2.9 Trung bình Î hÁi t˜ng (Recall) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa kˇ thu™t ∑ xußt 64

2.10 Trung bình Î chính xác (Precision) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa PowerTool (MARS) 65 2.11 Trung bình Î hÁi t˜ng (Recall) top k k∏t qu£ trên 10 vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Wang cıa PowerTool (MARS) 65

3.1 Kho£ng cách gi˙a Q và o1,o2,o3 trong các ∞c tr˜ng màu s≠c và k∏t cßu 70

3.2 Các miêu t£ £nh và hàm kho£ng cách s˚ dˆng trong th¸c nghiªm 87

3.3 Các tham sË s˚ dˆng trong th¸c nghiªm 89

3.4 SË ˘ng viên Pareto theo top k Ëi vÓi Db1 90

3.5 SË ˘ng viên Pareto theo top k Ëi vÓi Db2 90

3.6 SË ˘ng viên Pareto theo top k Ëi vÓi Db3 91

3.7 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-AdaBoost trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db1 91

xi

Db2 92

3.9 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-AdaBoost trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db3 92

3.10 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db1 93

3.11 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db2 93

3.12 Trung bình Î chính xác top k k∏t qu£ cıa ∑ xußt Pareto-SVM trên n´m vòng ph£n hÁi liên quan Ëi vÓi t™p d˙ liªu Db3 93

A.1 Danh sách 10 chı ∑ cıa cÏ s d˙ liªu Wang 114

A.2 Danh sách 101 chı ∑ cıa cÏ s d˙ liªu Caltech 101 115

A.3 Danh sách 17 chı ∑ cıa cÏ s d˙ liªu Oxford Buildings 116

xii

Tính cßp thi∏t cıa ∑ tài

S¸ phát tri∫n m§nh m≥ cıa Internet cho phép dπ dàng xây d¸ng, l˜u tr˙ các

cÏ s d˙ liªu lÓn MÎt trong sË ó là Flickr1, YouTube2, Facebook3, Twitter4 vàtoàn bÎ m§ng Internet Yêu c¶u khai thác mÎt cách hiªu qu£ d˙ liªu a ph˜Ïngtiªn trên thúc ©y s¸ quan tâm cıa cÎng Áng nghiên c˘u [21] Nhi∑u hª thËngtìm ki∏m thông tin v´n b£n và £nh nh˜ Google5, Bing6, Yahoo7 ã ˜Òc pháttri∫n m§nh m≥ trong nh˙ng n´m g¶n ây nh˜ng v®n ch˜a áp ˘ng ˜Òc nhu c¶ung˜Ìi dùng S¸ phát tri∫n m§nh m≥ cıa d˙ liªu a ph˜Ïng tiªn ngày càng trthành mÎt thách th˘c lÓn Khi kích th˜Óc cıa kho £nh rßt lÓn cách ti∏p c™n trac˘u b¨ng t¯ khóa tr nên không kh£ thi d®n tÓi các nghiên c˘u khai thác tra c˘ud¸a trên nÎi dung d˙ liªu £nh

Tra c˘u £nh d¸a vào nÎi dung (Content-based image retrieval) hay gÂi t≠t làCBIR ˜Òc giÓi thiªu bi các nghiên c˘u t¯ nh˙ng n´m 1980 CBIR ã ˜Òc ã

˜Òc nghiên c˘u rÎng rãi, nhi∑u ph˜Ïng pháp và hª thËng ã ˜Òc phát tri∫n ∫trích rút nÎi dung cıa £nh b¨ng cách s˚ dˆng các ∞c tr˜ng m˘c thßp D˙ liªutrong CBIR ˜Òc lßy trên cÏ s các nÎi dung mà nó trích rút b¨ng cách s˚ dˆng

các kˇ thu™t trích rút ∞c tr˜ng m˘c thßp bên trong cıa mÈi £nh (màu s≠c, hìnhd§ng, k∏t cßu, vv).

Tuy CBIR có nhi∑u ti∏n bÎ song ng˜Ìi dùng v®n g∞p khó kh´n trong viªctìm ki∏m thông tin liên quan t¯ t™p d˙ liªu £nh lÓn không Áng nhßt v∑ m∞t nÎidung và ng˙ nghæa i∑u này d®n ∏n k∏t qu£ tìm ki∏m ch˜a §t ˜Òc nh˜ mongmuËn Thông tin mà máy tính hi∫u nÎi dung £nh th˜Ìng là các giá tr‡ i∫m £nh,vector ∞c tr˜ng ˜Òc trích rút theo các thı tˆc, còn con ng˜Ìi hi∫u v∑ nÎi dungcıa £nh th˜Ìng là các khái niªm ng˙ nghæa Do không có s¸ t˜Ïng quan mÎt cáchchính xác gi˙a nÎi dung mà máy tính có ˜Òc thông qua ∞c tr˜ng tr¸c quan m˘cthßp vÓi nÎi dung mà con ng˜Ìi hi∫u thông qua các khái niªm ng˙ nghæa m˘ccao d®n ∏n kho£ng trËng ng˙ nghæa Kho£ng trËng ng˙ nghæa ‡nh nghæa theoSmeulders và cÎng s¸ [94] nh˜ sau :

“Kho£ng trËng ng˙ nghæa là s¸ không t˜Ïng Áng gi˙a thông tin £nh, ˜Òctrích rút t¯ d˙ liªu tr¸c quan so vÓi diπn gi£i v∑ d˙ liªu £nh ó bi ng˜Ìi dùngtrong tình huËng cˆ th∫ ”

Kho£ng trËng ng˙ nghæa n¨m gi˙a các ∞c tr˜ng tr¸c quan m˘c thßp cıa các

£nh và các ng˙ nghæa m˘c cao mong muËn d¸ ‡nh suy ra t¯ các ∞c tr˜ng tr¸cquan m˘c thßp Nhi∑u nghiên c˘u trong lænh v¸c CBIR ∏n nay v®n ang cË g≠ngthu hµp kho£ng trËng ng˙ nghæa này Cˆ th∫, hÏn ba th™p kø qua nhi∑u hª thËngCBIR ã ˜Òc phát tri∫n, bao gÁm QBIC [28], Photobook [80], MARS [79], [83],[90], PicHunter [17], VisualSEEK [96], Blobworld [11], MindReader [46], SIMPLI-city [110], FIRE [23], và các nghiên c˘u khác [12], [41], [60], [115], [124]

Mˆc tiêu, ph§m vi nghiên c˘u cıa lu™n án

Thông th˜Ìng mÎt hª thËng tra c˘u £nh d¸a vào nÎi dung ˜Òc miêu t£ nh˜Hình0.1 [62] Các nÎi dung tr¸c quan cıa các £nh trong cÏ s d˙ liªu ˜Òc tríchrút và miêu t£ bi các vector ∞c tr˜ng nhi∑u chi∑u Các vector ∞c tr˜ng cıa các

£nh trong cÏ s d˙ liªu t§o nên mÎt cÏ s d˙ liªu ∞c tr˜ng ∫ tra c˘u các £nh,thông tin truy vßn cıa ng˜Ìi dùng ˜a vào hª thËng tra c˘u có th∫ là các £nhm®u ho∞c v≥ phác th£o Hª thËng sau ó s≥ bi∏n Íi nh˙ng m®u này t˜Ïng ˘ngvÓi bi∫u diπn cıa các vector ∞c tr˜ng Các Î t˜Ïng t¸ ho∞c các kho£ng cách gi˙acác vector ∞c tr˜ng cıa £nh truy vßn vÓi các £nh trong cÏ s d˙ liªu ˜Òc tính

và tra c˘u ˜Òc th¸c hiªn d¸a trên mÎt l˜Òc Á chø sË L˜Òc Á chø sË ˜a ra mÎtcách hiªu qu£ ∫ tìm ki∏m các £nh trong cÏ s d˙ liªu Qua kh£o sát nhi∑u nhiên

Hình 0.1 Hª thËng tra c˘u £nh d¸a vào nÎi dung

c˘u CBIR, s¸ k∏t hÒp a ∞c tr˜ng ch˜a ˜Òc xem xét mÎt cách ¶y ı d®n ∏nviªc so sánh Î t˜Ïng t¸ §t hiªu qu£ ch˜a cao Trong hª thËng này ánh chø sË

và tra c˘u s˚ dˆng k∏t hÒp a ∞c tr˜ng cÙng c¶n ˜Òc nghiên c˘u ∫ nâng caohiªu qu£ tra c˘u ∫ nâng cao k∏t qu£ tra c˘u chính xác  ¶u ra, lu™n án ˜a racác mˆc tiêu và giÓi h§n ph§m vi nghiên c˘u nh˜ sau

Mˆc tiêu cıa lu™n án

So sánh Î t˜Ïng t¸ : Nghiên c˘u và ∑ xußt chu©n hoá ∞c tr˜ng, chu©n hoákho£ng cách ∫ nâng cao hiªu qu£ so sánh Î t˜Ïng t¸

Ph£n hÁi liên quan : Nghiên c˘u và ∑ xußt kˇ thu™t hiªu chønh trÂng sË vàd‡ch chuy∫n truy vßn

ánh chø sË và tra c˘u : Tßt c£ các £nh trong cÏ s d˙ liªu vector ∞c tr˜ng

˜Òc tính toán tr˜Óc và l˜u tr˙ trong hª qu£n tr‡ cÏ s d˙ liªu Rút gÂn khônggian tìm ki∏m s˚ dˆng ti∏p c™n tËi ˜u Pareto ∫ l¸a chÂn t™p ˘ng viên tËt nhßtt¯ cÏ s d˙ liªu Tra c˘u ˜a ra “top” k∏t qu£ các £nh có kho£ng cách cıa vector

∞c tr˜ng nh‰ nhßt ho∞c ˜Òc d¸ báo x∏p h§ng cao nhßt vÓi £nh truy vßn

Ph§m vi nghiên c˘u cıa lu™n án

S˚ dˆng mÎt sË t™p £nh chu©n ˜Òc s˚ dˆng nhi∑u trong các nghiên c˘u v∑CBIR Xây d¸ng cÏ s d˙ liªu ∞c tr˜ng d¸a trên mÎt sË ph˜Ïng pháp trích rút

∞c tr˜ng tËt ã có Cài ∞t th¸c nghiªm cho các ∑ xußt So sánh và ánh giáhiªu n´ng v∑ m∞t Î chính xác thông qua t™p k∏t qu£ tra c˘u

Ph˜Ïng pháp và nÎi dung nghiên c˘u

Ph˜Ïng pháp nghiên c˘u là k∏t hÒp gi˙a nghiên c˘u l˛ thuy∏t và th¸c nghiªm

CÏ s d˙ liªu và thông tin khoa hÂc ˜Òc thu th™p, tÍng hÒp t¯ các t§p chí khoahÂc chuyên ngành trong và ngoài n˜Óc, qua Xêmina ho∞c tham gia báo cáo t§i cáchÎi th£o khoa hÂc, qua trao Íi vÓi th¶y h˜Óng d®n và các Áng nghiªp cùng lænhv¸c nghiên c˘u,

Lu™n án tÍng hÒp các thông tin liên quan trong lænh v¸c CBIR, l¸a chÂn cáccách ti∏p c™n ã ˜Òc áp dˆng thành công, ti∏n hành th˚ nghiªm vÓi các t™p d˙liªu £nh chu©n trong các bài báo khoa hÂc và ánh giá k∏t qu£

NÎi dung nghiên c˘u trong lu™n án gÁm :

(1) Nghiên c˘u tÍng quan v∑ tra c˘u £nh d¸a vào nÎi dung

(2) Nghiên c˘u cách k∏t hÒp nhi∑u ∞c tr˜ng trong hª thËng CBIR t¯ ó pháthiªn các quy lu™t, ràng buÎc cÏ b£n cıa k∏t hÒp nhi∑u ∞c tr˜ng

(3) Nghiên c˘u mÎt sË kˇ thu™t gi£m kho£ng trËng ng˙ nghæa trong CBIR.

K∏t qu£ §t ˜Òc cıa lu™n án

Lu™n án ã có nh˙ng óng góp chính nh˜ sau :

∑ xußt chu©n hoá c£i ti∏n phù hÒp vÓi d˙ liªu th¸c t∏ trong tra c˘u £nh d¸avào nÎi dung, cho phép nâng cao hiªu qu£ Ëi sánh Î t˜Ïng t¸ d¸a vào ∞c tr˜ngm˘c thßp cıa các £nh trong hª thËng tra c˘u trong công trình [CT6]

∑ xußt kˇ thu™t hiªu chønh trÂng sË Î t˜Ïng t¸ và d‡ch chuy∫n truy vßnd¸a vào thông tin ph£n hÁi cıa ng˜Ìi dùng trong công trình [CT6]

∑ xußt s˚ dˆng tËi ˜u Pareto xây d¸ng t™p ˘ng viên ∫ nâng cao Î chínhxác cıa hª thËng CBIR trên không gian k∏t hÒp a ∞c tr˜ng trong công trình[CT7]

Mô hình tÍng quát cho các ∑ xußt cıa lu™n án trong Hình 0.2 ˜Òc mô t£nh˜ sau :

(1) ∞c tr˜ng £nh cıa truy vßn và các ∞c tr˜ng £nh cıa các £nh cÏ s d˙liªu ˜Òc chu©n hoá theo ∑ xußt chu©n hoá ∞c tr˜ng

(2) Î t˜Ïng t¸ cıa các £nh trong cÏ s d˙ liªu vÓi £nh truy vßn ˜Òc tínhtoán d¸a vào các vector ∞c tr˜ng ã ˜Òc chu©n hoá Các £nh ˜Òc x∏p h§ngtheo Î t˜Ïng t¸ gi£m d¶n T™p £nh k∏t qu£ hi∫n th‡ top k (t™p gÁm k £nh cóth˘ h§ng t˜Ïng t¸ cao nhßt Ëi vÓi £nh truy vßn) Trên k∏t qu£ top k ng˜Ìidùng ánh giá m˘c Î liên quan theo nh™n th˘c ây là ¶u vào cıa ∑ xußt hiªuchønh trÂng sË và d‡ch chuy∫n truy vßn, k∏t qu£ ¶u ra là t™p các trÂng sË chomÈi bÎ ∞c tr˜ng

(3) Î t˜Ïng t¸ các £nh trong cÏ s d˙ liªu so vÓi £nh truy vßn ˜Òc tính l§id¸a vào hàm kho£ng cách k∏t hÒp bÎ trÂng sË v¯a thu ˜Òc

Hình 0.2 Hª thËng ∑ xußt

(4) Xây d¸ng t™p ˘ng viên Pareto ∫ gi£m không gian tìm ki∏m

(5) T™p hußn luyªn là các £nh ˜Òc ánh giá trong t™p k∏t qu£ top k T™pki∫m tra là t™p ˘ng viên Pareto

(6) Tìm hàm phân lÓp d¸a vào thông tin ¶u vào là t™p hußn luyªn và t™pki∫m tra b¨ng mÎt máy phân lÓp

(7) S≠p x∏p các £nh trong t™p ki∫m tra theo giá tr‡ d¸ báo phân lÓp T™p k∏tqu£ hi∫n th‡ gÁm top k £nh có th˘ h§ng giá tr‡ d¸ báo phân lÓp cao nhßt.(8) Ph£n hÁi liên quan : S˚ dˆng thông tin ánh giá cıa ng˜Ìi dùng liên quanho∞c không liên quan trên t™p k∏t qu£ top k D¸a trên các £nh ˜Òc ánh giá,

hª thËng hiªu chønh trÂng sË, d‡ch chuy∫n truy vßn và Î t˜Ïng t¸ s≥ ˜Òc c™pnh™t l§i Quá trình ˜Òc l∞p l§i t¯ b˜Óc tìm t™p ˘ng viên Pareto.

Các nghiên c˘u cıa lu™n án ã ˜Òc công bË trong các công trình ˜a ra cuËi cıa lu™n án, óng góp cho các ∑ tài cßp cÏ s Viªn CNTT, mã sË CS’16.03,CS’14.03 và ∑ tài cßp Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam, mã sËVAST01.07/15-16

Cßu trúc cıa lu™n án

Ch˜Ïng 1 giÓi thiªu ki∏n th˘c tÍng quan bao gÁm : GiÓi thiªu mÎt sË ∞ctr˜ng và s¸ k∏t hÒp a ∞c tr˜ng th˜Ìng ˜Òc s˚ dˆng trong mÎt sË nghiên c˘utiêu bi∫u v∑ CBIR GiÓi thiªu và phân tích mÎt sË kˇ thu™t chu©n hoá ∞c tr˜ng,chu©n hoá kho£ng cách GiÓi thiªu và phân tích mÎt sË kˇ thu™t gi£i quy∏t bàitoán kho£ng trËng ng˙ nghæa nh˜ kˇ thu™t hiªu chønh trÂng sË, d‡ch chuy∫n truyvßn s˚ dˆng thông tin ph£n hÁi liên quan, mÎt sË kˇ thu™t máy hÂc

Ch˜Ïng 2 ∑ xußt chu©n hoá ∞c tr˜ng c£i ti∏n d¸a theo chu©n hoá Gauss

∑ xußt kˇ thu™t hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn d¸a vào thông tinph£n hÁi cıa ng˜Ìi dùng

Ch˜Ïng 3 ∑ xußt rút gÂn t™p ˘ng viên nh¨m gi£m không gian tìm ki∏m d¸avào ti∏p c™n tËi ˜u Pareto vÓi các tiêu chí l¸a chÂn là không gian a ∞c tr˜ng.T™p các £nh liên quan theo ph£n hÁi cıa ng˜Ìi dùng ˜Òc s˚ dˆng ∫ hiªu chønhl§i t™p Pareto ∫ phù hÒp vÓi nhu c¶u tìm ki∏m cıa chính ng˜Ìi dùng, cho phépnâng cao Î chính xác phân lÓp trong CBIR

CuËi cùng là ph¶n K∏t lu™n và h˜Óng phát tri∫n, tÍng hÒp các k∏t qu£ chínhcıa lu™n án và mÎt sË khuy∏n ngh‡ nghiên c˘u t˜Ïng lai

TÍng quan v∑ Tra c˘u £nh d¸a

vào nÎi dung

VÓi s¸ gia t´ng nhanh chóng sË l˜Òng d˙ liªu £nh sË, CBIR tr thành lænh v¸cnghiên c˘u dành ˜Òc nhi∑u s¸ quan tâm trong nhi∑u n´m qua, gÁm rßt nhi∑u cácnghiên c˘u nh˜ [12], [46], [64], [80], [88], [90], [91], [115], [124] Các hª thËng nàyth˜Ìng trích rút các bi∫u diπn tr¸c quan cıa £nh và ‡nh nghæa các hàm tìm ki∏m,

Ëi sánh mËi liên quan khi tra c˘u áp ˘ng yêu c¶u ng˜Ìi dùng ∫ c£i thiªn hiªun´ng tra c˘u, các kˇ thu™t hÂc máy hiªu qu£ ã ˜Òc s˚ dˆng trong phân lÓptheo truy vßn [18], [22], [54], [112] MÎt hª thËng CBIR gÁm các thành ph¶n cÏb£n mô t£ trong sÏ Á Hình0.1 NÎi dung cıa ch˜Ïng s≥ nghiên c˘u mÎt sË thànhph¶n cÏ b£n nh˜ trích rút ∞c tr˜ng, chu©n hoá, ph£n hÁi liên quan Bên c§nh óch˜Ïng s≥ phân tích mÎt sË nghiên c˘u liên quan, nh˙ng y∏u tË £nh h˜ng ∏nhiªu qu£ hª thËng CBIR

Mˆc 1.1 giÓi thiªu mÎt sË ∞c tr˜ng £nh s˚ dˆng trong hª thËng CBIR ∫s˚ dˆng hiªu qu£ các ∞c tr˜ng, trong Mˆc 1.2 giÓi thiªu mÎt sË hª thËng CBIRs˚ dˆng k∏t hÒp a ∞c tr˜ng Mˆc 1.3 giÓi thiªu và phân tích mÎt sË ph˜Ïngpháp chu©n hoá th˜Ìng ˜Òc s˚ dˆng trong CBIR cho ∞c tr˜ng và giá tr‡ kho£ngcách Kho£ng trËng ng˙ nghæa ˜Òc trình bày trong Mˆc 1.4 MÎt sË kˇ thu™t

8

gi£m kho£ng trËng ng˙ nghæa ˜Òc trình bày trong các Mˆc 1.5, 1.6, 1.7 và 1.8.Mˆc 1.9 trình bày ph˜Ïng pháp ánh giá hiªu n´ng cıa hª thËng CBIR s˚ dˆngtrong các ∑ xußt  Ch˜Ïng 2 và Ch˜Ïng 3.

tra c˘u £nh d¸a vào nÎi dung

Trong CBIR, trích rút ∞c tr˜ng nh¨m chuy∫n Íi mÈi £nh ¶u vào thànhmÎt t™p các ∞c tr˜ng (thông th˜Ìng d˜Ói hình th˘c vector ∞c tr˜ng) Các ∞ctr˜ng m˘c thßp ˜Òc trích rút mÎt cách t¸ Îng d¸a trên các thuÎc tính khácnhau (màu s≠c, k∏t cßu, hình d§ng, v.v.) cıa chính £nh ó Tr˜Óc khi trích rút

∞c tr˜ng, các £nh ˜Òc ti∑n x˚ l˛ (chuy∫n Íi không gian màu, gi£m nhiπu, l˜Òngt˚ hoá, v.v.) Các ∞c tr˜ng s≥ mang ¶y ı thông tin v∑ £nh, viªc tìm các ∞ctr˜ng liên quan bi∫u diπn nÎi dung tr¸c quan cıa các £nh trong mÎt cÏ s d˙ liªulÓn v®n ang là mÎt nhiªm vˆ thách th˘c L¸a chÂn ∞c tr˜ng tu˝ thuÎc vào cÏs d˙ liªu £nh, tu˝ thuÎc ˘ng dˆng và cÙng nh˜ tu˝ thuÎc vào mong muËn cıang˜Ìi dùng Các ∞c tr˜ng có th∫ bi∫u diπn toàn cˆc (cho toàn bÎ £nh), cˆc bÎ(cho mÎt vùng ∞c biªt cıa £nh) ho∞c các ti∏p c™n không gian

Các mô men màu

Gi£ ‡nh màu trong mÎt £nh có th∫ theo mÎt phân phËi xác sußt nhßt ‡nh.Khi ó, các mô men phân phËi màu s≥ ˜Òc s˚ dˆng nh˜ các ∞c tr˜ng màu cıa

£nh Stricker và Orengo [97] ‡nh nghæa các mô men màu khác nhau cho mÈi kênhmàu trong £nh

T˜Ïng quan màu

T˜Ïng quan màu nói ∏n t˜Ïng quan không gian cıa các c∞p màu trong £nh[45] Trong [74], [84] ã s˚ dˆng ∫ trích rút ∞c tr˜ng £nh s˚ dˆng cho CBIR.T˜Ïng t¸ l˜Òc Á màu và các mô men màu, t˜Ïng quan màu có th∫ s˚ dˆng chocác lo§i không gian màu khác nhau

∞c tr˜ng k∏t cßu

∞c tr˜ng k∏t cßu ˜Òc s˚ dˆng rÎng rãi trong CBIR, ph£n ánh cßu trúckhông gian, b∑ m∞t, Có th∫ ‡nh nghæa mÎt vùng k∏t cßu nh˜ mÎt vùng cóc˜Ìng Î không Áng nhßt Các ∞c tr˜ng k∏t cßu cÙng là các ∞c tr˜ng tr¸c quanquan trÂng cıa £nh ChØng h§n, con hÍ và con báo không th∫ phân biªt n∏u chøs˚ dˆng màu s≠c và hình d§ng Các ∞c tr˜ng k∏t cßu là c¶n thi∏t trong tr˜ÌnghÒp này

Có th∫ chia bi∫u diπn k∏t cßu thành ph˜Ïng pháp cßu trúc và ph˜Ïng phápthËng kê Các ph˜Ïng pháp cßu trúc miêu t£ k∏t cßu b¨ng cách xác ‡nh tính b£nchßt ho∞c các m®u cÏ b£n (nh˜ là các ˜Ìng tròn, hình lˆc giác, hình ch˙ nh™t, )

và quy t≠c ∫ t§o nên k∏t cßu Các ph˜Ïng pháp này có hiªu qu£ khi miêu t£ cáck∏t cßu có cßu trúc, qua ∑ c™p trong bài báo [38], [66], [105], [109] Ph˜Ïng phápthËng kê miêu t£ k∏t cßu thông qua t™p thËng kê các vector ∞c tr˜ng, d¸a trêncác tính chßt nh˜ Î t˜Ïng ph£n, entropy, ˜a ra trong [38], [39]

Trong [34], [56] d¸a vào nguyên l˛ k∏t cßu là s¸ l∞p i l∞p l§i cıa các chßtliªu vÓi mÎt t¶n sußt nhßt ‡nh, ˛ t˜ng cıa ph˜Ïng pháp này là s˚ dˆng mÎt t™pcác bÎ lÂc Gabor ∫ phân tích cßu trúc cıa k∏t cßu a tø lª (t¶n sË) và a h˜Óng.Zhang và cÎng s¸ [121] s˚ dˆng bi∏n Íi Gabor wavelet s˚ dˆng cho CBIR.

∞c tr˜ng GIST

Oliva và Torralba [75] mô hình hoá viªc nh™n d§ng c£nh th∏ giÓi th¸c b‰ quaphân o§n, quá trình x˚ l˛ các vùng và các Ëi t˜Òng cˆ th∫ b¨ng ∑ xußt t™pchi∑u tr¸c quan (tính t¸ nhiên, tính rõ ràng, tính nhám, giãn n, gÁ gh∑) bi∫u diπncßu trúc không gian cıa mÎt c£nh Mô hình này t§o ra mÎt không gian a chi∑u,trong ó các c£nh liên quan tÓi các chı ∑ ng˙ nghæa (ví dˆ nh˜ ˜Ìng phË, caotËc, bÌ bi∫n) ˜Òc xem nh˜ g¶n nhau Tính hiªu qu£ cıa ∞c tr˜ng GIST ã ˜Òcch˘ng minh trong nh™n d§ng Ëi t˜Òng [76], [103]

Bi∏n Íi Haar Wavelet

Bi∏n Íi Haar Wavelet là bi∏n Íi cÏ b£n t¯ mi∑n không gian sang mi∑n t¶n

sË Haar Wavelet ˜Òc ∑ xußt bi Alfred Haar [36] ∞c tr˜ng này ˜Òc s˚ dˆngtrong công trình [CT4]

Các ∞c tr˜ng cˆc bÎ hiªn nay ˜Òc s˚ dˆng rÎng rãi trong CBIR Thay vìtính toán d˙ liªu ∞c tr˜ng trên toàn bÎ £nh, các ph˜Ïng pháp trích rút ∞c tr˜ngd¸a trên cách ti∏p c™n này chø miêu t£ các thuÎc tính cˆc bÎ cıa các vùng £nhho∞c xác ‡nh các i∫m nÍi b™t MÈi £nh ˜Òc miêu t£ b¨ng mÎt t™p các vector

∞c tr˜ng (mÈi vector cho mÈi i∫m)

Các kˇ thu™t phát hiªn các i∫m nÍi b™t ã ˜Òc ∑ xußt trong mÎt sË nghiênc˘u nh˜ phát hiªn Harris [40], phát hiªn Harris-Laplace [67], phát hiªn Difference

of Gaussian (DoG) [59],v.v MÎt sË ph˜Ïng pháp tiêu bi∫u nhßt nh˜ SIFT Invariant Feature Transform) [63] và SURF (Speed Up Robust Features) [3] Trongcông trình [CT5] ã ˜a ra mÎt sË ánh giá v∑ hai ∞c tr˜ng SIFT và SURF trong

(Scale-hª thËng SIMPLE

Bên c§nh s˚ dˆng các i∫m nÍi b™t, trong £nh còn có rßt nhi∑u i∫m £nh n¨mr£i rác không t§o thành vùng Áng nhßt (vùng Áng nhßt gÁm các i∫m £nh cùngmàu và li∑n k∑ nhau) Viªc s˚ dˆng tßt c£ các i∫m £nh trong £nh (c£ các i∫m

£nh n¨m r£i rác) vào quá trình tra c˘u, Î ph˘c t§p tính toán s≥ cao và nhi∑u khichßt l˜Òng tra c˘u không ˜Òc c£i thiªn Trong công trình [CT2] ã s˚ dˆng kˇthu™t trích rút ∞c tr˜ng d¸a trên vùng thu¶n nhßt

1.2 TÍ hÒp ∞c tr˜ng trong tra c˘u £nh d¸a vào

nÎi dung

Các ki∫u ∞c tr˜ng tr¸c quan th˜Ìng ˜Òc s˚ dˆng là màu s≠c, k∏t cßu vàhình d§ng MÎt sË bi∫u diπn cho ki∫u ∞c tr˜ng màu gÁm bÎ ∞c tr˜ng l˜Òc Ámàu và mô men màu [98], bi∫u diπn ki∫u ∞c tr˜ng k∏t cßu gÁm mÎt sË bÎ ∞ctr˜ng nh˜ Tamura [65], [99] và ma tr™n Áng m˘c [39] Trong [89] s˚ dˆng mÎt

sË bÎ ∞c tr˜ng k∏t hÒp : l˜Òc Á màu, mô men màu, ma trân Áng m˘c, Tamura,miêu t£ Fourier và miêu t£ hình d§ng

Trong [35], [96] s˚ dˆng k∏t hÒp ki∫u ∞c tr˜ng màu, k∏t cßu, hình d§ng, gÁmcác bÎ ∞c tr˜ng l˜Òc Á màu, mô men màu [98], k∏t cßu Tamura [99] và ma tr™nÁng m˘c [39]

Trong [73] s˚ dˆng k∏t hÒp mÎt sË bÎ ∞c tr˜ng : l˜Òc Á màu, bßt bi∏n màu

và ma tr™n Áng m˘c Trong [48] s˚ dˆng k∏t hÒp mÎt sË bÎ ∞c tr˜ng l˜Òc Ámàu, t¸ t˜Ïng quan màu, bßt bi∏n màu, lÂc Gabor và bi∏n Íi wavelet Kˇ thu™tphân tích k∏t cßu th˜Ìng ˜Òc s˚ dˆng cho CBIR là Haar Wavelet [50], [108] Sauthu™t toán bi∏n Íi nhi∑u m˘c, ∞c tr˜ng thu ˜Òc t¯ ba kênh màu b¨ng chu©nF-norm [106]

Trong [90] Ëi vÓi t™p d˙ liªu £nh th˘ nhßt s˚ dˆng k∏t hÒp bÎ ∞c tr˜ng mômen màu [98] cho ki∫u ∞c tr˜ng màu, bÎ ∞c tr˜ng Tamura [99], ma tr™n Ángm˘c [73], [87] cho ki∫u ∞c tr˜ng k∏t cßu, bÎ ∞c tr˜ng miêu t£ Fourier và miêu t£hình d§ng chamfer [89] cho ki∫u ∞c tr˜ng hình d§ng Trên t™p d˙ liªu th˘ hai s˚dˆng k∏t hÒp mÎt sË bÎ ∞c tr˜ng gÁm l˜Òc Á màu, mô men màu [98], ma tr™nÁng m˘c [39], [73] T™p ki∫u ∞c tr˜ng và bÎ ∞c tr˜ng ˜Òc miêu t£ nh˜ sau :(1) F = {fi} là t™p ki∫u ∞c tr˜ng tr¸c quan m˘c thßp gÁm : màu, k∏t cßu,hình d§ng

(2) T = {tij} là t™p bi∫u diπn nhi∑u bÎ ∞c tr˜ng tij, trong ó mÈi bÎ ∞ctr˜ng thuÎc vào mÎt ki∫u ∞c tr˜ng fi và tij ⌘ [tij 1, ,tijk, ,tijM] là vectorgÁm nhi∑u thành ph¶n.

◊u i∫m viªc s˚ dˆng tÍ hÒp ∞c tr˜ng nh¨m k∏t hÒp th∏ m§nh cıa các bÎ

∞c tr˜ng trong miêu t£ nÎi dung tr¸c quan cıa £nh

trong ó Sij là Î t˜Ïng t¸ theo bÎ ∞c tr˜ng tij, Wij là trÂng sË t˜Ïng ˘ng

Ta bi∏t r¨ng Î o t˜Ïng t¸ ˜Òc s˚ dˆng ∫ xác ‡nh t˜Ïng t¸ ho∞c khôngt˜Ïng t¸ gi˙a hai £nh Các Î o t˜Ïng t¸ khác nhau ˜Òc s˚ dˆng cho các bi∫udiπn ∞c tr˜ng khác nhau Bi mÎt sË hàm t˜Ïng t¸ tr£ l§i mÎt giá tr‡ trong ph§m

vi [0,1], nh˜ kho£ng cách L1 (“giao l˜Òc Á”) [64], [95] ˜Òc s˚ dˆng cho so sánhcác bi∫u diπn l˜Òc Á màu, trong khi các hàm khác thì không nh˜ v™y Th¸c t∏,kho£ng cách Ã-clit (L2) ˜Òc dùng rÎng rãi nhßt nh˜ trong [57], [72], [80], [95].MÎt sË Î o phÍ bi∏n khác ã s˚ dˆng kho£ng cách Ã-clit trÂng sË nh˜ trong[5], [90], kho£ng cách Minkowsky Lp tÍng quát [92] và kho£ng cách Mahalanobistrong [80], [95]

Gi£ thi∏t r¨ng các giá tr‡ Î t˜Ïng t¸ cıa mÈi bÎ ∞c tr˜ng (S (tij)) trongph§m vi Îng t¯ 0 tÓi 1 Theo cách k∏t hÒp tuy∏n tính nh˜ Ph˜Ïng trình (1.1) s≥

tr nên ít ˛ nghæa Bi vì mÎt S (tij) nào ó có th∫ lßn át cái khác do giá tr‡ cıa nólÓn Bi l˛ do nh˜ v™y, khi tính S (tij) các thành ph¶n vector tijk ph£i ˜Òc chu©nhoá tr˜Óc khi tính Î o t˜Ïng t¸ Chu©n hoá các thành ph¶n tijk ˜Òc xem nh˜chu©n hoá ∞c tr˜ng và chu©n hoá S (tij) ˜Òc xem nh˜ chu©n hoá kho£ng cáchho∞c Î t˜Ïng t¸.

Hình 1.1 Thành ph¶n th˘ nhßt cıa ∞c tr˜ng mô men màu

Cho cÏ s d˙ liªu I1,I2, ,IN gÁm N £nh, tij = [tij1, ,tijk, ,tijM] là bi∫udiπn vector cıa bÎ ∞c tr˜ng tij trong ki∫u fi Ta có th∫ hình thành mÎt ma tr™n

∞c tr˜ng N ⇥ M trong ó tijk là thành ph¶n ∞c tr˜ng th˘ k Trong Hình1.1 mÈicÎt cıa ma tr™n là mÎt chuÈi {tijk} Mˆc ích chu©n hoá giá tr‡ trong mÈi cÎt vàomÎt ph§m vi, £m b£o mÈi thành ph¶n ∞c tr˜ng nh™n trÂng sË b¨ng nhau trongviªc xác ‡nh Î t˜Ïng t¸ gi˙a hai vector Trong CBIR th˜Ìng s˚ dˆng hai phépchu©n hoá : chu©n hoá min-max và chu©n hoá Gauss

1.3.2 Chu©n hóa min-max

Chu©n hóa min-max cho phép chuy∫n d˙ liªu v∑ ph§m vi [0, 1] nh˜ sau :

{tijk} 7! { ˜tijk}, 8k, ˜tijk = tijk min{tijk}

max {tijk} min{tijk}, (1.2)trong ó min{tijk} và max {tijk} là giá tr‡ nh‰ nhßt và lÓn nhßt cıa chuÈi  thànhph¶n k theo bÎ ∞c tr˜ng tij cıa tßt c£ các £nh trong cÏ s d˙ liªu

T˜Ïng t¸ giá tr‡ kho£ng cách theo mÈi bÎ ∞c tr˜ng ˜Òc chu©n hoá nh˜ sau :

H§n ch∏ : H¶u h∏t thông thông tin h˙u ích b‡ chuy∫n vào mÎt ph§m vi rßthµp trong [0, 1] n∏u giá tr‡ max lÓn

Chu©n hóa Gauss hay gÂi là 3 , phép chu©n hóa này khá hiªu qu£ ˜Òc s˚dˆng nhi∑u trong CBIR nh˜ trong [14], [19], [61], [78], [88], [90], i∑u này ˜ÒckhØng ‡nh theo Lu™t 1.1

Lu™t 1.1 3 ([90]) x là §i l˜Òng ng®u nhiên có trung bình µ và Î lªch thìxác sußt P⇣ x µ

3  1⌘ 0.99

Chu©n hoá thành ph¶n th˘ k cıa bÎ ∞c tr˜ng tij nh˜ sau :

{tijk} 7! { ˜tijk}, 8k, ˜tijk = tijk µk

d˙ liªu ∞c tr˜ng sau khi ˜Òc trích rút ã cho thßy gi£ thi∏t yêu c¶u d˙ liªu phân

bË Gauss là quá ch∞t ch≥ vì h¶u h∏t ∑u không tho£ mãn theo gi£ thi∏t này Hình

1 http://wang.ist.psu.edu

2 http://www.vision.caltech.edu/Image_Datasets/Caltech101/

3 www.robots.ox.ac.uk/~vgg/data/oxbuildings/

1.2 là ví dˆ v∑ thành ph¶n ∞c tr˜ng cıa mô men màu “r£i” trên mÎt mi∑n rÎng

và không theo phân bË Gauss

−1000 0 100 200 300 50

100 150 200 250 300 350 400

Value

Thanh phan 1 dac trung Mo men mau (goc)

Hình 1.2 Phân bË d˙ liªu thành ph¶n 1 cıa ∞c tr˜ng mô men màu (gËc)

th˘ 5, 97.4555% d˙ liªu “rÏi vào” [-1,1]

Trong l˜Òc Á d˙ liªu Hình 1.3(a) các thành ph¶n cıa chuÈi ∞c tr˜ng khôngph£i là mÎt phân bË Gauss, t˘c là gi£ ‡nh phân bË chu©n áp ∞t là không hÒp l˛.Khi chu©n hóa theo 3 , d˙ liªu sau khi chu©n hóa có th∫ nhi∑u thành ph¶n n¨mngoài o§n [ 1, 1], nh˜ trong Hình 1.3(b) Vì v™y s˚ dˆng chu©n hoá cho d˙ liªu

∞c tr˜ng là ch˜a §t ˜Òc mˆc tiêu cıa b˜Óc chu©n hoá

£nh k∏t qu£ có th∫ không phù hÒp vÓi mËi quan tâm cıa ng˜Ìi dùng.

Hình 1.4 Énh truy vßn “mandolin image 0001.jpg”

Hình 1.6 K∏t qu£ top 20 các £nh t˜Ïng t¸ nhßt vÓi £nh truy vßn  l¶n tra

c˘u khi t§o

Cho £nh nh˜ Hình 1.4 là mÎt truy vßn khi t§o tra c˘u trên t™p d˙ liªuCaltech 1014 Truy vßn ˜Òc ˜a vào hª thËng CBIR nh˜ Hình 1.5 K∏t qu£top 20 các £nh liên quan nhßt vÓi £nh truy vßn  l¶n tra c˘u khi t§o ˜Òc máytính ˜a ra nh˜ Hình 1.6 K∏t qu£ này ˜Òc x∏p h§ng d¸a trên ∞c tr˜ng m˘cthßp

Hình 1.7 Hai £nh có ng˙ nghæa t˜Ïng Áng

K∏t qu£ tra c˘u ˜Òc x∏p h§ng trong k∏t qu£ top 20 nh˜ Hình 1.6 ch˜atho£ mãn nhu c¶u tìm ki∏m cıa ng˜Ìi dùng Do con ng˜Ìi hi∫u £nh b¨ng các kháiniªm ng˙ nghæa m˘c cao nh˜ Hình 1.7 hai £nh ˜Òc xem nh˜ là liên quan Trong

4 http://www.vision.caltech.edu/Image_Datasets/Caltech101/

Query image

0 2000 4000 6000

Histogram: Query image

Image 3

0 2000 4000

Histogram: Image 3

Image 12

0 500 1000

Histogram: Image 12

khi ó máy tính (hay hª thËng tính toán) hi∫u các £nh thông qua ∞c tr˜ng m˘cthßp (nh˜ là l˜Òc Á màu) nh˜ Hình 1.8 nên “£nh truy vßn” và “£nh 3” (Image 3)

˜Òc xem là t˜Ïng Áng v∑ l˜Òc Á màu, do ó ˜Òc hª thËng x∏p th˘ h§ng caohÏn trong k∏t qu£ top 20

∫ nâng cao Î chính xác k∏t qu£ tra c˘u trong các l¶n l∞p ti∏p sau c¶n thi∏tthu hµp “kho£ng trËng ng˙ nghæa” ó là k∏t hÒp thông tin nÎi dung tr¸c quan(các vector ∞c tr˜ng m˘c thßp) vÓi thông tin ng˙ nghæa hÂc ˜Òc t¯ ph£n hÁitrên t™p top k thông qua nhãn m˘c Î quan trÂng b¨ng kˇ thu™t hiªu chønhtrÂng sË [90] ho∞c máy phân lÓp trong suËt pha tra c˘u [101]

Kˇ thu™t ph£n hÁi liên quan ˜Òc s˚ dˆng rÎng rãi nh¨m thu hµp “kho£ngtrËng ng˙ nghæa” trong CBIR, c£i thiªn k∏t qu£ tra c˘u thông qua t˜Ïng tác gi˙a

ng˜Ìi dùng và máy MÎt k‡ch b£n thông th˜Ìng cho ph£n hÁi liên quan trongCBIR nh˜ sau :

B˜Óc 1 : Máy tính ˜a ra các k∏t qu£ tra c˘u khi t§o (top k) thông qua

£nh truy vßn

B˜Óc 2 : Ng˜Ìi dùng cung cßp ánh giá trên k∏t qu£ top k, ánh giá theoki∫u nh˜ “liên quan” ho∞c “không liên quan” vÓi nh™n th˘c cıa chính ng˜Ìidùng ó

B˜Óc 3 : Máy hÂc và th˚ l§i L∞p l§i b˜Óc 2

T¯ t™p k∏t qu£ top k ˜Òc ánh giá, mÎt sË ph˜Ïng pháp phÍ bi∏n s˚ dˆng kˇthu™t ph£n hÁi liên quan nh˜ hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn ; mrÎng truy vßn ; kˇ thu™t hÂc máy MÈi ph˜Ïng pháp có cách hÂc khác nhau trongviªc s˚ dˆng thông tin cıa ng˜Ìi dùng

Hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn nh˜ trong [46], [88], [90] s˚ dˆngcác £nh ˜Òc ánh giá trong k∏t qu£ top k cho phép xây d¸ng trÂng sË TrÂng

sË ˜Òc gán mÎt hª sË cho mÈi chi∑u cıa i∫m truy vßn, các trÂng sË cao vÓicác chi∑u quan trÂng hÏn và ng˜Òc l§i Trong [88] s˚ dˆng trÂng sË kho£ng cáchÃ-clit, cho phép x˚ l˛ các m∞t elip vÓi trˆc chính ˜Òc gióng theo các trˆc to§ Î.MindReader [46] s˚ dˆng kho£ng cách Ã-clit tÍng quát, cho phép quay các trˆc

∫ làm viªc tËt hÏn vÓi các h˜Óng tu˝ ˛ các m∞t elip D‡ch chuy∫n truy vßn nh˜trong [88] và MindReader [46] bi∫u diπn truy vßn nh˜ mÎt i∫m Ïn trong khônggian ∞c tr˜ng, di chuy∫n i∫m truy vßn v∑ phía các i∫m k∏t qu£ liên quan và dichuy∫n ra xa các i∫m k∏t qu£ không liên quan fi t˜ng này xußt phát t¯ ph˜Ïngpháp cıa Rocchio [85] Trong [88], Mindreader [46] òi h‰i “truy vßn khi t§o” ıtËt và mÎt sË b˜Óc hiªu chønh c¶n thi∏t, tr˜Óc khi các trÂng sË hÎi tˆ tÓi các giátr‡ úng MÎt cách tr¸c giác, cách ti∏p c™n này phù hÒp vÓi nh™n th˘c chı quancıa ng˜Ìi dùng S¸ h§n ch∏ cıa nh˙ng ph˜Ïng pháp này là khó hÎi tˆ khi cáci∫m liên quan n¨m r£i rác trong không gian tr¸c quan

M rÎng truy vßn nh˜ trong [52], [83] cho phép gi£i quy∏t vßn ∑ khó hÎi tˆ.B¨ng cách s˚ dˆng nhi∑u i∫m truy vßn ∫ xây d¸ng cˆm cˆc bÎ cho các i∫m

liên quan, sau ó hÒp tßt c£ các k∏t qu£ Theo ti∏p c™n này, các cˆm cˆc bÎ ˜ÒchÒp l§i, cho phép hình thành mÎt ˜Ìng Ïn bao phı tßt c£ các i∫m liên quan.Tuy nhiên, ph˜Ïng pháp này có th∫ b‰ sót các £nh liên quan trong ó tÍng toàn

bÎ kho£ng cách cao cıa toàn bÎ các chi∑u, nh˜ng có th∫ nh˙ng £nh này t˜Ïng t¸ng˙ nghæa vÓi nhu c¶u thông tin cıa ng˜Ìi dùng

Nhiªm vˆ tra c˘u cıa hª thËng CBIR có th∫ ˜Òc xem xét nh˜ mÎt bài toánhÂc máy [16] Mˆc ích ∫ phân lÓp cÏ s d˙ liªu vào hai lÓp : lÓp liên quan ch˘acác £nh t˜Ïng t¸ vÓi các £nh truy vßn và lÓp không liên quan bi∫u diπn lÓp các

£nh mà không liên quan vÓi £nh truy vßn nh˜ trong [100], [101], [123] Các £nhliên quan nhßt, theo phân lÓp ˜Òc tr£ v∑ cho ng˜Ìi dùng Sau ó, ng˜Ìi dùng cóth∫ ánh giá các £nh k∏t qu£ này nh˜ là các £nh liên quan ho∞c không liên quan.Các £nh ˜Òc ánh giá bi ng˜Ìi dùng sau ó có th∫ ˜Òc thêm vào t™p hußnluyªn cho quá trình hÂc cho l¶n l∞p ti∏p theo

Nói chung, các ti∏p c™n trên ch˜a £m b£o tìm ˜Òc £nh liên quan mong muËn

và ôi khi chúng có th∫ t≠c ngh≥n cˆc bÎ ho∞c tìm l§i quanh qu©n khi không tìmthßy các £nh mÓi có liên quan ∫ gi£i quy∏t nh˙ng bßt lÒi ã nêu trên, lu™n ánv®n ti∏p nghiên c˘u s¸ k∏t hÒp a ∞c tr˜ng trong hª thËng CBIR s˚ dˆng hiªuchønh trÂng sË, d‡ch chuy∫n truy vßn và d¸a vào ti∏p c™n tËi ˜u Pareto

trong CBIR s˚ dˆng ph£n hÁi liên quan

Trong [20], [46], [90], [114] s˚ dˆng kˇ thu™t hiªu chønh trÂng sË hÂc thôngtin cıa ng˜Ìi dùng b¨ng cách i∑u chønh trÂng sË mÈi ∞c tr˜ng cıa truy vßn vàtrÂng sË cıa mÈi chi∑u trong cùng mÎt ∞c tr˜ng Các trÂng sË này ˜Òc i∑uchønh trong mÈi l¶n l∞p cıa ph£n hÁi liên quan Các trÂng sË lÓn ˜Òc gán chonh˙ng ∞c tr˜ng có s¸ phân biªt tËt gi˙a các £nh liên quan và không liên quan

∫ t´ng c˜Ìng Î chính xác tra c˘u

Das [20] l¸a chÂn trÂng sË d¸a vào tø sË cıa s¸ bi∏n thiên ∞c tr˜ng qua tßtc£ các l¶n tra c˘u vÓi các £nh liên quan ã ˜Òc tra c˘u Cho (l)j và rel ,j(l) kí hiªut˜Ïng ˘ng cho Î lªch chu©n cıa bÎ ∞c tr˜ng t trên các t™p R(l) [N(l) và R(l),trong ó R(l) và N(l) bi∫u diπn t™p cıa các £nh liên quan và không liên quan  l¶nl∞p th˘ l MÎt l¸a chÂn rßt hi∫n nhiên cıa trÂng sË cho bÎ ∞c tr˜ng t  các l¶nl∞p th˘ (l + 1) là

w(l+1)

(l) j (l) rel ,j

£nh liên quan t¯ các £nh không liên quan Gi£ s˚ It ,(l)

rel ,j = {It,I 2 R(l)}, Irel nghæa

là £nh liên quan thì vùng trÎi hÏn trong sË các £nh liên quan  l¶n l∞p th˘ l chothành ph¶n ∞c tr˜ng th˘ j ˜Òc xác ‡nh nh˜ sau :

D(l)

j = [min(Irel ,jt ,(l)), max (Irel ,jt ,(l))] (1.9)

Tø sË phân biªt ˜Òc s˚ dˆng ∫ xác ‡nh kh£ n´ng mÎt thành ph¶n ∞c tr˜ngtrong viªc phân tách các £nh liên quan t¯ các £nh không liên quan là :

(l)

j = 1 SË £nh không liên quan bên trong D

(l) j

|N(l)| (1.10)

Giá tr‡ cıa j n¨m gi˙a 0 và 1, là 0 khi tßt c£ các £nh liên quan cùng n¨mtrong ph§m vi trÎi nên không ánh trÂng sË cho các thành ph¶n ∞c tr˜ng này.Ng˜Òc l§i, khi không có mÎt £nh liên quan nào n¨m trong ph§m vi trÎi, trÂng sËlÓn nhßt s≥ ˜Òc cho các thành ph¶n ∞c tr˜ng ó Theo ó, th¸c nghiªm theo

hai cách hiªu chønh trÂng sË cho ∞c tr˜ng ˜Òc ˜a ra nh˜ sau :

w(l+1)

(l) j (l) rel ,j

, (1.11)

w(l+1)

j = j(l)⇤

(l) j (l) rel ,j

(1.12)

Trong [90] s˚ dˆng trÂng sË cho ki∫u ∞c tr˜ng và bÎ ∞c tr˜ng Î t˜Ïng t¸theo bÎ ∞c tr˜ng tij ˜Òc xác ‡nh :

S (tij) = mij(tij,wijk), wijk = 1/ ijk, (1.13)

trong ó mij là Î t˜Ïng t¸ t˜Ïng ˘ng theo bÎ ∞c tr˜ng tij và ijk là Î lªchchu©n cıa chuÈi theo thành ph¶n tijk trong sË các £nh liên quan

MÎt sË nghiên c˘u trong nh˙ng n´m g¶n ây [12], [41], [115], [124] s˚ dˆnghiªu chønh trÂng sË theo ti∏p c™n hÂc tr˜Óc t¯ d˙ liªu ∞c tr˜ng Zhou và cÎngs¸ [124] ∑ xußt hª thËng gÁm hai pha Trong pha off-line xây d¸ng mÎt t™p môhình ∫ ánh x§ tßt c£ các £nh trong cÏ s d˙ liªu sang không gian ∞c tr˜ng liên

quan Trong pha tra c˘u on-line, s≥ gán mÎt trÂng sË cho mÂi ∞c tr˜ng liên quand¸a vào £nh truy vßn, sau ó x∏p h§ng các £nh trong cÏ s d˙ liªu d¸a vào cácgiá tr‡ ∞c tr˜ng trung bình trÂng sË cıa nó MÈi ∞c tr˜ng ˜Òc s˚ dˆng ∫ xâyd¸ng mÎt cây nh˜ trong Isolation Forest [60] MÈi £nh I trong cÏ s d˙ liªu ˜Òc

˜Óc l˜Òng giá tr‡ liên quan li(I ) theo ∞c tr˜ng i trên mÈi cây Ti (i 2 {1, , t})

và ánh x§ I sang không gian ∞c tr˜ng liên quan nh˜ :

Xu và cÎng s¸ [115] ti∏n hành hÂc tr˜Óc (t˘c là s˚ dˆng ∞c tr˜ng cıa toàn

bÎ các £nh trong cÏ s d˙ liªu tính Î t˜Ïng t¸ tr˜Óc) t¯ d˙ liªu ∞c tr˜ng b¨ngcách xây d¸ng mËi liên quan ng˙ nghæa gi˙a các £nh thông qua Á th‡ (ma tr™nk∑) Nghiên c˘u này s˚ dˆng kˇ thu™t hÂc ánh x§ t¯ không gian ∞c tr˜ng m˘cthßp sang không gian ng˙ nghæa m˘c cao nh˜ trong Manifold Ranking (MR) [41],cho phép gi£m chi phí tính toán khi xây d¸ng ma tr™n li∑n k∑ D˙ liªu ∞c tr˜ngcıa tßt c£ các £nh ˜Òc trích rút và s˚ dˆng nh˜ to§ Î cıa các i∫m trong Áth‡ Ti∏p theo, l¸a chÂn bi∫u diπn cho các i∫m nh˜ các anchor và xây d¸ng matr™n trÂng sË Z b¨ng kernel regression vÓi mÎt lân c™n nh‰ s Các anchor ˜Òcl¸a chÂn off-line và không £nh h˜ng trong quá trình x˚ l˛ on-line Khi mÎt truyvßn ˜Òc ˜a vào, sau khi trích rút ∞c tr˜ng m˘c thßp, sau ó c™p nh™t trÂng sËcho ma tr™n Z , tính toán i∫m x∏p h§ng, chi ti∏t v∑ tính toán này có trong [115]