Luận văn tìm hiểu về tìm kiếm văn bản topk query và triển khai Ứng dụng

~ Đầu vào m danh sắch chứa đữ liệu bao gồm các cặp , với:Ì 1.m mlả số danh sách đầu vào, j 1..n là số đối tượng trên m danh sách, n9, n € X, trong đỏ O, là đối tượng và LoealScore,O là d

LOL CAM DOAN

Trước khi đi vào nội dung bản luận vấn thạo sĩ của mình, tôi xin cam đoan luận văn nay do chính tôi viết, dựa trên những kiễn thức, hiểu biết của bản thân, sự chỉ dẫn của cô giáo hướng dẫn và những thông tỉn mà tỏi tìm hiểu, tham khảo được qua gác tải liệu liên qum Các kết quả nêu trong luậu văn là trang hực và chưa lừng

được ai công bỗ trong các còng trình nào khác

Hạc viên

6 Thi Thanh Loan

LOI CAM ON Trên thực tế không cỏ sự thành công náo xả không gắn liền với những sự

hỗ trợ, giúp đỡ dù ít hay nhiều, đủ trực tiếp hay giản tiếp cúa người khác Trong, suốt thời gian tử khi bắt đầu học tập ở giảng đường đại học đến nay, em đã nhận

được rất nhiều sự quan tầm, giúp đố của quý Thầy Cô, gia đỉnh và bạn bẻ

Với lòng biết ơn sâu sắc nhất, em xin gủi đến quý Thầy Cô Viện Công

nghệ thông tin và Truyền thông - Trường Đại lọc Bách Khoa là Xội đã củng với

trí thức và tâm huyết của mình để truyền đạt vốn kiến thức qny bản cho em trong

suốt thời gian học lập lại trường

Em xin chân thành câm on TS.Vũ Tuyết Trinh đã tận tâm hướng dẫn em trong suốt quá trình làm luận vần Nếu không có những lời tưởng đn, dạy bào của

cô thì em nghĩ bài luận văn này của cm rất khó có thể hoàn thiện được Một lần nữa,

em xin chân thành cảm ơn cỏ

Trong quá trình làm không trảnh khỏi những thiêu sót, em rất mong nhận được những ÿ kiến đóng góp quỷ báu của quý Thầy Cô vả các bạn học củng lớp đễ kiến thức của em được hoàn thiên hơn

Sau củng, em xin kính chúc quý Thầy Cô trong Khoa Công nghệ thong tin thật đổi đão sức khỏe, niêm tin để tiếp tụo the hiện sử mệnh cao đẹp của mình là

truyền đạt kiến thức cho thả hệ mai sau Trân trong

TP IIN, ngày 20 tháng 9 năm 2014

Hoc viên thực hiện Œký va ghi họ tên)

2.1 Phát biểu bài toán Top- can rrireirerrire

2.2 Thuật toàn TA (Threshold Algorithmn) set

2.3, Thuat toan BPA(Best Position Algorithm) sen 12 2.4, Thufl fos TPUT (Thrace Phase Uniform Threshotd) oo 16

2,6, Thuật toan TPOR(Three-Phase Object-Ranking) ecsssesssrnenrvenmennenn 24 2.7 So sánh đảnh giả các thuật toán TA, TPUT, TEOR - 28

Chương 3 XÂY DỰNG ỨNG DỰNG QUẢN LÝ TRUYỆN CƯỜI

3.1, Mô tả bài toán

3.2 Xây dựng hệ thông

3.3 Thử nghiệm

Chương 4 KÉT LUẬN

4.1 Tôm lắt kết quả

4.2 Hướng phát triển óc th reo,

TÀI LIỆU THAM KHẢO

DANH MỤC CÁC TÌNTE

Tình 3 Ví dụ cơ sở đí liệu s) 3 đanh sách được sắp xóp b) Ngưỡng TA ở

vị trí từ 1 tới 18 cÿTông điểm của mỗi đối tượng dữ liệu 14

Chương 1 GIỚI THIỆU BÀI TOÁN

1.1 Lý do lựa chọn đề tài

Một truy vấn trên cơ sở dữ liệu SQL trả vẻ tất cả thông tin đáp ứmg được

các điều kiên trong truy vân Có thể xảy ra hai trường hợp

~ Câu trả lời trồng rỗng: khi câu truy vấn quả chọn lọc, quá nhiều lựa chọn,

Không có thông tin nào thỏa mãn

~ Nhiễu câu trả lời: khi truy vân không phải là quá chọn lọc, câu truy vẫn quá rộng, thông tin trả về quả nhiều

Trong hai trường hợp nay người đùng sẽ có thể mong muốn nhận được một

số lượng vửa phải các dữ liệu cân tìm Sử dụng truy vân top-k thay cho truy vân

thông thường để giải quyết hai vẫn đề trên, truy vân top-k định nghĩa như sau:

~ Truy vân Top-k nhằm mục đích lẫy tử môt tập thông tin trả về của một truy vẫn trên cơ sở đữ liệu SQL k thông tin mà cỏ tổng điểm cao nhất Tổng điểm này được tính dựa trên sự kết hợp của nhiều điều kiên trong truy vẫn

Vi du 1 Cho co sé dit ligu City gém 2 bing: Schools vi Houses

~ Cơ sở dữ liệu Houses cung cấp một danh sách xếp hang của những ngôi

nhà với giá rẻ nhất vả vị trí của chúng

- Cơ sở đữ liệu Schools cung cấp một danh sách xếp hạng các trưởng chỉ phí thấp nhật và vị trí của chúng

~ Yêu cầu: Đưa ra 4 vị trí trong thành phô có chi phí kết hợp mua một ngôi nhà và trả tiên học phí cho 10 năm tại vị trí đó là thấp nhất

HB[Izzem— | Pre SO] coaaion | Tumon] [RO] SO] | Eieriuriwnm

[ hãmaels | fi0DĐ—|Ƒ ME =Lamen lexe LÍ [a | 2 148006

kolene vigece [| l£ [mm hearaggE | 7000 —ESM-HH [j |, 14I088

Ldiagolo 188006 2 eee Vee

Chi phi = Price | 10* Tuition

=> KẾI quả cuéi cùng gủa truy vấn là: 4 cập Houses-Schools với chỉ phí thấp nhất

Đối với một só lượng lớn Ñchools và Heuscs, nếu xử lý truy vẫn theo cách truyền thống sẽ rất mắt thời gian vì phái thao tác lệnh lựa chọn dữ liệu và sắp xếp lại kết quả

1.2 Mục đích để tài

- Tim higu về truy vẫn top-k và mới số fhuật toán top-k Phân tích và so

sánh thời gian thực hiện các thuật toán

- Xây dựng được ứng dụng thử nghiệm áp dụng truy vân top-k với thm kiếm

full-text trên trưởng dữ liệu văn bản

1.3 Bố cục cứa luận văn

Phân tiếp theo của luận văn được trình bãy như sau:

- Chương 2 Cơ sở lý thuyết

- Chương 3 Xây dựng ứng dụng quản lý truyện cười JokzSwxlem sử dựng

truy văn Top-k

- Chương 4 Kết luận

Chương2 CƠ SỞ LÝ THUYẾT

2.1 Phát biểu bài tuần Top-k

Xét mà đánh sách đữ Hậu đã được sắp xếp đựa vào kết quả của Iruy vẫn

SQL

~ Đầu vào m danh sắch chứa đữ liệu bao gồm các cặp <Q.,LoealScore.(Q,)>, với:Ì 1.m (mlả số danh sách đầu vào), j 1 n (là số đối tượng trên m danh sách,

n9, n € X), trong đỏ O, là đối tượng và LoealScore,(O) là diễm của đổi tượng O,,

mỗi đổi tượng xuất hiện khổng phải chỉ trên một danh sách mà xuất hiện trẻn m danh sách, tùy theo kết quả của truy vẫn

- Dau ra: k d6i trong ©, có điểm tổng thế cao nhất Trong đó, điểm tổng thể

GlobalSeore(O,) được tính như sau:

GlobalScore(O;) = T(LoealSeore,(O)), với i=1 m (m lá số danh sách đầu

vào), L n (1á số đôi tượng trên m danh sách, n>0, n € N)

- Ÿ tưởng: Không duyệt hết các kết quả có thế mà chỉ cân duyệt một phân

và đưa ra top-k kết quả có thử tự

- Nhiều thuật toán TA[3][1], BPA[1], TPUT[3|, TPAT[3], TPOR|3] đã

được đề xuất cho phép tính tống điễm mỗi đối tượng theo nhiễu điển kiện và đưa ra

top-k kất quả thỏa mãn nhưng khác nhau về thời gian thực hiện thuật toản

- Dựa vào kỹ thuật xử lý chia cáo thuật toán top-k ra làm 2 dạng:

1 Các thuật toán Ngưỡng: TA, BPA

+ Các thuật toán 3 pha: TEUT, TEAT, TPOR

2.2 Thudt toan TA (Threshold Algorithm)

Tư tưởng thuật toán TA[1][3}: Xét m danh sich 4 dugs sắp xếp dựa vào các điều

kiện tìm kiếm của câu truy vin Duyét lan hượt từng hàng của mối danh sách, sau đỏ tỉnh tổng điểm các đôi tượng được tìm thây Tính giá trị ngưỡng của mỗi hàng, và

so sánh giá trị Ngưỡng với tổng điểm các đối tượng được tìm thấy Quá trình duyệt lần lượt từng hàng trên mỗi danh sách sẽ được lặp cho đến khi thỏa mãn có k đôi tượng lớn hơn hoặc bằng giả trị ngưỡng thì đứng thuật toán

a Các bước xây đựng thuật toán TA[1][3]:

Bước Ì

- Tính tổng điểm của mối đổi tượng theo công thức:

GlobalScore(O) = X( LaeslSeore (O3), với 1.m ậm là số danh sách đầu

vào), Flu Gala số đối tượng trên rụ đanh sách, 0>9, 11 6N)

+ O¿ Đối tượng được tìm thấy sớm nhất qua mối lần đuyệ

trên từng hàng

của mỗi danh sich

+ Local Score,(O): diém của đối tượng Ö,

¡ GlobalScore(O): điểm tổng thể của đổi tượng O;

- Sấp xếp lại danh sách kết quả sau Khả tính tổng điểm mỗi đổi tượng và đưa

ra k kết quả đò tổng điểm cao nhất vào đánh sách Ý, với k là số kết quả theo yêu cau top-k ban dau

Purde 2 Tinh ngudng N theo công thức:

N— XX{LocalSeore(O)), với i—1.1n ăn là số đanh sách đầu vào), j1 n ín

tả số đôi tượng tiên mì đành sách, n>0, n 6 N)

- 8o sánh mỗi đối tượng trong đanh sách Ý ở bước 1 với Ngưỡng

¡ Nếu đổi tượng nào có tổng điểm lớn hơn hoặc bang ngưỡng thì cho vào danh sách kết quả Ý và sắp xếp lại đánh sách

+ Nếu không có đổi lượng mào thỏa mãn điều kiện lớn hơn hoặc bằng

ngưỡng thì thuật toàn duyệt sang húng tiếp theo và quay lại bước 1

Thuật toán đửng khú có k đổi tượng thoả mãn điều kiện lớn hơn hoặc bằng,

ngưỡng.

Bước 3 Trả ra danh sách kết quả Y

b Vi du 2: Cho vi du vai ba hé thong con subsysteml, subsystem2, subsystem3 Yêu cầu tìm top-2 đổi tượng

<0, 17> <0, 29> <0, 14>

<O,, 11> <O,, 29> <O,, 9>

<O;, 11> <O;, 26> <O,,7>

<O,, 10> <O,, 9> <O,,1>

<O;, 10> <0,,7> | <O,1>

Hình 3 Vĩ dụ với ba hệ thông con

‘Vi tri Ls

~ Thuật toán TA duyệt hết các đôi tượng hang dau tién trong 3 hệ thông

+ các đổi tượng được nhìn thây: O5, O4, và O3

=> gia tri ngưỡng tại thời điểm nảy được tính như sau:

02

=> TA duy tri top 2 dỗi lượng O3 và O4

Tổng điểm của O3, O4 không lớn hơn giá trị ngưỡng hiện lại

=>TA tiếp tục duyệt các đối trợng tại vị trí thử hại của tất cả các đanh sách

A van giữ đôi tượng O3 và O4 vi tổng điểm cao hon so với của Q1 va

- Ta thay chỉ có O3 có tổng điểm lớn hơn giá trị ngưỡng luện tại là 60

=> thuật toán TA vẫn tiếp tục để quét các đối tượng ở vị trí thứ ba

—> 03 va O4 vẫn duy trì hai tổng điểm cao nhật, ở vị trí 3 này đã lớn hơn

hoặc bằng giá trị ngưỡng hiện tại

11

=> TA đừng vào thời điểm này và trả về O3 và O4 Tà top-2 đối tượng olin

tìm

2.3 Thuật tắn BPA(Rest Position Algorithm)

Tư tưởng thuật toán BPÁ|1]: Duyễt lần lượt qua mỗi hàng của m danh sách đầu

vào, san đỏ tỉnh tổng điểm các đối lượng được tim thấy Sau khi tỉnh tông điểm mỗi đổi tượng xeng, đem so sánh lần lượt mỗi đổi tượng được tìm thầy sớm nhất đó với

từng dối tượng trên các hàng còn lại của ra danh sách Mục dịch của việc so sánh là

để đưa ra vị trí tốt nhất của mỗi hàng Tống điểm của các vị trí tốt nhất sau khi so

sánh là giá trị ngưỡng Sau khi xác định được giá trị ngưỡng, ta đem so sảnh tiếp từng tổng điểm của mỗi đổi trong được tìm thảy trên mỗi hàng với ngưỡng, nên đôi

- Tính tổng điểm của mỗi đối tượng [eo công thức:

GlobalScore(O,) - 2( LoealScore(O,), với 1 1 m ím là số danh sảch đầu

vào), I nữn là số đổi tượng trên ra đanh sắc]

+ Qị Đối tượng được tim thấy sớm nhất qua mỗi Tân đuyệt trên từng hàng

cia mGi darih sich,

+ Local Score(Q)): điểm của đối tượng O¿,

+ GlobalSeore(O): điểm tổng thể của đối tượng O,

ước 2

Tuyệt qua từng hàng trên mỗi dựnh sách, so sảnh C¡ với mỗi đổi tượng trên

timg danh sich

"Thiết lập danh sách P chứa các đổi tượng có vị trí được nhìn thấy gần nhật trong méi danh sich m, sau khi thực hiện so sánh O với mỗi đổi tượng trên từng

danh sách Vị trí tốt nhất là vị trí được nhìn thấy gần nhất trước điểm ma

Trong mỗi danh sách P lây Ö, có LocalSeore cao nhất và thết lập bọ, là vị trí tốt nhất hay có LocalSeore cao nhất trong rnỗi danh sách P đó

Bước 3: Tính ngưỡng theo công thúc:

ÁN Ÿ(p), với! L.nú là số đổi tượng có vị tí tốt nhất trên rũ danh sách, n>0, n€ N)

Nếu Y chứa GlolalSeorc(O) cao hơn hoặc bằng X đủ O; đó được lưu vao

trong danh sách kết quả L và được sắp xếp lai danh sách Nếu không, đi dén 1

Thuật toán đừng khi có k dôi tượng thóa mãn điều kiện GlơbalScora,(O) lớn hơn hoặc bằng N

Bước 4: Trã ra L

b Ví dụ 4

Postion | [Dita | Taxa Tal] [as Toa

Kem | secee đêm | score || tem | scare

Hình 3 Vì dụ cơ sở dữ liệu a\ 3 danh sách được sắp xắp bì Ngưỡng TA ở vị trí từ 1 tới

10 c)Tông điềm của mỗi đổi tượng dữ liệu

~ Xét tai vj tri Position]: c6 3 ddi tuong dl, đ2, d3

+ Ö vị trí 1, so sánh các đôi tượng d1, d2, d3 với các vị trí khác trong Listl, tim ra vị trí chứa cùng các đôi tượng ta được:

dl <=> vi tii Position 1 co LocalScore = 30

d2 <=> vi tri Position 9 có LocalScore = 28

d3 <=> vj ti Position 4 có LocalScore = 30

= Ta được PI={1.4,9} => vị trí tốt nhất trong L1 la bp! = 1

‘Vi trí tiếp theo trong P1 là 4=—> các vị trí 2 và 3 không nhìn thầy

+ §o sánh tiếp các đổi tương di, d2, d3 với các vị trí khác trong L2, L3, tìm

ra vị trì chứa củng các đổi tượng, ta được:

P2 =(1,6.8) = ví tri tốt nhất trong L2 là bp2 = 1

P3=(1,5,8) => vị trí tốt nhất trong L3 là bp3 = 1

14

* VỊ tí tắt nhất là vị trí được nhìn thấy gẦn nhất trước điểm mù

—> Tỉnh ngưỡng nu suu:

N= EF bpL(1),bp2(1),bp3(1)}=30 128 130=88

=> Thiết lập được 3 vùng điểm eao nhất Y= (dl d2,43}

Xét theo tổng điểm của mỗi đổi tượng và so sánh với N, khong thay ed đối

Lượng nảo lớn hơn hoặc bằng N => BPA tiếp lục thuật toắn

- Xét tại vị trí Position 2, BPA nhìn thấy các đối trong: 44, d5, đó

1 Tương tự so sảnh d1, 2, 43, dd, d5, d6 lần lượt với List], Lisi2, List3 ta được

=> Thiết lập được 3 vùng điểm cao nhất Y={ d3, 44,45}

Xét theo tổng điểm của mỗi đổi tượng và so sánh với N, không thấy có đối tượng nào lớn hơn hoặc bằng N => IIPA tiếp Tục thuật toán

- Xét tại vị tri Position 3, BPA nhìn thấy các đối tương: d7, d8, va do

¡ Tương tự so sánh d1, đ2, d3, da, đ5, đố, đ7, đã, đ9 lần uot voi List],

=> Thiết lập được 3 ving điểm củo nhất Y={ đ3, d3, d8}

Xét theo lổng điểm của mỗi đổi tượng và so sánh với N, tá thấy có đối

ơng lớn hơn hoặc bằng N => BPA đừng,

= BPA dimg vi tri Position3

'Tư tưởng thuật toản: Thuật toán TPUT[3] thực hiện theo 3 pha, pha 1 là đuyêt k

hang trên ra danh sách đã được sắp xếp kết quả Tỉnh lỗng điểm mỗi đổi lượng trên

k hàng đó Sau đó sắp xép lại danh sảch tổng diểm để đưa vào danh sách kết quả k

đổi tượng có tỗng điểm lớn nhất Pha 2: trong đanh sách kết quá vừa thu được ta lại

lây đổi tượng có tổng điểm nhỏ nhật và chia cho tổng số danh sách đầu vào để được

giả tri ngưỡng Sau đó so sảnh điểm mối đổi tượng trên từng hàng với giá trị ngưỡng để đưa ra danh sách kết quả thỏa mãn điều kiện lớn hơn hoặc bằng ngưỡng Sau khi đưa được ra đanh sách kết quả thỏa măn ta thực hiện tỉnh tổng điểm mỗi adi tượng đỏ Pha 3: Sắp xép lại danh sách tổng điểm mối đối tượng và đưa ra k đối Lượng có lông điểm Tớn nhất

a Các hước xây dựng thuật tuắn TPUT[3]

vào), In đi là số đối tượng trên ta danh s

+ O; Déi trong được tim thấy sớm nhật qua mối lần duyệt trên từng hàng

của mỗi danh sách

1 TaocatRcore(Oj: điểm của đối tượng O,

16

+ GlobalScore(O): điểm tổng thể của đối tượng O,

- So gảnh tổng điểm của cáo đôi lượng, đưa ra k bản ghỉ có tông điểm cau

nhất vào đanh sách Ÿ,

Pha 2:

Trong đánh sách Y Tây đôi lượng có tổng điểm nhỏ nhất, kỷ liệu là L

1 Tỉnh ngưỡng T theo công thức: Lm, với m là tổng số danh sách đầu vào

| Duyét trên mỗi đanh sách và so sảnh điểm của mỗi đổi tượng với

Ngưỡng,

Nếu điểm của đôi tượng nào thỏa mãn lớn hơn hoặc bằng ngưỡng thì cho

vào đanh sách M

+ Tính tổng điểm của mỗi đối tượng trơng danh sách M theo công thức

GilobalScore(O,) = Ÿ( I.ocalScora(O.)), với I=1.m ứm là số đanh sách đâu

vào), fEL mrín là số đổi tượng lrên ra đanh sách, n>0, n € N)

1 G¿ Đối tượng được tìm thay som nhất qua mỗi lần duyệt trên từng hàng

của mỗi dari sch

+ LauaScore(O,): điểm của đối tượng O,

1 GlobalScore(O\: điểm tổng thể của đối Lượng O,

Pha 3: So sảnh tổng điểm của mỗi đổi trơng trong đanh sách M với nhau

Sap xếp Tại danh sách M, trả ra k kếi quả thöa mãn theo yêu cầu

b Ví dụ 5: Cho 3 hệ thông con: subsystern]1, sulisysterw2, subsystcm3 Yêu cau tim

và dưa ra top-2 đôi tượng

1

3 <O,, 11> <O,, 29> <O,, %

4 <O,, 11> <O,, 26> <O,, 7>

5 <O,, 10> <O,, 9> <O,, 1>

6| <O;,10> <O,,7> <O;, 1>

Pha 1:

Duyét 2 vi tri dau tién 1 va 2 ciia ca 3 subsystem

+ Tại sao lại chỉ chọn vị trí 1 và 2 đầu tiên: vì duyệt qua lần lượt các danh

sách ở tửng vị trí, lầy k=2 nên xét 2 vị trí 1 và 2 (Nếu chọn k=3 thi xét vị trí 1,2,3)

+ Tĩnh tổng điểm mỗi đôi tượng

= Dựa vào tổng điểm các đôi tượng này ta có top k=2 và 2 đôi tượng có

tổng điểm cao nhất là Ssum(O4) và Ssum (O3)

=> Pha 1 có §sum (O3) là giả trị có tổng điểm nhỏ nhất Ngưỡng sử dụng ở

pha 2 sẽ được tính như sau:

18