Tìm kiếm thông tin theo các giá trị thuộc tính trên mạng ngang hàng có cấu trúc

IăH CăQU CăGIAăHĨăN I Ph m Th Hu TỊM KI M THỌNG TIN THEO CÁC GIÁ TR THU C TệNH TRểN M NG NGANG HÀNG Cị C U TRÚC NgƠnh:ăCôngăngh ăThông tin Chuyên ngành: Truy năd ăli uăvƠăM ngămáyătín

IăH CăQU CăGIAăHĨăN I

Ph m Th Hu

TỊM KI M THỌNG TIN THEO CÁC GIÁ TR THU C TệNH TRểN M NG NGANG HÀNG Cị C U TRÚC

NgƠnh:ăCôngăngh ăThông tin

Chuyên ngành: Truy năd ăli uăvƠăM ngămáyătính

Mƣăs :ă1.01.10

LU NăV NăTH CăS

NG IăH NGăD NăKHOAăH C

TS.ăNGUY NăHOĨIăS N

HƠăN i - 2008

L i cam đoan

Tôi xin cam đoan k t qu đ t đ cătrong lu n v n là s năph m c a riêng cá nhân tôi, không sao chép l i c a ng iăkhác Trong toàn b n iădungălu n v n, nh ng đi u đ cătrình bày ho c là c a

cá nhân tôi, ho c do tôi t ng h p đ căt các ngu n tài li u khác nhau T t c các tài li u đ că tham kh o đi u có xu t x rõ ràng, đ cătrích d n h p pháp và đ căli t kê đ y đ trong m c tài

li u tham kh o c a lu n v n

Tôi xin hoàn toàn chu trách nhi m và ch u m i hình th c k lu t theo quy đ nh cho l i cam đoan

c a mình

Hà N i, ngày 03 tháng 11 n m 2008

Ph m Th Hu

L i c m n

Tôi xin bày t l i c m n chân thành t i các th y cô giáo trong khoa Công ngh thông tin ậ i

h c Công ngh - HQG Hà N i, đ c bi t là các th y cô giáo trong b môn M ng và truy n d

li u, đƣ t o đi u ki n thu n l i và giúp đ tôi trong th i gian tôi h c t p

Tôi xin bày t lòng bi t n chân thành, l i c m n sâu s c đ i v i th y giáo TS Nguy n Hoài

S n đƣ t n tình h ng d n, đ nh h ng cho tôi gi i quy t các v n đ trong lu n v n

Tôi c ng xin bày t l i c m n đ i v i cha m , gia đình, các đ ng nghi p và b n h c viên l p Cao h c K12T3 đƣ đ ng viên, giúp đ , góp ý cho tôi r t nhi u trong quá trình hoàn thành lu n

v n

Hà N i, ngày 3 tháng 11 n m 2008

Ph m Th Hu

M C L C

Trang ph bìa

L i cam đoan

L i c m n

M c l c 1

D anh m c các thu t ng vƠ các t vi t t t 3

D anh m c b ng bi u 4

D anh m c hình v .5

M U 6

CH NG 1 T NG QUAN V M NG NGANG HÀNGError! Bookmark not

defined

1.1 Khái ni m m ng ngang hàng Error! Bookmark not defined.

1.3 K t lu n Error! Bookmark not defined.

CH NG 2 M NG NGANG HÀNG CÓ C U TRÚCError! Bookmark not

defined

2.1 M ng ngang hàng có c u trúc d a trên DHTError! Bookmark not defined.

2.1.1 Khái ni m m ng ngang hàng có c u trúcError! Bookmark not defined.

2.1.2 Các tính ch t c a m ng DHT Error! Bookmark not defined.

2.2 M ng ngang hàng có c u trúc CHORDError! Bookmark not defined.

2.2.1 Mô hình m ng Chord Error! Bookmark not defined.

2.2.2 Ánh x khóa vào m t node trong ChordError! Bookmark not defined.

2.2.3 Tìm ki m trong m ng Chord Error! Bookmark not defined.

2.2.4 Tham gia và năđ nh m ng Error! Bookmark not defined.

2.3 K t lu n Error! Bookmark not defined.

CH NG 3 M T S GI I PHÁP PHÂN PH I VÀ TÌM KI M THÔNG TIN

TRÊN M NG NGANG HÀNG CÓ C U TRÚC.Error! Bookmark not defined

3.1 INS/Twine Error! Bookmark not defined.

3.1.1 Gi i pháp Error! Bookmark not defined.

3.1.2 Nh n xét Error! Bookmark not defined.

3.2 CDS Error! Bookmark not defined.

3.2.1 Gi i pháp Error! Bookmark not defined.

3.2.2 Nh n xét Error! Bookmark not defined.

3.3 Data Indexing Error! Bookmark not defined.

3.3.1 Gi i pháp Error! Bookmark not defined.

3.3.2 Nh n xét Error! Bookmark not defined.

3.4 K t lu n Error! Bookmark not defined.

CH NG 4 GI I PHÁP TÌM KI M THÔNG TIN THEO CÁC THU C

TÍNH/GIÁ TR TRÊN M NG NGANG HÀNG CÓ C U TRÚC Error!

Bookmark not defined

4.1 Ýăt ng Error! Bookmark not defined.

4.2 Mô hình gi i pháp SMAV Error! Bookmark not defined.

4.2.1 Khái quát Error! Bookmark not defined.

4.2.2 Ánh x tên mi n-khóa và phân b n i dungError! Bookmark not defined.

4.2.3 Truy v n thông tin Error! Bookmark not defined.

4.2.4 Qu n lý khi tr ng thái m ngăthayăđ iError! Bookmark not defined.

CH NG 5 ÁNH GIÁ HI U QU C A GI I PHÁP ắTỊM KI M THÔNG

TIN THEO CÁC THU C TÍNH/GIÁ TR TRÊN M NG NGANG HÀNG

CÓ C U TRÚC” Error! Bookmark not defined.

5.1 ánhăgiáăđ nh tính Error! Bookmark not defined.

5.2.1 Các tham s mô ph ng Error! Bookmark not defined.

5.2.2 K t qu Error! Bookmark not defined.

5.3 M r ng h th ng cho phù h p v i các y u t th c t Error! Bookmark not defined.

CH NG 6 K T LU N VÀ H NG PHÁT TRI NError! Bookmark not defined.

DANH M C CÁC THU T NG VÀ CÁC T VI T T T

AV (Attribute/Value) Thu cătính/giáătr

Based -DHT D aătrênăb ngăb măphơnătán

Bibliographic database Cơyăth ăm c

Broadcast G iăphátătrƠnă(qu ngăbá)

CAN

(Content-Addressable Network)

M tăgiaoăth căm ngăngangăhƠngăd aătrênăDHTăth căhi năvi că phơnăb ăvƠăqu nălýăkhóaătrênăkhôngăgianănăchi u

CDS (Content discovery

System) H ăth ngăphátăhi năn iădung

Chord M tăgiaoăth căm ngăngangăhƠngăd aătrênăDHTăth căhi năvi că

phơnăb ăvƠăqu nălýăkhóaătheoăd ngăvòngă(ring) Client/Server Máy khách/ Máyăch

DHT (Distributed Hash

Table ) B ngăb măphơnătán

Entry M tăb năghiătrongăb ngădùngăđ ăl uăthôngătinăv ăcácăđ căt ătƠiă

nguyênăt iăm iănode

JXTA M tăc ăs ăh ăt ngăm ngăngangăhƠngăd aătrênămƣăngu năm

LBM (Load Balancing

Matrix) Maătr năcơnăb ngăt i

Load-balancing Cơnăb ngăt i

Node

Th căth ăcóăkh ăn ngăth căhi năm tăcôngăvi căh uăíchănƠoăđóăvƠă traoăđ iăk tăqu ăv iăcácăth căth ăkhácăquaăm ngăm tăcáchătr că

ti păho căgiánăti p Node Rendezvous Points i mănútămôiăgi i

P2P (Peer to Peer

network) M ngăngangăhƠng

Partial query Truyăv năt ngăph n

Partition Ph n,ăvùng

Replication B năsaoă(th ăb n)

Trade-off S ăth aăhi păhayăvi căcơnăb ngăgi aăcácăy uăt ăkhácănhauăđ ăđ tă

đ că1ăs ăk tăh păt tănh t

XML (Extensible Markup

Language) Ngônăng ăđánhăd uăm ăr ng

DANH M C B NG BI U

B ng 2-1 B ngăđ nhăngh aăcácătr ng trong Finger TableError! Bookmark not defined.

B ng 4-1 B ng ánh x khóa phân b - n i dung thông tinError! Bookmark not defined.

B ng 4-2 B ng ánh x khóa th c p Error! Bookmark not defined.

B ng 4-3 B ng ánh x khóa không ph bi n Error! Bookmark not defined.

B ng 4-4 B ng ánh x khóaăđ c bi t Error! Bookmark not defined.

DANH M C HỊNH V

Hình 1.1-1 Mô hình client/Server Error! Bookmark not defined Hình 1.1-2 Mô hình P2P Error! Bookmark not defined Hình 1.1-3 Mô hình m ng Napster Error! Bookmark not defined Hình 1.1-4 Mô hình x lý truy v n trên m ng GnutellaError! Bookmark not defined.

Hình 2.2-1 M t m ng Chord v i 3 node 0, 1, 3 và các b ng Finger Table ng v i m i

node N = 3 bit nên Finger Table có 3 entry Error! Bookmark not defined.

Hình 2.2-2ăL uăgi key trong m ngăChord:ănodeă0ăl uăkeyă6,ănodeă1ăl uăkeyă1ăvƠănodeă3ă

l uăkeyă2 Error! Bookmark not defined.

Hình 3.1-1 M t ví d v đ c t tài nguyên và cây AVTreeError! Bookmark not defined.

Hình 3.1-2 Mô hình ho tăđ ng c a h th ng INS/Twine.Error! Bookmark not defined.

Hình 3.1-3 Trích rút 1 AVTree thành các strand Error! Bookmark not defined Hình 3.1-4 Vi c qu n lý tr ng thái trong h thông INS/Twine.Error! Bookmark not defined.

Hình 3.2-1 Ki n trúc 1 node s d ng CDS Error! Bookmark not defined.

Hình 3.2-2 Ví d v vi căđ ngăkýătênămi n và x lý truy v n v i 1 t păcácăđi m môi gi i

RPs Error! Bookmark not defined.

Hình 3.2-3 Ma tr n cân b ng t i cho c p thu c tính aiviError! Bookmark not defined.

Hình 3.3-1 Ví d v đ c t file Error! Bookmark not defined.

Hình 3.3-2 Ví d v c u trúc các câu truy v n Error! Bookmark not defined.

Hình 3.3-3ă th bi u di n các câu truy v năđ căđ aăraătrongăhìnhă3.3-2 Error!

Bookmark not defined.

Hình 3.3-4ăL căđ ch m c cho d li uăcơyăth ăm c (bibliographic database) Error!

Bookmark not defined.

Hình 3.3-5 Ví d v ch m c phân tán cho 3 tài li uăđ căđ aăraătrongăhìnhă3.3-1ăvƠăl c

đ ch m c trong hình 3.3-4 Error! Bookmark not defined.

Hình 3.3-6 Vi c ánh x gi a các câu truy v n cho hình 3.3-5Error! Bookmark not defined.

Hình 4.2-1ăL căđ phân b tên n i dung thông tin theo gi i thu t SMAV Error!

Bookmark not defined.

Hình 4.2-2 Ánh x khóa th c p Error! Bookmark not defined.

Hình 4.2-3ăL căđ truy v n thông tin theo gi i thu t SMAVError! Bookmark not

defined.

Hình 5.2-1-A: T l ph nătr măt n s xu t hi n 1 thu c tính/giá tr Error! Bookmark not defined.

Hình 5.2-2-B T n s xu t hi n các AV trên các node Error! Bookmark not defined.

Hình 5.2-3 So sánh t i n i dung gi aă2ăph ngăphápăphơnăb tên n i dung: Phân ph i

bìnhăth ng d a trên DHT-Chord và phân ph i theo SMAVError! Bookmark not

defined.

Hình 5.2-4 So sánh t i truy v n gi aă2ăph ngăphápăphơnăb tên n i dung: Phân ph i

bìnhăth ng d a trên DHT-Chord và phân ph i theo SMAV.Error! Bookmark not

defined.

Hình 5.2-5 S ánh x sinh ra b i m i tên n i dung khi s d ng gi i thu t SMAVError! Bookmark not defined.

Hình 5.2-6 Th i gian truy v n Error! Bookmark not defined.

M U

Côngăngh ăm ngăngangăhƠngă(peer-to-peerănetwork)ăđƣăphátătri nănhanhăchóngătrênăm ngă

Internet trongăth iăgianăg năđơyăv iăs ăxu tăhi năc aăhƠngălo tăcácă ngăchia x ăfileăngangăhƠngă

nh ăNapster, Gnutella, Freenet, BitTorrent, Edonkey,… Quaăcácă ngăd ngănóiătrên,ăvi căchiaăs ă vƠătìmăki măcácătƠiănguyênăm ngătr ălênăd ădƠngăvƠănhanhăchóngăh năbaoăgi ăh t,ăngoƠiăra,ă

ng iăs ăd ngăcóăth ăchiaăs ăfileătr căti păchoănhau mƠăkhôngăc năthôngăquaăb tăc ămáyăch ăd chă

v ănƠo.ă

S ăd ămôăhìnhăm ngăP2Păphátătri nănh ăv yălƠăvìămôăhìnhănƠyăr tăphùăh păv iătínhăphơnătánăc aă

d ăli u,ăđ ngăth iănóăđ măb oăquy năqu nălýăd ăli uăc aăng iădùngănênăkhuy năkhíchăđ că

vi căchiaăs ăd ăli u,ălƠmăt ngăngu nătƠiănguyênătrênăm ng.ăMôăhìnhăP2Păc ngăđ căs ăd ngăđ ă

x ălýăcácăbƠiătoánăph căt pădoăt năd ngăđ căkh ăn ngătínhătoánăphơnătánăvƠătíchăh păd ăli uăt ă cácăpeerăthamăgiaăm ng.ăTrong mô hình P2P,ăm iăpeerăv aăcóăth ăđóngăvaiătròălà Client, v aăcóă

th ăđóng vai trò là Server T ngăs căm nhăx ălýăc aăcácăpeerănƠyăcóăkhiăl năh nănhi uăl năkh ă

n ngăx ălýăc aă1ăServerăl n.ăNh ăv y,ămôăhìnhăP2Păkhôngăch ălƠmăt ngăl ngătƠiănguyênăm ng,ă mƠăcònălƠmăt ngăs căm nhăx ălýăđápă ngăyêuăc uăd chăv ,ănơngăcao tínhăs năsƠngăph căv ăc aă

m ng

Tuy nhiên, trong th iăk ăđ uăm iăphátătri n, vi cătìmăki mătrongăm ngăngangăhƠngăth ngăđ că

th căhi n theoăki uăphátătrƠnăthôngăbáo,ăgơyăt năkémăb ngăthôngăm ng.ăCácă ngăd ngăsauănƠyăđƣă

t ngăb căc iăti năgiaoăth căđ nhătuy năthôngăbáo,ălƠmăm ngăho tăđ ngăhi uăqu ăh n,ănh ngăv nă

ch aăđ măb oăvi cătìmăki măthôngătinăs ăthƠnhăcông

M ngăngangăhƠngăcóăc uătrúcăs ăd ngăgi iăthu tăB ngăb măphơnătánă(DistributedăHashăTableăậ DHT)ăkh căph cănh căđi mătrên b ngăcáchăt ăch căcácănode m ngătheoăm tăc uătrúcăkhôngă gianăkhóaănh tăđ nhănh ăm chăvòngă(gi iăthu tăChord[7]) hay không gian n-chi uă(gi iăthu tă CAN[10])ăvƠăđ nhătuy năthôngăbáoăd aătrênăc uătrúcănƠy.ăN iădungăthôngătinăđ căg năv iăm tă khóa k lƠăgiáătr ăb măc aăm tăđ căt ăđ cătr ng nƠoăđó c aăn iădungăthôngătină(g iălƠătênăn iădung)ă vƠăs ăđ căphơnăb ăđ nănode ph ătráchăkhóaăk M iănodeătrongăm ngăs ăch uătráchănhi măqu nălýă 1ăt păcácăkhóaătrongăkhôngăgianăkhóa,ăvƠăl uăgi ăthôngătinăv ă1ăs ăcácănodeăkhácătrongăm ng.ă

Vi cătìmăki măthôngătinăquaăcơuătruyăv năqăđ căth căhi năb ngăcáchăb măqăđ ăđ căkhóaăkq,ăr iă chuy năqăđ nănodeăqu nălýăkhóaăkq,ănodeăđóăs ăth căhi năvi cătìmăki măđ aăph ngăvƠătr ăv ăk tă

qu ăchoăcơuătruyăv n.ăB ngăph ngăphápănƠy,ăgi iăthu tăDHTăchoăphépăxơyăd ngăm tăm ngă ngangăhƠngăv iăkh ăn ngăm ăr ngăcao,ăđ nhătuy năhi uăqu ăcácăgóiătinăthôngăbáoăt iăđíchăvà khángăl iăt t.ă

TÀI LI U THAM KH O

Ti ng Vi t

1 Nguy năHoƠiăS n,ăH ăS ă Ơm,ă“Tìm ki m thông tin theo các giá tr thu c tính trên m ng

ngang hàng có c u trúc”,ăTr ngă iăh căCôngăngh ,ă iăh căQu căgiaăHƠăN i,ă2008

2 TS.ăNguy nă iăTh ,ă“Công ngh m ng ngang hàng”,ăB ămônăM ngă&ăTruy năthôngă

MáyătínhăKhoaăCôngăngh ăThôngătin,ătr ngă iăh căCôngăngh ă- iăh c Qu căgiaăHƠă

N i,ă2006-2007

Ti ng Anh

3 W Adjie-Winoto, E Schwartz, H Balakrishnan and J Lilley,ă “The Design and Implementation of an Intentional Naming Systems”,ăInăProceedingsăofăACMăSymposium

on Operating Systems Principles, Dec 1999

4 M Balazinska, H Balakrishnan, and D Karger, "INS/Twine: A Scalable Peer-to-Peer Architecture for Intentional Resource Discovery", In Proceedings of International Conference on Pervasive Computing, August 2002

5 J Gao and P Steenkiste, "Design and Evaluation of a Distributed Scalable Content Discovery System", IEEE Journal on Selected Areas in Communications, January, January 2004

6 L Garc´es-Erice, P.A Felber, E.W Biersack, G Urvoy-Keller K.W Ross, “Data Indexing in Peer-to-Peer DHT Networks”, In Proceedings of 24rd International Conference on Distributed Computing Systems, March 2004

7 K Gummadi_, R Gummadiy, S Gribblez, S Ratnasamyx, S Shenker, I Stoica,ă “The Impact of DHT Routing Geometry on Resilience and Proximity”, SIGCOMM’03, August

25ậ29, 2003, Karlsruhe, Germany

8 Matthew Harren, Joseph M Hellerstein, Ryan Huebsch, Boon Thau Loo, Scott Shenker,

IonăStoica,ă“ăComplex Queries in DHT-based Peer-to-Peer Networks”

9 Wolfgang Nejdl, Boris Wolf, Changtao Qu_ , Stefan Decker_ , Michael Sintek_Ambj¨ ornă Naeve,ă Mikaelă Nilsson,ă Matthiasă Palm´er_ă ,ă Toreă Risch,ă “EDUTELLA: A P2P Networking Infrastructure Based on RDF”,ăHonolulu, Hawaii, USA, May 7ậ11, 2002

10 S.ă Ratnasamy,ă P.ă Francis,ă M.ă Handleyă andă R.ă Karp,ă “A Scalable Content-Addressable Network”,ăInăProceedingsăofăACMăSIGCOMM’01,ăAug.ă2001

11 A.ăRowstronăandăP.ăDruschel,ă“Pastry: Scalable, distributed object location and routing for large-scale peer-to-peer systems”,ă Ină Proceedingsă ofă IFIP/ACMă Internatională Conference on Distributed Systems Platforms, Nov 2001

12 I.ă Stoica,ă R.ă Morris,ă D.ă Karger,ă M.F.ă Kaashoek,ă H.ă Balakrisnan,ă “Chord: A Scalable peer-to-peer lookup service for Internet applications”,ă Ină Proceedingsă ofă ACM SIGCOMM’01,ăAugustă2001

13 Gerhard Weikum, “Peer-to-Peer Information Systems”, 2002

14 http://www.mac-p2p.com/p2p-history/

15 http://en.wikipedia.org/wiki/Gnutella

16 http://iml.jou.ufl.edu/projects/Fall02/Moody/history.html

17 http://www.readwriteweb.com/archives/skyrider_and_p2pfuture.php