NGHIÊN CỨU HỆ TỐNG SEARCH ENGINE VÀ XÂY DỰNG ỨNG DỤNG TÌM KIẾM NỘI DUNG TÀI LIỆU

NGHIÊN CỨU HỆ TỐNG SEARCH ENGINE VÀ XÂY DỰNG ỨNG DỤNG TÌM KIẾM NỘI DUNG TÀI LIỆU

Dai hoc Bach Khoa

Khoa Cong Nghé Thong Tin

HIEN CUU HE THONG SEARCH ENGINE VA XAY

ie UNG DUNG TIM KIEM NOI DUNG TAI LIEU

NOI DUNG

¢ Phan tich va thiét ké

+ _ Kết luận & Hướng phát triển

thong tin S6 luong

Môi trường tìm kiếm Web :

port and further research within

ai Conference (TREC), co-sponsored by

achnology (NIST) and US Department o

k at the TREC conference questions and the standar

Môi trường tìm kiêm máy tính cá nhần

NOI DUNG

¢ Phan tich va thiét ké

+ _ Kết luận & Hướng phát triển

c_— ¬ File

NOI DUNG

¢ Phan tich va thiét ké

+ _ Kết luận & Hướng phát triển

quan li file

da quét

Tach HTML Tach PDF Tach DOC

( Chuyén déi font VN)

Thuật toán :

GÍ &eœ |- Đúng loại file? ¬ Da lap index ?

Bóc t A

ac h nội dung tài liệu

Phương pháp :

Tính trọng sô và loại bỏ các từ có trọng sô Íf

Phương pháp :

Dựa trên mô hình không gian vector và được tính theo công thức :

score(q, đ) = coord(d,q) - queryNorm(q) : 3» (tŒ, đ) - idƒ(Đ)Ÿ - boost(£E) - norm(t, d))

ting

Phương pháp lưu trữ từ :

postings lists

to be merged

with d1,d2,d3,d5 killed d8 noble d5

Tài liệu , trọng số (2.w1) 3.w2).(4.w3)

(3,w4) (4,.w5).(5.w6)

Table 5 : Bang cac muc tir nghich dao

Index File (Lucene)

¢ CFS File : Luu tri chi muc cua hé thong

¢ gen :Tong hop luu trit cc segment nhỏ

¢ lock :ngan nhiéu xt li index trong 1 thoi gian

(Mỗi chỉ mục bao gôm nhiêu seøment nhỏ , sau đó

nhập lại seement lớn )

18

Tìm kiem

19

Tôi ưu hóa hoạt động của các Module

Thu thập thông tin : Nhanh (Cân Giảm)

- Su dung thong tin file

-Nhiêu luông thu thập thông tin

-Một luông lập chỉ mục (Tránh lỗïi)->tăng số lượng

Giảm hoạt động các luông thu thập

thông tin

1.Chuyén trạng thái “Sleep” trong 1 khoảng

thời gian nêu tìm được một file hợp lệ

2.Chuyén trang thai “Sleep” trong 1 khoang

thời gian sau khi đã lướt qua n file không

hợp lệ

55)

Tăng tốc độ hiển thị th

T= Tmax > T=TI+T2

T : Thời gian hiến thị tât cả kết quả

T1: Thời gian hiền thị kết quả sô 1

23

Sơ đô lớp Data

Data Index

Sơ đô lớp gói Core

XmlExtrador RữEa

nt reactor

PdfExtractor

(name _ ®DocPriorityn me ®Start/)

@\WVrite ocFriority() ~

Sơ đô lớp gói UI

Main TabControl

MainForm

Static TabPage Search TabPage Index TabPage

TabPage

29

NOI DUNG

¢ Phan tich va thiét ké

+ _ Kết luận & Hướng phát triển

30

Bang so sánh ứng dụng

FoxIt Reader pdf 150(~200MB) “Lucene” 5,05 phút

Notepad ++ Html,xml 30(~40MB) “Lucene” 1,34 phút

3l

¢Em xin chan thanh

cam on

ce