slike thuyết trình báo cáo sử lý ngôn ngữ tự nhiên đề tài phân lớp văn bản - phân loại website

 Xây d ng mô hình phân l pự nhiên ớp văn bản được coi là quá trình phân  S d ng mô hình phân l p trên đ phân l p cho ử lý ngôn ngữ tự nhiên ụng mô hình phân lớp trên để phân lớp cho ớp

Trang 1

X lý ngôn ng t nhiên ử lý ngôn ngữ tự nhiên ữ tự nhiên ự nhiên

Phân l p văn b n – Phân lo i website ớp văn bản – Phân loại website ản – Phân loại website ại website

Nhóm sinh viên th c hi n : ực hiện : ện :

Giáo viên h ướng dẫn : ng d n : ẫn :

Trang 2

N i dung ội dung

• Ph ương pháp giải quyết bài toán ng pháp gi i quy t bài toán ải quyết bài toán ết bài toán

• Ch ương pháp giải quyết bài toán ng trình Demo

• K t lu n ết bài toán ận

Trang 3

T ng quan ổng quan

lo i 1 văn b n b t kỳ vào m t hay nhi u l p ại 1 văn bản bất kỳ vào một hay nhiều lớp ải quyết bài toán ất kỳ vào một hay nhiều lớp ội dung ều lớp ớp văn bản được coi là quá trình phân cho tr ướp văn bản được coi là quá trình phân c.

 Xây d ng mô hình phân l pự nhiên ớp văn bản được coi là quá trình phân

 S d ng mô hình phân l p trên đ phân l p cho ử lý ngôn ngữ tự nhiên ụng mô hình phân lớp trên để phân lớp cho ớp văn bản được coi là quá trình phân ể phân lớp cho ớp văn bản được coi là quá trình phân

nh ng văn b n (ch a đữ tự nhiên ải quyết bài toán ư ược coi là quá trình phân c phân lo i)ại 1 văn bản bất kỳ vào một hay nhiều lớp

Trang 4

T ng quan ổng quan

• Ứng dụng lớn nhất của bài toán phân lớp ng d ng l n nh t c a bài toán phân l p ụng mô hình phân lớp trên để phân lớp cho ớp văn bản được coi là quá trình phân ất kỳ vào một hay nhiều lớp ủa bài toán phân lớp ớp văn bản được coi là quá trình phân văn b n là áp d ng vào bài toán phân lo i ải quyết bài toán ụng mô hình phân lớp trên để phân lớp cho ại 1 văn bản bất kỳ vào một hay nhiều lớp hay l c n i dung Các ng d ng c th nh : ọc nội dung Các ứng dụng cụ thể như: ội dung ứng dụng cụ thể như: ụng mô hình phân lớp trên để phân lớp cho ụng mô hình phân lớp trên để phân lớp cho ể phân lớp cho ư

 L c th rácọc nội dung Các ứng dụng cụ thể như: ư

 L c trang web có n i dung ph n đ ng, không ọc nội dung Các ứng dụng cụ thể như: ội dung ải quyết bài toán ội dunglành m nh,…ại 1 văn bản bất kỳ vào một hay nhiều lớp

• M t ng d ng khác c a bài toán phân l p là ội dung ứng dụng cụ thể như: ụng mô hình phân lớp trên để phân lớp cho ủa bài toán phân lớp ớp văn bản được coi là quá trình phân

Trang 5

Ph ương pháp giải quyết bài tốn ng pháp gi i quy t bài tốn ải quyết bài tốn ết bài tốn

• Ph ương pháp giải quyết bài tốn ng pháp Nạve Bayes

 Phân lo i văn b n b ng ph ại 1 văn bản bất kỳ vào một hay nhiều lớp ải quyết bài tốn ằng phương pháp ương pháp giải quyết bài tốn ng pháp Nạve Bayes

• Áp d ng vào bài tốn phân l p website ụng mơ hình phân lớp trên để phân lớp cho ớp văn bản được coi là quá trình phân

Trang 6

Ph ương pháp giải quyết bài tốn ng pháp Nạve Bayes

• Đ nh lý Bayes: ịnh lý Bayes

Trang 7

Phân lo i Nạve Bayes ại 1 văn bản bất kỳ vào một hay nhiều lớp

• Bi u di n bài tốn phân lo i: ể phân lớp cho ễn bài tốn phân loại: ại 1 văn bản bất kỳ vào một hay nhiều lớp

 M t t p h c D_train, trong đĩ m i ví d h c x ội dung ận ọc nội dung Các ứng dụng cụ thể như: ỗi ví dụ học x ụng mơ hình phân lớp trên để phân lớp cho ọc nội dung Các ứng dụng cụ thể như:

được coi là quá trình phân c bi u di n là 1 vector n chi u (xể phân lớp cho ễn bài tốn phân loại: ều lớp 1, x2,…, xn)

 M t t p xác đ nh các nhãn l p: C = {cội dung ận ịnh lý Bayes ớp văn bản được coi là quá trình phân 1, c2,…, cm}

 V i 1 ví d m i z, ta c n xác đ nh xem z sẽ đớp văn bản được coi là quá trình phân ụng mơ hình phân lớp trên để phân lớp cho ớp văn bản được coi là quá trình phân ần xác định xem z sẽ được ịnh lý Bayes ược coi là quá trình phân c phân lo i vào l p nào?ại 1 văn bản bất kỳ vào một hay nhiều lớp ớp văn bản được coi là quá trình phân

• M c tiêu: xác đ nh phân l p phù h p nh t ụng mơ hình phân lớp trên để phân lớp cho ịnh lý Bayes ớp văn bản được coi là quá trình phân ợc coi là quá trình phân ất kỳ vào một hay nhiều lớp

v i z ớp văn bản được coi là quá trình phân

Trang 8

• Vì xác su t P(z ất kỳ vào một hay nhiều lớp 1, z2,…, zn) là nh nhau ư

đ i v i các l p nên ta c n tìm: ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ớp văn bản được coi là quá trình phân ần xác định xem z sẽ được

Trang 9

• L i cĩ, trong ph ại 1 văn bản bất kỳ vào một hay nhiều lớp ương pháp giải quyết bài tốn ng pháp phân lo i ại 1 văn bản bất kỳ vào một hay nhiều lớp Nạve Bayes, gi s các thu c tính là ải quyết bài tốn ử lý ngơn ngữ tự nhiên ội dung

đ c l p cĩ đi u ki n đ i v i các l p ội dung ận ều lớp ện đối với các lớp ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ớp văn bản được coi là quá trình phân

Trang 10

• Phân lo i Nạve Bayes tìm phân l p cĩ ại 1 văn bản bất kỳ vào một hay nhiều lớp ớp văn bản được coi là quá trình phân

th nh t đ i v i ví d m i z sẽ là: ể phân lớp cho ất kỳ vào một hay nhiều lớp ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ụng mơ hình phân lớp trên để phân lớp cho ớp văn bản được coi là quá trình phân

Trang 11

Phân lo i Nạve Bayes – gi i ại 1 văn bản bất kỳ vào một hay nhiều lớp ải quyết bài tốn

• Giai đo n h c: s d ng 1 t p h c ại 1 văn bản bất kỳ vào một hay nhiều lớp ọc nội dung Các ứng dụng cụ thể như: ử lý ngơn ngữ tự nhiên ụng mơ hình phân lớp trên để phân lớp cho ận ọc nội dung Các ứng dụng cụ thể như: D_train.

 Đ i v i m i phân l p cĩ th C, tính xác su t ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ỗi ví dụ học x ớp văn bản được coi là quá trình phân ể phân lớp cho ất kỳ vào một hay nhiều lớp

tr ướp văn bản được coi là quá trình phân c P(ci)

 Đ i v i m i giá tr thu c tính x ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ỗi ví dụ học x ịnh lý Bayes ội dung j, tính xác su t ất kỳ vào một hay nhiều lớp

x y ra c a giá tr thu c tính đĩ v i m t phân ải quyết bài tốn ủa bài tốn phân lớp ịnh lý Bayes ội dung ớp văn bản được coi là quá trình phân ội dung

l p c ớp văn bản được coi là quá trình phân i P(xj | ci )

•

Trang 12

Phân lo i Nạve Bayes – gi i ại 1 văn bản bất kỳ vào một hay nhiều lớp ải quyết bài tốn

• Giai đo n phân l p, v i m i ví d m i: ại 1 văn bản bất kỳ vào một hay nhiều lớp ớp văn bản được coi là quá trình phân ớp văn bản được coi là quá trình phân ỗi ví dụ học x ụng mơ hình phân lớp trên để phân lớp cho ớp văn bản được coi là quá trình phân

 Đ i v i m i phân l p C, tính giá tr ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ỗi ví dụ học x ớp văn bản được coi là quá trình phân ịnh lý Bayes likehood:

 Xác đ nh phân l p c a z là cĩ th nh t: ịnh lý Bayes ớp văn bản được coi là quá trình phân ủa bài tốn phân lớp ể phân lớp cho ất kỳ vào một hay nhiều lớp

•

Trang 13

Phân lo i văn b n b ng ph ại 1 văn bản bất kỳ vào một hay nhiều lớp ải quyết bài tốn ằng phương pháp ương pháp giải quyết bài tốn ng pháp Nạve Bayes

• Bi u di n bài tốn phân lo i văn b n: ể phân lớp cho ễn bài tốn phân loại: ại 1 văn bản bất kỳ vào một hay nhiều lớp ải quyết bài tốn

 T p h c D_train, trong đĩ m i ví d h c là m t ận ọc nội dung Các ứng dụng cụ thể như: ỗi ví dụ học x ụng mơ hình phân lớp trên để phân lớp cho ọc nội dung Các ứng dụng cụ thể như: ội dung

bi u di n văn b n đã g n v i 1 nhãn l p xác ể phân lớp cho ễn bài tốn phân loại: ải quyết bài tốn ắn với 1 nhãn lớp xác ớp văn bản được coi là quá trình phân ớp văn bản được coi là quá trình phân

đ nh: D = {(dịnh lý Bayes k, ci)}

 M t t p các nhãn l p xác đ nh: C = {cội dung ận ớp văn bản được coi là quá trình phân ịnh lý Bayes i}

Trang 14

• Giai đo n h c: ại 1 văn bản bất kỳ vào một hay nhiều lớp ọc nội dung Các ứng dụng cụ thể như:

 T t p các văn b n trong D_train, ta trích ra t p ừ tập các văn bản trong D_train, ta trích ra tập ận ải quyết bài tốn ậncác t khĩa T= {từ tập các văn bản trong D_train, ta trích ra tập i}

 G i D_cọc nội dung Các ứng dụng cụ thể như: i ( D_train) là t p các văn b n trong ận ải quyết bài tốnD_train cĩ nhãn l p là cớp văn bản được coi là quá trình phân i

 Đ i v i m i phân l p cối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ỗi ví dụ học x ớp văn bản được coi là quá trình phân i :

 Tính giá tr xác su t tr ịnh lý Bayes ất kỳ vào một hay nhiều lớp ướp văn bản được coi là quá trình phân ủa bài tốn phân lớp c c a phân l p c ớp văn bản được coi là quá trình phân i

•

Trang 15

• Giai đo n h c: ại 1 văn bản bất kỳ vào một hay nhiều lớp ọc nội dung Các ứng dụng cụ thể như:

 Đ i v i m i phân l p cối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ỗi ví dụ học x ớp văn bản được coi là quá trình phân i :

 Đ i v i m i t khĩa t ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ỗi ví dụ học x ừ tập các văn bản trong D_train, ta trích ra tập j , tính xác su t t khĩa t ất kỳ vào một hay nhiều lớp ừ tập các văn bản trong D_train, ta trích ra tập j xu t ất kỳ vào một hay nhiều lớp

hi n đ i v i l p c ện đối với các lớp ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ớp văn bản được coi là quá trình phân i theo cơng th c: ứng dụng cụ thể như:

 Trong đĩ: n(dk, tj) là s l n xu t hi n t khĩa t ối với các lớp nên ta cần tìm: ần xác định xem z sẽ được ất kỳ vào một hay nhiều lớp ện đối với các lớp ừ tập các văn bản trong D_train, ta trích ra tập j trong văn b n d ải quyết bài tốn k

Trang 16

• Giai đo n phân l p cho 1 văn b n m i d: ại 1 văn bản bất kỳ vào một hay nhiều lớp ớp văn bản được coi là quá trình phân ải quyết bài tốn ớp văn bản được coi là quá trình phân

 T văn b n d, trích ra t p T_d g m các t khĩa ừ tập các văn bản trong D_train, ta trích ra tập ải quyết bài tốn ận ồm 2 bước: ừ tập các văn bản trong D_train, ta trích ra tập

được coi là quá trình phân c đ nh nghĩa trong t p T (T_d T)ịnh lý Bayes ận

 Gi s r ng xác su t xu t hi n c a t khĩa tải quyết bài tốn ử lý ngơn ngữ tự nhiên ằng phương pháp ất kỳ vào một hay nhiều lớp ất kỳ vào một hay nhiều lớp ện đối với các lớp ủa bài tốn phân lớp ừ tập các văn bản trong D_train, ta trích ra tập j đ i ối với các lớp nên ta cần tìm:

v i l p cớp văn bản được coi là quá trình phân ớp văn bản được coi là quá trình phân i là đ c l p đ i v i v trí c a t khĩa đĩ ội dung ận ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ịnh lý Bayes ủa bài tốn phân lớp ừ tập các văn bản trong D_train, ta trích ra tập trong văn b n.ải quyết bài tốn

•

Trang 17

• Giai đo n phân l p cho 1 văn b n m i d: ại 1 văn bản bất kỳ vào một hay nhiều lớp ớp văn bản được coi là quá trình phân ải quyết bài tốn ớp văn bản được coi là quá trình phân

 Đ i v i m i phân l p cối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ỗi ví dụ học x ớp văn bản được coi là quá trình phân i, ta tính giá tr ịnh lý Bayes likehood

c a văn b n d đ i v i l p của bài tốn phân lớp ải quyết bài tốn ối với các lớp nên ta cần tìm: ớp văn bản được coi là quá trình phân ớp văn bản được coi là quá trình phân i theo cơng th c:ứng dụng cụ thể như:

 Văn b n d sẽ đải quyết bài tốn ược coi là quá trình phân c phân vào l p c* cĩ giá tr ớp văn bản được coi là quá trình phân ịnh lý Bayes

likehood l n nh t:ớp văn bản được coi là quá trình phân ất kỳ vào một hay nhiều lớp

Trang 18

Áp d ng vào bài toán phân lo i website ụng mô hình phân lớp trên để phân lớp cho ại 1 văn bản bất kỳ vào một hay nhiều lớp

Mô hình gi i quy t bài toán ải quyết bài toán ết bài toán

Trang 19

và còn hay ho c ặc không

b l i ải quyết bài toán ại 1 văn bản bất kỳ vào một hay nhiều lớp giá vì b i ởi t i ại 1 văn bản bất kỳ vào một hay nhiều lớp

b y mà ận có đi u ều lớp h n n a ơng pháp giải quyết bài toán ữ tự nhiên hu ng h ối với các lớp nên ta cần tìm: ồm 2 bước: hu ng gì ối với các lớp nên ta cần tìm:

B ng danh sách các stop-wordải quyết bài toán

Trang 20

STT Tên Nhãn Mô tả

1 Kinh tết bài toán nss Các n i dung liên quan đ n th tr ội dung ết bài toán ịnh lý Bayes ường, kinh doanh,… ng, kinh doanh,…

2 Giáo d c ụng mô hình phân lớp trên để phân lớp cho edu Các n i dung liên quan đ n giáo d c ội dung ết bài toán ụng mô hình phân lớp trên để phân lớp cho

3 Văn hóa, gi i trí ải quyết bài toán ent Các n i dung liên quan đ n ngh thu t, âm nh c, ội dung ết bài toán ện đối với các lớp ận ại 1 văn bản bất kỳ vào một hay nhiều lớp

đi n nh ện đối với các lớp ải quyết bài toán

4 S c kh e ứng dụng cụ thể như: ỏe hel Các n i dung liên quan đ n s c kh e ội dung ết bài toán ứng dụng cụ thể như: ỏe

5 Chính tr , xã h i ịnh lý Bayes ội dung plt Các n i dung liên quan đ n tình hình chính tr , xã h i,ội dung ết bài toán ịnh lý Bayes ội dung

…

6 Khoa h c ọc nội dung Các ứng dụng cụ thể như: sci Các n i dung liên quan đ n khoa h c ội dung ết bài toán ọc nội dung Các ứng dụng cụ thể như:

7 Th thao ể phân lớp cho spt Các n i dung liên quan đ n th thao ội dung ết bài toán ể phân lớp cho

8 Công nhện đối với các lớp tec Các n i dung liên quan đ n công ngh ội dung ết bài toán ện đối với các lớp

B ng các l p tin t cải quyết bài toán ớp văn bản được coi là quá trình phân ứng dụng cụ thể như:

Trang 21

Ch ương pháp giải quyết bài toán ng trình demo

Trang 22

Any question?

Định dạng
Số trang	22
Dung lượng	479,72 KB