Mô hình tách từ, gán nhãn từ loại và hướng tiếp cận tích hợp cho tiếng việt

Tôi xin gửi lời cảm ơn các anh chị em trong nhóm seminar về khai phá dữ liệu ở phòng thí nghiệm Các hệ tích hợp thông minh SISLAB – trường Đại học Công nghệ đã tạo một môi trường nghiên

Mô hình tách từ, gán nhãn từ loại và hướng tiếp cận

tích hợp cho tiếng Việt

TRẦN THỊ OANH

Master Thesis

Giảng viên hướng dẫn: TS Lê Anh Cường

PGS.TS Hà Quang Thụy

2008

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của bản thân Các số liệu, kết quả trình bày trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào trước đây

LỜI CẢM ƠN

Trước tiên, tôi xin bày tỏ sự biết ơn sâu sắc tới PGS Tiến sĩ Hà Quang Thuỵ (trường Đại học Công nghệ - ĐH Quốc gia Hà Nội) đã tận tình hướng dẫn tôi trong suốt quá trình thực hiện luận văn

Tôi xin gửi lời cảm ơn chân thành tới Tiến sĩ Lê Anh Cường (Bộ môn KHMT – Trường Đại học Công nghệ - ĐH Quốc gia Hà Nội) đã nhiệt tình chỉ bảo tôi hỗ trợ tôi để tôi có thể hoàn thiện luận văn

Tôi xin gửi lời cảm ơn các anh chị em trong nhóm seminar về khai phá dữ liệu ở phòng thí nghiệm Các hệ tích hợp thông minh (SISLAB) – trường Đại học Công nghệ đã tạo một môi trường nghiên cứu khoa học giúp tôi thực hiện luận văn

Tôi xin cảm ơn đề tài QG.07.25 và đề tài 203609 đã hỗ trợ tôi một phần kinh phí trong thời gian tôi thực hiện luận văn này

Và lời cuối cùng, tôi xin bày tỏ lòng chân thành và biết ơn vô hạn tới cha mẹ, các anh chị tôi đã luôn ở bên cạnh tôi, giúp tôi vượt qua khó khăn trong học tập cũng như trong cuộc sống

Hà Nội, ngày 30 tháng 12 năm 2008

Trần Thị Oanh

MỞ ĐẦU

Tách từ (word segmentation) và gán nhãn từ loại( part-of-speech tagging – POS tagging) là hai bài toán đặc biệt quan trọng trong xử lý ngôn ngữ tự nhiên Tuy nhiên, các nghiên cứu tại Việt Nam về hai vấn đề này vẫn còn ở giai đoạn ban đầu Do đó, nhu cầu là rất lớn cả về cơ sở khoa học và xây dựng công cụ thực hiện sẵn dùng Xét về mặt ngôn ngữ, các cách tách từ khác nhau dẫn đến các cách gán nhãn từ loại khác nhau và ngược lại thông tin về các qui tắc đi kèm nhau của các từ loại có thể ảnh hướng tới việc tách từ Đây có thể là cơ sở cho một mô hình chung của hai quá trình này Vì thế, trong luận văn này chúng tôi nghiên cứu “Mô hình tách từ, gán nhãn từ loại và hướng tiếp cận tích hợp cho tiếng Việt” Đóng góp của luận văn là việc tìm hiểu, nghiên cứu và đề xuất mô hình thực hiện tách từ, gán nhãn từ loại tiếng Việt; xây dựng công cụ thực hiện liên quan; bên cạnh đó để huấn luyện và kiểm thử mô hình chúng tôi cũng tiến hành xây dựng một corpus tiếng Việt về gán nhãn từ loại xấp xỉ 8000 câu Luận văn cũng tiến hành thực nghiệm một hướng tiếp cận tích hợp cho hai bài toán này Các nghiên cứu trình bày trong luận văn sẽ đặc biệt hữu ích cho các nghiên cứu ở mức cao hơn như dịch máy, tóm tắt văn bản, phân tích cú pháp

Cấu trúc của luận văn được trình bày như sau:

• Chương 1: Khái quát về tách từ và gán nhãn từ loại tiếng Việt : Trong chương này, luận văn giới thiệu hai bài toán cơ bản trong xử lý ngôn ngữ tự nhiên

là bài toán tách từ và bài toán gán nhãn từ loại tiếng Việt, các hướng tiếp cận cho mỗi bài toán và tình hình nghiên cứu chung ở Việt Nam cũng như trên thế giới Chương 1 cũng trình bày các hướng tiếp cận tích hợp hai bài toán này để nâng cao hiệu quả của cả hai mô hình đã được áp dụng thành công cho tiếng Trung

• Chương 2: Một mô hình tách từ tiếng Việt : Chương này nghiên cứu và đề xuất một mô hình cho bài toán tách từ tiếng Việt tận dụng thông tin tri thức từ nhiều nguồn khác nhau nhằm tăng độ chính xác của bộ tách từ

• Chương 3: Một mô hình gán nhãn từ loại tiếng Việt: Chương này nghiên cứu và đề xuất mô hình gán nhãn từ loại tiếng Việt, các công việc mà luận văn

đã tiến hành nhằm xây dựng một mô hình gán nhãn từ loại hiệu quả như thiết

kế corpus gán nhãn từ loại, đề xuất mô hình sử dụng Maximum Entropy Model (MEM) và thiết kế các tập đặc trưng khác nhau để tìm ra các đặc trưng hữu ích cho tiếng Việt

• Chương 4: Một mô hình tích hợp tách từ và gán nhãn từ loại tiếng Việt:

Từ các nghiên cứu đã trình bày trong chương 2, chương 3 và đặc điểm tiếng Việt, chương 4 trình bày một mô hình tích hợp hai bài toán đó áp dụng cho tiếng Việt

• Kết luận: Phần này tóm tắt lại nội dung của luận văn và những đóng góp chính

mà luận văn đã thực hiện

• Phụ lục A: Chú giải tập từ loại vnPOS : Mô tả cụ thể để giải thích thêm tập nhãn từ loại mà luận văn đề xuất phục vụ xây dựng corpus gán nhãn từ loại tiếng Việt

Mục lục

1 KHÁI QUÁT VỀ TÁCH TỪ VÀ GÁN NHÃN TỪ LOẠI TIẾNG VIỆT 1

1.1 Khái quát về tách từ tiếng Việt 1

1.2 Khái quát về gán nhãn từ loại - POS tagging 2

1.2.1 Giới thiệu về bài toán gán nhãn từ loại 2

1.2.2 Các hướng tiếp cận bài toán POS tagging 4

1.2.3 Các nghiên cứu gán nhãn từ loại cho tiếng Việt 6

1.3 Vấn đề tích hợp tách từ và gán nhãn từ loại 7

2 MỘT MÔ HÌNH TÁCH TỪ TIẾNG VIỆT 9 2.1 Các mô hình liên quan 9

2.1.1 Mô hình dựa vào từ điển 9

2.1.2 Mô hình nhận dạng tên thực thể - Named Entity Recognition 10

2.1.3 Mô hình N-gram 10

2.2 Phân tích các mô hình 11

2.3 Thiết kế tập đặc trưng 12

2.3.1 FS1: Đặc trưng trích từ mô hình tách từ dựa vào từ điển 13

2.3.2 FS2: Đặc trưng dựa vào mô hình nhận dạng tên thực thể 13

2.3.3 FS3: Đặc trưng dựa vào mô hình N-gram 14

2.4 Kết quả thực nghiệm 15

2.4.1 Đánh giá các đặc trưng FS1 và FS2 so với các mô hình trước đó 15

2.4.2 Đánh giá tầm quan trọng của từng tập thuộc tính 16

2.5 Đánh giá kết quả tách từ 17

3 MỘT MÔ HÌNH GÁN NHÃN TỪ LOẠI TIẾNG VIỆT 19 3.1 Xây dựng corpus gán nhãn từ loại cho tiếng Việt 19

3.1.1 Thiết kế tập thẻ VnPOSTag 19

3.1.2 Mô tả bộ dữ liệu làm vnPOS corpus 21

3.1.3 Xây dựng vnPOS corpus 22

3.2 Gán nhãn từ loại bằng phương pháp Maximum Entropy Model 24

3.2.1 Mô hình xác suất 24

3.2.2 Các đặc trưng của gán nhãn từ loại 25

3.3 Đề xuất mô hình gán nhãn từ loại cho tiếng Việt 26

3.3.1 Gán nhãn từ loại dựa vào thông tin từ 27

3.3.2 Gán nhãn từ loại dựa vào hình vị 29

3.4 Đánh giá kết quả gán nhãn từ loại 30

4 MỘT MÔ HÌNH TÍCH HỢP TÁCH TỪ VÀ GÁN NHÃN TỪ LOẠI TIẾNG VIỆT 32 4.1 Các mô hình tích hợp cho tiếng Trung 32

4.2 Lựa chọn mô hình tích hợp cho tiếng Việt 34

4.3 Xây dựng mô hình và tiến hành thực nghiệm 35

4.3.1 Features 35

4.3.2 Giải mã 35

4.3.3 Kết quả 36

4.4 Thảo luận 36

Danh sách hình vẽ

2.1 Mô hình tách từ sử dụng N-gram 11

2.2 Các mô hình liên quan cần để trích các đặc trưng 12

2.3 Biểu đồ độ đo F1 18

3.1 Giao diện công cụ trợ giúp gán nhãn vnPOS 23

3.2 Kiến trúc gán nhãn từ loại 26

4.1 Kiến trúc tích hợp tách từ và gán nhãn từ loại tiếng Việt 34

1 Bảng thuật ngữ Anh - Việt ix

2.1 Bảng tập đặc trưng 13

2.2 Ví dụ tập đặc trưng 1 (FS1) 13

2.3 Ví dụ một câu được tách từ 15

2.4 Kết quả đánh giá hiệu quả của đặc trưng dựa vào từ điển 16

2.5 Kết quả đánh giá hiệu quả của đặc trưng dựa vào NER 16

2.6 Kết quả thực nghiệm khi bỏ đi lần lượt từng tập đặc trưng 17

2.7 Kết quả thực nghiệm sử dụng từng loại đặc trưng riêng 17

3.1 Tập thẻ vnPOSTag của từ loại tiếng việt 22

3.2 Kết quả gán nhãn từ loại dựa vào thông tin mức từ 29

3.3 Kết quả gán nhãn từ loại dựa vào thông tin hình vị 30

4.1 Một ví dụ ouput của mô hình tích hợp 35

4.2 Kết quả thực nghiệm tích hợp tách từ và gán nhãn từ loại 36

seach Sau khi đã huấn luyện mô hình entropy cực đại, ta có thể sử dụng nó để gán nhãn

từ loại cho một câu mới Quá trình gán nhãn cho câu mới tiến hành cho các từ từ trái sang phải Tại mỗi thời điểm sẽ lưu lại k chuỗi nhãn tốt nhất (xác suất lớn nhất) và sử dụng nó để làm ngữ cảnh gán nhãn cho từ tiếp theo Cho trước một câu w1, , wn, một chuỗi nhãn ứng cử viên có xác suất điều kiện như phương trình 3.9

P (a1 an|w1 wn) =

n

Y

i=1

p(ai|bi) (3.9)

trong đó bi là lịch sử tương ứng với từ thứ i Thay vì phải tính tích các thừa số nhỏ ta logarit hai vế của phương trình trên và đưa về phép lấy tổng

Thuật toán BEAM SEARCH: beamsize = N

• Sinh các tag cho từ wi, tìm ra N tag có xác suất cao nhất gắn vào N chuỗi tag kí hiệu là Sj (j = 1, , N)

• For i = 2 to n ( n là độ dài của câu)

– For j = 1 to N

∗ Sinh các tag cho wi với Sj là chuỗi tag trước đó

∗ Gắn tag này vào đuôi của Sj

– Từ các chuỗi tag đang có tìm N chuỗi có xác suất cao nhất là Sj (j = 1, , N)

• Trả về chuỗi tag có xác suất cao nhất S1

Trong các thực nghiệm để đo độ chính xác của mô hình gán nhãn từ loại, chúng tôi chọn kích thước beam size là N = 3

Kết quả thực nghiệm

Thực nghiệm được tiến hành trên corpus có kích thước ∼8000 câu như mô tả ở phần 2 Toàn bộ corpus được chia làm 5 fold sau đó kiểm thử theo phương pháp kiểm thử chéo (cross validation) Kết quả thực nghiệm được mô tả ở bảng 3.2:

Kết quả thực nghiệm cho thấy độ chính xác trung bình đạt được chỉ là 85.57%, thấp hơn nhiều so với kết quả tầm 96% mà Rat sử dụng khi gán nhãn cho English

Như vậy, các đặc trưng tỏ ra hữu ích với bộ gán nhãn từ loại tiếng Anh thì dường như không ứng dụng được cho tiếng Việt trong khung MEM

Bảng 3.2: Kết quả gán nhãn từ loại dựa vào thông tin mức từ.

Fold Precision

1 85.17

2 85.64

3 85.51

4 85.71

5 85.81 Trung bình 85.57

3.3.2 Gán nhãn từ loại dựa vào hình vị

Vì bộ gán nhãn từ loại dựa trên thông tin về từ cho kết quả không được cao, còn cách

xa độ chính xác mà Ratnaparkhi thực hiện gán nhãn từ loại cho tiếng Anh, chúng tôi tiếp tục nghiên cứu một cách biểu diễn đặc trưng khác đã được xây dựng thành công cho tiếng Trung [22] Với đặc điểm tiếng Việt rằng hình vị cấu tạo nên từ, chúng tôi thiết kế tập đặc trưng mới dựa trên thông tin về hình vị như sau:

Đặc trưng - Features

Chúng tôi đã tiến hành thử nghiệm với loại đặc trưng dựa trên hình vị như mô tả trong phần dưới đây:

• Hình vị Si ( i= -2,-1,0,1,2)

• Sự liên kết hình vị với hình vị hiện tại với window size = 2

• Thẻ của hình vị đằng trước POS(S−1W0)

• Thẻ của 2 hình vị đằng trước từ hiện tại POS(S−2W0)POS(S−1W0)

• Hình vị đang xét có phải dấu câu?

• Hình vị đang xét có phải hình vị đầu tiên của một câu?

Bảng 3.3: Kết quả gán nhãn từ loại dựa vào thông tin hình vị

Fold Precision

1 88.63

2 89.64

3 89.26

4 89.36

5 89.63 Trung bình 89.22

Giả sử xét hình vị ba thì 2 đặc trưng tương ứng cho hình vị này sẽ nhận giá trị là:

VB và NC_VB (Với giả thiết rằng "nhà" được gán nhãn là NC và "quản_lý" được gán nhãn là VB)

Giải mã - Testing

Thủ tục giải mã tương tự như đã mô tả ở phần trên, chú ý một điểm là xác suất của một

từ được gán nhãn từ loại t được tính bằng tích xác suất của mỗi hình vị trong từ đó được gán nhãn từ loại t tương ứng

Giả sử khi đánh giá xác suất của từ "tài_ba" được gán nhãn JJ thì đầu tiên ta tính xác suất của mỗi hình vị "tài" và "ba" được gán nhãn JJ sau đó nhân tích hai xác suất này ta được xác suất của từ "tài_ba" được gán nhãn JJ Đây cũng chính là ràng buộc để tất cả các hình vị trong một từ của một câu đã được tách từ phải có cùng một nhãn từ loại

Kết quả thực nghiệm

Chúng tôi cũng tiến hành thực nghiệm dựa trên corpus tương tự như đã mô tả trong phần 3.1 và thực nghiệm cho kết quả như bảng 3.3: Độ chính xác trung bình trên 5 fold lên khá cao 89.22%

Từ kết quả thực nghiệm ta nhận thấy rằng đặc trưng tỏ ra hữu ích với tiếng Anh thì lại không thực sự hữu ích đối với tiếng Việt bởi sự khác biệt về ngôn ngữ (tiếng Anh là ngôn ngữ biến hình trong khi đó tiếng Việt là ngôn ngữ đơn lập, không biến hình) Kết quả thực nghiệm cũng chỉ ra rằng cách trích các đặc trưng dựa trên hình vị cho kết quả cao

hơn đáng kể (89.22%) so với cách trích các đặc trưng dựa trên thông tin về từ (85.57%) Như vậy, đối với tiếng Việt thì hướng tiếp cận dựa trên hình vị tỏ ra hữu ích hơn hẳn hướng tiếp cận dựa trên từ

Chương 4 MỘT MÔ HÌNH TÍCH HỢP TÁCH TỪ VÀ GÁN NHÃN TỪ LOẠI

TIẾNG VIỆT

Các nghiên cứu gần đây áp dụng cho tiếng Trung đã bắt đầu nghiên cứu việc tích hợp phân đoạn từ và gán nhãn từ loại, báo cáo những cải tiến độ chính xác so với hướng tiếp cận pipeline truyền thống Các tiếp cận giải mã khác nhau đã được áp dụng để làm giảm không gian tìm kiếm khi tích hợp Như đã tóm lược sơ qua trong phần giới thiệu ở chương

1 thì bài toán tích hợp được chia làm 2 loại: Một loại là tích hợp giả và một loại là tích hợp thực sự Năm 1993, Chang và Chen [10] đã trình bày một mô hình tích hợp bao gồm các bước:

1 Tạo ra N chuỗi tách từ tốt nhất(N-best word sequences) đối với một câu cho sẵn

2 Thực hiện gán nhãn từ loại cho mỗi chuỗi từ đó, sau đó chọn ra N chuỗi thẻ từ loại tốt nhất tương ứng

3 Sử dụng đánh giá có trọng số của (1) và (2) để chọn giải pháp tách từ và gán nhãn

từ loại tốt nhất cho câu đầu vào đó

trong đó, bước 1 và 2 được thực hiện kế tiếp nhau, vì vậy nó có tên gọi là tích hợp giả (pseudo-integration)

Các hướng tiếp cận tích hợp thực sự được quan tâm nghiên cứu nhiều hơn Lai [9]

đề xuất một hướng tiếp cận tích hợp thực sự (true-integration):

1 Xem xét tất cả các chuỗi tách từ có thể có đối với mỗi câu đầu vào

2 Tiếp tục mở rộng các chuỗi đó thành chuỗi các thẻ có thể, tạo thành một không gian ứng cử tách từ và gán nhãn cho câu đó

A watermark is added at the end of each output PDF file.

To remove the watermark, you need to purchase the software from

http://www.anypdftools.com/buy/buy-pdf-splitter.html