Nghiên cứu gán nhãn từ loại cho văn bản tiếng việt bằng phương pháp học máy không có hướng dẫn

Công cụ này cũng hỗ trợ cho việc phân tích cú pháp các văn bản, góp phần giải quyết tính đa nghĩa của từ, và trợ giúp các hệ hống rút trích thông tin hướng đến ngữ nghĩa, v.v… Vấn đề gán

Nghiên cứu gán nhãn từ loại cho văn bản tiếng Việt bằng phương pháp học máy không có

hướng dẫn Trần Thu Trang Trường Đại học Khoa học Tự nhiên Luận văn ThS ngành: Bảo đảm toán học cho máy tính và hệ thống tính toán

Mã số: 60 46 35 Người hướng dẫn: TS Nguyễn Thị Minh Huyền

Năm bảo vệ: 2012

Abstract Trình bày tổng quan về bài toán gán nhãn từ loại, các tiếp cận để giải

quyết bài toán gán nhãn từ loại, so sánh các tiếp cận, trình bày hiện trạng cùng các phương pháp đã được dùng để giải quyết bài toán gán nhãn từ loại cho tiếng Việt, khó khăn chưa khắc phục được Trình bày các kiến thức toán học, các mô hình học máy được sử dụng trong luận văn Trình bày một số phương pháp học máy không có hướng dẫn cho bài toán gán nhãn từ loại, để từ đó có thể xây dựng một quy trình giải

quyết bài toán gán nhãn từ loại tiếng Việt theo cách tiếp cận này

Keywords Toán tin; Gán nhãn từ loại; Văn bản tiếng Việt; Máy tính

Content

MỞ ĐẦU

Một trong các vấn đề nền tảng của ngôn ngữ tự nhiên là việc phân loại các từ thành các lớp từ loại dựa theo thực tiễn hoạt động ngôn ngữ Mỗi từ loại tương ứng với một lớp từ giữ một vai trò ngữ pháp nhất định Nói chung, mỗi từ trong một ngôn ngữ có thể gắn với nhiều

từ loại, và việc tự động “hiểu” đúng nghĩa một từ phụ thuộc vào việc nó được xác định đúng

từ loại hay không Công việc gán nhãn từ loại cho một văn bản là xác định từ loại của mỗi từ trong phạm vi văn bản đó Các công cụ gán nhãn (hay chú thích) từ loại cho các từ trong một văn bản có thể thay đổi tuỳ theo quan niệm về đơn vị từ vựng và thông tin ngôn ngữ cần khai thác trong các ứng dụng cụ thể

Xác định từ loại chính xác cho các từ trong văn bản là vấn đề rất quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên Công cụ gán nhãn từ loại có thể được ứng dụng rộng rãi trong

các hệ thống tìm kiếm thông tin, trong các ứng dụng tổng hợp tiếng nói, các hệ thống nhận dạng tiếng nói cũng như trong các hệ thống dịch máy Công cụ này cũng hỗ trợ cho việc phân tích cú pháp các văn bản, góp phần giải quyết tính đa nghĩa của từ, và trợ giúp các hệ hống rút trích thông tin hướng đến ngữ nghĩa, v.v…

Vấn đề gán nhãn từ loại của nhiều ngôn ngữ đã được giải quyết tốt bằng phương pháp học máy có hướng dẫn, nghĩa là phải xây dựng một kho ngữ liệu huấn luyện lớn và/hoặc xây dựng tập luật để nhận diện từ loại Hiện nay, bài toán gán nhãn từ loại tiếng Việt cũng đã được một số nhóm nghiên cứu và giải giải quyết cũng chủ yếu bằng phương pháp học máy có hướng dẫn, nhưng việc xây dựng tập huấn luyện còn gặp nhiều khó khăn vì bản thân các nhà ngôn ngữ học vẫn còn chưa thống nhất về tập từ loại tiếng Việt nên các nhóm tự định nghĩa tập nhãn khác nhau, và các nhóm cũng tự xây dựng kho dữ liệu đã gán nhãn và xây dựng tập luật khác nhau Công việc này mất rất nhiều thời gian, tiền của và công sức của các nhà nghiên cứu Một cách tiếp cận khác cho bài toán gán nhãn từ loại là sử dụng phương pháp học máy không có hướng dẫn để một mặt giải quyết vấn đề xác định bộ nhãn từ loại, mặt khác tiết kiệm công sức xây dựng tập huấn luyện Đề tài này nghiên cứu một số phương pháp gán nhãn từ loại không có hướng dẫn, trên cơ sở đó đưa ra một quy trình giải quyết bài toán gán nhãn từ loại tiếng Việt bằng cách tiếp cận này

Cấu trúc luận văn

Cấu trúc luận văn chia làm 3 chương:

Chương I: Tổng quan

Trong chương này sẽ trình bày tổng quan về bài toán gán nhãn từ loại, các tiếp cận để giải quyết bài toán gán nhãn từ loại, so sánh các tiếp cận Chương này cũng trình bày hiện trạng cùng các phương pháp đã được dùng để giải quyết bài toán gán nhãn từ loại cho tiếng Việt, khó khăn chưa khắc phục được

Chương II: Cơ sở toán học

Chương này sẽ trình bày các kiến thức toán học, các mô hình học máy được sử dụng trong luận văn

Chương III: Cách tiếp cận không có hướng dẫn cho bài toán gán nhãn từ loại

Chương này sẽ trình bày một số phương pháp học máy không có hướng dẫn cho bài toán gán nhãn từ loại, để từ đó có thể xây dựng một quy trình giải quyết bài toán gán nhãn từ loại tiếng Việt theo cách tiếp cận này

Chương 1 - TỔNG QUAN

1.1 Bài toán gán nhãn từ loại

Gán nhãn từ loại là việc xác định các chức năng ngữ pháp của từ trong câu hay là quá trình gán từng từ trong đoạn văn bản với các đánh dấu từ loại hoặc cấu trúc ngữ pháp Đây là bước cơ bản trước khi phân tích cú pháp hay các vấn đề xử lý ngôn ngữ phức tạp khác Thông thường, một từ có thể có nhiều chức năng ngữ pháp, ví dụ: trong câu “con ngựa đá đá con ngựa đá”, cùng một từ “đá” nhưng từ thứ nhất và thứ ba giữ chức năng ngữ pháp là danh

từ, nhưng từ thứ hai lại là động từ trong câu

1.2 Tổng quan về cách tiếp cận giải bài toán

1.2.1 Quá trình gán nhãn từ loại

Gán nhãn từ loại là một quá trình gồm 3 bước xử lý:

 Bước 1 (tiền xử lí): Phân tách xâu kí tự thành chuỗi các từ

 Bước 2: Gán nhãn tiên nghiệm, tức là tìm cho mỗi từ tập tất cả các nhãn từ loại

mà nó có thể có

 Bước 3: Quyết định kết quả gán nhãn

1.2.2 Ngữ liệu

Để thực hiện gán nhãn từ loại ta phải có kho ngữ liệu[2], chúng có thể là:

- Từ điển và các văn phạm loại bỏ nhập nhằng

- Kho văn bản đã gán nhãn, có thể kèm theo các quy tắc ngữ pháp xây dựng bằng tay

- Kho văn bản chưa gán nhãn, có kèm theo các thông tin ngôn ngữ như là tập từ loại

và các thông tin mô tả quan hệ giữa từ loại và hậu tố

Kho văn bản chưa gán nhãn, với tập từ loại cũng được xây dựng tự động nhờ các tính toán thống kê

1.2.3 Các tiếp cận giải bài toán

Chúng ta có hai tiếp cận chính cho gán nhãn từ loại tự động:[19]

- Tiếp cận có hướng dẫn

- Tiếp cận không hướng dẫn

Bộ gán nhãn có hướng dẫn có đặc thù là dựa trên kho ngữ liệu đã được gán nhãn cho việc tạo ra các công cụ được sử dụng cho quá trình gán nhãn Ví dụ như là Từ điển bộ gán nhãn, các tần suất từ/nhãn, các xác suất chuỗi nhãn, tập các luật

Các mô hình không hướng dẫn không yêu cầu kho ngữ liệu đã gán nhãn nhưng lại sử dụng các thuật toán tính toán phức tạp để tự động xây dựng các nhóm từ (nghĩa là xây dựng các tập

nhãn) và dựa trên các nhóm từ này để tính toán các thông tin xác suất cần thiết cho các bộ gán nhãn thống kê hoặc để xây dựng các luật ngữ cảnh cần thiết cho các hệ thống dựa trên luật

1.2.5 Gán nhãn dựa trên luật

Gán nhãn dựa trên luật sử dụng từ điển để tìm các từ loại có thể cho các từ, sử dụng các luật làm thành một nghĩa

Các tiếp cận gán nhãn dựa trên luật sử dụng thông tin ngữ cảnh để gán các nhãn cho các từ chưa biết hoặc các từ nhập nhằng

1.2.6 Gán nhãn thống kê

Bộ gán nhãn thống kê đơn giản nhất giải quyết nhập nhằng các từ chỉ đặt cơ sở vào xác suất mà một từ xuất hiện với một nhãn đặc biệt Nói cách khác, nhãn được gặp thường xuyên nhất trong tập huấn luyện là nhãn được gán cho một thể hiện không rõ ràng của từ đó Vấn đề với tiếp cận này là trong khi nó có thể mang lại một nhãn hợp lệ cho một từ đưa ra, lại cũng

có thể mang lại chuỗi không hợp lệ các nhãn

1.2.7 Các từ chƣa biết

Có vài giải pháp tiềm năng cho vấn đề này: Một trong những giải pháp sử dụng thông tin hình thái Trong trường hợp này, bộ gán nhãn tính toán xác suất mà một hậu tố trên một từ chưa biết xuất hiện với một nhãn đặc biệt Nếu một mô hình Markov ẩn đang được sử dụng, xác suất mà một từ chứa đựng hậu tố mà xuất hiện với một nhãn đặc biệt trong chuỗi đã cho được tính toán Một giải pháp khác là gán một tập các nhãn mặc định (các lớp mở đặc đặc biệt: Danh từ, tính từ, trạng từ, động từ ) cho các từ chưa biết và để giải quyết nhập nhằng sử dụng các xác suất mà các nhãn đó xuất hiện tại cuối n-gram trong câu hỏi

1.3 Bài toán gán nhãn từ loại tiếng Việt

Qua khảo sát các nghiên cứu gần đây của tiếng Việt cho bài toán gán nhãn từ loại, có thể thấy có hai dạng tập nhãn từ loại thường được sử dụng cho các công cụ gán nhãn từ loại tiếng Việt:

 Dạng thứ nhất, xuất phát từ tập gồm 8 nhãn từ loại tiếng Việt thông dụng được các nhà nghiên cứu ngôn ngữ học công nhận nhiều nhất (bao gồm: danh từ, động từ, tính từ, đại từ, phụ từ, kết từ, trợ từ, cảm từ) để xây dựng tập nhãn “mịn” hơn bằng cách phân nhỏ mỗi từ loại trên thành các tiểu từ loại

 Dạng thứ hai, tập nhãn tiếng Việt được xây dựng thông qua việc xây dựng kho ngữ liệu song ngữ Anh-Việt mà trong đó các câu tiếng Việt đã được gán nhãn từ

loại chính xác nhờ kết quả liên kết từ Anh-Việt và phép chiếu từ loại từ Anh sang Việt

Như vậy, có thể thấy rằng bài toán gán nhãn từ loại cho tiếng Việt đang ngày càng được quan tâm nghiên cứu Tuy nhiên đây vẫn là hướng nghiên cứu đầy tiềm năng và cũng đầy thử thách, cùng với đó là việc các nghiên cứu đã có hầu hết vẫn còn mang tính cá thể, chưa có được sự đối chiếu so sánh khách quan, và sự thống nhất về bộ nhãn giữa các nhà ngôn ngữ, đồng thời cũng chưa xây dựng được bộ nhãn đủ lớn để bài toán gán nhãn tiếng Việt có thể đạt độ chính xác rất cao

Chương 2 - CƠ SỞ TOÁN HỌC

2.1 Định lý Bayes

Định lý Bayes cho phép tính xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra Xác suất này được ký hiệu là P(A|B), và đọc là "xác suất của A nếu có B" Đại lượng này được gọi xác suất có điều kiện hay xác suất hậu nghiệm vì nó được rút ra từ giá trị được cho của B hoặc phụ thuộc vào giá trị đó

2.2 Thuật toán cực đại hóa kỳ vọng (EM)

Thuật toán EM (Expectation Maximization) nhằm tìm ra sự ước lượng về khả năng lớn nhất của các tham số trong mô hình xác suất (các mô hình phụ thuộc vào các biến ẩn chưa được quan sát), nó được xem như thuật toán dựa trên mô hình

2.3 Mô hình Markov ẩn

Mô hình Markov ẩn (tiếng Anh là Hidden Markov Model - HMM) là mô hình thống kê trong

đó hệ thống được mô hình hóa được cho là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được, dựa trên sự thừa nhận này

2.3.1 Ba bài toán cơ bản của HMM

2.3.1.1 Bài toán 1

Cung cấp cho mô hình các tham số, tính xác suất của dãy đầu ra cụ thể Giải bằng thuật toán tiến-lùi Nghĩa là Cho chuỗi quan sát O = {o1,o2, ,oT} và mô hình λ = {A, B}, ta phải

tính xác suất có điều kiện P(O|λ) của chuỗi quan sát

Xác suất P(O/λ) =?

2.3.1.2 Bài toán 2

Cung cấp cho mô hình các tham số, tìm dãy các trạng thái (ẩn) có khả năng lớn nhất mà

có thể sinh ra dãy đầu ra đã cung cấp Nghĩa là cho chuỗi quan sát O={o1,o2, ,oT} và mô

hình λ = {A, B} ta phải tìm chuỗi trạng thái ẩn Q={q1, q2 ,qT} sao cho xác suất có điểu kiện P(O|λ) là cực đại argmax ( |' , )

'



O Q P Q

Q



2.3.1.3 Bài toán 3

Cung cấp dãy đầu ra, tìm tập hợp có khả năng nhất của chuyển tiếp trạng thái và các xác suất đầu ra Nghĩa là cho chuỗi quan sát O = {o1,o2, ,oT} và mô hình λ = {A, B}, ta phải đánh giá lại các thông số của mô hình sao cho xác suất có điểu kiện P(O|λ) là cực đại tức là tìm  ' arg max ( |  )



2.2.2 Mô hình n-gram

Mô hình n-gram là một mô hình sử dụng n-1 từ đằng trước đó để dự đoán từ tiếp theo

2.4 Phân cụm

2.4.1 Khái niệm phân cụm

Phân cụm (clustering) làm việc phân chia các đối tượng vào các nhóm, sao cho các đối tượng

thuộc cùng một nhóm có độ tương tự cao hơn các đối tượng thuộc các nhóm khác nhau

2.4.2 Các yêu cầu của phân cụm

2.4.3 Các phương pháp phân cụm

2.4.3.1 Phương pháp phân hoạch

2.4.3.2 Phương pháp phân cấp

2.4.3.3 Phương pháp dựa trên mật độ

2.4.3.4 Phương pháp dựa trên mô hình

2.4.4 Độ đo khoảng cách

Một bước quan trọng trong bất kỳ kỹ thuật phân cụm nào là lựa chọn một độ đo khoảng cách

để xác định sự tương tự của hai phần tử Độ đo này sẽ ảnh hưởng đến hình thái của cụm, vì một phần tử nào đó có thể gần với một phần tử khác theo một độ đo khoảng cách này và xa hơn theo một độ đo khác

2.5 Phân tích giá trị kỳ dị

Phân tích giá trị kì dị (Singular value decomposition - SVD) có thể được nhìn vào từ

ba quan điểm sau [34]:

- Thứ nhất, chúng ta có thể coi nó như là một phương pháp để biến đổi các biến có tương quan thành một tập hợp các biến không tương quan, biểu đạt tốt hơn mối quan hệ khác nhau giữa các phần tử dữ liệu gốc

- Thứ hai, SVD cũng là một phương pháp để xác định và sắp xếp các chiều véc tơ

mà theo đó các dữ liệu có sự chênh lệch nhiều nhất Điều này liên quan đến góc nhìn thứ ba về SVD

- Thứ ba, đó là một khi chúng ta đã xác định sự chênh lệch lớn nhất ở đâu, SVD có thể tìm thấy xấp xỉ tốt nhất của các điểm dữ liệu ban đầu bằng cách sử dụng kích thước ít hơn Do đó, SVD có thể được xem như là một phương pháp để giảm số chiều dữ liệu

Chương 3 - MỘT SỐ PHƯƠNG PHÁP TIẾP CẬN KHÔNG CÓ HƯỚNG DẪN CHO GÁN NHÃN TỪ LOẠI

3.1 Gán nhãn sử dụng kỹ thuật Cực đại hóa kỳ vọng

Bài toán gán nhãn từ loại được mô hình hóa sử dụng mô hình Markov ẩn (HMM) như sau: Các nhãn từ loại được coi là các trạng thái ẩn và các từ của văn bản như là đầu ra (trạng thái quan sát được)

3.1.1 Huấn luyện mô hình Trigram

Chúng ta xem xét hai loại huấn luyện khác nhau:

- Huấn luyện tần số quan hệ (Relative Frequency RF)

- Huấn luyện khả năng cực đại (Maximum Likelihood ML) bằng thuật toán tiến-lùi

3.1.1.1 Huấn luyện tần số quan hệ

Nếu chúng ta có một lượng văn bản đã gán nhãn có sẵn, chúng ta có thể tính toán số lần

N(w,t) một từ w được đưa ra xuất hiện với nhãn t và số lần N(t 1, t 2 ,t 3 ) chuỗi (t 1, t 2 ,t 3 ) xuất hiện

trong văn bản này Chúng ta có thể ước lượng các xác suất h và k bằng cách tính toán tần số

quan hệ của các sự kiện tương ứng trên dữ liệu này:

) , (

) , , ( ) , / ( ) , / (

2 1

3 2 1 2

1 3 2

1 3

t t N

t t t N t

t t f t t t

) (

) , ( ) / ( ) / (

t N

t w N t w f t w

krf  

3.1.1.2 Huấn luyện khả năng cực đại (ML)

Sử dụng một mô hình trigram M, có thể tính toán xác suất của bất kỳ chuỗi các từ W theo mô hình này: p (W ) p (W ,T)

T M

Trong đó, tổng được lấy trên tất cả các liên kết có thể Huấn luyện ML tìm thấy mô hình M mà cực đại hoá xác suất của văn bản huấn luyện:

) (

W M

M 

Trong đó, tích được lấy trên tất cả các câu W trong văn bản huấn luyện Đây là vấn đề của huấn luyện một mô hình Markov ẩn

3.1.2 Kết quả thử nghiệm với tiếng Anh

3.1.2.1 Dữ liệu văn bản

sử dụng dữ liệu Penn treebank gồm có 42186 đã được gán nhãn một cách thủ công (khoảng 1 triệu từ)

Sử dụng 159 các nhãn khác nhau để gán nhãn cho Penn treebank

Xây dựng từ điển bằng cách đưa tất cả các từ xuất hiện trong văn bản cùng với tất cả các nhãn được gán ở trong văn bản

3.1.3 Các thí nghiệm cơ bản

3.2 Gán nhãn từ loại bằng kỹ thuật phân cụm

Trong tiếp cận này [[21], [22]], những thuộc tính phân phối và các từ tương tự xuất hiện trong các ngữ cảnh tương tự được sử dụng cho việc tính toán các véc tơ ngữ cảnh của mỗi từ

để gom cụm các từ với nhau trong các nhóm Các nhóm mà có thể được gán nhãn từ loại hoặc các lớp từ như các nhóm Sử dụng kỹ thuật phân cụm để xây dựng các nhãn từ loại trên

dữ liệu chưa gán nhãn là một đặc trưng phân biệt của phương pháp gán nhãn từ loại phân phối

Các đặc điểm quan trọng được xem xét ở đây là các véc tơ ngữ cảnh được định nghĩa như thế nào, kích thước của các véc tơ ngữ cảnh (số chiều), thước đo sử dụng để tính toán độ tương

tự của các véc tơ (nghĩa là tạo ra các cụm), và cách các nhãn và các lớp từ được xây dựng vào các nhóm

3.2.1 Suy luận gán nhãn

Giả thuyết cho thuật toán là hành vi cú pháp của một từ được phản ánh trong các từ đồng xuất hiện và được thể hiện đối với ngữ cảnh trái và ngữ cảnh phải của từ đó

Láng giềng trái ↔ TỪ ↔ Láng giềng phải

↓ ↓

Véc tơ ngữ cảnh trái Véc tơ ngữ cảnh phải

Các véc tơ ngữ cảnh chứa số lần xuất hiện của mỗi từ trong 250 từ xuất hiện nhiều nhất trong kho văn bản

3.2.2 Suy luận dựa trên từ loại

Hai véctơ ngữ cảnh của một từ mô tả sự phân phối của các từ láng giềng bên trái và bên phải của từ đó Sự ghép nối của hai véc tơ ngữ cảnh trái và phải có thể đại diện cho phân phối của một từ

3.2.3 Suy luận dựa trên loại từ và ngữ cảnh

Vai trò cú pháp của một từ phụ thuộc vào thuộc tính cú pháp láng giềng của nó và các mối quan hệ có khả năng của nó với các láng giềng Vì vậy ta xẽ xem xét một sự xuất hiện của một từ w được thể hiện bằng sự ghép nối 4 véc tơ ngữ cảnh:

- Véc tơ ngữ cảnh phải của từ đứng trước

- Véc tơ ngữ cảnh trái của từ w

- Véc tơ ngữ cảnh phải của từ w

- Véc tơ ngữ cảnh trái của từ theo sau

3.2.4 Suy luận dựa trên loại từ và ngữ cảnh, sử dụng các véc tơ ngữ cảnh trái và phải tổng quát hoá

Một véc tơ ngữ cảnh v phải tổng quát hoá cho một từ w được hình thành bằng cách đếm mức

độ thường xuyên của các từ trong 250 lớp này xuất hiện bên phải của w, hạng tử wi đếm số lần mà một từ từ lớp i xuất hiện bên phải w trong tập văn (trái với số lần mà một từ với hạng tần số i xuất hiện bên phải w)

3.2.5 Các kết quả

Kết quả gãn nhãn đã đạt được khi sử dụng kỹ thuật phân cụm cho thấy rằng kết quả gán nhãn khi phân cụm dựa vào từ loại và ngữ cảnh đạt kết quả tốt hơn dựa vào chỉ từ loại và kém hơn khi phân cụm dựa vào các véc tơ ngữ cảnh được tổng quát hóa

3.3 Đề xuất phương pháp không hướng dẫn cho bài toán gán nhãn từ loại tiếng Việt

Vậy thứ tự để thực hiện gán nhãn sẽ như sau:

1 Tính toán tần số xuất hiện của mỗi từ trong kho ngữ liệu Loại ra các từ có tần suất xuất hiện quá nhiều Tìm ra 250 từ xuất hiện nhiều nhất còn lại

2 Tính toán các véc tơ ngữ cảnh trái và phải của một từ

3 Xây dựng một ma trận ngữ cảnh C như sau: Mỗi hàng của ma trận gồm véc tơ

ngữ cảnh của một từ w được kết nối từ 4 véc tơ ngữ cảnh (véc tơ ngữ cảnh phải của từ đứng trước, véc tơ ngữ cảnh trái của từ w, véc tơ ngữ cảnh phải của từ w, véc tơ ngữ cảnh trái của từ theo sau)

4 Sử dụng giải pháp SVD để giảm số chiều ma trận C

5 Tính độ đo tương tự của các từ dựa trên ma trận C đã giảm số chiều sử dụng độ đo cosin

6 Phân cụm dựa vào độ đo đã tính ở trên sử dụng thuật toán phân cụm mờ

7 Sau khi thực hiện phân cụm ta đã xây dựng được tập nhãn Sử dụng tập nhãn này

để xây dựng một kho ngữ liệu gán nhãn bằng tay

8 Để thực hiện gán nhãn ta sẽ sử dụng mô hình Markov ẩn, và theo nghiên cứu ở trên gán nhãn sử dụng mô hình Markov đạt độ chính xác cao khi kho ngữ liệu gán nhãn bằng tay nhỏ thì sẽ sử dụng huấn luyện ML để thực hiện

KẾT LUẬN

Những kết quả đã đạt được của luận văn:

 Tổng quan về bài toán gán nhãn từ loại: luận văn đã trình bày được bài toán gán nhãn từ loại, trình bày và so sánh các hướng tiếp cận không có hướng dẫn và có hướng dẫn để giải quyết bài toán gán nhãn từ loại, để làm cơ sở nghiên cứu những tiếp cận đã được sử dụng để giải bài toán gán nhãn từ loại tiếng Anh, cũng như tiếng Việt trong thời gian vừa qua

 Tìm hiểu cơ sở toán học sử dụng trong các phương pháp mà luận văn nghiên cứu được và trình bày: luận văn đã trình bày được các kiến thức cơ bản về

xác suất thống kê, các mô hình như mô hình Markov ẩn cùng các bài toán của mô hình và các thuật toán được dùng để giải quyết các bài toán đó, ngoài ra luận văn còn trình bày những kiến thức cơ bản về kỹ thuật phân cụm như là định nghĩa các cách đo

độ tương tự cho từng loại đối tượng khác nhau, phương pháp phân tích giá trị kỳ dị được sử dụng trong các tiếp cận giải bài toán gán nhãn từ loại cũng được trình bày

Từ những kiến thức này để chúng ta có thể hiểu được các phương pháp được sử dụng

để giải quyết bài toán

 Tìm hiểu các phương pháp không có hướng dẫn cho bài toán gán nhãn từ loại tiếng Anh: Luận văn trình bày được hai phương pháp không có hướng dẫn để

giải quyết bài toán gán nhãn từ loại tiếng Anh Đó là phương pháp sử dụng kỹ thuật cực đại hóa kỳ vọng và kỹ thuật phân cụm Phân tích được ưu nhược điểm của từng phương pháp để từ đó có thể tìm ra được phương pháp có thể áp dụng cho bài toán

gán nhãn từ loại tiếng Việt

 Tìm hiều bài toán gán nhãn từ loại tiếng Việt: trình bày được các phương

pháp đã được sử dụng trong việc giải quyết bài toán gán nhãn từ loại tiếng Việt, tìm hiểu được những ưu điểm và những hạn chế chưa giải quyết được trong bài toán gán