Nghiên cứu nhận dạng thực thể có tên và thực thể biểu hiện trong văn bản và ứng dụng

Mục tiêu cụ thể và phạm vi nghiên cứu của luận ánNhư đã nêu trong lý do chọn đề tài, luận án tập trung vào bài toán nhận dạngthực thể với hai loại dữ liệu thuộc hai ngôn ngữ khác nhau là

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN MAI VŨ

NGHIÊN CỨU NHẬN DẠNG THỰC THỂ CÓ TÊN

VÀ THỰC THỂ BIỂU HIỆN TRONG VĂN BẢN VÀ ỨNG DỤNG

LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội – 2018

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN MAI VŨ

NGHIÊN CỨU NHẬN DẠNG THỰC THỂ CÓ TÊN

VÀ THỰC THỂ BIỂU HIỆN TRONG VĂN BẢN VÀ ỨNG DỤNG

Chuyên ngành: Hệ thống thông tin

Mã số: 62.48.05.01

LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 PGS.TS Hà Quang Thụy

2 PGS.TS Nguyễn Lê Minh

Hà Nội – 2018

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các kết quả đượcviết chung với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khiđưa vào luận án Các kết quả nêu trong luận án là trung thực và chưa từng đượccông bố trong các công trình nào khác

Tác giả

Trần Mai Vũ

LỜI CẢM ƠN

Luận án được thực hiện tại Bộ môn Hệ thống thông tin - Khoa Công nghệthông tin - Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, dưới sự hướngdẫn khoa học của PGS.TS Hà Quang Thụy và PGS.TS Nguyễn Lê Minh

Trước tiên tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS.TS Hà QuangThụy và PGS.TS Nguyễn Lê Minh, những người đã đưa tôi đến với lĩnh vựcnghiên cứu này Các thầy đã tận tình giảng dạy, hướng dẫn giúp tôi tiếp cận và đạtđược thành công trong công việc nghiên cứu của mình Các thầy đã luôn tận tâmđộng viên, khuyến khích và chỉ dẫn giúp tôi hoàn thành được bản luận án này.Tôi xin bày tỏ lòng biết ơn tới các Thầy Cô thuộc Khoa Công nghệ thông tin

và cán bộ Phòng Đào tạo - Trường Đại học Công nghệ, đã tạo mọi điều kiện thuậnlợi giúp đỡ tôi trong quá trình học tập và nghiên cứu tại trường

Tôi xin cảm ơn PGS TS Nigel Collier và cộng sự đã đóng góp ý kiến quý báugiúp tôi hoàn thiện bản luận án

Sự động viên, cổ vũ của bạn bè là nguồn động lực quan trọng để tôi hoànthành luận án Tôi xin bày tỏ lòng biết ơn sâu sắc tới gia đình, vợ và các con tôi đãtạo điểm tựa vững chắc cho tôi có được thành công như ngày hôm nay

Tác giả

Trần Mai Vũ

MỤC LỤC

Kí hiệu Tiếng Anh Tiếng Việt

NER Named Entity Recognition Nhận dạng thực thể định

danhNLP Natural Language Processing Xử lý ngôn ngữ tự nhiênBioNLP Biomedical Natural Language

Processing Xử lý ngôn ngữ tự nhiên chodữ liệu y sinh

IE Information Extraction Trích xuất thông tin

CRF Conditional Random Fields Trường ngẫu nhiên có điều

kiệnSVM Support Vector Machine Máy véctơ hỗ trợ

SVM-LTR SVM-Learn to rank Học xếp hạng máy véctơ hỗ

trợ

Maxent Model

Maximum Entropy Model Mô hình Entropy cực đại

MEM+BS Maximum Entropy Model

with Beam Search Mô hình Entropy cực đại vớigiải mã tìm kiếm chùm

DANH MỤC CÁC BẢNG

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Lý do chọn đề tài

Nhận dạng thực thể có tên (Named entity recognition: NER; còn được gọi là

“nhận dạng thực thể định danh”) là một bài toán chính thuộc lĩnh vực xử lý ngônngữ tự nhiên (NLP) Đây là một bài toán tiền đề cho các hệ thống về hiểu ngôn ngữhay khai phá dữ liệu văn bản như trích xuất sự kiện, hỏi đáp tự động hay tìm kiếmngữ nghĩa Chính vì vậy, cùng với sự phát triển của dữ liệu văn bản trên Internet,bài toán này cũng nhận được sự quan tâm của cộng đồng nghiên cứu trong khoảng

20 năm trở lại đây

Hình 0.1 Thống kê các công trình nghiên cứu liên quan đến cụm từ “named entity

recognition” trên Springer từ 2002 - tháng 11/2017

Kết quả trả lời của trang web tìm kiếm của Springer với truy vấn “Namedentity recognition” theo cách chính xác cụm từ (“with the exact phrase”) 1 cho thấy

từ năm 2002 đến nay có trên 3500 công trình liên quan, với trên 1800 công trìnhcông bố trong 5 năm gần đây từ 2013 đến 2017 (khoảng 350 công trình/năm) nhưchỉ ra ở Hình 0.1 Không chỉ nhiều về số lượng, các nghiên cứu về NER cũng xuấthiện thường xuyên tại các hội nghị thường niên hàng đầu về NLP như ACL,EMNLP, NAACL,… hay các tạp chí danh tiếng có chỉ số IF (impact factor) cao nhưPLOS ONE, Bioinformatics, TKDE, TACL,…

Mặc dù đã có khá nhiều công trình nghiên cứu cho một số loại thực thể thôngthường trong văn bản tiếng Anh tuy nhiên những nghiên cứu liên quan đến các thựcthể trong ngôn ngữ khác như tiếng Việt hay các miền dữ liệu đặc biệt như miền dữliệu y sinh vẫn còn rất nhiều hạn chế và thách thức Có thể kể đến là sự khuyết thiếucác tập dữ liệu gán nhãn chuẩn, tài nguyên ngôn ngữ về tri thức miền hay các địnhnghĩa hình thức về kiểu thực thể cần nhận dạng… Luận án này tiếp nối nhữngnghiên cứu trước đó nhằm giải quyết một phần những hạn chế được nêu ra ở trên.Mục tiêu cụ thể và phạm vi nghiên cứu của luận án sẽ được mô tả kỹ hơn ở phầntiếp theo

1 https://link.springer.com/search?query=%22%E2%80%9CNamed+entity+recognition%E2%80%9D

%22&date-facet-mode=between&facet-start-year=1998&showAll=true#

Mục tiêu cụ thể và phạm vi nghiên cứu của luận án

Như đã nêu trong lý do chọn đề tài, luận án tập trung vào bài toán nhận dạngthực thể với hai loại dữ liệu thuộc hai ngôn ngữ khác nhau là các thực thể thuộc dữliệu văn bản tiếng Việt và các thực thể thuộc dữ liệu văn bản y sinh

Mục tiêu cụ thể của luận án là phát triển vấn đề, đề xuất giải pháp và xây dựngthực nghiệm cho việc nhận dạng các loại thực thể thuộc hai miền dữ liệu trên

Nhìn chung, bài toán nhận dạng thực thể đã được quan tâm nghiên cứu và đạtđược một số kết quả nhất định, tuy nhiên các kết quả này hầu hết chỉ xử lý cho cácthực thể thông thường trong văn bản tiếng Anh Trong khi đấy, nhận dạng thực thểvới miền dữ liệu văn bản thông thường tiếng Việt và văn bản y sinh vẫn còn nhiềuvấn đề lớn đặt ra như không có một tập dữ liệu chuẩn cùng những mô tả rõ ràng vềkhái niệm liên quan đến các thực thể hay các tài nguyên công cụ phục vụ cho việcnhận dang Nhìn nhận được các hạn chế này, luận án tập trung vào giải quyết hai bàitoán nói trên trong phạm vi dữ liệu có tính chất đặc thù hơn, cụ thể là:

• Giải quyết bài toán nhận dạng thực thể cho dữ liệu văn bản tiếng Việt.

Nghiên cứu sinh đi sâu vào việc tìm hiểu những thành quả nghiên cứu tiêntiến về nhận dạng thực thể với mong muốn áp dụng và đề xuất các cải tiếnmới nhằm áp dụng và cải thiện hiệu quả cho quá trình nhận dạng thực thểtrong văn bản tiếng Việt Bên cạnh đấy, luận án tìm hiểu một trong nhữnghướng ứng dụng điển hình của các mô hình nhận dạng thực thể tiếng Việt, cụthể ở đây là bài toán hỏi đáp tự động cho tiếng Việt

• Giải quyết bài toán nhận dạng thực thể cho dữ liệu y sinh (tiếng Anh).

Số lượng dữ liệu y sinh dưới dạng điện tử đang tăng với tốc độ cao tạo nêntiềm năng lớn phục vụ cho một loạt các ứng dụng xã hội, đặc biệt là y tếcộng đồng Với tiềm năng nói trên và tính chất phức tạp từ đặc thù chuyênngành, khai phá dữ liệu y sinh đang là một thách thức lớn đối với các nhàkhoa học trên toàn thế giới Nắm bắt được xu hướng nghiên cứu này, luận ánkhảo sát và đề xuất phương án giải quyết bài toán nhận dạng thực thể trongvăn bản y sinh kết hợp nhiều nguồn tài nguyên tri thức cũng như các kỹ thuậthọc máy thống kê Luận án tập trung vào bài toán nhận dạng thực thể biểu

hiện (phenotype) và các thực thể liên quan như: gene, bệnh, bộ phận cơ thể,

…

Trên cơ sở phân tích công phu các giải pháp tiên tiến trên thế giới, luận ánđược định hướng vào việc nghiên cứu phát triển các giải pháp hiệu quả tương thíchvới miền dữ liệu có nhiều đặc trưng đặc biệt và xây dựng thực nghiệm đánh giá Cụthể, luận án giải đáp các vấn đề nghiên cứu sau đây:

• Khảo sát và đưa ra các phương án xử lý các đặc điểm riêng biệt của với dữliệu tiếng Việt và dữ liệu y sinh tiếng Anh

• Đề xuất phương án tiếp cận mới tận dụng được các nghiên cứu tiên tiến trước

đó và tiếp cận giải quyết được những đặc điểm riêng biệt của miền dữ liệuđang xem xét

• Xây dựng bộ dữ liệu phục vụ cho thực nghiệm

• Xây dựng các thực nghiệm để đánh giá các mô hình giải quyết bài toán đã đềxuất

• Xây dựng hệ thống chạy thực tế đối với các mô hình đạt kết quả khả quan

• Định hướng phát triển nâng cấp nghiên cứu

Ở Việt Nam, đã có một số luận án tiến sĩ nghiên cứu về các bài toán nhận dạngthực thể trong tiếng Việt Luận án tiến sĩ của Sam Chanrathany (2013) [SC13] làm

về trích xuất thực thể và một số mối quan hệ hai ngôi giữa các thực thể trong tiếngViệt sử dụng phương pháp học bán giám sát Luận án tiến sĩ của Nguyễn ThanhHiên (2011) [NTH11] giải quyết vấn đề phân biệt nhập nhằng giữa các thực thể dựatrên nguồn tri thức từ các ontology miền đóng và miền mở Cả hai luận án này đãđưa ra được một số cách giải quyết nhận dạng thực thể cùng xử lý nhập nhằngthông qua các thuộc tính có quan hệ đến thực thể Tuy nhiên tập dữ liệu đánh giá làtương đối nhỏ (1200 câu) chưa thể hiện rõ được hiệu quả mà các phương pháp đemlại

Luận án khảo sát một số luận án Tiến sỹ trên thế giới liên quan đến chủ đềnhận dạng thực thể gene và thực thể biểu hiện, điển hình là [VA10, KM14] Vlachos(2010) [VA10] tập trung giải quyết hai bài toán là nhận dạng thực thể các thực thểgene và trích xuất sự kiện tại hội thảo BioNLP, các phương pháp được áp dụng hầuhết dựa trên kỹ thuật nhận dạng bằng luật và một ít kỹ thuật học máy nên các môhình chưa cho kết quả cao Khordad (2014) [KM14] đi sâu vào bài toán nhận dạngthực thể biểu hiện và thực thể gene, sau đó dựa vào kết quả nhận dạng để phát hiện

các mỗi quan hệ giữa biểu hiện – gene Luận án này mặc dù đã đề cập đến thực thểbiểu hiện tuy nhiên chưa nêu được một định nghĩa rõ ràng về thực thể biểu hiện nên

bỏ sót khả nhiều kết quả trong quá trình nhận dạng, bên cạnh đấy, luận án này cũngchỉ quan tâm đến mối quan hệ giữa biểu hiện – gene mà chưa quan tâm đến mốiquan hệ giữa biểu hiện và các loại thực thể khác như bệnh, hóa chất, bộ phận cơ thểv.v

Đối sánh nội dung các công trình nghiên cứu trong và ngoài nước, trong đó cóluận án Tiến sỹ, luận án của nghiên cứu sinh có những điểm khác biệt về khía cạnhphương pháp tiếp cận cũng như về khía cạnh dữ liệu Cụ thể là:

- Đối với bài toán nhận dạng thực thể trong văn bản tiếng Việt, luận án tậptrung vào hai vấn đề đó là kết hợp cùng lúc cả nhận dạng thực thể và nhậndạng thuộc tính thực thể trong cùng một mô hình và kiểm chứng trên tập

dữ liệu đủ tin cậy (10.000 câu gán nhãn) Hơn nữa, nghiên cứu sinh cũng

áp dụng mô hình đề xuất vào bài toán hỏi đáp tự động để kiểm định hiệuquả thực tế của mô hình

- Đối với bài toán nhận dạng thực thể y sinh trong văn bản tiếng Anh, luận

án đưa ra những định nghĩa cụ thể hơn về các khái niệm liên quan đến cácthực thể biểu hiện, xây dựng hai tập dữ liệu đánh giá tin cậy (900 câu gánnhãn mỗi tập) cũng như các thử nghiệm khách quan với các độ đo chuẩncho nhận dạng thực thể y sinh

Luận án là kết quả của việc kết hợp nghiên cứu lý thuyết với nghiên cứu thựcnghiệm, thông qua một quá trình lô-gic từ khảo sát bài toán, nghiên cứu lý thuyếtnền tảng, tiến tới đề xuất giải pháp đối với bài toán, xây dựng thực nghiệm đánh giágiải pháp được đề xuất, rút ra kết luận và công bố kết quả nghiên cứu

Về nghiên cứu lý thuyết, luận án tập trung đề xuất một số giải pháp nhận dạng

thực thể cho dữ liệu văn bản tiếng Việt và dữ liệu văn bản y sinh tiếng Anh Các giảipháp tập trung vào vấn đề kết hợp các mô hình học máy cũng như các tri thứcnguồn liên quan đến miền dữ liệu nhằm nâng cao hiệu quả đầu ra đối với các bàitoán Kết quả của các mô hình đạt hiệu quả khả quan có thể áp dụng được trong các

hệ thống chạy thực tế

Luận án trình bày một cách hệ thống các vấn đề liên quan đến bài toán nhậndiện thực thể biểu hiện và các thực thể liên quan như: định nghĩa cụ thể về khái

niệm thực thể biểu hiện, cách thức gán nhãn dữ liệu, phương pháp đánh giá và kiểmthử hiệu quả hay vấn đề thích nghi miền (domain adaptation) trong miền dữ liệuthực thể biểu hiện Hơn nữa, luận án cũng đưa ra được một số khung làm việc(framework) cho việc trích xuất sự kiện cho tiếng Việt cũng như sự kiện trong vănbản y sinh tiếng Anh.

Các kết quả nghiên cứu lý thuyết của luận án được công bố trong các ấn phẩmkhoa học chuyên ngành có uy tín [CTLA1, CTLA2, CTLA4 - CTLA7] là minhchứng cho ý nghĩa khoa học của luận án

Về triển khai ứng dụng, luận án đã đề xuất thực thi mô hình hỏi đáp tự động

tiếng Việt dựa trên nhận dạng thực thể [CTLA5] Xây dựng hệ thống tra cứu vàtham khảo các mối quan hệ giữa thực thể biểu hiện – bệnh PhenoMiner (tại địa chỉhttp://phenominer.mml.cam.ac.uk/)

Kết quả triển khai ứng dụng thông qua các hệ thống thử nghiệm và tra cứu nóitrên cho thấy luận án có ý nghĩa thực tiễn

Cấu trúc của luận án

Tiếp nối phần mở đầu này, nội dung chính của luận án được bố cục thành bốnchương và phần kết luận Chương 1 của luận án trình bày hệ thống các lý thuyết cơbản về nhận dạng thực thể cũng như khảo sát lịch sử nghiên cứu và điểm lại một sốnghiên cứu tiêu biểu Các chương tiếp theo đi sâu vào những bài toán con được luận

án tập trung giải quyết Chương 2 trình bày về bài toán nhận dạng thực thể và ứngdụng nhận dạng thực thể vào bài toán hỏi đáp tự động trong văn bản tiếng Việt Tiếptheo đó, chương 3 trình bày một mô hình nhận dạng thực thể biểu hiện và các thựcthể liên quan cũng như vấn đề thích nghi miền giữa các tập dữ liệu y sinh Chương

4, luận án giới thiệu một kỹ thuật nâng cấp hiệu quả của mô hình đề xuất trongchương 3 bằng kỹ thuật lai ghép các mô hình (ensemble models) dựa trên tri thức vàdựa trên học máy để nhận dạng thực thể trong văn bản y sinh tiếng Anh Phần kếtluận tổng hợp các kết quả đạt được cũng như nêu lên một số hạn chế của luận án vàtrình bày một số định hướng nghiên cứu trong tương lai

Dưới đây là danh sách các công trình đã công bố của nghiên cứu sinh liênquan được sử dụng trong các chương của luận án

Hình 0.2 Biểu đồ phân bố các công trình đã công bố của nghiên cứu sinh tương

ứng với các chương của luận án

Chương 1 - KHÁI QUÁT VỀ NHẬN DẠNG THỰC THỂ

Chương 1 của luận án hệ thống hóa các lý thuyết cơ bản về nhận dạng thựcthể Chương này được cấu trúc thành bốn phần nội dung chính Phần 1 trình bày vàphân tích các khái niệm cơ bản và các thuật ngữ cần quan tâm trong lĩnh vực nghiêncứu, ngoài các định nghĩa, phần này cũng khái quát hóa các độ đo thường được sửdụng trong nhận dạng thực thể Phần 2 nêu ra một số hướng tiếp cận giải quyếtchính cũng như một số hướng tiếp cận mới trong nghiên cứu về nhận dạng thực thể.Các hướng tiếp cận này sẽ được nêu ra trong hai phần, tương ứng với từng loại dữliệu là dữ liệu văn bản tiếng Anh và dữ liệu văn bản tiếng Việt Phần 3 trình bày cụthể một số kỹ thuật học máy tiêu biểu thường được sử dụng trong nhận dạng thựcthể cũng như trong các nghiên cứu của luận án Cuối cùng, phần 4 nêu ra tiềm năngnghiên cứu và điểm qua một vài ứng dụng nổi bật của nhận dạng thực thể

1.1 Một số khái niệm cơ bản

1.1.1 Định nghĩa bài toán nhận dạng thực thể

Bài toán nhận dạng thực thể (hay còn gọi là bài toán nhận dạng thực thể địnhdanh; Named Entity Recognition; NER) là bài toán xác định (phát hiện) các biểudiễn trong văn bản và phân lớp chúng vào các kiểu thực thể định danh được địnhnghĩa trước như Người, Địa danh, Thời gian, Số, tiền tệ, v.v Bài toán này có thểbao gồm cả việc nhận dạng các thông tin hay thuộc tính mô tả về thực thể Ví dụ,trong trường hợp của thực thể tên người, hệ thống NER có thể trích xuất cả cácthông tin về Chức danh, Quốc tịch, Địa chỉ, Giới tính, v.v

Một thực thể định danh là một chuỗi các từ chỉ đến một thực thể trong thế giới

thực, ví dụ như "California", “Hà Nội”, “Võ Nguyên Giáp”, "Steve Jobs" và

"Apple" Một thực thể định danh có thể được xếp vào một loại thực thể nào đó, như

Người, Địa điểm, Tổ chức, Thời gian, v.v Như vậy, các thực thể chính là những đốitượng cơ bản nhất trong một văn bản dù ở bất kì ngôn ngữ nào

Luận án sử dụng định nghĩa bài toán nhận dạng thực thể do Aggarwal và Zhaiphát biểu [AZ12]:

“Bài toán nhận dạng thực thể (Named entity recognition, NER) là bài toán xác định thực thể định danh từ các văn bản dưới dạng tự do và phân lớp chúng vào một tập các kiểu được định nghĩa trước như người,

tổ chức và địa điểm.”

Các kiểu thực thể định danh không chỉ bao gồm một số kiểu thông dụng nhưtên người, địa danh, tên tổ chức mà còn có rất nhiều kiểu khác phụ thuộc vào đặctrưng của loại dữ liệu, miền dữ liệu hay mục đích của hệ thống ứng dụng nhận dạngthực thể Có thể kể đến một số kiểu thực thể được nêu ra tại các nhiệm vụ xử lýngôn ngữ tự nhiên (task/shared task) như sau:

- Những kiểu thực thể định danh thông dụng nhất được tập trung nghiên cứu làngười, tổ chức và địa điểm, chúng được định nghĩa lần đầu tại MessageUnderstanding Conference-6 (MUC-6) Những kiểu thực thể này là phổ biến đủ để

có thể trở nên hữu ích trong nhiều miền ứng dụng Việc trích xuất các biểu diễnngày tháng, giờ, tiền tệ và tỷ lệ phần trăm, cũng được MUC-6 giới thiệu, thườngcũng được xử lý trong NER, mặc dù nói đúng ra thì các biểu diễn này không phải làthực thể định danh

- Nhiệm vụ tại chương trình Automatic Content Extraction (ACE) đưa ra thêmnhiều loại thực thể mới, các loại thực thể được tổ chức dưới dạng cây phân cấp, chitiết hơn MUC6 Ví dụ như kiểu thực thể tên tổ chức (organisation) có các loại connhư tên tổ chức chính phủ, tổ chức giáo dục hay tổ chức thương mại [DMP04]

- Bên cạnh các kiểu thực thể thông thường trong văn bản tin tức, các loại thựcthể liên quan đến y sinh cũng nhận được nhiều sự quan tâm Hội thảoBioNLP/JNLPBA 2004 có nhiệm vụ yêu cầu nhận diện thực thể y sinh gene vàprotein [KOT04] hay nhiệm vụ Track3-CDR tại hội thảo BioCreative V (2015) yêucầu phát hiện thực thể bệnh và thuốc [WPL15]

1.1.2 Thách thức

Tuy là một bài toán cơ bản, nhưng nhận dạng thực thể cũng gặp phải không ítthách thức cần giải quyết do độ phong phú và sự nhập nhằng của ngôn ngữ Thôngthường thì bài toán này không thể được thực hiện một cách đơn giản nếu chỉ sửdụng đối sánh chuỗi với các từ điển đã được xây dựng trước vì các thực thể địnhdanh của một kiểu thực thể thường không phải là một một tập đóng, do đó bất kỳ từđiển nào cũng sẽ là không đầy đủ Một lý do khác là loại thực thể định danh có thể

phụ thuộc vào ngữ cảnh Ví dụ, "JFK" có thể chỉ tới người "John F Kennedy”, địa điểm "sân bay quốc tế JFK", hoặc bất kỳ loại nào khác có cùng dạng viết tắt đó Tương tự “Sông Lam Nghệ An” có thể là địa điểm chỉ tên một con sông tại tỉnh Nghệ An hay tên một đội bóng “Sông Lam Nghệ An” Để xác định loại cho thực thể

"JFK" hay“Sông Lam Nghệ An” xuất hiện trong một tài liệu cụ thể, cần phải xem

xét đến ngữ cảnh chứa nó

Bên cạnh yếu tố về ngữ nghĩa, các yếu tố liên quan đến đặc trưng ngôn ngữcũng góp phần làm bài toán nhận dạng thực thể trở nên khó khăn Một số ngôn ngữnhư tiếng Việt ngoài việc thiếu các tài nguyên xử lý ngôn ngữ tự nhiên còn phảithực hiện một số bài toán con như tách từ trước khi nhận dạng thực thể, tỷ lệ lỗi củacác bài toán con sẽ ảnh hưởng đến kết quả của bài toán nhận dạng thực thể Ngoài

ra, từng loại thực thể cũng có những thách thức riêng khác nhau ảnh hưởng đến hiệu

quả của mô hình nhận dạng Ví dụ thực thể tên tổ chức “Ủy ban nhân dân Thành phố Hà Nội” có chứa thực thể tên địa danh “Thành phố Hà Nội”.

1.1.3 Độ đo đánh giá

Để đánh giá các mô hình nhận dạng thực thể cần phải tạo ra tập các tài liệuđược gán nhãn bằng tay Đối với việc đánh giá trên từng miền cụ thể, các tài liệuđược lựa chọn gán nhãn phải liên quan đến dữ liệu miền mục tiêu Ví dụ, để đánhgiá việc trích xuất các thực thể gen và protein, ta phải sử dụng các tài liệu y sinhnhư các tóm tắt từ kho dữ liệu PubMed Nhưng nếu mục đích là để đánh giá so sánhgiữa các kỹ thuật nhận diện thực thể nói chung, cần phải sử dụng một tập dữ liệu

tiêu chuẩn đã được cộng đồng nghiên cứu chấp nhận [AZ12] Các tập dữ liệuthường được dùng để đánh giá chung cho các loại thực thể định danh thông thường

có thể kể đến là tập dữ liệu của hội nghị MUC, CoNLL-2003 và ACE 2004, còn đểđánh giá cho các loại thực thể trong y sinh có thể sử dụng tập dữ liệu GENIA[KOT03], CHEMDNER [KLR15]

Các số đo đánh giá điển hình được sử dụng cho nhận dạng thực thể là độ chínhxác (precision - P), độ hồi tưởng (recall - R) và độ đo F1 (F1-measure) Độ chínhxác được tính bằng phần trăm các kết quả đúng trong tổng số kết quả nhãn dươngcủa hệ thống Độ hồi tưởng là phần trăm các trường hợp được gán nhãn đúng trongtất cả các mẫu dương có trong dữ liệu Độ đo F1 là trung bình điều hòa của độ chínhxác và độ hồi tưởng Hình 1.1 mô tả một cách trực quan các độ đo này

Hình 1.1 Mô tả các độ đo độ chính xác, độ hồi tưởng và độ đo F1

Trong nhận dạng thực thể, nói một cách chính xác thì một thực thể định danhđược nhận dạng cần phải thỏa mãn hai tiêu chí: Một là xác định đúng biên thực thể

và hai là xác định đúng kiểu thực thể Hầu hết các đánh giá đòi hỏi việc ánh xạchính xác biên thực thể Tuy nhiên, đôi khi trong một số trường hợp thì việc ánh xạmột phần cũng được chấp nhận, ví dụ khi mục tiêu chỉ là xác định liệu thực thể nào

đó có được nhắc đến trong văn bản hay câu hay không [TWC06]

1.1.4 Ứng dụng của nhận dạng thực thể

Nhận dạng thực thể là một bài toán quan trọng, thường được sử dụng như làmột bước tiền xử lý trong các hệ thống trích xuất thông hay trích chọn thông tinphức tạp Có thể kể đến nhận dạng thực thể xuất hiện trong một số các ứng dụngsau:

• Trích xuất quan hệ là bài toán nhận diện các mối quan hệ ngữ nghĩa giữa haithực thể hay giữa một thực thể và một khái niệm [GLR06], ví dụ như mối

quan hệ người-nơi làm việc (Ronaldo, Real Madrid) hay quan hệ nơi sinh (Hồ Chí Minh, Nghệ An) Trong bài toán này, bài toán nhận diện thực thể là

vấn đề đầu tiên cần được giải quyết trước khi trích xuất quan hệ

• Trích xuất sự kiện là bài toán phức tạp hơn trích xuất quan hệ khi sự kiện làmột tổ hợp của nhiều yếu tố thể hiện các thông tin biểu diễn về ai/cái gì đãlàm gì, với ai/cái gì, bao giờ, ở đâu, bằng cách nào và tại sao Các sự kiện cóthể là một sự kiện trong thế giới thực như sự kiện khủng bố, sự kiện tàichính,… hay cũng có thể là một sự kiện xảy ra của một quá trình tự nhiênnhư các sự kiện y sinh liên quan đến biến đổi gene hay gene gây bệnh.Tương tự như trích xuất quan hệ, trong trích xuất sự kiện vấn đề nhận dạngthực thể cũng đặt lên hàng đầu khi yêu cầu phải nhận ra đủ và chính xác cácthành phần cấu thành nên sự kiện Nhiều hệ thống về trích xuất sự kiện đã ápdụng thành công NER trong các thành phần xử lý như hệ thống BioCaster

• Hệ thống hỏi đáp tự động đang là một lĩnh vực nhận được sự quan tâm lớntrong thời điểm lượng thông tin và tri thức bùng nổ Khá nhiều các hệ thốnghỏi đáp tự động dựa trên khai phá văn bản cần đến nhận dạng thực thể như làmột yếu tố làm tăng khả năng phân tích, hiểu câu hỏi và dữ liệu trả lời trong

hệ thống [HWY05] Có thể kể đến một số nghiên cứu sử dụng nhận dạngthực thể cho hệ thống hỏi đáp như nghiên cứu của Yao và Van Durme (2014)[YD14] sử dụng NER trong pha phân tích câu hỏi để xác định chủ đề hỏi hay

hệ hỏi đáp của West và cộng sự (2014) [WGM14] áp dụng NER cho việc

phát hiện các mối quan hệ có trong log được trả về từ máy tìm kiếm hỗ trợcho thành phần trả lời câu hỏi.

1.2 Sơ lược về lịch sử nghiên cứu và một số hướng giải quyết bài toán

Bài toán nhận dạng thực thể đã xuất hiện từ đầu những năm 1990 [RA91],nhưng chỉ được chính thức giới thiệu vào năm 1995 tại hội nghị MUC-6 với tư cách

là một bài toán con của trích xuất thông tin Kể từ đó, NER đã thu hút nhiều sự chú

ý của cộng đồng nghiên cứu Đã có khá nhiều hệ thống và chương trình được xâydựng thực thi bài toán này, có thể kể đến Automatic Content Extraction2, các công

bố trong nhiệm vụ cộng đồng thuộc hội nghị Conference on Natural LanguageLearning (CoNLL) năm 2002 và 2003, và chuỗi nhiệm vụ nhận dạng thực thể y sinhtại hội thảo BioCreative3 (Critical Assessment of Information Extraction Systems inBiology)

Các giải pháp ban đầu cho nhận dạng thực thể dựa vào các mẫu được tạo mộtcách thủ công [AHB93] Sau đó các nghiên cứu đầu nhưng năm 2000 về nhận dạngthực thể đã đạt được rất nhiều kết quả khả quan bằng việc sử dụng các phương pháphọc máy thống kê Một loạt các mô hình học máy khác nhau đã được đề xuất để giảiquyết bài toán nhận dạng thực thể như mô hình Entropy cực đại (Maximum EntropyModel, MaxEnt Model) [BPP96], mô hình trường ngẫu nhiên điều kiện(Conditional Random Field; CRF) [LMP01] Bên cạnh sử dụng từng phương phápriêng biệt để giải quyết bài toán, các phương pháp kết hợp hoặc lai ghép các môhình học máy (ensemble models method) để đưa ra kết quả tốt hơn cũng là mộthướng đi đạt được hiệu quả cao, điển hình là nghiên cứu của Florian và cộng sự(2003) đã đạt được hiệu quả tốt nhất (88,76) tại nhiệm vụ CONLL-2003 [FIJ03]

Sau khi các phương pháp học máy đạt được nhiều hiệu quả khả quan đối vớinhận dạng thực thể trong văn bản tiếng Anh thông thường, các nghiên cứu gần đây

đi theo hai hướng chính [AZ12]:

2 Automatic content extraction (ACE) evaluation http://www.itl.nist.gov/iad/mig/tests/ace/

3 http://www.biocreative.org/

• Hướng tiếp tục nâng cấp hiệu quả của phương pháp nhận dạng thực thể bằngcách đưa thêm các thông tin được sinh ra từ một lượng lớn dữ liệu không cónhãn, điển hình của hướng đi này là việc áp dụng các kỹ thuật học máy bángiám sát (semi-supervised) và học máy sâu (deep learning) Ando và Zhang

áp dụng học máy bán giám sát sử dụng 27 triệu từ chưa gán nhãn để nângcấp chất lượng nhận dạng [AZ05], Ratinov và Roth cũng sử dụng bán giámsát với dữ liệu từ Wikipedia kết hợp với các cụm từ vựng (word clusters)được sinh ra bằng phương pháp gom cụm Brown [RR09] Kết quả của hainhóm đều đạt cao hơn mô hình của Florian và cộng sự (2003) với các độ đoF1 tương ứng là 90,8 và 89,31 Collobert và cộng sự (2011) đưa ra một cáchgiải quyết khác bằng việc sử dụng kỹ thuật học sâu với việc áp dụng mạngnơron nhiều tầng để huấn luyện mô hình nhận dạng thực thể kết hợp với cácthông tin hỗ trợ từ 852 triệu từ chưa được gán nhãn, kết quả trên độ đo F1 đạtđược là 89,59 cũng cao hơn mô hình cơ sở của Florian và cộng sự Mặc dùkết quả tăng chưa cao so với mô hình chuẩn tuy nhiên các nghiên cứu nàytạo được sự quan tâm lớn của cộng đồng nghiên cứu khi đưa ra một hướng đimới cho việc tăng cường ngữ nghĩa thông qua lượng dữ liệu lớn chưa cónhãn

• Một hướng đi khác của cộng đồng nghiên cứu là áp dụng các kỹ thuật họcmáy đã có vào các dạng thực thể khó hơn trong các miền dữ liệu khác như

dữ liệu y sinh, địa lý, mạng xã hội,… hay một loại ngôn ngữ khác khôngnhiều tài nguyên như tiếng Anh Bên cạnh đấy việc nghiên cứu các kỹ thuậtthích nghi miền (domain adaptation) cũng được đặt ra khi các nhà nghiêncứu cố gắng áp dụng những mô hình nhận dạng thực thể đã tốt cho một miền

dữ liệu mới chưa có dữ liệu gán nhãn Một số nghiên cứu có thể kể đến nhưnghiên cứu của Daume (2007) đánh giá việc thích nghi miền giữa một số tập

dữ liệu nhận dạng thực thể [DA07] hay nghiên cứu của Wang và cộng sự(2009) đánh giá thích nghi miền trong nhận diện các thực thể protein[WKS09]

1.3 Nhận dạng thực thể trong dữ liệu văn bản tiếng Việt và một số

nghiên cứu liên quan

Bắt nhịp với tình hình phát triển chung trên toàn thế giới, các văn bản tiếngViệt cũng ngày càng xuất hiện nhiều dưới dạng văn bản điện tử, và cùng với đóchính là nguyên nhân phát sinh nhu cầu khai thác thông tin có giá trị từ các văn bảnnày Nhận dạng thực thể đóng một vai trò chủ chốt trong khai phá văn bản, chính vìthế nó cũng nhanh chóng trở thành một lĩnh vực nghiên cứu được nhiều nhà khoahọc trong nước quan tâm

Áp dụng được NER cho dữ liệu tiếng Việt đồng nghĩa với việc đặt một nềntảng quan trọng trong việc xây dựng được các hệ thống ứng dụng cho nhiều lĩnhvực khác như tài chính, kinh tế, xã hội, y sinh, v.v phù hợp với tình hình trongnước

Trong mục này, luận án tóm tắt về một số thách thức cần giải quyết khi xử lývăn bản tiếng Việt, động cơ nghiên cứu và tầm quan trọng của bài toán bài toánnhận dạng thực thể tiếng Việt, điểm qua một số tài nguyên hữu ích cũng như tìnhhình nghiên cứu hiện tại

1.3.1 Những thách thức đối với xử lý dữ liệu tiếng Việt

Có thể nêu ra một số đặc điểm của tiếng Việt khiến cho nó trở nên khác biệt

và khó xử lý như sau, một số các đặc điểm dưới đây được tham khảo từ tài liệu[DH96] và một số khác dựa trên quan điểm của nghiên cứu sinh về tiếng Việt:

• Khác với tiếng Anh, Tiếng Việt thuộc ngôn ngữ đơn lập, tức là mỗi một tiếng(âm tiết) được phát âm tách rời nhau và được thể hiện bằng một chữ viết Từtiếng, người ta tạo ra các đơn vị từ vựng khác để định danh sự vật, hiện

tượng v.v , chủ yếu nhờ phương thức ghép và phương thức láy, ví dụ: “con người”, “khoa học”, “công nghệ thông tin”, “đu đủ”, “thừa thãi”, v.v Các

từ này được viết rời theo từng âm tiết chứ không theo từng từ Chính điềunày khiến cho việc xác định biên của một từ trong tiếng Việt trở nên khókhăn hơn

• Sự linh hoạt trong sử dụng, việc tạo ra các từ ngữ mới một cách dễ dàng đãtạo điều kiện thuận lợi cho sự phát triển vốn từ nhưng đồng thời cũng gâykhó khăn trong việc bao quát các thể hiện của ngôn ngữ Ví dụ, bên cạnh cácyếu tố cấu tạo từ thuần Việt, tiếng Việt có vay mượn từ các ngôn ngữ khác để

tạo ra các từ mới, như “ghi đông”, “karaoke”, “siêu liên kết”, v.v Các từ

địa phương xuất hiện trong văn bản cũng là một yếu tố khiến tiếng Việt trởnên phức tạp hơn

• Hiện tượng đồng âm khác nghĩa trong tiếng Việt là khá phổ biến, Ví dụ:

“lợi” (có ích lợi – tương ứng với “benefit” trong tiếng Anh) và “lợi” (“lợi” thuộc về răng hàm mặt – “alveolar”)

• Ngược lại, cùng một sự vật, hiện tượng, một hoạt động hay một đặc trưng lại

có thể có nhiều từ ngữ khác nhau biểu thị Hiện tượng các từ gần nghĩa, đồngnghĩa nhưng cách dùng khác nhau và không thể thay cho nhau trong mọi ngữ

cảnh cũng khá phổ biến, ví dụ: “hội đàm”, “hội nghị”, “hội thảo”, “toạ đàm” hay “tìm” và “kiếm”.

• Ngữ pháp Việt Nam là ngữ pháp cực kỳ phức tạp Đối với hầu hết người ViệtNam, câu nói “phong ba bão táp không bằng ngữ pháp Việt Nam” chắc chắnkhông phải là xa lạ Ngữ pháp Việt Nam phức tạp không phải bởi vì nó có bộluật cồng kềnh và chặt chẽ như nhiều ngôn ngữ khác, mà ngược lại, vì nóquá linh động với vô số biến thể và trường hợp ngoại lệ Sự phức tạp của ngữpháp Việt Nam được thể hiện ở nhiều khía cạnh, nó có thể bởi cách tư duy

khác nhau của người Việt (ví dụ “áo ấm” và “áo lạnh” là hai từ đồng nghĩa trong khi “lạnh” và “ấm” là hai từ trái nghĩa), do thói quen sử dụng từ (ví

dụ, về mặt lý thuyết thì “con” được dùng trước danh từ chỉ động vật, nhưng trong thực tế “con” lại kết hợp được với một số từ chỉ bất động vật như “con mắt”, “con đường”, “con dao”, v.v ), hay do bản thân các cấu trúc trật tự từ (ví dụ, Trong câu hỏi về tương lai, các từ bao giờ, khi nào, bao nhiêu thường

được đặt ở đầu câu, trong khi đó nếu để hỏi về quá khứ thì chúng thườngđược đặt ở cuối câu)

Một vấn đề khác mang tính kỹ thuật hơn Đó là vì sự phát triển còn non trẻ của lĩnhvực xử lý ngôn ngữ tự nhiên cũng như khai phá văn bản trong nước, các tài nguyênngôn ngữ và công cụ hỗ trợ được xây dựng cho tiếng Việt còn rất ít và có nhiều hạnchế Cộng đồng nghiên cứu tiếng Việt cũng chưa có sự liên kết chặt chẽ, dẫn tới mỗinghiên cứu lại có tính cá nhân mà chưa tận dụng được hết những kết quả của cácnghiên cứu trước đó.

1.3.2 Động cơ nghiên cứu

Như đã được trình bày, tiếng Việt có những đặc điểm khác biệt so với cácngôn ngữ khác (ví dụ như tiếng Anh), vì vậy, nhiều phương pháp nhận dạng thựcthể đã được áp dụng thành công cho tiếng Anh song không đảm bảo đem lại kết quảtương ứng khi sử dụng cho dữ liệu tiếng Việt Vì vậy việc đề xuất một phương pháphiệu quả đối với dữ liệu tiếng Việt là nhiệm vụ bức thiết của chính những nhànghiên cứu trong nước, trong đó có nghiên cứu sinh

Nắm bắt được nhu cầu thực tế và với mong muốn được cống hiến công sứccủa mình để nghiên cứu tiếng mẹ đẻ từ đó góp phần đem lại thêm những tri thức cógiá trị đến với cộng đồng khoa học trong nước, nghiên cứu sinh coi việc tập trungnghiên cứu bài toán nhận dạng thực thể trong văn bản tiếng Việt là một trong haimục tiêu nghiên cứu chính của luận án

1.3.3 Các nghiên cứu liên quan

Nhận dạng thực thể trong tiếng Việt đang nhận được nhiều sự quan tâm củacộng đồng nghiên cứu trong nước cũng như các nhà nghiên cứu đang sống và làmviệc tại nước ngoài Nhiều công trình nghiên cứu về trích xuất thông tin tiếng Việt

đã được đăng và xuất bản tại các hội nghị uy tín như: EACL, IJNLP, PAKDD,…hay các tạp chí có chỉ số cao như TALIP, TKDE,… bên cạnh đấy một số hội nghịcũng đã có những phiên làm việc tập trung về lĩnh vực này cho tiếng Việt như KSE,RIVF, SoICT,…

Phần lớn các nghiên cứu về nhận dạng thực thể tiếng Việt cũng đi theo xuhướng của các nghiên cứu trên thế giới là dựa vào các phương pháp học máy, bên

cạnh đấy, một số nghiên cứu áp dụng một số luật để nhận dạng như luật down-rule [NP12, NHP10] hay luật ngữ pháp [LN10, LDN13] cũng được sử dụng.Các phương pháp nói trên cho hiệu quả khá tốt với độ đo F nằm trong khoảng 80-90% đối với một số loại thực thể phổ biến như người, địa danh, tổ chức, thời gian Các phương pháp học máy được sử dụng để giải quyết bài toán nhận dạngthực thể tiếng Việt chủ yếu là giám sát và bán giám sát Đối với học máy giám sát,Nguyen Cam Tu và cộng sự [TOH05] áp dụng phương pháp trường ngẫu nhiên cóđiều kiện (CRF) trên tập dữ liệu huấn luyện tự xây dựng gồm 8 loại thực thể (tênngười, địa danh, tổ chức, tiền tệ, thời gian, số, phần trăm, một số loại khác) kết quảđạt 85,51% với độ đo F Cũng sử dụng phương pháp CRF, tuy nhiên, Le và cộng sự[LV13] và Nguyen và cộng sự [NC12] đã đưa thêm một số đặc trưng liên quan đếnontology và kỹ thuật lựa chọn đặc trưng dựa trên giải thuật di truyền nhằm nâng caochất lượng nhận dạng Tran và cộng sự [TTQ07] huấn luyện mô hình nhận dạngthực thể tiếng Việt dựa trên phương pháp máy vector hỗ trợ (SVM) bằng công cụYamcha4, mô hình cho kết quả tương đối khả quan khi so sánh với phương phápCRF trên độ đo F, đạt 87,75% so với 86,48% Thao và cộng sự [TTD07] đã cải tiếnkết quả của Tran và cộng sự bằng việc tổ hợp kết quả đã có với nhiều kết quả củacác phương pháp học khác nhau (ensemble learning) thông qua kỹ thuật bình chọn(voting), phương pháp này làm tăng hiệu quả của mô hình nhận dạng từ 87,75% lên88,02%

ripple-Bên cạnh các phương pháp học giám sát, các phương pháp học bán giám sát(semi-supervised learning) cũng được áp dụng trong nhiều nghiên cứu Trong[SLT11a], Sam và cộng sự sử dụng phương pháp học bán giám sát lan truyền nhãndựa trên đồ thị tương tự Với ưu điểm của các phương pháp học máy bán giám sát làtận dụng các nguồn dữ liệu lớn chưa được gán nhãn để hỗ trợ thông tin cho mô hìnhhọc, phương pháp này đã đạt được những kết quả khả quan trong nhận diện ba thựcthể phổ biến là người, địa danh, tổ chức Một hướng tiếp cận khác của học bán giámsát là học dựa trên các mẫu (pattern-based), Le Trung và cộng sự [LLL14] đã áp

4 http://chasen.org/~taku/software/yamcha/

dụng phương pháp mồi dữ liệu (bootstrapping) để tự động sinh ra các mẫu nhậndạng thực thể từ một số lượng nhỏ các thực thể hạt giống (seed), phương pháp nàycho hiệu quả tốt nếu tập dữ liệu huấn luyện nhỏ, tuy nhiên việc quản lý nhập nhằnggiữa các mẫu ngữ pháp của các thực thể khác nhau là một thách thức không nhỏ khivòng lặp sinh mẫu lớn hay số loại thực thể nhiều.

Bên cạnh các nghiên cứu về nhận dạng thực thể, một số các nghiên cứu ứngdụng nhận dạng thực thể cũng được các nhà nghiên cứu trong nước nêu ra như tríchxuất quan hệ và sự kiện tiếng Việt Sam và cộng sự (2011) [SLT11b] đã áp dụngphương pháp học bán giám sát mồi dữ liệu (bootstrapping) để sinh ra các mẫu ngônngữ nhận biết các cặp thực thể có quan hệ với nhau, bên cạnh đấy nghiên cứu cũng

áp dụng phương pháp SVM để xác định loại quan hệ cũng như làm tốt hơn kết quảtrích xuất các mẫu ngôn ngữ Trong nghiên cứu về trích xuất sự kiện của mình,Nguyen và cộng sự [NN13] đã thực hiện việc trích xuất các sự kiện liên quan đếndịch bệnh trong miền dữ liệu văn bản tiếng Việt, các sự kiện dịch bệnh sẽ là một tổhợp các thực thể liên quan đến dịch bệnh xuất hiện trong văn bản được xét và đượcnhận dạng dựa trên mô hình nhận dạng thực thể Việc xem xét các mối quan hệ giữa

sự kiện và thực thể hay giữa các thực thể và thực thể được thực hiện dựa vào một sốluật đơn giản, chính vì thế hiệu quả của mô hình trích xuất sự kiện chưa đạt kết quảcao như các phương pháp sử dụng các kỹ thuật phân tích ngữ nghĩa sâu trong xử lýngôn ngữ tiếng Anh

1.4 Nhận dạng thực thể trong dữ liệu văn bản y sinh tiếng Anh và một số nghiên cứu liên quan

1.4.1 Những thách thức đối với xử lý dữ liệu y sinh

Khai phá văn bản y sinh nói chung và nhận dạng thực thể y sinh nói riêng cónhiều điểm khác biệt so với lĩnh vực nghiên cứu này cho dữ liệu thông thường.Nhận xét này thể hiện ở hai điểm: Thứ nhất, do mục tiêu cụ thể của các hệ thốngkhai phá văn bản y sinh, bên cạnh những đối tượng kinh điển như người, tổ chức,địa điểm, v.v hệ thống khai phá văn bản y sinh thường hướng tới một số đối tượng

khác biệt hơn so với dữ liệu thông thường đòi hỏi phải có những mô hình nhận dạngthực thể chuyên biệt cho từng hệ thống, ví dụ như hệ thống liên quan đến các bệnh

di truyền đòi hỏi nhận diện các loại thực thể liên quan đến gene, protein, bệnh ditruyền, thuốc, triệu chứng…, trong khi các hệ thống giám sát bệnh truyền nhiệm lạiyêu cầu nhận dạng các loại thực thể như bệnh di truyền, số bệnh nhân, nguyênnhân Thứ hai, là ở tính đặc thù của các từ chuyên ngành trong lĩnh vực y sinh, các

từ chuyên ngành này thường không tuân theo những quy luật từ vựng và ngữ nghĩathông thường Các khảo sát gần đây [ZDY07, ZD09] trong lĩnh vực này cho thấycác công cụ để khai phá văn bản và dữ liệu mở thông thường không phù hợp chomiền dữ liệu y sinh chính bởi tính chuyên ngành cao của nó Chính vì lý do này, cácnghiên cứu trong lĩnh vực y sinh thường đòi hỏi sự hỗ trợ mang tính kinh nghiệmcủa các chuyên gia (các nhà sinh vật học và bác sĩ) trong việc xác định và hỗ trợgiải quyết các nhiệm vụ Cohen và Hunter [CH08] cho rằng phương pháp tiếp cậnhiệu quả nhất đối với khai phá văn bản y sinh là sự kết hợp giữa các tri thức từchuyên gia và các kỹ thuật tính toán

Phần dưới đây tóm tắt một số khó khăn chung của nhận dạng thực thể tronglĩnh vực y sinh được Lin và cộng sự (2004) nêu ra [LTC04]

• Nhiều thực thể chứa các từ viết tắt, chữ cái Hy Lạp, các dấu câu (như dấugạch nối), v.v Cho đến nay chưa có một bộ danh pháp hay tiêu chuẩn đặt tênchính thức nào cho thực thể biểu hiện

• Rất khó xác định chính xác biên của thực thể biểu hiện, một thực thể biểuhiện không những có thể rất dài mà còn có thể chứa cả liên từ, từ phủ định,

bổ từ, v.v

• Vì thực thể biểu hiện có thể chứa thực thể khác trong nó, vì vậy tồn tại nhiềunhập nhằng giữa thực thể biểu hiện và các thực thể khác (như bệnh, gene vàsản phẩm của gene, bộ phận cơ thể)

1.4.2 Động cơ nghiên cứu

Hiện nay, số lượng các văn bản y tế và sinh học dưới dạng điện tử trên Internetcũng như được lưu trữ trong các hệ thống y tế đang tăng với tốc độ chóng mặt Việc

khai thác hiệu quả nguồn tài nguyên này có thể đưa tới nguồn tri thức hữu ích chongười dùng như phát hiện bệnh dịch sớm, tổng hợp các kinh nghiệm phòng và chữabệnh, nghiên cứu các cơ chế di truyền, tuyên truyền và nâng cao sức khỏe cộngđồng, v.v Vấn đề này càng cần phải được quan tâm thích đáng khi con người đangphải đối mặt với nhiều dịch bệnh truyền nhiễm mới đang phát triển và có chiềuhướng gia tăng trong thời gian gần đây như cúm A H1N1, H5N1, Ebola, MERS-CoV v.v Những nghiên cứu liên quan đến xử lý ngôn ngữ tự nhiên cho văn bản ysinh (Biomedical Natural Language Processing; BioNLP) đã mang đến nhiều lợi íchcho việc khai thác nguồn dữ liệu y sinh, có thể kể đến những cơ sở dữ liệu hayontology y sinh được xây dựng tự động hỗ trợ cho những nhà nghiên cứu sinh, bác

sĩ hay những hệ thống theo dõi thông tin về diễn biến dịch bệnh truyền nhiễm đangphát triển trên thế giới

Trong những hệ thống đấy, nhận dạng thực thể y sinh là một thành phần quantrọng trong quá trình phân tích và tổng hợp thông tin từ văn bản y sinh Đây là mộtbài toán khó vì mỗi một loại thực thể y sinh lại bao hàm nhiều tính chất đặc thùkhác nhau về ngôn ngữ và y sinh đòi hỏi người nghiên cứu cần phải có sự kết hợpkiến thức cả xử lý ngôn ngữ tự nhiên và kiến thức y sinh mới có thể đưa ra mộtphương pháp hay mô hình nhận dạng thực thể hiệu quả

1.4.3 Các nghiên cứu liên quan

Các hướng nghiên cứu đối với nhận dạng thực thể y sinh thay vì tập trung vàoviệc đề xuất các phương pháp mới có hiệu quả tốt hơn thì tập trung vào việc giảiquyết nhận dạng các loại thực thể y sinh khác nhau với các đặc trưng riêng cho từngmiền dữ liệu riêng biệt Hầu hết các nghiên cứu về nhận dạng thực thể y sinh đềutập trung vào một số loại thực thể được đưa ra thông qua một số nhiệm vụ cộngđồng được công bố tại chuỗi hội nghị hay hội thảo lớn về xử lý ngôn ngữ tự nhiêncho văn bản y sinh (chẳng hạn, BioNLP) Theo thống kê dựa trên kết quả nghiêncứu của Huang và Lu (2015) [HL15] có khoảng 14 nhiệm vụ cộng đồng về nhậndạng thực thể y sinh trong giai đoạn 2002-2014 thuộc các chuỗi hội nghị, hội thảo

lớn về BioNLP như BioCreAtivE [WAC12], BioNLP [NBK13], i2b2 [USS10],JNLPBA [KOT04], và LLL [NE05],… (xem Hình 1.2)

Hình 1.2 Các nhiệm vụ về xử lý ngôn ngữ tự nhiên cho văn bản y sinh

trong giai đoạn 2002-2014 [HL15]

Các nhiệm vụ này tập trung vào bốn nhóm thực thể chính là gene, hóa chất,thuốc và bệnh, trong từng nhóm lại có các loại thực thể khác ở mức độ cụ thể hơnnhư nhóm gene có thêm protein, tế bào, gene, nhóm bệnh có thể chia nhỏ theo cácloại bệnh (ung thư, bệnh liên quan đến tim, bệnh tự miễn dịch),… Bên cạnh cácthực thể phổ biến được nêu ra tại các nhiệm vụ, một số loại thực thể cũng nhậnđược nhiều sự quan tâm và đưa vào bài toán nhận dạng thực thể như thực thể biểuhiện, dấu hiệu và triệu chứng (sign and symptom), sinh vật (organism, species),…

Về mặt phương pháp, các nghiên cứu nhận dạng thực thể y sinh cũng sử dụngcác phương pháp nhận dạng thực thể truyền thống và kết hợp thêm các đặc trưnghay tri thức liên quan đến miền dữ liệu y sinh Có thể chia các hướng tiếp cận vềnhận dạng thực thể y sinh theo 3 nhóm: nhóm phương pháp sử dụng luật và mẫungữ nghĩa cấu thành thực thể y sinh, nhóm phương pháp sử dụng học máy thống kê,nhóm phương pháp kết hợp các mô hình nhận dạng (ensemble models methods)

a Phương pháp sử dụng các luật và mẫu ngữ nghĩa cấu thành thực thể y sinh

Các phương pháp trong nhóm này thường dựa trên các đặc điểm chính tả và từvựng để nhận diện thực thể, các loại thực thể có thể nhận dạng tốt là protein[FTT98] và tên hóa chất [NRV03] Những phương pháp đơn giản này có thể đượccải tiến bằng cách bổ sung thông tin ngữ cảnh đang xem xét [HC03] và kết quả củaphân tích cú pháp để xác định biên thực thể [FEO02] Một số hướng nghiên cứumới hơn sử dụng các ontology để sinh các mẫu tổng quát cho một loại thực thể, nhưcác nghiên cứu sử dụng mô hình EQ (Entity-Quality model) để nhận dạng thực thểbiểu hiện của Collier và cộng sự (2013) [COG13] hay Groza và cộng sự (2013)[GHZ13] Tuy nhiên, trong khi phương pháp tiếp cận dựa trên luật thường đạt đượchiệu suất tốt hơn so với phương pháp tiếp cận dựa trên từ điển, thì việc tạo ra cácluật một cách thủ công là quá trình tốn nhiều thời gian, bên cạnh đấy việc sinh cácluật luôn rất cụ thể nhằm mục đích đạt được độ chính xác cao nên chúng rất khóđược sử dụng để mở rộng đến các lớp thực thể khác

b Phương pháp sử dụng kỹ thuật học máy thống kê

Theo xu hướng chung của các nghiên cứu về nhận dạng thực thể, các phươngpháp học máy là nhóm được sử dụng phổ biến và đạt hiệu quả tốt trên nhiều loạithực thể y sinh khác nhau Hầu hết các phương pháp học máy thống kê được sửdụng thuộc về dạng học có giám sát tuy nhiên cũng có một số nghiên cứu sử dụngmột số kỹ thuật như bootstrapping hay các kỹ thuật bán giám sát khác [MHC04,UCO11] Các phương pháp học giám sát được sử dụng cho NER có thể được phânthành hai nhóm: phương pháp tiếp cận dựa trên phân lớp và phương pháp tiếp cậndựa trên chuỗi

Cách tiếp cận dựa trên phân lớp chuyển đổi nhiệm vụ NER thành một vấn đề

phân lớp, có thể được áp dụng cho các từ riêng lẻ hoặc nhóm từ Các bộ phân lớpthường được sử dụng cho NER y sinh bao gồm bộ phân lớp sử dụng Naive Bayes[NCT99] và bộ phân lớp sử dụng máy vector hỗ trợ (Support Vector Machine,

SVM) [MFM05, TC05] Một cách tiếp cận phổ biến để phân lớp các cụm là tuântheo lược đồ gán nhãn BIO [RM95], trong đó một từ vựng (token) riêng lẻ đượcphân lớp thành bắt đầu (B) một thực thể, nằm trong biên (I) một thực thể hay nằmngoài (O) biên của thực thể Hiệu suất của cách tiếp cận dựa trên phân lớp phụthuộc rất nhiều vào sự lựa chọn các đặc trưng được sử dụng để huấn luyện, và nhiềutác giả đã nghiên cứu các cách kết hợp đặc trưng khác nhau Ví dụ, nhóm nghiêncứu của Mitsumori [MFM05], xem xét các đặc tính hình thái-cú pháp của các thựcthể định danh, Takeuchi và Collier [TC05] xem xét các đặc trưng chính tả và cácdanh từ chính

Không giống như các phương pháp tiếp cận dựa trên phân lớp, hệ thống NER

dựa trên gán nhãn chuỗi xem xét việc gán một chuỗi các từ hoàn chỉnh thay vì

từng từ riêng hoặc cụm từ lẻ Chúng được huấn luyện với các tập dữ liệu được gánnhãn nhằm mục đích dự đoán chuỗi các nhãn có khả năng nhất cho một chuỗi quansát Những kỹ thuật thường được sử dụng cho NER y sinh là mô hình Markov ẩn(Hidden Markov Model, HMM) [KCO05], phương pháp dựa trên mô hình Markoventropy cực đại (Maximum Entropy Markov Model, MEMM) [SSM09] hay trườngngẫu nhiên có điều kiện (Conditional Random Fields, CRF) [OMT06] Cũng giốngnhư các phương pháp thống kê khác, phương pháp tiếp cận dựa trên chuỗi có thểđược huấn luyện dựa rên một loạt các đặc trưng bao gồm các đặc trưng chính tả,thông tin tiền tố và hậu tố, và từ loại [KCO05]

c Phương pháp lai ghép các mô hình (ensemble models methods)

Nhóm phương pháp lai ghép các mô hình nhận dạng với cách tiếp cận khôngchỉ sử dụng một phương pháp duy nhất để thực hiện NER y sinh mà thay vào đó làdựa vào nhiều kỹ thuật và các nguồn tài nguyên khác nhau Những cách tiếp cận kếthợp thường khá thành công trong việc ghép các phương pháp tiếp cận dựa trên từđiển hoặc dựa trên luật với các phương pháp học máy thống kê Một bằng chứng vềnhững ưu điểm của phương pháp tiếp cận lai là nghiên cứu của Abacha và cộng sự[AZ11b] so sánh hiệu quả của các phương pháp tiếp cận dựa trên luật và thống kêphổ biến cho NER y tế và kết luận rằng phương pháp kết hợp sử dụng học máy và

tri thức miền có kết quả tốt hơn Có rất nhiều hệ thống NER y sinh lai Ví dụ, Sasaki

và cộng sự [STM08] sử dụng một phương pháp tiếp cận dựa trên từ điển để xácđịnh tên protein song song với gán nhãn từ loại Sau đó, họ sử dụng một phươngpháp tiếp cận dựa trên CRF để giảm các kết quả sai, thiếu trong chuỗi kết quả đượcdán nhãn Một phương pháp khác tạo ra một bộ siêu học máy (metalearners) từnhiều phương pháp thống kê Ví dụ, Zhou và cộng sự [ZSZ05] xây dựng bộ nhậndạng thực thể từ việc lai ghép hai mô hình HMMs được đào tạo với các dữ liệu khácnhau và đầu ra của chúng được kết hợp sử dụng SVM để nhận dạng protein và gen.Tương tự như vậy, Mika và Rost [MR04] tạo một bộ đa học máy để nhận dạng tênprotein từ ba mô hình SVM huấn luyện trên các tập dữ liệu và đặc trưng khác nhau,đầu ra của chúng được kết hợp bằng mô hình SVM thứ tư Cuối cùng Cai và Cheng[CC09] trình bày một cách tiếp cận cho NER y sinh sử dụng ba bộ phân lớp khácnhau để nâng cao khả năng tổng quát của hệ thống

1.5 Tổng kết chương

Trong chương này, phần đầu tiên luận án đã trình bày khái quát một số kháiniệm cơ bản của vấn đề nhận dạng thực thể bao gồm định nghĩa về bài toán nhậndạng thực thể, một số thách thức, độ đo đánh giá và ứng dụng của nhận dạng thựcthể trong các bài toán khác nhau Phần tiếp theo, luận án nêu lên một số nét nổi bậttrong lịch sử nghiên cứu của bài toán nhận dạng thực thể, bên cạnh đấy một sốhướng tiếp cận giải quyết và các công trình nghiên cứu tiêu biểu cũng được đưa ramột cách khái quát Trong hai mục 1.3 và 1.4, luận án tổng kết một số vấn đề cầnlưu ý bao gồm động cơ nghiên cứu, tài nguyên hỗ trợ, tình hình nghiên cứu đối vớihai miền dữ liệu sẽ giải quyết trong luận án là miền dữ liệu văn bản tiếng Việt vàmiền dữ liệu văn bản y sinh tiếng Anh Các chương tiếp theo sẽ mô tả chi tiết vềtừng bài toán đã được luận án giải quyết trong hai miền dữ liệu trên

Chương 2 – NHẬN DẠNG THỰC THỂ TÊN NGƯỜI KẾT HỢP VỚI NHẬN DẠNG THUỘC TÍNH THỰC THỂ CÓ TÊN TRONG VĂN BẢN

TIẾNG VIỆT

Chương 2 tập trung giải quyết một số vấn đề về nhận dạng thực thể trong vănbản tiếng Việt như đã được nêu trong Chương 1 Luận án không đi theo hướng giảiquyết bài toán NER theo góc nhìn thông thường mà xử lý nó theo một góc nhìnkhác (1) tích hợp NER với bài toán bước sau – trích chọn thuộc tính của thực thể;(2) áp dụng NER vào hệ thống hỏi đáp tự động Hai khung nhìn này được thể hiệntrong hai nghiên cứu của chương này

2.1 Giới thiệu

Tên người và những thông tin liên quan đến người là một trong những từ khóađược tìm kiếm thường xuyên nhất trên các công cụ tìm kiếm web, tuy nhiên, các kếtquả tìm kiếm và thông tin trả về đôi khi còn rất mơ hồ Vì vậy, nhu cầu về một hệthống đầy đủ thông tin, chính xác và tập trung vào thực thể tên người là rất lớn.Thực thể tên người luôn gắn liền với một số các thuộc tính [SJ09, JAJ10], đó là cácđặc trưng hoặc tính chất của một thực thể và trích chọn thuộc tính là trích chọn cácđặc trưng hoặc tính chất tương ứng với một thực thể từ dữ liệu văn bản [GR08].Trong bài toán trích chọn thuộc tính của thực thể tên người, một tập cố định các loạithuộc tính cần được xác định trước, nhiệm vụ đặt ra là trích xuất giá trị của cácthuộc tính đó tương ứng với một thực thể tên người nhất định từ dữ liệu văn bản.Việc trích chọn thuộc tính cho một thực thể tên người cụ thể là rất quan trọng để xácđịnh tính duy nhất của người đó trên Internet Do đó, trích chọn thuộc tính đóng mộtvai trò chủ chốt trong việc xử lý nhập nhằng tên người [SJ09] Ngoài ra, việc tríchchọn thực thể tên người cùng với các thuộc tính của chúng cũng góp một phần quantrọng để mở rộng các cơ sở dữ liệu và ontology

Một ví dụ về trích chọn thực thể tên người và các thuộc tính liên quan đượcđưa ra trong bảng 2.1

Câu ví dụ: “Hoàng Cầm tên thật là Bùi Tằng Việt, (sinh 22 tháng 2 năm 1922, tại xã Phúc Tằng, huyện Việt Yên, tỉnh Bắc Giang – mất 6 tháng 5 năm 2010 tại Hà Nội), là một nhà thơ Việt Nam”.

Bảng 2.1 Một ví dụ về trích chọn thực thể tên người và các thuộc tính liên quan

1 Hoàng Cầm Tên gọi khác Bùi Tằng Việt

2 Hoàng Cầm Ngày sinh 22 tháng 2 năm 1922

3 Hoàng Cầm Nơi sinh Xã Phúc Tằng, huyện Việt Yên, tỉnh Bắc Giang

4 Hoàng Cầm Ngày mất 6 tháng 5 năm 2010

Như vậy, một hệ thống trích xuất thực thể tên người và các thuộc tính liênquan phải giải quyết được một loạt các bài toán con, cụ thể là: NER, xử lý nhậpnhằng, v.v Trong đó NER là bài toán tiền đề bắt buộc, hơn nữa hệ thống NERkhông chỉ cần nhận dạng các thực thể tên người mà còn phải trích chọn được cácthực thể về địa danh, ngày tháng, tổ chức, v.v Xử lý hai bài toán NER tên người vàtrích chọn thuộc tính liên quan theo một cấu trúc thực hiện lần lượt (đường ống,pipeline) có hai nhược điểm chủ yếu: (1) lãng phí tài nguyên và chi phí thực hiện, vìhai vấn đề này có nhiều đặc trưng tương tự, việc thực hiện chúng lần lượt có thể lặplại một số bước hai lần; (2) việc liên kết các thực thể khác về đúng thuộc tính củathực thể chính cũng là một bài toán phức tạp Trong phần này, luận án đề xuất mộtphương pháp tích hợp trích chọn thực thể tên người và các thuộc tính liên quan sửdụng CRF và một tập đặc trưng phong phú nhằm giải quyết các nhược điểm nóitrên, đồng thời đem lại kết quả khả quan hơn

2.2 Các nghiên cứu liên quan

2.2.1 Các nghiên cứu liên quan trên thế giới

Chủ đề nghiên cứu nhận dạng thực thể và thuộc tính của thực thể đã nhậnđược khá nhiều sự quan tâm của cộng đồng xử lý ngôn ngữ tự nhiên trên thế giới

Từ năm 2007 đến năm 2010, chuỗi hội nghị Web People Search Campaigns (WePS)[SJ09, JAJ10] được tổ chức tập trung vào bài toán tìm kiếm tên người trên web,chuỗi hội nghị này đã đóng góp rất nhiều nghiên cứu quan trọng về bài toán nhậndạng thực thể cũng như trích chọn thuộc tính của thực thể Hội nghị WePS đầu tiêngiới thiệu nhiệm vụ xử lý nhập nhằng tên người và chỉ ra rằng các thuộc tính nhưngày sinh, quốc tịch, giới tính, nghề nghiệp, v.v là các đặc trưng đặc biệt quantrọng trong việc giải quyết những trường hợp trùng tên [SJ09] Do đó, trong hộinghị WePS thứ hai, nhiệm vụ về trích chọn thuộc tính đã được đưa ra [SJ09] và nótiếp tục được giải quyết trong WePS thứ ba [JAJ10] Nhiệm vụ này trong WePS 2 làtrích chọn 18 giá trị thuộc tính của các cá nhân có tên xuất hiện trong từng trangweb được cung cấp Để giải quyết nhiệm vụ này, rất nhiều kỹ thuật đã được các nhànghiên cứu sử dụng: NER, phân lớp, khai phá text, đối sánh mẫu, khai phá quan hệ,trích chọn thông tin, v.v Tuy nhiên, kết quả thực nghiệm trên tập đánh giá với2.883 văn bản là khá thấp, giá trị F cao nhất đạt được bởi hệ thống PolyUHK là12,2% [SJ09] Nhiệm vụ trích chọn thuộc tính trong WePS 3 tương đối khác so vớinhiệm vụ này trong WePS-2, các hệ thống tham dự được yêu cầu phải liên hệ từngthuộc tính với một người (phân cụm văn bản) Hệ thống có kết quả tốt nhất đạt F là18%, độ chính xác P 22% và độ hồi tưởng R là 24% [JAJ10] trên tập dữ liệu đượchội nghị cung cấp WePS 2 cũng đưa ra kết luận rằng một số thuộc tính có tần sốxuất hiện cao hơn các thuộc tính khác, ví dụ như nghề nghiệp, tổ chức, ngày sinh,v.v [SJ09] Dựa vào những thuộc tính có tần số xuất hiện cao nhất do WePS 2 đưa

ra, luận án sử dụng 10 loại thuộc tính trong quá trình thực nghiệm, bao gồm: tênkhác, ngày sinh, ngày mất, nơi sinh, nơi mất, giới tính, nghề nghiệp, quốc tịch, nơilàm việc và thân nhân

Năm 2008, Banko và Etzioni đề xuất mô hình O-CRF [MO08] nhận dạngđồng thời thực thể và các mối quan hệ thuộc tính liên quan đến thực thể dựa trên kỹthuật gán nhãn chuỗi CRF và các đặc trưng chung giữa thực thể và thuộc tính.Môhình này đạt độ chính xác và độ hồi tưởng tốt nhất lần lượt là 88,3% và 45,2% khi

áp dụng thêm một số kỹ thuật lai ghép (ensemble models) giữa mô hình CRF sửdụng đặc trưng từ vựng truyền thống với mô hình CRF sử dụng đặc trưng liên quanđến quan hệ Năm 2014, nghiên cứu của Miwa và Sasaki [MY14] cũng thực hiệnviệc nhận dạng đồng thời thực thể và mối quan hệ thuộc tính bằng kỹ thuật suy luậngộp (joint inference) Kỹ thuật này kết hợp trọng số đầu ra của hai mô hình học trênhai nhóm đặc trưng khác nhau vào cùng một bộ giải mã (decode) sử dụng giải thuậtBeam Search phục vụ cho việc nhận diện đồng thời cả thực thể và mối quan hệthuộc tính Hiệu quả của việc kết hợp nhiều mô hình học giúp nhận diện đồng thời

cả thực thể và thuộc tính chính là một trong những lý do để nghiên cứu sinh sử dụng

kỹ thuật này vào trong việc nhận dạng thực thể và thuộc tính tiếng Việt

2.2.2 Các nghiên cứu liên quan ở Việt Nam

Như đã trình bày ở phần 1.3.3, có không ít các nghiên cứu liên quan đến nhậndiện thực thể tại Việt Nam trong những năm gần đây Các nghiên cứu đều cho thấyhiệu quả của các mô hình nhận dạng với các kết quả khá khả quan, hầu hết từ 80-90% với độ đo F Tuy nhiên, bài toán trích chọn thuộc tính của thực thể lại chưađược tập trung nghiên cứu Nghiên cứu của Rathany Chan Sam và cộng sự năm

2010 [RHT10] xây dựng một hệ thống trích chọn quan hệ cho thực thể tên người vàcác thực thể khác trong văn bản tiếng Việt dựa trên CRF, kết quả trung bình của độ

đo F là 82,1% cho quan hệ người – tổ chức, 86,91% cho quan hệ người – chức vụ

và 87,71% cho quan hệ người - địa điểm

Vấn đề tích hợp hai bài toán gần nhau để xử lý đồng thời không phải là mộthướng đi hoàn toàn mới Trong các nghiên cứu về xử lý ngôn ngữ tự nhiên tiếngViệt, năm 2010, Tran Thi Oanh và cộng sự đã thực nghiệm tích hợp bài toán tách từ

và gán nhãn từ loại, kết quả thực nghiệm chỉ ra rằng phương pháp tích hợp khôngchỉ tiết kiệm chi phí mà còn cải tiến được kết quả [TLH10] Ngoài ra, trong số các

nghiên cứu đã được công bố về xử lý ngôn ngữ tự nhiên tiếng Việt, phương pháphọc máy CRF luôn chứng minh được tiềm năng của mình trong việc xử lý bài toángãn nhãn chuỗi bằng kết quả tương đối khả quan: đạt F trung bình 94,05% cho tách

từ [CTX06], và độ chính xác trung bình là 90,17% cho gán nhãn từ loại [OCQ09]

2.3 Một mô hình giải quyết bài toán nhận dạng thực thể tên người kết hợp với nhận dạng thuộc tính thực thể

Trong phần này, luận án trình bày mô hình đề xuất kết hợp nhận dạng thực thể

và thuộc tính của thực thể của luận án Đầu tiên, luận án khái quát về hai phươngpháp học máy thống kê là phương pháp mô hình Entropy cực đại giải mã bằng tìmkiếm chùm và phương pháp trường ngẫu nhiên có điều kiện (CRF), đây chính là haiphương pháp nổi tiếng hỗ trợ cho bài toán gán nhãn chuỗi nói chung và bài toánnhận dạng thực thể nói riêng Tiếp theo, luận án giới thiệu về mô hình kết hợp nhậndạng thực thể và thuộc tính của thực thể, các đặc trưng để huấn luyện mô hình cũng

sẽ được nêu rõ trong phần 2.3.4

2.3.1 Mô hình Entropy cực đại giải mã bằng tìm kiếm chùm (MEM+BS)

Mô hình Entropy cực đại (Maximum Entropy Model, Maxent Model) [BPP96]

là một thuật toán học máy thông dụng dựa trên xác suất có điều kiện được sử dụngtrong nhiều nghiên cứu về nhận dạng thực thể y sinh [CC03, LTC04] Trong đó,entropy là độ đo về tính đồng đều hay tính không chắc chắn của một phân phối xácsuất, một phân phối xác suất có Entropy càng cao thì phân phối của nó càng đều.Ước lượng entropy cực đại là ước lượng ít lệch nhất có thể cho dữ liệu cho trước, tưtưởng chủ đạo của nguyên lý này là xác định một phân phối mô hình sao cho phânphối đó thỏa mãn các ràng buộc quan sát từ thực nghiệm và phải gần nhất với phânphối đều, hay nói cách khác là làm entropy một phân phối cực đại dưới những ràngbuộc nhất định

Maxent áp dụng cho bài toán gán nhãn chuỗi (sequence labeling) nguyên gốc

sử dụng thuật toán quy hoạch động Viterbi để giải mã [RA96] Trong nghiên cứunày, để giải quyết bài toán nhận dạng thực thể biểu hiện và các thực thể liên quan,

luận án áp dụng một phương pháp tìm kiếm xấp xỉ để giải mã là tìm kiếm chùm(beam search, BS) thay vì Viterbi Tìm kiếm chùm là một biến thể của tìm kiếm

theo chiều rộng sử dụng một tham số k để giảm thiểu không gian tìm kiếm (mô hình

mà luận án đề xuất thiết lập k = 3) Ưu điểm của việc sử dụng tìm kiếm chùm là

việc cho phép sử dụng một cách có kiểm soát entropy cực đại cho từng quyết địnhgán nhãn nhưng bỏ qua khả năng tìm kiếm chuỗi nhãn tối ưu sử dụng các kỹ thuậtquy hoạch động, chính việc này đã nâng cao được tốc độ tính toán

2.3.2 Phương pháp trường ngẫu nhiên có điều kiện (CRF)

Trường ngẫu nhiên có điều kiện (Conditional Random Fields, CRF) là một môhình rời rạc dựa trên ý tưởng gốc từ mô hình Markov ẩn (Hidden Markov Model,HMM) [RA89] và được cải thiện để khắc phục các nhược điểm của HMM cũng nhưcủa mô hình markov entropy cực đại (Maximum Entropy Markov Model, MEMM)[MFP00] CRF được Lafferty và cộng sự giới thiệu cho bài toán trích xuất thông tin[LMP01]

Hình 2.1 Đồ thị vô hướng mô tả CRF

Kí hiệu X là biến ngẫu nhiên nhận giá trị là chuỗi dữ liệu cần phải gán nhãn và

Y là biến ngẫu nhiên nhận giá trị là chuỗi nhãn tương ứng Mỗi thành phần yi của Y

là một biến ngẫu nhiên nhận giá trị trong tập hữu hạn các trạng thái S Trong bài toán nhận dạng thực thể định danh, X có thể nhận giá trị là các câu trong văn bản, Y

là một chuỗi ngẫu nhiên các tên thực thể tương ứng với các câu này và mỗi một

thành phần y i của Y có miền giá trị là tập tất cả các nhãn tên thực thể (I_PER, B_PER, …) Cho một đồ thị vô hướng không có chu trình G = (V, E), ở đây V là tập

các đỉnh của đồ thị và E là tập các cạnh vô hướng nối các đỉnh đồ thị Các đỉnh V biểu diễn các thành phần của biến ngẫu nhiên Y sao cho tồn tại ánh xạ một-một giữa một đỉnh và một thành phần của y v của Y Ta nói (Y|X) là một trường ngẫu nhiên có điều kiện khi với điều kiện X, các biến ngẫu nhiên y v tuân theo tính chất Markov đối

với đồ thị G:

ở đây, N(v) là tập tất cả các đỉnh kề với v Như vậy, một CRF là một trường ngẫu nhiên phụ thuộc toàn cục vào X Kí hiệu X=(x 1, x2,…, xn), Y=(y1, y2, , yn) Mô hình

đồ thị cho CRF có dạng như trong hình 2.1

Tính ưu việt của CRF so với HMM thể hiện ở việc nó ước lượng các phânphối xác suất có điều kiện theo trình tự gán nhãn, tính ưu việt này đã được chứngminh qua nhiều nghiên cứu [ML03, SE04]), và cho đến nay CRF vẫn đang là mộttrong những phương pháp học máy được ứng dụng nhiều trong lĩnh vực NLP

2.3.3 Mô hình đề xuất

Trong phần này, nghiên cứu sinh đề xuất một mô hình tích hợp xử lý đồng thờihai bài toan: bài toán nhận dạng thực thể và bài toán trích chọn các thuộc tính liênquan của thực thể tên người Nghiên cứu này dựa trên ba lý do chính: thứ nhất, môhình xử lý lần lượt thông thường có nhiều hạn chế khó có thể khắc phục, thứ hai, cảhai bài toán nhận dạng thực thể và trích chọn thuộc tính của thực thể đều có thể xử

lý như một bài toán gán nhãn chuỗi với nhiều đặc trưng tương tự, thứ ba, sau khikhảo sát dữ liệu, nghiên cứu sinh nhận thấy các nhãn của thực thể tên người, loạithuộc tính và giá trị thuộc tính không có quá nhiều nhập nhằng, vì vậy chúng có thể

về một loại thực thể nào đó (tên người, ngày tháng, địa điểm, v.v ), không giống với

bài toán NER thông thường, luận án đề xuất sử dụng một tập nhãn hợp lý để xácđịnh một thực thể có thuộc về loại thuộc tính nào đó không, tập nhãn này phân biệtgiữa kiểu thuộc tính (tên khác, ngày sinh, ngày mất, nơi sinh, nơi mất, giới tính,nghề nghiệp, quốc tịch, nơi làm việc và thân nhân) và giá trị cụ thể của thuộc tính.Như vậy, ngoài thực thể chính, có thêm 20 nhãn tương ứng với các thuộc tính, cácnhãn này được liệt kê trong bảng 2.2 Tuân theo danh pháp BIO, có tất cả 43 thẻđược sử dụng để gán nhãn tập huấn luyện, hình 2.2 là một ví dụ về câu được gánnhãn.

Bảng 2.2 Các nhãn được sử dụng trong mô hình

ST

T

1 Oper Thực thể tên người

chính

2 Rper Thực thể tên người có

quan hệ nhân thân vớingười chính

12 R_Relationshi

p

Quan hệ nhân thân

3 NickPer Tên gọi khác 13 R_OtherName Quan hệ tên gọi

khác

4 VBornLoc Nơi sinh, quê quán 14 R_WhereBorn Quan hệ nơi sinh,

quê quán

5 VDeadLoc Nơi mất 15 R_WhereDead Quan hệ nơi mất

6 VHomeLoc Quốc tịch 16 R_Nationality Quan hệ quốc tịch

7 VJobOrg Nơi làm việc 17 R_WhereJob Quan hệ nơi làm

việc

nghiệp

10 VBornTime Ngày tháng năm sinh 20 R_WhenBorn Quan hệ ngày

tháng năm sinh

11 VDeadTime Ngày tháng năm mất 21 R_WhenDead Quan hệ ngày

tháng năm mất

Câu: “Hoàng Cầm tên thật là Bùi Tằng Việt, (sinh 22 tháng 2 năm 1922, tại

xã Phúc Tằng, huyện Việt Yên, tỉnh Bắc Giang – mất 6 tháng 5 năm 2010 tại Hà Nội), là một nhà thơ Việt Nam”

Hoàng Cầm:{OPer:B} tên:{R_OtherName:B} thật:{R_OtherName:I} là:{R_OtherName:I} Bùi Tằng Việt:{NickPer:B} ,:{} (:{} sinh:{R_WhenBorn:B} 22:{VBornTime:B} tháng: {VBornTime:I} 2:{VBornTime:I} năm:{VBornTime:I} 1922:{VBornTime:I} ,:{} tại: {R_WhereBorn:B} xã:{VBornLoc:B} Phúc Tằng:{VBornLoc:I} ,:{VBornLoc:I} huyện: {VBornLoc:I} Việt Yên:{VBornLoc:I} ,:{VBornLoc:I} tỉnh:{VBornLoc:I} Bắc Giang: {VBornLoc:I} –:{} mất:{R_WhenDead:B} 6:{VDeadTime:B} tháng:{VDeadTime:I} 5: {VDeadTime:I} năm:{VDeadTime:I} 2010:{VDeadTime:I} tại:{R_WhereDead:B} Hà Nội: {VDeadLoc:B} ):{} ,:{} là:{} một:{} nhà thơ:{VJob:B} Việt Nam:{VHomeLoc:B} :{}

Hình 2.2 Một ví dụ về câu được gán nhãn

Mô hình được đề xuất gồm có ba pha chính, được mô hình hóa trong hình 2.3.Đầu vào của mô hình là từng câu trong văn bản và đầu ra là các câu đã được gánnhãn dựa trên mô hình nhận dạng

Pha 1: Huấn luyện mô hình

Tập dữ liệu huấn luyện đã được gán nhãn sẽ được đưa qua công cụ vTools đểtiến hành tách từ, gán nhãn từ loại, đây là một công cụ được nghiên cứu sinh pháttriển nhằm mục đích hỗ trợ cho các bài toán xử lý ngôn ngữ tự nhiên tiếng Việt[CTLA3] Sau khi tiền xử lý, hệ thống trích chọn và biểu diễn dữ liệu đầu vào dướidạng một vector đặc trưng Các đặc trưng được trích xuất dựa trên nhiều nguồn trithức và từ điển, các đặc trưng này sẽ được mô tả kỹ hơn trong mục 2.3.4 Cácvector đặc trưng sẽ được huấn luyện thành mô hình nhận dạng bằng các kỹ thuậthọc máy thống kê như CRF hoặc MEM+BS

Pha 2: Gán nhãn dữ liệu dựa trên mô hình nhận dạng thực thể và thuộc tính

Trong pha này, dữ liệu kiểm thử hoặc dữ liệu chưa có nhãn được đưa qua môhình nhận dạng thực thể và thuộc tính đã được huấn luyện trong pha 1 để nhận dạngcác nhãn thực thể cũng như các nhãn thuộc tính Trước khi đưa qua bước nhậndạng, các dữ liệu cũng được đưa qua thành phần tiền xử lý dữ liệu bằng công cụ