Trong nghiên cứu này tập trung giải quyết bài toán xếp hạng lại các câu trả lời của người dùng trong các trang web hỏi đáp cộng đồng.Chúng tôi thực hiện trích rút nhiều loại đặc trưng quan trọng từ mỗi cặp câu hỏi – câu trả lời nhằm đánh giá chính xác sự liên quan giữa chúng, sau đó chúng tôi xây dựng mô hình để phân loại và xếp hạng các câu trả lời theo độ liên quan của chúng với câu hỏi. Các kết quả thực nghiệm trên bộ dữ liệu cung cấp bởi SemEval 2016 cho thấy những đề xuất của chúng tôi cho kết quả cao hơn so với các nghiên cứu trước đó.
Trang 1Tạp chí Khoa học Lạc Hồng Số Đặc Biệt
Special issue (11/2017), pp 45-49 Số đặc biệt (11/2017), tr 45-49
Ranking related answers in communityquestion answer sites
Nguyễn Văn Tú1, Trần Thị Quyên2
1 tuspttb@gmail.com, 2 quyencdsl@gmail.com
1 Trường Đại học Tây Bắc, Sơn La, Việt Nam
2 Trường Cao đẳng Sơn La, Sơn La, Việt Nam
Đến tòa soạn:23/05/2017;Chấp nhận đăng:17/08/2017
Tóm tắt Các trang web hỏi đáp cộng đồng có chứa một lượng lớn thông tin hỏi-đáp có giá trị sinh ra bởi những người sử dụng Trong các trang web hỏi đáp cộng đồng, người dùng có thểgửi các câu hỏi, trả lời các câu hỏi của người khác và cung cấp thông tin ph ản hồi cho những câu hỏi/câu trả lời Trong nghiên cứu này chúng tôi tập trunggiải quyết bài toánxếp hạng lại các câu trả
l ời của người dùngtrong các trang web hỏi đáp cộng đồng.Chúng tôi thực hiện trích rút nhiều loại đặc trưng quan trọng từ mỗi cặp câu hỏi – câu trả lờinhằm đánh giá chính xác sự liên quan giữa chúng, sau đó chúng tôi xây dựng mô hình để phân loại và xếp
h ạng các câu trả lời theo độ liên quan của chúng với câu hỏi Các kết quả thực nghiệm trên bộ dữ liệu cung cấp bởi SemEval 2016 cho thấy những đề xuất của chúng tôi cho kết quả cao hơn so với các nghiên cứu trước đó.
T ừ khóa: Hỏi đáp cộng đồng; Hệ thống hỏi đáp tự động; Xếp hạng câu trả lời; Trích rút đặc trưng
Abstract Community question - answer sites contain large amounts of valuable question - answer information generated by users
In community question answer sites, users can submit questions, answer other people's questions, and provide feedback on their questions/answers In this study, we focused on solving the problem of ranking answers in community question answer sites We extracted a variety of important features from each question - answer pair to accurately assess the relevance of them, then we built the model to classify and ranking answers according to their relevance to the question The experimental results on the dataset provided by SemEval 2016 shows that our proposed give higher results than previous studies
Keywords: Community question answer; Automatic question answer system; Ranking answer; Feature extraction
1 TỔNG QUAN
Trong lĩnh vực xử lý ngôn ngữ tự nhiên và truy xuất thông
tin, vấn đề hỏi-đáp đã thu hút nhiều sự chú ý trong những
năm qua Tuy nhiên, các nghiên cứu về hỏi-đáp chủ yếu tập
trung vào việc tìm câu trả lời chính xác cho câu hỏi factoid
được trích rúttừ các tài liệu liên quan Các đánh giá nổi tiếng
nhất về nhiệm vụhỏi-đáp factoid là hội nghị truy hồi văn bản
(Text REtrieval Conference-TREC1) Các câu hỏi và câu trả
lời được phát hành bởi TREC đã trở thành nguồn dữ liệu
quan trọng cho các nhà nghiên cứu trong việc nghiên cứu xây
dựng các hệ thống hỏi đáp tự động[9].Tuy nhiên, khi phải
đối mặt với các câu hỏi non-factoid như các câu hỏi về lý do
tại sao, như thế nào, hoặc những gì về, … hầu như không có
hệ thống hỏi đáp tự động nào làm việc tốt
Các cặp câu hỏi-câu trả lờidongười dùng tạo ra chắc chắn
sẽ rất quan trọng để giải quyết vấn đề trả lời các câu hỏi
non-factoid Rõ ràng, những cặp câu hỏi-câu trả lời tự nhiên
thường được tạo ra trongquá trình giao tiếp của con người
thông qua phương tiện truyền thông xã hội Internet, trong đó
chúng tôi đặc biệt quan tâm tới các trang web hỏi đáp dựa
vào cộng đồng Các trang web hỏi đáp dựa vào cộng đồng
cung cấp nền tảng mà ở đó người dùng có thể tự do đặt câu
hỏi, cung cấp câu trả lời và các thông tin phản hồi (ví dụ,
bằng cách biểu quyết hoặcchoý kiến) cho những câu hỏi/câu
trả lời và những câu trả lời tốt nhất sẽ được lựa chọn và xếp
hạng để hiển thị cho người dùng
Tuy nhiên do người dùng có thể tự do gửi câu trả lời cho
mỗi câu hỏi nên mỗi câu hỏi có thể nhận được nhiều câu trả
lời, trong đó chất lượng của các câu trả lời này có nhiều sự
1 http://trec.nist.gov/
khác nhau Vì vậy trước khi hiển thị các câu trả lời cho người dùng thì các trang web hỏi đáp cộng đồng cần phải sắp xếp lại các câu trả lời này theo mức độ từ các câu trả lời tốt nhất cho câu hỏi
Đã có một số công trình nghiên cứu về vấn đề xếp hạng lại các câu trả lời trong các trang web hỏi đáp cộng đồng Trong nghiên cứu của Daniel Balchev và các tác giả khác [1], các tác giả đã sử dụng nhiều loại đặc trưng từ thông tin cung cấp bởi người dùng (số lượng bình chọn cho mỗi câu trả lời) đến các đặc trưng từ vựng trích rút từ các cặp câu hỏi – câu trả lời; sau đó sử dụng bộ phân loại SVM để sinh ra điểm số tương tự giữa câu hỏi và câu trả lời và dụng điểm số tương tự này để xếp hạng lại các câu trả lời theo độ tương tự của chúng với câu hỏi Trong nghiên cứu của Marc Franco -Salvador và các tác giả khác [4], các tác giả sử dụng mạng ngữ nghĩa đa ngôn ngữ lớn nhất BabelNet để sinh ra các đồ thị tri thức cho các câu hỏi và các câu trả lời, sau đó tính toán
độ tương tự của câu hỏi và câu trả lời dựa trên các đồ thị tri thức của chúng Trong khi đó, nghiên cứu của Chang’e Jia
và các tác giả khác [5], các tác giả lại sử dụng mô hình Latent Semantic Analysis để xác định chủ đề cho mỗi câu hỏi, câu trả lời và tính toán độ tương tự giữa các chủ đề này Nghiên cứu của Xiaoqiang Zhou và các tác giả khác [10], các tác giả
sử dụng mô hình mạng nơ ron để mô hình hóa mối quan hệ giữa câu hỏi và câu trả lời
Trong bài báo này, chúng tôi sử dụng tiếp cận học máy nhằm xếp hạng lại các câu trả lời cho mỗi câu hỏitrích rút từ các trang web hỏi đáp cộng đồng Chúng tôi đề xuất sử dụng
sự kết hợp của nhiều loạiđặc trưng quan trọng trích rút từ mỗi
Trang 2Nguyễn Văn Tú, Trần Thị Quyên
Tạp chí Khoa học Lạc Hồng Số Đặc Biệt
cặp câu hỏi -câu trả lời và xây dựng mô hình để phân loại
vàxếphạng các câu trả lời để đạt được kết quả tốt nhất
Để thực hiện những đề xuất của mình, chúng tôi đã sử
dụng tập dữ liệucung cấp bởi SemEval 2016trong các thực
nghiệm Chúng tôi tiến hành đánh giá thử nghiệm rộng rãi để
chứng minh tính hiệu quả của phương pháp tiếp cận của
chúng tôi.Các kết quả thực nghiệm của chúng tôi đã cho thấy
phương pháp tiếp cận mà chúng tôi đề xuất cho kết quả phân
loại và xếp hạng cao hơn so với các nghiên cứu trước đó trên
cùng tập dữ liệu và các độ đo đánh giá
2. BÀI TOÁN Bài toán xếp hạng các câu trả lời trong các trang web hỏi
đáp cộng đồng được định nghĩa như sau: Chomột tập Q các
câu hỏi, mỗi câu hỏi ∈ gắn với một tập các câu trả
lời� 1, , … , Yêu cầu xếp hạng lại các câu trả
lời 1, , … , theo độ liên quan của chúng với câu
hỏi
Việc xếp hạng các câu trả lời có thể mô hình hóa bởi
hàm : × � → , trong đó Q là tập các câu hỏi, A là tập
các câu trảlời r đượcmô hình hóa như một hàm tuyến tính
( , ) ⃗⃗ ∅( , ), trong đó ⃗⃗ là một mô hình và
∅( , ) cung cấp một sự biểu diễn véc tơ của cặp ( , )
Sự biểu diễn véc tơ của cặp ( , ) sẽ được tính toán dựa
trên các độ đo sự tương tự giữa câu hỏi và câu trả lời
như được trình bày trong phần 3
Trong nghiên cứu này, chúng tôi sử dụng bộ phân loại
Support Vector Machine2(SVMs) để học r và sinh ra điểm
số phân loại giữa câu hỏi và câu trả lời,việc xếp hạng lại các
câu trả lời sẽ dựa trên điểm số phân loại này
3. TRÍCH RÚT CÁC ĐẶC TRƯNG
Để đánh giá sự liên quan giữa câu hỏi và câu trả lời chúng
tôi đã thực hiện trích rút các loại đặc trưng quan trọng như
được trình bày dưới đây
3.1Các đặc trưng từ vựng
Đặc trưng n-gram
Các đặc trưng n-gram của một cặp câu hỏi-câu trả lời được
trích rút dựa trên ngữ cảnh của các từ của câu, nghĩa là, các
từ đó xuất hiện trong một cặp câu hỏi-câu trả lời Mỗi cặp
câu hỏi-câu trả lờixđược biểu diễn giống như sự biểu diễn
tài liệu trong mô hình không gian véc tơ như sau:
Trongđóx ilà tần số xuất hiện của từ i trong x và N là tổng
số các từ trong x Do tính thưa thớt của các đặc trưng, chỉ các
đặc trưng có giá trị khác không mới được giữ lại trong véc tơ
đặc trưng Bởi vậy mỗi cặp câu hỏi-câu trả lời cũng được
biểu diễn dưới hình thức sau:
{ 1, 1 , … , ( , )} (2)
trong đó t ilà từ thứ i trong xvà f ilà tần số xuất hiện của t i
trong x.Để trích rút các đặc trưng n-gram, bất kì ntừ liên
tiếp nào trong một cặp câu hỏi -câu trả lời đều được coi là
một đặc trưng Bảng 1 là danh sách một số đặc trưng n-gram
của câu hỏi “How many Grammys did Michael Jackson win
in 1983 ?”
Tỉ lệ giữa số lượng từ trong câu hỏi và câu trả lời
Để đánh giá sự liên quan giữa câu hỏi và câu trả lời, trong
nghiên cứu này chúng tôi sử dụng đặc trưng là tỉ lệ giữa số
lượng các từ trong câu hỏi vàsố lượng các từ trong câu trả
lời
2 https://www.csie.ntu.edu.tw/~cjlin/libsvm/
Bảng 1 Ví dụ về một số đặc trưng n-gram
Tên đặc
Unigram
{(How, 1) (many, 1) (Grammys, 1) (did, 1) (Michael, 1) (Jackson, 1) (win, 1) (in, 1) (1983, 1) (?, 1)}
Bigram
{(How-many, 1) (many-Grammys, 1) (Grammys-did, 1) (did-Michael, 1) (Michael-Jackson, 1) …(1983-?, 1)}
Trigram {(How-many-Grammys, 1) (many-Grammys-did, 1) …(in-1983-?, 1)}
Tỉ lệ giữa số lượng câu(sentence) trongcâu câu hỏi và trả lời
Để đánh giá sự liên quan giữa câu hỏi và câu trả lời, trong nghiên cứu này chúng tôi sử dụng đặc trưng là tỉ lệ giữa số lượng các câu (sentence) trong câu hỏi và số lượng các câu trong câu trả lời
Chồng chéo n-gramtừ giữa câu hỏi và câu trả lời Khi trả lời một câu hỏi nào đó trên các trang web hỏi đáp cộng đồng, người sử dụng thường có xu hướng sử dụng lại một số từ ở câu hỏi trong câu trả lời của họ Vì vậy nếu trong câu trả lời có chứa từ hoặc cụm từ của câu hỏi thì câu trả lời
đó có khả năng là một câu trả lời tốt, liên quan nhiều đến câu hỏi Để tính toán sự chồng chéo từ giữa câu hỏi và câu trả lời, chúng tôi thực hiện loại bỏ các stopword trong mỗi câu hỏi, câu trả lời sau đó tính toán sự chồng chéo từ sử dụng n -gram từ (n=1, 2, 3)
Bag-of-word
Để xây dựng các đặc trưng này, chúng tôi thực hiện loại
bỏ các từ stopword trong mỗi câu hỏi và câu trả lời Các câu hỏi và câu trả lời sau đó được biểu diễn dưới dạng véc tơ (bag-of-word) Để tính toán sự giống nhau giữa câu hỏi vàcâu trả lời chúng tôi tính toán độ tương tự giữa hai véc tơ Các độ đo sử dụng tính toán độ tương tựbao gồm: euclidean, manhattan, minkowski, cosine, jaccard.Bảng 2là một ví dụ
về việc tính toán các đặc trưng đo sự giống nhau này
Bảng 2 Ví dụ về các đặc trưng Bag-of-word
Massage oil
Where I can buy good oil for massage?
You might be able to find Body Massage Oil in Body Shop at Landmark or City Centre, and if they do have it there,
euclidean 5.196152 manhattan 25 minkowski 3.141 cosine 0.405062 jaccard 1.0
3.2Các đặc trưng dựa trên sự biểu diễn véc tơ từ Chúng tôi sử dụng sự biểu diễn véc tơ từ để mô hình hóa mối quan hệ ngữ nghĩa giữa câu hỏi và câu trả lời của chúng Chúng tôi chọn mô hình word2vec3đề xuất bởi Mikolov [6, 7]để tính toán độ tương tự ngữ nghĩa giữa câu hỏi và câu trả lời Word2vec biểu diễn các từ dưới dạng một phân bố quan
hệ với các từ còn lại Giả sử ta có một véc tơ có số chiều 100 Khi đó, mỗi từ được biểu diễn bằng một véc tơ có các phần
tử mang giá trị là phân bố quan hệ của từ này đối với các từ khác trong từ điển Trong bài báo này chúng tôi sử dụng tập
3 https://code.google.com/p/word2vec
Trang 3Tạp chí Khoa học Lạc Hồng Số Đặc Biệt
dữ liệu từ Qatar Living (English)4để huấn luyện lại mô hình
word2vec với các véc tơ có số chiều là 200, window = 5
Độ tương tự ngữ nghĩa giữa câu hỏi và câu trả lời
Để tính toán độ tương tự ngữ nghĩa giữa câu hỏi và câu trả
lời chúng tôi thực hiện như sau:
Bước 1: Tất cả các câu trong câu hỏi và câu trả lời được
phân tích thành các từ tố và các từ này biểu diễn dưới dạng
các véc tơ từ sử dụng mô hình huấn luyện word2vec
Bước 2: Đối với mỗi câu hỏi (câu trả lời), chúng tôi lấy
giá trị trung bình của của tất cả các véc tơ từ của các từ trong
câu hỏi (câu trả lời) để có được sự biểu diễn véc tơ cho câu
hỏi (câu trả lời) Việc lấy giá trị trung bình của tất cả các véc
tơ từ đã được chứng minh tính hiệu quả trong các nghiên cứu
[2, 3]
Bước 3: Độ tương tự giữa hai véc tơ được tính như công
thức dưới dây:
√∑=1 × √∑=1 3 Trong dó uvà vlà hai véc tơ nchiều, u ilà thành phần thứ
i của véc tơ u.
Đối với việc tính toán độ tương tự chúng tôi sử dụng tính
toán độ tương tự giữa các thành phần của câu hỏi với câu trả
lời: giữa tiêu đề của câu hỏi(QSubject) với câu trả lời, giữa
phần mô tả của câu hỏi (QBody) với câu trả lời, giữa câu hỏi
(Qsubject+ QBody) với câu trả lời Bảng 3 là một ví dụ về
việc tính toán độ tương tự ngữ nghĩa giữacâu hỏi và câu trả
lời
Bảng 3 Ví dụ về tính toán độ tương tự ngữ nghĩa giữa câu hỏi và
câu trả lời
Qsubject Massage oil You might be
able to find Body Massage Oil in Body Shop at Landmark or City Centre, and if they do have it there,
0.2692716 QBody
Where I can
buy good oil
for massage?
0.7076797
Qsubject
+QBody
Massage oil
Where I can
buy good oil
for massage?
0.6686702
Gióng từ giữa câu hỏi và câu trả lời
Các câu hỏi và câu trả lời được phân tích thành các từ tố
và biểu diễn dưới dạng các véc tơ từ sử dụng mô hình huấn
luyện word2vec Mỗi từ tktrong câu hỏi sau đó sẽ được gióng
với tất cả các từ trong câu trả lời và lựa chọn từ có độ tương
tự lớn nhất như công thức dưới đây:
2 c_sim , ℎ 4 1≤ℎ≤
Trong đó:
m: số từ trong câu hỏi
t k: sự biểu diễn véc tơcủa từ thứ ktrong câu hỏi
b h: sự biểu diễn véc tơ của từ thứ htrong câu trả lời
2 _ , ℎ : độ tương tự cosin giữa hai sự
biểu diễn véc tơ từ của t kvà b h
Điểm số tương tự giữa câu hỏi và câu trả lời được tính
toán nhưsau:
( ) ∑ =1 5 Trongđó nlà số lượng các từ trong câu hỏi
Độ tương tự ngữ nghĩa giữa câu trả lời và loại của câu
hỏi (QCategory)
4 http://alt.qcri.org/semeval2016/task3/index.php?id=data-and-tools
5 http://alt.qcri.org/semeval2016/task3/
Chúng tôi cũng sử dụng độ tương tự ngữ nghĩa giữa mỗi câu trả lời với loại của câu hỏi(question category)tương ứng của nó Trong tập dữ liệu làm thực nghiệm ở phần IV, các câu hỏi trong tập dữ liệu SemEval 2016 đã được phân vào một trong 27loại khác nhau Bảng 4 là một ví dụ về việc tính toán độ tương tự ngữ nghĩa giữa câu trả lời và các loại của câu hỏi
Bảng 4 Ví dụ về tính toán độ tương tự ngữ nghĩa giữa loại câu
hỏi và câu trả lời
4. CÁC THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.1Tập dữ liệu và các độ đo Trong các trang web hỏi đáp cộng đồng, mỗi câu hỏi thường chứa một tiêu đề hỏi và một đoạn văn bản ngắn mô
tả về nội dung hỏi được đưa ra bởi người hỏi Phần tiêu đề hỏi và phần mô tả có thể coi như là một câu hỏi duy nhất gồm nhiều câu[8]
Để thực hiện các thực nghiệm của mình, chúng tôi đã sử dụng tậpdữ liệu từ SemEval 20165 Tập dữ liệu này được trích rút từ các trang web hỏi đáp cộng đồng6, bao gồm các câu hỏi và mỗi câu hỏi gồm một tập các câu trả lời tương ứng.Tất cả các cặp câu hỏi-câu trả lời đều được trình bày bằng ngôn ngữ tiếng Anh Tập dữ liệu này bao gồm 2tập con: train – tập dữ liệu dùng để huấn luyện mô hình phân loại, test – tập dữ liệu dùng để kiểm tra tính hiệu quả của mô hình phân loại Bảng 5trình bày một số thống kê trên tập dữ liệu này
Bảng 5.Thống kê tập dữ liệu được sử dụng
Train 2669 17900
Test 327 3270
Để đánh giá hiệu suất của mô hình, chúng tôi sử dụng các
độ đo phân loại và xếp hạng Các độ đo phân loại bao gồm:
Accuracy (Acc), Precision (P), Recall (R), vàF 1 -measure
(F 1) Các độ đo xếp hạng bao gồm: Mean Average Precision
(MAP), Average Recall (AvgRec) và Mean Reciprocal Rank
(MRR).
4.2Các thực nghiệm Thực nghiệm 1:
Trong thực nghiệm này chúng tôi muốn kiểm tra tính hiệu quả của việc sử dụng các đặc trưng từ vựng như được trình bày trong mục 3.1 Các đặc trưng từ vựng này bao gồm: đặc trưng Unigram, tỉ lệ giữa số từ của câu trả lời và câu hỏi, tỉ
lệ giữasố câu của câu trả lời và câu hỏi, chồng chéo n-gram
từ giữa câu hỏi và câu trả lời, bag-of-word Bảng 6 trình bày các kết quả của thực nghiệm 1
Thực nghiệm 2:
Thực nghiệm thứ 2 này chúng tôi sử dụng các đặc trưng dựa trên sự biểu diễn véc tơ từ Để tính toán được sự giống
6 http://www.qatarliving.com/
Câu trả lời (QCategory)Loại câu hỏi Độ tương tự ngữ nghĩa
You might be able
to find Body Massage Oil in Body Shop at Landmark or City Centre, and if they
do have it there,
Beauty and Style 0.1182937 Electronics 0.2048591 Doha Shopping 0.3174826
Trang 4Nguyễn Văn Tú, Trần Thị Quyên
Tạp chí Khoa học Lạc Hồng Số Đặc Biệt
nhau giữa câu hỏi và câu trả lời, chúng tôi thực hiện: (1) loại
bỏ các từ stopword trong mỗi câu hỏi và câu trả lời, (2) biểu
diễn mỗi câu hỏi và câu trả lời sử dụng mô hình word2vec,
(3) sử dụng độ đo cosine để tính toán độ tương tự giữa hai
véc tơ Kết quả của thực nghiệm 2 được trình bày trong Bảng
7
Thực nghiệm 3:
Trong thực nghiệm 3 chúng tôi thực hiện phân loại và
xếp hạng các cặp câu hỏi -câu trả lời bằng cách kết hợp tất
cả các loại đặc trưng đã được thực hiện trong các thực
nghiệm 1 và 2 Các kết của thực nghiệm 3 được trình bày
trong Bảng 8
Từ các kết quả của các thực nghiệm trên chúng tôi nhận
thấy rằng việc phân loại và xếp hạng các cặp câu hỏi -câu
trả lời trong các hệ thống hỏi đáp cộng đồng cần sự kết hợp
của nhiều loại đặc trưng khác nhau để cho kết quả tốt hơn
Các đặc trưng về từ vựng đóng một vai trò quan trọng trong
nhiệm vụ này Điều này là do các câu trả lời của người dùng
thường được viết một cách tự do, không theo một cấu trúc nhất định, có nhiều câu trả lời trình bày sai cấu trúc cú pháp hoặc chứa những từ không liên quan đến câu hỏi Các kết quả từ thực nghiệm 2 cho thấy việc trích rút các đặc trưng dựa trên sự biểu diễn véc tơ từ (ở đây là word2vec) cũng có
ý nghĩa quan trọng trong việc phân loại và xếp hạng các cặp câu hỏi -câu trả lời Việc huấn luyện lại mô hình word2vec
và sử dụng nó trong việc tính toán độ tương tự ngữ nghĩa giữa các thành phần của câu hỏi với câu trả lời, giữa câu trả lời với các loại của câu hỏi đã cho kết quả phân loại cao Trong thực nghiệm 3 chúng tôi đã thực hiện việc kết hợp của nhiều loại đặc trưng khác nhau và đã đạt được kết quả phân loại và xếp hạng cao nhất trong tất cả các độ đo mà chúng tôi sử dụng Điều này cũng chứng minh rằng vấn đề phân loại và xếp hạng các cặp câu hỏi -câu trả lời trong các trang web hỏi đáp cộng đồng cần sự kết hợp của nhiều loại đặc trưng khác nhau
Bảng 6 Kết quả phân loại và xếp hạngsử dụng các đặc trưng từ vựng
Unigram 49.48 23.04 10.38 14.32 57.24 68.19 61.22
Chồng chéo n-gram từ giữa câu hỏi và câu trả
lời
62.78 64.74 18.51 28.79 63.85 76.14 71.68
Bag-of-word 63.67 70.09 18.51 29.29 65.58 77.70 74.03
Bảng 7 Kết quả phân loại và xếp hạng sử dụng các đặc trưngdựa trên sự biểu diễn véc tơ từ
Độ tương tự ngữ nghĩa giữa câu hỏi và câu trả
lời
69.08 85.18 28.97 43.23 69.42 80.48 77.49
Độ tương tự ngữ nghĩa giữa câu trả lời và loại
câu hỏi
63.21 60.68 26.94 37.31 65.32 75.37 70.91
Bảng 8 Kết quả phân loại và xếp hạng sử dụng sự kết hợp của nhiều loại đặc trưng
5 SOSÁNH VỚI CÁC NGHIÊN CỨU KHÁC
Bảng 9 So sánh với các kết quả nghiên cứu khác
Marc Franco- Salvador và các tác giả [4] 63.21 55.64 46.80 50.84 67.42 79.38 76.97
Chúng tôi cũng thực hiện so sánh các kết quả nghiên cứu
của chúng tôi với các kết quả nghiên cứu của các tác giả khác
Các nghiên cứu mà chúng tôi sử dụng để so sánh ở đây cũng
sử dụng tập dữ liệu từ SemEval 2016 và sử dụng cùng các độ
đo đánh giá
Bảng 9 trình bày một số kết quả nghiên cứu của các tác giả khác để so sánh với các kết quả của chúng tôi trong vấn
đề xếp hạng các câu trả lời trong các trang web hỏi đáp cộng đồng
Từ bảng so sánh cho thấy nghiên cứu của chúng tôi cho kết quả cao nhất về cả độ đo phân loại Accuracy và độ đo xếp hạng MAP
Trang 5Tạp chí Khoa học Lạc Hồng Số Đặc Biệt
6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Bài báo đã trình bày những đề xuất của chúng tôi trong
việc xếp hạng các câu trả lờitrongcác trang web hỏi đáp cộng
đồng Chúng tôi đã thực hiện trích rút nhiều loại đặc trưng
khác nhau từ các đặc trưng từ vựng, các đặc trưng dựa trên
sự biểu diễn véc tơ từ (ở đây là word2vec) và sử dụng bộ
phân loại Support Vector Machineđể phân loại các cặp câu
hỏi-câu trả lời, sinhra điểm số phân loại dùng để xếp hạng
các câu trả lời Các kết quả của thực nghiệm cho thấy đề xuất
của chúng tôi đạt kết quả phân loạivới độ đo
Accuracylà72.75%và kết quả xếp hạng MAPlà72.38% khi
sử dụng sự kết hợp của nhiều loại đặc trưng Các nghiên cứu
tiếp theo chúng tôi sẽ nghiên cứu bổ sung thêm các loạiđặc
trưng mới như các thông tin người sử dụng và nghiên cứu
cách kết hợp các loại đặc trưng khác nhau nhằm đạt được kết
quả cao hơn nữa
TÀI LIỆUTHAMKHẢO
[1] Daniel Balchev, Yasen Kiprov, Ivan Koychev, Preslav
Nakov,“PMI-cool at SemEval-2016 Task 3: Experiments with
PMI and Goodness Polarity Lexicons for Community
Question Answering,” Proceedings of SemEval-2016, pp
844–850, 2016
[2] Marc Franco-Salvador, Francisco Rangel, Paolo Rosso,
Mariona Taule, and M Antonia Mart,“Language variety
identification using distributed representations of words and
documents”, Proceeding of the 6th International Conference of
CLEF on Experimental IR meets Multilinguality,
Multimodality, and Interaction (CLEF 2015), pp 28-40, 2015
[3] Marc Franco-Salvador, Paolo Rosso, and Francisco Rangel,
“Distributed representations of words and documents for
discriminating similar languages”, Proceeding of the Joint
Workshop on Language Technology for Closely Related Languages, Varieties and Dialects (LT4VarDial), RANLP, pp.11-16, 2015
[4] Marc Franco-Salvador, Sudipta Kar, Thamar Solorio, and Paolo Rosso,“UH-PRHLT at SemEval-2016 Task 3: Combining lexical and semantic-based features for community question
answering.”, Proceedings of SemEval-2016, pp 814–821, 2016
[5] Chang’e Jia, Xinkai Du, Chengjie Sun and Lei Lin, “ITNLP-AiKF at SemEval-2016 Task 3: a question answering system using community QA repository”, Proceedings of
SemEval-2016, pp 904–909, 2016
[6] T Mikolov, I Sutskever, K Chen, G Corrado, and J Dean,
“Distributed representations of words and phrases and their compositionality”, CoRR, abs/1310.4546, 2013
[7] T Mikolov, K Chen, G Corrado, and J Dean, “Efficient estimation of word representations in vector space”, CoRR, abs/1301.3781, 2013
[8]Vinay Pande, Tanmoy Mukherjee, Vasudeva Varma,“Summarizing answers for community question answer services”, The International Conference of the German Society for Computational Linguistics and Language Technology, pp 151-161, 2013
[9] Zeyi Wen, Rui Zhang, Kotagiri Ramamohanarao, “Enabling precision/recall preferences for semi-supervised SVM training”, CIKM’14, pp 421-430, 2014
[10] Xiaoqiang Zhou, Baotian Hu, Jiaxin Lin, Yang Xiang, Xiaolong Wang,“ICRC-hit: A deep learning based comment sequence labeling system for answer selection challenge”, Proceedings of semeval-2016, pp 210–214, 2016
TIỂU SỬ TÁC GIẢ Nguyễn Văn Tú
Năm sinh 1982,Thái Bình.Tốt nghiệp cử nhân tại Trường Đại học Sư phạm Thái Nguyên ngành Sư phạmTinnăm 2005,tốt nghiệp Thạc sĩ tại Trường Đại học Sư phạm Hà Nội năm
2009.Hiện đang làm nghiên cứusinhtại Trường Đại học Công nghệ và làm việc tạikhoa
Toán-Lý-Tin Trường Đại học Tây Bắc.Hướng nghiên cứu baogồm:Các kỹ thuật học máy, xử lý ngôn ngữ tự nhiên,v.v…
Trần Thị Quyên Nămsinh 1985,Sơn La Tốt nghiệp cử nhân Toán-Lý-Tin tại trường Đại học Tây Bắc năm
2009,tốt nghiệp Thạc sĩ tại Trường Đại học Sư phạm Hà Nội năm2011.Hiện đang làm việc tại TrườngCaođẳng SơnLa.Hướng nghiên cứubaogồm:Các kỹ thuật học máy,khaiphá dữ liệu, v.v…