Luận văn mô hình học sâu trong xử lý ngôn ngữ tự nhiên và bài toán khuyến nghị

Trong luận văn này tác giả xin giới thiệu mô hình NILM8 là một mô hình khuyến nghị tin tức và thử nghiệm mô hình trên tập dữ liệu được thu thập từ một trang tin tức trực tuyến thực tế,

TRƯỜNG DẠI HỌC BÁCH KHOA HÀ NỘI

LUẬN VĂN THẠC SĨ

MMồ hình học sâu trong xứ lý ngôn ngữ

tự nhiên và bài toán khuyến nghị

ĐOÀN NGỌC HOÀNG

doanngochoanghy gmail.com

Ngành: Toán Tìn

Giảng viên hướng dẫn: T8 Lẻ ChíNgOC — cwadviB

HA NOI, 12/2021

L61 CAM GN

Lai dầu tiên, tác giã xin bày tô lòng biét on chan thanh va sau sắc nhất tới T8

Lé Chi Ngoc, nguéi da tan tình hướng dẫn, hỗ trợ tác giả trong suốt quá trình

thực hiện luận văn này Tác giã xin trân trọng cám ơn Viện Toán ứng dụng và Tin hoc, Dai hoc Bach khoa 1Ià Nội đã tạo mọi điều kiện thuận lợi cho tác giả

trong quá trình học tập và nghiên cứu tại đây Xin cảm ơn các thầy cô, các bạn

sinh viên, học viên cao học của Viện bán ứng dụng và in học đã trao đổi cing tác giá những kiến thức và kinh nghiệm quý báu để giúp cho luận văn này được hoán thiện hơn.Tác giá cũng xin gửi lời chân thành cẩm ơn tới các đồng nghiệp

1

the

những người Uhdin yén what eta mind lời

luôn bân cạnh động viên, chia sẽ về mặt tinh thần trang những lúc tác giả sặp

Bài toán khuyến nghi (Recommendation) là một trong những bài toán quan

trọng trong lĩnh vực điện toán xã hội (8ocial Computing) Bài toán khuyến nghị

có ý nghĩa to lớn trong việc tăng mức độ tương tấc, nãng cao trải nghiệm người

đùng trên các nền tầng truyền thông xã hội trực tuyến Trong luận văn này tác

giả xin giới thiệu mô hình NILM8 là một mô hình khuyến nghị tin tức và thử

nghiệm mô hình trên tập dữ liệu được thu thập từ một trang tin tức trực tuyến

thực tế, Qua day có thể thấy được ứng dụng của các mô hình học sãu trong xử

lý ngôn ngữ tự nhiên giúp giải quyết các bài toán có thể áp dụng vào thực tế

Tw khéa: Social Computing, Recommendation, News Recommendation, NRMS

Hà Nội ngày tháng năm 2021

Kí và ghi rõ họ tên Kí và ghí rẽ họ tên

1.3.2 Ky thuat nhing ta} 0 eee ee ee 16

2_ỨNG DỤNG MÔ HÌNH HỌC SÂU VÀO

BOGUS | NECA đ R4/42808)8/69E4 & 3 29

b_ THỨ NGHIÊM VÀ ĐÁNH GIÁ KẾT QUA

3.4 Ví dụ về đường cong RÓC và chỉ số AUC|

2.2 Minh họa phương phấp

2.3 Hệ thống khuyên nghị tin tức của Google News 23

2.4 Mo hinh hé thong khuyến nghị tin tức| - 24

2.5 Mo hinh khuyén nghi tin tức NRMS|] - 26

Hình ảnh hiển thị tin tức trên trang báo điện tử VnExpresl 31

j3.2_ Ví dụ về dữ liệu được thu thập và lưu trữ bằng công cụ Apache

3.3 Khung bình luận của một bài viết trên trang báo điện tử VnExpress| 33

LỜI NÓI DẦU

Nhờ su phát triển bùng nỗ của Internet hiện nay con người ngày càng có cơ

hội tiếp xúc với nhiều nguồn thống lin trên các nên tảng truyều không xã hội ví

đụ như mạng xã hội trực tuyến, mna sắm rực tuyến, tín tc trực tuyên, dian

dan, Vi vay sự ra đời của điện toán xã hội (Social eomnnting) để trả lời các

căn hỏi và giải quyết các vẫn đã, thách thức về hành vi của người đìng thöng

qua các nên tảng truyền thông xã hội trực tuyến Một trong ba bài toán quan

đó là bài toán khuyén nghj (Recommendation) Bai

trọng của điện toán xã

toán khuyến nghị có ý nghĩa to lớn trong vide nang cao trai nghiệm người dùng

trên các nền tảng truyền thông xã hội trực tuyến

'I*ong nội dựng luận văn, tác gi sẽ trình bày những nghiên cứu của mình về

mỗ hình học gân trong xử lý ngôn ngữ trí nhiền vã bài loán khuyến nghỉ ứng

« Chương 9: Trình bày va bai ton khuyến nghị và thuật toán NRMS

ø Chương ä: 1Yình bày về kết quả thực nghiệm của mỡ hình đề xuất trên dữ

liệu thủ Lhập tif mot trang web tin tite thiực Lễ

Luận văn được hoàn thành trong chương trình 'Lhạc sĩ Khoa học ngành loán tin tại Viện Ioán ứng dụng và in học, Đại học Hách Khoa Hà Nội dưới sự

hướng dẫn của T8 Tê Chí Ngọ

Mặc dù được hoàn Lhành với nhiều cỗ gắng nhưng do những hạn chế về thời

gian và kinh nghiệm, luận văn này không thể tránh khỏi những sai sói Táo giá

rất mong nhận dược những ý kiến đóng góp quý báu tt thầy eö và các bạn học

viên để luận văn được hoàn thiện hơn nữa.

CHƯƠNG 1 CƠ SỞ LÝ THUYẾT

1.1 Máy học

Máy học [T[ là một thuật ngữ được khai sinh vào cuối những năm 50 bởi Arthur Samuel Nó là một lĩnh vu

của trí tuệ nhân tạo liên quan đến việc nghiên cứu

và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ dữ liệu để giải

quyết những vấn đề cụ thể Ví dụ như các máy có thể "hoc" cach phan loai thư điện tử xem có phải thư rác (spam) hay khõng và tự động xếp thư vào thư mục

tương ứng,

Học máy có liên quan lớn đến thống kẽ, vì cả hai lĩnh vực đều nghiên cứu việc

phân tích dữ liệu, nhưng khác với thống kê, học máy tập trung vào sự phức tạp

của các giải thuật trong việc thực thi tính toán Nhiều bài toán suy luận được

át (supervised learning), học không giám sát (unsupervised learning)

Phương pháp học có giám sát đòi hỏi dữ liệu huấn luyện phải được gán nhãn

Một loạt các thuật toán máy học dựa trên phương pháp này bao gồm: Hồi quy

tuyến tính, Hồi quy logistie Phân lớp Bayes (naive bayes), Cây quyết định, K

- láng giềng gần nhất và Máy veetor hỗ trợ (support vector machine), Những phương pháp này chủ yếu là các phương pháp hồi quy và phân loại Nguyên tắc

hoạt động của các thuật toán này là việ

v= fle) (1.1.4)

Với mỗi đầu vào z xác định một đầu ra tương ứng Cá

à tối ưu hóa

a

LUẬN VĂN THẠC SĨ ĐOÀN NGỌC HOÀNG

pháp này, một lượng thời gian đáng kể được tiết kiệm vì không phải gần nhãn

dữ liệu đầu vào d

ho thuật toán học

giám sát có thể được dùng kết hợp với luận Bayes để cho

ra uất có điều kiện (nghĩa là học có giám sát) cho bất kì biến ngẫu nhiên

nào khi biết trước các biến khác

Học tăng cường

Học tăng cường là một lĩnh vực con của học má;

đối tượng (agent) trong một môi trường (environment) nên chọn thực hiệ

hành động nào để cực đại hóa một khoản thưởng (reward) nào đó về lau

Các thuật toán học tăng cường cố gắng tìm một chiến lược ánh xạ các trạng thái

(state) của môi trường tới các hành động (action) ma agent nên chọn trong các trạng thái đó

Khác với học có giám sát, trong học tăng cường không có các cặp dữ liệu đầu vào/kết quả đúng, hành động cần tối tu cũng không được đánh giá đúng sai

một cách tường mình Do đó, học tăng cường đặc biệt thích hợp cho các bài toán

có sự được mất giữa các khoản thưởng ngắn hạn và dài hạn Học tăng cường đã

được áp dụng thành công cho nhiều bài toán, trong đó có điền khiển robot, điều

xử lý thong tin phi tuyến tính có giám sát hoặc không có giám sát đề

đặc trưng và chuyển đổi hoặc phân tích mẫu và phân loại

Một trong những phương pháp học sâu thành công nhất đó là phương pháp

dựa trên mạng nơ-ron nhân tạo Nhờ có phát triển của

sâu khác nhau mà các kiến trúc học sâu có thể được áp dụng vào rất nhiều các lĩnh vực trong thực tế như thị giác máy tính, nhận diện giọng nói xứ lý ngôn

ngữ tự nhiên, và đã tạo ra rất nhiều kết quả tốt Dặc biệt trong lĩnh vực xử

lý ngôn ngữ tự nhiên (Natural Language Processing) thì mô hình học sâu có vai trò vô cùng to lớn Vì vậy trong bài luận văn này tác giả sẽ phân tích sâu hơn

về mô hình học sau trong xử lý ngôn ngữ tự nhiên

LUẬN VĂN THẠC SĨ ĐOÀN NGỌC HOÀNG

trên mỗi lớp có thể thay đổi tùy thuộc vào thiết kế và mục đích của mạng Mỗi

nơ-ron nhận một hoặc nhiều giá trị số làm đầu vào Mỗi đầu vào có trọng số

tương ứng thể hiện tầm quan trọng của đầu vào đã cho đối với đầu ra mà nút

sẽ tính toán, Dau ra là kết quả của hàm kích hoạt ƒ để biến đổi tổ

đầu vào có trọng số œfz và giá trị b được goi 1a bias

Hình 1.2: Mô hình mạng nơron nhiều lớp ẩn

Hàm kích hoạt (activation function) ƒ thường là một hàm phi tuyến, việc hựa

chọn hàm kích hoạt phụ thuộc vào tinh chất của vấn đề được xem xét Người ta

thường sử dụng chủ yếu bằng các hàm phi tuyến tính cho đầu ra dự kiến là một giá trị nằm trong khoảng từ 0 đến 1 để cho biết mức độ kích hoạt của nó, trong

9

LUAN VAN THAC éf ĐOÀN NGỌC HOÀNG

khi các hàm tuyến tính sẽ mang lại kết quả đầu ra không bị giới hạn, và có thể

tiễn về vô cùng Tính phi tuyến tính này là cất lõi của cđ chế mạng thân kinh

để mõ phông các vấn đề phức tạp bằng cách trừn tượng hóa các đặc tính có ý

nghĩa Một số hàm kích hoạt điển hình như:

1.2.2 Ham mat mat

Hàm mắt mắt (lass funetion) là một công thức để đánh giá xem hệ thông máy

học mẽ hình hóa dữ liệu tố: đến mức nào bằng cách tính toán những sai khác

của kết quả dự đoán và giá trị thực tế trong quá trình học Sự sai khác này còn gọi là mất mát Do đó, bàm này phải cố giá trị càng thấp càng tốt để kết quả

dy đoán càng sắt với thực tế Có nhiều hàm mất và việc chọn sử dụng hàm nào

là rất quan trọng trong việc huấn luyện mõ hình

Gọi „ giá trị thật, ÿ là giá trị dự đoán, tập mấu có kích thước ø, ta có một số hầm mất mát phổ biến sau:

« Hầm sai số tuyết đái trung hình

LUẬN VĂN THẠC SĨ ĐOÀN NGỌC HOÀNG

Trong các bài toán phân loại sự tương quan lực lượng giữa các lớp là không

đồng đều nên các hàm trên không nấm bắt được xác suất mà một mẫu bất

kì thuộc vào một lớp nào đó Người ta thường sứ dụng hàm mất mát Cro:

Entropy Gọi 0¡ là giá trị 0 hoặc 1 biểu thị cho đầu vào có nhãn là lớp thứ ¿ hay

không, p; là xác suất dự đoán đầu vào thuộc lớp thứ ¡ Ta có công thức biểu diễn

ham mat mat Cross - Entropy nhu sau:

Loss = ~(tlog(p) + (1 —t) log(1 — p) (1.2.11)

1.2.3 Huấn luyện mạng nơ-ron

Sau khi xây dựng được hàm mắt mát phù hợp với bài toán, tiếp theo ta sẽ cần

sứ dụng thuật toán tối ưu để có thể cực tiểu hàm mắt mát Một trong những

thuật toán đơn giản và được sử dụng rộng rãi nhất là thuật toán hướng giảm

gradient (Gradient Descent) [3] Dây là một thuật toán tối ưu lặp bậc một sử

dụng đạo hàm của hàm mất mát để tìm một nghiệm cực tiểu địa phương của hàm đó Tại mỗi điểm, ta thực hiện giảm giá trị theo các bước tỷ lệ với giá trị gradient (hoặc tinh xAp xi gradient) Việc cập nhật trọng số của mô hình sẽ được thực hiện như sau:

với J là hàm 1nục tiêu cần cực tiểu, Ø là các tham số cần cập nhật và ø là tý

học (learning rate).

LUẬN VĂN THẠC SĨ ĐOÀN NGỌC HOÀNG

Hinh 1.3: Thuật toán hướng giãm gradient

Trong trường hợp số lượng dữ liệu học rất lớn, việc tính toán đạo hàm cho tất

đùng để tính đạo hàm, công thức cập nhật được biểu điễn như sau:

1.2.4 Co ché Attention

Attention HỊ được sinh ra dựa trên nhu cầu cho việc ghỉ nhớ và giải mã ý

nghĩa âu văn, một trong những vấn đề cơ bản của máy dịch Attention cho

phép mô hình tập trung hơn vào một hoặc một vài ngữ cảnh địa phương trong,

câu văn, thay vì xem xét tất cả các từ ngữ trong câu có vai trò như nhau Dây cũng chính là nguồn gốc của tên gọi attention Mục tiêu của cơ chế attention là đưa ra các trọng số tương ứng với từng trạng thái đầu vào đại diện cho sự ảnh

hưởng của trạng thái đó lên ý nghĩa toàn cục của nghĩa cục bộ tại thời điểm mà mô hình đang xem xét Các khái niệm mã hóa - giải mã là các

dịch, và sẽ được sử đụng để giải thích

phương pháp hoạt động của mô hình attention thông thường Theo đó bộ mã

hóa cho phép mã hóa một chuỗi thành một veetor, trong khí bộ giải mã thực

khái niệm cơ bản được sử dụng trong má

hiện việc giải mã bộ vector đó thành chuỗi tương ứng

Attention cho phép mô hình tập trung vào một hoặc một vài ngữ cảnh địa

phương trong câu, đó cũng là nguồn gốc của tên gọi attention Nguyên nhân chính

12

AN VAN THAC Si DOAN NGOC HOANG

làm giảm hiệu qua qua trinh hoc tit chudi sang chudi (sequence-to-sequence) 1A

nó đòi hỏi phải nén toàn bộ nội dung của chuỗi đầu vào thành mot véc tơ có

kích thước cố định Việc cố định kích thước của véc tơ khiến cho phương pháp

này kém hiệu quả khi xử lý các chuỗi đài vì nó không thể giữ lại tất cä thông tin

và có xu hướng "quên" đi các đầu vào đầu tiên Attention làm hạn chế điều

bằng cách cho phép bộ gì mã (decoder) nhìn lại các trạng thái ẩn của chuỗi

hoạt động trên véc tơ ngữ cảnh để trợ giúp bộ giải mã nắm bắt thông tin toàn

cục từ chuỗi đầu vào

Attention có thể được xem như một ánh

ác cặp khóa (key) và giá trị (value)

từ một truy vấn (query) cùng với sang một giá trị đầu ra Giá trị đầu ra này

là tổng có trọng số của các giá trị v với trọng số được tính dựa theo truy vấn q

it dung ham softmax để thu được trọng số

“Trong thực tế, chúng ta sẽ tính toán attention trên một tập hợp các truy vẫn

đồng thời, được ghép với nhau thành ma trận Q Các khóa và giá trị cũng được

13

LUẬN VĂN THẠC SĨ ĐOÀN NGỌC HOÀNG

ghép cùng nhan tạo thành ma trận K và V Cöng thức tính toán ma trận kết

quả đầu ra như sau:

sử dụng tích võ hướng Công thite ( mô tả attention tích vo hướng còn

attention mở rộng như là mạng nơ-ron lan truyền thẳng với một lớp ẩn Trong

khi cả hai đạng tương tự nhau về độ phức tạp, attention tích võ hướng nhanh

hơn nhiều và hiệu quả hơn trong thực tế, vì nó có thể được thực hiện bằng cách

sử dụng phép nhãn ma trận được tối ưu trong quá trình xử lý

cả các vị trí của chuỗi đầu vào Điều này được thực hiện bằng cách tạo ra bộ ba vector (Q, K, V') cho tất cả các vị trí của chuỗi, sau đó áp dụng cơ chế attention

cho mỗi vị trí Các vector key và query ở vị trí được sử dụng cho tất cả các vị

trí khác

1.2.5 Multi-head Attention

Thay vi stt dung co ché attention mot lin cho (Q, K,V) vdi sd chiéu d, cd chế

multi-head attention được đưa ra bằng cách tính toán attention h lần với số

chién dy = dy = d/h Khi tính toán attention nhiền đầu, các ma tran Q, K và V

được tính bởi các ma tran Won Wea, Wyn cho ting dau attention Cac vecto

attention của mỗi đầu được nối (concate) lại với nhau và được nhân với ma trận

tham số cuối cing Wo dé sinh ra ma trận attention nhiều đầu cuối cùng

LUẬN VĂN THẠC SĨ ĐOÀN NGỌC HOÀNG

Hình 1.5: Attention nhiều đầu

Các tính toán cho ma trận attention nhiều đầu A/ là,

Bag of words [5] 1a mét trong nhitng cách đơn giản để biến đổi đữ liệu văn

bản (text) thành các véc tơ, cũng là phương pháp mang ý tưởng cốt lõi cho các

u Ý tưởng của kỹ thuật này

iy ra của các từ (token) cu thể trong văn bản

phương pháp trích xuất đặc trưng từ văn bản về

iệc tính tần suất các biến c‹

đầu vào của chúng ta

là

LUAN VAN THAC éf ĐOÀN NGỌC HOÀNG

Cách thực hiện của kỹ thuật này như sau: Chúng ta sẽ tìm kiếm các từ đã xuất hiện trong một cân và đánh đấu chứng bằng giá trị 1, các từ không xuất hiện thì đánh dấu chúng bằng giá tri 0

Bay gid, ching ta sẽ tìm kiếm tắt cả các từ có thể trong văn bản của chúng

ta và viết chúng thành tên cột của các cột trong ma trận, các hàng sẽ là giá trị

0 và 1 để đánh đấu các xem việc các từ đây có xuất hiện trong các văn bản với

số thứ tự tương ứng với hàng hay không, Khi đó ta sẽ có một ma trận đặc trưng, tương đổi lớn Đáy là cách mà chúng ta

thứ tự các từ không được giữ nguyên, điền này ảnh hưởng đến ngữ nghĩa của

câu Dó là lý do tại sao chúng ta gọi là bag of words bởi bag 18 khong mang ¥

nghĩa thứ tự Thứ hai, việc đếm số lượng xuất hiện của từ không được chuẩn

hóa và mang ý nghĩa không cao

1.3.2 Ky thuật nhúng từ

Kỹ thuật nhúng từ (word embedding) là tên gọi chung của một tập hợp mô tình ngôn ngữ sử dụng uác kỹ thuật lọc lập đặc trưng Lrong xử lý ngôn ngữ tu nhiền mà trong đó các Lừ hoặc cụm Lừ vựng được ánh xạ Lới các véc Lở các số thực Nó xây dìmg ánh xa rừ một khõng gian các tỉï sang không zian véc tở liên

tục với kích thước thẤp hơn nhi

16

LUẬN VAN THAC Si DOAN NGỌC HOÀNG

Các phương pháp để tạo ánh xạ này bao gồm việc sử dụng các mạng nơ-ron

lõ| các phương pháp giảm kích thước trên ma trận xuất hiện từ [7| các mô hình

ện cho từ đầu vào cho thấy việc tăng

xác suất [8] Việc sử dụng các véc tơ đại ở

hiệu suất trong các tác vụ xử lý ngôn ngữ tự nhiên như nhận dạng thực thể,

phân tích cú pháp và phân tích cảm xúc

Có rất nhiều cách tiếp cận từ nhúng khác nhau đã được

hình được huấn luyện trước đã được công bố, các ví dụ nổi tiếng là Word2Vee

[9] Glove [10] va FastText [I] Các mô bình nhúng từ có rất nhiều hạn chế liên

quan đến độ dài của văn bản được sử dụng, trật tự và tính độc lập của các từ Việc sử dụng một véc-tơ để biểu điễn ý nghĩa cho từng từ

không có khả năng biểu điễn được đầy di ý nghĩa của một từ có nhiều nghĩa khi

Word2Vec là một mô hình đơn giản và nổi tiếng trong xử lý ngôn ngữ tự nhiên

giúp tạo ra các biểu diễn nhúng từ trong một không gian có số chiều thấp hơn

nhiều lần so với số từ trong từ điển Word2Vec sử dụng một mạng nơ-ron để học

17

LUAN VAN THAC éf ĐOÀN NGỌC HOÀNG

các liên kếL của từ từ một Lập dữ liệu văn bản có dung lượng lớn Ý tưởng cơ bân của Word2Vee đó là:

« Hai từ xuất hiện trong những văn cảnh giống nhau thường có ÿ nghĩa gần với nhau,

« Ta có thể đoán được một từ nến hiết các từ xung quanh nó trong câu

Có 2 mồ hình Wordl2Vee được áp dựng:

« Continuous Bag of Words (CBOW): Mô hình sử dụng phương pháp lấy đầu

vào là một hoặc nhiều tử ngữ cảnh và đẫu ra là dự đoán output từ đích

théng qua mot tang neural đơn giản

« Skip-gram: Ngược lại với mô hình CDOW, mô hình skip-gram sử dụng đầu vào là từ đích và đầu ra là dự đoán ra các từ lân cận của nó,

3 mỗ hình CROW và gkip-pram được mô tả, nhà Lrong, Hình:

INPLT PRO.EGTION - AUTPUT IMPUT PROIEGTIOM O/TPUT

CHUGNG 2 UNG DUNG MO HINH HOC SAU VÀO

BAI TOAN KHUYEN NGHI TIN TUC

2.1 Điện toán xã hội và bài toán khuyến nghị

2.1.1 Điện toán xã hội

Điện toán xã hội - Social Computing [12] được định nghĩa là các hệ thống hỗ trợ thu thập, xử lý, sử dụng và truyền bá thông tin được phân phối giữa các tập

hợp xã hội như nhóm, cộng đồng, tổ chức và thị trường

Trong những năm gần đây, sự phát triển mạnh mẽ

a công nghệ, đặc biệt

phát triển của rất nhiều dịch vụ truyền thông,

n, có thể kể đến các mạng xã hội phổ biến, như Facebook,

ng nghệ Internet kéo theo s

xã hội trực †

Twitter ngoài ra còn có rất nhiều dịch vụ trực tuyến khác như tỉn tức, học tập, mua sắm, cũng trở thành một phần thiết yếu của xã hội hiện nay

Cùng với sự ¡ thông xã hội trực tuyến khác nhau

¡ người 8o với các trang web truyền

đời của các dịch vụ truy:

mang lại bùng nổ thông tin trong li it lo

thống hạn chế người dùng chi là người tiêu dùng thông tin, phương tiên truyền

hs

thông xã hội trực tuyến cho phép người dùng tạo ra thông tin thông qua các

tương tác đa đạng chẳng hạn như chia sẻ thông tin, bình luận, đánh giá, chia sẻ kiến thức,

Sự bùng nổ thông tìn được xuất phát từ kh

lượng nội dung gia tăng, lượng

người dùng khổng lồ sự nối đa dạng và các nhu cầu thông tin phức tạp

Diện toán xã hội gắn chặt với hành vi, sở thích của người dùng trên phương tiện

truyền thông xã hội Mục tiêu cuối cùng của điện toán xã hội là tạo ra các hệ

thống tính toán để tìm hiểu các cơ chế và nguyên tắc để giải thích và hiểu các

hành vi của từng cá nhân và tập thể cộng đồng và tổ chức Để đạt được mục

tiêu nay, ba khía cạnh cơ bản cho sự thành công của điện toán xã hội được nhân