Báo Cáo Đồ Án Cơ Sở Đề Tài- Xây Dựng Ứng Dụng Chat Tự Động Với Deep Learning.pdf

MẪU ĐỒ ÁN KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC ĐÀ NẴNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT HÀN BÁO CÁO ĐỒ ÁN CƠ SỞ 5 ĐỀ TÀI XÂY DỰNG ỨNG DỤNG CHAT TỰ ĐỘNG VỚI DEEP LEARNING Giảng viên hướng dẫn T[.]

ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VIỆT - HÀN

BÁO CÁO ĐỒ ÁN CƠ SỞ 5

ĐỀ TÀI: XÂY DỰNG ỨNG DỤNG CHAT TỰ

ĐỘNG VỚI DEEP LEARNING

Giảng viên hướng dẫn: ThS LÊ SONG TOÀN

Sinh viên thực hiện:

1 Nguyễn Quốc Cường 17IT130

2 Nguyễn Thị Ngà 17CE029

ĐÀ NẴNG, THÁNG 08 NĂM 2020

ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VIỆT - HÀN

BÁO CÁO ĐỒ ÁN CƠ SỞ 5

ĐỀ TÀI: XÂY DỰNG ỨNG DỤNG CHAT TỰ ĐỘNG VỚI DEEP

LEARNING

Đà Nẵng, tháng 08 năm 2020

Trang 2

MỞ ĐẦU

Trong những năm gần đây, cùng với sự phát triển của nhân loại thì khoa họccông nghệ cũng có những bước tiến vượt trội, điển hình là ngành công nghiệp 4.0 Vớinhững sự phát triển vượt bậc của công nghệ việc triển khai công nghệ vào đời sốngmỗi người cũng ngày càng hoàn thiện Điển hình là việc sự dụng trí thông minh nhântạo nhằm thay thế những công cụ truyền thống giúp cải thiện cuộc sống hơn

Trong nhiều năm trở lại đây, với nhu cầu về hội nhập ngày càng cao giữa cácquốc gia cả về kinh tế lẫn văn hóa, khiến nhu cầu về giao tiếp ngày càng tăng cao.Nhưng đối với nhiều người không có thời gian để gặp bạn bè, người khó bắt chuyện, ítnói thì việc nâng cao trong giao tiếp diễn ra khá khó khăn Chính vì vậy cần có nhữngphần mềm, công cụ để hỗ trợ việc giao tiếp bất cứ đâu hay bất cứ thời gian nào

Nhờ sự tiên tiến của khoa học công nghệ và sự vượt trội từ trí thông minh nhântạo, để tạo ra phần mềm hay công cụ tương tác giữa người và máy thì một trong nhữngứng dụng dựa trên nền tảng trí tuệ nhân tạo phổ biến hiện nay có thể kể đến là ứngdụng dựa trên Chatbot Có thể nói Chatbot là một hình thức thô sơ của trí tuệ nhân tạo,

là một chương trình được tạo ra từ máy tính, tiến hành cuộc trò chuyện thông qua cácphương thức như văn bản, hình ảnh, âm thanh,…

Hiện nay có khá nhiều chatbot hoặc sự nâng cấp của chatbot là trợ lý ảo có trênthị trường hiện nay do các ông lớn trong ngành công nghệ tạo ra Bên cạnh họ cũngcung cấp nhiều tư liệu về nó Điều đó giúp ta có thể tiếp cận việc xây dựng mộtchatbot trở nên đơn giản hơn

LỜI CẢM ƠN

Để thực hiện và hoàn thành tốt đồ án này, em đã nhận được sự giúp đỡ và hướngdẫn rất tận tình của các thầy cô thuộc Đại Học Công Nghệ Thông Tin Và Truyền ThôngViệt Hàn – Đại Học Đà Nẵng Em xin cảm ơn các thầy cô thuộc bộ môn chuyên ngành

đã cung cấp cho chúng em các thông tin, kiến thức vô cùng quý báu và cần thiết trongsuốt thời gian quá để em có thể thực hiện và hoàn thành đồ án của mình Đặc biệt emxin chân thành cảm ơn thầy Lê Song Toàn, người đã trực tiếp hướng dẫn chúng emtrong thời gian thực hiện đồ án này

Cuối cùng, xin chân thành cảm ơn các bạn trong ngành công nghệ thông tin đãủng hộ, giúp đỡ, chia sẻ kiến thức, kinh nghiệm và tài liệu có được giúp chúng tôi trongquá trình nghiên cứu và thực hiện đề tài

Do giới hạn về mặt thời gian và kiến thức cũng như kinh nghiệm thực tiễn nên đềtài không tránh khỏi những sai sót Em rất mong nhận được sự thông cảm của quý thầy

cô và mong đón nhận những góp ý của thầy cô và các bạn

Em xin chân thành cảm ơn!

NHẬN XÉT

(Của giảng viên hướng dẫn)

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

Đà Nẵng, ngày … tháng … năm 20… Giảng viên hướng dẫn

ThS.Lê Song Toàn

MỤC LỤC

Chương 1: 1

TỔNG QUAN VỀ HỆ THỐNG CHATBOT 1

1.1Chatbot là gì ? 1

1.2Cấu trúc các thành phần của Chatbot: 2

1.3 Hiểu ngôn ngữ tự nhiên (NLU): 2

1.3.1 Xác định ý định người dùng 5

1.4 Quản lý hội thoại (DM) 6

1.4.2 Mô hình Frame-based 8

1.5 Thành phần sinh ngôn ngữ (NLG) 9

1.5.1 Template-based NLG 9

1.5.2 Plan-based NLG 10

1.5.3 Class-based NLG 11

Chương 2: 12

CƠ SỞ LÝ THUYẾT 12

2.1 Kiến trúc mạng nơ ron nhân tạo 12

2.2 Mạng nơ ron hồi quy RNN 16

2.3 Long Short-Term Memory: 18

2.3.1 Vấn đề phụ thuộc quá dài 18

2.3.2 Cấu trúc mạng 19

2.3.3 Phân tích mô hình LSTM 20

2.4 Giới thiệu về mô hình Sequence: 23

2.5 Seq2Seq Model: 23

2.6 Beam Search – Thuật toán tìm kiếm hỗ trợ Seq2Seq: 25

2.7 Word embeddings 27

2.7.1 Word2vec 28

2.7.2 Glove 29

Chương 3: 31

XÂY DỰNG ỨNG DỤNG CHATBOT 31

3.1 Kiến trúc ứng dụng 31

3.2 Quá trình xây dựng 31

3.2.1 Tiền xử lý dữ liệu: 31

3.2.2 Xây dựng mô hình Seq2Seq 32

3.2.3 Đào tạo mô hình Seq2Seq 33

3.2.4 Thử nghiệm mô hình Seq2Seq 33

3.3 Kết quả đạt được 34

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 36

1 Kết luận: 36

2 Hướng phát triển: 36

DANH MỤC THAM KHẢO 37

DANH MỤC HÌNH

Hình 1 Chatbot 1

Hình 2 Các thành phần của Chatbot 2

Hình 3 Các bước xử lý chính của NLU 3

Hình 4 Các bước xử lý trong NLU 4

Hình 5 Mô hình các bước xác định ý định 5

Hình 6 Mô hình quản lý trạng thái và quyết định hành động trong hội thoại 7

Hình 7 Quản lý hội thoại theo mô hình FSA 8

Hình 8 Khung chat bot hỏi thông tin khách hàng 9

Hình 9 Phương pháp sinh ngôn ngữ dựa trên tập mẫu câu trả lời 10

Hình 10 Phương pháp sinh ngôn ngữ dựa trên Plan based 10

Hình 11 Phương pháp sinh ngôn ngữ Class based 11

Hình 12 Cấu trúc mạng nơtron nhân tạo 12

Hình 13 Quá trình xử lý thông tin của mạng nơ ron nhân tạo 13

Hình 14 Mạng RNN 16

Hình 15 Mạng RNN 2 chiều 17

Hình 16 Mạng RNN nhiều tầng 18

Hình 17 RNN phụ thuộc long-term 18

Hình 18 Các module lặp của mạng RNN 19

Hình 19 Các module lặp của mạng LSTM chứa 4 lớp 19

Hình 20 Tế bào trạng thái (Cell state) LSTM 20

Hình 21 Cổng trạng thái LSTM 20

Hình 22 LSTM focus f 21

Hình 23 LSTM focus I 21

Hình 24 LSTM focus c 22

Hình 25 LSTM focus 0 22

Hình 26 Thành phần của LSTM 24

Hình 27 LSTM Encoder 24

Hình 28 LSTM Decoder 25

Hình 29 RNN/LSTM lồng nhau 25

Hình 30 Cây xác suất 27

Hình 31 Mô hình từ nhúng 28

Hình 32 Mô hình CBOW và Skip-Ngram 29

Hình 33 Kiến trúc của ứng dụng chatbot 31

Hình 34 Quá trình huấn luyện 34

Hình 35 Tương tác trò chuyện với chatbot 34

Hình 36 Trực quan từ nhúng với TensorBoard 35

Hình 37 Giao diện web 35

Artificial Nerual Network ANN4

Continuous Bag of Words CBOW 5

Convolution Neural Network CNN6

Conditional Random Fields CRF7

Dialogue Management DM8

Deep Neural Networks DNN9

Dialogue State Tracking DST10

Finite State Automata FSA11

Finite State Machine FSM12

Long short-term memory LSTM 13

Natural Language Generation NLG 14

Natural Language Understanding NLU15

Machine Learning ML16

Hình 1 Chatbot

Hiện nay chatbot được dùng trong nhiều lĩnh vực như tư vấn, tiếp thị,… giúp tăng tính hiệu quả trong mỗi ngành được sử dụng Ngoài ra, trong lĩnh vực học máy thìchatbot được hiểu là Q & A System (Question and Answering System)

Hiện tại có hai loại chatbot:

- Chatbot dựa theo kịch bản có sẵn: Kiểu chatbot này thường được dùng với

các thiết đặt có sẵn Người sử dụng chỉ cần chọn các lựa chọn đã cài đặt trên chatbot Đối với những loại câu hỏi khó hơn thì sẽ chuyển sang cho con người

để giải quyết Độ linh động không cao Các nền tảng hiện tại hỗ trợ chatbot kiểunày là: Facebook Messenger, Slack, Zalo, Telegram,…

- Chatbot sử dụng Machine Learning: Đối với kiểu này chatbot sẽ xử lý ngôn

ngữ tự nhiên (Natural Language Processing) kết hợp sử dụng mạng neutron để đào tạo và cho ra kết quả hợp lý nhất có thể Những công việc cần làm để tạo rachatbot bao gồm:

o Phân loại câu hỏi

o Trích xuất câu trả lời (Dựa trên các tài liệu hoặc bộ dữ liệu mẫu (dataset) liên quan)

o Trích xuất câu trả lời

Trang 1

o Trong những công việc trên thì việc phân loại câu hỏi là công việc khó khăn

và vất vả nhất Vì vậy, đi đôi với những yêu cầu trên là khả năng hỏi và trả lời một cách linh động và chính xác

1.2 Cấu trúc các thành phần của Chatbot:

Hình 2 Các thành phần của Chatbot

Chatbot có 3 thành phần chính là hiểu ngôn ngữ tự nhiên (NLU), quản lý hội thoại (DM), thành phần sinh ngôn ngữ (NLG) Các thành phần nhận dạng giọng nói Speech Recognition (text to speech hay speech to text) là các thành phần tăng cường Mỗi thành phần trong chatbot đều có vai trò riêng:

 NLU: bao gồm việc xử lý ngôn ngữ tự nhiên (NLP) có nhiệm vụ xác định được

ý định câu hỏi (intent classification) và trích chọn thông tin (slots filter)

 DM: Quản lý hội thoại có nhiệm vụ xác định được hành động (action) tiếp theo dựa vào trạng thái hành động trước đó hay ngữ cảnh hội thoại Các ngữ cảnh này phải được đối chiếu trong các kịch bản dựng sẵn (history) đã đào tạo cho bot Thành phần này cũng đảm nhiệm việc lấy dữ liệu từ hệ thống khác qua các API gọi trong action

 NLG: là thành phần sinh ngôn ngữ dựa vào chính sách (policy) và hành động được xác định trong DM thông qua các tập hội thoại NGL có thể được sinh ra câu trả lời dựa vào tập mẫu câu trả lời (pre-defined template) đã đào tạo cho bot

Trang 2

1.3 Hiểu ngôn ngữ tự nhiên (NLU):

Đây có thể nói là thành phần quan trọng nhất của chatbot Chatbot có thông minh hay không thì đây là thành phần quyết định Mục tiêu của thành phần này là trích xuất

ra 3 thành phần thông tin từ câu nói của người dùng:

 Đầu tiên là phân loại lĩnh vực (domain classification), nó có thể là lĩnh vực ngân hàng, y tế hay bảo hiểm Nếu trong trường hợp chỉ có một lĩnh vực thì không cần thiết cho bước phân loại này

 Tiếp đến là phân loại ý định (intent classification), ví dụ như xác định được ý định tra cứu thông tin tài khoản hoặc ý định kiểm tra số dư

 Cuối cùng là bước trích xuất thông tin (slot fillter hay entity extraction) trong câu hỏi người dùng Ví dụ ta phải trích chọn được thông tin số tháng trong câu hỏi người dùng: “lãi suất kỳ hạn 3 tháng là bao nhiêu” Từ việc trích xuất được thông tin 3 tháng thì chatbot mới có cơ sở trả lời cho người dùng

NLU xử lý tin nhắn người dùng bằng một đường ống (pipeline) nơi mà cấu hình các bước xử lý liên tiếp theo tuần tự :

Hình 3 Các bước xử lý chính của NLU

Trong đường ống này thì bạn có thể tùy chỉnh các thành phần từ bước tiền xử lý

dữ liệu, mô hình hóa ngôn ngữ, các thuật toán dùng để tách từ và trích xuất thông tin thực thể

Trang 3

Hình 4 Các bước xử lý trong NLU

Để phân loại được ý định câu của người dùng thì ta cần mô hình hóa ngôn ngữ, tức là việc biểu diễn ngôn ngữ dưới dạng vector số học cho máy có thể hiểu được (vectorization) Phương pháp phổ biến nhất hiện tại là word embedding (nhúng từ) Tập nhúng từ là tên chung cho một tập hợp các mô hình ngôn ngữ và các phương pháphọc đặc trưng trong xử lý ngôn ngữ tự nhiên (NLP), nơi các từ hoặc cụm từ từ vựng được ánh xạ tới vectơ số thực Về mặt khái niệm, nó liên quan đến việc nhúng toán học từ một không gian với một chiều cho mỗi từ vào một không gian vectơ liên tục vớikích thước thấp hơn nhiều Một số phương pháp biểu diễn phổ biến như Word2Vec, GloVe hay mới hơn là FastText sẽ được giới thiệu trong phần sau

Sau khi mô hình hóa ngôn ngữ bao gồm dữ liệu đầu vào training cho bot thì việc xác định ý định người dùng từ câu hỏi người dùng dựa trên tập đã training là bướcphân loại ý định (intent classification) hay phân loại văn bản Ở bước này ta có thể dùng một số kỹ thuật như: Naive Bayes, Decision Tree (Random Forest), Vector Support Machine (SVM), Convolution Neural Network (CNN), Recurrent Neural Network (RNN), Long Short-Term Memory (LSTM, Bi-LSTM) Hầu hết các chatbot hiện tại đều ứng dụng mô hình deep learning như RNN và LSTM để phân loại ý định người dùng Bài toán thách thức lớn nhất cho các chatbot ở bước này là xác định nhiều

ý định (multiple intents) trong một câu nói người dùng Ví dụ nếu bạn nói “xin chào, kiểm tra cho tôi số dư tài khoản” thì bot phải xác định được 2 ý định “chào hỏi” và

“kiểm tra số dư” trong câu nói người dùng Nếu bot có thể hiểu và trả lời được câu hỏi loại này sẽ giúp việc tương tác với bot trở nên tự nhiên hơn

Tiếp đến là việc trích xuất thông tin trong câu hội thoại người dùng Các thông tin cần trích xuất thường dưới dạng số, chuỗi hoặc thời gian và chúng phải được khai báo và huấn luyện trước

Trang 4

Phân tách các từ (Tokenization hay word segmention): Tách từ là một quá trình

xử lý nhằm mục đích xác định ranh giới của các từ trong câu văn, cũng có thể hiểu đơngiản rằng tách từ là quá trình xác định các từ đơn, từ ghép có trong câu Đối với xử

lý ngôn ngữ, để có thể xác định cấu trúc ngữ pháp của câu, xác định từ loại của một từ trong câu, yêu cầu nhất thiết đặt ra là phải xác định được đâu là từ trong câu Vấn đề này tưởng chừng đơn giản với con người nhưng đối với máy tính, đây là bài toán rất khó giải quyết Thông thường thì các ngôn ngữ phân tách các từ bởi khoảng trắng nhưng đối với ngôn ngữ tiếng việt thì có rất nhiều từ ghép và cụm từ Ví dụ từ ghép

“tài khoản” được tạo bởi 2 từ đơn “tài” và “khoản” Có một số thuật toán hỗ trợ giải quyết bài toán này như mô hình so khớp từ dài nhất (longest matching), so khớp cực đại (Maximum Matching), Markov ẩn (Hidden Markov Models- HMM) hay mô hình CRF (conditinal random field)

1.3.1 Xác định ý định người dùng

Trang 5

Tiếp đến là bước trích xuất đặc trưng (feature extraction hay feature engineering)

từ những dữ liệu đã được làm sạch Trong mô hình học máy truyền thống (trước khi

mô hình học sâu được áp dụng rộng rãi), bước trích xuất đặc trưng ảnh hưởng lớn đến

độ chính xác của mô hình phân lớp Để trích xuất được những đặc trưng tốt, chúng ta cần phân tích dữ liệu khá tỉ mỉ và cần cả những tri thức chuyên gia trong từng miền ứng dụng cụ thể

Bước huấn luyện mô hình nhận đầu vào là các đặc trưng đã được trích xuất và áp dụng các thuật toán học máy để học ra một mô hình phân lớp Các mô hình phân lớp

có thể là các luật phân lớp (nếu sử dụng decision tree) hoặc là các vector trọng số tương ứng với các đặc trưng được trích xuất (như trong các mô hình logistic

regression, SVM, hay mạng Neural)

Sau khi có một mô hình phân lớp intent, chúng ta có thể sử dụng nó để phân lớp một câu hội thoại mới Câu hội thoại này cũng đi qua các bước tiền xử lý và trích xuất đặc trưng, sau đó mô hình phân lớp sẽ xác định “điểm số” cho từng intent trong tập các intent và đưa ra intent có điểm cao nhất

Để đưa ra hỗ trợ chính xác, chatbot cần xác định được ý định (intent) đó của người dùng Việc xác định ý định của người dùng sẽ quyết định hội thoại tiếp theo giữa người và chatbot sẽ diễn ra như thế nào Vì thế, nếu xác định sai ý định người dùng, chatbot sẽ đưa ra những phản hồi không đúng, không hợp ngữ cảnh Khi đó, người dùng có thể thấy chán ghét và không quay lại sử dụng hệ thống Bài toán xác định ý định người dùng vì thế đóng vai trò rất quan trọng trong hệ thống chatbot

Đối với miền ứng dụng đóng, chúng ta có thể giới hạn số lượng ý định của người dùng nằm trong một tập hữu hạn những ý định đã được định nghĩa sẵn, có liên quan đến những nghiệp vụ mà chatbot có thể hỗ trợ Với giới hạn này, bài toán xác định ý định người dùng có thể quy về bài toán phân lớp văn bản Với đầu vào là một câu giao tiếp của người dùng, hệ thống phân lớp sẽ xác định ý định tương ứng với câu đó trong tập các intent đã được định nghĩa trước

Để xây dựng một mô hình phân lớp intent, chúng ta cần một tập dữ liệu huấn luyệnbao gồm các cách diễn đạt khác nhau cho mỗi intent Ví dụ, cùng một mục đích chào hỏi ta có thể dùng những cách diễn đạt sau:

 Hello (Xin chào)

 Hi (Xin chào)

 Hey (Chào)

Có thể nói, bước tạo dữ liệu huấn luyện cho bài toán phân lớp intent là một trong những công việc quan trọng nhất khi phát triển hệ thống chatbot và ảnh hưởng lớn tới chất lượng sản phẩm của hệ thống chatbot về sau Công việc này cũng đòi hỏi thời gian, công sức khá lớn của nhà phát triển chatbot

1.4 Quản lý hội thoại (DM)

Trang 6