Luận văn Ứng dụng học sâu trong hệ thống chatbot hỗ trợ chăm sóc khách hàng

Trong đó, Chatbot đang được nghiên cứu và phát triển với tốc độ chóng mặt bởi các trung tâm nghiên cứu, các trường đại học, học viện, các doanh nghiệp và ứng dựng trong rất nhiễu các lĩ

TRƯỜNG DẠI HỌC BÁCH KHOA HÀ NỘI

Giảng viên hướng dẫn: T8.LÊ CHÍ NGỘC — œ4; „„gưp

HA NOT, 05/2021

LUAN VAN THAC sf ĐINH HUY TUẦN

Lời cam on

“Tác giả xin gửi lời cảm ơn trân trọng tới TS Lê Chí Ngọc, người đã trực tiếp hướng dẫn tác giả hết sức nhiệt tình, chu đáo, luôn động viên về mặt tỉnh thần

để tác giả có thể hoàn thành luận văn này lác giả xin trân trọng cảm ơn Viện

“toán Ứng dụng va ‘lin hoc, Phòng đào tạo U6 phan quản lý đào tạo sau đại học, Trường Đại học Bách Khoa Hà Nội

giá hoàn thành luận văn này, Cuối cùng, tác giả xin gửi lời cắm ơn tới gia đình, người Uban và bạn bè đã luôn động viên giúp đỡ tác giả trong suốt quá trình

thực hiện đề tài

lã tao mọi điều kiện thuận lợi để tác

LUAN VAN THAC sf ĐINH HUY TUẦN

Tom tắt nội đung luận văn

ác đã

Những năm gần đây, Chathol, đang được nghiền cứn và phát triển vái

chóng mặt bởi cáe trung tâm nghiên cửu, các trường đại học, học vien, các doanh

nghiệp và ứng dụng trong rất nhiều các lĩnh vực Cùng với sự phát triển của lĩnh vực học sâu, chatbot ngày càng linh hoạt trong việc hiểu ngôn ngữ và đưa

ra phản hồi một cách chính xác Trong nội dung của luận văn, tác giả tập trung

vào xây dựng Chatbot trên một rniễn cụ thể là lĩnh vực tài chính với ngôn ngữ

t Tác giả cũng đề xuất các phương pháp tích hợp mỡ hình học sãu

lý ngõn ngữ tự nhiên vào thành phẩn hiểu ngôn ngữ và thành phẩn quan lý hội thoại của Chatbot Kết quả thực nghiệm đã cho thấy việc áp dụng

Hà Nội, ngày 14 tháng 05 nim 2021

Kí và ghi rõ họ tên Ki va ghi rỗ họ tên

CHƯƠNG 1 MỞ ĐẦU

1.1 Lý đo lựa chọn đề tài

Những năm gần đây, ngành công nghệ théng tin và lĩnh vực máy hạc đang

phat trién rất nhanh và được ứng dụng rộng rãi Trong đó, Chatbot đang được nghiên cứu và phát triển với tốc độ chóng mặt bởi các trung tâm nghiên cứu, các

trường đại học, học viện, các doanh nghiệp và ứng dựng trong rất nhiễu các lĩnh vực Chatbot là ứng dựng phần mềm dùng trong hệ thống thảo luận trực tuyến bing vin bin hoặc văn ban chuyển thành giọng nói, thay vì thảo luận trực tiếp với người dùng thát Theo cách tương tác với người dùng, các chatbot thường được chia thành hai loại: âm thanh và tin nhắn Các chatbot được thiết kế phức tạp dựa trên nền tảng xử lý ngởn ngữ tự nhiên, nhưng cũng có nhiễu hệ thống

khắc đơn giản hơn bằng cách quối Lữ khóa trong dần vào, sau đồ lrả lời với từ

khốa phì hợp nhất, hoặc mẫn tt ngữ Lương tự nhất Trong có số di? liền

Cá rất nhiều công cụ cũng như thư viện hỗ trợ cho Chatbot như: Dialogflow,

Wit.ai, IBM Waston Service, RASA , hay như đối với tiếng Việt thì có TPT.AI,

Các công cụ, thư viện này hiện nay hầu hết đều áp dụng các công nghệ mới nhất của học máy, học sâu, để nàng cao khả năng giao tiếp của chương trình Chatbot

Đề chương trình Chatbot thực hiện giao tiếp thì cẩn có các kênh trên nên tảng điện toán đám mây như Google Assistant va Amazon Alexa, dudéi tmg dung tin

nhấn như Eheehbook Messenger, WeChal, hoặc thông qua gái

nhàn như trong việt chăm sóc khách hàng (cung cấp thông tin sẵn phẩm, đưa ra

các thông tín gợi ý, giải đáp thắc mắc, .) Chatbot giúp tối ưu hóa năng suất,

giảm thiểu chí phí chăm sóc khách hang, chim sóc sức khỏe, đời sống con người

liiện nay, các nhà đầu tư hoặc người dùng sản phẩm tài chính có thể tìm hiểu

thông tin về các dịch vự tài chính thông qua các công cụ tìm kiếm thông tin trên internet và thông tin từ các công ty tài chính 'Luy nhiên những thông tin hữu ích và thiết thực với người dùng còn hạn chế, khách hàng phải mất rất nhiễu thời gian trong việc tìm hiểu thöng tin Cùng với đó, cách kênh chăm sốc khách hàng của các công ty tài chính chỉ có một lượng hữu hạn nhãn viên trực tổng

LUẬN VAN THAC Si DINH HUY TUAN

B.3.1 Các mô hình gần nhãn chuỗi (sequence Tabaling) 37

3.4.1 Mô hình máy trạng thái hữu hạn ESA| 39

14.1.3 Mô hình xác định ý định và trích rút thông tin song son

(Dual Tntent Entity Transformer)| - 46

[4.1.4 M6 hinh Transformer Embedding Dialogu: 47

[4.2.1 Quá trình thu thập dữ liên} 49

50

LUẬN VAN THAC Si DINH HUY TUAN

B.3.1 Các mô hình gần nhãn chuỗi (sequence Tabaling) 37

3.4.1 Mô hình máy trạng thái hữu hạn ESA| 39

14.1.3 Mô hình xác định ý định và trích rút thông tin song son

(Dual Tntent Entity Transformer)| - 46

[4.1.4 M6 hinh Transformer Embedding Dialogu: 47

[4.2.1 Quá trình thu thập dữ liên} 49

50

LUẬN VAN THAC Si ĐINH HUY TUẤN

60

61

LUẬN VAN THAC Si ĐINH HUY TUẤN

60

61

2.1 Cấu trúc neural nhân tạo| - 15

|2.2_ Kiến trúc mạng CNN với bỏ lọc E và stride SỈ 18 2.3 Max pooling và average pooline| 19

H.6_ Quá trình thu thap di lie 49

LUẬN VAN THAC Si DINH HUY TUAN

B.3.1 Các mô hình gần nhãn chuỗi (sequence Tabaling) 37

3.4.1 Mô hình máy trạng thái hữu hạn ESA| 39

14.1.3 Mô hình xác định ý định và trích rút thông tin song son

(Dual Tntent Entity Transformer)| - 46

[4.1.4 M6 hinh Transformer Embedding Dialogu: 47

[4.2.1 Quá trình thu thập dữ liên} 49

50

2.1 Cấu trúc neural nhân tạo| - 15

|2.2_ Kiến trúc mạng CNN với bỏ lọc E và stride SỈ 18 2.3 Max pooling và average pooline| 19

H.6_ Quá trình thu thap di lie 49

2.1 Cấu trúc neural nhân tạo| - 15

|2.2_ Kiến trúc mạng CNN với bỏ lọc E và stride SỈ 18 2.3 Max pooling và average pooline| 19

H.6_ Quá trình thu thap di lie 49

CHƯƠNG 1 MỞ ĐẦU

1.1 Lý đo lựa chọn đề tài

Những năm gần đây, ngành công nghệ théng tin và lĩnh vực máy hạc đang

phat trién rất nhanh và được ứng dụng rộng rãi Trong đó, Chatbot đang được nghiên cứu và phát triển với tốc độ chóng mặt bởi các trung tâm nghiên cứu, các

trường đại học, học viện, các doanh nghiệp và ứng dựng trong rất nhiễu các lĩnh vực Chatbot là ứng dựng phần mềm dùng trong hệ thống thảo luận trực tuyến bing vin bin hoặc văn ban chuyển thành giọng nói, thay vì thảo luận trực tiếp với người dùng thát Theo cách tương tác với người dùng, các chatbot thường được chia thành hai loại: âm thanh và tin nhắn Các chatbot được thiết kế phức tạp dựa trên nền tảng xử lý ngởn ngữ tự nhiên, nhưng cũng có nhiễu hệ thống

khắc đơn giản hơn bằng cách quối Lữ khóa trong dần vào, sau đồ lrả lời với từ

khốa phì hợp nhất, hoặc mẫn tt ngữ Lương tự nhất Trong có số di? liền

Cá rất nhiều công cụ cũng như thư viện hỗ trợ cho Chatbot như: Dialogflow,

Wit.ai, IBM Waston Service, RASA , hay như đối với tiếng Việt thì có TPT.AI,

Các công cụ, thư viện này hiện nay hầu hết đều áp dụng các công nghệ mới nhất của học máy, học sâu, để nàng cao khả năng giao tiếp của chương trình Chatbot

Đề chương trình Chatbot thực hiện giao tiếp thì cẩn có các kênh trên nên tảng điện toán đám mây như Google Assistant va Amazon Alexa, dudéi tmg dung tin

nhấn như Eheehbook Messenger, WeChal, hoặc thông qua gái

nhàn như trong việt chăm sóc khách hàng (cung cấp thông tin sẵn phẩm, đưa ra

các thông tín gợi ý, giải đáp thắc mắc, .) Chatbot giúp tối ưu hóa năng suất,

giảm thiểu chí phí chăm sóc khách hang, chim sóc sức khỏe, đời sống con người

liiện nay, các nhà đầu tư hoặc người dùng sản phẩm tài chính có thể tìm hiểu

thông tin về các dịch vự tài chính thông qua các công cụ tìm kiếm thông tin trên internet và thông tin từ các công ty tài chính 'Luy nhiên những thông tin hữu ích và thiết thực với người dùng còn hạn chế, khách hàng phải mất rất nhiễu thời gian trong việc tìm hiểu thöng tin Cùng với đó, cách kênh chăm sốc khách hàng của các công ty tài chính chỉ có một lượng hữu hạn nhãn viên trực tổng

Mũ kùah phân luại ý định và thục thể đồng hờ:

Mồ kành Trausluriuer quản “ý bội thoại

Hiddea Markov model, M6 binh Markov da

©Condidtional Random Lield, Mô hình trường điều kiện ngẫu nhiện Convolution Neural Network, Mang neural tích chập

Recurent Neural Network, Mang reural hồi tiếp

Tongsharr Tem Xfemey, Mạng hộ nhớ dài-n,

LUẬN VAN THAC Si ĐINH HUY TUẤN

60

61

LUẬN VAN THAC Si ĐINH HUY TUẤN

60

61

Mũ kùah phân luại ý định và thục thể đồng hờ:

Mồ kành Trausluriuer quản “ý bội thoại

Hiddea Markov model, M6 binh Markov da

©Condidtional Random Lield, Mô hình trường điều kiện ngẫu nhiện Convolution Neural Network, Mang neural tích chập

Recurent Neural Network, Mang reural hồi tiếp

Tongsharr Tem Xfemey, Mạng hộ nhớ dài-n,

LUẬN VAN THAC Si ĐINH HUY TUẤN

60

61

Mũ kùah phân luại ý định và thục thể đồng hờ:

Mồ kành Trausluriuer quản “ý bội thoại

Hiddea Markov model, M6 binh Markov da

©Condidtional Random Lield, Mô hình trường điều kiện ngẫu nhiện Convolution Neural Network, Mang neural tích chập

Recurent Neural Network, Mang reural hồi tiếp

Tongsharr Tem Xfemey, Mạng hộ nhớ dài-n,

3 CƠ SỞ LÝ THUYET|

2.1 Phương pháp học sâu

2 KB T Mang, neural]

2.1.2 Nột số mô hình mạng email Ss 2.2 Xử lý ngôn ngữ tự nhiên|

B.2_ Bài toán xác định ý định người dùng]|

8.2.1 Cac phương pháp biểu điền từ

8.2.2 Mô hình ngôn ngi

Mũ kùah phân luại ý định và thục thể đồng hờ:

Mồ kành Trausluriuer quản “ý bội thoại

Hiddea Markov model, M6 binh Markov da

©Condidtional Random Lield, Mô hình trường điều kiện ngẫu nhiện Convolution Neural Network, Mang neural tích chập

Recurent Neural Network, Mang reural hồi tiếp

Tongsharr Tem Xfemey, Mạng hộ nhớ dài-n,

LUẬN VAN THAC Si DINH HUY TUAN

B.3.1 Các mô hình gần nhãn chuỗi (sequence Tabaling) 37

3.4.1 Mô hình máy trạng thái hữu hạn ESA| 39

14.1.3 Mô hình xác định ý định và trích rút thông tin song son

(Dual Tntent Entity Transformer)| - 46

[4.1.4 M6 hinh Transformer Embedding Dialogu: 47

[4.2.1 Quá trình thu thập dữ liên} 49

50

CHƯƠNG 1 MỞ ĐẦU

1.1 Lý đo lựa chọn đề tài

Những năm gần đây, ngành công nghệ théng tin và lĩnh vực máy hạc đang

phat trién rất nhanh và được ứng dụng rộng rãi Trong đó, Chatbot đang được nghiên cứu và phát triển với tốc độ chóng mặt bởi các trung tâm nghiên cứu, các

trường đại học, học viện, các doanh nghiệp và ứng dựng trong rất nhiễu các lĩnh vực Chatbot là ứng dựng phần mềm dùng trong hệ thống thảo luận trực tuyến bing vin bin hoặc văn ban chuyển thành giọng nói, thay vì thảo luận trực tiếp với người dùng thát Theo cách tương tác với người dùng, các chatbot thường được chia thành hai loại: âm thanh và tin nhắn Các chatbot được thiết kế phức tạp dựa trên nền tảng xử lý ngởn ngữ tự nhiên, nhưng cũng có nhiễu hệ thống

khắc đơn giản hơn bằng cách quối Lữ khóa trong dần vào, sau đồ lrả lời với từ

khốa phì hợp nhất, hoặc mẫn tt ngữ Lương tự nhất Trong có số di? liền

Cá rất nhiều công cụ cũng như thư viện hỗ trợ cho Chatbot như: Dialogflow,

Wit.ai, IBM Waston Service, RASA , hay như đối với tiếng Việt thì có TPT.AI,

Các công cụ, thư viện này hiện nay hầu hết đều áp dụng các công nghệ mới nhất của học máy, học sâu, để nàng cao khả năng giao tiếp của chương trình Chatbot

Đề chương trình Chatbot thực hiện giao tiếp thì cẩn có các kênh trên nên tảng điện toán đám mây như Google Assistant va Amazon Alexa, dudéi tmg dung tin

nhấn như Eheehbook Messenger, WeChal, hoặc thông qua gái

nhàn như trong việt chăm sóc khách hàng (cung cấp thông tin sẵn phẩm, đưa ra

các thông tín gợi ý, giải đáp thắc mắc, .) Chatbot giúp tối ưu hóa năng suất,

giảm thiểu chí phí chăm sóc khách hang, chim sóc sức khỏe, đời sống con người

liiện nay, các nhà đầu tư hoặc người dùng sản phẩm tài chính có thể tìm hiểu

thông tin về các dịch vự tài chính thông qua các công cụ tìm kiếm thông tin trên internet và thông tin từ các công ty tài chính 'Luy nhiên những thông tin hữu ích và thiết thực với người dùng còn hạn chế, khách hàng phải mất rất nhiễu thời gian trong việc tìm hiểu thöng tin Cùng với đó, cách kênh chăm sốc khách hàng của các công ty tài chính chỉ có một lượng hữu hạn nhãn viên trực tổng

2.1 Cấu trúc neural nhân tạo| - 15

|2.2_ Kiến trúc mạng CNN với bỏ lọc E và stride SỈ 18 2.3 Max pooling và average pooline| 19

H.6_ Quá trình thu thap di lie 49

3 CƠ SỞ LÝ THUYET|

2.1 Phương pháp học sâu

2 KB T Mang, neural]

2.1.2 Nột số mô hình mạng email Ss 2.2 Xử lý ngôn ngữ tự nhiên|

B.2_ Bài toán xác định ý định người dùng]|

8.2.1 Cac phương pháp biểu điền từ

8.2.2 Mô hình ngôn ngi

CHƯƠNG 1 MỞ ĐẦU

1.1 Lý đo lựa chọn đề tài

Những năm gần đây, ngành công nghệ théng tin và lĩnh vực máy hạc đang

phat trién rất nhanh và được ứng dụng rộng rãi Trong đó, Chatbot đang được nghiên cứu và phát triển với tốc độ chóng mặt bởi các trung tâm nghiên cứu, các

trường đại học, học viện, các doanh nghiệp và ứng dựng trong rất nhiễu các lĩnh vực Chatbot là ứng dựng phần mềm dùng trong hệ thống thảo luận trực tuyến bing vin bin hoặc văn ban chuyển thành giọng nói, thay vì thảo luận trực tiếp với người dùng thát Theo cách tương tác với người dùng, các chatbot thường được chia thành hai loại: âm thanh và tin nhắn Các chatbot được thiết kế phức tạp dựa trên nền tảng xử lý ngởn ngữ tự nhiên, nhưng cũng có nhiễu hệ thống

khắc đơn giản hơn bằng cách quối Lữ khóa trong dần vào, sau đồ lrả lời với từ

khốa phì hợp nhất, hoặc mẫn tt ngữ Lương tự nhất Trong có số di? liền

Cá rất nhiều công cụ cũng như thư viện hỗ trợ cho Chatbot như: Dialogflow,

Wit.ai, IBM Waston Service, RASA , hay như đối với tiếng Việt thì có TPT.AI,

Các công cụ, thư viện này hiện nay hầu hết đều áp dụng các công nghệ mới nhất của học máy, học sâu, để nàng cao khả năng giao tiếp của chương trình Chatbot

Đề chương trình Chatbot thực hiện giao tiếp thì cẩn có các kênh trên nên tảng điện toán đám mây như Google Assistant va Amazon Alexa, dudéi tmg dung tin

nhấn như Eheehbook Messenger, WeChal, hoặc thông qua gái

nhàn như trong việt chăm sóc khách hàng (cung cấp thông tin sẵn phẩm, đưa ra

các thông tín gợi ý, giải đáp thắc mắc, .) Chatbot giúp tối ưu hóa năng suất,

giảm thiểu chí phí chăm sóc khách hang, chim sóc sức khỏe, đời sống con người

liiện nay, các nhà đầu tư hoặc người dùng sản phẩm tài chính có thể tìm hiểu

thông tin về các dịch vự tài chính thông qua các công cụ tìm kiếm thông tin trên internet và thông tin từ các công ty tài chính 'Luy nhiên những thông tin hữu ích và thiết thực với người dùng còn hạn chế, khách hàng phải mất rất nhiễu thời gian trong việc tìm hiểu thöng tin Cùng với đó, cách kênh chăm sốc khách hàng của các công ty tài chính chỉ có một lượng hữu hạn nhãn viên trực tổng

2.1 Cấu trúc neural nhân tạo| - 15

|2.2_ Kiến trúc mạng CNN với bỏ lọc E và stride SỈ 18 2.3 Max pooling và average pooline| 19

H.6_ Quá trình thu thap di lie 49

3 CƠ SỞ LÝ THUYET|

2.1 Phương pháp học sâu

2 KB T Mang, neural]

2.1.2 Nột số mô hình mạng email Ss 2.2 Xử lý ngôn ngữ tự nhiên|

B.2_ Bài toán xác định ý định người dùng]|

8.2.1 Cac phương pháp biểu điền từ

8.2.2 Mô hình ngôn ngi

LUẬN VAN THAC Si ĐINH HUY TUẤN

60

61