ĐỒ án lập TRÌNH WEB NÂNG CAO đề TÀI xây dựng chương trình qa của một cuộc hội thoại chatbot tiếng việt sử dụng BERT

Tìm hiểu khái niệm Công nghệ AI viết tắt của Artifical Intelligence hoặc trí thông minh nhân tạo là công nghệ mô phỏng các quá trình suy nghĩ và học tập của con người cho máy móc, đặc b

ĐỒ ÁN LẬP TRÌNH WEB NÂNG CAO

ĐỀ TÀI: Xây dựng chương trình Q&A của một cuộc hội thoại Chatbot tiếng việt sử dụng BERT.

Sinh viên thực hiện : NGUYỄN VĂN ANH

1 Nguyễn Văn Anh

Mã SV: 19810310265

LỜI MỞ ĐẦU

1 Lý do chọn đề tài

Từ lâu con người đã có suy nghĩ muốn tạo ra một cỗ máy có thể tựsuy nghĩ và hành động Chính vì thế, trí tuệ nhân tạo (AI) trở thành một một lĩnh vực mới trong thời đại công nghệ thông tin ngày nay Các ngành nghề trong xã hội đang

có xu hướng xử dụng AI để khiến máy móc thông minh hơn Trong giải trí, trong y tế,hay cả trong giáo dục, rất nhiều robot thông minh được tạo ra có thể thay thế con người dạy học, giúp đỡ người già, thực hiện các công đoạn

trong công nghiệp,

Vì những ứng dụng hữu ích của nó, em xin trình bày đề tài” Xây dựng chương trình Q&A của một cuộc hội thoại Chatbot tiếng việt sử dụng BERT.”.Mong muốn

thông qua đề tài này, em sẽ có những cái nhìn cụ thể về AI, từ đó mởrộng để nghiên cứu và phát triển thêm

2 Mục tiêu và nhiệm vụ -Mục tiêu:

+Tìm hiểu định nghĩa, lịch sử phát triển của trí tuệ nhân tạo+Tìm hiểu cấu trúc, các thuật toán và cách hoạt động của AI

-Nhiệm vụ:

+Ứng dụng nghiên cứu để lập trình Q&A của một cuộc hội thoại chatbot tiếng việt sử dụng BERT

3 Đối tượng và phạm vi nghiêm cứu

- Đối tượng nghiên cứu: Lĩnh vực AI

-Phạm vi nghiên cứu: trong một cuộc hội thoại giữa người và máy

4 Phương pháp nghiên cứu

-Nghiên cứu dựa trên:

+Tài liệu +Tham khảo từ giáo viên hướng dẫn +Thực hành viết mã trên máy tính bằng python

5 Dự kiến kết quả

Đạt được mục tiêu đã nêu ra, lập trình thành công Q&A của mộtcuộc hội thoại chatbot tiếng việt sử dụng BERT Dự kiến hoàn thành trong khoảng 1 tháng

Do kiến thức còn hạn chế nên bài báo cáo không tránh khỏi những sai sót, kính mong thầy cô dạy bộ môn đưa ra những nhận xét và góp ý để bài báo cáo được hoàn chỉnh hơn Em xin chân thành cảm ơn!

CHƯƠNG I: GIỚI THIỆU VỀ AI

1.1 GIỚI THIỆU VỀ AI

1.1.1 Tìm hiểu khái niệm

Công nghệ AI (viết tắt của Artifical Intelligence) hoặc trí thông minh nhân tạo là công nghệ mô phỏng các quá trình suy nghĩ và học tập của con người cho máy móc, đặc biệt là các hệ thống máy tính Các quá trình này bao gồm việc học tập (thu thập thông tin và các quy tắc sử dụng thông tin), lập luận (sử dụng các quy tắc để đạt được kết luận gần đúng hoặc xác định), và tự sửa lỗi Các ứng dụng đặc biệt của AI bao gồm các hệ thống chuyên gia, nhận dạng tiếng nói và thị giác máy tính (nhận diện khuôn mặt, vật thể hoặc chữ viết)

Định nghĩa trí tuệ nhân tạo: (AI: Artificial Intelligence) có thể được định nghĩa như một ngành của khoa học máy tính liên quan đến việc tự động hóa các hành vi thông minh AI là một bộ phận của khoa học máy tính và do đó nó phải được đặt trên những nguyên lý lý thuyết vững chắc, có khả năng ứng dụng đượccủa lĩnh vực này

Khái niệm về công nghệ AI xuất hiện đầu tiên bởi John McCarthy, một nhà khoa học máy tính Mỹ, vào năm 1956 tại Hội nghị The Dartmouth Ngày nay, công nghệ AI là một thuật ngữ bao gồm tất cả mọi thứ từ quá trình tự động hoá robot đến người máy thực tế

Công nghệ AI gần đây trở nên nổi tiếng, nhận được sự quan tâm của nhiều người là nhờ Dữ liệu lớn (Big Data), mối quan tâm của các doanh nghiệp

về tầm quan trọng của dữ liệu cùng với công nghệ phần cứng đã phát triển mạnh

mẽ hơn, cho phép xử lý công nghệ AI với tốc độ nhanh hơn bao giờ hết

Ở thời điểm hiện tại, Thuật ngữ này thường dùng để nói đến các MÁY TÍNH có mục đích không nhất định và ngành khoa học nghiên cứu về các lý thuyết và ứng dụng của trí tuệ nhân tạo Tức là mỗi loại trí tuệ nhân tạo hiện nayđang dừng lại ở mức độ những máy tính hoặc siêu máy tính dùng để xử lý một loại công việc nào đó như điều khiển một ngôi nhà, nghiên cứu nhận diện hình ảnh, xử lý dữ liệu của bệnh nhân để đưa ra phác đồ điều trị, xử lý dữ liệu để tự học hỏi, khả năng trả lời các câu hỏi về chẩn đoán bệnh, trả lời khách hàng về các sản phẩm của một công ty,

AI là một bộ phận của khoa học máy tính và do đó nó phải được đặt trên những nguyên lý lý thuyết vững chắc

Nói nôm na cho dễ hiểu: đó là trí tuệ của máy móc được tạo ra bởi con người Trí tuệ này có thể tư duy, suy nghĩ, học hỏi, như trí tuệ con người Xử

lý dữ liệu ở mức rộng lớn hơn, quy mô hơn, hệ thống, khoa học và nhanh hơn

so với con người

Trí tuệ nhân tạo mang lại rất nhiều giá trị cho cuộc sống loài người, nhưng cũngtiềm ẩn những nguy cơ Rất nhiều chuyên gia lo lắng rằng khi trí tuệ nhân tạo

đạt tới 1 ngưỡng tiến hóa nào đó thì đó cũng là thời điểm loài người bị tận diệt Rất nhiều các bộ phim đã khai thác đề tài này với nhiều góc nhìn, nhưng qua đó đều muốn cảnh báo loài người về mối nguy đặc biệt này.

1.1.2 Lịch sử phát triển

Thực ra nguồn gốc ra đời trí tuệ nhân tạo AI không hề sớm như đã nói,nhưng nó là thành quả tất yếu của sự phát triển khoa học và công nghệ, là giảipháp giải quyết những bài toán khó của sự phát triển loài người trong tương lai.Dưới đây chúng ta cùng điểm lại những cột mốc của lịch sử phát triển trí tuệnhân tạo AI

Ngày nay, việc tiếp tục nghiên cứu và cải tiến trí tuệ nhân tạo AI về cáccông nghệ nền tảng đã thể hiện rõ trong các kỹ năng tự động hóa và lý luận cóthể được tích hợp trong điện thoại, máy tính và máy móc… Trí tuệ nhân tạo AItheo cách nào đang trở thành một thực tế nền tảng của thế giới hiện nay

Nghiên cứu lịch sử trí tuệ nhân tạo AI sớm vào những năm thập niên 60

đã khám phá các vấn đề mà công nghệ này có thể giải quyết Vào những năm

1960, Bộ Quốc phòng Hoa Kỳ đã quan tâm đến loại công việc này và bắt đầuđào tạo máy tính để bắt chước lý luận cơ bản của con người Ví dụ, Cơ quan Dự

án Nghiên cứu Quốc phòng Tiên tiến (DARPA) đã hoàn thành các dự án lậpbản đồ đường phố vào những năm 1970 Và DARPA đã sản xuất trợ lý cá nhânthông minh vào năm 2003…

Công việc ban đầu này đã mở đường cho tự động hóa và lý luận chínhthức mà chúng ta thấy trong các máy tính ngày nay, bao gồm các hệ thống hỗtrợ quyết định và hệ thống tìm kiếm thông minh có thể được thiết kế để bổ sung

và tăng cường khả năng của con người

1943

of Ideas Immanent in Nervous Activity”, dịch ra là “Một tính toán logiccủa những ý tưởng tiềm ẩn trong hoạt động thần kinh” Bài viết đề xuất

mô hình toán học đầu tiên để xây dựng một mạng lưới thần kinh

1949

Theory”- Tổ chức hành vi: Một lý thuyết thần kinh học,Donald Hebb đề

xuất lý thuyết về các hệ thống con đường thần kinh được tạo ra từ các kếtnối giữa các tế bào thần kinh trở nên mạnh mẽ hơn

1950

 Alan Turing xuất bản “Computing Machinery and Intelligence” – Máytính và trí thông minh, đề xuất Thử nghiệm Turing, một phương pháp đểxác định xem một máy tính có thông minh hay không.

Alan Turing và Phép thử Turing (1950)

máy tính mạng thần kinh đầu tiên

1954

được chọn cẩn thận sang tiếng Anh

1956

mùa hè về trí tuệ nhân tạo” Với sự dẫn đầu bởi John McCarthy, hội nghị,trong đó xác định phạm vi và mục tiêu của AI, được coi là sự ra đời củatrí tuệ nhân tạo như chúng ta biết ngày nay

Hội nghị Dartmouth với sự dẫn đầu bởi John McCarthy

trình lý luận đầu tiên

1958

“Programs with Common Sense” Bài viết đã đề xuất nhà tư vấn giảthuyết, một hệ thống AI hoàn chỉnh với khả năng học hỏi kinh nghiệmhiệu quả như con người

1959

một chương trình được thiết kế để bắt chước giải quyết vấn đề của conngười

MIT

1963

phủ Hoa Kỳ nêu chi tiết về sự thiếu tiến bộ trong nghiên cứu dịch máy,một sáng kiến lớn của chiến tranh lạnh với lời hứa dịch tự động tiếngNga Báo cáo ALPAC dẫn đến việc hủy bỏ tất cả các dự án MT do chínhphủ tài trợ

1969

DENDRAL, một chương trình XX và MYCIN, được thiết kế để chẩnđoán nhiễm trùng máu, được tạo ra tại Stanford

Năm 1972

Năm 1973

chính phủ Anh công bố, từ đây dẫn đến việc cắt giảm nghiêm trọng tài trợcho các dự án trí tuệ nhân tạo

1974-1980

DARPA lớn trong các khoản trợ cấp học thuật Kết hợp với báo cáoALPAC trước đó và “Báo cáo Lighthill” năm trước, tài trợ trí tuệ nhântạo làm khô và các quầy nghiên cứu Thời kỳ này được gọi là “Mùa đông

AI đầu tiên.”

1980

thống chuyên gia thương mại thành công đầu tiên Được thiết kế để địnhcấu hình các đơn đặt hàng cho các hệ thống máy tính mới, R1 khởi đầu sựbùng nổ đầu tư vào các hệ thống chuyên gia sẽ tồn tại trong phần lớn thập

kỷ, kết thúc hiệu quả “Mùa đông AI” đầu tiên

1982

thống máy tính thế hệ thứ năm đầy tham vọng Mục tiêu của FGCS là

phát triển hiệu năng giống như siêu máy tính và một nền tảng để pháttriển trí tuệ nhân tạo AI.

1983

điện toán chiến lược để cung cấp nghiên cứu được tài trợ bởi DARPAtrong điện toán tiên tiến và trí tuệ nhân tạo

1985

gia và toàn bộ ngành công nghiệp được gọi là thị trường máy Lisp mọclên để hỗ trợ họ Các công ty như Symbolics và Lisp Machines Inc xâydựng các máy tính chuyên dụng để chạy trên ngôn ngữ lập trình AI Lisp

1987-1993

thế rẻ hơn xuất hiện và thị trường máy Lisp sụp đổ vào năm 1987, mở ra

“Mùa đông AI thứ hai” Các chuyên gia AI rất chật vật và không được sựủng hộ trong giai đoạn này

chi gần 1 tỷ đô la và không đạt được kỳ vọng như đã tính toán

hoạch hậu cần tự động, trong Chiến tranh vùng Vịnh

2005

của Boston Dynamic và “PackBot” của iRobot

2008

thiệu tính năng này trong ứng dụng iPhone

2011

2012

 Andrew Ng, người sáng lập dự án Google Brain Deep Learning, cung cấpmột mạng lưới thần kinh bằng cách sử dụng thuật toán 10 triệu videoYouTube dưới dạng tập huấn luyện Mạng lưới thần kinh đã học cáchnhận ra một con mèo mà không được cho biết con mèo là gì

2014

nhà nước

2016

Sedol Sự phức tạp của trò chơi Trung Quốc cổ đại được coi là một trởngại lớn để giải tỏa trong AI

1.1.3 Ứng dụng của AI

1 AI trong chăm sóc sức khỏe

– Ứng dụng nổi bật của trí tuệ nhân tạo AI là cải thiện sức khỏe của con người

và giảm chi phí Các bệnh viện đang áp dụng máy để chẩn đoán tốt hơn vànhanh hơn con người Một trong những biết công nghệ tốt nhất chăm sóc sứckhỏe là IBM Watson Nó có thể hiểu ngôn ngữ tự nhiên và có khả năng trả lờicác câu hỏi Hệ thống khai thác dữ liệu bệnh nhân và các nguồn dữ liệu có sẵnkhác để tạo thành một giả thuyết, sau đó đưa ra một lược đồ chấm điểm tin cậy.– Các ứng dụng AI khác bao gồm chatbot , chương trình máy tính được sử dụngtrực tuyến để trả lời các câu hỏi và hỗ trợ khách hàng, giúp sắp xếp các cuộchẹn theo dõi hoặc hỗ trợ bệnh nhân thông qua quy trình thanh toán và trợ lý sứckhỏe ảo cung cấp phản hồi y tế cơ bản

2 AI trong kinh doanh

– Tự động hóa quá trình robot đang được áp dụng cho các công việc có tínhchất lặp đi lặp lại

– Các thuật toán được tích hợp vào các nền tảng phân tích và CRM để khám pháthông tin về cách phục vụ khách hàng tốt hơn

– Chatbots đã được kết hợp vào các trang web để cung cấp dịch vụ ngay lập tứccho khách hàng

3 AI trong giáo dục

AI có thể tự động hóa việc chấm điểm, giúp các giáo viên có thêm thờigian AI có thể đánh giá năng lực và quản lý sinh viên Gia sư AI có thể cungcấp hỗ trợ cho sinh viên, đảm bảo họ hoàn thành đúng theo giáo trình từ trước.Thậm AI có thể thay thế một số giáo viên.

6 AI trong sản xuất

Đây là một lĩnh vực đã đi đầu trong việc kết hợp robot vào quy trình làmviệc Robot công nghiệp được sử dụng để thực hiện các nhiệm vụ đơn lẻ và giảiphóng sức lao động của con người

1.1.4 Các lĩnh vực nghiên cứu của AI

Trí tuệ con người (Human Intelligence): Cho đến nay có hai khái niệm về trí

tuệ con người được chấp nhận và sử dụng nhiều nhất, đó là:

 Khái niệm trí tuệ theo quan điểm của Turing

“Trí tuệ là những gì có thể đánh giá được thông qua các trắc nghiệm thôngminh”

 Khái niệm trí tuệ đưa ra trong tụ điển bách khoa toàn thư:

4- Áp dụng các cơ chế suy diễn cụ thể (inference mechanisms) để đưa các

sự kiện ban đầu đi đến đích

Trí tuệ máy: cũng không có một định nghĩa tổng quat, nhưng cũng có thể nêu

các đặc trưng chính:

1- Khả năng học

2- Khả năng mô phỏng hành vi của con người

3- Khả năng trừu tượng hoá, tổng quát hoá và suy diễn 4- Khả năng tự giải thích hành vi

5- Khả năng thích nghi tình huống mới kể cả thu nạp tri thức và dữ liệu.6- Khả năng xử lý các biểu diễn hình thức như các ký hiệu tượng trưng.7- Khả năng sử dụng tri thức heuristic

8- Khả năng xử lý các thông tin không đầy đủ, không chính xác

1.2 NHỮNG VẤN ĐỀ CHƯA ĐƯỢC GIẢI QUYẾT CỦA TRÍ TUỆ NHÂN TẠO

Những thành tựu nghiên cứu và ứng dụng các kỹ thuật Trí tuệ nhân tạo đãkhẳng định tính thực tiễn của các dự án xây dựng máy tính có khả năng suy

nghĩ Tuy vậy trong một số phạm vi, máy tính còn thua xa so với hoạt động

của hệ thần kinh con người:

Sự khác nhau trong hoạt động giữa máy tính và bộ não con người, điều nàythể hiện ưu thế của máy tính so với bộ não người vì khả năng tính toán rất lớn(nhất là trong các chương trình xử lý dữ liệu lớn)

Xử lý song song: mặc dù công nghệ điện tử hiện đại cho phép xây dựng các

bộ đa xử lý, song máy tính không thể hoạt động song song như bộ não conngười được

Khả năng diễn giải: con người có thể xem xét cùng một vấn đề theo những

phương pháp khác nhau, từ đó diễn giải theo cách dễ hiểu nhất Ngược lại, sựlinh hoạt này không thể mô phỏng được trong các hệ thống Trí tuệ nhân tạo

Lôgic rời rạc và tính liên tục: một thách đố lớn với các hệ thống Trí tuệ

nhân tạo là khả năng kết hợp các phương pháp xử lý thông tin trong môi trườngliên tục với các thao tác xử lý thông tin rời rạc

Khả năng học: mặc dù hiện nay máy tính có nhiều tính năng cao nhưng

cũng không thể mô phỏng được hoàn toàn khả năng học giống bộ não conngười

Khả năng tự tổ chức: cho tới nay, người ta chưa thể tạo lập được các hệ

thống Trí tuệ nhân tạo có khả năng tự tổ chức, tự điều khiển hoạt động của nó

để thích nghi với môi trường

1.3 NHỮNG ƯU ĐIỂM VÀ RỦI RO 1.3.1 Ưu điểm

Công nghệ Ai được nghiên cứu và phát triển sâu rộng Đặc biệt ở những nước phát triển, điều này càng được thực hiện nhiều hơn Trí tuệ nhân tạo có thể

xử lý được khối lượng lớn công việc Với những dữ liệu lớn hơn, rắc rối hơn cũng như công nghệ Ai có thể đưa ra dự đoán chính xác hơn con người Điều này chính là một ưu điểm lớn của công nghệ Ai hiện nay

Thông thường khi xử lý một lượng dữ liệu lớn, con người chúng ta khó

có thể chính xác hoàn toàn Tuy nhiên điều này có thể thực hiện được bởi công nghệ trí tuệ nhân tạo Ngay cả những nhà khoa học cũng cảm thấy khó khăn khi giải quyết số lượng dữ liệu lớn AI sử dụng học máy để có thể lấy những dữ liệu

đó và nhanh chóng biến nó thành thông tin có thể thực hiện được Đây cũng chính là lời giải đáp cho ưu điểm của công nghệ AI là gì?

1.3.2 Rủi ro

Rủi ro tự động hóa và thất nghiệp

Trong những thành công gần đây trong lĩnh vực máy học (Machine Learning) và robot, dường như chỉ còn là vấn đề thời gian ngay cả những công việc phức tạp đòi hỏi trí thông minh cao cũng có thể được tiếp quản toàn diện bởi máy móc

Những người sẽ được hưởng lợi nhiều nhất từ công nghệ tiến bộ là người dân và quốc gia hiểu tận dụng các cơ hội công nghệ mới và các ảnh hưởng của

dữ liệu lớn trên mạng Trong khi ngành công nghiệp giải trí có cơ hội quan trọng để phát triển giáo dục tốt hơn thông qua cá nhân hóa dạy học bằng AI và ứng dụng hóa tài liệu học tập, nó đồng thời cũng làm tăng nguy cơ tỷ lệ những người trẻ tuổi sẽ gặp khó khăn trong việc hoàn thành giáo dục của họ do nghiện bệnh lý đối với các trò chơi video và/hoặc internet

Tiến bộ công nghệ làm tăng năng suất xã hội, lần lượt nâng mức sống trung bình Nếu công việc được thực hiện bởi máy móc nhiều hơn, thời gian rảnh rỗi của con người dành cho giải trí và tự phát triển cho con người tang lên (một ưu điểm của sử dụng AI) Tuy nhiên, nhược điểm của công nghệ AI là tăng tự động hóa và gia tăng năng suất sẽ dẫn tới sự bất bình đẳng xã hội ngày càng tăng cũng như sự gia tăng về mức sống trung bình không có sự trùng hợp với sự gia tăng chất lượng trung bình của cuộc sống Các chuyên gia như kinh tếhọc MIT giáo sư Erik Brynjolfsson thậm chí lo lắng rằng công nghệ tiến bộ đe dọa làm cho cuộc sống của đa số của những người tồi tệ hơn

Rủi ro tình báo và siêu trí tuệ nói chung

Trí thông minh chung là khả năng đạt được mục tiêu chung trong các môitrường khác nhau Trí thông minh này có thể gây ra rủi ro (thảm khốc) nếu các mục tiêu của các máy móc không phù hợp với con người Nếu một trí thông minh chung đạt đến một mức độ siêu phàm, nó trở thành một siêu trí tuệ; đó là, một thuật toán vượt trội so với trí thông minh của con người trong mọi cách, kể

cả sáng tạo khoa học, phổ biến, cảm giác, và năng lực xã hội Lưu ý rằng định nghĩa này để ngỏ câu hỏi về việc có hay không một siêu trí tuệ sẽ có ý thức

Trong trường hợp tốt nhất, một siêu trí tuệ có thể giải quyết vô số vấn đề cho nhân loại, giúp chúng ta vượt qua đạt được những thành tựu khoa học, đạo đức, sinh thái và kinh tế trước những thách thức của tương lai Tuy nhiên, nếu các mục tiêu của một siêu trí tuệ không tương thích với sở thích của con người

và các sinh vật khác, AI sẽ mang tới một mối đe dọa tồn tại chưa từng có, có khả năng gây ra hậu quả nhiều hơn so với bất kỳ sự kiện nào trước đó trong vũ trụ