Luận văn nghiên cứu sử dụng và so sánh các giải thuật machine learning và deep learning trong bài toán gợi Ý Ứng dụng trong các hệ thống thương mại Điện tử

Đối với các trang thương mại điện tứ, việc đưa ra những sắn phẩm phú hợp với chính hệ thông, phải có các thông tin liên quan dến các sân phẩm vả sự tương tác với hệ thông của những ngườ

NGIIÊN CỨU SỬ DỤNG VẢ SO SÁRH CÁC GIẢI THUẬT -

MACHINE LEARNING VA DEEP LEARNING TRONG BAI TOAN GỢI Ý ỨNG DỤNG TRONG CÁC IIỆ THÔNG THƯƠNG MẠI DIỆN

TỬ

LUẬN VĂN THAC SĨ KHOA HỌC

MANG MAy TINH VA TRUYEN THONG DU'LIBU

Ha Ni — Năm 2019

NGHIÊN CỬU SỬ DỤNG VÀ SO SẢNH CÁC GIẢI THUẬT MACHTNE

LEARNING VA DEEP LEARNING TRONG BAI TOAN GỢI Ý ỨNG DỤNG

TRONG CAC ILE THONG THUONG MAI DIEN TU

Chuyên ngành : Mang máy tỉnh và truyền thông dữ liệu

LUẬN VĂN THAC Si KHOA HOC _

MANG MAY TIN VÀ TRUYỄN THÔNG DỮ LI§ỆU

NGƯỜI HƯỚNG DẪN KIOA HỌC :

1 PG8.TS Nguyễn I.inh Giang

là Nội Năm 2019

TOT CAM DOAN

Những kiên thúc trình bày trong luận văn là đo tôi tìm hiển, nghiên củu và

trình bảy theo những kiến thức tong hop của cá nhân Kết quả nghiền cửu trong luận văn này chưa từng được công bể tại bắt kỳ công trinh nào khác Trong quả trinh làm

luận văn, tôi có tham khảo các tải liệu có liên quan và đã ghỉ rõ nguồn tài liệu tham khảo Tôi xin cam doan dây là công trinh nghiên cửu của tôi và không sao chép của

LOT CAM ON

Trước tiền, tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Nguyễn Linh Giang,

và cáo thầy cô Viện CNTT-TT, Trường Đại học Bách Khoa Hà Nội đã nhiệt tỉnh đào:

tạo và hướng dân đẻ tạo điều kiện thuận lợi cho tôi nghiên cứu khoa học, vá giúp tôi

só thể hoàn thánh luận văn một cách tắt nhất

Tôi cũng gửi 1i cdm om chin thanh dén anh T'S Dé Due Ding — Group Leader

Software Solution Group va anh Trịnh Hồng Cường — Part Leader Service Platform Parl di tao diéu kiện cho lôi có cơ hội triển khai xây dựng hệ thông, cám ơn những loi dong góp ý kiến của các anh trong thời gian tôi làm việc Lôi cũng gửi lời cảm ơn

đến các đẳng nghiệp của tôi trang đội đã hỗ trợ tôi trong thời gian tôi làm khóa luận

Cuỗi củng tôi xin gúi lời cảm ơn đến gia định, bạn bè, những nguời đã luôn

bên tối, đông viên và khuyến khích tôi trong, quá trinh thực hiện để tải nghién cima

của mình

Hạc viên

NGUYÊN HỮU PHÚC

2 Mục dích nghiên cửu cửa luận văn TH HH tt Hee re 11

3, Đôi tượng, phương pháp và phạm vi nghiên cứu - 22c 52222 s0scsircre "

4 Tóm tắt nội dung và đông góp mới của tác giá ceeeeeeeeoee.2Ỷ

CHƯƠNG 1 TÔNG QUAN BÀI TOÁN KHUYỂN NGHỊ

1.1 Giới thiệu vẻ bài toản khuyến nghị

13 Một số hướng tiép can trong recommendation system 18

3.1 Vấn dễ người dùng trên các trang thương mại điện tử 34

3.2 Hướng tiếp cân Session-bascd rccommendation

3.3 Hướng tiếp cận RNN trong bai toan Session-based

3.4 Kết quả thứ nghiệm - ¬

CHƯƠNG 4 CÀI DẶT VÀ TRHÌN KHIAI, 25222222552 crecceeeEEeevee 41

4.1 Tệ thống Galaxy Gữf TH 2 1 te re 41

45 So sánh với thuật toán Matrix Faclorizaticn đã triển khai 46

DANH MỤC HÌNH VE

Figure 1: Recommendation system

Figure 2; Matrix Utity

Figure 3: Matrix Utility sau khi chudn hoa

Figure 4: Hudng liép can Content-based

Figure 5: Huong tiếp cận Collaborative Eiltering ::coc

Figure 6: Huéng Hybrid recommendation system

Figure 7: Session based recommendation system

Figure 8: Hướng translation recommendation system

Figure 9: Deep learning

Figure 17: LSTM nhớ thông tỉa

Figure 18: Logic quả cống quên

Figure 19: Đầu vào của I.STM

Eigure 20: LSTM cập rhhập đữ liệu mới

Figure 21: LSTM cập nhập vào trong đường thớ

Figure 22: Cập nhập lại đữ liệu dầu ra

Iigure 23: Cáo dạng khác của L8TM

Figure 27: ENN ceseecsessessieesiseeinseesie

igure 28: Dâu vào và ra cha 32 CNN

Figure 29: Dữ liệu đầu vào cho GRUT

Figure 36; Dit liu log on cesses se

Eigure 37: Dữ liệu sau xử lý

Figure 38: Flask framework

THUẬT NGỮ VẢ TỪ VIET TAT

Từ việt tắt | Tên tiếng Anh Thuật ngữ tiếng Việt

RSs Recommendation systems Hệ thông gợi ý

RNN Recurrent Neural Nelwork

LSIM Long shorl-term memory

Aws Amazon web service

83 Amazon web service storage

Tambda Amayon web service lambda

GPU Grapbics Processing Unit

GRU Gated recurrent unit

Framework

nhân

MOPAU

1 Lý đo chọn dễ tt

‘Du doan va trong dé la recommendation system dang li lĩnh vực dược các nhà

khoa học va các doanh nghiệp quan tâm nghiên cứu trong nhiều năm gần đây Ứng

dung lrong dé 14 recommendation systom được thực hiện trong nhiều lĩnh vực khác

nhau như giảo dục, y tế, tài chỉnh, ngãn hàng, kinh doanh với hàng chục các cuộc thị trên Kaggle mdi thang Dac biét, trong thoi gian gin diy, recommendation system trong cde hệ thông thương mại diện tử dang dược quan lâm nghiên cứu Đối với các trang thương mại điện tứ, việc đưa ra những sắn phẩm phú hợp với chính

hệ thông,

phải có các thông tin liên quan dến các sân phẩm vả sự tương tác với hệ thông của

những người tiêu dùng là một điền cực kỳ thiết yếu Đề làm được điển nải

người dùng, Người dùng có thể phải tự mình tim kiếm hoặc lựa chọn các sán phẩm

ma họ đã định hình sẵn trong đâu Tuy nhiên, việc người dùng mưa cáo sản phẩm mà

dược đặt ra cho lĩnh vực khai phá dữ liệu khủ có dữ liệu lớn về thôi quen người dùng

và quá trình tương tác của người đùng trong hệ thống nhằm hỗ trợ cho người dùng, tim kiếm, trãi nghiệm các địch vụ tốt hơn mả hệ thống mang lại Khi làm luận án tôi

dang công tác tại Trung tâm nghiên cứu và phát triển điện thoại Samsung Việt Nam SVMC, trước những bải toán đang tên tại ở nơi lám việc củng với lĩnh vực tôi đang theo hoc, được sự đổng ý của PGS.TS Nguyễn Tánh Giang tôi chọn để tài luận văn: “phiên cửu sứ dụng và so sảnh các giải thuật machine learning và deep learning,

trong bài toán gợi ý ứng dụng trong các hệ thông thương mại điện tử”, luận văn góp phần vào việu giải quyết các bài Loán cẩn thiết trong thực tế

2 Mục đích nghiền cứu của luận văn

Xây dựng hệ thông dữ liệu phục vụ cho quá trình làm phát triển các mô hình

học máy Cúc dũ liệu được xây dựng dâm bão tính bão mật của người dùng, Các dữ

liệu nảy được sử dụng dễ xây dựng mỏ hình dự doàn sử dụng trong hệ thông,

recommendation system cho cae tng dụng thương mại diện tử

Kết quả nghiên cứu có thế sử đụng cho các trang thương mại điện tử trong đó

có hệ thống Galaxy Gili, ứng dụng được phát triển bởi trung lâm SVMC tại Việt

Nam

Kết quả là sự bố xưng tiếp theo cho đồ án tất nghiệp của chính tác giả với các tiếp cận và bài toán khác Mục đích nghiên cứu bỗ trợ cùng với hướng liếp cậm cũ,

siúp cho quá việc đưa ra dự đoán chính xắc hon

3 Đối tượng, phương nhập và phạm vỉ nghiên cứu

a Đi tượng nghiên cứu

Déi trong nghiên cứu đầu tiền là cáo hành vi người dùng trên hệ thống, các tránh vị này bao gồm tật cả các hành vị tương tác với hệ thông bao gồm like, comrnenl, click, đổi với hệ thống

Đôi tượng nghiên cứu thứ hai là các mô hình học máy RNN Các mồ hình này

cho phép nhớ trạng thái mà người ding đã tương táo với hệ thống và đưa ra các dự

đoán mới

b Phương pháp nghiên cứu

- Phương pháp nghiên củu lý thiyếL tìm hiểu về các hưởng liếp cận

recommendation system hign nay Cac hudng gidi pháp tiếp cận thco hướng session-

bascd khả thủ đối với bộ dữ liêu Phương pháp triển khai đối hệ thống thực tế

- Phương pháp nghiên cứu thực nghiệm: Sau khi xây dựng thành công hệ thẳng,

thử nghiệm cai dat img dung va đánh giá hiệu nắng

6 Phạm vị nghiên cứu

- Nghiên cứu và tng dung trong hé thing recommendation system của hệ

thang Galaxy Gift img dụng cửa céng ty SVMC

4 Tôm tắt nội dung và đóng góp mới của tác giá

Luan van tác giả trình bảy nghiên xây dựng hệ thông recomrugrddatiort sysletri

phục vụ tăng trải nghiệm khách hàng trong các hệ thống thương mại điện tử 8au đó

p dụng hệ thông này cho hệ thống,

Bồ cục luận văn gồm 5 chương :

Chương 1 Tổng quan về hệ thống Rccornendation system Chương mày trình bay

tổng quan vé cac hé théng recommendation sys†em, các hướng tiếp cận đề từ đó đưa

ra cách triển khai hệ thống phủ hợp

Chương 2 Cơ sở lý thuyết mê hình RNN và LSTM Chương này sẽ đưa ra những

diém die biét trong mô hình RNN và tai sao nó có thể triển khai duve trong bai loam

Chuong 4 Cai dil va iién khai Chương nảy sẽ trình bảy thử nghiệm cdc kich bin

đã được tác giả xây dụng từ đó đưa ra các kết luận và đánh giá Mô hình sẽ triển khai

trên hệ thống Galaxy Gif với bộ đữ liệu từ hệ thông

Chương 5: Hướng phát triển trong tương lai Chương này sẽ trình bảy những vẫn để

mdi ma bin than lic giã gặp trong khi nghiên cứu Chương sẽ dẻ xuất những hướng,

tiếp cận và nghiên cửu mới với mục đích bài toán recomraendation system sẽ chỉnh

xác hơn và có hiện năng tắt hơn trong triển khai thực tế

Trong luôn vẫn này tác giả đã nghiên cứu, phân tích, dánh giá các mô hình

recommendation system trong thục tế Iên cạnh đó đây sẽ là hưởng triển khai cho hệ thông của công ty

IG 1 TONG QUAN BAI TOAN KHUYEN NGHIT

1.1 Gidi thigu vé bai toan khuyến nghị

Thư chủng ta thường biết, các hệ thống thương mại diễn tử và mạng xã hội thường gợi ý chúng ta như

- Facebook gợi ý chúng ta kết bạn với ai đó mỗi khi chúng ta chấp nhận hoặc gửi một yêu cầu kết bạn đến với ai

-_ Zalo giới thiệu cho chúng ta những hội nhỏm má có thể chúng ta sé mong

muốn vào

~_ Ybulnbe có sẵn 1 lại các video đỗ chạy sau kHú vidoo bạn đọng xem dang

kết thúc

- Tay don giản như, khi bạn search một từ khóa trên trang tim kiém google,

thí hàng loạt các gợi ý về từ khỏa đó sẽ xuất hiện ở những quảng cáo mà bạn sẽ bắt gặp ngay sau đó

Hiểu một cách đơn giản, các bài toán khuyến nghị dưa những sẵn pham “pha hop nhật” với mục đích đến với những người sử dụng Việc sử dụng các hệ thống, khuyến nghĩ sẽ giúp ích rãi nhiều cho việc mang lại trải nghiêm người dùng tốt hơn

và đặc biệt là giữ chân người dùng lâu hơn

Những thuật toán đứng sau hỗ trợ các hệ thông khuyến nghị này là các thuật

†oán machine learning với tên gọi chưng là reoomanendation system Tiện nay thường,

có rất nhiều các hội thảo của các tổ chức khoa học và đoanh nghiệp với chủ dé

vé recommendation system, cd thd ké đến là hội thảo : ACM RecSys ( lik

mid

https: /recsys.acm.org/ ) Các xu hướng của cáo mô hình sử đựng cho các bài toán

recommendation system cy thé duge chia sé tai day

Figure 1; Recommendation system

1.2 Các khai nigm recommendation system

Mặc di là một mang lon ctia Machine learning, tuy nhiên phải đến thoi ky

internet bùng nỗ, cac bai toan vé recommendation system với cu thé va được quan tâm rộng rãi hơn trước Hiện nay cỏ rất nhiều các hướng tiếp cận mới từ dữ liệu, mô hình, cách hệ thông hoạt động, Tuy nhién, cac bai toan recommendation system thường có 2 đổi tượng chính là Users và Items Trong đó ta có thẻ hiểu đơn giản là Uers là người dùng và Items là các sản phẩm trong hệ thông

M6t khai niém duge st dung trong recommendation system 1a Utility matrixa

— day la mét ma tran 2 chiéu, trong d6 1 chiéu dai dién cho Users, 1 chiéu dai dién

cho Items va gia tri gitta cac 6 thé hién d6 phi hop gitta User va Item a6 D6 phi hop

ở đây là độ yêu thích hoặc độ không yêu thích giữa một người dùng và một sản phẩm

15

Figure 2: Matrix Utility

Ở hình trên mô tâ, các item là các bài hát : “mưa nửa đêm”, “cỏ úa”, “vùng lá

me bay”, ®con cò bé bé”, *em yêu trường em” Các User là các người A, B, C, D, E,

F

Giá trị của các ô là 5 đại điện cho mức độ yêu thích của người với bải hát đó

ở mức độ là Š hiểu là rất thích Giá trị của các ö lả 4 thẻ hiện mức độ yêu thích người

đó với bài hat là ở mức độ thích, tuy nhiên kém so với mức Š Trải ngược lại, giả trị

của các õ là 0 có mang ý hàm ý đây là một bài hát tệ đổi với người dùng đó

Ta có thể nhìn thấy có rất nhiều ô có giá trị là “?” các ô này thể hiện rằng,

người đùng ở ô đó chưa tương tác với bài hát ở ô này Hay đơn giản hơn là đây là các

ô còn trồng Bai toan recommendation system là bài toán cân điền đủ các ô còn trồng, này để từ đó ta có thể lựa chọn được những bài items phù hợp nhất cho những users

Thông thường, các matrix utility thường là các ma trận thưa với một lượng lớn cae users va một lượng lớn các items chưa tương tác với nhau — hay là một ma trận với một lượng lớn các ô la “?”, Vi du, trén youtube có hàng tỷ người đủng vả cũng,

có hảng trăm triệu video Môi người đùng chỉ tương tác với một lượng nhỏ trong các

16

video này, Đây chính là một trong số những bồi toán bay thách thức đối với cáo hệ

thống recommendation system

Chúng ta đã hiéu khai niém Users, Items va matrix utility wong hệ thống,

recommendation system Khéng giống như users va items thi matrix utility Khang co

sẵn Chúng ta luôn thường gặp tình trạng Không có các con số : “1,0,4,5, .” nhụ

trong vi dụ ở trên Vậy để xây dụng được matrix utility ta cdn lam gi vả lảm những gì? Sau đây sẽ là công việc mà bất kỷ bài toán machine learning cản phải lam dau

tiên đỏ là làm đữ liệu Sau đây là một trong những cách rà bầu thân tôi da sit dung

trong khi làm madule recommendation system cho hệ théng Galaxy Gift - img dụng

tặng quả của Samsung

-_ Dựa vào người đùng rate các sản phẩm trên hệ thống Mỗi một sản phẩm ở trên hệ thông sẽ có các thang để user có thể rate, tương ứng với

độ thích sẽ là số siar mã người đó vole Sau khi người dùng vole tạ có

thể coi là người đó đã tương tác với sản phim Tuy nhiên với việc rate

có thể bị ảnh hưởng bởi bias từ những người đàng trước và sẽ lượng người dùng ratc sân phim là không nhiều

~_ Dựa vào sự tương tác của người dùng, Tùy vào hệ thông đã xây dựng,

bạn có thế có một số thông tin hữu ích và giá trị khác đó là sự tương tác

của một người dùng với một sản phẩm Cy thé dé la “click”, “sé lan

click”, “thdi gian eHek”,“Hike”, “dislike”, ‘Tuy nhién voi cach nay,

ban can một bước chuẩn hóa đữ liệu đẻ có được cáo điểm số cụ thể má ban có thể mơng muốn sử dụng dược trong hé théng recommendation

sysiems của minh,

Figure 3: Matrix Utility sau khi chuan hoa

1.3 Một số hướng tiép cn trong recommendation system

Content-based: hé théng sẽ học đẻ có thẻ đưa ra gợi ý những item mả tương

tự với những sản pham ma user da tuong tác trong quá khứ Độ tương tự giữa các

item được tính dựa trên những đặc trưng kết hợp với những item được so sánh — thông

thường sẽ so sánh thông qua content của các item đề tính độ tương đồng Chẳng hạn, nêu user rate điểm cao ( hoặc cỏ những tương tác khác như xem nhiêu, like, ) cho

một bộ phim thuộc thê loại hành động, thì hệ thống có thẻ học đẻ gợi ý những bộ

phim khác thuộc thể loại nảy

Phương pháp sử dụng trong hướng tiếp cận này thường là IF-IDF (term

frequency — inverse document frequency) day là một thuật toán cho phép bạn có thể

sử lý nội dung text ở các content của các items một cách đơn giản Việc sử lý dưa

trên 2 thông tin: tần xuất xuất hiện trong văn bản của một từ, tần xuất xuất hiện trong, nhiều văn bản của một từ Kết hợp 2 thông tin nảy cho các tử trong một content của item ta đã có biểu hiện khác có thẻ xử lý đơn giản hơn !

18

Figure 4: Hướng tiếp cân Content-based

Collaborative filtering (CF - hoc céng tac): cach hiéu don gian nhat cho huong

tiếp cân này là gợi ý cho user những item mà những user khác có củng sở thích đã

thích trước đó Độ tương tự hay gọi là độ giỏng nhau về sở thích của 2 user được tỉnh toán dựa trên mức đô tương tự về lịch sử rating của 2 user Lọc công tác được xem là

kỹ thuật phổ biến và được sử dụng nhieu nhat trong RS

Mô hình CF có 2 hưởng tiếp cận chủ yêu - tủy thuộc vào bải toán vả dữ liệu

mả hệ thống cung cấp Hướng tiếp cận user, tìm các sự giống nhau etia cdc user va

gơi ý cho họ những sản phầm mà trước đó họ chưa tương tác Ngược lại với hướng,

nảy là hưởng item, tìm sự giống nhau giữa các item và gợi ý cho những người dùng,

những sản phâm tương tự Ngoài ra còn một hướng nữa là phân tách trực tiếp ma trận

— Matrix Factorization Day được đánh giá là một trong những phương pháp dễ triển khai và trên thực tế đem lại những kết quả tích cực hơn so với phương pháp dựa trên

content based

Trong đỏ án tốt nghiệp trước đỏ của tôi, tôi đã Trình bày chỉ tiết về hướng tiếp

cận và cách triển khai trong thực tế của mô hình học cộng tác

Figure 5: Hudng tiếp can Collaborative Filtering

Hybrid recommender system: day la mét phương pháp ket hop, hệ thông nay dựa trên kết hợp của những kỹ thuật đồ là CF va Content-based, Lay vi dụ, phương pháp CF sẽ gặp vấn đề với các item mới — các người dủng cũ chưa tương tác, nghĩa

lả nó không thể sinh ra gợi ý cho các ¡tem mà chưa cỏ rating Tuy nhiên điều này lại

không anh hưởng dén content-based vi phuong pháp này dự đoán cho các item mới

dựa trên mô tả của chúng chỉ đưa vảo các content Với hai ky thuat Recommendation

Systems co bản kết hợp lại tạo ra một hệ thống hybrid mới nhằm tận dụng lợi thé

của kỹ thuật này đẻ bỏ sung cho điểm yếu của kỹ thuật kia

1.4 Một số hướng tiếp cận mới

Ngoài các hướng tiếp cân trên, trong một số trường hợp chúng ta sẽ sử dụng

các hướng tiếp cân khác đề phủ hợp với dữ liệu và hệ thông mà ta sẽ triển khai trên

đó

1.4.1 Hwéng session based

Figure 7; Session based recommendation system

Bài toán: Người dùng không có thông tin đăng nhập, khi có sử dụng hệ thông

ta chỉ có các thông tin clhiek của người dùng trong phiên làm việc đỏ Các

recommendation dura trên chính các item trước họ eliek để dự đoán item tiếp theo

Hưởng nảy thực tế được sử dụng ở rất nhiều trên các trang xem phim, nghe nhạc trực tuyến Vi người đủng thường ít có thỏi quen đăng nhập trong với các hệ

thống

1.4.2 Hướng tiếp cận translation recommendation

Phương pháp nảy sử dụng kết hợp đông thời cả dữ liệu người dùng và dữ liệu

trong phiên làm việc của người dùng đó Cùng tương tác với 1 bộ phi, nhưng hệ

thong sé recommend cho méi nguéi ding mot san pham khác nhau dựa trên profile

trước đỏ của họ.

Figure 8: Hudng translation recommendation system

Hung tiép can nay doi hdi, ta phải xây dựng một profile của mỗi người dùng

và kết hợp nó với item Mô hình tính toản phải đáp ứng với các request trong near

real time.- Phần cứng - máy chủ và hệ thông lưu trữ có thông số kỹ thuật duy nhất, bao gồm một số lượng lớn bộ xử lý và không gian bộ nhớ, băng ghi âm, thành phân mạng, lưu trữ lâu dải đối với các hoạt động huan luyện vả không gian lưu trữ lớn với khả năng xử lý tốc độ cao để mô phỏng huan luyện lưới và cho các hoạt động huấn

luyện

Trong đồ án tốt nghiệp, tác giả đã trình bày về hướng tiép can Collaborative Filtering với thuật toán Matrix Faetorization với những kết quả thử nghiệm đạt được Tuy nhiên khi triển khai trên thực tẻ mô hình trên đã vấp phải thực tẻ đó là quả it người dùng cỏ hỗ sơ đề có thẻ sử dụng Chính vi vậy tiếp theo Chương 2 tac gia sé di sâu vào cơ sở lý thuyết về mạng RNN và LSTM bỏ xung cho hướng tiếp cân Session- based ma tac gia sé trinh bay ở chương 3

22

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT RNN và LSTM

2.1 Gidi thigu vé Deep Learning

Deep learning 1a mot nhanh trong Machine learning Hién nay deep learning được sử dụng rất nhiều trong các ứng dụng có thể kẻ đến như: nhận diện giọng nói,

nhận hiện hình anh, sử lý tiếng noi,

pit Hider Hidden Hider Output layer Ly layer Ey layer Ly ayer Ly layer Ls

Figure 9: Deep learning

M6t hé thong deep learning gồm các thành phần : input dau vao, model mang,

output dau ra Trong do model của thuật toán sử dụng các kién tric mang neutral

- Output layer: Két qua ctia qua Trình training với các input dau vao sẽ

la output tương ứng y1, y2

-_ Lớp hidden layer: Đây là công việc chính của quá Trình training, tìm

Ta các parameter ân của hidden layer Việc tìm ra các parameter cũng chính là giải quyết bải toán của chúng ta

2.2 RNN và LSTM

Trong một model deep learning, ta thấy rằng ta chỉ cỏ sự tương tác giữa dau

vào và đầu ra lả các cặp (x1,y1), (x2.y2), Điều đỏ có Nghĩa kết quả của đầu ra y2

sẽ chỉ phụ thuộc vảo giá trị đầu vào tại thời điểm đỏ Tuy nhiên trên thực tế có rất

nhiều trường hợp kết quả đầu ra của ta Không chỉ phụ thuộc vào đầu vào ma con phụ

thuộc vảo kết quả đầu ra trước đó Ví dụ như trong ngôn ngữ: ý Nghĩa của một từ còn

thể hiện tử chính nó và các từ trước vả sau nó Điều nảy có ý Nghĩa cân một mô hình

mà nó cỏ thê lưu được các trang thải trước của model Đây chính la concept trong tu

Kiên trúc mạng của RNN rất đơn giản với 1 cell! Ta vẫn có đữ liệu đầu vào và

dữ liệu đâu ra Tuy nhiên ngoài 1 đường đi từ đầu vảo x đến đầu ra h thông qua mô hình ta còn thây chính 1 đường đầu ra quay ngược trở lại Điều nảy làm cho mạng RNN cỏ vẻ bí ân và khó hiểu Ta cỏ hình minh họa đơn giản hơn:

Ban chất giống như chuối này cho thấy các mạng RNN có liên quan mật thiết đến cáo chỉ đanh sách Họ sử dụng kiến trúc tự nhiên của mạng nơ rơn để sử

dụng cho đữ liệu đó Gi

Trong vài năm qua, đã 6 nhimg thanh o6ng dang kinh ngac khi 4p dung RNN cho nhiêu vẫn để khác nhau: nhận đang giọng nói, mô hình ngôn ngữ, địch thuật, chú

thích hình ảnh Danh sách tiếp tục

Kiến trúc của RNN sau khi ta bộ những vòng loop bổ riên đơn giãn và lường

minh hơm Cũng giống như các mé hinh mang khac Mang RNN sé bao gồm đâu vào

và đầu ra Tuy nhiên như đã nỏi, điểm đáng chủ ý ở đây đó là kết quả của trạng thái

thứ n, sẽ được chuyến tiếp củng với đâu vào ở trạng thái thứ n—1 ở trạng thái tiếp

theo, Chính vì điều này mả mạng có thể học được sự liên quan giữa các dữ liệu theo

thứ tự thời gian

Tuy nhiên để nói hết vẻ RNN thì điêu cần thiết cho những thành công nảy là

việc sử dụng LSTAMs, một loại mạng RMK rất đặc biết, hoạt động, cho nhiều tác vu,

tốt hơn nhiều so với phiên bản tiêu chuẩn ITầu như tắt cã các kết quả thú vị dựa trên các mạng RNN đều đạt được với chủng, Nỏ có những LŸTM mà bài Hiểu luận nảy sẽ

RÌNN dó là nó luôn cố gắng ghỉ nhớ những gì diễn ra trước

c frame didn ra rước đó trong Ì vidco đễ có thế liễu frame

như thể hay Không

Đôi khi, chúng 1a chỉ cần nhìn vào thông tia gản đây để thực hiện nhiệm vụ hiện tại, Ví dụ, hãy xem xét một mô bình ngôn ngữ dang cố gắng dự don tử tiếp theo dựa trên các từ trước đó Nếu chíng ta đang cố gắng dự đoán từ cuối cùng trong các

“đám mây trên bẫu trời”, thì chúng ta không cân bắt kỳ bối cảnh nào nữa - đó là một điêu khá rõ răng, từ tiếp theo sẽ là bầu trời Trong những trường hợp thư vậy, khi

khoảng cách giữa thông tin liên quan va địa điểm mà nó cân là nhỏ, RNN có thể học

cách sử đụng thông tin trang quả khứ