1. Trang chủ
  2. » Giáo Dục - Đào Tạo

Nghiên cứu và xây dựng hệ thống gợi ý địa điểm du lịch

72 78 1

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 72
Dung lượng 6,05 MB

Các công cụ chuyển đổi và chỉnh sửa cho tài liệu này

Nội dung

CÁC PHƯƠNG PHÁP GỢI Ý Có rất nhiều cách để gợi ý, ước lượng hạng/điểm cho các sản phẩm như sử dụng học máy, lý thuyết xấp xỉ, các thuật toán dựa trên kinh nghiệm… Theo [9], các hệ thố

Trang 1

TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN HỮU PHƯỚC

NGHIÊN CỨU VÀ XÂY DỰNG

HỆ THỐNG GỢI Ý ĐỊA ĐIỂM DU LỊCH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Đà Nẵng - Năm 2017

Trang 2

TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN HỮU PHƯỚC

NGHIÊN CỨU VÀ XÂY DỰNG

HỆ THỐNG GỢI Ý ĐỊA ĐIỂM DU LỊCH

Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã số: 60.48.01.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học:

TS Nguyễn Văn Hiệu

Đà Nẵng - Năm 2017

Trang 3

LỜI CAM ĐOAN

Tôi xin cam đoan:

Những nội dung trong luận văn này là do tôi thực hiện dưới sự hướng dẫn trực tiếp của TS Nguyễn Văn Hiệu

Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố

Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu hoàn toàn trách nhiệm

Tác giả luận văn

Trần Hữu Phước

Trang 4

MỤC LỤC

LỜI CAM ĐOAN

MỤC LỤC

TÓM TẮT LUẬN VĂN

DANH MỤC CÁC TỪ VIẾT TẮT

DANH MỤC CÁC CÁC BẢNG

DANH MỤC CÁC HÌNH

MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Mục tiêu và nhiệm vụ của đề tài 2

3 Đối tượng và phạm vi nghiên cứu 2

4 Phương pháp nghiên cứu 3

5 Ý nghĩa khoa học và thực tiễn của đề tài 3

6 Bố cục luận văn 3

Chương 1 - TỔNG QUAN DU LỊCH QUẢNG NAM VÀ HỆ THỐNG GỢI Ý 4

1.1 TỔNG QUAN VỀ DU LỊCH QUẢNG NAM 4

1.2 CÁC PHƯƠNG PHÁP GỢI Ý 5

1.2.1 Phương pháp gợi ý dựa trên nội dung 5

1.2.2 Phương pháp gợi ý dựa trên lọc cộng tác 7

1.2.3 Phương pháp gợi ý lai 9

1.3 HỆ THỐNG GỢI Ý 10

1.3.1 Giới thiệu hệ thống gợi ý 10

1.3.2 Chức năng hệ thống gợi ý 12

1.3.3 Dữ liệu và các nguồn tri thức 14

1.3.3.1 Sản phẩm 14

1.3.3.2 Người dùng 14

1.3.3.3 Giao dịch 15

1.3.4 Bài toán tổng quát của hệ thống gợi ý 16

1.3.5 Các website du lịch của Việt Nam 17

KẾT LUẬN CHƯƠNG 1 19

Chương 2 - PHƯƠNG PHÁP GỢI Ý VÀ MÔ HÌNH ĐỀ XUẤT 20

2.1 PHƯƠNG PHÁP LỌC CỘNG TÁC 20

2.1.1 Ưu điểm của phương pháp lọc cộng tác 22

2.1.2 Các hình thức tiếp cận 23

2.1.2.1 Phương pháp tiếp cận dựa trên bộ nhớ (Memory base) 23

Trang 5

2.1.2.2 Phương pháp tiếp cận dựa trên mô hình (Model-based) 23

2.2 KỸ THUẬT PHÂN RÃ MA TRẬN 24

2.3 MÔ HÌNH ĐỀ XUẤT 28

2.3.1 Xử lý đầu vào 28

2.3.2 Xử lý đầu ra 29

2.3.3 Kết hợp phương pháp gợi ý theo ngữ cảnh 31

KẾT LUẬN CHƯƠNG 2 32

Chương 3 - XÂY DỰNG HỆ THỐNG GỢI Ý ĐỊA ĐIỂM DU LỊCH 33

3.1 MÔ TẢ HỆ THỐNG 33

3.2 PHÂN TÍCH, THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG 35

3.2.1 Sơ đồ ca sử dụng 36

3.2.2 Sơ đồ hoạt động và sơ đồ tuần tự 38

3.2.3 Cơ sở dữ liệu 41

3.2.4 Một số giao diện minh họa của hệ thống 44

3.3 ĐÁNH GIÁ 47

KẾT LUẬN CHƯƠNG 3 49

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 50 TÀI LIỆU THAM KHẢO

QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (Bản sao)

Trang 6

TÓM TẮT LUẬN VĂN

NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG GỢI Ý ĐỊA ĐIỂM

DU LỊCH

Học viên: Trần Hữu Phước Chuyên ngành: Khoa học máy tính

Mã số: 60.48.01 Khóa: K31 Trường Đại học Bách khoa - ĐHĐN

Tóm tắt - Hệ thống gợi ý (Recommender Systems - RS) đang được ứng dụng

rộng rãi trong nhiều lĩnh vực (như thương mại điện tử, giải trí, giáo dục, ) nhằm dự đoán sở thích của người dùng nhờ vào thông tin cá nhân hoặc những phản hồi (đánh giá) của họ Luận văn tập trung nghiên cứu hệ thống gợi ý theo ngữ cảnh, áp dụng cho gợi ý du lịch nhằm gợi ý các địa điểm du lịch phù hợp nhất với người dùng Hệ thống kết hợp phương pháp lọc cộng tác, tích hợp kỹ thuật phân rã ma trận (matrix factorization) nhằm tăng độ chính xác cho hệ thống Sau khi xây dựng hệ thống và tích hợp các giải thuât gợi ý, tôi thu thập thông tin từ người dùng thực nhằm đánh giá hiệu quả của hệ thống đã đề xuất Thực nghiệm cho thấy việc ứng dụng giải pháp này trong

hỗ trợ phát triển du lịch là hoàn toàn khả thi

Từ khóa - Hệ thống gợi ý, kỹ thuật phân rã ma trận, lọc cộng tác

RESEARCHING AND BUILDING TOURIS RECOMMENDATION

SYSTEMS

Abstract - Recommender Systems are widely used in many areas, such as in

e-commerce (for online shopping), in entertainments (for movie recommendation, music recommendation, etc) and so on, to predict users’ preference based on their past preferences/behaviors In this work, propose an approach for Building Recommender Systems Then apply this approach for a Tourist recommendation system so that the system can recommend appropriate places to tourists This system combines several approaches such as matrix factorization to improve the prediction accuracy of the model Experimental results show that this is a promising approach for building Tourist Recommender Systems

Key words - Recommender Systems, Context-Aware Tourist Recommender

Systems, matrix factorization, collaborative filtering

Trang 7

DANH MỤC CÁC TỪ VIẾT TẮT

CF Collaborative filtering (Lọc cộng tác)

IF Information filtering (Lọc thông tin)

IR Information retrieval (Thu thập thông tin)

MF Matrix Factorization (Kỹ thuật phân rã ma trận)

RS Recommender Systems (Hệ thống gợi ý)

SGD Stochastic Gradient Descent (Giảm độ lệch ngẫu nhiên)

Trang 8

DANH MỤC CÁC CÁC BẢNG

Số hiệu

1.1 Dữ liệu ma trận người dùng x sản phẩm 8

2.2 Tập dữ liệu sau khi sử dụng phương pháp xử lý ngữ cảnh

Trang 9

2.4 Minh hoạ dự đoán người dùng thứ 3 cho item thứ 3 27

2.6 Sử dụng phương pháp xử lý ngữ cảnh đầu vào 29

3.2 Sơ đồ kiến trúc tổng thể của hệ thống 35 3.3 Sơ đồ ca sử dụng tổng quát của hệ thống 36

3.8 Sơ đồ hoạt động chức năng cập nhật nội dung 39 3.9 Sơ đồ tuần tự chức năng cập nhật nội dung 39

Trang 10

MỞ ĐẦU

1 Lý do chọn đề tài

Trong thời đại bùng nổ thông tin, nhu cầu tìm kiếm thông tin trên Internet ngày càng trở nên phổ biến Việc cần tìm thông tin về sản phẩm nào đó, giải pháp được hầu hết người dùng sử dụng là đưa câu hỏi vào công cụ tìm kiếm thay vì tìm trên những website/forum chuyên ngành Tuy nhiên, các công cụ tìm kiếm có thể đưa ra một danh sách các lựa chọn chứ không thể đưa ra được lựa chọn nào là tốt nhất Ví dụ, một du khách lần đầu đến Quảng Nam, muốn tìm một địa điểm du lịch bằng cách tìm trên Google “Quang Nam tour”, thì sẽ nhận gần 20.000.000 kết quả trả về Hầu hết mọi địa điểm du lịch trong danh sách kết quả đều xa lạ và tự quảng cáo mình là tốt nhất, làm cho du khách bối rối trong biển thông tin, vì vậy, du khách cần lời khuyên cho trường hợp này

Hệ thống gợi ý (Recommender system - RS) đã trở thành một trong những lĩnh vực nghiên cứu quan trọng kể từ khi bài báo đầu tiên về lọc cộng tác (Collaborative filtering - CF) xuất hiện vào giữa những năm 1990 [14] Hiện nay, sự quan tâm đối với hệ thống gợi ý đang rất cao vì sự cần thiết của những ứng dụng có thể giúp người dùng xử lý với tình trạng quá tải thông tin và đưa ra những nội dung hoặc lời khuyên phù hợp cho từng cá nhân Hệ thống gợi ý là một dạng kỹ thuật trong lọc thông tin và đang được sử dụng rộng rãi trong nhiều lĩnh vực (như thương mại điện tử, giải trí, giáo dục, ) nhằm dự đoán sở thích của người dùng nhờ vào thông tin cá nhân hoặc những phản hồi (đánh giá) từ người dùng Hệ thống gợi ý học từ người dùng và gợi ý sản phẩm tốt nhất trong

số sản phẩm phù hợp Các hệ thống gợi ý thường dùng trong các ứng dụng chỉ

có hai thực thể đó là người dùng và các sản phẩm mà nó không đặt chúng vào một ngữ cảnh khi cung cấp các gợi ý Nói cách khác hệ thống gợi ý đa số tập trung vào giới thiệu các sản phẩm phù hợp nhất với người dùng cá nhân mà không xem xét đến thông tin ngữ cảnh của người dùng như thời gian, địa điểm… Để hệ thống gợi ý có thể dự đoán chính xác về các sở thích của người dùng thì nó phụ thuộc vào mức độ mà hệ thống gợi ý đã kết hợp các thông tin theo ngữ cảnh

Với việc ngành du lịch trong những năm qua phát triển mạnh mẽ, đem lại lợi ích to lớn về kinh tế - xã hội, góp phần thúc đẩy các ngành sản xuất và dịch

vụ phát triển Nhờ tiềm năng đa dạng và phong phú với nhiều danh lam thắng cảnh, từ đó thu hút không ít khách du lịch trong và ngoài nước Tuy nhiên, khách du lịch thường gặp phải những khó khăn khi đến những nơi lạ lẫm Du

Trang 11

khách thường phải nhờ đến sự trợ giúp của hướng dẫn viên du lịch hoặc ít nhất

là phải dựa vào sách hướng dẫn hay bản đồ, công cụ tìm kiếm để có được những thông tin về các địa điểm du lịch tốt nhất đối với họ Tuy nhiên, những sự trợ giúp này cũng có những hạn chế nhất định như: khách du lịch sẽ khó tìm thấy những thông tin chi tiết về những địa điểm du lịch cần tham quan để có sự chuẩn

bị cần thiết Hoặc là, hướng dẫn viên thường đưa khách du lịch đến những tour

du lịch định sẵn và chỉ được tham quan những điểm du lịch chính, trong khi đi những điểm du lịch thú vị lại không được tham quan, mặc dù cách địa điểm chính rất gần Vì lý do đó, tôi đã quyết định lựa chọn luận văn tốt nghiệp với đề tài “ Nghiên cứu và xây dựng hệ thống gợi ý địa điểm du lịch” sử dụng công nghệ trong hệ thống gợi ý để có thể hỗ trợ người dùng dễ dàng tìm thấy những địa điểm du lịch phù hợp với họ, phù hợp với những điều kiện ngữ cảnh xung quanh

2 Mục tiêu và nhiệm vụ của đề tài

- Triển khai xây dựng hệ thống gợi ý địa điểm du lịch và đánh giá kết quả

3 Đối tượng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu

- Nghiên cứu phương pháp lọc cộng tác, kỹ thuật phân rã ma trận và xử lý các thông tin theo ngữ cảnh

- Thông tin liên quan đến du lịch ở tỉnh Quảng Nam

3.2 Phạm vi nghiên cứu

- Nghiên cứu tổng quan về lý thuyết các phương pháp gợi ý, tập trung vào phương pháp lọc cộng tác, kỹ thuật phân rã ma trận và cơ sở dữ liệu thực nghiệm để xây dựng hệ thống gợi ý và các hướng cải tiến

Trang 12

- Ứng dụng cho hệ thống gợi ý tra cứu các địa điểm du lịch trong phạm vi tỉnh Quảng Nam và được đưa lên Internet

4 Phương pháp nghiên cứu

Trong luận văn đã sử dụng các phương pháp sau:

- Tìm hiểu thực tế, tổng hợp thống kê dữ liệu về du lịch Quảng Nam

- Kỹ thuật phân rã ma trận (matrix factorization – MF)

- Phương pháp xử lý thông tin ngữ cảnh đầu vào, đầu ra

- Phương pháp đánh giá dựa trên độ đo (Root Mean Squared Error – RMSE)

5 Ý nghĩa khoa học và thực tiễn của đề tài

- Ý nghĩa khoa học:

 Đề xuất được kỹ thuật phân rã ma trận vào hệ thống gợi ý ngữ cảnh

 Đề tài là bước đầu nghiên cứu trường hợp riêng của kỹ thuật phân rã

Chương 1: Tổng quan về du lịch Quảng Nam và hệ thống gợi ý

Chương 2: Phương pháp gợi ý và mô hình đề xuất

Chương 3: Xây dựng hệ thống gợi ý địa điểm du lịch: Trong chương này tập trung vào việc phân tích thiết kế, xây dựng, thử nghiệm hệ thống và từ đó đánh giá kết quả đạt được

Trang 13

Chương 1 - TỔNG QUAN DU LỊCH QUẢNG NAM VÀ HỆ

THỐNG GỢI Ý

Trong chương này, trình bày các lý thuyết về du lịch, điểm du lịch, giới thiệu về du lịch Quảng Nam, khái niệm về hệ thống gợi ý, nêu bật tầm quan trọng của điểm du lịch và giá trị của cơ sở dữ liệu đối với hệ thống gợi ý, đồng thời phân tích một số website có chức năng tương tự Chương này là cơ sở lý luận cho các chương tiếp theo

1.1 TỔNG QUAN VỀ DU LỊCH QUẢNG NAM

Du lịch là hành động rời khỏi nơi cư trú để đi đến một nơi khác, một môi trường khác trong một thời gian ngắn nhằm mục đích tìm hiểu, khám phá, vui chơi, giải trí, nghỉ dưỡng Du lịch bao gồm mọi hoạt động của những người du hành, tạm trú trong mục đích tham quan, khám phá và tìm hiểu, trải nghiệm hoặc trong mục đích nghỉ ngơi, giải trí, thư giãn cũng như mục đích hành nghề

và những mục đích khác nữa trong thời gian liên tục nhưng không vượt quá một năm, ở bên ngoài môi trường sống định cư, ngoại trừ mục đích thu lợi nhuận” Như vậy, ta có thể hiểu du lịch là sự khởi hành và lưu trú tạm thời của con người ngoài nơi cư trú thường xuyên của họ nhằm thỏa mãn những nhu cầu như giải trí, nghỉ ngơi…

Điểm du lịch là một phạm vi cụ thể chứa đựng một nguồn lực tự nhiên hay nhân tạo với mục đích thu hút và thỏa mãn một hoặc nhiều nhu cầu như nghỉ ngơi, vui chơi, tham quan …của khách du lịch Điểm du lịch là trung tâm chú ý của du khách, là động lực ban đầu thúc đẩy du khách thực hiện quyết định du lịch và đến với điểm đến có điểm du lịch mà họ mong muốn, nó cũng là nơi trực tiếp thỏa mãn cũng như giải quyết nhu cầu du lịch của du khách

Tỉnh Quảng Nam nằm ở trung độ của Việt Nam, cách Hà Nội 860 km về phía Bắc, cách TP Hồ Chí Minh 865 km về phía Nam Với vị trí trung độ của cả nước, giao điểm giữa 2 vùng kiến tạo địa lý, giao thoa 2 miền khí hậu Bắc - Nam, địa hình da dạng với núi, trung du, đồng bằng ven biển cùng với những ưu thế về bề dày lịch sử, văn hóa, con người, danh lam thắng cảnh tạo cho Quảng Nam tiềm năng lớn để phát triển du lịch

Qua bao thăng trầm biến cố, Quảng Nam vẫn lưu giữ được những tài nguyên văn hóa vô cùng độc đáo, có giá trị nhân văn sâu sắc, tiêu biểu là 2 di sản văn hoá thế giới: phố cổ Hội An và thánh địa Mỹ Sơn, kinh đô cổ Trà Kiệu, các tháp chàm Khương Mỹ, Chiên Đàn, Bàng An, Phật viện Đồng Dương ghi lại dấu ấn rực rỡ của nền văn hóa Sa Huỳnh, Champa, Đại Việt

Trang 14

Thiên nhiên còn ưu đãi và hào phóng dành cho Quảng Nam những tài nguyên tự nhiên, tài nguyên biển vô cùng quý giá Đó là 125 km bờ biển kéo dài

từ Điện Ngọc đến giáp vịnh Dung Quất hoang sơ và sạch đẹp cùng với Hồ Phú Ninh, thủy điện Duy Sơn, khu rừng nguyên sinh phía Tây Quảng Nam, sông Trường Giang và xứ đảo Cù Lao Chàm là những điểm du lịch sinh thái lý tưởng; ngày nay trở thành điểm dừng chân của bao du khách Ven biển Duy Hải - Tam Tiến và ven sông Trường Giang, biển Rạng, ven biển Điện Ngọc - Cẩm An và ven sông Cổ Cò Khu du lịch này là điểm nối tiếp giữa hai trung tâm du lịch Hội

An và Đà Nẵng có diện tích 1800ha, Khu Kinh tế Mở Chu Lai gần khu công nghiệp Dung Quất cũng được biết đến với những thắng cảnh Bàn Than, biển Rạng thích hợp với những loại hình tắm biển, lướt ván, câu cá Ngoài ra, đến Tam Kỳ còn có Hồ Phú Ninh là một danh thắng có cảnh quan hiền hòa, hệ động thực vật phong phú, có nguồn nước khóang có thể khai thác dịch vụ tắm nước nóng hiệu quả

Ngoài ra, tinh hoa văn hóa của cộng đồng các dân tộc anh em: Kinh, Hoa,

Cơ Tu, Xê Đăng, Giẻ Triêng và Cor cũng góp phần tạo nên sự đa dạng, phong phú và hấp dẫn của du lịch Quảng Nam

Các yếu tố tự nhiên kết hợp với các di sản văn hóa, truyền thống lịch sử của Quảng Nam là nguồn tài nguyên vô cùng quý giá, tạo điều kiện thuận lợi cho việc phát triển mạnh ngành du lịch Và ở đó, trên mảnh đất và con người xứ quảng hiền hòa, thân thiện và hiếu khách, luôn mong được chào đón du khách từ mọi phương trời đến với Quảng Nam [15]

1.2 CÁC PHƯƠNG PHÁP GỢI Ý

Có rất nhiều cách để gợi ý, ước lượng hạng/điểm cho các sản phẩm như sử dụng học máy, lý thuyết xấp xỉ, các thuật toán dựa trên kinh nghiệm… Theo [9], các hệ thống gợi ý thường được phân ba loại dựa trên cách nó dùng để ước lượng hạng của sản phẩm:

- Dựa trên nội dung (content-based): người dùng được gợi ý những sản phẩm tương tự như các sản phẩm từng được họ đánh giá cao

- Cộng tác (collaborative): người dùng được gợi ý những sản phẩm mà những người cùng sở thích với họ đánh giá cao

- Lai ghép (hybrid): kết hợp cả phương pháp dựa trên

1.2.1 Phương pháp gợi ý dựa trên nội dung

Gợi ý dựa trên nội dung khai thác những khía cạnh có liên quan đến nội dung thông tin sản phẩm người dùng đã từng sử dụng hay truy cập trong quá khứ để tạo nên gợi ý hay nói cách khác gợi ý trên nội dung được dựa trên mô tả

Trang 15

có sẵn về đối tượng Các phương pháp tiếp cận cho lọc nội dung có nguồn gốc

từ lĩnh vực truy vấn thông tin, trong đó mỗi sản phẩm được biểu diễn bằng một

hồ sơ sản phẩm, mỗi người dùng được biểu diễn bằng một hồ sơ người dùng Phương pháp gợi ý dựa trên nội dung của người dùng u với sản phẩm i được

đánh giá dựa trên độ phù hợp r(u, i) Ví dụ, để gợi ý một phim cho người dùng

u, hệ thống gợi ý sẽ tìm các đặc điểm của những bộ phim từng được u đánh giá cao sau đó chỉ những bộ phim tương đồng với sở thích của u mới được giới

Hình 1.1 Minh họa phương pháp gợi ý dựa trên lọc nội dung

Ưu điểm: Đầu tiên, nó không yêu cầu số lượng người dùng lớn để đạt được

độ chính xác đề nghị hợp lý Ngoài ra, các sản phẩm mới có thể được gợi ý ngay dựa trên thuộc tính có sẵn

Nhược điểm: Trong một số trường hợp, khi thông tin mô tả đối tượng có

chất lượng kém và bị lỗi thì những mô tả về nội dung rất khó để so sánh và rút ra

Trang 16

gợi ý, chẳng hạn so sánh nội dung của các file video, audio Việc phân tích nội dung của các đối tượng sản phẩm để đưa ra các sản phẩm tương tự nhau, từ đó đưa ra các gợi ý cho người dùng vẫn chưa phản ánh đúng sở thích của người dùng đó với các sản phẩm

Thông thường, những hệ thống gợi ý sẽ gợi ý những đối tượng tương tự với những đối tượng mà người dùng đã đánh giá trước đó Tuy nhiên trong một số trường hợp đặc biệt, đối tượng không nên được gợi ý vì chúng có độ tương tự gần như tuyệt đối, nói cách khác là chúng quá tương tự với những thứ người dùng vừa mới xem Ví dụ như nhiều mục tin tức khác nhau cùng nói về một sự kiện người dùng vừa xem qua ở mục tin tức này, khi đó người dùng sẽ không quan tâm đến những mục tin tức cùng sự kiện kia, hệ thống cũng không nên gợi

ý, đôi khi nó còn gợi ý cho người dùng những sản phẩm mà người dùng đã biết hoặc sử dụng trước đó, vì vậy khó có thể tạo ra sự bất ngờ trong gợi ý

Thêm một bất cập nữa, là người dùng phải có đánh giá cho những đối tượng trước khi hệ thống có thể hiểu được sở thích và gợi ý cho họ những đối tượng khác Như vậy, hệ thống sẽ gặp vấn đề đối với những người dùng mới, họ chưa cung cấp hoặc cung cấp rất ít những chỉ số dự đoán, hệ thống không đủ dữ liệu ban đầu của người dùng đó để có thể đưa ra những lời gợi ý chính xác dành cho họ

1.2.2 Phương pháp gợi ý dựa trên lọc cộng tác

Lọc cộng tác là kỹ thuật sử dụng các sở thích cá nhân của người dùng để đưa ra gợi ý Một hệ thống lọc cộng tác xác định người dùng có sở thích tương

tự những người dùng trước và gợi ý các sản phẩm mà họ có thể thích Bản chất của phương pháp này chính là hình thức gợi ý truyền miệng tự động Trong phương pháp này, hệ thống sẽ so sánh, tính toán độ tương tự giữa những người dùng hay sản phẩm, từ đó người dùng sẽ được gợi ý những thông tin, sản phẩm được ưa chuộng nhất bởi những người dùng có cùng thị hiếu Các hệ gợi ý dựa trên lọc cộng tác không yêu cầu quá nặng vào việc tính toán, do đó nó có thể đưa

ra những gợi ý có độ chính xác cao và nhanh chóng cho một số lượng lớn người dùng

Nói một cách khác, không giống như phương pháp gợi ý dựa trên nội dung,

hệ thống cộng tác dự đoán độ phù hợp của một sản phẩm i với người dùng u dựa trên độ phù hợp giữa người dùng u j và i, trong đó u j là người có cùng sở thích

với u Ví dụ, để gợi ý một bộ phim cho người dùng c, đầu tiên hệ thống cộng tác tìm những người dùng khác có cùng sở thích phim ảnh với c Sau đó, những bộ phim được họ đánh giá cao sẽ được dùng để gợi ý cho c

Trang 17

Đầu vào của bài toán là ma trận thể hiện những hành vi quá khứ, gọi là ma trận người dùng - sản phẩm (ma trận user x item) Hàng là người dùng, cột là sản phẩm, giá trị mỗi ô là đánh giá của người dùng lên sản phẩm đó [9] [10] [11]

Tùy theo hệ thống mà đánh giá của người dùng được quy ước những giá trị nào Trong ví dụ này, các đánh giá có giá trị từ 15

Ở ma trận trên, đánh giá của người dùng 1 đối sản phẩm 1 là 1, sản phẩm

3 là 5, sản phẩm 2 chưa được đánh giá

Đầu ra của bài toán: đánh giá của người dùng lên những sản phẩm mà họ chưa đánh giá Hệ thống gợi ý dựa trên các đánh giá này mà xếp hạng các sản phẩm và gợi ý cho người dùng

Có rất nhiều hệ thống cộng tác đã được phát triển như: Grundy, GroupLens (tin tức), Ringo (âm nhạc), Amazon.com (sách), Phoaks (web)…

Hình 1.2 Minh họa phương pháp gợi ý dựa trên lọc cộng tác

Ngược lại với phương pháp tiếp cận dựa trên nội dung thì phương pháp tiếp cận lọc cộng tác lại khắc phục được các giới hạn:

- Không giới hạn về loại đối tượng dùng để gợi ý: Phương pháp lọc cộng

tác dựa hoàn toàn vào đánh giá của những người dùng để đưa ra các nhận định

về sở thích của người dùng, chính vì thế các tính chất của đối tượng được gợi ý

Trang 18

không có ảnh hưởng đển quá trình gợi ý Ưu điểm này giúp cho phương pháp lọc cộng tác được áp dụng đa dạng trên nhiều hệ thống khác nhau, từ trang thông tin đến âm nhạc, hình ảnh …

- Gợi ý đa dạng: Khắc phục được giới hạn của phương pháp tiếp cận dựa

trên nội dung, phương pháp lọc cộng tác có thể đưa ra các đối tượng sản phẩm khuyến nghị hoàn toàn khác so với các sản phẩm mà người dùng u đã thích trong quá khứ

Ưu điểm: Xét một cách tổng quát thì hệ không yêu cầu quá nặng vào việc

tính toán và do đố có thể đưa ra những gợi ý có độ chính xác cao và nhanh chóng cho một số lượng lớn người dùng Bởi vì hệ này không yêu cầu mô tả nội dung một cách tường minh mà chỉ dựa vào sự đánh giá của người dùng để ước lượng xem có bao nhiêu người dùng đồng ý và không đồng ý Đó cũng chính là

lý do tại sao mà hệ này có thể đưa ra những gợi ý bất ngờ cho người dùng

Nhược điểm: Có 2 nhược điểm cơ bản sau: Vấn đề người dùng mới và

vấn đề sản phẩm mới

Để khắc phục vấn đề trên, việc kết hợp cả lọc công tác và lọc dựa trên một số thuộc tính của người dùng cung cấp để dự đoán sở thích của người dùng mới Cụ thể, thông qua việc đăng ký thông tin tài khoản của người dùng, sẽ thu thập thêm một số thông tin của người dùng mới bằng cách tạo một biểu mẫu cho người dùng nhập một số thông tin cần thiết như: tích cách, nghề nghiệp, thu nhập hoặc một số thông tin về sở thích… Việc ghi nhận lại các thông tin này của người dùng sẽ giúp hệ thống gợi ý tốt hơn cho người dùng mới Đối với sản phẩm mới nhập vào, chúng được hiển thị đầu tiên trên trang web có biểu tượng

“New” để nhận biết đây là sản phẩm mới của hệ thống Ngoài ra, khi hiển thị chi tiết mỗi sản phẩm, trang web có một không gian để hiển thị các sản phẩm tương

tự với sản phẩm mà người dùng đang xem dựa vào một số thuộc tính tương tự

Vì vậy, những sản phẩm mới nhập cũng có thể được gợi ý cho người dùng

1.2.3 Phương pháp gợi ý lai

Một hệ thống lai là sự kết hợp kỹ thuật lọc nội dung và lọc cộng tác cố gắng

sử dụng ưu điểm của mỗi kỹ thuật Ví dụ, phương pháp lọc cộng tác gặp vấn đề với các sản phẩm mới, nó không có thể gợi ý đối với các sản phẩm mà không có xếp hạng Điều này lại đơn giản đối với phương pháp tiếp cận dựa trên nội dung khi việc dự đoán cho các sản phẩm mới dựa trên mô tả của người dùng là tính năng có sẵn và khá dễ dàng [9]

Với hai (hoặc hơn) kỹ thuật gợi ý cơ bản, một số cách đã được đề xuất cho việc kết hợp chúng để tạo ra một hệ thống lai mới

Trang 19

1.3 HỆ THỐNG GỢI Ý

1.3.1 Giới thiệu hệ thống gợi ý

Hệ thống gợi ý là hệ thống hỗ trợ ra quyết định nhằm gợi ý các thông tin liên quan đến người dùng một cách dễ dàng và nhanh chóng, phù hợp với từng người dùng [10] Hệ thống bao gồm các kỹ thuật và công cụ phần mềm nhằm đưa ra những gợi ý cho người dùng, đáp ứng nhu cầu của họ về một sản phẩm, dịch vụ nào đó trên Internet Những gợi ý được cung cấp nhằm hỗ trợ người dùng đưa ra quyết định lựa chọn những sản phẩm, dịch vụ phù hợp với nhu cầu

và thị hiếu của mình, chẳng hạn như: mua sản phẩm nào, nghe thể loại nhạc gì hay tin tức trực tuyến nào nên đọc,

Hệ thống gợi ý thông thường sẽ tập trung vào một mục tin hay sản phẩm (item) cụ thể nào đó (CD, tin tức) theo thiết kế và giao diện đồ họa người dùng kết hợp với kỹ thuật, thuật toán gợi ý nhằm sinh ra các gợi ý tuỳ chỉnh, cung cấp những gợi ý có ích và hiệu quả cho sản phẩm đó

Hệ thống gợi ý nhằm hướng dẫn những người dùng thiếu kinh nghiệm hoặc chưa đủ thẩm quyền để đánh giá số lượng áp đảo các item thay thế Ví dụ, hệ thống gợi ý giúp người dùng lựa chọn sách trên trang web của Amazon đã sử dụng hệ thống gợi ý để cá nhân hoá các cửa hàng trực tuyến cho từng người dùng (user) Khi hệ thống gợi ý được cá nhân hoá thì mọi người dùng hay nhóm người dùng sẽ nhận được các gợi ý khác nhau từ những cá nhân khác

Mô hình đơn giản nhất của hệ thống gợi ý khi được cá nhân hoá là danh sách xếp hạng các sản phẩm Khi thực hiện bảng xếp hạng này, hệ thống gợi ý

sẽ thử dự đoán những sản phẩm hoặc dịch vụ phù hợp nhất với người dùng dựa trên sở thích và nhu cầu của họ Để thực hiện được nhiệm vụ đó, hệ thống gợi ý thu thập sở thích của người dùng được thể hiện qua hệ thống (xếp hạng cho các sản phẩm) hoặc suy ra từ cách giải thích hành động của người dùng - là một tính năng ẩn có ưu tiên cho phần hiển thị của trang hoặc xem xét chuyển hướng đến một trang khác

Ví dụ minh họa cho hệ thống gợi ý: Một người dùng đăng nhập vào một hệ thống website đọc sách, người này cần xem một quyển sách về văn học nhưng không biết là nên xem quyển sách nào, hệ thống website cần gợi ý cho người đó xem một hoặc vài quyển sách mà dự đoán rằng người này sẽ thích quyển sách

mà được hệ thống gợi ý Để gợi ý được cho người dùng, hệ thống cần thu thập các thông tin về người dùng và các người dùng khác, thông tin các quyển sách

Có một vài cách gợi ý truyền thống đơn giản nhất như chọn những quyển sách

Trang 20

được nhiều người ưa thích nhất hoặc chọn những quyển mới nhất để gợi ý Tuy nhiên để nâng cao chất lượng của gợi ý cho người dùng, hệ thống gợi ý cần sử dụng các thông tin của tất cả những người dùng và thông tin của tất cả các sản phẩm, sử dụng các thuật toán để đưa ra gợi ý phù hợp nhất cho người dùng

Hình 1.3 Minh hoạ hệ thống gợi ý [3]

Trong hầu hết các trường hợp, bài toán gợi ý được coi là bài toán ước lượng xếp hạng (rating) của các item chưa được người dùng xem xét Việc ước lượng này thường dựa trên những đánh giá đã có của chính người dùng đó hoặc từ những người dùng khác Những item có xếp hạng cao nhất sẽ được dùng để gợi ý Từ đó người dùng có những lựa chọn thích hợp với nhu cầu và thị hiếu của mình

Hệ thống gợi ý không chỉ đơn thuần là một dạng Hệ thống thông tin mà nó còn là cả một lĩnh vực nghiên cứu hiện đang rất được các nhà khoa học quan tâm Kể từ năm 2007 đến nay, hàng năm đều có hội thảo chuyên về hệ thống gợi

ý của ACM (ACM RecSys) cũng như các tiểu bang dành riêng cho RS trong các hội nghị lớn khác như ACM KDD, ACM CIKM,

Đã có rất nhiều ứng dụng liên quan đến tích hợp RS vào thực tế trong nhiều lĩnh vực khác nhau như Thương mại điện tử, giải trí, giáo dục, khoa học phải kể đến Amazon, Ebay, YouTube, Netflix, LastFM,… Một số ứng dụng mà các nhóm nghiên cứu đã thực hiện trong thời gian gần đây như: đề xuất xây dựng hệ thống gợi ý cho bán hàng trực tuyến sử dụng kỹ thuật lọc cộng tác sử dụng phản hồi tường minh từ người dùng thông qua các đánh giá trên sản phẩm [1]; đề xuất xây dựng hệ thống dự đoán kết quả học tập và gợi ý lựa chọn môn học [4]; đề xuất một giải pháp xây dựng hệ thống gợi ý dành cho bán hàng trực tuyến sử dụng phản hồi tiềm ẩn từ người dùng [7] Trong lĩnh vực giải trí đã giới thiệu

Trang 21

một giải pháp trong xây dựng Hệ thống gợi ý bài hát dựa vào phản hổi tiềm ẩn

từ người dùng [5]; đề xuất xây dựng hệ thống gợi ý phim dựa trên mô hình [8] Tuy vậy, du lịch Quảng Nam vẫn chưa thấy xuất hiện các nghiên cứu về

RS Trong luận văn này, tôi giới thiệu sơ lược về hệ thống gợi ý, các phương pháp cơ bản được sử dụng phổ biến nhất trong RS, sau đó đi sâu vào tìm hiểu chi tiết phương pháp, kỹ thuật nổi trội nhất hiện nay trong RS – chính là phương pháp lọc công tác và kỹ thuật phân rã ma trận (matrix factorization – MF) để xây dựng hệ thống gợi ý địa điểm du lịch tại Quảng Nam

1.3.2 Chức năng hệ thống gợi ý

Trước hết, chúng ta phải phân biệt giữa vai trò hệ gợi ý của nhà cung cấp

so với vai trò hệ gợi ý của người dùng Ví dụ, một hệ thống gợi ý du lịch thường được giới thiệu bởi một trung gian du lịch hoặc một tổ chức quản lý để tăng doanh thu của nó qua việc cho thuê phòng khách sạn nhiều hơn hoặc để tăng số lượng khách du lịch Trong khi đó, động cơ của người dùng khi truy cập vào hai

hệ thống là tìm một khách sạn phù hợp với nhu cầu, túi tiền cùng các sự kiện thú

vị, các điểm hấp dẫn khi đến thăm một điểm đến

Dưới đây là một số chức năng của hệ thống gợi ý

* Đối với nhà cung cấp:

- Tăng số lượng các sản phẩm bán ra cho các hệ thống thương mại điện tử:

Đây có lẽ là chức năng quan trọng nhất của hệ thống gợi ý Thay vì người dùng chỉ mua một sản phẩm mà họ cần, họ được gợi ý mua những sản phẩm ‘có thể

họ cũng quan tâm’ mà bản thân họ không nhận ra Hệ thống gợi ý tìm ra những

‘mối quan tâm ẩn’ Bằng cách đó, hệ thống gợi ý làm gia tăng nhu cầu của người dùng và gia tăng số lượng sản phẩm bán ra Tương tự đối với các hệ thống phi thương mại, hệ thống gợi ý sẽ giúp người dùng tiếp cận với nhiều đối tượng thông tin mang tính đa chiều và được nhiều người quan tâm hơn

- Bán các sản phẩm đa dạng hơn trên các hệ thống thương mại điện tử:

Đây là chức năng quan trọng thứ hai của hệ thống gợi ý Hầu hết các hệ thống thương mại đều có các sản phẩm hết sức là đa dạng và phong phú Khi nắm bắt được nhu cầu của người dùng, hệ thống gợi ý dễ dàng mang đến sự đa dạng trong sự lựa chọn hàng hóa Từ đó đòi hỏi các hệ thống thương mại điện tử cung cấp nhiều sản phẩm đa dạng và phù hợp với người dùng hơn

- Tăng sự hài lòng người dùng: Vai trò chủ đạo của hệ thống gợi ý là hiểu

nhu cầu của người dùng, gợi ý cho họ những thứ họ cần Người dùng sẽ tìm thấy các gợi ý thú vị, có hiệu quả, chính xác, gợi ý kịp thời và một giao diện đẹp

có thể tối ưu việc sử dụng và làm tăng sự hài lòng của người dùng trong hệ

Trang 22

thống Chính vì vậy hệ thống gợi ý tăng sự hài lòng của người dùng trên hệ thống và lựa chọn ưu tiên khi họ có những băn khoăn hoặc khi chưa có kiến thức

về sản phẩm

- Tăng độ tin cậy, độ trung thực của người dùng: Một khi hệ thống gợi ý

cho người dùng những lựa chọn và họ hài lòng về những gợi ý đó thì lòng tin của họ đối với hệ thống (nơi mà giúp họ tìm ra những thứ họ thực sự quan tâm) được nâng lên một cách đáng kể Đây thật sự là một điều thích thú và thu hút người dùng Có một điểm quan trọng là hệ thống gợi ý hoạt động dựa trên những xếp hạng thật từ chính bản thân người dùng trong quá khứ Do đó, khi người dùng càng tin cậy vào hệ thống, đưa ra những đánh giá trung thực cho các sản phẩm, hệ thống sẽ mang lại cho người dùng nhiều gợi ý chính xác hơn, phù hợp với nhu cầu, sở thích của họ

- Hiểu rõ những gì người dùng muốn: Đây là một chức năng quan trọng

khác của hệ thống gợi ý được thừa kế từ nhiều ứng dụng khác nhau là thu thập hoặc dự đoán sở thích người dùng thông qua hệ thống Điều này giúp cho các nhà phát triển dịch vụ có thể quyết định tái sử dụng các item theo mục tiêu cải thiện quản lý cửa hàng hoặc tiến hành sản xuất

* Đối với người dùng:

- Tìm ra một số sản phẩm tốt nhất: Hệ thống gợi ý tới người dùng một số

sản phẩm được xếp hạng và dự đoán số người dùng khác thích chúng Đây là chức năng chính mà nhiều hệ thống thương mại điện tử sử dụng

- Tìm ra tất cả sản phẩm tốt: Gợi ý tất cả sản phẩm mà có thể làm hài

lòng nhu cầu của khách hàng Trong nhiều trường hợp không đủ thông tin để đưa ra các sản phẩm tốt nhất Điều này chỉ đúng khi số lượng sản phẩm liên quan tương đối nhỏ hoặc khi hệ gợi ý là chức năng quan trọng trong ứng dụng tài chính và y tế

- Gợi ý liên tục: Thay vì tập trung vào tạo gợi ý đơn, các hệ thống gợi ý tạo

các gợi ý liên tục tới người dùng cho tới khi họ tìm được sản phẩm mong muốn

- Gợi ý một nhóm sản phẩm: Đề xuất một nhóm các sản phẩm mà tương

đương nhau Ví dụ như kế hoạch du lịch có thể là gồm nhiều điểm đến, các dịch

vụ nơi ở, các sự kiện hấp dẫn Từ quan điểm của người dùng những lựa chọn khác nhau có thể được xem xét và được lựa chọn một điểm đến du lịch hợp lý

- Chỉ duyệt tìm: Trong tác vụ này, người dùng duyệt các danh mục mà

không có ý định mua sản phẩm nào, tác vụ này đưa ra gợi ý giúp người dùng duyệt tìm các sản phẩm có nhiều khả năng thuộc vào phạm vi sở thích của người

Trang 23

dùng với phiên truy cập xác định Đây là tác vụ được hỗ trợ bởi các kỹ thuật đa phương tiện

- Tìm kiếm các gợi ý tin tưởng: Một số người dùng không tin tưởng vào các

hệ thống gợi ý, họ tham gia vào hệ thống để thấy được các hệ thống này đưa ra gợi ý tốt tới mức nào Do đó, một số hệ thống có thể đưa ra các chức năng chính xác để cho phép họ thử nghiệm hành vi của họ, ngoài các yêu cầu gợi ý

- Cải thiện hồ sơ cá nhân người dùng: Người dùng có khả năng cung cấp

thông tin, những gì họ thích, không thích với hệ thống gợi ý Điều này là hết sức cần thiết để đưa ra các gợi ý mang tính chất cá nhân hóa Nếu như hệ thống không xác định tri thức về người dùng đang hoạt động thì nó chỉ có thể đưa ra các gợi ý giống nhau

- Bày tỏ ý kiến của mình: Một số người dùng có thể không quan tâm tới các

gợi ý, đúng hơn, những gì quan trọng với họ là được góp ý kiến, đánh giá về sản phẩm, giúp ích người khác khi lựa chọn sản phẩm này

- Tác động tới những người dùng khác: Trong hệ thống gợi ý trên web, có

nhiều người tham gia với mục tiêu của họ là tác động tới hệ thống gợi ý, dẫn tới ảnh hưởng tới người dùng khác khi mua một sản phẩm cụ thể (Thông qua đánh giá sản phẩm,…) Tác động của họ có thể thúc đẩy hoặc gây bất lợi cho sản phẩm

1.3.3 Dữ liệu và các nguồn tri thức

Hệ thống gợi ý là hệ thống xử lý thông tin thu thập từ các loại dữ liệu khác nhau để xây dựng các gợi ý Dữ liệu chủ yếu là về các sản phẩm cần gợi ý và người dùng sẽ nhận được các gợi ý này Tuy nhiên, dữ liệu và các nguồn tri thức sẵn có cho các hệ thống gợi ý có thể rất đa dạng Trong bất kỳ trường hợp nào,

dữ liệu được sử dụng bởi hệ thống gợi ý thuộc ba loại: sản phẩm (Item), người dùng (User) và các giao dịch (Transactions), đó chính là quan hệ giữa người dùng và sản phẩm

1.3.3.1 Sản phẩm

Sản phẩm là các đối tượng được gợi ý Các sản phẩm này đặc trưng bởi tiện ích và giá trị của nó Giá trị của một sản phẩm có thể là tích cực nếu hữu ích cho người dùng, hoặc tiêu cực nếu sản phẩm không phù hợp với người dùng Công nghệ cốt lõi của hệ thống gợi ý là sử dụng một loạt các thuộc tính và các tính năng của các item Ví dụ như trong một hệ thống gợi ý phim, thể loại (Hài, kinh dị, ) cũng như tên tuổi các đạo diễn và diễn viên có thể được sử dụng để mô tả một bộ phim và là đặc điểm nổi bật của nó

1.3.3.2 Người dùng

Trang 24

Người dùng trong hệ thống gợi ý là đối tượng để gợi ý có những mục tiêu

và đặc điểm rất đa dạng Để cá nhân hoá các gợi ý và tương tác người-máy, hệ thống gợi ý khai thác một loạt các thông tin về người dùng Những thông tin này

có thể được cấu trúc theo nhiều cách khác nhau và việc chọn thông tin phụ thuộc vào kỹ thuật gợi ý

Người dùng cũng có thể được mô tả bằng mô hình hành vi của họ, ví dụ trong mô hình trình duyệt, mô hình tìm kiếm du lịch Ngoài ra, dữ liệu người dùng còn có thể bao gồm mối quan hệ giữa người dùng như mức độ tin cậy của các mối quan hệ giữa các người dùng Hệ thống gợi ý có thể sử dụng thông tin này để giới thiệu các item từ một người dùng đáng tin cậy khác đã thích item này

1.3.3.3 Giao dịch

Giao dịch là sự tương tác giữa một người dùng và hệ gợi ý Nó lưu trữ dữ liệu, thông tin đăng nhập quan trọng được tạo ra trong quá trình tương tác giữa con người - máy tính và có ích cho thuật toán gợi ý mà hệ thống đang sử dụng

Ví dụ, một bản ghi giao dịch có thể chứa một tham chiếu đến sản phẩm được lựa chọn bởi người dùng và một mô tả về bối cảnh (mục tiêu người dùng/truy vấn) cho gợi ý cụ thể Nếu có sẵn, giao dịch cũng có thể bao gồm một thông tin phản hồi rõ ràng của người dùng đã cung cấp, chẳng hạn như đánh giá cho các sản phẩm được chọn

Trên thực tế, hình thức phổ biến nhất của dữ liệu giao dịch mà hệ thống gợi

ý thu thập là các xếp hạng Những đánh giá này có thể được thu thập một cách

rõ ràng hoặc dưới dạng các biến ẩn Trong trường hợp các xếp hạng là rõ ràng, người dùng sẽ được yêu cầu cung cấp ý kiến của mình về một mục trên thang điểm đánh giá

Các xếp hạng có thể ở các hình thức sau:

- Xếp hạng từ số 1 đến 5 sao

- Xếp hạng thứ tự chẳng hạn như: hoàn toàn đồng ý, đồng ý, trung lập, không đồng ý Ở đây, người dùng được yêu cầu chọn thuật ngữ tốt nhất cho ý kiến của mình

- Xếp hạng nhị phân lựa chọn mô hình trong đó người dùng chỉ việc chọn mục nào đó tốt hay xấu, thích hay không thích,

- Hoặc có đánh giá hoặc không đánh giá

Một hình thức khác để đánh giá là gộp tất cả các thẻ liên quan giữa người dùng với các item của hệ thống Ví dụ, trong hệ thống gợi ý của MovieLens các

Trang 25

thẻ biểu diễn việc người dùng cảm thấy thế nào sau khi xem một bộ phim, có thể

là "quá dài" hoặc "hành động"

Trong các giao dịch xếp hàng dưới dạng ẩn, mục đích của hệ thống là để đưa ra ý kiến người dùng dựa trên cảc hành động của người dùng đó Ví dụ, nếu người dùng nhập từ khóa "Yoga" ở Amazon thì anh ta sẽ được cung cấp một danh sách dài các cuốn sách có liên quan Mặt khác, người dùng có thể click vào một cuốn sách nào đó trong danh sách để nhận được thêm thông tin

Ở điểm này, hệ thống có thể suy ra được người dùng có phần quan tâm đến cuốn sách đó

1.3.4 Bài toán tổng quát của hệ thống gợi ý

Với các khái niệm trên thì bài toán gợi ý được mô tả như sau [10]:

Cho U là tập tất cả người dùng trong hệ thống gợi ý, I là tập tất cả cảc sản phẩm có thể gợi ý

Hàm r(u,i) có tác dụng đo độ phù hợp của sản phẩm i với người dùng u:

r:UIR trong đó R là tập các đánh giá được sắp thứ tự

Với mỗi người dùng u ∈ U, hệ thống gợi ý cần chọn ra các sản phẩm i ∈ I chưa biết với người dùng u sao cho hàm r(u, i) đạt giá trị lớn nhất Vậy công việc chính của giải thuật là đi tìm giá trị hàm r=f(u, i), với r lớn nhất là sản phẩm i được người dùng u ưa thích nhất

Trong các hệ thống gợi ý, mức độ phù hợp của sản phẩm thường được biểu diễn theo đánh giá thang điểm (rating), tùy vào từng ứng dụng các đánh giá này

có thể được thực hiện trực tiếp bởi người dùng hoặc được tính toán bởi hệ thống

Hệ thống gợi ý gồm ba hoạt động chính:

Bước 1: Thu thập thông tin của người dùng khi người dùng tương tác với

hệ thống và lưu vào trong hồ sơ người dùng

Bước 2: Hệ thống xác định mối quan tâm của người dùng và thực thi một

thuật toán tư vấn nhằm so sánh, đánh giá mối liên hệ đối với hồ sơ của người dùng tương tự khác hoặc đối với hồ sơ sản phẩm đã có

Bước 3: Đề xuất một tập hợp những sản phẩm người dùng có thể quan tâm

Trang 26

Hình 1.4 Các thành phần chính của hệ thống gợi ý [2]

1.3.5 Các website du lịch của Việt Nam

Hiện nay, ở Việt Nam, có rất nhiều website cung cấp thông tin về du lịch Tuy nhiên, hầu hết các website đều thuộc vào hai dạng chính dưới đây:

* Các trang bán tour trực tuyến:

Các website này cung cấp các thông tin về giá tour, giá vé, giá khách sạn, hành trình tour… và các dịch vụ liên quan, tập trung quảng cáo và thúc đẩy việc bán tour cho đơn vị lữ hành là chính

Website tiêu biểu ở dạng này là travel.com.vn là trang mạng bán tour trực

tuyến của đơn vị lữ hành Vietravel Trang này cho phép người dùng tìm tour theo một số thông tin như : nơi đến, thời gian khởi hành, giá tour, khuyến mãi…sau đó đặt tour và thanh toán trực tuyến ngay trên website Trong thông tin về tour du lịch, ngoài các vấn đề về giá cả hay khuyến mãi thì website cũng đưa ra thông tin tại các điểm du lịch như đến điểm du lịch nào, làm gì, xem gì, mua gì ở đó… Bên cạnh đó, website cũng cho phép người dùng viết lại ý kiến hay thắc mắc của mình tại mỗi tour để được giải đáp

Ưu điểm: thiết kế giao diện đẹp mắt, thuận tiện cho người dùng, nội dung

về các tour du lịch khá đầy đủ, chi tiết, phạm vi các điểm du lịch rộng lớn cả trong và ngoài nước

Nhược điểm: thông tin về các điểm du lịch còn sơ sài, chỉ thấy được tour

giá rẻ mà không thấy được tour được ưa chuộng, không thấy được thái độ của khách đối với các điểm du lịch trong mỗi tour

* Cẩm nang du lịch:

So với các trang bán tour trực tuyến thì những website này tập trung trình bày nhiều hơn về điểm đến và điểm du lịch, nó cung cấp những thông tin về chùm điểm du lịch, ẩm thực, văn hóa…tại mỗi điểm đến, có thu thập ý kiến đánh giá của người dùng Tuy nhiên, các trang web dạng này vẫn mang tính quảng bá và thúc đẩy tăng doanh thu cho nhà cung cấp, chứ chưa tập trung vào

tư vấn cho người dùng

Trang 27

Ưu điểm: blog có giao diện đơn giản nhưng thể hiện được đầy đủ nội

dung, blog cũng giới thiệu, miêu tả về một số điểm du lịch khá đầy đủ và hấp dẫn, đưa thêm thông tin về các điểm ăn uống, phương tiện đi lại, khách sạn gần các điểm du lịch Các điểm du lịch được phân loại theo điểm đến một cách chi tiết, cho phép người dùng đánh giá, like và chia sẻ qua facebook

Nhược điểm: vì số lượng và phạm vi các điểm du lịch được giới thiệu là

quá lớn nên blog chỉ đưa nội dung chi tiết tại một số điểm du lịch còn lại hầu như mang tính chất giới thiệu, không có nhiều hình ảnh cũng như các thông tin

về địa chỉ cũng như cách thức liên hệ vì thế sẽ gây khó khăn cho những khách

du lịch cá nhân hoặc tự túc Tuy có phần đánh giá của người dùng nhưng không

có phần tạo tài khoản người dùng nên cũng khó sử dụng được dữ liệu này cho hệ thống gợi ý du lịch

Như vậy, các website du lịch ở Việt Nam hiện nay chủ yếu tập trung hỗ trợ công việc đặt tour, bán tour cho các đơn vị lữ hành Mặc dù thông tin người dùng cùng với đánh giá của họ là nguồn CSDL quan trọng cho hệ thống gợi ý du lịch, song trên thực tế các hệ thống gợi ý du lịch ở những website này vẫn còn nghiêng về phục vụ lợi ích của các nhà cung cấp nên không chú trọng việc thu thập thông tin cá nhân của người dùng và cũng không có một nguồn CSDL nào phù hợp để sử dụng Dữ liệu đánh giá của người dùng tại các website này là không đầy đủ dẫn đến việc gây khó khăn cho các thống kê, hoặc làm giảm chất lượng của kết quả gợi ý Một đặc điểm khác đó là phạm vi điểm đến và điểm du lịch được giới thiệu tại các website du lịch hiện nay quá rộng lớn, cả trong nước, ngoài nước và ở các châu lục khác nhau, đây là thế mạnh trong du lịch tuy nhiên nó cũng tạo ra một nhược điểm lớn: dữ liệu, thông tin cho mỗi điểm đến hay điểm du lịch thường ít được đầy đủ và hoàn thiện Do đó, luận văn đã đề xuất phạm vi nội dung tập trung vào một khu vực cụ thể đó là Quảng Nam, vùng đất du lịch tiềm năng chưa được khai thác hiệu quả như hai đầu đất nước Từ đây, việc xây dựng một website nhằm thu thập thông tin đánh giá về một số địa điểm du lịch ở Quảng Nam làm CSDL cho hệ thống gợi ý địa điểm du lịch là vô cùng cần thiết

Trang 28

KẾT LUẬN CHƯƠNG 1

Trong chương 1, luận văn đã trình bày tổng quan du lịch ở Quảng Nam, các phương pháp gợi ý và hệ thống gợi ý: Khái niệm chung, chức năng của một hệ thống gợi ý và cơ sở dữ liệu sử dụng trong hệ thống gợi ý Ngoài ra, trong chương này đã nêu một số website du lịch hiện có ở Việt Nam để làm cơ sở xây dựng hệ thống gợi ý địa điểm du lịch tại Quảng Nam

Trang 29

Chương 2 - PHƯƠNG PHÁP GỢI Ý VÀ MÔ HÌNH ĐỀ XUẤT

Mỗi phương pháp gợi ý có những ưu điểm và hạn chế riêng, khai thác các mối liên hệ trên mạ trận đánh giá người dùng Không giống như phương pháp lọc theo nội dung, lọc công tác khai thác sở thích của người dùng để tạo ra các gợi ý và được áp dụng bởi kỹ thuật phân rã ma trận là kỹ thuật tiến bộ nhất trong

số các kỹ thuật trong phương pháp CF

2.1 PHƯƠNG PHÁP LỌC CỘNG TÁC

Lọc cộng tác (Collaborative Filtering - CF)[13] là gợi ý những sản phẩm mới hoặc dự đoán một sản phẩm hợp lý cho người dùng, dựa trên những hành vi quá khứ của người dùng, ví dụ như: lịch sử giao dịch, đánh giá sản phẩm, thời gian xem một mục tin…và đặc biệt là nó không cần thiết phải tạo ra các hồ sơ tường minh (Explicit feedback) cho người dùng Giả thuyết của lọc cộng tác là:

“nếu người dùng i và j đánh giá cho n sản phẩm tương tự nhau, hoặc có hành vi tương tự nhau ( như: xem, mua, nghe…) thì họ sẽ có các đánh giá tương tự nhau đối với các sản phẩm khác” Để gợi ý được các mục tin, hệ thống lọc cộng tác cần so sánh các đối tượng cơ bản khác nhau như các mục tin (items) và người dùng (users) Có hai nhánh nghiên cứu chính của lọc cộng tác là tiếp cận láng giềng (neighborhood approach) và các mô hình nhân tố ẩn (latent factor models)

Hình 2.1 Hệ thống gợi ý lọc cộng tác của trang web Amazon.com [3] Phương pháp gợi ý lọc cộng tác hoàn toàn khác so với phương pháp gợi ý dựa trên nội dung Thay vì giới thiệu các sản phẩm, vì chúng tương tự như các sản phẩm người dùng đã thích trong quá khứ, cách tiếp cận lọc cộng tác gợi ý

Trang 30

các sản phẩm dựa vào ý kiến của những người dùng khác Thông thường, bằng cách tính toán sự giống nhau của những người dùng, một tập hợp láng giềng gần nhất (nearest-neighbor) các người dùng có sở thích tương quan đáng kể với một người dùng nhất định sẽ được tìm thấy Như vậy, trong phương pháp này, người dùng chia sẻ sở thích của họ về từng sản phẩm mà họ đã từng tiêu dùng để những người dùng khác của hệ thống có những quyết định tốt hơn đối với những sản phẩm đó Cách tiếp cận lọc cộng tác là kỹ thuật gợi ý thành công nhất và được chấp nhận rộng rãi cho đến nay

Bài toán lọc cộng tác:

Cho tập hợp hữu hạn U = {u 1 , u 2, …, u N } là tập gồm N người dùng, P = {p 1 ,

p 2 , …, p M } là tập gồm M sản phẩm mà người dùng có thể lựa chọn Mỗi sản phẩm p i ϵ P có thể là hàng hóa, phim, ảnh, tạp chí, tài liệu, sách, báo, dịch vụ

hoặc bất kỳ dạng thông tin nào mà người dùng cần đến

Mối quan hệ giữa tập người dùng U và tập sản phẩm P được biểu diễn thông qua ma trận đánh giá R = { r ij }, i = 1, , N, j = 1, , M là ma trận đánh giá, trong đó mỗi người dùng u i ϵ U đưa ra đánh giá của mình cho một số sản phẩm p i ϵ P bằng một số r ij Giá trị r ij phản ánh mức độ ưa thích của người dùng

u i đối với sản phẩm p j , giá trị r ij có thể được thu thập trực tiếp bằng cách hỏi ý kiến người dùng hoặc thu thập gián tiếp thông qua cơ chế phản hồi của người

dùng Giá trị r ij =  trong trường hợp người dùng u i chưa đánh giá hoặc chưa

bao giờ biết đến sản phẩm p j

Với một người dùng cần được gợi ý u a, bài toán lọc cộng tác là bài toán dự

đoán đánh giá của u a đối với sản phẩm mà u a chưa đánh giá (r ij = ), trên cơ sở

đó gợi ý cho u a những sản phẩm được đánh giá cao

Hình 2.2 Quy trình của hệ thống gợi ý dựa trên lọc cộng tác

Trang 31

Ma trận đánh giá R = (r ij) là thông tin đầu vào duy nhất của các phương pháp lọc cộng tác Dựa trên ma trận đánh giá, các phương pháp lọc cộng tác thực hiện hai tác vụ: Dự đoán quan điểm của người dùng hiện thời (Active user)

về các sản phẩm mà họ chưa đánh giá, đồng thời đưa ra một danh sách các sản phẩm có đánh giá cao nhất phân bổ cho người dùng hiện thời Hình 2.2 mô tả các thành phần của hệ thống lọc cộng tác

Như vậy, phương pháp lọc cộng tác là phương pháp sử dụng các sở thích của người dùng để tạo ra các gợi ý Phương pháp lọc cộng tác bao gồm các kỹ thuật như kỹ thuật láng giềng, kỹ thuật mạng Bayesian, kỹ thuật mạng Neural kết hợp SVD (Singular value decomposition), kỹ thuật quy tắc quy nạp

Lọc cộng tác được tiếp cận theo hai xu hướng chính: Lọc cộng tác dựa trên bộ nhớ và lọc cộng tác dựa trên mô hình Mỗi phương pháp tiếp cận có những ưu điểm và hạn chế riêng, khai thác các mối liên hệ trên ma trận đánh giá người dùng

2.1.1 Ưu điểm của phương pháp lọc cộng tác

Khi xây dựng hệ thống gợi ý dựa trên phương pháp tiếp cận nội dung (Content-Based Recommendation), sẽ có các phát sinh như gợi ý bị giới hạn, tốc độ xử lý bị ảnh hưởng khi nội dung của đối tượng dùng để gợi ý có tính chất phức tạp

Ngược lại với hướng tiếp cận dựa trên nội dung thì phương pháp tiếp cận lọc cộng tác có những ưu điểm khắc phục được các hạn chế trên:

+ Lọc cộng tác dựa trên đánh giá của người dùng nên không có giới hạn về lĩnh vực, không cần phải phân tích, hiểu hoặc đánh chỉ số cho nội dung cần lọc

+ Lọc cộng tác không yêu cầu phải mô tả những thông tin sản phẩm một cách tường minh

+ Trong lọc cộng tác, một sản phẩm được gợi ý cho người dùng nếu một người dùng khác có sở thích tương đồng, do đó sẽ có khả năng người dùng có sở thích tương đồng lại không phải là cái mà người được gợi ý đang tìm kiếm

+ Khả năng ứng dụng của lọc cộng tác vào thực tiễn rất cao như ứng dụng vào thương mại (website mua bán lớn nhất thế giới Amazon) Sự chuyển dịch thành công của lọc cộng tác từ nghiên cứu sang thương mại trong một thời gian ngắn một phần là do ưu điểm, tính hữu ích, cùng với khả năng ứng dụng lớn của nó đã được công nhận

Trang 32

2.1.2 Các hình thức tiếp cận

2.1.2.1 Phương pháp tiếp cận dựa trên bộ nhớ (Memory base)

Ý tưởng: Giải thuật lọc cộng tác dựa trên bộ nhớ sử dụng các cơ sở dữ liệu người dùng - sản phẩm để dự đoán Những hệ thống triển khai kỹ thuật thống kê

để tìm những lựa chọn của người dùng, như biết người lân cận, có lịch sử phù hợp với người dùng đích (ví dụ, người dùng đánh giá tương tự các sản phẩm khác nhau hoặc có khuynh hướng mua những sản phẩm tương tự nhau) Một khi lân cận của người dùng được hình thành, hệ thống sử dụng những giải thuật khác nhau để kết hợp những sở thích của người dùng lân cận để đề xuất một dự đoán hoặc một gợi ý cho người dùng

Ưu điểm:

- Tính đơn giản: triển khai khá đơn giản

- Khả năng diễn giải: giúp người dùng hiểu vì sao đưa ra các gợi ý trên

- Tính hiệu quả: là điểm mạnh nhất của hệ thống gợi ý

- Tính ổn định: khi một người dùng hoặc một sản phẩm mới vào hệ thống thì chỉ cần tính toán lại một vài thông số về độ tương đồng sau một vài hành vi của người dùng

Nhược điểm:

- Thiếu tính bao quát (Limited Coverage): Phương pháp này chủ yếu dựa trên độ tương đồng của các lân cận Chính vì thế 2 đối tượng được xem là tương đồng khi và chỉ khi chúng đều được đánh giá như nhau hoặc 2 người dùng được xem là tương đồng nếu họ có cùng các đánh giá trên cùng các sản phẩm Giả định này làm cho việc gợi ý bị giới hạn

- Dữ liệu thưa: Khi trong hệ thống xuất hiện càng nhiều người dùng, đồng thời số lượng đối tượng dùng gợi ý tăng lên, trong khi đó số lượng đánh giá của mỗi người dùng trên mỗi đối tượng chỉ dừng lại ở mức 5 đến 10 đánh giá Chính

vì thế làm cho ma trận đánh giá UxI trở nên thưa, đồng thời làm tập đối tượng được gợi ý chung bởi 2 người dùng càng trở nên nhỏ hơn Cuối cùng, kết quả của gợi ý trở nên không chính xác và đáng tin cậy

2.1.2.2 Phương pháp tiếp cận dựa trên mô hình (Model-based)

Ý tưởng: Ngược lại với phương pháp dựa trên bộ nhớ, phương pháp tiếp cận dựa trên mô hình không sử dụng tất cả dữ liệu đã có để đưa ra dự đoán Thay vào đó, chúng nắm bắt thông tin trong từng bước giống như một sự thoả thuận về mô hình các sở thích của người dùng Giải thuật loại này thuộc phương pháp tính xác suất và xử lý lọc cộng tác như tính toán giá trị kỳ vọng của một dự đoán người dùng, cho đánh giá của người đó với các sản phẩm khác Xử lý xây

Trang 33

dựng mô hình được thực hiện bởi nhiều các giải thuật học máy khác nhau như mạng Bayes, phân cụm, và phương pháp dựa trên luật (rule-based), mô hình hồi quy tuyến tính, mô hình entropy cực đại…Phương pháp áp dụng tiếp cận dựa trên mô hình: Phương pháp giảm số chiều và phương pháp đồ thị

Ưu điểm: Nó có nhiều thuận lợi trong việc cung cấp nhanh và những

dự đoán chính xác, giảm thiểu đi tính nhạy cảm trong trường hợp ít dữ liệu

Nhược điểm: Chúng thường yêu cầu thời gian để nắm bắt mô hình, làm

giảm đi hiệu quả trong việc cài đặt trên các ứng dụng trực tuyến - nơi mà dữ liệu thường xuyên được thêm vào

Trên cơ cở những phân tích trên, ta sử dụng một trong những phương pháp lọc cộng tác dựa trên mô hình đó là kỹ thuật phân rã ma trận (Matrix Factorization - MF)[14] Kỹ thuật MF có độ tin cậy cao hơn so với các kỹ thuật khác hiện nay

2.2 KỸ THUẬT PHÂN RÃ MA TRẬN

Kỹ thuật phân rã ma trận được xem là kỹ thuật tiến bộ nhất trong số các kỹ thuật dùng trong phương pháp CF vì nó cho phép ta khám phá ra những đặc tính tiềm ẩn nằm bên dưới các tương tác giữa người dùng và hạng mục

Một trong những thành công nhất của mô hình thuộc tính ẩn (Latent Factor Model) là dựa trên phân tích ma trận Trong hình thức cơ bản, ma trận thừa số được đặc trưng bởi các sản phẩm và người dùng bằng các vectơ của các yếu tố được suy ra từ mô hình đánh giá sản phẩm Phương pháp này ngày càng trở nên phổ biến bằng cách kết hợp khả năng mở rộng tốt và độ chính xác cao

Hệ thống gợi ý dựa trên các loại dữ liệu đầu vào khác nhau, thường được đặt trong một ma trận hai chiều với một chiều biểu diễn cho các người dùng và chiều còn lại là các sản phẩm được người dùng quan tâm Có 2 phương pháp thu thập dữ liệu Thu thập dữ liệu trực tiếp qua thông tin phản hồi trực tiếp

(explicit feedback) từ phía người dùng về quan tâm của họ dành cho sản phẩm

Các quan tâm này thường được đặc trưng bởi các con số được gọi là điểm đánh giá Ma trận điểm đánh giá từ thu thập trực tiếp thường là các ma trận thưa vì bất kỳ một người dùng nào cũng thường có xu hướng chỉ đánh giá một tỉ lệ nhỏ các hạng mục có sẵn Trường hợp không thu thập dữ liệu trực tiếp được, hệ tư

vấn sẽ phải thu thập dữ liệu gián tiếp (implicit feedback) để suy diễn ra các quan

tâm của người dùng bằng cách quan sát thái độ của người dùng trong quá khứ

từ các dữ liệu lịch sử đi mua, duyệt các dữ liệu này để tìm kiếm các mô hình, …

Dữ liệu gián tiếp thường là có hoặc không có một sự kiện nào đó nên ma trận

Trang 34

ˆ

dữ liệu là một ma trận dầy đặc Điểm mạnh của phương pháp phân rã ma trận là khả năng cho phép kết hợp thông tin bổ sung, xử lý được các trường hợp mà Content filtering khó xử lý như người dùng mới, sản phẩm mới

Mục đích của kỹ thuật phân rã ma trận là việc chia một ma trận lớn X thành hai ma trận có kích thước nhỏ hơn W và H, sao cho ta có thể xây dựng lại X từ

hai ma trận nhỏ hơn này càng chính xác càng tốt, nghĩa là:

Ví dụ, X là ma trận được tạo nên từ việc xếp hàng của người dùng U và

Item(địa điểm du lịch) I Thông thường, khi tiến hành đánh giá các xếp hạng chỉ dựa vào tiêu chí người dùng – địa điểm du lịch thì sự đánh giá này không được chính xác Do vậy, cần phải được đánh giá trên nhiều tiêu chí khác, từ

đó cần có một số K tiêu chí để phân tích ma trận xếp hàng ban đầu thành hai

ma trận nhỏ hơn, có sự tham gia của các tiêu chí ẩn Điều này cho thấy việc đánh giá các xếp hạng có độ chính xác cao hơn

Gọi w uk và h ik là các phần tử tương ứng của hai ma trận W và H, khi đó

xếp hạng của người dùng u trên mục tin i được dự đoán bởi công thức:

e ui là sai số huấn luyện trên xếp hạng thứ (u,i)

Như vậy, vấn đề then chốt của kỹ thuật phân rã ma trận là làm thế nào để

tìm được giá trị của hai tham số W và H Hai tham số này có được bằng cách tối

Trang 35

ưu hóa hàm mục tiêu (objective function) Trong hệ thống gợi ý, hàm mục tiêu của phân rã ma trận hay được sử dụng như sau :

𝑂𝑀𝐹 = ∑ 𝑒𝑢,𝑖2

𝑢,𝑖∈𝑋

= ∑ (𝑟𝑢𝑖 − 𝑟̂)𝑢𝑖 2 𝑢,𝑖∈𝑋

= ∑ (𝑟𝑢𝑖 − ∑ 𝑊𝑢𝑘𝐻𝑖𝑘

𝑘 𝑘=1

)2

phải xác định là nên tăng hay nên giảm các giá trị của W và H qua mỗi lần cập

nhật, do vậy cần phải tìm đạo hàm từng phần của chúng:

sẽ được cập nhập ngược hướng với giá trị của đạo hàm, qua công thức :

Chính tắc hóa (Regularization): Để ngăn ngừa sự quá khớp hay còn gọi là

học vẹt (overfitting – xảy ra khi mô hình dự đoán cho kết quả tốt trên dữ liệu huấn luyện, nhưng cho kết quả kém trên dữ liệu thử nghiệm) người ta thay đổi hàm mục tiêu (2.2) bằng cách thêm vào một đại lượng gọi là chính tắc hóa

(regularization) để điều khiển độ lớn của các giá trị trong W và H Hàm mục

tiêu (2.2) bây giờ trở thành:

Trang 36

2 2 2

1 ,

Train

K MF

Trong đó  là hệ số chính tắc hoá (0 <1) và là chuẩn Frobenius Với

hàm mục tiêu mới này, giá trị của w uk và h ik được cập nhập theo công thức:

Quá trình cập nhập giá trị của W và H được lặp lại cho đến khi đạt độ lỗi

chấp nhận hoặc lặp lại đến số lần quy định trước

Quá trình dự đoán: Sau quá trình huấn luyện ta được 2 ma trận W và H đã tối ưu thì quá trình dự đoán (công thức 2.2) được thực hiện như minh họa trong Hình 2.4

Hình 2.4 Minh hoạ dự đoán người dùng thứ 3 cho item thứ 3

Thuật toán phân rã ma trận

Đầu vào: Một bộ dữ liệu huấn luyện X, giá trị khởi tạo bạn đầu W0 và H0

Đầu ra: Hai ma trận W và H

1: procedure MF (DTrain,K, β, λ, stopping condition)

// W[|U|][K] và H[|I|][K] là 2 tham số cần tìm

2: W := N(0,σ2) //khởi tạo giá trị theo phân phối chuẩn

3: H := N(0, σ2) //khởi tạo giá trị theo phân phối chuẩn

Ngày đăng: 14/07/2020, 14:40

TỪ KHÓA LIÊN QUAN

TRÍCH ĐOẠN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

🧩 Sản phẩm bạn có thể quan tâm

w