Xây Dựng Hệ Thống Đề Xuất Dựa Trên Mô Hình Lọc Nơron Cộng Tác (Neural Collaborative Filtering).Pdf

Chính vì vậy, đề tài này được thực hiện nhằm xây dựng hệ thống đề xuất dựa trên mô hình lọc Nơron cộng tác, với nhiệm vụ chính là phân tích dữ liệu hành vi từ người dùng để từ đó có thể

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC UEH - TRƯỜNG CÔNG NGHỆ VÀ THIẾT KẾ KHOA CÔNG NGHỆ THÔNG TIN KINH DOANH CHUYÊN NGÀNH: Thương mại điện tử

Khóa luận tốt nghiệp

XÂY DỰNG HỆ THỐNG ĐỀ XUẤT DỰA TRÊN MÔ HÌNH LỌC NƠRON

CỘNG TÁC (NEURAL COLLABORATIVE FILTERING)

Họ tên sinh viên:

Nguyễn Minh Nhật

Mã sinh viên: 31191025431 Lớp: EC001 Khóa: 45

Họ tên giáo viên hướng dẫn: Đặng Thái Thịnh

Niên khóa: 2019 - 2023

Tp Hồ Chí Minh, ngày 23 tháng 10 năm 2022

LỜI CÁM ƠN

Đầu tiên, em xin chân thành được bày tỏ lời cảm ơn đến thầy Đặng Thái Thịnh,

thầy đã tận tình hướng dẫn, giúp đỡ và đưa ra những góp ý tỉ mỉ trong suốt thời gian

qua Thầy cũng là người hỗ trợ em với những ý tưởng cũng như đảm bảo tính phù hợp của luận văn, qua đó có thể giúp em hoàn thiện khóa luận một cách trọn vẹn

Ngoài ra, em cũng xin cảm ơn Ban lãnh đạo Trường Đại học UEH cũng như các

phòng ban của trường đã tạo điều kiện, cơ sở vật chất để em có cơ hội và môi trường

học tập và rèn luyện

Bên cạnh đó, trong suốt quá trình học tập tại trường Công nghệ và Thiết kế - Đại học UEH, em đã nhận được rất nhiều sự hỗ trợ, giúp đỡ từ các thầy cô bộ môn, chính

vì vậy nên em xin đươc gửi lời cảm ơn đến tập thể các thầy cô công tác Đại học UEH

nói chung và khoa công nghệ thông tin kinh doanh nói riêng Em cám ơn các thầy cô

vì đã luôn tận tâm chỉ bảo cũng như tạo điều kiện tốt nhất cho sinh viên trong suốt quá trình học tập, nghiên cứu tại trường Những kiến thức mà chúng em nhận được sẽ là

hành trang giúp chúng em vững bước, tự tin hơn trong tương lai

Cuối cùng, em cũng xin cám ơn gia đình và bạn bè - Những người đã hết sức ủng

hộ, giúp đỡ và động viên em trong suốt quá trình học tập đã qua

Mục lục LỜI CÁM ƠN I DANH MỤC THUẬT NGỮ VÀ CHỮ VIẾT TẮT IV DANH MỤC HÌNH ẢNH VI DANH MỤC BẢNG BIỂU VII

MỞ ĐẦU VIII

NỘI DUNG 1

Chương 1 Tổng quan về hệ thống đề xuất 1

1.1 Giới thiệu về hệ thống đề xuất 1

1.2 Một số khái niệm chung 2

1.3 Phương thức hoạt động của hệ thống đề xuất 3

1.3.1 Phát biểu bài toán đề xuất 4

1.3.2 Các phương thức tiếp cận 4

1.4 Đo lường và đánh giá hệ thống đề xuất 19

1.4.1 Mục tiêu đánh giá 20

1.4.2 Nguyên lý đánh giá 21

1.4.3 Loại thí nghiệm đánh giá 22

1.4.4 Phương diện đánh giá 26

Chương 2 Mô hình lọc Noron cộng tác (Neural Collaborative Filtering) 30

2.1 Giới thiệu về học sâu 30

2.1.1 Tổng quan về học sâu 30

2.1.2 Hệ thống đề xuất dựa trên học sâu 31

2.1.3 Các kỹ thuật học sâu 31

2.2 Lọc Nơron cộng tác cho tác vụ cá nhân hóa đánh giá 36

2.2.1 Giới thiệu hướng tiếp cận lọc Nơron cộng tác 36

2.2.2 Bài toán lọc nơron cộng tác 36

2.2.3 Kiến trúc tổng quát 38

2.2.4 Mô hình GMF 40

2.2.5 Mô hình MLP 41

2.2.6 Kết hợp GMF và MLP 41

Chương 3 Cài đặt, thử nghiệm mô hình 42

3.1 Môi trường và những công cụ được sử dụng 42

3.1.1 Bộ dữ liệu mẫu Movielens 42

3.1.2 Google Colaboratory 43

3.1.3 Thư viện Tensorflow 44

3.1.4 Thư viện Pandas 44

3.1.5 Thư viện Numpy 44

3.1.6 Kho lưu trữ đề xuất Microsoft (Microsoft Recommender Repository) 45

3.2 Cài đặt mô hình 48

3.2.1 Bộ dữ liệu Movielens-100K 48

3.2.2 Chuẩn bị dữ liệu 52

3.2.3 Huấn luyện mô hình dựa trên thư viện Tensorflow 52

3.2.4 Dự đoán và đánh giá mô hình 53

3.2.5 Đánh giá Leave-one-out 56

3.2.6 Huấn luyện trước 56

3.3 Kiểm định giả thuyết thống kê 57

3.3.1 Mô tả 57

3.3.2 Kiểm định 1 59

3.3.3 Kiểm định 2 60

KẾT LUẬN VÀ ĐỀ XUẤT 61

TÀI LIỆU THAM KHẢO 63

PHỤ LỤC 67

DANH MỤC THUẬT NGỮ VÀ CHỮ VIẾT TẮT

14 Term Frequency - Inverse

Document Frequency TF – IDF

Tần số thuật ngữ - Tần số tài liệu nghịch đảo

18 Artificial Neural Network ANN Mạng Nơron nhân tạo

20 Dimensionality Reduction DR Giảm chiều dữ liệu

21 Matrix Factorization MF Thừa số hóa/Phân rã ma

trận

25 Clustering - Phân cụm

29 Multi Layer Perceptron MLP Perceptron đa lớp

31 Recurrent Neural Network RNN Mạng nơron hồi tiếp

40 Mean Average Precision MAP Độ chính xác trung bình

phương

42 Root Mean Square Error RMSE sai số trung bình bình

phương theo căn bậc hai

43 Mean Absolute Error MAE Sai số trung bình tuyệt đối

Sai số trung bình tuyệt đối

chuẩn hóa

DANH MỤC HÌNH ẢNH

Hình 1: Mô tả kiến trúc cấp cao của hệ thống đề xuất dựa trên phương thức tiếp cận lọc nội

dung 8

Hình 2: Cơ chế lọc nội dung 9

Hình 3: Nguyên lý hoạt động của mạng Nơron nhân tạo 16

Hình 4: Khung đánh giá hệ thống đề xuất 20

Hình 5: Mạng Perceptron đa lớp 32

Hình 6: Bộ mã hóa tự động 33

Hình 7: Mạng Nơron tích chập 34

Hình 8: Mạng Nơron hồi tiếp 35

Hình 9: Mạng Nơron khởi tạo đối nghịch 35

Hình 10: Cách thức hoạt động của phương pháp MF 37

Hình 11: Kiến trúc cấp cao của hệ thống đề xuất dựa trên phương thức lọc Nơron cộng tác 38

Hình 12: Minh họa mô hình NeuMF 42

Hình 13: Quy trình công việc của kho lưu trữ đề xuất Microsoft 47

Hình 14: Phân bố dữ liệu đánh giá 49

Hình 15: Thống kê số lượng phim dựa trên thể loại 50

Hình 16: Thống kê số lượng phim dựa trên năm phát hành 50

Hình 17: Thống kê lượt đánh giá dựa trên giới tính 51

Hình 18: Mức độ phổ biến của mỗi thể loại theo giới tính 51

Hình 19: Đánh giá bởi người dùng nam và nữ 52

Hình 20: Biểu diễn sự thay đổi của các chỉ số khi số lượng nhân tố tiềm ẩn thay đổi 54

Hình 21: Ảnh hưởng của TopK (1 - 10) lên NDCG 55

Hình 22: Ảnh hưởng của TopK (10 - 25) lên NDCG 55

Hình 23: Phân bố dữ liệu của biến prediction 59

DANH MỤC BẢNG BIỂU

Bảng 1: Tóm tắt các phương pháp thí nghiệm 26

Bảng 2: So sánh giữa phản hồi tường minh và phản hồi tiềm ẩn 26

Bảng 3: Tổng quan về các thước đo đánh giá 30

Bảng 4: Phân loại hệ thống đề xuất dựa trên học sâu 31

Bảng 5: Các thuật toán của kho lưu trữ đề xuất Microsoft 47

Bảng 6: Tổng quan bộ dữ liệu Movielens 48

Bảng 7: Giá trị dự đoán (lấy ngẫu nhiên 10 giá trị) cho người dùng u với bộ phim i 53

Bảng 8: Thống kê ảnh hưởng của việc thay đổi Epochs lên bộ chỉ số đánh giá 54

Bảng 9: Thống kê ảnh hưởng của việc thay đổi số lượng nhân tố tiềm ẩn 54

Bảng 10: Kết quả đánh giá Leave - one - out 56

Bảng 11: So sánh hiệu năng mô hình khi được huấn luyện trước 56

Bảng 12: Dữ liệu dự đoán 57

Bảng 13: Mô tả các thuộc tính 57

Bảng 14: Thống kê mô tả của biến Type 58

Bảng 15: Thống kê mô tả của prediction và rating 58

Bảng 16: Kết quả kiểm định Anova một chiều giữa 3 nhóm phim có đánh giá Cao, Thấp, Trung bình 60

Bảng 17: Kết quả kiểm định Anova một chiều giữa 2 nhóm phim có đánh giá Cao/Thấp và Trung bình 60

MỞ ĐẦU

1 Lý do lựa chọn đề tài

Sự tiến bộ vượt bậc của công nghệ nói chung và mạng Internet nói riêng đã tạo điều kiện thuận lợi để thương mại điện tử có thể phát triển một cách mạnh mẽ trong thời gian gần đây Sự phát triển này đã đem lại cho người tiêu dùng rất nhiều lợi ích, một trong số đó chính là khả năng lựa chọn và tiếp cận với nhiều sản phẩm, dịch vụ đa dạng

và dễ dàng hơn Tuy nhiên, sự đa dạng về mặt lựa chọn này đôi khi trở nên quá tải về mặt thông tin, gây bối rối cho người tiêu dùng Chính vì vậy, đề tài này được thực hiện nhằm xây dựng hệ thống đề xuất dựa trên mô hình lọc Nơron cộng tác, với nhiệm vụ chính là phân tích dữ liệu hành vi từ người dùng để từ đó có thể đưa ra các đề xuất ý nghĩa, hỗ trợ người dùng đưa ra lựa chọn dễ dàng hơn và nâng cao trải nghiệm người dùng

2 Mục tiêu nghiên cứu

Đề tài gồm những mục tiêu nghiên cứu cụ thể sau:

+ Tìm hiểu, hệ thống hóa các khái niệm liên quan đến hệ thống đề xuất

+ Tập trung vào giải quyết bài toán đề xuất cộng tác dựa trên dữ liệu tiềm ẩn + Ứng dụng khung mô hình lọc Nơron cộng tác để mô hình hóa tương tác người dùng và mặt hàng, từ đó xây dựng hệ thống đề xuất phim dựa trên tập dữ liệu mẫu Movielens

3 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu của đề tài bao gồm:

+ Các khái niệm liên quan đến hệ thống đề xuất nói chung và phương pháp lọc Nơron cộng tác nói riêng

+ Các hướng tiếp cận để xây dựng và đánh giá hệ thống đề xuất

4 Phương pháp nghiên cứu

Hai phương pháp nghiên cứu chính được thực hiện trong đề tài là: phương pháp phân tích tổng hợp và thu thập thông tin từ nguồn dữ liệu thứ cấp

NỘI DUNG Chương 1 Tổng quan về hệ thống đề xuất

1.1 Giới thiệu về hệ thống đề xuất

Sự bùng nổ của công nghệ thông tin nói chung và mạng Internet nói riêng, cùng với

xu thế toàn cầu hóa, đã tạo điều kiện để các nhà cung cấp hàng hóa, dịch vụ hoạt động trực tuyến có thể tiếp cận với khách hàng của mình một cách nhanh chóng và dễ dàng

mà không bị giới hạn về mặt không gian địa lý Vô số thông tin mới về sản phẩm, dịch

vụ được gửi đến khách hàng mỗi ngày Chẳng hạn như: trong năm 2019 mỗi phút có khoảng 500 giờ xem video được tải lên Youtube, trong năm 2021 quảng cáo trên Facebook Marketplace tiếp cận 562 triệu người, trong năm 2022 có khoảng 867 triệu tweet được gửi mỗi ngày,…

Đây vừa là cơ hội vừa là thách thức cho cả người mua và người bán Cụ thể, đối với người mua, họ sẽ có nhiều lựa chọn hơn để có thể đáp ứng nhu cầu của mình Tuy nhiên, với lượng thông tin đồ sộ đến từ các nền tảng tiếp thị, người mua sẽ gặp khó khăn trong việc ra quyết định lựa chọn sử dụng sản phẩm: họ không biết mình nên mua loại hàng hóa nào, xem bộ phim nào, hay nghe bản nhạc gì thì phù hợp với sở thích và mong muốn của bản thân Ngay cả việc thấu hiểu nhu cầu của chính mình cũng trở nên khó khăn khi phải đối mặt với tình trạng quá tải thông tin Đối với người bán, họ phải liên tục cá nhân hóa nỗ lực tiếp thị nhằm mang lại trải nghiệm tốt hơn cho khách hàng cũng như giữ vững vị thế cạnh tranh trên thị trường Hệ quả là việc thu thập khối lượng lớn dữ liệu giao dịch đã trở nên phổ biến đối với các doanh nghiệp, qua đó cho phép những phân tích sâu hơn về hành vi cũng như thị hiếu của khách hàng được thực hiện (Sammut & Webb, 2017)

Chính vì vậy, hệ thống đề xuất đã được phát triển như một cách thức để đáp ứng nhu cầu kép của cả người mua và người bán bằng cách tự động hóa việc tạo ra các khuyến nghị dựa trên phân tích dữ liệu (Sammut & Webb, 2017) Nhờ có hệ thống đề xuất, người mua dễ dàng tìm được sản phẩm mình mong muốn giữa vô vàn sản phẩm hiện hành Hơn thế nữa, khi họ thực hiện tương tác với sản phẩm như thích/không thích, bình luận, chia sẻ, Những tương tác này có thể được sử dụng như dữ liệu đầu vào cho hệ

thống đề xuất để hệ thống có thể “học” tốt hơn, qua đó có thể đưa ra những đề xuất sâu sắc và hữu ích hơn cho người tiêu dùng Mang lại giá trị cho cả người tiêu dùng và doanh nghiệp

1.2 Một số khái niệm chung

Hệ thống đề xuất - Recommender system (viết tắt là RS) là một hệ thống sử dụng các kỹ thuật khai phá dữ liệu khác nhau nhằm tạo ra các đề xuất có ý nghĩa cho người dùng Dựa trên dữ liệu về sản phẩm cũng như thông tin về hành vi của người tiêu dùng,

hệ thống đề xuất có thể khai phá những đặc điểm về mặt thị hiếu, sở thích, hành vi…

Để từ đó có thể hỗ trợ người tiêu dùng đưa ra những quyết định lựa chọn sản phẩm hoặc dịch vụ một cách nhanh chóng, hiệu quả và dễ dàng hơn

Mặt hàng (Item) là thuật ngữ chung được sử dụng để biểu thị những gì hệ thống đề xuất cho người dùng Mặt hàng có thể là tin tức, bài hát, sách, phim, hàng hóa, Thông thường hệ thống đề xuất sẽ tập trung vào một loại mặt hàng cụ thể nhằm tạo các đề xuất đều được tùy chỉnh để cung cấp gợi ý cho loại mặt hàng cụ thể đó

Hồ sơ người dùng (User Profile) có nhiệm vụ biểu diễn sở thích của người dùng và giúp

hệ thống dự đoán liệu một mặt hàng có hữu ích với người dùng đó hay không và mức

độ hữu ích như thế nào Dữ liệu để xây dựng hồ sơ người dùng thường được sử dụng dựa trên hai loại phản hồi chính là phản hồi tường minh (explicit feedback) và phản hồi tiềm ẩn (implicit feedback) Phản hồi tường minh sẽ yêu cầu người dùng thực hiện một hành động cụ thể và tạo ra dữ liệu trực tiếp cho hệ thống đề xuất Có 3 cách tiếp cận chính để nhận được phản hồi tường minh (Francesco Ricci, 2015):

• Thích/không thích: Mặt hàng được phân loại là "có liên quan" hoặc "không liên

quan" bằng cách áp dụng thang xếp hạng nhị phân đơn giản

• Xếp hạng: Thang điểm số rời rạc để đánh giá mặt hàng

• Bình luận văn bản: Các bình luận về một mục đơn lẻ được thu thập và trình bày

cho người dùng như một phương tiện hỗ trợ quá trình ra quyết định

Phản hồi tiềm ẩn mặt khác lại là kết quả của việc thu thập dữ liệu gián tiếp từ những tương tác của người dùng, chẳng hạn như: thời gian khách hàng truy cập một trang web, thời gian xem một video, số lượt tìm kiếm trên Google, lượt tweet lại của một bài đăng, Trong một số trường hợp khi người dùng không muốn bỏ ra nỗ lực để đưa ra phản hồi,

việc sử dụng phản hồi tiềm ẩn sẽ giúp hệ thống suy luận thông tin về sở thích của họ, tuy nhiên khả năng mô tả sở thích sẽ hạn chế hơn so với phản hồi tường minh.

Ma trận tương tác người dùng - mặt hàng (Utility Matrix) là một cơ sở dữ liệu thể hiện

sở thích hoặc đánh giá của mỗi người dùng (User) đối với từng mặt hàng (Item) có trong

hệ thống Mỗi hàng của ma trận này sẽ đại diện cho một người dùng và mỗi cột sẽ đại diện cho một sản phẩm Như vậy, giá trị tại mỗi ô của ma trận sẽ tương ứng với đánh giá (Rating) của người dùng cho mặt hàng đó

Tuy nhiên, người dùng hiếm khi đánh giá đầy đủ tất cả những mặt hàng mà họ từng trải nghiệm, hoặc nếu có thì những đánh giá đó tương đối hạn chế Điều này dẫn đến hệ quả

là ma trận tương tác người dùng - sản phẩm sẽ bị khuyết giá trị ở một số ô - hay còn gọi

là vấn đề về dữ liệu thưa (data sparsity), gây ảnh hưởng đến mức độ hiệu quả hoạt động

của những hệ thống đề xuất sử dụng thuật toán đề xuất dựa trên bộ nhớ Ngoài ra, khi

hệ thống xuất hiện người dùng hoặc sản phẩm mới thì giá trị tương ứng với những người dùng/sản phẩm này trong ma trận sẽ bị trống hoàn toàn do thiếu dữ liệu tương tác Vấn

đề này còn được biết đến là vấn đề khởi động nguội (Cold - Start problem)

1.3 Phương thức hoạt động của hệ thống đề xuất

Trong thực tế, khi người tiêu dùng thực hiện hành vi mua sắm sản phẩm, họ thường

sử dụng hai phương thức tiếp cận chính:

• Một là tìm kiếm thông tin chi tiết về sản phẩm như thành phần, tính năng, thương hiệu, Và đối chiếu những thông tin này với nhu cầu, mục đích của bản thân để

có thể đưa ra quyết định

• Hai là tìm kiếm thông tin, tham khảo ý kiến từ những người xung quanh như bạn

bè, người thân, đồng nghiệp, để có thể nhận được đề xuất về sản phẩm

Xuất phát từ quan sát trên, những hệ thống đề xuất đã được xây dựng để có thể tự động hóa những quy trình đề xuất sản phẩm cho người tiêu dùng Hệ thống đề xuất thực hiện việc này bằng cách dựa trên những quan hệ chủ yếu như: người dùng - người dùng (User

- User), mặt hàng - mặt hàng (Item - Item), người dùng - mặt hàng (User - Item)

1.3.1 Phát biểu bài toán đề xuất

• Hướng tiếp cận lai (Hybrid approach): kết hợp một số kỹ thuật của cả hai phương thức tiếp cận trên

Lọc nội dung Truy hồi thông tin

(Information Retrieval)Phân cụm (Clustering)

Phân nhóm Bayesian (Bayesian classifier)

Phân cụm (Clustering)Cây quyết định (Decision tree)Mạng nơron nhân tạo (Artificial neural network)

Lọc cộng tác Láng giềng gần nhất (Nearest

neighbor)Phân cụm (Clustering)

Lý thuyết đồ thị (Graph theory)

Phân cụm (Clustering)Luật kết hợp (Associating rules)Mạng Bayesian

Hồi quy tuyến tính (Linear Regression)

Mô hình xác suất (Probabilistic models)

Mô hình Entropy tối đa (maximum entropy model)

Hướng tiếp

cận lai

Lai có trọng số (Weighted hybridization)Lai chuyển đổi (Switching hybridization)Lai hỗn hợp (Mixed hybridization)

Lai nối tiếp (Cascade hybridization)Tăng cường đặc điểm (Feature augmentation)Kết hợp đặc điểm (Feature combination)Lai Meta (Meta level)

Bên cạnh đó, để có thể thích ứng với sự phát triển của mạng Internet cũng như sự thay đổi trong hành vi của người tiêu dùng, các hệ thống đề xuất đang ngày càng nỗ lực để

có thể thu thập và tích hợp nhiều loại dữ liệu khác hơn (Bobadilla, Ortega, Hernando,

& Gutiérrez, 2013) Xu hướng này đã dẫn đến một số cách tiếp cận mới như:

• Nhận thức ngữ cảnh (Context aware): Tập trung khai thác thông tin ngữ cảnh gia tăng, chẳng hạn như thời gian, vị trí

• Hướng tiếp cận lấy cảm hứng từ sinh học (Bio-inspired): giải quyết bài toán đề xuất bằng cách sử dụng những mô hình sinh học Một số ví dụ điển hình là thuật toán di truyền (Genetic Algorithm) và mạng Nơron (Neural network)

Nội dung tiếp theo sẽ trình bày chi tiết hơn, cũng như phân tích ưu nhược điểm của 3 phương thức tiếp cận truyền thống trong phạm vi của đề tài

Ý tưởng chính của phương thức tiếp cận lọc nội dung là: nếu một người dùng thích/không thích một mặt hàng, họ cũng có khả năng sẽ thích/không thích những mặt hàng với đặc điểm tương tự như mặt hàng đó Dựa trên nguyên tắc này, hệ thống sẽ phân tích một tập hợp các tài liệu và/hoặc mô tả về các mặt hàng được người dùng xếp hạng trước đó nhằm xây dựng một mô hình hoặc hồ sơ về sở thích của người dùng dựa trên các đặc điểm (Features) của các mặt hàng được người dùng đó xếp hạng (Francesco Ricci, 2015) Hồ sơ về sở thích của người dùng sau đó có thể được sử dụng để tạo ra những đề xuất mới

Để đạt được mục đích trên, các phương pháp tiếp cận dựa trên lọc nội dung thường sẽ thực hiện những bước sau:

• Bước 1: Phân tích và biểu diễn nội dung mặt hàng p

• Bước 2: Mô hình hóa sở thích người dùng u Những sở thích sau khi được mô

hình hóa chính là tập hồ sơ người dùng

• Bước 3: Ước lượng giá trị hàm hữu ích dựa trên mức độ tương đồng (Similarity)

giữa mặt hàng đề xuất p và hồ sơ người dùng u

Theo Pasquale Lops và cộng sự (Lops, Gemmis, & Semeraro, 2011), hệ thống đề xuất dựa trên phương thức tiếp cận lọc nội dung sẽ bao gồm 3 nhiệm vụ chính là: Phân tích nội dung (Content Analyzer), Mô hình hóa hồ sơ người dùng (Profile Learner) và thành phần lọc (Filtering Component) Mỗi nhiệm vụ sẽ được đảm nhận bởi thành phần tương ứng như sau:

• Phân tích nội dung (Content Analyzer): vai trò chính của thành phần phân tích

nội dung là biểu diễn nội dung của các Item (ví dụ: tài liệu, trang Web, tin tức,

mô tả sản phẩm, v.v.) dưới dạng phù hợp cho các bước xử lý tiếp theo Nội dung của các Item sẽ được phân tích bởi các phương pháp rút trích đặc điểm (features extraction) và được chuyển đổi từ không gian gốc sang không gian đích tùy thuộc vào bài toán đề xuất (ví dụ: các trang Web được biểu thị dưới dạng vectơ từ khóa) Đây cũng chính là đầu vào cho hai thành phần tiếp theo là Mô hình hóa

hồ sơ người dùng và thành phần lọc

• Mô hình hóa hồ sơ người dùng (Profile learner): thành phần này có nhiệm vụ

chính là thu thập dữ liệu về sở thích của người dùng và cố gắng tổng quát hóa (generalize) dữ liệu này Thông thường, chiến lược tổng quát hóa được thực hiện thông qua các kỹ thuật học máy, để từ đó có thể suy ra một mô hình sở thích của người dùng bắt đầu từ các mục đã thích hoặc không thích trong quá khứ Tuy nhiên, việc sở thích của người dùng thay đổi theo thời gian là điều không thể tránh khỏi Chính vì vậy, hệ thống sẽ cần học lại định kỳ và cập nhật hồ sơ người dùng dựa trên tương tác giữa họ và hệ thống

• Thành phần lọc (Filtering Component): Thành phần này này khai thác hồ sơ

người dùng để đề xuất các mục có liên quan bằng cách đối sánh hồ sơ với các Item được đề xuất Kết quả đối sánh sẽ thể hiện mức độ quan tâm của người dùng đối với đối tượng đề xuất

Hình 1: Mô tả kiến trúc cấp cao của hệ thống đề xuất dựa trên phương thức tiếp cận lọc

và lưu trữ những thông tin này trong hệ thống cơ sở dữ liệu quan hệ Khi người dùng

mô tả sở thích về sách của họ dựa trên tập đặc điểm này, hệ thống có thể tính toán được mức độ phù hợp giữa sở thích của người dùng và sản phẩm để có thể đưa ra đề xuất Hiệu năng tính toán mức độ phù hợp này sẽ chủ yếu phụ thuộc vào kỹ thuật phân tích nội dung và phương pháp mô hình hóa hồ sơ người dùng

Hình 2: Cơ chế lọc nội dung

(*) Phân tích nội dung

Nội dung của một Những đặc điểm của một mặt hàng chủ yếu sẽ được mô tả dưới dạng tập các từ khóa Trong không gian vector thì những từ khóa mô tả đặc điểm của mỗi một mặt hàng p ∈ P có thể được biểu diễn dưới dạng một vector đặc điểm như sau:

Trọng số của mỗi chiều wi,p trong vector wp , hay mức độ quan trọng của mỗi từ khóa

có thể được xác định dựa trên kỹ thuật truy hồi thông tin Một kỹ thuật thường được sử dụng là phương pháp tần số thuật ngữ / tần số tài liệu nghịch đảo (TF - IDF)

(*) Mô hình hóa hồ sơ người dùng

Dựa trên tập đặc điểm biểu diễn nội dung mặt hàng mà người dùng quan tâm, ta

có thể xây dựng hồ sơ người dùng tương ứng khi họ thể hiện sự quan tâm như đánh giá,

tương tác với mặt hàng trên hệ thống Nói cách khác, nếu một mặt hàng có thể có k đặc điểm, hồ sơ người dùng cũng có thể được biểu diễn dưới dạng một vecto với k chiều như sau:

• Sự minh bạch

Cách thức hoạt động của hệ thống lọc nội dung có thể được cung cấp và giải thích bằng cách liệt kê rõ ràng các đặc điểm hoặc mô tả nội dung đã khiến một mặt hàng xuất hiện trong danh sách đề xuất Những đặc điểm đó là các chỉ số cần tham khảo để quyết định có nên tin tưởng một đề xuất hay không

• Đáp ứng sở thích đặc thù của người dùng

Nhờ tập trung vào thông tin nội dung của mặt hàng, hệ thống lọc nội dung vẫn có khả năng khám phá được những sở thích đặc thù của người dùng ngay cả khi những mặt hàng phản ánh sở thích này ít phổ biến hơn trong ma trận tương tác người dùng - mặt hàng

• Mặt hàng mới

Hệ thống đề xuất dựa trên hướng tiếp cận lọc nội dung có khả năng đề xuất những mặt hàng chưa được bất kỳ người dùng nào xếp hạng Do đó, hệ thống không gặp khó khăn với vấn đề người xếp hạng đầu tiên (first - rater problem) - Vấn đề mà hệ thống đề xuất dựa trên lọc cộng tác chịu ảnh hưởng

Về mặt khuyết điểm, phương thức tiếp cận lọc nội dung tồn tại những khuyết điểm như sau:

• Phân tích nội dung có giới hạn

Để có thể rút trích được đặc điểm của mặt hàng, nội dung mặt hàng phải thuộc định dạng mà máy tính có phân tích cú pháp tự động, hoặc các đặc điểm này phải được gán cho mặt hàng một cách thủ công(Adomavicius & Tuzhilin, 2005) Điều này có thể được thực hiện bằng cách sử dụng kỹ thuật truy hồi thông tin, với điều kiện là nội dung được biểu diễn dưới dạng tài liệu văn bản Đối với dữ liệu đa phương tiện (phim ảnh, âm nhạc, ) thì khả năng rút trích thông tin sẽ hạn chế hơn, dẫn đến chất lượng thông tin theo đó cũng bị kéo xuống theo và hệ thống đề xuất sẽ khó có thể hoạt động hiệu quả

• Overspecialization

Đối với phương thức tiếp cận lọc nội dung, hệ thống sẽ đề xuất những mặt hàng có điểm cao khi đối sánh với hồ sơ người dùng, do đó người dùng sẽ nhận được những đề xuất tương tự với những gì mà họ đã xếp hạng trước đó Chính vì đặc điểm này nên những mặt hàng được đề xuất cho người dùng bởi hệ thống lọc nội dung thường mang tính “rập khuôn” cao (Overspecialization), gắn chặt với đặc điểm hành vi của người dùng Mong muốn “trải nghiệm một điều gì đó mới lạ” của người dùng sẽ khó được đáp ứng hơn bởi hệ thống Vấn đề này có thể được giải quyết bằng cách thêm một vài biến

số ngẫu nhiên hoặc lọc ra những mặt hàng với độ tương tự quá cao

• Người dùng mới (Khởi động nguội)

Để có thể mô hình hóa hồ sơ người dùng, hệ thống đề xuất dựa trên phương thức tiếp cận lọc nội dung sẽ cần dữ liệu đánh giá từ người dùng đó Chính vì vậy, những người dùng mới với ít đánh giá trên hệ thống sẽ khó nhận được đề xuất chính xác hơn

Ý tưởng chính của cách tiếp cận lọc cộng tác là khai thác thông tin về ý kiến hoặc hành

vi trong quá khứ của một cộng đồng người dùng nhằm dự đoán những mặt hàng nào mà người dùng hiện tại có thể sẽ thích hoặc quan tâm nhất(Jannach & Jugovac, 2019) Bằng cách này hệ thống có thể tận dụng mạng lưới thông tin sẵn có để có thể tạo ra các đề xuất ý nghĩa cho người dùng

Nhìn chung, các kỹ thuật đề xuất cộng tác có thể được phân thành hai loại chính là lọc cộng tác dựa trên bộ nhớ hoặc lọc cộng tác dựa trên mô hình Đối với cách tiếp cận lọc cộng tác dựa trên bộ nhớ, cơ sở dữ liệu xếp hạng gốc sẽ được lưu giữ trong bộ nhớ và được sử dụng trực tiếp để tạo ra các đề xuất Mặt khác, trong các phương pháp tiếp cận dựa trên mô hình, dữ liệu thô đầu tiên sẽ được xử lý ngoại tuyến trước bằng một số kỹ thuật như giảm chiều dữ liệu (dimensionality reduction) Tại thời điểm thực thi, chỉ mô hình được tính toán trước hoặc "đã học" mới được yêu cầu để đưa ra dự đoán

• Lọc cộng tác dựa trên bộ nhớ (Memory-based)

Phương pháp tiếp cận dựa trên bộ nhớ (Hay còn được biết đến là dựa trên kinh nghiệm - Heuristic based) sẽ dự đoán xếp hạng của người dùng dành cho mặt hàng dựa trên toàn bộ dữ liệu về những mặt hàng đã được xếp hạng trước đó bởi những người dùng trong hệ thống Theo đó, hệ thống lọc cộng tác có thể đưa ra đề xuất hoặc dựa trên đánh giá của những người dùng cùng sở thích đối với mặt hàng (Lọc dựa trên người dùng), hoặc dựa trên đánh giá của người dùng đối với những mặt hàng tương tự (Lọc dựa trên mặt hàng đề xuất)

Để có thể hiểu phương thức tiếp cận lọc dựa trên người dùng, trước hết cần phải đặt ra định nghĩa cho khái niệm “người dùng cùng sở thích” Một cách tổng quát, người dùng cùng sở thích với người dùng u có thể được xem là những người có hành vi tương tác trong quá khứ tương tự người dùng u trên cùng những mặt hàng nhất định Mức độ

tương tự có thể được tính toán dựa trên các thước đo tương tự (Cosine; hệ số tương quan Pearson; hệ số tương quan Spearman; Hệ số tương quan xếp hạng Kendall; chỉ số Jaccard; khoảng cách Euclid, Manhattan, Chebyshev) (Fkih, 2021).

Bên cạnh mức độ tương tự giữa người dùng - người dùng, mức độ tương tự giữa mặt hàng - mặt hàng cũng có thể được tính toán thông qua thang đo Cosine và hệ số tương quan Pearson Khi hệ thống ngày càng mở rộng với số lượng người dùng tăng theo tương ứng, hướng tiếp cận lọc dựa trên người dùng thường khó theo kịp sự mở rộng này vì mức độ phức tạp của việc tìm kiếm những người dùng tương tự tăng cao Ý tưởng lọc dựa trên mặt hàng đã được đề xuất để có thể giải quyết vấn đề trên

Về mặt ưu điểm, các thuật toán dựa trên bộ nhớ có thể đưa ra đề xuất với độ chính xác cao, đồng thời cũng có thể được áp dụng với các dữ liệu mới Tuy nhiên, vì thuộc nhóm phương pháp instance-based và cần lưu trữ toàn bộ dữ liệu về hồ sơ người dùng để thực hiện dự đoán, nên thời gian tính toán thường sẽ lâu hơn và cũng cần có bộ nhớ đủ lớn Điều này làm cho phương pháp trở nên không khả thi khi kích thước của bộ dữ liệu là rất lớn

• Lọc cộng tác dựa trên mô hình (Model-based)

Không giống như hướng tiếp cận dựa trên bộ nhớ, các thuật toán cộng tác dựa trên

mô hình sẽ tận dụng dữ liệu đánh giá có sẵn trong ma trận đánh giá để xây dựng và huấn luyện mô hình Sau đó, mô hình này được sử dụng để tạo ra kết quả đề xuất Cụ thể, mô hình sẽ được “học” bằng cách sử dụng các thuật toán học máy hoặc các kỹ thuật khai phá dữ liệu như:

¨ Luật kết hợp (Association rule): Mục tiêu của kỹ thuật này là khám phá các

mối quan hệ giữa một tập hợp lớn dữ liệu dựa trên việc mô tả các mối quan hệ giữa các đường dẫn điều hướng (navigation path) điển hình của người dùng trong quá khứ (Najafabadi, Mahrin, Chuprat, & Sarkan, 2017) Một cách tổng quát, sở thích của người dùng có thể được xác định bởi luật kết hợp dưới dạng ‘R: A -> B’, với A là mặt hàng người dùng quan tâm và B là mặt hàng mà người dùng có thể sẽ thích Hay nói cách khác, sự xuất hiện của mặt hàng A (Tiền thức) dẫn đến khả năng xuất hiện của mặt hàng B (Hệ quả) Ví dụ, một luật kết hợp ‘Thuốc lá, bật lửa -> Coca-Cola’ chỉ ra rằng khách hàng mua thuốc lá và bật lửa có xu hướng

mua thêm nước ngọt Coca-Cola Hiệu quả của luật kết hợp được đánh giá dựa trên 2 thước đo chính là độ hỗ trợ (Support) và độ tin cậy (Confidence), trong đó

độ hỗ trợ thể hiện tần suất của luật kết hợp R trong tổng số giao dịch và độ tin cậy thể hiện mức độ mạnh yếu của các kết hợp đó:

Độ hỗ trợ (A -> B) = !ố $ượ'( ()*+ ,ị./ /ứ* ả 2 3à 56ố 7ượ89 :ấ: <ả 9=>? @ị<A

( 4 )

Độ tin cậy (A -> B) = !ố $ượ'( ()*+ ,ị./ /ứ* ả 2 3à 56ố 7ượ89 9=>? @ị<A <Aứ> B

( 5 )

¨ Phân cụm (Clustering): Thuật toán phân cụm cố gắng phân vùng một tập dữ

liệu thành những cụm con với mỗi cụm sẽ là tập hợp các dữ liệu tương tự nhau Một thuật toán phân cụm tốt sẽ tạo ra mức độ tương tự cao giữa những đối tượng

dữ liệu trong cùng một cụm, trong khi các cụm khác nhau sẽ có mức độ tương tự thấp Phân cụm là một kỹ thuật khai phá dữ liệu khá phổ biến và đã được áp dụng trong nhiều lĩnh vực như nhận dạng mẫu, xử lý ảnh, thống kê, khai phá tri thức Các kỹ thuật phân cụm có thể được chia làm hai loại chính là: phân cụm cứng (trong đó mỗi điểm dữ liệu hoàn toàn là hoặc không là một phần của một cụm)

và phân cụm mềm (xác suất hoặc khả năng điểm dữ liệu nằm trong các cụm nhất định được chỉ định thay vì đặt mỗi điểm dữ liệu vào một cụm riêng biệt) (Faizan, Zuhairi, Ismail, & Sultan, 2020) Hệ thống lọc cộng tác áp dụng kỹ thuật phân cụm nhìn chung có khả năng mở rộng tốt hơn so với các hệ thống lọc cộng tác thông thường

¨ Cây quyết định (Decision tree): Cây quyết định là một kỹ thuật biểu diễn dữ

liệu dưới dạng phân cấp với mục đích chính là hỗ trợ cho quá trình ra quyết định Trong lĩnh vực khai phá dữ liệu, cây quyết định thường được ứng dụng cho các bài toán phân lớp (classification) và dự đoán (forecasting) dữ liệu 3 thành phần chính của cây quyết định là nút trong (Internal Node) biểu diễn một phép thử trên một thuộc tính, nhánh biểu thị một kết quả của phép thử và mỗi nút lá (hoặc nút đầu cuối) biểu diễn một nhãn lớp, trong đó nút trên cùng của một cây chính là

nút gốc Cấu trúc cây cho thấy cách một lựa chọn dẫn đến lựa chọn tiếp theo và việc sử dụng các nhánh cho thấy rằng mỗi lựa chọn là loại trừ lẫn nhau

¨ Hồi quy (Regression): Trong khai phá dữ liệu, hồi quy là một kỹ thuật được sử

dụng để dự đoán dữ liệu định lượng bị thiếu hoặc không có sẵn Một số phương pháp hồi quy phổ biến có thể kể đến như: hồi quy tuyến tính, hồi quy Logistic,

hồi quy đa thức, hồi quy Ridge, hồi quy Lasso, …

¨ Giảm chiều dữ liệu (Dimensionality reduction): mục đích của các kỹ thuật

giảm chiều dữ liệu là giảm trực tiếp số chiều của ma trận tương tác người dùng - mặt hàng bằng cách tạo các cụm mặt hàng hoặc người dùng Các cụm này sau đó

sẽ được sử dụng như đơn vị cơ bản để đưa ra đề xuất Một kỹ thuật tiêu biểu được

sử dụng để giảm chiều dữ liệu là thừa số hóa ma trận (Matrix factorization) Bằng việc tìm kiếm hai hoặc nhiều ma trận sao cho tích của những ma trận này chính

là ma trận được phân tích ban đầu, thừa số hóa ma trận giúp hệ thống có thể làm việc trên không gian dữ liệu nhỏ hơn Qua đó giải quyết được tình trạng dữ liệu thưa mà các kỹ thuật lọc cộng tác thường gặp khó khăn, tìm ra được các đặc trưng tiềm ẩn (Latent factor) thể hiện bản chất giữa người dùng và mặt hàng đề xuất

¨ Mạng Nơron nhân tạo (Artificial neural network): là một mô hình quản lý

thông tin được vận hành bằng cách mô phỏng lại hệ thống thần kinh sinh học của não người Đơn vị cơ bản nhất của một mạng Nơron nhân tạo là các nút Nơron được kết nối với nhau Mỗi nút này sẽ đại diện cho một hàm đầu ra cụ thể, hay còn gọi là hàm kích hoạt (activation function) Các kết nối giữa các nút sẽ đại diện cho mức độ ảnh hưởng của nút đó lên các nút xung quanh và được gán trọng

số tương ứng Chính vì vậy, kết quả đầu ra của một mạng Nơron nhân tạo sẽ phụ thuộc vào cách mà các nút trong mạng được kết nối và trọng số tương ứng với những kết nối này Mạng Nơron nhân tạo đã được ứng dụng để giải quyết nhiều vấn đề đa dạng như xếp hạng tín dụng, phân tích hành vi khách hàng, hỗ trợ ra quyết định, dự đoán tỷ giá hối đoái và lãi suất, phân tích tài chính, phân tích gian lận, tiếp thị và bán hàng (Tkác & Verner, 2016) Ưu điểm của mạng Nơron nhân tạo là khả năng xấp xỉ các hàm phi tuyến, nhờ đó có thể phát hiện những mối liên

hệ phức tạp ẩn trong dữ liệu Tuy nhiên, hiệu năng của mạng Nơron nhân tạo lại

phụ thuộc nhiều vào cấu trúc mạng mà việc tìm ra cấu trúc tối ưu thường phức tạp và tốn nhiều tài nguyên

Hình 3: Nguyên lý hoạt động của mạng Nơron nhân tạo

Để có thể đưa ra kết quả tốt hơn cũng như khắc phục nhược điểm, giới hạn của hướng tiếp cận lọc cộng tác và lọc nội dung, một số hệ thống đề xuất đã kết hợp những

kỹ thuật từ cả hai hướng tiếp cận trên theo những cách sau:

- Triển khai các phương pháp lọc cộng tác và lọc dựa trên nội dung một cách riêng biệt và kết hợp các dự đoán của chúng

- Kết hợp một số đặc trưng của phương pháp lọc nội dung vào phương pháp lọc cộng tác

- Kết hợp một số đặc trưng của phương pháp lọc cộng tác vào phương pháp lọc nội dung

- Xây dựng một mô hình đồng nhất tổng quát kết hợp cả đặc trưng của lọc cộng tác và lọc nội dung

Đặc điểm chi tiết của các phương pháp lai khác nhau sẽ được mô tả ở nội dung dưới đây(Burke, 2002):

• Lai có trọng số (Weighted hybridization)

Thông thường, phương pháp lai có trọng số sẽ sử dụng các hàm tuyến tính có trọng

số để tính toán và tổng hợp điểm số của các mặt hàng được đề xuất bằng các kỹ thuật

đề xuất khác nhau Hệ thống lọc tin tức trực tuyến P-Tango (Mark, 1999) là một trong những hệ thống đề xuất có trọng số đầu tiên P-Tango đã kết hợp theo cách tuyến tính

có trọng số điểm đánh giá của phương pháp lọc cộng tác và lọc nội dung để đề xuất tin tức cho người dùng Ban đầu, việc tổng hợp được thực hiện với trọng số bằng nhau cho mỗi điểm đánh giá và sau đó có thể điều chỉnh theo phản hồi của người dùng

Ưu điểm của phương pháp lai có trọng số là tất cả các khả năng, phương pháp khác nhau

có thể được tham gia vào quá trình đề xuất một cách rõ ràng, dễ dàng thực hiện và hiệu chỉnh Tuy nhiên, giả định tiềm ẩn trong kỹ thuật này là giá trị tương đối của các kỹ thuật khác nhau ít nhiều đồng nhất trong không gian mặt hàng Điều này không phải lúc nào cũng như vậy: một hệ thống đề xuất lọc cộng tác sẽ kém hiệu quả hơn đối với những mặt hàng có số lượng người đánh giá ít

• Lai chuyển đổi (Switching hybridization)

Phương pháp lai chuyển đổi xây dựng một số tiêu chí hoặc ngưỡng giá trị để hệ thống có thể chuyển đổi giữa các kỹ thuật đề xuất khác nhau khi các tiêu chí hoặc ngưỡng giá trị này được đáp ứng Chẳng hạn, một hệ thống đề xuất lai CF-CBF có thể chuyển sang đề xuất dựa trên nội dung (CBF) khi chiến lược lọc cộng tác (CF) không cung cấp

đủ các đề xuất đáng tin cậy Một ví dụ của phương pháp lai chuyển đổi là

Ưu điểm của phương pháp lai chuyển đổi là hướng tiếp cận này rất nhạy với các điểm mạnh và điểm yếu của các kỹ thuật đề xuất khác nhau Tuy nhiên lai chuyển đổi đòi hỏi phải xây dựng điều kiện để có thể chuyển đổi giữa các kỹ thuật, khiến cho quá trình đề xuất trở nên phức tạp hơn

• Lai hỗn hợp (Mixed hybridization)

Lai hỗn hợp thực hiện các phương pháp đề xuất khác nhau một cách độc lập và sau

đó kết hợp kết quả của mỗi phương pháp này thành một danh sách sau cùng để đề xuất cho người dùng Với các phương pháp CBF trong hỗn hợp, lai hỗn hợp có thể giải quyết được vấn đề mặt hàng mới - Một trường hợp của khởi động lạnh Các mặt hàng mới sẽ được đề xuất trong danh sách sau cùng dựa trên những mô tả nội dung của nó Đồng

thời, các mặt hàng tiềm năng nhưng có sự khác biệt được nội dung sẽ được đề xuất bởi các phương pháp CF trong hỗn hợp.

Ưu điểm của phương pháp lai hỗn hợp là vừa có thể đề xuất mặt hàng mới - giải, vừa

có thể đa dạng hóa mặt hàng đề xuất Tuy nhiên, lai hỗn hợp vẫn không thể giải quyết vấn đề về người dùng mới vì cả CF và CBF đều cần một số dữ liệu về sở thích của người dùng để bắt đầu

• Lai theo tầng (Cascade hybridization)

Không giống như các phương pháp lai ghép trước đó, lai theo tầng được thực hiện theo một quá trình với những giai đoạn khác nhau Đầu tiên, một kỹ thuật đề xuất sẽ được sử dụng để xếp hạng một cách thô sơ các mặt hàng được đề xuất Sau đó, những

kỹ thuật khác với mức độ ưu tiên thấp hơn sẽ được áp dụng để tinh lọc lại danh sách xếp hạng này Lai theo tầng giúp hệ thống tránh được việc sử dụng kỹ thuật đề xuất thứ hai với mức độ ưu tiên thấp hơn lên những đối tượng đã được phân biệt rõ ràng bởi kỹ thuật thứ nhất hoặc những đối tượng được đánh giá thấp đến mức chúng sẽ không bao giờ được đề xuất Bên cạnh đó, kỹ thuật thứ hai sẽ tinh lọc lại những mặt hàng đã được lựa chọn bởi kỹ thuật thứ nhất, chứ không loại bỏ chúng

Dễ dàng nhận thấy ưu điểm của phương pháp lai theo tầng là các kỹ thuật đề xuất với mức độ ưu tiên thấp hơn sẽ làm việc trên một không gian nhỏ hơn, cụ thể là danh sách thô sơ đã được lọc bởi kỹ thuật thứ nhất Điều này làm cho hướng tiếp cận theo tầng hiệu quả hơn so với những hướng tiếp cận khác, trong đó việc đề xuất được thực hiện trên không gian tất cả các mặt hàng đề xuất Hạn chế của lai theo tầng là việc xác định mức độ ưu tiên giữa các kỹ thuật khác nhau cho mỗi ứng dụng cụ thể thường khó khăn

và không rõ ràng

• Tăng cường đặc trưng (Feature augmentation)

Đối với lai tăng cường đặc điểm, một kỹ thuật thứ nhất sẽ được ứng dụng để tạo ra xếp hạng hoặc phân loại của một mặt hàng, sau đó những thông tin xếp hạng hoặc phân loại này sẽ được sử dụng như là đặc trưng tăng cường cho đầu vào của các kỹ thuật đề xuất tiếp theo Điểm chung giữa lai tăng cường đặc trưng và lai theo tầng là việc sử dụng hai kỹ thuật khác nhau một cách trình tự Tuy nhiên, với lai tăng cường đặc trưng thì kỹ thuật thứ hai sử dụng những đặc điểm được tạo ra bởi kỹ thuật thứ nhất như là đầu vào,

còn lai theo tầng thì kỹ thuật thứ hai sử dụng danh sách mặt hàng đã được lọc bởi kỹ thuật thứ nhất như là đầu vào

Ưu điểm của phương pháp lai tăng cường đặc điểm là khả năng cải thiện mức độ chính xác của đề xuất bằng cách sử dụng các kỹ thuật đề xuất khác mà không thay đổi, ảnh hưởng đến kỹ thuật đề xuất ban đầu Hạn chế của phương pháp này là khó khăn trong việc lựa chọn đặc điểm tăng cường nào là phù hợp để những kỹ thuật sau có thể sử dụng

• Lai Meta (Meta level)

Với kỹ thuật lai Meta, mô hình của phương pháp thứ nhất sẽ được sử dụng hoàn toàn để làm đầu vào cho phương pháp thứ hai Để giải quyết vấn đề về ma trận thưa trong lọc cộng tác, lai Meta sẽ tìm kiếm người dùng tương đồng bằng dựa trên các đặc trưng nội dung trước khi áp dụng lọc cộng tác

1.4 Đo lường và đánh giá hệ thống đề xuất

Việc đo lường và đánh giá hệ thống đề xuất một cách đầy đủ và toàn diện là một nỗ lực phức tạp: rất nhiều khía cạnh cần phải được xem xét để có thể thiết lập một cơ chế đánh giá hiệu quả Những khía cạnh đó có thể là: mục đích ban đầu được đặt ra trước khi xây dựng hệ thống, phương pháp đánh giá hệ thống, dữ liệu được sử dụng để huấn luyện hệ thống và các thước đo được sử dụng để đánh giá Eva Zangerle và Christine Bauer đã tiến hành khảo sát và hệ thống hóa những kiến thức rời rạc liên quan đến những phương thức đánh giá hệ thống đề xuất và xây dựng khung đánh giá hệ thống đề xuất (łFramework for EValuating Recommender systems - FEVR) (Bauer & Zangerle, 2020) Trong FEVR, tác giả đã phân loại không gian đánh giá của việc đánh giá hệ thống

đề xuất như sau:

Hình 4: Khung đánh giá hệ thống đề xuất

FEVR sẽ bao gồm 2 thành phần chính là mục tiêu đánh giá và không gian thiết kế đánh giá Mục tiêu đánh giá có thể được hình thành dựa trên những câu hỏi như: cái gì nên được đánh giá? Đánh giá nên được đo lường như thế nào? Và sẽ ảnh hưởng trực tiếp đến quá trình thiết kế quy trình đánh giá Không gian thiết kế đánh giá sẽ chứa những khối căn bản cần thiết để có thể thiết lập nên quy trình đánh giá thực tế và sẽ được thu thập dựa trên mục tiêu tổng thể, sự tham gia của các bên liên quan và các thuộc tính của

hệ thống cần được đánh giá

1.4.1 Mục tiêu đánh giá

Mục tiêu đánh giá là thành phần nền tảng và không thể thiếu khi xây dựng bất cứ một quy trình đánh giá nào Các mục tiêu đánh giá có thể được diễn đạt dưới nhiều hình thức khác nhau Về căn bản, những mục tiêu này thường được định hình dựa trên mục tiêu tổng quát được đề ra bởi các bên liên quan, cụ thể như: tăng sự hài lòng của người dùng; Tăng doanh thu của trang web thương mại điện tử; Tăng số lượng mặt hàng đã bán; Bán các mặt hàng đa dạng hơn; Giúp người dùng hiểu không gian mặt hàng (Francesco Ricci, 2015) và thu hút người dùng để tăng thời lượng truy cập của họ trên trang web hoặc khuyến khích họ quay lại trang web (Wu, Wang, Hong, & Shi, 2017)

Mặc dù đã có một số mục tiêu được đề cập đến trong các nghiên cứu liên quan đến hệ thống đề xuất nói chung và đánh giá hệ thống đề xuất nói riêng, vai trò và nhiệm vụ của người dùng vẫn chưa được phản ánh rộng rãi trong các nghiên cứu này

Việc thiết lập mục tiêu của một cuộc đánh giá phải được thực hiện một cách cẩn thận và

nó phải là bước đầu tiên của bất kỳ cuộc đánh giá nào để: "xác định mục tiêu đánh giá một cách chính xác nhất có thể (Schröder, Thiele, & Lehner, 2011)" Các mục tiêu đánh giá nhìn chung phần lớn chịu ảnh hưởng bởi quan điểm của các bên liên quan Tuy nhiên, hiện nay các nghiên cứu về hệ thống đề xuất có tính tới sự tham gia của nhiều bên liên quan khác nhau là không nhiều mặc dù hiện tượng này gần như là luôn xảy ra trong thực tế Để có thể cân bằng lợi ích giữa các bên liên quan, nhiều phương pháp và tiêu chí đánh giá khác nhau cần được kết hợp với nhau và sử dụng thêm trọng số trong trường hợp cần thiết (Bauer & Zangerle, 2020)

Nguyên tắc đánh giá đầu tiên liên quan đến các giả thuyết (hoặc câu hỏi nghiên cứu) được đặt ra để có thể nắm bắt các mục tiêu đánh giá Tùy thuộc vào mục tiêu tổng thể

và liệu một vấn đề có thể được xác định rõ ràng hay không, mục tiêu tổng thể của đánh giá có thể được chuyển thành một hoặc nhiều giả thuyết được hình thành trước dựa trên kiến thức thực nghiệm có được trước đó (quan sát hoặc giả thuyết) (Wagenmakers, Wetzels, Borsboom, Maas, & Kievit, 2012)

Đặt ra một giả thuyết ngắn gọn là một bước rất quan trọng vì nó cho phép xác định chính xác mục tiêu của việc đánh giá Giả thuyết càng chính xác thì việc thiết lập đánh giá càng rõ ràng vì giả thuyết (phù hợp với các mục tiêu đánh giá) sẽ định hình thiết kế đánh giá Đôi lúc vấn đề hoặc hiện tượng cần đánh giá là ít được biết đến và không rõ ràng,

việc xây dựng giả thuyết có thể không phù hợp Thay vào đó, mục tiêu tổng thể của đánh giá có thể được giải quyết bằng cách xây dựng các câu hỏi nghiên cứu.

Nguyên tắc đánh giá thứ hai, các biến kiểm soát (control variables) giảm thiểu các biến gây nhiễu và loại bỏ các ảnh hưởng ngoại tác lên kết quả đánh giá (Francesco Ricci, 2015) Điều này cho phép đánh giá có mục tiêu và so sánh các thuật toán và đối số khác nhau bằng cách đảm bảo rằng chỉ có các biến được đánh giá mới có thể được thay đổi

và sự khác biệt trong kết quả đánh giá không do một số yếu tố bên ngoài khác gây nên Nguyên tắc quan trọng thứ ba là mức tổng quát của các đánh giá (generalization power)

- mức độ mà các kết luận của đánh giá có thể được khái quát hóa ngoài các thiết lập và thí nghiệm đánh giá hiện tại Mức độ tổng quát hóa được kết nối chặt chẽ với thiết lập đánh giá, chẳng hạn như thay đổi thiết lập thử nghiệm, tiến hành thử nghiệm với các bộ

dữ liệu khác nhau hoặc mở rộng thử nghiệm sang các lĩnh vực ứng dụng khác

Độ tin cậy là nền tảng thứ tư của các nghiên cứu đánh giá vì nó đòi hỏi các đánh giá phải nhất quán và không có sai sót (trong cả dữ liệu và phép đo) Đặc biệt, tính nhất quán trong nhiều lần chạy đánh giá là rất quan trọng vì điều này chứng tỏ tính lặp đáng mong đợi của các thí nghiệm, tức là khả năng quan sát các kết quả tương tự của các thí nghiệm được tiến hành liên tiếp trong cùng một cài đặt và đối số (được ghi lại), cho phép các kết quả nhất quán mô tả hiệu suất của RS Kết nối chặt chẽ với độ lặp lại là khả năng tái lập, đề cập đến khả năng tái hiện lại các kết quả của một nghiên cứu trước

đó bằng cách sử dụng các tài liệu ban đầu Chẳng hạn, nhà nghiên cứu thứ hai có thể sử dụng cùng một bộ dữ liệu thô để xây dựng cùng một phân tích và thực hiện cùng một phân tích thống kê nhằm cố gắng mang lại kết quả giống với trước đó Tính tái lập là điều kiện cần thiết tối thiểu để một chỉ số trở nên đáng tin cậy và có nhiều thông tin” (Goodman, Fanelli, & Ioannidis, 2016)

1.4.3 Loại thí nghiệm đánh giá

Phương pháp đánh giá ngoại tuyến sử dụng tập dữ liệu đã được thu thập trước đó, chứa phản hồi tường minh của người dùng về các mặt hàng (ví dụ: xếp hạng các mặt hàng) hoặc phản hồi tiềm ẩn về các mặt hàng (ví dụ: các mặt hàng đã mua, đã xem hoặc

đã tiêu thụ) để mô phỏng lại hành vi của người dùng Chính vì vậy nên đánh giá ngoại

tuyến không yêu cầu sự tham gia của người dùng thực trong thí nghiệm Đối với đánh giá ngoại tuyến, một phần của thông tin xếp hạng bị xóa khỏi ma trận tương tác người dùng - mặt hàng một cách ngẫu nhiên và sau đó, các thuật toán đề xuất sẽ được phân tích về khả năng đề xuất (tức là dự đoán) những thông tin bị thiếu này

Thông thường, đánh giá ngoại tuyến được sử dụng để so sánh hai hoặc nhiều thuật toán

đề xuất (thử nghiệm A / B ngoại tuyến (Gilotte, Calauzènes, Nedelec, Abraham, & Dollé, 2018)) Từ đó có thể xác định các phương pháp tiếp cận đề xuất hứa hẹn bằng cách sử dụng các chỉ số như độ chính xác và độ chuẩn xác của thuật toán, đánh giá khả năng dự đoán của các phương pháp liên quan đến sở thích và ý kiến của người dùng Phạm vi của mục tiêu đánh giá ngoại tuyến thường khá hẹp và chủ yếu tập trung vào các tác vụ liên quan đến thuật toán Tuy nhiên, phương pháp ngoại tuyến lại rất dễ được lặp lại khi thực hiện Mỗi lần chạy đánh giá có thể được lặp lại bất kỳ số lần nào bằng cách sử dụng các thiết lập đề xuất, tham số thuật toán, tập dữ liệu, người dùng, v.v., khác nhau

Đánh giá ngoại tuyến là phương pháp được sử dụng phổ biến nhất trong các báo cáo hoặc bài viết nghiên cứu về hệ thống đề xuất Đánh giá người dùng và đánh giá trực tuyến đều đòi hỏi nhiều thời gian hơn đánh giá ngoại tuyến và chỉ có thể được thực hiện bởi người dùng thực và các nhà nghiên cứu có quyền truy cập vào hệ thống đề xuất, hoặc ít nhất một số người tham gia (ví dụ: sinh viên) tham gia nghiên cứu người dùng

Trong ngữ cảnh đánh giá hệ thống đề xuất, một nghiên cứu người dùng điển hình thường được thực hiện với mục đích đo lường mức độ thỏa mãn của người dùng thông qua các đánh giá tường minh của họ đối với hệ thống Những đánh giá này sẽ được thu thập dựa trên tương tác giữa người dùng và hệ thống đề xuất Chẳng hạn, người dùng

có thể nhận được đề xuất được khởi tạo từ nhiều phương pháp đề xuất khác nhau và đưa

ra đánh giá cho những đề xuất này Hoặc người dùng cũng có thể được yêu cầu để cho

ý kiến về một vài khía cạnh hoặc đặc điểm cụ thể của một hệ thống đề xuất Tương tác giữa người dùng và hệ thống sau đó được quan sát và ghi lại Từ các bản ghi này, những thước đo định lượng khác nhau có thể được tính toán (ví dụ: thời gian hoàn thành tác

vụ, tỷ lệ nhấp chuột, mức độ chấp nhận đề xuất) Ngoài ra, người làm nghiên cứu cũng

có thể sử dụng câu hỏi đóng hoặc mở để phỏng vấn người dùng Có thể nhận định rằng các nghiên cứu người dùng cho phép thu được phản hồi toàn diện nhất so với các loại thử nghiệm khác với các bộ câu hỏi trong phạm vi rộng hơn.

Tuy nhiên, nghiên cứu người dùng thường dẫn đến phát sinh trong chi phí, bao gồm thời gian của người dùng và chi phí tài chính Số lượng người dùng tham gia vào nghiên cứu hoặc số lượng kích thước và cấu hình hệ thống khác nhau cần phải được cân nhắc và giới hạn Điều này cũng liên quan đến việc tuyển dụng một nhóm người tham gia sẵn sàng tham gia thử nghiệm Những người tham gia này phải là đại diện cho những người

sử dụng thực tế của hệ thống và có quyền truy cập vào một hệ thống khuyến nghị đang hoạt động Hơn nữa, những người dùng biết rằng họ là một phần của nghiên cứu thường

có xu hướng cư xử khác nhau (được biết đến là hiệu ứng Hawthorne) (Landsberger, 1958) Các nghiên cứu người dùng nhìn chung cần có sự chuẩn bị và lập kế hoạch bao quát vì việc lặp lại thí nghiệm là rất tốn kém Ngoài ra, một loạt các cảm biến và các quan sát chi tiết về hành vi của người dùng cũng cần được lắp đặt để đảm bảo không bỏ

lỡ bất kỳ thông tin quan trọng nào trong quá trình nghiên cứu Những yếu tố này có thể được coi là nguyên nhân dẫn đến sự thích ứng thấp của các nghiên cứu người dùng trong nghiên cứu hệ thống đề xuất

Đánh giá trực tuyến lần đầu tiên được sử dụng trong các lĩnh vực quảng cáo trực tuyến và thương mại điện tử Đánh giá trực tuyến sẽ tập trung vào đo lường tỷ lệ chấp nhận các đề xuất trong các hệ thống đề xuất trong thế giới thực Tỷ lệ chấp nhận thường được đo lường bởi tỷ lệ nhấp (CTR), tức là tỷ lệ giữa các đề xuất được nhấp với các đề xuất được hiển thị Ví dụ: nếu hệ thống gợi ý hiển thị 10.000 đề xuất và 120 đề xuất được nhấp vào, thì CTR là 1,2%

Trong các đánh giá trực tuyến, RS được triển khai trong môi trường thực tế, trực tiếp Ngược lại với các nghiên cứu người dùng, người dùng tham gia vào đánh giá trực tuyến không được gán với các tác vụ cụ thể, mà sử dụng hệ thống để thực hiện các tác vụ tự chọn trong thế giới thực Do đó, đánh giá trực tuyến cho phép đưa ra kịch bản đánh giá thực tế nhất khi người dùng tự vận động và sử dụng hệ thống theo cách tự nhiên và thực

tế nhất

Đánh giá trực tuyến cũng tồn tại một số hạn chế nhất định Zheng và cộng sự đã lập luận rằng CTR và mức độ liên quan không phải lúc nào cũng tương quan và kết luận rằng

“CTR có thể không phải là thước đo tối ưu để đánh giá trực tuyến hệ thống đề xuất” và

“CTR nên được sử dụng một cách thận trọng”(Zheng, Wang, Zhang, Li, & Yang, 2010) Ngoài ra, việc tiến hành đánh giá trực tuyến đòi hỏi nhiều thời gian hơn đánh giá ngoại tuyến, với chi phí tốn kém hơn và chúng chỉ có thể được thực hiện bởi các nhà nghiên cứu có quyền truy cập vào hệ thống đề xuất trong thế giới thực

Quy mô: bộ dữ liệu lớn, số lượng người dùng lớn

Tính lặp: đánh giá có thể được thực hiện với số lần thực nghiệm tùy

Đánh giá

trực tuyến

Phương pháp: quan sát người dùng trong thế giới thực, thí nghiệm trực tuyến

Tác vụ: tự chọn, tiến hành bởi người dùng.

Quy mô: tùy thuộc vào hệ thống đề xuất và cơ sở người dùng

Tính lặp: tốn kém do cần yêu cầu đầy đủ cả người dùng và hệ thống

Tính chất: định lượng và / hoặc định tính (dữ liệu người dùng trực tiếp, nhật ký thao tác của người dùng, bảng câu hỏi trước / trong / sau khi tiếp xúc với hệ thống)

Bảng 1: Tóm tắt các phương pháp thí nghiệm

1.4.4 Phương diện đánh giá

• Dữ liệu đánh giá tường minh và tiềm ẩn

Đa số các nghiên cứu về hệ thống đề xuất thường tập trung vào hoặc dữ liệu tường minh hoặc dữ liệu tiềm ẩn, trong khi tương đối ít nghiên cứu sử dụng kết hợp hai loại phản hồi không đồng nhất này Bảng dưới đây tóm tắt các đặc điểm của phản hồi tường minh và tiềm ẩn

Đánh giá tường minh Đánh giá tiềm ẩn

Mức độ thể hiện sở thích của người dùng Tích cực và tiêu cực Tích cực

Bảng 2: So sánh giữa phản hồi tường minh và phản hồi tiềm ẩn

Vì phản hồi tiềm ẩn được suy ra từ hành vi dựa trên các giả định (ví dụ: giả định rằng người dùng chỉ nhấp vào các mục mà họ quan tâm) nên so với phản hồi tường minh, phản hồi tiềm ẩn có độ chính xác thấp hơn Mặt khác, khi người dùng điều hướng hoặc thao tác trên một nền tảng sử dụng RS, rất nhiều dữ liệu về hành vi của người dùng sẽ được ghi lại Trong khi người dùng thường ít thực hiện hành vi đánh giá tường minh đối với các sản phẩm hoặc thực hiện một cách miễn cưỡng, dẫn đến việc dữ liệu phản hồi

tường minh thường tương đối ít hơn so với phản hồi tiềm ẩn (Khusro, Ali, & Ullah, 2016).

• Thông tin về người dùng và mặt hàng

Các thuật toán đề xuất thường chủ yếu dựa vào dữ liệu xếp hạng để tính toán các đề xuất phù hợp, trong đó các phép tính chủ yếu chỉ dựa trên ma trận tương tác người dùng

- mặt hàng Tuy nhiên, các phương pháp tiếp cận này đã được chứng minh là kém hiệu quả do các vấn đề liên quan đến dữ liệu thưa và khởi động nguội, trong đó các đề xuất cho các mặt hàng hoặc người dùng mới không thể được tính toán chính xác vì không có

đủ thông tin về người dùng hoặc mặt hàng tương ứng Do đó, siêu dữ liệu về người dùng, mặt hàng hoặc ngữ cảnh cũng có thể được kết hợp để nâng cao hơn nữa các đề xuất (Fang & Si, 2011) Ví dụ: các từ khóa mô tả mặt hàng có thể được trích xuất từ các bài đánh giá về mặt hàng, các mối quan hệ xã hội giữa những người dùng có thể được trích xuất từ các mối quan hệ trong mạng xã hội (Ma, Yang, Lyu, & King, 2008), (Tang, Aggarwal, & Liu, 2016), tính cách của người dùng (Pu, Chen, & Hu, Evaluating recommender systems from the user’s perspective: survey of the state of the art, 2012) Hơn nữa, khi làm việc hướng tới các mục tiêu và chỉ số định hướng kinh doanh, dữ liệu như thông tin doanh thu hoặc tỷ lệ nhấp cũng phải được ghi lại và phân tích (Jannach & Jugovac, 2019)

• Dữ liệu định tính và định lượng

Dữ liệu định tính và định lượng thu thập trực tiếp từ người dùng cũng có thể cung cấp cơ sở để đánh giá hệ thống đề xuất bên cạnh các dữ liệu hành vi người dùng Các phương pháp thu thập dữ liệu định lượng là các công cụ có cấu trúc cao, chẳng hạn như thang đo, kiểm tra, khảo sát hoặc bảng câu hỏi, thường được tiêu chuẩn hóa (ví dụ, cùng một câu hỏi, cùng một thang đo) Tiêu chuẩn hóa này tạo điều kiện thuận lợi cho tính hợp lệ và khả năng so sánh giữa các nghiên cứu Các phương pháp như thống kê suy diễn, so sánh tương quan có thể được thực hiện và từ đó rút ra kết luận tổng quát cho tổng thể Các phương pháp thu thập dữ liệu định tính có thể kể đến như: phỏng vấn, nhóm tập trung và quan sát người tham gia Trong đó dữ liệu được thu thập dưới dạng ghi chú, video, bản ghi âm, hình ảnh hoặc tài liệu văn bản

• Dữ liệu tự nhiên và tổng hợp

Trong khi các bộ dữ liệu tự nhiên được tạo ra từ các tương tác giữa người dùng và

hệ thống đề xuất, các tập dữ liệu tổng hợp được tạo một cách nhân tạo Dữ liệu tổng hợp thường được sử dụng trong trường hợp không có tập dữ liệu tự nhiên trong thế giới thực phù hợp để phát triển, đào tạo và đánh giá hệ thống đề xuất Một tập dữ liệu tổng hợp

sẽ cho phép mô hình hóa đặc biệt các khía cạnh quan trọng cụ thể cần được đánh giá

• Sự tham gia của người dùng

Trong khi các phương pháp đánh giá định hướng hệ thống (system-centric) với sự tham gia tối thiểu của người dùng thường nhằm đánh giá RS từ góc độ thuật toán (chẳng hạn như độ chính xác của các dự đoán), các đánh giá định hướng người dùng (user-centric) với sự tham gia của người dùng trong tiến trình đánh giá thường mở ra khả năng đánh giá trải nghiệm người dùng đa dạng và phong phú hơn

• Khơi gợi phản hồi người dùng

Để tạo ra phản hồi về trải nghiệm người dùng, Pu và cộng sự (Pu & Chen, 2011) (Pu, Chen, & Hu, Evaluating recommender systems from the user’s perspective: survey

of the state of the art, 2012) đã đề xuất một khung đánh giá, được gọi là ResQue, viết tắt của Recommender systems’ Quality of user experience (Chất lượng trải nghiệm người dùng của hệ thống đề xuất) nhằm mục đích đánh giá một tập hợp toàn diện các tính năng của hệ thống đề xuất theo định hướng người dùng: khả năng sử dụng của hệ thống, tính hữu ích, phẩm chất tương tác, sự kết hợp của những phẩm chất này đối với

ý định hành vi của người dùng, các khía cạnh ảnh hưởng đến mức độ chấp nhận hệ thống, etc Bằng cách cung cấp các câu hỏi cụ thể trong một bảng câu hỏi Việc khơi gợi phản hồi người dùng đóng vai trò quan trọng trong việc xây dựng mô hình sở thích người dùng - Thành phần cốt lõi của rất nhiều hệ thống đề xuất

• Bộ dữ liệu có sẵn

Một trong những lợi thế của việc sử dụng bộ dữ liệu có sẵn là việc đánh giá ngoại tuyến có thể được tiến hành sớm trong dự án Hơn nữa, kết quả đánh giá có thể được so sánh với các nghiên cứu tương tự trong trường hợp cùng sử dụng chung những bộ dữ liệu phổ biến với những nghiên cứu đó Một số bộ dữ liệu có sẵn phổ biến có thể kể đến như: MovieLens 20M và MovieLens 1M trong lĩnh vực đề xuất phim, BookCrossing

trong lĩnh vực đề xuất sách, Million Song trong lĩnh vực đề xuất nhạc, etc Một rủi ro khi sử dụng những bộ dữ liệu có sẵn là bộ dữ liệu có thể không đủ để đại diện và mô phỏng lại hành vi của khách hàng trong thế giới thực, điều mà sẽ ảnh hưởng đến mức

độ tin cậy của các đánh giá ngoại tuyến

Một trong những yếu tố quan trọng ảnh hưởng đến kết quả đánh giá là chất lượng

dữ liệu đánh giá và các thiên kiến có khả năng xuất hiện trong những dữ liệu đó Những thiên kiến đó có thể bắt nguồn trong phân phối người dùng, mặt hàng hoặc đánh giá được chọn để trở thành một phần của tập dữ liệu đánh giá Phương pháp thu thập dữ liệu cũng là một khía cạnh khác ảnh hưởng đến mức độ sai lệch được tạo ra bởi thiên kiến Một số kỹ thuật có thể được sử dụng để hiệu chỉnh ảnh hưởng của thiên kiến là lấy mẫu nhiều lần (resampling) hoặc là lấy trọng số nhiều lần (reweighting)

Để đánh giá hiệu năng của một hệ thống đề xuất một cách toàn vẹn, việc chọn một

bộ các thước đo đánh giá là cần thiết vì một thước đo đơn lẻ không thể nào phản ánh hết toàn bộ hiệu năng của hệ thống trên nhiều phương diện khác nhau Bên cạnh đó, một hệ thống đề xuất có thể được tối ưu hóa hiệu năng dựa trên một chỉ số bằng cách hi sinh những chỉ số khác và ngược lại