Chapter 8 – visualizing model performance

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Bài tập lớn Khai phá dữ liệu Tên đề tài Chapter 8 – Visualizing Model Performance GVHD Lê Chí Ngọc Mục lục Mở đầu 1 Xếp hạng thay vì phân lớp 3 Đường cong lợi nhuận 5 B[.]

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI



Bài tập lớn: Khai phá dữ liệu Tên đề tài: Chapter 8 – Visualizing Model Performance

GVHD: Lê Chí Ngọc

Mục lục

Đây là chương thứ 8 của cuốn sách “Data Science for Business” , nếu như ở chương 7 ta

đã phân tích các đặc điểm của một mô hình đủ tốt, biết được các phương pháp đánh giá thì giờ đây, ta sẽ đi sâu hơn vào việc biểu diễn các kết quả đánh giá của một mô hình Chương 7 mang đến các khái niệm, cách thức mang tính hàn lâm với sự chính xác của toán học song rất khó để nắm bắt, nhất là với người mới làm quen với khoa học về dữ liệu Cũng vì tính hàn lâm, chuyên sâu của nó, khách hàng của bạn, các doanh nhân, vốn không có một tí kiến thức về khoa học dữ liệu gần như không có cách nào để hiểu và nhưvậy là không thuyết phục Họ muốn một bản báo cáo với những con số, đồ thị với các màu sắc và chức năng mô phỏng, không chỉ dễ dàng quan sát trực quan mà còn dễ sử dụng Do đó, nội dung chính của chương 8 là giới thiệu một sô phương pháp biểu diễn trực quan kết quả của các mô hình mà những người không có kiến thức chuyên sâu cũng

có thể hiểu được

Ranking Instead of Classifying – Xếp hạng thay vì phân lớp

Nếu như ở trang 194 đã thảo luận về cách điểm số được chỉ định bởi một mô hình có thể được sử dụng để tính toán mang tính quyết định cho từng trường hợp riêng dựa trên giá trị dự kiến của nó Một chiến lược khác để đưa ra quyết định là xếp hạng các trường hợp theo các điểm số này và sau đó thực hiện các hành động đối với các trường hợp ở đầu danh sách được xếp hạng Thay vì quyết định riêng từng trường hợp, chúng tôi có thể quyết định lấy n trường hợp hàng đầu (hoặc tất cả các trường hợp đạt điểm trên ngưỡng nhất định) Có một số lý do thực tế để làm điều này Có thể mô hình đưa ra điểm số xếp hạng các trường hợp theo khả năng thuộc về loại lợi ích của họ, nhưng đó không phải là xác suất thực sự (nhớ lại cuộc thảo luận của chúng tôi trong Chương 4 về khoảng cách từ biên như là phương thức phân loại) Quan trọng hơn, vì một số lý do, chúng tôi có thể không có được ước tính xác suất chính xác từ bộ phân loại Điều này xảy ra, ví dụ như trong các ứng dụng tiếp thị đổi tượng mục tiêu khi người ta không thể có được một mẫu đào tạo đại diện đầy đủ Điểm số phân loại có thể vẫn rất hữu ích để quyết định khách hàng tiềm năng nào tốt hơn những người khác, ngay cả khi ước tính xác suất 1% không chính xác tương ứng với xác suất trả lời 1% Một tình huống phổ biến là nơi bạn có ngân sách cho các hành động, chẳng hạn như ngân sách tiếp thị cố định cho một chiến dịch và

vì vậy bạn muốn nhắm mục tiêu đến các ứng cử viên triển vọng nhất Nếu một người sẽ nhắm mục tiêu các trường hợp giá trị dự kiến cao nhất bằng cách sử dụng chi phí và lợi ích không đổi cho mỗi lớp, thì các trường hợp xếp hạng theo khả năng của lớp mục tiêu

là đủ Không có nhu cầu lớn để quan tâm đến các ước tính xác suất chính xác Nhắc nhở duy nhất là ngân sách đủ nhỏ để các hành động không đi vào lãnh thổ dự kiến tiêu cực Bây giờ, chúng tôi coi đó là nhiệm vụ của người trong ngành Cũng có thể chi phí và lợi ích không thể được chỉ định chính xác, tuy nhiên chúng tôi muốn thực hiện các hành

động (và rất vui khi làm như vậy trong các trường hợp có khả năng cao nhất) Chúng tôi

sẽ quay lại tình huống này trong phần tiếp theo Khi làm việc với trình phân loại cho điểm cho các trường hợp, trong một số trường hợp, các quyết định phân loại phải rất thậntrọng, tương ứng với thực tế là trình phân loại phải có độ chắc chắn cao trước khi thực hiện hành động tích cực Điều này tương ứng với việc sử dụng ngưỡng cao cho điểm đầu

ra Ngược lại, trong một số trường hợp, bộ phân loại có thể bớt nghiêm ngặt hơn, tương ứng với việc hạ thấp ngưỡng Điều này đưa ra một sự phức tạp mà chúng ta cần mở rộng khung phân tích để đánh giá và so sánh các mô hình The Confusing Matrix trên trang

189 nói rằng một bộ phân loại tạo ra một ma trận nhầm lẫn Với một bộ phân loại xếp hạng, một bộ phân loại cộng với một ngưỡng tạo ra một ma trận nhầm lẫn duy nhất Bất

cứ khi nào ngưỡng thay đổi, ma trận nhầm lẫn cũng có thể thay đổi vì số lượng dương thực sự và dương tính giả thay đổi

Hình 8.1 minh họa ý tưởng cơ bản này Khi ngưỡng được hạ xuống, các giả định di chuyển từ hàng N vào hàng Y của ma trận nhầm lẫn: một trường hợp được coi là âm nay được phân loại là dương, do đó, số lượng thay đổi Việc thay đổi số lượng phụ thuộc vào

số lượng đúng thật sự trong ví dụ Nếu ví dụ là một dương (trong cột pv của Pv) thì nó di chuyển lên và trở thành một dương thực sự (Y, p) Nếu nó là âm (n), nó trở thành dương tính giả (Y, n) Về mặt kỹ thuật, mỗi ngưỡng khác nhau tạo ra một phân loại khác nhau, được biểu thị bằng ma trận nhầm lẫn của chính nó Điều này khiến chúng ta có hai câu

hỏi: làm thế nào để chúng ta so sánh các thứ hạng khác nhau? Và, làm thế nào để chúng

ta chọn một ngưỡng thích hợp? Nếu chúng ta ước tính xác suất một cách chính xác và matrận lợi ích chi phí được xác định rõ, thì chúng tôi đã trả lời câu hỏi thứ hai trong cuộc thảo luận về giá trị dự kiến: chúng tôi xác định ngưỡng mà lợi nhuận dự kiến của chúng tôi cao hơn mức mong muốn (thường là 0) Hãy cùng khám phá và mở rộng ý tưởng này

Profit Curves – Đường cong lợi nhuận

Từ những gì được giới thiệu ở trang 194 chúng ta đã biết cách tính toán lợi nhuận dự kiến

và chúng tôi vừa giới thiệu ý tưởng sử dụng mô hình để xếp hạng các trường hợp Chúng

ta có thể kết hợp những ý tưởng này để xây dựng các hình ảnh hiệu suất khác nhau dưới dạng các đường cong Mỗi đường cong dựa trên ý tưởng kiểm tra ảnh hưởng của ngưỡng phân loại tại các điểm liên tiếp, ngầm định chia danh sách các trường hợp thành tập hợp các trường hợp dự đoán âm tính và dương tính Khi chúng tôi di chuyển ngưỡng xuống xuống xếp hạng, chúng tôi nhận được các trường hợp bổ sung được dự đoán là tích cực thay vì tiêu cực Mỗi ngưỡng, tức là, mỗi bộ tích cực và tiêu cực dự đoán, sẽ có một ma trận nhầm lẫn tương ứng Chương trước cho thấy rằng một khi chúng ta có một ma trận nhầm lẫn, cùng với kiến thức về chi phí và lợi ích của các quyết định, chúng ta có thể tạo

ra một giá trị mong đợi tương ứng với ma trận nhầm lẫn đó Cụ thể hơn, với trình phân loại xếp hạng, chúng ta có thể tạo danh sách các trường hợp và điểm số dự đoán của chúng, được xếp hạng bằng cách giảm điểm và sau đó đo lường lợi nhuận dự kiến sẽ có được từ việc chọn từng điểm cắt liên tiếp trong danh sách Về mặt khái niệm, số tiền này

để xếp hạng danh sách các trường hợp theo điểm từ cao nhất đến thấp nhất và quét qua

nó, ghi lại lợi nhuận dự kiến sau mỗi trường hợp Tại mỗi điểm giới hạn, chúng tôi ghi lại

tỷ lệ phần trăm của danh sách được dự đoán là dương và lợi nhuận ước tính tương ứng

Vẽ đồ thị cho các giá trị này cho chúng ta một đường cong lợi nhuận Ba đường cong lợi nhuận được hiển thị trong Hình 8-2

Biểu đồ này dựa trên bộ thử nghiệm gồm 1.000 người tiêu dùng Nói, một nhóm người ngẫu nhiên nhỏ mà bạn đã thử nghiệm trên thị trường trước đó (Khi diễn giải kết quả, thông thường chúng ta sẽ nói về tỷ lệ phần trăm của người tiêu dùng, để tổng quát hóa cho toàn bộ dân số.) Đối với mỗi đường cong, người tiêu dùng được đặt hàng từ xác suất cao nhất đến thấp nhất chấp nhận đề nghị dựa trên một số mô hình Trong ví dụ này, hãy

để Giả sử biên lợi nhuận của chúng tôi là nhỏ: mỗi đề nghị tốn 5 đô la để thực hiện và tiếp thị, và mỗi đề nghị được chấp nhận kiếm được 9 đô la, cho lợi nhuận là 4 đô la Do

đó, ma trận chi phí là:

Các đường cong cho thấy lợi nhuận có thể đi tiêu cực không phải lúc nào cũng được, nhưng đôi khi chúng sẽ phụ thuộc vào chi phí và tỷ lệ lớp Đặc biệt, điều này sẽ xảy ra khi biên lợi nhuận mỏng và số lượng người trả lời ít, vì các đường cong cho thấy bạn đang đi vào Red do làm việc quá xa trong danh sách và đưa ra lời đề nghị cho quá nhiều người không phản hồi , do đó chi quá nhiều cho các chi phí cung cấp

Lưu ý rằng tất cả bốn đường cong bắt đầu và kết thúc tại cùng một điểm Điều này sẽ có

ý nghĩa bởi vì, ở phía bên trái, khi không có khách hàng nào được nhắm mục tiêu thì

không có chi phí và lợi nhuận bằng không; ở phía bên phải mọi người đều được nhắm mục tiêu, vì vậy mọi phân loại đều thực hiện như nhau Ở giữa, chúng tôi sẽ thấy một số khác biệt tùy thuộc vào cách phân loại đặt hàng của khách hàng Trình phân loại ngẫu nhiên thực hiện kém nhất vì nó thậm chí có cơ hội chọn một người trả lời hoặc người không trả lời Trong số các phân loại được thử nghiệm ở đây, một Phân loại 2 có nhãn tạo

ra lợi nhuận tối đa 200 đô la bằng cách nhắm mục tiêu 50% người tiêu dùng được xếp hạng hàng đầu Nếu mục tiêu của bạn chỉ đơn giản là tối đa hóa lợi nhuận và bạn có nguồn lực không giới hạn, bạn nên chọn Phân loại 2, sử dụng nó để ghi điểm số lượng khách hàng của bạn và nhắm mục tiêu nửa trên (50% cao nhất) của khách hàng trong danh sách Bây giờ hãy xem xét một tình huống hơi khác nhưng rất phổ biến khi bạn bị ràng buộc bởi ngân sách Bạn có sẵn một khoản tiền cố định và bạn phải lên kế hoạch chi tiêu như thế nào trước khi bạn thấy bất kỳ lợi nhuận nào Điều này là phổ biến trong các tình huống như các chiến dịch tiếp thị Như trước đây, bạn vẫn muốn nhắm mục tiêu đến những người được xếp hạng cao nhất, nhưng bây giờ bạn có một ràng buộc ngân sách có thể ảnh hưởng đến chiến lược của bạn Giả sử bạn có 100.000 tổng số khách hàng và ngân sách 40.000 đô la cho chiến dịch tiếp thị Bạn muốn sử dụng các kết quả mô hình hóa (các đường cong lợi nhuận trong Hình 8-2) để tìm ra cách tốt nhất để chi tiêu ngân sách của bạn Bạn làm gì trong trường hợp này? Vâng, đầu tiên bạn tìm ra có bao nhiêu

đề nghị bạn có thể đủ khả năng để thực hiện Mỗi ưu đãi có giá $ 5 để bạn có thể nhắm mục tiêu tối đa $ 40.000 / $ 5 = 8.000 khách hàng Như trước đây, bạn muốn xác định khách hàng có khả năng đáp ứng nhiều nhất, nhưng mỗi mô hình xếp hạng khách hàng khác nhau Mô hình nào bạn nên sử dụng cho chiến dịch này? 8.000 khách hàng là 8% tổng số khách hàng của bạn, vì vậy hãy kiểm tra các đường cong hiệu suất ở x = 8% Mô hình hoạt động tốt nhất tại điểm hiệu suất này là Phân loại 1 Bạn nên sử dụng nó để ghi

điểm cho toàn bộ dân số, sau đó gửi đề nghị cho 8.000 khách hàng được xếp hạng cao nhất Tóm lại, từ kịch bản này, chúng ta thấy rằng việc thêm một ràng buộc ngân sách gây ra không chỉ thay đổi điểm hoạt động (nhắm mục tiêu 8% dân số thay vì 50%) mà còn thay đổi lựa chọn phân loại để thực hiện xếp hạng.

ROC Graphs and Curves – Biểu đồ và đường cong ROC

Đường cong lợi nhuận là phù hợp khi bạn biết khá chắc chắn các điều kiện theo đó phân loại sẽ được sử dụng Cụ thể, có hai điều kiện quan trọng trong việc tính toán lợi nhuận:

1 Các lớp ưu tiên; đó là tỷ lệ của các trường hợp tích cực và tiêu cực trong dân

số mục tiêu, còn được gọi là tỷ lệ cơ sở (thường đề cập đến tỷ lệ tích cực) Hãy nhớ lại rằng phương trình 7-2 rất nhạy cảm với p (p) và p (n)

2 Các chi phí và lợi ích Lợi nhuận dự kiến đặc biệt nhạy cảm với các mức chi phí và lợi ích tương đối cho các ô khác nhau của ma trận lợi ích chi phí

Nếu cả hai các lớp ưu tiên và ước tính lợi ích chi phí đều được biết và dự kiến sẽ ổn định,đường cong lợi nhuận có thể là một lựa chọn tốt để hình dung hiệu suất mô hình Tuy nhiên, trong nhiều lĩnh vực, các điều kiện này không chắc chắn hoặc không ổn định Ví

dụ, trong các lĩnh vực phát hiện gian lận, số lượng gian lận thay đổi từ nơi này sang nơi khác và từ tháng này sang tháng khác (Leigh, 1995; Fawcett & Provost, 1997) Số lượng gian lận ảnh hưởng đến các linh mục Trong trường hợp quản lý dịch vụ điện thoại di động, các chiến dịch tiếp thị có thể có ngân sách khác nhau và các ưu đãi có thể có chi phí khác nhau, điều này sẽ thay đổi chi phí dự kiến

Một cách tiếp cận để xử lý các điều kiện không chắc chắn là tạo ra nhiều tính toán lợi nhuận dự kiến khác nhau cho mỗi mô hình Điều này có thể không thỏa đáng lắm: các bộ

mô hình, bộ linh mục lớp và bộ chi phí quyết định nhân lên theo mức độ phức tạp Điều

này thường để lại cho nhà phân tích một chồng đồ thị lợi nhuận lớn, khó quản lý, khó hiểu ý nghĩa của nó và khó giải thích cho các bên liên quan Một cách tiếp cận khác là sử dụng một phương pháp có thể khắc phục sự không chắc chắn bằng cách hiển thị toàn bộ không gian của các khả năng thực hiện Một phương pháp như vậy là biểu đồ Đặc tính hoạt động của người nhận (ROC) (Swets, 1988; Swets, Dawes, & Monahan, 2000;

Fawcett, 2006) Biểu đồ ROC là một biểu đồ hai chiều của một bộ phân loại có tỷ lệ dương sai trên trục x so với tỷ lệ dương thực sự trên trục y Như vậy, biểu đồ ROC mô tả

sự đánh đổi tương đối mà một bộ phân loại tạo ra giữa lợi ích (dương thực sự) và chi phí (dương tính giả) Hình 8-3 hiển thị biểu đồ ROC với năm phân loại có nhãn từ A đến E

Một bộ phân loại rời rạc là một bộ phân loại chỉ xuất ra một nhãn lớp (trái ngược với xếp hạng) Như đã thảo luận, mỗi bộ phân loại như vậy tạo ra một ma trận nhầm lẫn, có thể được tóm tắt bằng một số thống kê nhất định liên quan đến số lượng và tỷ lệ dương tính thật, dương tính giả, âm tính thật và âm tính giả Lưu ý rằng mặc dù ma trận nhầm lẫn chứa bốn số, chúng tôi thực sự chỉ cần hai trong số các tỷ lệ: tỷ lệ dương thực sự hoặc tỷ

lệ âm tính giả và tỷ lệ dương tính giả hoặc tỷ lệ âm thực sự Cho bất kì một số từ một trong hai cặp có thể tính được số còn lại trong cặp vì tổng bằng một Thông thường sử dụng tỷ lệ dương thực sự (tỷ lệ tp) và tỷ lệ dương tính giả (tỷ lệ fp) và chúng tôi sẽ tuân

theo quy ước đó để biểu đồ ROC có ý nghĩa Mỗi bộ phân loại riêng biệt tạo ra một cặp (tỉ lệ fp, tỉ lệ tp) tương ứng với một điểm duy nhất trong không gian ROC Các phân loại trong Hình 8-3 là tất cả các phân loại rời rạc Quan trọng đối với những gì tiếp theo, tỉ lệ

tp được tính chỉ bằng các ví dụ tích cực thực tế và tỉ lệ fp được tính chỉ bằng các ví dụ tiêu cực thực tế

Một số điểm trong không gian ROC rất quan trọng cần lưu ý Điểm dưới bên trái (0, 0) thể hiện chiến lược không như vậy không có lỗi dương tính giả nhưng cũng không có kết quả dương tính thực sự Chiến lược ngược lại, ban hành các phân loại tích cực vô điều kiện, được thể hiện bằng điểm trên bên phải (1, 1) Điểm (0, 1) thể hiện sự phân loại hoànhảo, được biểu thị bằng một ngôi sao Đường chéo nối từ (0, 0) đến (1, 1) thể hiện chính sách đoán một lớp Ví dụ, nếu một bộ phân loại đoán ngẫu nhiên một nửa lớp dương, thì

có thể dự kiến sẽ có được một nửa số dương và một nửa số phủ định đúng; điều này mang lại điểm (0,5, 0,5) trong không gian ROC Nếu nó đoán được lớp dương 90% thời gian, có thể dự đoán sẽ có 90% số dương, nhưng tỷ lệ dương tính giả của nó cũng sẽ tăng lên 90%, mang lại (0,9, 0,9) trong không gian ROC Do đó, một bộ phân loại ngẫu nhiên

sẽ tạo ra một điểm ROC di chuyển qua lại trên đường chéo dựa trên tần số mà nó đoán được lớp dương Để thoát khỏi đường chéo này vào vùng tam giác phía trên, bộ phân loạiphải khai thác một số thông tin trong dữ liệu Trong Hình 8-3, hiệu suất Eiên tại (0,6, 0,6)

là gần như ngẫu nhiên E có thể được cho là đoán lớp tích cực 60% thời gian Lưu ý rằng không có phân loại nên nằm trong tam giác bên phải phía dưới của đồ thị ROC Điều này thể hiện hiệu suất tồi tệ hơn so với đoán ngẫu nhiên Một điểm trong không gian ROC là vượt trội so với điểm khác nếu nó ở phía tây bắc của điểm đầu tiên (tốc độ tp cao hơn và tốc độ fp không tệ hơn; tốc độ fp thấp hơn và tốc độ tp không tệ hơn, hoặc cả hai đều tốt hơn) Các trình phân loại xuất hiện ở phía bên trái của biểu đồ ROC, gần trục x, có thể

được coi là bảo thủ của Hồi giáo: họ đưa ra cảnh báo (phân loại tích cực) chỉ với bằng chứng mạnh mẽ để chúng có ít lỗi dương tính giả, nhưng chúng thường có tỉ lệ dương tính thật tương ứng thấp Các trình phân loại ở phía trên bên phải của biểu đồ ROC có thểđược coi là Cách cho phép, họ tạo ra các phân loại tích cực với bằng chứng yếu để họ phân loại gần như tất cả các tích cực một cách chính xác, nhưng chúng thường có tỷ lệ dương tính giả cao Trong Hình 8-3, A bảo thủ hơn B, đến lượt nó lại bảo thủ hơn C Nhiều miền trong thế giới thực bị chi phối bởi số lượng lớn các trường hợp tiêu cực (xemphần thảo luận trong Sid Sidebar: Bad Positives và Harmless Negative âm trên trang 188), do đó hiệu suất ở phía bên trái của biểu đồ ROC thường thú vị hơn các nơi khác Nếu có rất nhiều ví dụ tiêu cực, thậm chí tốc độ báo động sai vừa phải có thể không thể quản lý được Một mô hình xếp hạng tạo ra một tập hợp các điểm (một đường cong) trong không gian ROC Như đã thảo luận trước đây, một mô hình xếp hạng có thể được

sử dụng với ngưỡng để tạo ra trình phân loại (nhị phân) rời rạc: nếu đầu ra của trình phân loại vượt quá ngưỡng, trình phân loại tạo ra Y, khác với N Mỗi giá trị ngưỡng tạo ra một điểm khác nhau trong ROC không gian, như trong Hình 8-4

Cumulative Response and Lift Curves – Các phản ứng tích lũy và đường cong nâng Các đường cong ROC là một công cụ phổ biến để trực quan hóa hiệu suất mô hình để phân loại, ước tính xác suất lớp và tính điểm Tuy nhiên, như bạn có thể vừa trải nghiệm nếu bạn chưa quen với tất cả những điều này, các đường cong ROC không phải là hình ảnh trực quan nhất cho nhiều bên liên quan kinh doanh, những người thực sự cần phải hiểu kết quả Điều quan trọng là nhà khoa học dữ liệu phải nhận ra rằng giao tiếp rõ ràng với các bên liên quan chính không chỉ là mục tiêu chính của công việc của cô ấy, mà còn rất cần thiết để thực hiện mô hình đúng (ngoài việc thực hiện đúng mô hình) Do đó, cũng cóthể hữu ích khi xem xét các khung trực quan có thể không có tất cả các thuộc tính đẹp của các đường cong ROC, nhưng trực quan hơn (Điều quan trọng là các bên liên quan kinh doanh phải nhận ra rằng các thuộc tính lý thuyết đôi khi bị hy sinh là rất quan trọng,

do đó có thể cần thiết trong một số trường hợp để đưa ra các hình ảnh phức tạp hơn.) trựcquan hóa là việc sử dụng đường cong phản ứng tích lũy, thay vì đường cong ROC Chúng

có liên quan chặt chẽ, nhưng đường cong phản ứng tích lũy trực quan hơn Đường cong phản ứng tích lũy biểu thị tỷ lệ trúng (tỷ lệ tp; trục y), tức là tỷ lệ phần trăm dương được phân loại chính xác, là một hàm của tỷ lệ phần trăm dân số được nhắm mục tiêu (trục x)

Vì vậy, về mặt khái niệm khi chúng tôi chuyển xuống danh sách các thể hiện được xếp hạng theo mô hình, chúng tôi nhắm mục tiêu tỷ lệ ngày càng lớn hơn của tất cả các phiên bản Hy vọng trong quá trình này, nếu mô hình là tốt, khi chúng tôi đứng đầu danh sách, chúng tôi sẽ nhắm mục tiêu tỷ lệ lớn hơn của các tích cực thực tế hơn là tiêu cực thực tế Như với các đường cong ROC, đường chéo x = y biểu thị hiệu suất ngẫu nhiên Trong trường hợp này, trực giác rất rõ ràng: nếu bạn nhắm mục tiêu hoàn toàn ngẫu nhiên 20% tất cả các trường hợp, bạn cũng nên nhắm mục tiêu 20% tích cực Bất kỳ phân loại trên đường chéo là cung cấp một số lợi thế