Các khái niệm trong Học máy doc

Các khái niệm trong Học máy Machine Learning 1 – Tổng quanHọc máyMachine Learning là một ngành khoa học nghiên cứu các thuật toán cho phép máy tính có thể học được các khái niệm concept

Các khái niệm trong Học máy (Machine Learning) (1) – Tổng quan

Học máy(Machine Learning) là một ngành khoa học nghiên cứu các

thuật toán cho phép máy tính có thể học được các khái niệm (concept).

Phân loại:Có hai loại phương pháp học máy chính

• Phương pháp quy nạp: Máy học/phân biệt các khái niệm dựa trên

dữ liệu đã thu thập được trước đó Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều và sẵn có

• Phương pháp suy diễn: Máy học/phân biệt các khái niệm dựa vào các luật Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ trợ máy tính

Hiện nay, các thuật toán đều cố gắng tận dụng được ưu điểm của hai phương pháp này

Các ngành khoa học liên quan:

• Lý thuyết thống kê:các kết quả trong xác suất thống kê là tiền đề cho rất nhiều phương pháp học máy Đặc biệt, lý thuyết thống kê cho phép ước lượng sai số của các phương pháp học máy

• Các phương pháp tính:các thuật toán học máy thường sử dụng các tính toán số thực/số nguyên trên dữ liệu rất lớn Trong đó, các bài toán như: tối ưu có/không ràng buộc, giải phương trình tuyến tính v.v… được sử dụng rất phổ biến

• Khoa học máy tính:là cơ sở để thiết kế các thuật toán, đồng thời đánh giá thời gian chạy, bộ nhớ của các thuật toán học máy

Ứng dụng:Học máy có ứng dụng rộng khắp trong các ngành khoa

học/sản xuất, đặc biệt những ngành cần phân tích khối lượng dữ liệu khổng lồ Một số ứng dụng thường thấy (wikipedia ﾧ):

• Xử lý ngôn ngữ tự nhiên (Natural Language Processing): xử lý văn bản, giao tiếp người – máy, …

• Nhận dạng (Pattern Recognition): nhận dạng tiếng nói, chữ viết tay, vân tay, thị giác máy (Computer Vision) …

• Tìm kiếm (Search Engine)

• Chẩn đoán trong y tế: phân tích ảnh X-quang, các hệ chuyên gia chẩn đoán tự động

• Tin sinh học: phân loại chuỗi gene, quá trình hình thành

gene/protein

• Vật lý: phân tích ảnh thiên văn, tác động giữa các hạt …

• Phát hiện gian lận tài chính (financial fraud): gian lận thẻ tỉn dụng

• Phân tích thị trường chứng khoán (stock market analysis)

• Chơi trò chơi: tự động chơi cờ, hành động của các nhân vật ảo

• Rôbốt: là tổng hợp của rất nhiều ngành khoa học, trong đó học máy

tạo nên hệ thần kinh/bộ não của người máy

Các nhóm giải thuật học máy:

• Học có giám sát:Máy tính được xem một số mẫu gồm đầu vào

(input) và đầu ra (output) tương ứng trước Sau khi học xong các mẫu

này, máy tính quan sát một đầu vào mới và cho ra kết quả.

• Học không giám sát:Máy tính chỉ được xem các mẫu không có đầu

ra, sau đó máy tính phải tự tìm cách phân loại các mẫu này và các

mẫu mới

• Học nửa giám sát:Một dạng lai giữa hai nhóm giải thuật trên

• Học tăng cường:Máy tính đưa ra quyết định hành động (action) và nhận kết quả phản hồi(response/reward) từ môi trường

(environment) Sau đó máy tính tìm cách chỉnh sửa cách ra quyết định

hành động của mình

Các khái niệm trong Học máy (Machine Learning) (2) – Xác suất, công thức Bayes

Định nghĩa (- đại số): Cho tập , tập gọi là - đại số của nếu

1 Các phần tử của là các tập con của

2 Tập khác rỗng:

3 Tập đóng với phép hợp:

4 Tập đóng với phép bù:

Ví dụ:

1 Từ các tính chất, ta thấy - đại số luôn chứa tập rỗng và tập vũ trụ (vì )

2 Nếu thì , , là các - đại số trên

Định nghĩa (độ đo): Cho và là

- đại số trên Hàm gọi là độ đo trên nếu

1

2

3 Nếu và không giao nhau từng đôi một () thì

Ta nói bộ là không gian đo

được

Định nghĩa (không gian mẫu, biến cố, xác suất):

Không gian mẫu: Một tập khác rỗng gọi là không gian mẫu nếu

các phần tử của nó có thể là kết quả của một phép thực nghiệm ngẫu nhiên.

Ví dụ:

1 Có một hộp có gồm 10 viên bi bên trong, nhắm mắt lại chọn ngẫu nhiên 1 viên bi Như vậy mỗi viên bi đều có thể là kết quả của phép thực nghiệm này, không gian mẫu là là số hiệu cuả từng viên bi

2 Có 3 người, chọn ngẫu nhiên 1 người và hỏi người này có thích màu đỏ không? Không gian mẫu là Nếu hỏi cả 3 người xem họ có thích màu đỏ không, lúc này không gian mẫu lại là , trong đó là thích, là không thích

Biến cố: Một - đại số của không gian mẫu gọi là tập các biến cố trên Mỗi tập gọi là một biến cố Khi thực nghiệm ngẫu nhiên cho kết

quả thì với các biến cố mà , ta nói biến cố đã xảy ra

Ví dụ:

1 Xét hòm bi có 3 viên bi, và tập biến cố Nếu ta nhấc được hòn bi số thì các biến cố

đã xảy ra, còn các biến cố không xảy ra

2 Nếu hỏi cả

3 người xem họ có thích màu đỏ không, không gian mẫu là Biến

cố “có đúng 2 người thích màu đỏ là” , biến cố “có ít nhất 1 người không thích màu đỏ” là

Xác suất: Xét một thực nghiệm

ngẫu nhiên với không gian mẫu và tập các biến cố , ta nói độ đo trên là độ

đo xác suất nếu (có thể suy ra ).

Ví dụ:

1 Như vậy, xác suất theo định nghĩa trên chỉ đơn giản là một hàm (độ đo) trên tập các biến cố Giá trị của hàm này trên từng biến cố có thể xác định bằng thực nghiệm hoặc qua chủ quan của chính ta Ví

dụ, nếu ta tung đồng xu 1000 lần, trong đó 495 lần được mặt ngửa,

505 lần được mặt sấp, ta hoàn toàn có thể gán Tuy nhiên, “kinh nghiệm” bảo ta rằng, xác suất tung đồng xu ra hai mặt sấp ngửa

nên bằng nhau thì “hợp lý” hơn và ta có thể “áp đặt” xác suất của các biến cố này như sau: Sau đây ta sẽ thấy, việc áp đặt giá trị xác suất ban đầu không ảnh hưởng lắm đến giá trị xác suất “thực sự”,

ta có thể sử dụng công thức Bayes để tính lại các giá trị xác suất

này sau khi quan sát được các kết quả thực nghiệm

2 Để cho tiện, khi nói đến một thực nghiệm ngẫu nhiên, người ta ngầm hiểu là có một không gian mẫu , một tập các biến cố và một

độ đo xác suất trên

Một số công thức xác suất:

Công thức cộng:

Người ta thường viết tắt

Công thức

DeMorgan:

Xác suất điều kiện: Xác suất xảy ra biến cố khi biến cố đã xảy ra là

Nhận xét:

1 Xác xuất xảy ra biến cố khi biến cố đã xảy ra làdo

2 Có thể hiểu xác suất

có điều kiện khi đã biết biến cố xảy ra là xác suất được định nghĩa trên không gian mẫu mới , tập các biến cố Vì thế, khi đã biết biến

cố , có thể kiểm tra được xác suất có điều kiện thỏa mãn mọi điều kiện của một độ đo xác suất bình thường

Độc lập xác suất: Hai biến cố độc lập với nhau nếu

Nhận xét:

1 nên độc lập với nhau

2 Vì nên nếu ta có Nghĩa là biến cố đã xảy ra hay không không làm ảnh hưởng đến xác suất của biến cố

Công thức Bayes: Cho biến

cố và các biến cố sao cho

1 Các tập rời nhau từng đôi một

2

thì ta có công thức xác suất

tổng

và công thức Bayes

Chứng minh: Rõ

ràng

Do rời nhau từng đôi

một nên cũng rời nhau từng đôi một Do là độ đo nên

Ví dụ:

1 Giả sử trong một cộng đồng dân cư có một loại bệnh Tỉ

lệ số người mắc bệnh là Để chẩn đoán bệnh này, người ta dùng xét nghiệm Tuy nhiên, xét nghiệm không chính xác tuyệt đối, tỉ lệ

chẩn đoán đúng với người có bệnh (true positive) là , trong khi đó,

tỉ lệ chuẩn đoán sai với người không có bệnh (false positive) là

Giả sử một người được chuẩn đoán là có bệnh, hỏi xác suất để người này thực sự có bệnh là bao nhiêu?

Giải: Gọi là biến cố “có bệnh”, là biến cố “không có bệnh”, là biến

cố “chẩn đoán có bệnh” Như vậy các biến cố thỏa mãn điều kiện của công thức cộng xác suất và công thức Bayes

Như vậy, khi bị chẩn đoán có bệnh, người này có khả năng bị bệnh cao hơn tỉ lệ bình thường (), nhưng cũng chưa thể chắc chắn là người này bị bệnh, lí

do là có thể chẩn đoán sai Ví dụ này cũng cho thấy công thức Bayes cho phép chỉnh sửa lại xác suất khi quan sát được kết quả thực nghiệm

2 Giả sử sau khi bị chẩn đoán có bệnh, người này tiếp tục

đi chẩn đoán lần thứ 2, xác suất để chẩn đoán lần này cũng có bệnh

là bao nhiêu?

Giải: Gọi là biến cố “tiếp tục bị chẩn đoán có bệnh Ta cần tính xác

suất Để tính công thức xác suất tổng

ta phải giả sử 2 lần xét nghiệm hoàn toàn độc lập với nhau, bất kể người đó có bệnh hay không, khi đó

Thế vào công thức trên ta được Nghĩa là xác suất chẩn đoán có bệnh tăng lên rất nhiều so với lần chẩn đoán đầu tiên ()

3 Xác suất người này có bệnh sau khi cả hai lần chẩn đoán đều có bệnh là

Tức là gần như chắc chắn người này có bệnh sau khi 2 lần chẩn

đoán đều cho kết quả dương tính (positive).