LUẬN văn THẠC sĩ tìm HIỂU BAYESIAN NETWORK và xây DỰNG mô HÌNH áp DỤNG để dự đoán xác SUẤT có điều KIỆN PHỨC hợp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN TRẦN NHẬT VINH TÌM HIỂU BAYESIAN NETWORK VÀ XÂY DỰNG MÔ HÌNH ÁP DỤNG ĐỂ DỰ ĐOÁN XÁC SUẤT CÓ ĐIỀU KIỆN PHỨC HỢP LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH ĐÀ NẴNG – 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN TRẦN NHẬT VINH TÌM HIỂU BAYESIAN NETWORK VÀ XÂY DỰNG MÔ HÌNH ÁP DỤNG ĐỂ DỰ ĐOÁN XÁC SUẤT CÓ ĐIỀU KIỆN PHỨC HỢP Chuyên ngành Khoa học máy tính Mã số 8084101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học TS Đặng Việt Hùng ĐÀ NẴNG –.

- -TRẦN NHẬT VINH

TÌM HIỂU BAYESIAN NETWORK VÀ XÂY DỰNG

MÔ HÌNH ÁP DỤNG ĐỂ DỰ ĐOÁN XÁC SUẤT CÓ

ĐIỀU KIỆN PHỨC HỢP

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

ĐÀ NẴNG – 2021

- -TRẦN NHẬT VINH

TÌM HIỂU BAYESIAN NETWORK VÀ XÂY DỰNG

MÔ HÌNH ÁP DỤNG ĐỂ DỰ ĐOÁN XÁC SUẤT

CÓ ĐIỀU KIỆN PHỨC HỢP

Chuyên ngành: Khoa học máy tính

Mã số: 8084101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS Đặng Việt Hùng

ĐÀ NẴNG – 2021

thuyết và thực hành đã tích lũy được, với việc vận dụng các kiến thức vào thực tế, tự nghiên cứu các tài liệu, các công trình nghiên cứu, đồng thời có sự phân tích, tổng hợp, đúc kết và phát triển để hoàn thành luận văn thạc sĩ của mình, tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi.

Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.

Tác giả

Trần Nhật Vinh

của bản thân trong quá trình học tập, nghiên cứu và trong suốt thời gian làm đề tài.

Đề tài đã hoàn thành đúng với thời gian như kế hoạch đã lập ra và thời gian triển khai thực tế, để đạt được như vậy không thể không nhớ đến công ơn của thầy, cô và các bạn cùng lớp học K18MCS đã quan tâm, chia sẻ và tận tình giúp đỡ, đặc biệt là gia đình luôn bên cạnh và ủng hộ tôi trong cả khóa học này.

Tôi xin bày tỏ cảm ơn sâu sắc đến thầy TS Đặng Việt Hùng, người đã tận tình chỉ dẫn và giúp đỡ tôi trong suốt quá trình xây dựng đề cương cho đến khi hoàn thành luận văn, bên cạnh đó tôi xin bày tỏ lòng biết ơn đến thầy TS Đặng Việt Hùng đã có những trao đổi, chia sẻ những kinh nghiệm quý báu về lĩnh vực mà tôi nghiên cứu để tôi có thể hoàn thành tốt luận văn.

Tôi xin bày tỏ lòng biết ơn thầy PGS.TS Nguyễn Gia Như cùng Ban Giám Hiệu, các thầy cô và các anh chị khoa sau đại học Trường Đại Học Duy Tân chuyên ngành Khoa Học Máy Tính (2018-2020), đã tạo các điều kiện thuận lợi như thời gian, cơ sở vật chất để tôi có thể học tốt trong cả khóa học và thời gian hoàn thành luận văn đúng tiến độ.

Tác giả luận văn

Trần Nhật Vinh

CHƯƠNG 1 CÁC KHÁI NIỆM VỀ XÁC SUẤT 3

1.1 LÝ THUYẾT XÁC SUẤT 3

1.1.1 Khái niệm xác suất 3

1.1.2 Biến ngẫu nhiên 3

1.1.3 Hàm phân phối và hàm mật độ 3

1.1.4 Phân phối đồng thời cho hai biến ngẫu nhiên 4

1.1.5 Phân phối lề 5

1.1.6 Các biến ngẫu nhiên độc lập và có điều kiện 6

1.2 ĐỊNH LÝ BAYES 7

1.2.1 Quy tắc nhân 7

1.2.2 Định lý Bayes đối với các sự kiện 8

1.2.3 Trường hợp các biến ngẫu nhiên rời rạc 8

1.2.4 Trường hợp các biến ngẫu nhiên liên tục 8

1.3 PHÉP BIẾN ĐỔI CÁC BIẾN NGẪU NHIÊN 8

1.3.1 Đối với trường hợp các biến ngẫu nhiên rời rạc 8

1.3.2 Đối với trường hợp các biến ngẫu nhiên liên tục 9

1.3.3 Trường hợp nhiều biến ngẫu nhiên 9

1.4 CÁC SỐ ĐẶC TRƯNG CỦA BIẾN NGẪU NHIÊN 10

1.4.1 Kỳ vọng của biến ngẫu nhiên 10

1.4.2 Phương sai của biến ngẫu nhiên 11

1.5 MỘT SỐ PHÂN PHỐI CỦA BIẾN NGẪU NHIÊN 12

1.5.1 Phân phối của biến ngẫu nhiên rời rạc 12

1.5.2 Phân phối của biến ngẫu nhiên liên tục 13

1.6 MÔ HÌNH ĐỒ THỊ (GRAPHICAL MODEL) 16

1.6.1 Nhắc lại xác suất 16

1.6.2 Khái niệm về Mô hình Đồ thị 17

1.7.2 Suy diễn Bayes cho tham số trong mô hình phân phối nhị thức 24

1.7.3 Một số vấn đề trong việc chọn phân phối tiên nghiệm 27

1.7.4 Phân tích hậu nghiệm 29

1.7.5 Khoảng tin cậy Bayes 29

1.7.6 Các bài toán nhiều tham số 30

1.7.7 Phân phối dự đoán cho một quan sát mới 30

1.7.8 Lý thuyết quyết định thống kê Bayes 30

CHƯƠNG 2 BAYESIAN NETWORK 35

2.1 ĐỊNH NGHĨA 36

2.2 CẤU TRÚC MẠNG BAYES 37

2.3 SUY LUẬN TRONG MẠNG BAYES 39

2.4 TÍNH HỮU DỤNG CỦA MẠNG BAYES 41

2.4.1 Thích hợp cho các tập dữ liệu nhỏ và không đầy đủ 41

2.4.2 Có thể học về cấu trúc 42

2.4.3 Có thể học tham số 43

2.4.4 Kết hợp các nguồn kiến thức khác nhau 44

2.4.5 Xử lý rõ ràng sự không chắc chắn và hỗ trợ cho việc phân tích quyết định 45

2.4.6 Phản hồi nhanh 45

2.5 ỨNG DỤNG 46

2.5.1 Phân loại 46

2.5.2 Learning (Học tập) 47

CHƯƠNG 3 XÂY DỰNG MÔ HÌNH ÁP DỤNG ĐỂ DỰ ĐOÁN XÁC SUẤT 51 3.1 GIỚI THIỆU BÀI TOÁN ÁP DỤNG 51

3.2 CHUẨN BỊ DỮ LIỆU HUẤN LUYỆN 52

3.3 CÀI ĐẶT THUẬT TOÁN HUẤN LUYỆN DỮ LIỆU 53

3.3.4 Tạo mô hình bayesian với các nút, cạnh và ước tính CPD (Phân phối xác suất

có điều kiện) cho từng biến dựa trên dữ liệu 55

3.3.5 Lưu model 58

3.4 DEPLOY 58

3.5 THỬ NGHIỆM VÀ KẾT QUẢ 59

3.5.1 Kiểm tra cách thức mô hình hoạt động 59

3.5.2 Kiểm tra mô hình so với lý thuyết mạng Bayes về sự phụ thuộc và không phụ thuộc giữa các nút 61

3.5.3 Thử nghiệm mô hình theo chiều nhân quả 68

3.5.4 Thử nghiệm mô hình theo hướng ngược lại 69

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 71 TÀI LIỆU THAM KHẢO

Bảng 3.1 Bảng mô tả dữ liệu 52

Hình 1.2 Các cấu trúc cơ bản trong graphical model 18

Hình 1.3 Cấu trúc Serial 18

Hình 1.4 Cấu trúc divergence 19

Hình 1.5 Cấu trúc convergence (V-structure) 20

Bảng 1.1 Phân phối tiên nhiệm liên hợp 26

Hình 2.1 Mô hình minh họa mạng Bayes 34

Bảng 3.1 Bảng mô tả dữ liệu 51

Hình 3.1 Sơ đồ các nodes và nhánh 54

Hình 3.3a Kiểm tra cách thức mô hình hoạt động 58

Hình 3.3b Kiểm tra cách thức mô hình hoạt động 59

Hình 3.4a 60

Hình 3.4b 61

Hình 3.5a 62

Hình 3.5b 63

Hình 3.6a 64

Hình 3.6b 64

Hình 3.7a 65

Hình 3.7b 66

Hình 3.8 Thử nghiệm mô hình theo chiều nhân quả 67

Hình 3.9a Nguyên nhân do Kinh tế gia đình là không đáng kể 68

Hình 3.9b Nguyên nhân do công việc là không đáng kể 68

Hình 3.9c Nguyên nhân chính là do Điểm trung bình thấp 69

MỞ ĐẦU

Trí tuệ nhân tạo hay trí thông minh nhân tạo (Tiếng anh: ArtificialIntelligence hay machine intelligence, thường được viết tắt là AI) là trí tuệ đượcbiểu diễn bởi bất cứ một hệ thống nhân tạo nào Thuật ngữ này thường dùng để nóiđến các máy tính có mục đích không nhất định và ngành khoa học nghiên cứu vềcác lý thuyết và ứng dụng của trí tuệ nhân tạo

Tuy rằng trí thông minh nhân tạo có nghĩa rộng như là trí thông minh trongcác tác phẩm khoa học viễn tưởng, nó là một trong những ngành trọng yếu của tinhọc Trí thông minh nhân tạo liên quan đến cách cư xử, sự học hỏi và khả năngthích ứng thông minh của máy móc Các ví dụ ứng dụng bao gồm các tác vụ điềukhiển, lập kế hoạch và lập lịch (scheduling), khả năng trả lời các câu hỏi về chẩnđoán bệnh, trả lời khách hàng về các sản phẩm của một công ty, nhận dạng chữ viếttay, nhận dạng tiếng nói và khuôn mặt Bởi vậy, trí thông minh nhân tạo đã trởthành một môn học, với mục đích chính là cung cấp lời giải cho các vấn đề của cuộcsống thực tế Ngày nay, các hệ thống nhân tạo được dùng thường xuyên trong kinh

tế, y dược, các ngành kỹ thuật và quân sự, cũng như trong các phần mềm máy tínhthông dụng trong gia đình và trò chơi điện tử

Mạng Bayes được biết đến trong các tài liệu hiện có dưới các tên gọi khácnhư mạng nhân quả hoặc mạng xác suất nhân quả, mạng niềm tin, hệ thống xácsuất, hệ thống Bayes chuyên gia, hoặc còn được gọi là sơ đồ ảnh hưởng MạngBayes là phương pháp thống kê biểu thị độ không chắc chắn thông qua các mốiquan hệ độc lập có điều kiện được thiết lập giữa chúng (Edwards, 1998) Loại mạngnày hệ thống hóa độ không đảm bảo liên quan đến từng biến thông qua xác suất(Fernández, 2004) Người ta nói rằng mạng Bayes là một tập hợp các biến, một cấutrúc đồ họa được kết nối với các biến này và một tập hợp các phân phối xác suất

Mạng Bayes là một đồ thị xoay chiều có hướng, trong đó mỗi nút đại diệncho một biến và mỗi cung là một phụ thuộc xác suất trong đó xác suất có điều kiệncủa mỗi biến được xác định theo cha mẹ của nó; biến mà cung được hướng đến phụ

thuộc vào biến tại nguồn gốc của nó Cấu trúc mạng hoặc cấu trúc liên kết cung cấpthông tin về sự phụ thuộc xác suất giữa các biến và cả về tính độc lập có điều kiệncủa một biến nhất định (hoặc tập hợp các biến) cho trước hoặc các biến khác Sựđộc lập như vậy đơn giản hóa việc biểu diễn tri thức (ít tham số hơn) và suy luận(lây lan xác suất).

Lấy mạng Bayes từ dữ liệu là một quá trình học được chia thành hai giaiđoạn: học cấu trúc và học tham số (Judea Pearl, 2011) Việc đầu tiên bao gồm việc

có được cấu trúc của mạng Bayes, tức là mối quan hệ phụ thuộc và độc lập giữa cácbiến liên quan Giai đoạn thứ hai nhằm đạt được các xác suất trước tiên và các điềukiện bắt buộc từ một cấu trúc nhất định

Luận văn này đề cập đến nghiên cứu về việc sử dụng các mô hình xác suất

đồ họa trong lĩnh vực giáo dục để chẩn đoán sinh viên và xác định vấn đề bỏ học ởcác trường đại học, như một bước nối tiếp các nghiên cứu trước đó Các nghiên cứukhác để dự đoán xác suất học sinh bỏ học đã được thực hiện bằng cách sử dụng các

kỹ thuật khai thác dữ liệu để đạt được mục tiêu Điều này cho phép thực hiện mộtphân tích thú vị để tìm các quy tắc hành vi có chứa các biến vắng mặt Luận vănnày tập trung vào các ứng dụng của mô hình xác suất trong giáo dục đại học

CHƯƠNG 1 CÁC KHÁI NIỆM VỀ XÁC SUẤT

I.1 LÝ THUYẾT XÁC SUẤT

I.1.1 Khái niệm xác suất

Cho Ω là không gian mẫu, F là một σ -đại số trên Ω, khi đó hàm P : F →R được gọi

là một phân phối xác suất hoặc một độ đo xác suất nếu nó thỏa mãn 3 tiên đề sau:

i) P( A)≥0 với mọi A ∈ F

Khi đó một bộ ba (Ω, F , P) được gọi là một không gian xác suất, tập A ∈F là

các biến cố và P( A) là xác suất của biến cố A

I.1.2 Biến ngẫu nhiên

Một biến ngẫu nhiên (hay còn gọi là một đại lượng ngẫu nhiên) là một ánh xạ

hàm phân phối (viết tắt cdf) của X là hàm F : R →[0,1] xác định bởi

F(x)=P(X ≤ x).

I.1.3.2 Định nghĩa

trị x i , i=1,2, …. Khi đó hàm mật độ của X được định nghĩa bởi

f (x)=P (X=x)

Như vậy, ta có mối quan hệ F (x)=P (X ≤ x)=∑ x ,S× f(x i).

ii) F (x) không giảm

iii) lim ¿x → ∞ F (x)=0 ,lim¿x →+∞ F (x)=1¿¿

iv) P(x<X ≤ y)=F ( y)−F (x)

v) P( X> x)=1−F(x)

vi) Nếu X là liên tục, khi đó

F (b)−F (a) ¿P(a<X <b)=P(a≤ X <b)

I.1.4 Phân phối đồng thời cho hai biến ngẫu nhiên

I.1.4.1 Định nghĩa

thời bởi f (x, y)=P¿ và Y = y ) Ký hiệu P¿ và Y = y ) có thể được viết lại

P( X=x ,Y = y)

I.1.4.2 Định nghĩa

Giả sử X và Y là các biến ngẫu nhiên liên tục, ta gọi hàm f (x, y) là hàm mật độđồng thời cho cả hai biến ngẫu nhiên liên tục X và Y nếu

i) f (x, y)≥ 0 với mọi (x , y)

với tất cả các giá trị của x và y

I.1.5 Phân phối lề

I.1.5.1 Định nghĩa

f (x, y) Khi đó hàm mât độ lề cho biến ngẫu nhiên X được định nghĩa bởi

Đối với biến ngẫu nhiên X ,Y liên tục, ta có các hàm mật độ lề

f x (x)=∫f (x , y)dy  và f r ( y)=∫f (x , y)dx

Chú ý Trong trường hợp X liên tục và Y rời rạc Ta có hàm mật độ lề của biến ngẫunhiên liên tục X xác định bởi

Hai biến ngẫu nhiên X và Y được gọi là độc lập nếu với mọi tập A và B trong R, tacó

P( X ∈ A ,Y ∈B)=P (X ∈ A)P (Y ∈ B).

Ngược lại ta nói X và Y là phụ thuộc

Nếu X và Y là hai biến ngẫu nhiên liên tục có hàm mật độ f X (x) và f Y ( y), khi đó X

và Y là độc lập chi khi f (x, y)=f X (x)f Y ( y)

I.1.6.2 Xác suất có điều kiện

Định nghĩa Nếu biến ngẫu nhiên X và Y là rời rạc, khi đó xác suất có điều kiện củabiến ngẫu nhiên X được cho bởi quan sát Y = y xác định bởi

P( X=x∣Y = y)= P (X=x ,Y = y) P (Y = y) .

Từ đó đẫn đến định nghĩa mật độ có điểu kiện

f (x∣ y)=P( X=x ∣Y = y)= P(X =x,Y = y) P(Y = y) = f (x , y) f

I.1.6.3 Phân phối đa thức

Lấy X =(X1, X2,…,X n) trong đó X i ,i=1,…,n là các biến ngẫu nhiên thì Xđược gọi làmột vectơ ngẫu nhiên Giả sử f(x1,x2,…,x n) là hàm mật độ đồng thời của các biến

X i ,i=1,…,n, khi đó ta có thể định nghĩa phân phối lề, phân phối có điều kiện của

chúng giống như đối với trường hợp hai chiều Các biến ngẫu nhiên X1, X2, …, X n làđộc lập nếu

Định nghĩa Nếu X1, X2,…, X n là các biến ngẫu nhiên độc lập và mỗi

X i ,i=1,…,n có cùng một phân phối với hàm phân phối F thỉ ta nói X1, X2, …, X n làphân phối độc lập và đồng nhất (viết tắt iid) và được viết

X1, X2, …, X n −F

Nếu F có hàm mật độ f thì có thể viết X1, X2,…, X n −f X1, X2,…, X n còn đượcgọi là một mẫu ngẫu nhiên kích thước n từ F

I.2 ĐỊNH LÝ BAYES

I.2.1 Quy tắc nhân

Giả sử A và B là hai sự kiện trong cùng một phép thử Ký hiệu P( A ∩ B) như

kiện ta có

P(B ∣ A )= P (A ∩B) P( A)

vậy sự kiện B có thể xày ra cùng với sự xuất hiện của sự kiện A hoặc phần bủ của A

Công thức trên có thể viết lại như một quy tắc nhân:

P( A ∩ B)=P(B ∣ A )P( A)

I.2.2 Định lý Bayes đối với các sự kiện

Giả sử A và B là hai sự kiện trên không gian xác suất (Ω, F , P) với (P(B)>0),khi đó công thức Bayes xác định bởi

P( A ∣ B)= P (B ∣ A)P (A )

P(B)

Trong đó vai trò của A ,B được xét như trong quy tắc nhân Ta có

P( A) là xác suất của riêng sự kiện A không xét đến B,

P(B) là xác suất của riêng sự kiện B khi chưa biết sự kiện A xảy ra,

P( A ∣ B) là xác suất của sự kiện A khi biết sự kiện B đã xảy ra,

P(B ∣ A ) là xác suất của sự kiện B khi sự kiện A xảy ra hoặc không xảy ra

Nếu {A1, A2,…, A n} là hệ đầy đủ các sự kiện và B là sự kiện bất kỳ trong cùng mộtphép thử, định lý Bayes có thể phát biểu

I.2.3 Trường hợp các biến ngẫu nhiên rời rạc

Định lý Bayes phát biểu như một phân phối có điều kiện

P(X=x ∣Y= y)= P(X =x,Y = y)

P(Y= y) = P(

X=x)P(Y = y ∣ X=x)

P(Y= y) .

I.2.4 Trường hợp các biến ngẫu nhiên liên tục

Định lý Bayes phát biểu như một hàm mật độ có điều kiện

f (x∣ y)= f X (x)f ( y ∣ x) f

I.3 PHÉP BIẾN ĐỔI CÁC BIẾN NGẪU NHIÊN

Giả sử X là một biến ngẫu nhiên với hàm mật độ f và hàm phân phối F Giả

sử Y =r(X ) là hàm của biến ngẫu nhiên X

I.3.1 Đối với trường hợp các biến ngẫu nhiên rời rạc

f ( y) ¿P(Y = y)=P(r(X )=Y )

I.3.2 Đối với trường hợp các biến ngẫu nhiên liên tục

i) Với mỗi y, tìm tập A y ={w : r(X (w))≤ y}

ii) Tìm hàm phân phối xác suất

iii) Hàm mật độ xác suất chính là f ( y)=F ' ( y).

Chú ý Khi r là hàm tăng hoặc giảm nghiêm ngặt thì r có hàm ngược s=r−1

Khi đó hàm mật độ f của Y có thể xác định

f ( y)=|ds( y)

dy |f (s( y))

I.3.3 Trường hợp nhiều biến ngẫu nhiên

Giả sử Z=r( X ,Y ) là hàm của hai biến ngẫu nhiên X và Y, chẳng hạn

X

Y , X +Y , max {X ,Y } hay min {X ,Y } Khi đó hàm f (z) của Z được xác định như sau

i) Với mỗi z, tim tập A z ={(u,v):r(X (u),Y (v))≤ z}

ii) Tìm hàm phân phối xác suất

I.4 CÁC SỐ ĐẶC TRƯNG CỦA BIẾN NGẪU NHIÊN

I.4.1 Kỳ vọng của biến ngẫu nhiên

ii) Nếu biến ngẫu nhiên Y là một hàm theo X :Y=r(X ) Khi đó

E(Y )=E (r( X))=∑ x r(x)f (x) nếu X rời rạc và E(Y )=E (r( X))= ∫ r(x)f (x)dx

nếu X liên tục

Tính chất của kỳ vọng

i) Nếu X1, X2,…, X n là các biến ngẫu nhiên và a1,a2,…,a n là các hằng số Khiđó

Bất đẳng thức đối với kỳ vọng

có phương sai hữu hạn, khi đó

iii) Định lý (Bat đẳng thúc liên kết) Gỉ sỉ X là biến ngẫu nhiên và f ,g là hai

I.4.2 Phương sai của biến ngẫu nhiên

Phương sai của biến ngẫu nhiên X với trung bình μ, ký hiệu Var ( X) hoặc σ2đượcđịnh nghĩa bởi

i) Nếu a và b là các hằng số, khi đó Var (aX +b)=a2Var ( X )

ii) Nếu X1, X2,…, X n là các biến ngẫu nhiên độc lập và a1,a2,…,a n là cáchằng số,

I.5 MỘT SỐ PHÂN PHỐI CỦA BIẾN NGẪU NHIÊN

I.5.1 Phân phối của biến ngẫu nhiên rời rạc

I.5.1.1 Phân phối đều

Với số nguyên k>1, giả sử biến ngẫu nhiên X có hàm mật độ được cho bởi

f (x)=1 k , x=1,… ,k

và f(x)=0 trong trường hợp ngược lại Khi đó ta nói X có phân phối đều trên{1,2,…,k}

I.5.1.2 Phân phối Bernoulli

Trong một phép thử biến ngẫu nhiên X chỉ nhận hai giá trị 1 và 0 X nhận giátrị 1 với xác suất thành công là p(0≤ p≤ 1) và nhận giá trị 0 trong trường hợp ngượclại, ta có

P( X=1)= p, P( X=0)=1− p

Chẳng hạn khi thực hiện phép thử tung đồng tiền bằng kim loại đồng chất có

tiền xuất hiện mặt xấp.[3]

Khi đó ta nói X có phân phối Bernoulli, ký hiệu X ∼ Bernoulli ( p)

I.5.1.3 Phân phối Nhị thức

Giả sử X1, X2,…, X n là các biến ngẫu nhiên độc lập, X i ∼ Bernoulli ( p),i=1, …,n

Đặt Y =∑ i=1 n X i Khi đó Y đuợc gọi là có phân phối nhị thức, ký hiệu Y ∼B (n, p)

I.5.1.4 Phân phối Nhị thức âm

Giả sử trong một phép thử X là biến ngẫu nhiên chi nhận hai kết quả, thành côngvới xác suất là p và không thành công với xác suất 1− p,(0≤ p≤1) Cho s là giá trị

cố định, thực hiện phép thử với biến ngẫu nhiên X cho tới s lần thành công thì

I.5.2 Phân phối của biến ngẫu nhiên liên tục

I.5.2.1 Phân phối đều

f (x)={ 1

b−a ,x ∈[a, b]

0, x∉[a,b]

được gọi là có phân phối đều trên [a,b], ký hiệu X −Uni form [a,b] hay X −R[a,b]

F (x)={ 0, x<a

x−a b−a ,x ∈[a,b]

1, x>b

Trung bình và phương sai

E( X)= a+b2 ,Var (X )=¿¿

I.5.2.2 Phân phối chuẩn

với tham số μ và σ ký hiệu bởi X ∼ N(μ, σ2) nếu X có hàm mật độ

Khi μ=0,σ=1 thì X có phân phối chu\hatin tắc, ký hiệu X ∼ N (0,1) với hàm mật độ

và hàm phân phối xác suất lần lượt ký hiệu bởi ϕ(x) và Φ(x)

Tính chất

i) Nếu X ∼ N(μ ,σ2), khi đó Z= X−μ σ ∼ N (0,1),

ii) Nếu X ∼ N (0,1), khi đó X =μ+σZ ∼ N(μ,σ2),

iii) Nếu X i ∼ N(μ i ,σ i2),i=1,…,n là độc lập, khi đó

I.5.2.3 Phân phối mũ

Đại lượng ngẫu nhiên X có phân phối mũ với tham số β, ký hiệu X −E(β) nếu

f (x)= 1 β e x β ,x>0,  với  β>0  . 

Trung bình và phương sai

E( X)=β  và Var (X )=β2

I.5.2.4 Phân phối Gamma

Cho α >0, hàm Gamma được định nghĩa bởi

Biến ngẫu nhiên X có phân phối Gamma với tham số α và β, ký hiệu bởi X

biến ngẫu nhiên độc lập X i− ¿ Gamma (α i ,β), khi đó ∑ i =1 n X i− ¿ Gamma (∑ i=1 n α i ,β)

I.5.2.5 Phân phối Beta

Cho số α >0 và β>0, hàm Beta được định nghĩa bởi

Biến ngẫu nhiên X có phân phối Beta với tham số α >0 và β>0, ký hiệu

X ∼ Beta (α , β) nếu hàm mật độ xác suất của X được cho bởi

Hàm mật độ của phân phối Beta tổng quát Với a≤ x≤ b;α , β>0, ký hiệu

Beta (x ,α , β ,a,b) như một phân phối Beta tổng quát có hàm mật độ được cho bởi

Beta (x ,α , β; a,b)= 1

B(α , β)¿¿

I.6 MÔ HÌNH ĐỒ THỊ (GRAPHICAL MODEL)

Graphical model (còn gọi là Bayesian network, Belief network) là tên gọi chung

dành cho lớp các mô hình xác suất mà trong đó mối liên hệ giữa các biến ngẫunhiên (độc lập/phụ thuộc) được khai thác để đơn giản hoá việc tính phân phối xác

suất đồng thời (joint distribution).[2]

I.6.1 Nhắc lại xác suất

Biến ngẫu nhiên A và B gọi là độc lập có điều kiện đối với C (conditionally

independent to C) nếu và chỉ nếu:

I.6.2 Khái niệm về Mô hình Đồ thị

Giả sử có một tập biến ngẫu nhiên và để có thể thực hiện suy diễn, ta muốnlưu trữ phân phối xác suất đồng thời của chúng Tại sao phải lưu phân phối xác suấtđồng thời? Ta sẽ trả lời câu hỏi này trong các bài sau, khi bàn đến các phương phápsuy diễn trong graphical model Tại thời điểm này, tạm chấp nhận rằng ta có nhucầu như thế Tư tưởng chính của graphical model là tận dụng tri thức có sẵn nào đó

về sự độc lập hay phu thuộc giữa các biến ngẫu nhiên (tri thức này có thể là củachuyên gia xây dựng mô hình, hoặc thông qua các thuật toán huấn luyện mô hình từ

dữ liệu có sẵn) ta có thể đơn giản hoá việc tính xác suất đồng thời bằng cách ápdụng chain rule.[4]

Tên đầy đủ của graphical model là probabilistic graphical model, do đó theo

- Phần graphical: thể hiện sự phụ thuộc giữa các biến ngẫu nhiên bằng đồ thị cóhướng mà trong đó mỗi đỉnh là một biến ngẫu nhiên và mỗi cạnh có hướng từ A đến

B thể hiện biến ngẫu nhiên B phụ thuộc biến ngẫu nhiên A Dĩ nhiên đồ thị nàykhông được có chu trình, gọi là directed acyclic graph (DAG).[7]

- Phần probabilistic: biểu diễn định lượng sự phụ thuộc này: với mỗi cạnh hoặc tậpcạnh trong đồ thị, ta lưu phân phối xác suất có điều kiện tương ứng

Chẳng hạn xét graphical model đơn giản sau:

Hình 1.1 Ví dụ Graphical model

Mô hình này có 5 biến ngẫu nhiên A, B, C, D và E đều là các biến logic (chỉnhận giá trị Yes/No) Mối quan hệ giữa các biến ngẫu nhiên được thể hiện bằng cácmũi tên, và kèm theo bảng phân phối xác suất có điều kiện của chúng Chẳng hạn

xét bảng p(C|B), nếu B=Y (có ngập nước) thì xác suất kẹt xe (C=Y) là 0.9, nói cách

khác  Các giá trị khác có thể hiểu tương tự

Phần này chỉ nói về phân phối xác suất rời rạc Các bài cuối của loạt này sẽnói về phân phối xác suất liên tục

I.6.3 Các cấu trúc thường gặp trong Mô hình Đồ thị

Thực chất nếu chỉ xét theo tính chất xác suất thuần tuý (không xét đến ngữnghĩa, tính nhân quả… của chúng) thì tính độc lập hay phụ thuộc xác suất là mốiquan hệ đối xứng: nói là   cũng giống như nói  , hay  nếu A và Bphụ thuộc Vậy câu hỏi đặt ra là tại sao trong graphical model ta lại dùng các cạnh

có hướng? Câu trả lời là rõ ràng khi ta xét mối quan hệ của nhiều hơn 2 biến ngẫunhiên

Để đơn giản, xét 3 biến ngẫu nhiên A, B và C Giữa 3 biến này có thể có cáckiểu quan hệ sau:

Hình 1.2 Các cấu trúc cơ bản trong graphical model

Một cách nôm na, ta có cảm giác đây là những mối quan hệ “nguyên tố” màmọi mối quan hệ giữa 2 biến ngẫu nhiên trong graphical model đều có thể quy vềmột trong ba dạng này Ta sẽ lần lượt xét tính chất của chúng, qua đó sẽ thấy V-structure là một loại đặc biệt và sau này nó sẽ đóng vai trò quan trọng trong cácthuật toán graphical model

I.6.3.1 Serial

Hình 1.3 Cấu trúc Serial

Xét ví dụ trên Ở SG, nếu có triều cường thì rất có khả năng ngập, và khi đã ngậpthì rất có khả năng kẹt xe, do đó ta có mối quan hệ serial giữa 3 biến này như tronghình.

Xét mối quan hệ giữa A và C:

  Rõ ràng nếu ta không biết gì về B thì A và C là phụ thuộc: chỉ cần biết cótriều cường thì có thể suy ra là có khả năng kẹt xe, không cần biết có ngập haykhông

  Tuy nhiên nếu ta biết là có ngập nước, thì rất có khả năng kẹt xe, bất kể

có triều cường hay không Nói cách khác, nếu ta biết B (ngập nước) thì việc biếtthêm A không cho ta thêm thông tin gì về C cả Như vậy, A và C độc lập có điềukiện với B

Một cách tổng quát, trong mối quan hệ serial thì A và C ban đầu là phụ thuộc,nhưng sẽ trở thành độc lập nếu cho trước B Ta tóm tắt bằng các công thức sau:

- Nếu không biết gì về B thì C và D là phụ thuộc: nếu biết kẹt xe thì rất có khả năng

ta phải đi vòng, bất kể có ngập nước không

- Tuy nhiên nếu biết B thì C và D trở thành độc lập: nếu biết ngập nước thì ta sẽphải đi vòng, việc biết thêm có kẹt xe hay không không ảnh hưởng gì đến việc đivòng nữa Nói cách khác nếu biết B thì việc biết C không cho ta thêm thông tin mới

gì về D cả

Tương tự serial, ta có thể nói trong quan hệ divergence thì:

(2)

I.6.3.3 Convergence (V-structure)

Hình 1.5 Cấu trúc convergence (V-structure)

Trong ví dụ trên, nếu có triều cường thì có khả năng ngập, và nếu có mưa lớn thìcũng có khả năng ngập Xét mối quan hệ giữa A và E:

- Ban đầu nếu chưa biết gì về B thì A và E là độc lập: rõ ràng mưa lớn và triềucường là ít phụ thuộc vào nhau

- Nhưng nếu biết B thì A và E là phụ thuộc: nếu biết có ngập nước và biết rằngkhông có mưa lớn (E = No) thì rất có khả năng là có triều cường Như vậy nếu chotrước B thì E sẽ cho ta thêm thông tin về A, nói cách khác A và E phụ thuộc nếucho trước B

Lưu ý rằng 2 cấu trúc sau đây không phải là V-structure vì trong các trường hợp này

X và Z là phụ thuộc Theo định nghĩa của V-structure thì X và Z phải là 2 biến độclập

Nhận xét

- Trong graphical model thì V-structure có hành vi khác hẳn so với cấu trúc serial

và devergence Cũng vì thế mà V- structure đóng vai trò đặc biệt trong các thuậttoán graphical model, như sau này ta sẽ thấy.[9]

- Trong 3 cấu trúc vừa đề cập, ta thấy phân phối xác suất của các biến ngẫu nhiêncho trước các biến khác đều được “đơn giản” thành các node cha trực tiếp của nótrong đồ thị (công thức 1, 2 và 3) Nhận xét này dẫn đến hệ quả quan trọng sau đây

I.7 LÝ THUYẾT VÀ PHƯƠNG PHÁP PHÂN TÍCH BAYES

Khi phân tích dữ liệu, các nhà thống kê thường bắt đầu bẳng việc cung cấpmột mô hình xác suất theo cách mà dữ liệu được tạo ra, thông thường dữ liệu đượctạo ra bằng cách lấy mẫu ngẫu nhiên hoặc một số cơ cấu lấy mẫu khác Khi một môhình đã được chọn, dữ liệu được xử lý như một vectơ ngẫu nhiên X =(X1, X2,…,X n)

trong đó θ là tham số hoặc vectơ tham số chưa biết Tham số θ có thể là trung bình

ta sẽ đựa vào dữ liệu để suy diễn về θ

Vấn đề: Suy diễn về tham số θ trong các phân phối xác suất

Chẳng hạn, trong phân phối Bernoulli nếu X ∼ Bernoulli ( p) tham số p (xácsuất thành công trong phép thử) thường không được biết và chúng tôi cần suy diễnnó

Trong phân phối chuẩn nếu lấy X ∼ N(μ,σ2) thì tham số lúc này là vectơ

θ=(μ,σ ).

Có rất nhiều phương pháp suy diễn thống kê, trong đó có hai phương phápphổ biến là suy diên Tần suất và suy diễn Bayes Dưới đây, chi đề cập khái quát vềphương pháp suy diễn Bayes.[8]

Phương pháp Bayes được dụa trên các tiên đề sau đây:

- B1 Xác suất mô tả mức độ niềm tin, không phài lấy giới hạn tần suất như

trong thống kê cổ điển Như vậy, chúng ta có thể thực hiện các phát biểu xácsuất về rất nhiều thứ, không chi có dữ liệu

- B2 Chúng ta có thể phát biểu xác suất về các tham số cho dủ chúng là các

hằng số cố định

- B3 Thực hiện các suy diễn về tham số θ bằng cách tạo ra một phân phối xác

khoảng

I.7.1 Phương pháp suy diễn Bayes

Giả sử có mô hình tham số z={f (x ,θ):θ ∈Θ} với Θ ⊂R k và θ=(θ1,θ2,…,θ k)

được thực hiện như sau:

i) Chọn một hàm mật độ xác suất f (θ) trước khi quan sát dữ liệu và gọi đây phân phối tiên nghiệm (mật độ tiên nghiệm).

ii) Chọn một mô hình thống kê f (x∣θ) Ký hiệu f (x∣θ) thay cho f (x,θ) iii) Sau khi quan sát dữ liệu X1, X2,…, X n , chúng ta có thông tin mới (so với giả định ban đầu) và tính toán phân phối hậu nghiệm f(θ ∣ X1,…, X n).

theo định lý Bayes, phân phối hậu nghiệm thực hiện ở bước iii):

Đối với trường hợ biến ngẫu nhiên rời rạc

f (θ ∣ x)= f (θ)f (x∣ θ)

∫f (θ) f (x∣θ)dθ

được cho bởi θ và ∫ f (θ)f (x ∣θ)dθ là phân phối lề của X

Nếu có n quan sát độc lập và đồng nhất X1, X2,…, X n có các giá trị quan sát

(x1,x2,… ,x n) thi thay thế f (x∣θ) bởi hàm hợp lý

f(x1, x2,…,x n ∣θ)=∏

i=1

n

❑f(x i ∣θ)=L n (θ).

Khi đó thay cho ký hiệu (X1, X2,…, X n) và (x1,x2,… , x n) ta viết X n tương ứng

x n, khi đó phân phối hậu nghiệm của θ là

được gọi là hằng số chuấn hóa Chú y ,c n không phụ thuộc vào θ

Chú ý: Ta có thể viết phân phối hậu nghiệm dưới dạng tổng quát như sau Hậunghiệm tỷ lệ với hàm hợ lý nhân với phân phối tiên nghiệm

Ký hiệu là

f(θ ∣ x n)∝L n (θ)f (θ).

phục hồi lại khi cần thiết

Lưu ý Vì bất kỳ thành phần nào không chứa tham số trong biểu thức tiên nghiệm

hoặc hợp lý có thể được giản ước theo công thức Bayes nên khi nhân phân phối tiênnghiệm hoặc hàm hợp lý với một tham số bất kỳ cũng không làm thay đổi kết quảhậu nghiệm

I.7.2 Suy diễn Bayes cho tham số trong mô hình phân phối nhị thức

Giả sử ta có hai tổng thể H1,H2, mỗi tổng thể có thuộc tính riêng Hai tổngthể này gộp lại là một tổng thể lớn H3=H1∪H2 Giả sử π là tỷ lệ của H1 trên tổngthể lớn H3

Xét thí nghiệm lấy n phần tử từ H3 và gọi Y là số phần tử của mẫu trong H1,

ta có Y−B(n,π)

f ( y∣ π)=(n

y)π y¿

ở đây chúng ta đang cố định π và thực hiện phân phối xác suất với y thay đổi

Chọn hàm mật độ tiên nghiệm cho tham số π

Đối với mô hình nhị thức chúng ta thường chọn hai phân phối tiên nghiệm sau cho

π

i) Phân phối tiên nghiệm đều Đó chính là tiên nghiệm với hàm mật độ

{ g(π )=1,∀ 0≤ π ≤ 1 g(π)=0 ,∀ π ∉[0,1]

y)π y¿

Nhận thấy rằng đây chính là dạng phân phối Beta với tham số

α= y+1, β=n− y+1 Do đó để được hàm mật độ hậu nghiệm ta chỉ cần nhân thêm

vào vế phải biểu thức trên hệ số Γ( y+1)Γ (n− y+1) Γ(n+2) đề được hàm mật độ hậunghiệm.

Khi đó ta có thể viết

π∣ y−Beta ( y+1,n− y+1).

ii) Phân phối tiên nghiệm Beta Đó là phân phối với mật độ tiên nghiệm

là tiên nghiệm tầm thường

ii) Chúng ta thấy dạng hàm hợp lý trong phân phối nhị thức giống với dạng

thì khi thực hiện tính toán hậu nghiệm ta nhân tương ứng hàm hợp lý với tiênnghiệm kết quà sẽ được dạng của một phân phối Beta

Điều này có một thuận lợi rất lớn là chúng ta chỉ quan sát dạng của phân phốihậu nghiệm và đưa ra hàm mật độ chứ không cẩn phải tính tích phân Do đó trongthống kê, đối với mô hình nhị thức thường sử dụng tiên nghiệm có phân phối Beta.[6]

Phân phối tiên nghiệm có tính chất như vậy gọi là phân phối tiên nghiệm liênhợp

Phân phối tiên nghiệm liên hợp

Khi một phân phối tiên nghiệm có tính chất: Tiên nghiệm và hậu nghiệm cócủng một họ phân phối thỉ gọi đó là phân phối tiên nghiệm liên hơp tương ứng với

mô hình

Hầu hết các phân phối tiên nghiệm sử dụng trong việc ứng dụng Bayes đều

là liên hợp vì nó đại diện cho việc chọn phân phối tiên nghiệm khá tốt Một số ví dụ

về các phân phối tiên nghiệm liên hợp cho các mô hình một tham số:

Bảng 1.1 Phân phối tiên nhiệm liên hợp

Chuẩn, Bernoulli, Nhị thức, Đa thức, Mũ, Poisson,

I.7.3 Một số vấn đề trong việc chọn phân phối tiên nghiệm

I.7.3.1 Chọn phân phối tiên nghiệm liên hợp khi chúng ta chưa có kiến thức tốt

về việc chọn tiên nghiệm

Khi chưa có sự hiểu biết rõ ràng về việc chọn tiên nghiệm cho phù hợp thì tốtnhất là chúng ta nên chọn một tiên nghiệm liên hợp Chúng ta không phải lo lắng vềvấn đề này vì dạng hậu nghiệm sẽ tương tự như phân phối tiên nghiệm mình đãchọn.

có thể chọn các tiên nghiệm sau: Beta (0.5,1),Beta (0.5,2),Beta (0.5,3),… sẽ thỏamãn trong việc suy diễn.[9]

I.7.3.2 Chọn một phân phối tiên nghiệm liên hợp khi chúng ta có kiến thức tiên nghiệm về vị trí và sự phân tán có thể có của tham số

hình nhị thức mà chúng ta sẽ chọn, tuy nhiên phân phối Beta có rất nhiều dạng nênkhông biết sẽ chọn thế nào nhưng chúng ta có niềm tin về giá trị trung bình và độ

Giải hai phương trình này sẽ tìm được α và β thích hợp

I.7.3.3 Cẩn thận trước khi sử dụng tiên nghiệm liên hợp

chúng ta tin tưởng thì sử dụng nó Ngược lại có thể điều chinh π0 và σ0 cho đến khinào phù hợp với niềm tin của chúng ta về tham số thì thôi

Tuy nhiên phải tính toán lại kích thước mẫu tương đương với tiên nghiệm đãchọn cho phù hợp vì lượng thông tin về tham số từ phân phối tiên nghiệm phảitương đương với lượng thông tin đó từ mẫu ngẫu nhiên Nếu điều này chưa phù hợpchúng ta có thể tăng độ lệch chuẩn trong tiên nghiệm lên và kiểm tra lại

Chú ý tỷ lệ mẫu ´π= y n từ phân phối nhị thức B(n , π) có phương sai π (1−π) n ,

do đó gọi n eq là cỡ mẫu tương đương với tiên nghiệm, ta có

π0(1−π0)

n eq = αβ¿¿

I.7.3.4 Ảnh hưởng của phân phối tiên nghiệm

Khi chúng ta quan sát đầy đủ dữ liệu thì ảnh hường của tiên nghiệm màchúng ta đã chọn là rất nhỏ so với dữ liệu Các hàm mật độ hậu nghiệm gần như

giống nhau mặc dù chúng ta chọn tiên nghiệm khác nhau Điều quan trong nhất cần

lưu ý đó chúng ta phân chia một lượng hợp lý đến các giá trị có thể có của tham số,

còn hình dạng chính xác của tiên nghiệm không phải là điều quan trọng

I.7.4 Phân tích hậu nghiệm

Để đánh giá hậu nghiệm thông thường chúng ta sẽ xét các giá trị đặc trưngcủa hậu nghiệm như trung bình, trung vị, mốt, phương sai, Ở đây chỉ xét trung

Trung bình hậu nghiệm

phân vị hậu nghiệm của π với mức xác suất k % ) là giá trị θ k được xác định bởi

Có rất nhiều khoảng chứa tham số π với xác suất như nhau nhưng ở đâychúng ta sẽ tìm một khoảng ngắn nhất với xác suất đã cho (1−α), thường được gọi

phân phối hậu nghiệm của y ∣π là Beta (α ' , β '). Một khoang tin cậy Bayes 95 %

hai cách thực hiện việc tìm khoảng tin cậy Bayes đó là sử dụng Minitab và xấp xỉphân phối hậu nghiệm Beta (α ' , β∤ ' bởi một phân phối chuẩn N(m ' ,(s ')2), với m ' 'và

(s ')2 là trung bình và phương sai hậu nghiệm của π

Khi đó miền tin cậy (1−α).100 % của π xấp xi m z4α/2 ⋅s ', trong đó z a/2 là phân

vị chuẩn tắc mức xác suất α2

I.7.6 Các bài toán nhiều tham số

Giả sử θ=(θ1,θ2,…,θ p) Hàm mật độ hậu nghiệm vẫn được cho bởi

f(θ ∣ x n)∝ f (θ) L n (θ)

Vấn đề : Suy diễn các thành phần tham số θ k ,k=1,… p nhu thế nào? Thựchiện điều này chủ yếu là tìm hàm mật độ hậu nghiệm lề cho tham số cần quan tâm.Giả sử chúng ta cần suy diễn về tham số θ1 thì phân phối hậu nghiệm lề của θ1là

f(θ1∣ x n)=∫…∫f(θ1,θ2,…,θ p ∣ x n)dθ2.d θ p

Trong thực tế thì việc tính tích phân này rất khó thực hiện nên có thể dựa vàomột số phương pháp để đánh giá, chẳng hạn như phương pháp đánh giá phân tích,xấp xỉ tiệm cận hoặc mô hình hóa trực tiếp,

I.7.7 Phân phối dự đoán cho một quan sát mới

Giả sử x=(x1,x2,…,x n) là giá trị đã được quan sát của biến ngẫu nhiên X từ

dữ liệu, X =x và ´x là một giá trị quan sát mới Vấn đề quan tâm là chúng ta thựchiện tìm hiểu tất cả thông tin về ´x bằng cách dự đoán phân phối cho ´x dựa trên quansát x với sự phân tích hậu nghiệm của tham số θ trong mô hình Ta có

Phân phối dư đoán hậu nghiệm của ´x có hàm mật độ được xác định bởi

f (x∣ x)=∫

0

❑f ( ´x∣θ)f (θ∣ x)dθ

Khi chưa quan sát dữ liệu chúng ta cũng có thể thực hiện dự đoán phân phối

f (´x)=∫

ϕ

❑f (´x∣ θ) f (θ)dθ

I.7.8 Lý thuyết quyết định thống kê Bayes

Ngoài các ước lượng điểm thường gặp như ước lượng hợp lý cực đại,phương pháp ước lượng mômen và trung bình hậu nghiệm còn có rất nhiều cách

khác nhau để tạo ra các ước lượng, vấn đề là chúng ta chọn trong số các phương

pháp đó như thế nào? Để giải quyết vấn đề này chúng ta tìm hiểu về lý thuyết quyết

định - lý thuyết so sánh các cách thức thống kê

Theo ngôn ngữ của của lý thuyết quyết định, ước lượng đôi lúc còn được gọi là mộtquy tắc quyết định và giá trị có thể của quy tắc quyết định được gọi là các tác động.Chúng ta sẽ đo độ sai lệch giữa θ và ´θ bằng cách sử dụng hàm tổn thất L(θ , ´θ).Hàm tổn thất L được định nghĩa là ánh xạ:

iv) L(θ , ´θ)=0 khi θ=^θ và L(θ , ´θ)=1 khi θ ≠ ^θ gọi là hàm tổn thất 0−1

Lưu ý Một ước lượng (hay một quy tắc quyết định) ´θ là một hàm của dữ

liệu, tức là nếu X1, X2,…, X n là các biến ngẫu nhiên độc lập và đồng nhất từ một vài

X =(X1, X2,…,X n) Như vậy, để rõ ràng hơn có thể viết ´θ( X) thay vì ´θ.

Để đánh giá ước lượng này cần dựa vào tổn thất trung bình hay rủi ro

I.7.8.1 Định nghĩa

Rủi ro của một ước lượng ´θ được xác định bởi

Lưu ý Chỉ số đưới θ chỉ ra rằng kỳ vọng hoặc phương sai là đối với f (x,θ).

lại ta giả sử hàm tổn thất là sai số bình phương

cực tiểu hóa rủi ro Bayes dẫn đến ước lượng Bayes

I.7.8.3 Định nghĩa

Một quy tắc quyết định cực tiểu hóa rủi ro Bayes được gọi là một quy tắc Bayes.Như vậy, ´θ là một quy tắc Bayes (hay ước ượng Bayes) tương ứng với phân phốitiên nghiệm f nếu