Một số kỹ thuật thống kê sử dụng trong ước lượng bayes

Trong chương 3, trình bày thống kê Bayes với mô hình chuỗi thờigian, những kết quả về ước lượng và kiểm định theo Bayes và một sốthuật toán chạy sử dụng trong phân tích số liệu bằng Baye

Mở đầu 1

Chương 1 Giới thiệu thống kê Bayes 3

Chương 2 Thống kê Bayes trong mô hình chuẩn và hồi quy

Thống kê là khoa học về các phương pháp tổng quát xử lí các kết

quả thực nghiệm Để phát hiện ra những quy luật đằng sau những con

số, người làm thống kê phải tiến hành công việc suy luận thống kê Hiểumột cách đơn giản, suy luận thống kê là quá trình tìm ra các quy luật

từ dữ liệu thực tế

Hiện nay có hai trường phái đang phát triển song song và “cạnh tranh”nhau Đó là trường phái tần suất (cổ điển) và Bayes

Suy luận Bayes thể hiện cách suy nghĩ phổ biến của tất cả chúng ta

là chúng ta tiếp thu kiến thức theo kiểu tích lũy Thông tin mà chúng tamuốn biết bắt nguồn từ thông tin chúng ta đã biết cộng với thông tin

thực tế

Trong luận văn này , tác giả trình bày tổng quan về thống kê Bayes,thống kê Bayes với các mô hình; chuẩn, hồi quy tuyến tính, tuyến tính

tổng quát và mô hình chuỗi thời gian Luận văn gồm 3 chương

Chương 1 Giới thiệu thống kê Bayes

Trong chương 1, tác giả hệ thống các suy luận Bayes cho các biến

ngẫu nhiên rời rạc và liên tục, với các tiên nghiệm rời rạc và liên tục.Đồng thời giới thiệu phương pháp MCMC để giải quyết phép tính tích

phân phức tạp có trong thống kê Bayes

Chương 2 Thống kê Bayes trong mô hình chuẩn và hồi quyTrong chương 2, trình bày mô hình thống kê Bayes chuẩn và hồi quy,

so sánh giữa cách tiếp cận của tần suất và tiếp cận Bayes

Chương 3 Thống kê Bayes với mô hình chuỗi thời gian

1

Trong chương 3, trình bày thống kê Bayes với mô hình chuỗi thờigian, những kết quả về ước lượng và kiểm định theo Bayes và một sốthuật toán chạy sử dụng trong phân tích số liệu bằng Bayes.

Kết luận Trình bày các kết quả của luận văn

Giới thiệu thống kê Bayes

I Định lý Bayes

Việc suy luận thống kê để tìm ra quy luật từ dữ liệu thực tế biểu thịbởi y, dữ liệu có thể tuân theo một phân phối nào đó, tuy nhiên phân

phối này phụ thuộc vào những tham số chưa biết θ, kí hiệu f (y, θ) Với

mô hình xác suất f (y|θ) có hai cách hiểu về tham số θ tương ứng với haitrường phái suy luận: thống kê tần suất và thống kê Bayes

• Thống kê tần suất (thống kê cổ điển) xem tham số là một giá trị

không biết nhưng không ngẫu nhiên;

• Thống kê Bayes coi tham số θ là biến ngẫu nhiên Chúng ta có thể

gán cho tham số một phân phối xác suất để biểu thị sự tin cậy vềgiá trị thực của tham số Bằng cách kết hợp thông tin đã có trước

khi quan sát với thông tin có được khi quan sát, chúng ta thu đượcthông tin muốn biết

Cơ sở của suy luận Bayes là định lí Bayes Định lí cho phép xác địnhxác suất xảy ra một sự kiện ngẫu nhiên khi biết sự kiện liên quan xảy

ra

Xét tham số là biến ngẫu nhiên X, không quan sát được X Biến

ngẫu nhiên Y , phụ thuộc vào các tham số, với các giá trị y1, y2, , yn, Yquan sát được Ta suy luận về biến ngẫu nhiên X/Y = yn bằng việc

sử dụng định lí Bayes Gọi f là phân phối chứa biến ngẫu nhiên Y, g là

phân phối chứa tham số biến ngẫu nhiên X

1 Trường hợp X là rời rạc

3

Nếu X nhận các giá trị x1, x2, , xn Phân phối đồng thời là f (xi/yj) =

g(xi)f (yj/xi) Phân phối biên duyên của Y là

Nếu X liên tục trên R, khi đó phân phối hậu nghiệm xác định theo định

lý Bayes như sau

hằng số không làm thay đổi kết quả định lý Bayes

Trong tính toán phân phối hậu nghiệm, nói chung tìm mật độ biênduyên và mật độ hậu nghiệm không dễ, nên chúng ta tập trung vào

phân phối tiên nghiệm mà có phân phối hậu nghiệm dễ tính toán, khi

đó những tiên nghiệm này được gọi là tiên nghiệm liên hợp

II Bayes cho tỷ lệ Nhị thức

Cho Y /p ∼ Binomial(n, p) (n phép thử độc lập, p là xác suất thànhcông của mỗi phép thử và như nhau trong n phép thử) Y là số lần thành

công trong n phép thử

Nếu cố định y là số thành công của quan sát, và cho p thay đổi các giá

trị có thể của nó, chúng ta có hàm hợp lý

f (y/p) = Cnypy(1 − p)n−y, 0 ≤ p6 1

1 Sử dụng tiên nghiệm đều

Tiên nghiệm cho p là phân phối đều có mật độ g(p) = 1, (0 6 p 6 1).Mật độ hậu nghiệm tương ứng

2 Sử dụng tiên nghiệm Beta

Tiên nghiệm cho p là phân phối Beta(a; b) có mật độ

Đây cũng là phân phối Beta(a0; b0) với a0 = a + y; b0 = b + n − y

* Tiên nghiệm Beta(a; b) gọi là tiên nghiệm liên hợp cho tỷ lệ pcủa phân phối nhị thức và tiên nghiệm đều là trường hợp đặc biệt củaBeta(a; b) với a = b = 1

* Định lý Bayes cung cấp một phương pháp để sửa đổi (niềm tin)phân phối về các tham số, cho dữ liệu Để sử dụng nó, phải có một phân

phối đại diện cho niềm tin của về các tham số, trước khi chúng ta nhìn

vào các dữ liệu

* Trong khi có kiến thức mơ hồ về tiên nghiệm thì phân phối Beta(a; b)

sẽ làm tiên nghiệm phù hợp Ví dụ, khi không biết về p, là một giá trị rấtnhỏ, thì Beta(0, 5; 1), Beta(0, 5; 2), Beta(0, 5; 3), Beta(1; 2), Beta(1; 3)

sẽ là thỏa đáng

* Nếu có kiến thức về tiên nghiệm, lựa chọn Beta(a; b) phù hợp vớiniềm tin của chúng ta về trung bình và độ lệch chuẩn Trung bình tiênnghiệm là p0 = a+ba và độ lệch chuẩn tiên nghiệm là σ0 = q ab

(a+b)2(a+b+1)

Ví dụ 1.1 Có 3 sinh viên muốn xây dựng niềm tin về tỷ lệ người dân

muốn xây dựng sòng bạc ở Hamilton Anna suy nghĩ phân phối tiênnghiệm có giá trị trung bình là 0, 2 và độ lệch chuẩn là 0, 8 Tiên nghiệmBeta(a; b) là phù hợp, được xác định bởi

⇒ tiên nghiệm của Anna là Beta(4, 8; 19, 2)

Bart không biết thông tin gì về vùng này nên đã quyết định dùng tiên

nghiệm đều với a = b = 1 và tiên nghiệm của Bart là Beta(1; 1) Chriskhông có tiên nghiệm thích hợp cho niềm tin của mình và tin rằng xácsuất tiên nghiệm có một dạng hình thang bằng cách nội suy tuyến tính

từ kết quả sau

Bảng 1.1 Trọng số của p

Sau khi có phân phối hậu nghiệm về p, chúng ta cần ước lượng ˆp dựa

trên phân phối hậu nghiệm

Có 2 phương pháp ước lượng hay dùng là ước lượng điểm và ước lượng

khoảng

3 Ước lượng điểm

Các yêu cầu cần có của ước lượng là

Tính không chênh E(θ) =∧ R θ f (∧ θ /θ)d∧ ∧θ = θ, trong đó f (∧θ /θ) là phânphối mẫu của ước lượng ∧θ, có sai số ngẫu nhiên là bias(bθ) = E bθ − θ

Hình 1.1: Tiên nghiệm của Anna, Bart, Chris

Hình 1.2: Phân phối hậu nghiệm của Anna, Bart, Chris

Sai số trung bình bình phương của một ước lượng

M S(bθ) = E(bθ − θ)2 =

Z(bθ − θ)2f (bθ/θ)dbθ = V ar(bθ) + bias2(bθ)

a Theo tần suất

Ước lượng cho p là pbF = yn, trong đó y là tần số thành công cho n phép

thử và có phân phối nhị thức B (n; p) pbF là ước lượng không có sai số

ngẫu nhiên BiaspbF = 0 và

=  1 − 2p

n + 2

2

+ np(1 − p)(n + 2)2

Ta thấy ước lượng điểm theo Bayes có sai số trung bình bình phương nhỏ

hơn so với ước lượng tần suất Vì vậy ước lượng điểm theo Bayes là tốt

4 Ước lượng khoảng

a Theo tần suất

Theo tần suất, ta dùng khoảng tin cậy để ước lượng cho p Khoảng

tin cậy là khoảng có xác suất cao chứa giá trị của θ Khoảng tin cậy(1 − α).100% cho θ là khoảng (l, u) thỏa mãn P (l ≤ θ ≤ u) = 1 − α Vậykhoảng tin cậy (1 − α).100% cho p là

b

pF − zα/2

rb

pF(1 −pbF)

n , pbF + zα/2

rb

pF(1 −pbF)n

!

!

= (0, 174; 0, 346)

b Khoảng tin được Bayes (Bayesian Credible Interval )

Trong thống kê Bayes ta sử dụng “khoảng tin được Bayes” Một

khoảng các giá trị mà có xác suất hậu nghiệm cao được biết đến (1 −α).100% chứa tham số gọi là khoảng tin được Bayes Ở đây ta tìm khoảngtin được cho p sử dụng tiên nghiệm Beta(a, b), phân phối hậu nghiệm

tương ứng là Beta(a0, b0) Chúng ta tìm một khoảng tin được 95% chophân phối hậu nghiệm là xấp xỉ phân phối chuẩn (p/y) ∼ N (m0, s02) với

kỳ vọng và phương sai như sau:

m0 = a

0

a0 + b0, s02 = a

0b0(a0+ b0)2(a0 + b0+ 1)Khoảng tin được (1 − α).100% cho p là

(m0 − zα/2.s0; m0+ zα/2.s0) (1.4)

(zα/2 là giá trị tìm từ phân phối chuẩn tắc) Chẳng hạn với khoảng tin

được 95%, zα/2 = 1, 96 Việc lấy xấp xỉ là tốt nhất nếu a0 ≥ 10, b0 ≥ 10

Ví dụ 1.2.[9] (tiếp)

Ba sinh viên Anna, Bart, Chris tính khoảng tin được cho p thoe hai cách,

sử dụng hàm mật độ chính xác Beta và xấp xỉ chuẩn, kết quả được trìnhbày ở bảng sau

Bảng 1.2 Khoảng tin được của Anna, Bart, Chris

Anna Beta(30,8; 93,2) (0,177; 0,328) (0,172; 0,324)

Bart Beta(27; 75) (0,184; 0,354) (0,183; 0,355)

Chris Lấy tích phân (0,181; 0,340) (0,181; 0,341)

Ta thấy ba kết quả là tương tự nhau Và kết quả của tần suất cũng tương

tự với 3 khoảng tin được của Bayes

5 Kiểm định giả thuyết

a Kiểm định một phía

i Theo tần suất

Ví dụ 1.2 Giả sử chúng ta muốn xác định tỷ lệ người được hưởng lợi

từ việc điều trị theo tiêu chuẩn tại một bệnh viện p là tỷ lệ bệnh nhân

được hưởng lợi từ điều trị mới, tỷ lệ điều trị theo tiêu chuẩn được biết

từ ghi chép là p0 = 0, 6 Một nhóm ngẫu nhiên gồm 10 bệnh nhân đượcđiều trị mới y là số người được hưởng lợi Quan sát y = 8, điều này đủ

tốt để kết luận rằng π > 0, 6 tại mức ý nghĩa α = 10% Các bước kiểmđịnh:

1) Thiết lập giả thuyết và đối thuyết

phía trên hoặc dưới 5%

4) Miền bác bỏ được chọn sao cho nó có xác suất của α dưới phânphối không Nếu chọn Y ≥ 9 thì α = 0, 0463

5) Nếu giá trị kiểm định thống kê cho mẫu nằm trong miền bác bỏ

thì bác bỏ giả thuyết H0 tại α Trong trường hợp này y = 8 thuộcmiền chấp nhận Ta chấp nhận giả thuyết H0 : p ≤ 0, 6

6) p-giá trị là mức ý nghĩa chính xác Trong trường hợp này

0, 05 nên bằng chứng không đủ mạnh để kết luận p > 0, 6

Kiểm định tần suất sử dụng một xác suất tính trên tất cả dữ liệu cóthể xảy ra nhưng giả thuyết về tham số xác định trên toàn bộ giá trị

ii Theo Bayes

không thể bác bỏ giả thuyết H0 ở mức α = 5%.

b Kiểm định 2 - phía

i Mối quan hệ giữa kiểm định 2-phía và khoảng tin cậy

Có một mối quan hệ chặt chẽ giữa kiểm tra giả thuyết 2-phía vàkhoảng tin cậy Nếu kiểm định giả thuyết 2-phía tại α, tương ứng khoảngtin cậy cho tham số (1 − α).100%, nếu giả thuyết H0 : p = p0 bị bác bỏ

thì giá trị p0 nằm ngoài khoảng tin cậy và ngược lại

ii Theo Bayes

Từ quan điểm Bayes, phân phối hậu nghiệm của tham số được sử

dụng để kiểm định giả thuyết Nhưng nếu chúng ta sử dụng tiên nghiệm

là liên tục thì hậu nghiệm liên tục, do đó chúng ta không sử dụng xácsuất hậu nghiệm để kiểm định giả thuyết 2-phía vì P (H0 : p = p0/y) = 0

Thay vào đó, chúng ta sử dụng khoảng tin được Bayes cho p Nếu p0

nằm trong khoảng tin được ta chấp nhận giả thuyết H0 và nếu p nằmngoài khoảng đó thì ta bác bỏ giả thuyết

II Bayes cho trung bình của phân phối chuẩn

Với phương sai đã biết

Cho (y1, y2, , yn) ∼ N (µ, σ2), nếu ta dùng tiên nghiệm liên tục cho

µ thì phân phối hậu nghiệm là

Do đó, phân phối hậu nghiệm là phân phối chuẩn

g(µ/y) ∝ e−

1 2σ2/n (µ−y)2

2 Sử dụng tiên nghiệm chuẩn

µ ∼ N (m, s2), g(µ) ∝ e−2s21 (µ−m)2

a Y là một quan sát đơn giản

Hàm hợp lý kèm theo f (y/µ) ∝ e−2σ21 (y−µ)2

Phân phối hậu nghiệm tương ứng

g(µ/y)) ∝ g(µ)f (y/µ) ∝ e−

1 2

h (µ−m)2 s2 +(y−µ)2

Vậy tiên nghiệm chuẩn là tiên nghiệm liên hợp cho tham số µ của biến

ngẫu nhiên cho phân phối chuẩn

Ví dụ 1.3 Ba sinh viên Arnie, Barb, Chuck làm ước lượng chiều dàitrung bình của cá hồi trong vòng một năm tuổi trên một dòng suối.Nghiên cứu trước đây có trình bày chiều dài của nó tuân theo phân phối

chuẩn với độ lệch chuẩn đã biết là 2cm Arnie xây dựng tiên nghiệm vớitrung bình là 30cm, với niềm tin chiều dài không dưới 18cm và không

vượt quá 42cm, do đó độ lệch chuẩn là 4cm và Arnie sử dụng tiên nghiệmchuẩn N (30; 42) Barb không biết phân tích về cá hồi nên đã sử dụng tiênnghiệm đều Chuck quyết định dùng tiên nghiệm có dạng hình thang với

trọng số tại 0 là 18cm, tại 1 là 24cm và lên đến 40cm, sau đó đi xuống

0 tại 46cm Chuck dùng công thức nội suy tuyến tính giữa các giá trị đểtìm tiên nghiệm cho µ

Họ lấy mẫu với n = 12 và tìm trung bình mẫu y = 32cm

Hậu nghiệm của Arnie có phân phối chuẩn (µ/

Hậu nghiệm của Arnie, Barb, Chuck được thể hiện trong hình 1.3 và 1.4

Hình 1.3: Tiên nghiệm của Arnie, Barb, Chuck

Ta thấy dù xuất phát với các tiên nghiệm khác nhau nhưng kết quảthu được là tương tự nhau

Hình 1.4: Hậu nghiệm của Arnie, Barb, Chuck

Với phương sai chưa biết

Ta tính phương sai mẫu σb2 = n−11

3 Ước lượng điểm

Cho (y1, y2, , yn) là một mẫu ngẫu nhiên từ một phân phối chuẩn

Y ∼ N (µ; σ2), có phân phối mẫu tương ứng là y ∼ N

= 1 − α

b Theo Bayes

Nếu phương sai đã biết: Nếu sử dụng tiên nghiệm là phân phối

đều hoặc là phân phối chuẩn N (m, s2) thì phân phối hậu nghiệm của µ

là N m0, s02
Một khoảng tin được Bayes (1 − α).100% cho µ là

trong đó zα/2 là giá trị tìm từ bảng chuẩn tắc

Nếu phương sai chưa biết: Tính phương sai mẫu từ dữ liệu σb2 =

(yi − y)2 và tính m0, s’2 Có sự không chắc chắn trong việc ước

lượng σ2, chúng ta sẽ mở rộng khoảng tin được bằng cách lấy giá trịbảng phân phối Student’s thay cho phân phối chuẩn tắc Khoảng tin

được Bayes chính xác là

Tiên nghiệm không chuẩn: Khi chúng ta bắt đầu với một tiênnghiệm không chuẩn, việc tìm phân phối hậu nghiệm cho µ sử dụng định

lý Bayes có sử dụng đến phép lấy tích phân Phân phối hậu nghiệm sẽ làkhông chuẩn, và chúng ta có thể tìm khoảng tin dùng Bayes (1−α).100%như sau

Vậy khoảng tin cậy và khoảng tin được bayes là như nhau Tuy nhiên

có những giải thích khác nhau Đối với tần suất µ là cố định, các đuôi

của khoảng ngẫu nhiên là tính toán sử dụng xác suất trên phân phối mẫucủa thống kê y, và không còn tính ngẫu nhiên sau khi trình bày các dữliệu Đối với Bayes µ là biến ngẫu nhiên, khoảng tin được tính từ phân

phối hậu nghiệm

Ví dụ 1.4.[9] (tiếp) Arnie, Barb, Chuck xác định chiều dài của cáhồi có phân phối chuẩn N µ, σ2 = 22
Họ thu được mẫu ngẫu nhiên

n = 12, trung bình mẫu y = 32cm, khoảng tin cậy 95% cho µ là

So sánh với khoảng tin được cho µ của Arnie, Barb, Chuck theo Bayes

như sau

Khoảng tin được Bayes cho µ theo Arnie: (30,84; 33,08)

Khoảng tin được Bayes cho µ theo Barb: (30,87; 33,13)

Khoảng tin được Bayes cho µ theo Chuck: (30,82; 33,07)

Chúng ta thấy khoảng tin cậy giống như khoảng tin được Barb tìm được

vì đã sử dụng tiên nghiệm đều Các kết quả thu được là tương tự nhau

5 Kiểm định giả thuyết

a Kiểm định giả thuyết 1-phía cho µ



= P



Z < 32 − 312/√12



= P (Z > 1, 732) = 0, 0416 < α,

bác bỏ giả thuyết H0

ii Theo Bayes

1) Ta xét bài toán kiểm định:

trong đó Z ∼ N (0, 1) Nếu xác suất nhỏ hơn α, chúng ta bác bỏ giảthuyết H0.

Ví dụ 1.4 [9](tiếp) Arnie, Barb, Chuck đọc trong một tạp chí rằng

trung bình chiều dài cá hồi trong vòng một năm là 31cm Kiểm định

Bảng 1.4 Miền bác bỏ của Arnie, Barb, Chuck

Hậu nghiệm P (µ 6 31/y1, y2, , yn)

Chuck Lấy tích phân R−∞31 g(µ 6 /y1, y2, , yn)dµ = 0, 0489 Bác bỏ

b Kiểm định giả thuyết 2-phía cho µ

i Mối quan hệ giữa kiểm định 2-phía và khoảng tin cậy

Ta chú ý miền bác bỏ cho kiểm định 2-phía tại mức α là Z =

n Ta thấy nếu bác bỏ giả thuyết tại α thì µ0 nằm ngoài khoảngtin cậy (1 − α).100% Tương tự chấp nhận H0 tại α thì µ0 nằm trongkhoảng tin cậy cho µ

ii Theo Bayes

III Phương pháp Markov Chain Monte Carlo (MCMC)

Việc tính toán trong thống kê Bayes đòi hỏi phép tính tích phân khicác phân phối phức tạp việc tính toán gặp nhiều khó khăn và là công

việc tốn kém nhất trong thống kê Bayes Để giải quyết vấn đề này một

số kỹ thuật được đề suất hữu hiệu nhất phải kể đến phương pháp môphỏng Monte Carlo (MC) Cơ sở toán học của phương pháp MC là luật

s, hệ ở trạng thái i Chúng ta muốn đánh giá xác suất để tại thời điểm

t(t > s), hệ sẽ ở trạng thái j Nếu xác suất này chỉ phụ thuộc vào bộbốn (s, i, t, j), nghĩa là

p(X(s) = i, X(t) = j) = p(s, i, t, j) đúng ∀i, ∀j, ∀s, ∀t

Tập hợp tất cả các trạng thái có thể có của hệ được gọi là không giantrạng thái, kí hiệu S

Nếu S gồm một số hữu hạn hoặc vô hạn đếm được các trạng thái thì

quá trình Markov {X(t)} được gọi là chuỗi Markov (xích Markov).Nếu tập các giá trị t không quá đếm được (t = 0, 1, 2, ) ta có chuỗiMarkov với thời gian rời rạc

Nếu t ∈ [0, ∞) ta có chuỗi Markov với thời gian liên tục

Xét một chuỗi Markov Nếu xác suất chuyển trạng thái

p(s + h, i, t + h, j), ∀i, j, s, t và ∀h > 0

ta nói chuỗi Markov thuần nhất theo thời gian

b Ma trận xác suất chuyển trạng thái

Xét một chuỗi Markov rời rạc và thuần nhất theo thời gian {X(t)}, t =

0, 1, 2, có không gian trạng thái S gồm N phần tử S = {1, 2, 3, , N }

Kí hiệu

pij = p(X(t+1) = j|X(t) = i), ∀t

là xác suất chuyển trạng thái từ vị trí i sang vị trí j sau một bước

Ma trận xác suất chuyển trạng thái có được bằng cách liệt kê danh sáchtất cả các trạng thái theo hàng và cột và điền vào đó xác suất chuyển

trạng thái tương ứng Ma trận P = [pij]N ×N kích thước N × N được gọi

là ma trận xác suất chuyển trạng thái sau một bước.

c Phân phối Ergodic

Phân phối (g1, g2, , gN) thỏa mãn điều kiện g1 + g2 + + gN =

2 Phương pháp Markov Chain Monte Carlo (MCMC)

Phương pháp Monte Carlo tạo ra một chuỗi Markov, chuỗi Markovthỏa mãn điều kiện ergodic có phân phối dừng là phân phối cần sinh

mẫu Như vậy, phương pháp MCMC sinh ra được các mẫu theo phânphối yêu cầu

Trở lại mô hình xác suất f (y, θ), áp dụng MCMC, chúng ta cần xây dựng

chuỗi Markov trên tập trạng thái θ ∈ Θ, có phân phối dừng là phân phốihậu nghiệm của mô hình chúng ta quan tâm f (y, θ) Mô phỏng MCMCxấp xỉ đúng mật độ hậu nghiệm bằng cách sử dụng tập các mẫu rút ra

từ hàm mật độ Giả sử chúng có thể lấy các mẫu θ1, , θM từ f (θ|y).MCMC hoạt động theo cách mô phỏng một chuỗi Markov thời gian rờirạc, nghĩa là tạo ra một dãy biến ngẫu nhiên {θi}M

i=1 xấp xỉ phân phối

f (θi) = f (θ|y)

Chuỗi được khởi tạo giá trị ban đầu θ0

Tính chất Markov chỉ ra rằng phân phối của θi+1|θi, θi−1, chỉ phụ thuộc

vào trạng thái hiện thời θi

Ma trận xác suất chuyển trạng thái sau n bước

Pn(θn, A) = P (θn ∈ A|θ0)

MCMC xây dựng chuỗi Markov theo cách

Pn(θ0, A) ≈ P (θ|y) với một vài n tương ứng θ0

Thêm vào đó việc xấp xỉ tại mỗi bước

Thống kê Bayes trong mô hình

chuẩn và hồi quy

Trong chương này chúng ta bắt đầu với những mô tả dữ liệu và nghiêncứu suy luận Bayes trong mô hình chuẩn và hồi quy như: Ước lượng tham

số, kiểm định giả thuyết, dự báo và phát hiện giá trị không mong muốn

)

Xét một phân phối độc lập và tương tự mẫu D = (x1, , xn) từ mật

độ fθ, với tham số chưa biết θ ∈ Θ, như trung bình µ của phân phốichuẩn, hàm hợp lý kèm theo là

Hàm hợp lý với θ chưa biết là yếu tố cơ bản để phân tích Bayes về θ

bởi dữ liệu mẫu D = (x1, x2, , xn) Đầu vào chủ yếu của cách tiếp cậnBayes là thay đổi hàm hợp lý vào phân phối hậu nghiêm, với phân phốixác suất trên Θ là:

g(θ/D) = l(θ/D)g(θ)

Tiên nghiệm g(θ) được xác định trên cơ sở thực tế chứ không phải

niềm tin chủ quan của các thông tin có trước

1 Ước lượng ˆθ

27

Định nghĩa 2.1 Giả sử tham số chưa biết θ có phân phối tiên nghiệmg(θ) bθ là một ước lượng của θ, L



θ, bθ



là hàm tổn thất, ước lượng Bayes

làm cực tiểu giá trị kỳ vọng hậu nghiệm của một hàm tổn thất

Nếu ước lượng bθ của θ được so sánh với nhau qua hàm tổn thất códạng

R l(θ/D)g(θ)dθMột cách khác để tìm ước lượng trong thống kê Bayes là ước lượng cực

đại hậu nghiệm

b

θ = arg max

θ g (θ |D ) = arg max

θ g (θ) l (θ |D ) (2.3)Công thức 2.3 tương tự như công thức ước lượng hợp lý cực đại, trong

đó việc lựa chọn tiên nghiệm là quan trọng Như vậy để ước lượng θ tacần phân phối hậu nghiệm, có được từ định lý Bayes sau khi lựa chọncác tiên nghiệm như đã trình bày ở chương 1 Ở đây ta quan tâm tới hai

loại tiên nghiệm và dùng công thức ước lượng hợp lý cực đại

Hai dạng tiên nghiệm đó là tiên nghiệm liên hợp và tiên nghiệm thiếuthông tin (noninformative priors(

a Tiên nghiệm liên hợp

Khi mô hình là từ một họ mũ với mật độ có dạng:

fθ(y) = h(y) exp {θR(y) − ψ(θ)} , θ, R(y) ∈ Rp

trong đó θ.R(y) là tích vô hướng trong Rp Tồn tại một lớp tiên nghiệmliên hợp

g(θ, ξ, λ) ∝ exp {θξ − λψ(θ)} ,

mà tham số được biểu diễn bằng λ > 0 và ξ có cùng loại với R (y).Phân phối hậu nghiệm có dạng

Trong đó (ξ0(y), λ0(y)) là hàm của quan sát y,

(ξ0(y) = ξ + R (y) , λ0(y) = λ + 1)

Công thức 2.4 chỉ nói rằng họ tiên nghiệm liên hợp và mật độ hậu nghiệm

có cùng họ tham số với các tham số khác nhau Các tham số của mật

độ hậu nghiệm được cập nhật bằng cách sử dụng quan sát liên quan đến

tiên nghiệm Để tránh nhầm lẫn, các tham số phức tạp trong phân phốitiên nghiệm thường được gọi là siêu tham số (hyperparameters)

Ví dụ 2.1 Các phân phối chuẩn, nhị thức, hình học, Poisson và phân

phối mũ đều là họ mũ Phân phối N (µ, 1) là trường hợp đặc biệt của họ

mũ với

θ = µ, R (x) = x, ψ (x) = µ

2

2 .Tiên nghiệm liên hợp tương ứng

Phân phối hậu nghiệm trên µ

là phân phối chuẩn với trung bình (1 − λ)−1(x+ξ) và phương sai (1 + λ)−1.

b Tiên nghiệm thiếu thông tin (noninformative priors)

Thay vì sử dụng những tiên nghiệm liên hợp, người ta có thể chọn

tiên nghiệm thiếu thông tin để làm giảm bớt tác động đến kết quả suyluận Các tiên nghiệm này đều được mở rộng từ phân phối đều Như

mô hình y ∼ p (y − θ), với tiên nghiệm “phẳng” g (θ) = 1, đôi khi là mô

hình tỷ lệ y ∼ 1θf yθ
Trong trường hợp tổng quát hơn, tiên nghiệm(không chứa thông tin) được gọi là tiên nghiệm Jeffrey, liên quan đếnlượng thông tin Fisher I (θ) và gJ (θ) = pIF (θ)

Sự khác nhau giữa tiên nghiệm liên hợp và tiên nghiệm thiếu thôngtin là khi dùng tiên nghiệm thiếu thông tin phải kiểm tra điều kiện

Z

Trong vài trường hợp, điều kiện này biến mất khi cỡ mẫu lớn Mặt khác,

để xác định θ khi dữ liệu đã biết, ta đề cập đến khoảng tin được của θ,

ở đây ngưỡng Kα được xác định

2 Khoảng tin được ( Credible interval)

Định nghĩa 2.2 Tập tin được HPD (highest posterior density) 100 (1 − α) %cho θ là tập C (D) ⊂ Θ sao cho

kα là hằng số lớn nhất thỏa mãn P (θ ∈ C (D) |D ) ≥ 1 − α, g (θ |D ) là

phân phối hậu nghiệm của θ

Ví dụ 2.2 [10] Khi phân phối tiên nghiệm không liên hợp, phân phốihậu nghiệm không cần tốt Chẳng hạn, nếu phân phối chuẩn N (µ, 1)

được thay bởi phân phối Cauchy, C (µ, 1), với hàm hợp lý

Hình 2.1: Phân phối hậu nghiệm của µ cho tiên nghiệm N (0, 10) và 95% miền HPD.

Trong hình ??, phân phối hậu nghiệm của µ cho các quan sát x1 =

−4, 3, x2 = 3, 2 Tính g (µ |D ) = k Cho α = 0, 95, kα = 0, 0415 Miền

HPD như hình ?? Trong hình ??, miền HPD có thể gồm một số tập

bị gián đoạn Điều này có thể phản trực giác theo quan điểm cổ điển,nhưng nó có thể giải thích ngắn gọn về tính không xác định trong dữ

liệu hoặc trong tiên nghiệm về các giá trị có thể của θ, để đánh giá việc

có hay không sự phù hợp của phân phối chuẩn với dữ liệu

3 Kiểm định giả thuyết

Kết quả của quy trình ra quyết định là chấp nhận hay bác bỏ mộtgiả thuyết về θ, ta quy ước giả thuyết là H0 và đối thuyết là H1 và kiểmđịnh

a Hàm quyết định 0-1 Theo cách tiếp cận tiêu chuẩn

Neyman-Pearson kiểm định giả thuyết dựa trên tổn thất 0–1 Hàm tổn thất

Trong đó x là biến biểu thị của dữ liệu D Dưới tổn thất 0-1, quyết định

Bayes kèm theo với một phân phối tiên nghiệm g là

Điều này cho thấy sự thiếu vững mạnh của tiên nghiệm liên hợp, vì

x có thể nhận bất kỳ giá trị trên R Vậy hàm quyết định 0-1 không làước lượng vững trong tiên nghiệm liên hợp

b Nhân tố Bayes

Bây giờ ta xét đến khái niệm trung tâm của kiểm định Bayes là nhân

tố Bayes kiểm định bài toán

Tầm quan trọng của nhân tố Bayes là có thể làm sáng tỏ được mức

chênh lệch của H0 đối với H1 khi dữ liệu đã được cho trước, được dùng

để kiểm định Bayes mà không cần đến hàm tổn thất Sử dụng thang của

Jeffrey:

- Nếu log10(B10) ∈ (0; 0, 5], các bằng chứng chống lại H0 là yếu

- Nếu log10(B10) ∈ (0, 5; 1], là đáng kể

- Nếu log10(B10) ∈ (1; 2], là mạnh

- Nếu log10(B10) > 2, là quyết định bác bỏ

Nhân tố Bayes phụ thuộc vào thông tin tiên nghiệm, nhưng nó giúploại bỏ một phần ảnh hưởng của mô hình tiên nghiệm và nhấn mạnhvai trò của quan sát Ngoài ra nó có thể được coi là tỷ lệ hợp lý

Bayes, nếu g0 và g1 là phân phối tiên nghiệm dưới H0, và H1 nếu

Pg(θ ∈ Θ0) =Pg(θ ∈ Θ1) = 0, 5 , thì B10 có thể viết như sau:

Trường hợp đặc biệt, khi giả thuyết là đơn Θ0 = {θ0}, Pg(θ = θ0) = 1,

ta cần đưa ra tiên nghiệm

ρ = P (θ = θ0) và g(θ) = ρIθ0(θ) + (1 − ρ) g1(θ)Thì

g(Θ0|x) = fθ0(x)ρ

R fθ(x)g(θ)dθ =

fθ0(x)ρ

fθ0(x)ρ + (1 − ρ)m1(x)Cho x ∼ N (µ, σ2) và µ ∼ N (ξ, τ2), xét test H0 : µ = 0 Có thể chọn ξnhư nhau nếu không có thông tin tiên nghiệm thêm vào Khi đó nhân



#−1

là xác suất hậu nghiệm của H0

Bảng 2.1 Xác suất hậu nghiệm của µ = 0 cho cá giá trị khác nhau của

P (θ ∈ Θ0) và P (θ ∈ Θ1) có nghĩa khi g0, g1 là mật độ xác suất chuẩn

Khi x ∼ N (µ, 1) và H0 : µ= 0, tiên nghiệm thiếu thông tin (Jeffreys)

Nhân tố Bayes

B10 = R l (µx, µy, σ |D ) g (µx, µy) gσ σ2
dσ2dµxdµy

R l (µ, σ |D ) gµ(µ) gσ(σ2) dσ2dµkhông phụ thuộc vào hằng số chuẩn được dùng cho gσ σ2
và nhưvậy vẫn có thể dùng tiên nghiệm không thông tin như gσ σ2
= 1/σ2.Hơn nữa có thể viết là µx = µ − ξ và µy = µ + ξ tương ứng, và sử dụng

một tiên nghiệm có dạng g (µ, ξ) = gµ(µ) gξ(ξ) trên tham số mới để tiênnghiệm tương tự có thể được sử dụng theo cả hai H0 và thay thế của

nó Rút gọn hằng số chuẩn của gµ, và chọn tiên nghiệm gµ(µ) = 1 và

thể Nên cần xấp xỉ cho tử số của B10 bằng phương pháp MCMC

Như trong tính toán nhân tố Bayes B01 = B1

10 có thể rút gọn

B01 =

R

[(µ−x)2+(µ−y)2+S2]−ndµ R

mô phỏng một mẫu N (0, 1) của (i = 1, , 1000) và xấp xỉ B01 với

d

B01 =

h(x − y)2 + 2S2

i−n+1/2

1 1000

1000

P

i=1

h(2ξ + x − y)2 + 2S2i

−n+1/2 = 24, 6

Giá trị của dB01 có nghĩa là H0 là có nhiều khả năng cho dữ liệu sắptới hơn H1 : µx 6= µy Nếu dùng tiên nghiệm chuẩn N (0; 0, 01) thay thếthì giá trị xấp xỉ là 1,766, nó làm giảm đáng kể đối thuyết trong việc

ủng hộ H0

4 Các vấn đề mở của Bayes trong phân phối chuẩn

Các mô tả của suy luận trong mô hình chuẩn ở trên chỉ là giới thiệu

suy luận và cấu trúc chuẩn Khi xem xét một mẫu Dn = (x1, x2, , xn)

từ phân phối chuẩn N (µ, σ2), có thể có một phân tích kế tiếp trong môhình mà các quan sát là dự kiến trong tương lai

f (xn+1|θ ) g (θ |Dn) và phân phối dự đoán trên đơn giản là biên duyên

tương ứng Cho N (µ, σ2), sử dụng tiên nghiệm liên hợp trên (µ, σ2) códạng

(σ2)−λσ −3/2exp −{λn(µ − ξ)2 + α}/2σ2Phân phối hậu nghiệm tương ứng trên µ, σ2
là

,

và dự đoán trên xn+1 nhận được là

chuẩn có thích hợp cho toàn bộ dữ liệu

b Những quan sát không mong muốn

Đối với mỗi xi ∈ Dn, E [y |x, β ] = xTβ là phân phối dự đoán dựa trên

Dni = (x1, , xi−1, xi+1, , xn) Xem xét fig xi|Di

n
hoặc tương ứng hàmphân phối tích lũy Fig xi|Di

n
cung cấp một dấu hiệu về mức độ phùhợp của quan sát với mẫu Để định lượng mức độ này chúng ta có thể

ví dụ xấp xỉ phân phối của Fig xi|Di

R l(θ/D)g(θ)d? ?Một cách khác để tìm ước lượng thống kê Bayes ước lượng cực

đại hậu nghiệm

b

θ = arg max

θ... tiên nghiệmg(θ) bθ ước lượng θ, L



θ, bθ



là hàm tổn thất, ước lượng Bayes

làm cực tiểu giá trị kỳ vọng hậu nghiệm hàm tổn thất

Nếu ước lượng bθ θ so sánh... tương ứng, sử dụng

một tiên nghiệm có dạng g (µ, ξ) = gµ(µ) gξ(ξ) tham số để tiênnghiệm tương tự sử dụng theo hai H0 thay

nó Rút gọn số chuẩn