Suy Diễn Bayes trên Phân Phối Gauss Một Chiều với Một Quan Sát

Phân phối Gauss hay phân phối chuẩn là một trong những loại phân phối được sử dụng rộng rãi trong thống kê. Việc ước lượng các tham số sử dụng suy diễn Bayes cũng như tiên nghiệm liên hợp cũng được áp dụng rộng rãi. Việc dùng các tiên nghiệm liên hợp cho phép tất cả các kết quả được suy ra ở dạng công thức

Suy Diễn Bayes trên Phân Phối Gauss Một Chiều với

Một Quan Sát Trần Nam Hưng*

Ngày 12 tháng 5 năm 2022

Tóm tắt nội dung

Phân phối Gauss hay phân phối chuẩn là một trong những loại phân phối được sử dụng rộng rãi trong thống kê Việc ước lượng các tham số sử dụng suy diễn Bayes cũng như tiên nghiệm liên hợp cũng được áp dụng rộng rãi Việc dùng các tiên nghiệm liên hợp cho phép tất

cả các kết quả được suy ra ở dạng công thức.

Mục lục

1 Kiến thức chuẩn bị 1

1.1 Phân phối chuẩn một chiều 1

2 Phân phối hậu nghiệm 3

1 Kiến thức chuẩn bị

1.1 Phân phối chuẩn một chiều

Định nghĩa 1 (Phân phối chuẩn) Một biến ngẫu nhiên X tuân theo phân phối chuẩn (hay phân

phối Gauss) với hai tham số trung bình µ và phương sai σ2 (trong đó −∞ < µ < +∞ và σ > 0), được ký hiệu bởi X ∼N(µ , σ), nếu X là một phân phối liên tục với hàm mật độ phân phối xác suất (p.d.f.) được xác định như sau

f(x |µ,σ2) = 1

σ√ 2πexp

®

−1 2

(x − µ)2

σ2

´ với − ∞ < x < +∞ (p.d.f.)

Định lí 1 Hàm (p.d.f.) chính là hàm phân phối xác suất của phân phối Gauss.

Chứng minh Dễ dàng ta thấy hàm (p.d.f.) là hàm không âm Ta cần chứng minh rằng

Z +∞

* E-mail: hungb1906052@student.ctu.edu.vn

Đặt a = (x−µ)

σ , khi đó (1) trở thành

Z +∞

−∞ f(x |µ,σ)dx =

Z +∞

−∞

1

σ√ 2πexp

ß

−12a2

™

da= 1

σ√ 2π

Z +∞

−∞ exp

ß

−12a2

™ da Đặt I =R+∞

−∞exp

−1

2a2

da, khi đó

I2=

ÅZ +∞

−∞

expß 1

2a 2

™ da

ã

·

ÅZ +∞

−∞

exp

ß

−1

2b 2

™ db

ã

= ZZ

Da,bexp

ß

−1

2 a

2+ b2
™

da db

Áp dụng phép song ánh sang hệ tọa độ cực bằng cách đặt a = r cosϕ và b = r sinϕ là các hàm liên tục, khi đó a2+ b2= r2, cùng với các đạo hàm riêng cấp một của chúng trên miền mới Ta có

ma trận Jacobi

J≜

Ü ∂a

∂r

∂a

∂ϕ

∂b

∂r

∂b

∂ϕ

ê

= cosϕ −r sinϕ sinϕ r cosϕ

!

Vi phân hàm hai biến a = r cosϕ và b = r sinϕ ta có kết quả được biểu diễn như sau

da db

!

= cosϕ −r sinϕ sinϕ r cosϕ

!

· dr dϕ

!

Khi đó ta tính được tích phân hai lớp I2khi chuyển sang hệ tọa độ cực với miền xác định trong mặt phẳngDr,ϕ :{0 ≤ ϕ ≤ 2π,0 < r < +∞} Ta có

I2= ZZ

Da,bexp

ß

−12 a2+ b2
™

· detJ dadb

= ZZ

Dr,ϕexp

ß

−12r2

™

·

cosϕ −r sinϕ sinϕ r cosϕ

dr dϕ

=

Z 2π 0 dϕ

Z +∞

0 exp

ß

−12r2

™

· r dr

Đặt t = r 2

2 thì khi đó dt = r dr, vì vậy tích phân tiếp tục được tính như sau

I2=

Z 2π 0 dϕ

Z +∞

0 exp{−t} dt =

Z 2π

0 −exp{−t}+∞

0 dϕ =

Z 2π 0

dϕ = 2π

Khi I2= 2π thì I =√

2π Cuối cùng, ta có

Z +∞

−∞ f(x |µ,σ)dx =√1

2π· I = 1

Đây là điều cần phải chứng minh

Định lí 2 (Trung bình và phương sai) Ta có trung bình và phương sai của phân phối chuẩn với

hàm mật độ xác suất cho bởi (p.d.f.) được tính như sau

E(X) = µ, Var(X) = σ2

2 Phân phối hậu nghiệm

Định lí 3 (Ước lượng tham số trung bình µ với n = 1 quan sát) Cho biến ngẫu nhiên X tuân

theo phân phối Gauss với giá trị của tham số trung bình µ là chưa biết (−∞ < µ < +∞) và giá trị của tham số phương sai σ2đã biết (σ2>0) Giả sử phân phối tiên nghiệm µ là một phân phối

Gauss với hai siêu tham số m và s2 Thực hiện một quan sát ta nhận được giá trị x0cụ thể, khi đó phân phối hậu nghiệm của µ cũng tuân theo phân phối Gauss có trung bình b m và phương saibs2

được xác định như sau

b

m≜x0s

2+ mσ2

s2+ σ2 và bs2≜ s

2σ2

s2+ σ2

Chứng minh Ta có mô hình đầy đủ

Xi.i.d.∼ N(µ , σ2)

µi.i.d.∼ N(m , s2)

và x0 là quan sát của biến ngẫu nhiên X nên theo định lý Bayes cho biến liên tục ta có hàm phân phối hậu nghiệm của µ được xác định là

π(µ |x0) = p(µ) × f (x0|µ)

R+∞

−∞ p(µ) · f (x0|µ)dµ, (The pos distr.) Xét trong trường hợp xi.i.d.∼ N(m , s2) và có hàm mật độ

f(x0|µ) =N(x0|µ,σ2) = 1

σ√ 2πexp

ß

−2σ12(xi− µ)2

™

(p.d.f.) và

p(µ) =N(µ |m,s) = 1

s√ 2πexp

ß

−2s12(µ − m)2

™ (p.d.f.) Xét p(µ) × f (x0|µ), ta có

p(µ) × f (x0|µ) = 1

s√ 2πexp

ß

−2s12(µ − m)2

™

· 1

σ√ 2πexp

ß

−2σ12(x0− µ)2

™

= 1 2πsσexp

ß

−2s12(µ − m)2−2σ12(x0− µ)2

™

≜ 1

Xét biểu thức P

P= −2s12(µ − m)2−2σ12(x0− µ)2

= −µ2+ 2mµ − m2

2s2 −x

2

0− 2x0µ+ µ2 2σ2

= −µ2σ2+ 2mµσ2− m2σ2− x2

0s2+ 2x0µs2− µ2s2 2s2σ2

= −µ2(σ2+ s2) + 2µ(mσ2+ x0s2) − (m2σ2+ x2

0s2) 2s2σ2

= −σ

2+ s2 2s2σ2

ñ

µ2− 2 · µ ·mσ

2+ x0s2

σ2+ s2 +m

2σ2+ x2

0s2

σ2+ s2

ô

= −σ

2+ s2 2s2σ2

"Ç

µ−mσ

2+ x0s2

σ2+ s2

å2# + mσ

2+ x0s2
2 (σ2+ s2) · 2s2σ2−m

2σ2+ x0s2

σ2+ s2

Xét biểu thức

mσ2+ x0s2
2

(σ2+ s2) · 2s2σ2−m

2σ2+ x0s2

σ2+ s2 = mσ

2+ x0s2
2

− m2σ2+ x0s2

(σ2+ s2) 2s2σ2(σ2+ s2)

=2x0ms

2σ2− m2s2σ2− x2

0s2σ2 2s2σ2(σ2+ s2)

=2x0m− x2

0− m2

σ2+ s2 = −12(x0− m)

2

σ2+ s2

Từ đó,

P= −σ

2+ s2 2s2σ2

Ç

µ−mσ

2+ x0s2

σ2+ s2

å2

−12(x0− m)

2

Thay P từ (3) vào (2) ta có

p(µ) × f (x0|µ) = 2πsσ1 exp

(

−σ

2+ s2 2s2σ2 f t[

Ç

µ−mσ

2+ x0s2

σ2+ s2

å2

−12(x0− m)

2

σ2+ s2

)

= 1 2πsσexp

(

−σ

2+ s2 2s2σ2

Ç

µ−mσ

2+ x0s2

σ2+ s2

å2)

· exp

®

−12(x0− m)

2

σ2+ s2

´ (4)

Xét tích phânR+∞

−∞ p(µ) · f (x0|µ)dµ, bởi vì tính chất của hàm mật độ phân phối xác suất trong phân phối Gauss

Z +∞

−∞ p(µ) · f (x0|µ)dµ =

Z +∞

−∞

1 2πsσexp

(

−σ

2+ s2 2s2σ2

Ç

µ−mσ

2+ x0s2

σ2+ s2

å2)

· exp

®

−1 2

(x0− m)2

σ2+ s2

´ dµ

= 1

2πsσexp

®

−1

2

(x0− m)2

σ2+ s2

´Z +∞

−∞ exp

(

−σ

2+ s2 2s2σ2

Ç

µ−mσ

2+ x0s2

σ2+ s2

å2) d

Ç

µ−mσ

2+ x0s2

σ2+ s2

å

= 1

2πsσexp

®

−12(x0− m)

2

σ2+ s2

´

·

  π

σ 2 +s 2

2s 2 σ 2

=√ 1

2π√

σ2+ s2exp

®

−1 2

(x0− m)2

σ2+ s2

´

Thương giữa (4) và (5) được xác định là

π(µ |x0) = p(µ) × f (x0|µ)

R +∞

−∞ p(µ) · f (x0|µ)dµ

=q 1

s2σ 2

σ 2 +s 2

√ 2π exp

(

− 1

2σs22+sσ22

Ç

µ−mσ

2+ x0s2

σ2+ s2

å2)

=N

Ç

mσ2+ x0s2

σ2+ s2 , s2σ2

σ2+ s2

å

=N( bm ,bs2)

Ta được điều phải chứng minh