Thuật toán mô phỏng MCMC thích nghi và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN --- NGUYỄN VĂN TÂN THUẬT TOÁN MÔ PHỎNG MCMC THÍCH NGHI VÀ ỨNG DỤNG Chuyên ngành: Lý thuyết xác suất và thống kê toán học LUẬ

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

-

NGUYỄN VĂN TÂN

THUẬT TOÁN MÔ PHỎNG MCMC THÍCH

NGHI VÀ ỨNG DỤNG

Chuyên ngành: Lý thuyết xác suất và thống kê toán học

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS TRẦN MẠNH CƯỜNG

Hà Nội - 2015

M cl c

1.1 S h i t c a dãy đ i lư ng ng u nhiên

51.2 Dãy mixingale

61.3 Các thu t toán mô ph ng cơ b n 7

1.3.1 Phương pháp bi n đ i ngh ch đ o

81.3.2 Phương pháp lo i b

91.3.3 Phương pháp l y m u quan tr ng 13

1.4 Xích Markov 15

2 Phương pháp MCMC 22 2.1 Gi i thi u 22

2.2 M u Metropolis - Hastings 23

2.3 M t s thu t toán MCMC 29

2.3.1 M u Gibbs 29

2.3.2 M u đ c l p 30

2.3.3 M u Metropolis - Hastings du đ ng ng u nhiên 32

2.3.4 M u Metropolis (thành ph n đơn) 33

3 MCMC thích nghi 34 3.1 Thu t toán Metropolis du đ ng ng u nhiên thích nghi 3.1.1 Mô t thu t toán 3.1.2 Tính ch t ergodic 3.1.3 So sánh các 1

P 35

35

37

38

3.2 Thu t toán Metropolis thích nghi 42 3.2.1 Mô t thu t toán 45 3.2.2 Tính Ergodic 47 3.2.3 So sánh các thu t toán Metropolis v i thu t toán AM 59 3.3 M ts ng d ng c a MCMC thích nghi 59 3.3.1 Mô hình mô ph ng GOMOS 60 3.3.2 Mô hình suy gi m oxy 65

2

Tuy nhiên, trong nhi u trư ng h p, ta không th tìm đư c F(x) Gi s

f (x) là hàm m t đ trên [0, 1] sao cho n u h(x) = 0 thì f (x) > 0 Ta vi t

Lu t s l n cho ta th y r ng Iˆ n h i t v i xác su t 1 t i tích phân I khi n ti n t i ∞

nghĩa là Iˆ n → I(h.c.c) Như v y đ tính x p x I, ta ph i th c

hi n n mô ph ng cho bi n ng u nhiên X

Các mô ph ng MC cơ b n này có ưu đi m là d th c hi n Tuy nhiên, nó

ch mô ph ng đư c đ i v i các trư ng h p đơn gi n

Trong nhi u trư ng h p ph c t p như s chi u tăng lên (phân ph i nhi u chi u) thì các MC cơ b n không th th c hi n đư c Đ gi i quy t v n đ này, chúng ta đưa ra m t phương pháp g i là phương pháp MCMC Ý tư ng chính c a phương pháp MCMC là đi xây d ng m t xích Markov có tính ergodic mà phân ph i d ng là π Khi đó, chúng ta ch y X lên đ n

th i gian dài N và ư c lư ng E(h(Y )) b i N N

=1 h(X n) Đ nh lý ergodic 1

n

cho ta bi t v i N đ l n, ư c lư ng trên s g n đ n E(h(Y ))

Chúng ta th y r ng vi c ch n l a phân ph i đ xu t là quan tr ng cho

3

s h i t c a thu t toán MCMC Vi c ch n l a đư c phân ph i đ xu t

t t thư ng khó th c hi n vì thông tin v m t đ m c tiêu là không có ho c r t ít Hơn n a, trong thu t toán MCMC, phân ph i đ xu t đư c ch n cho m i bư c

mô ph ng Đ s d ng các thông tin đã thu đư c trong các bư c mô ph ng trư

c đ mô ph ng cho bư c ti p theo, chúng ta đưa ra thu t toán MCMC thích nghi đó, phân ph i đ xu t đư c c p nh t cùng quá trình s d ng thông tin đ y

đ tích lũy cho đ n th i đi m hi n t i M i l a ch n phân ph i đ xu t thích nghi s cho chúng ta m t d ng MCMC thích nghi

M c đích chính c a lu n văn này là trình bày các phương pháp MCMC cơ

b n và hai thu t toán MCMC thích nghi t bài báo [6], [7] Đ ng th i đưa ra các so sánh gi a các thu t toán MCMC và ch ng minh chi ti t các đ nh lý trong bài báo cũng như đưa ra m t s ng d ng c a thu t toán

Lu n văn g m 3 chương

• Chương 1 nh c l i m t s ki n th c b tr v s h i t c a dãy đ i

lư ng ng u nhiên, dãy mixingale, các thu t toán mô ph ng MC cơ b n

và xích Markov

• Chương 2 trình bày v các phương pháp MCMC cơ b n

• Chương 3 trình bày chi ti t v hai phương pháp MCMC thích nghi t hai bài báo [6] và [7] Đó là thu t toán Metropolis du đ ng ng u nhiên thích nghi ([6]) và thu t toán Metropolis thích nghi ([7]) Ch ra tính h i

t c a hai thu t toán và ch ng minh tính ergodic c a thu t toán

Metropolis thích nghi Sau m i thu t toán đ u đưa ra s so sánh gi a các thu t toán MCMC Đ ng th i đưa ra m t s ng d ng th c t c a mô hình MCMC thích nghi

L i đ u tiên, xin chân thành c m ơn th y TS Tr n M nh Cư ng đã

nh n hư ng d n và t n tình giúp đ tôi hoàn thành lu n văn này Lòng bi t ơn sâu s c tôi cũng xin đư c g i đ n các th y cô trong Trư ng ĐHKHTN -

ĐHQGHN, Khoa Toán - Cơ - Tin đã giúp đ tôi hoàn thành khóa h c

Hà N i tháng 12 năm 2015

4

Đ nh nghĩa 1.2 Cho dãy (X n) các bi n ng u nhiên. F n (x), F (x) tương

ng là hàm phân ph i c a X n, X G i C(F ) là t p các đi m liên t c c a hàm F

Ta nói dãy (X n) h i t theo phân ph i đ n X n u ∀x ∈ C(F ), ta

Đ nh nghĩa 1.4 M t dãy các bi n ng u nhiên (X n) đư c g i là h i t theo

trung bình b c r đ n bi n ng u nhiên X n u r ≥ 1, E|X n|r < ∞ ∀n,

Đ nh lí 1.6 (đ nh lý gi i h n trung tâm) Cho dãy (X n) các bi n ng u nhiên đ

c l p cùng phân ph i, có cùng kỳ v ng EX i = µ và phương sai

−∞ là dãy tăng các ∞

n

σ- đ i s con c a Φ Khi đó, (X n , Φ n) đư c g i là dãy mixingale n u v i

m i dãy h ng không âm c n và ψ m, trong đó ψ m → 0 khi m → ∞, ta có:

1.3 Các thu t toán mô ph ng cơ b n

Các k t qu th ng kê thư ng liên quan đ n tích phân Nh c l i r ng c kỳ v

ng và xác su t đ u nh n đư c t tích phân (ho c t ng) Vì v y, xét

tích phân sau:

1

0

Thông thư ng, ngư i ta ti p c n d ng t ng Riemann Chúng ta đánh

giá hàm h(x) t i n đi m (x(1), , x(n)) trong m t lư i chính quy và sau đó

tính:

1 n h(x(i))

Tuy nhiên, trong nhi u trư ng h p, vi c xác đ nh l y các đi m (x(1), , x(n))

là không th ho c chi phí quá t n kém, ngư i ta đã đưa ra m t cách ti p c n khác Đó là quá trình Monte Carlo Chúng ta b t đ u b ng vi c vi t

l i tích phân như sau:

1 h(x)

0 f (x)

trong đó f (x) là m t m t đ trên [0, 1] sao cho n u h(x) = 0 thì f (x) > 0

Nhưng đi u này nghĩa là:

Lu t s l n cho ta th y r ng Iˆ n h i t v i xác su t 1 t i tích phân I khi n ti n t i ∞

nghĩa là Iˆ n → I(h.c.c) Hơn n a, đ nh lý gi i h n trung tâm

ch ra r ng

(Iˆ n − I)/ V ar(Iˆn)

7

x p x phân ph i chu n Vì v y phương sai V ar(Iˆ n) cho ta bi t v đ chính xác ư c lư ng c a chúng ta và nó có th đư c ư c lư ng như sau:

B ng đ nh nghĩa c a ngh ch đ o m r ng và tính đơn đi u c a F , ta có:

Khi đó Y có phân ph i mũ v i tham s λ Đi u này có th đơn gi n hóa

hơn b ng cách th a nh n r ng 1 − U cũng là phân ph i đ u trên (0, 1) và

Ví d 1.2 Mô ph ng bi n ng u nhiên có phân ph i Bernoulli (p)

và f (x)/g(x) ≤ M ∀x thì ta có th l y m u t Y đ t o ra m u cho X

Chúng ta l p l i các bư c sau cho đ n khi m t m u đư c tr v

• Bư c 1: L y m u Y = y t g(y) và U = u t phân ph i đ u U(0, 1) Sang bư c 2

• Bư c 2: N u u ≤

f (y )

M g(y) thì đ t X = y Ngư c l i, quay l i bư c 1

M nh đ 1.10 Phân ph i c a bi n ng u nhiên X đư c l y m u trong phương pháp lo i b như trên có m t đ f (x)

Thu t toán l y m u lo i b ti n hành như sau:

• Bư c 1: L y m u Y = y t phân ph i mũ E(1) và U = u t phân

m u bi n ng u nhiên có đi u ki n X = (Y |Y ∈ A) v i không gian tr ng

thái A Trong trư ng h p này m u lo i b có th hoàn thành b i l y m u l p đi l

p l i X cho đ n khi m u c a chúng ta n m trong A C th hơn,

Vì v y, trong thu t toán l y m u lo i b tiêu chu n, chúng ta ch p nh n n u

nh này

N u đánh giá m t đ m c tiêu f là t n kém thì phương pháp lo i b có th dùng máy đi n toán ít t n kém hơn N u thêm c n trên M g(x) trên m t đ m c

thu t toán l y m u lo i b hình bao, ti n hành như

Đi u này hi u qu hơn vì trung bình ta c n 1/M h(x)dx l n l p đánh giá c

a f đư c thay th b i đánh giá c a h Hàm h có th đư c tìm th y trong ví d b i khai tri n Taylor

12

1.3.3 Phương pháp l y m u quan tr ng

Trong đo n trư c ta đã đưa ra l y m u lo i b , s d ng m t đ đ xu t đ t o ra

m u t m t đ m c tiêu Trong đo n này, chúng ta v n ti p t c l y m u c a m t đ

m c tiêu nhưng thay đ i cách đánh giá t o ra ư c lư ng không ch ch c a các đ c tính c a m t đ m c tiêu

Nh c l i cái mà ta đang quan tâm khi th o lu n v phương pháp Monte Carlo là tích phân

trong đó, g là m t m t đ sao cho g(x) > 0 v i f (x)h(x) = 0 Bây gi ,

tr ng s quan tr ng Chú ý r ng I ˆ là m t ư c lư ng không ch ch c a I

Có hai lý do t i sao chúng ta quan tâm đ n bi u di n m u quan tr ng:

1 L y m u t f (x) là không th ho c quá đ t đ

ch ch theo quy ư c có sai s Monte Carlo (MC) l n

Phương sai c a m t ư c lư ng quan tr ng s ch h u h n n u ư c lư ng

Do đó, phương sai s thư ng vô h n n u t s f (x)/g(x) không b ch n

D n đ n, n u có th , chúng ta nên ch n m t đ đ xu t g có đuôi dày hơn f Tóm l i, n u f (x)/g(x) không b ch n thì th m chí n u phương sai c a ư c lư

ng th ng kê là h u h n, th t c l y m u là không hi u qu cũng như phương sai c a tr ng s quan tr ng là l n

Thay vì ư c lư ng quan tr ng Iˆ = 1 n

=1 w(x i )h(x i), ư c lư ng t l sau đây thư ng đư c s d ng n i

n h(x )w(x )

j=1 j

Ư c lư ng này có hai l i th :

1 Nó là ư c lư ng không ch ch, thư ng có phương sai nh hơn ư c lư ng quan tr ng, đưa vào d dàng hơn Nhưng chú ý r ng ư c lư ng này

N u ta không th tìm th y m t m t đ quan tr ng d n đ n phương sai nh h p

lý c a tr ng s quan tr ng thì có vài phương pháp l y m u có th

áp d ng đ làm gi m phương sai:

1 Phép tính g n đúng đ u tiên đư c g i là l y l i m u quan tr ng liên

ti p và quá trình này như sau:

(a) L y m t m u quan tr ng Y (1), , Y (n) v i các tr ng s quan tr ng

w i = f (Y (i))/g(Y (i)), i = 1, , n

(b) T o m t m u m i X(1), , X(n) b ng cách l y m u t Y (1), , Y (n)

trong đó Y j đư c l y m u v i xác su t w j / n=1 w i i

2 Phương pháp l y m u th hai đư c g i là ki m soát lo i b và xem xét

lo i b b t kỳ đi m m u mà có tr ng s quan tr ng dư i m t ngư ng

c cho trư c Lo i b nh ng đi m m u s đưa ra m t đ l ch, nhưng

b ng s thay đ i các tr ng s quan tr ng thích h p, đ l ch này có

th tránh đư c Cho m u quan tr ng Y (1), , Y (n) v i các tr ng s

quan tr ng w1, , w n, quá trình ki m soát lo i b như sau:

(a) V i j = 1, , n ch p nh n Y (j) v i xác su t p j = min{1, w j /c}

Ngư c l i, lo i b Y (j)

(b) N u Y (j) đư c ch p nh n tính toán l i thì tr ng s quan tr ng là

w j = qw j /p j, trong đó q = min{ 1, w(x)/c}g(x)dx ˜

Chú ý vì q như nhau đ i v i t t c các đi m m u nên ta không c n tính

nó rõ ràng n u ta s d ng ư c lư ng t l Hơn n a, ki m soát

Đ nh nghĩa 1.11 Xích Markov M t dãy đ i lư ng ng u nhiên X =

2 n u tr i mưa vào ngày th n

Hình sau ch ra các xác su t chuy n cho s thay đ i th i ti t

B ng vi c l y mô hình th i ti t như xích Markov, chúng ta gi s r ng

không ph thu c vào n Ta g i P(x, A) là nhân chuy n Trong ph m vi

đây, chúng ta gi s r ng nhân chuy n là liên t c tuy t đ i v i m i x ∈ Σ, t c là

N u không gian tr ng thái Σ c a X là h u h n thì ta có th gom các xác su t chuy n thành m t ma tr n xác su t chuy n như sau

B đ 1.14 Phân ph i t i th i đi m n Gi s đã bi t phân ph i ban

đ u c a X, t c là phân ph i c a X0 đư c cho b i hàm m t đ q(0)(x) Khi

đó, ta có th tính đư c hàm m t đ c a X t i th i đi m n như sau:

q(n)(x) = Σ q

(0)(y)p(n)(y, x)dy

N u q(n) là véctơ c a phân ph i t i th i đi m n và Pn là ma tr n xác su t chuy n sau n bư c thì ta có:

q(n) = q(0)Pn

Ví d 1.8 Gi s trong ngày th 0, tr i n ng Do đó q(0) = (1, 0, 0) Khi đó, phân ph i c a th i ti t trong ngày th 2 là

17

N u m t xích Markov th a mãn đi u ki n h p lý nh t đ nh thì phân

ph i c a xích h i t đ n m t phân ph i gi i h n mà cũng đư c g i là phân ph i cân b ng ho c cân b ng ho c b t bi n Xích như th đư c g i là m t xích

Đ nh nghĩa 1.15 T i gi n: Xích Markov X đư c g i là t i gi n n u t t

c các tr ng thái đ u liên l c đư c, t c là v i m i i, j ∈ Σ, có m t s n ≥ 0

sao cho:

P(X n = i|X0 = j) > 0

Đ nh nghĩa 1.16 H i quy M t xích Markov X đư c g i là h i quy n u

xác su t đ xích xu t phát t tr ng thái i quay tr l i i sau h u h n bư c

b ng 1, t c là:

P(Xtr l i tr ng thái i sau h u h n bư c |X0 = i) = 1 ∀i ∈ Σ

Đ nh nghĩa 1.17 H i quy dương : M t xích h i quy đư c g i là h i

quy dương n u E(T ii ) < ∞ v i m i i ∈ Σ, trong đó T ii là kho ng th i gian

l n đ u tiên tr v tr ng thái i N u xích Markov là ergodic v i phân ph i

d ng π thì

π(i) = 1/E(T ii )

đây, phân ph i d ng π = (π(1), π(2), ) còn đư c g i là phân ph i gi i

h n

Đ nh lí 1.18 Tr ng thái i là h i quy khi và ch khi

Đ nh nghĩa 1.19 Tính không chu kỳ:

∞ p( n ) n=1 ii = ∞

M t xích Markov đư c g i là không có chu kỳ n u không t n t i d 2 và các t p con r i nhau Σ1, Σ2, , Σ d ⊂ Σ sao cho:

P (x, Σ i+1) = P(X n+1 ∈ Σi+1|Xn = x) = 1 ∀x ∈ Σi , i ∈ { 1, 2, 3, , d−1}

P (x, Σ1) = 1 ∀x ∈ Σd

18

Ví d 1.9

Hình 1.2: Xác su t chuy n c a xích th i ti t

Bây gi ta xét m t không gian tr ng thái liên t c Ξ B i vì xác su t c a m t

bi n ng u nhiên liên t c nh n giá tr t i m t đi m b ng 0 nên ta c n xem l i đ

nh nghĩa v tính t i gi n

Đ nh nghĩa 1.20. φ - t i gi n M t xích Markov đư c g i là φ - t i gi n

n u t n t i m t đ đo không t m thư ng φ trong Ξ sao cho ∀A ⊆ Ξ v i

φ(A) > 0 và ∀x ∈ Ξ , t n t i s nguyên dương n = n(x) sao cho:

P (n)(x, A)(= P(X n ∈ A|X0 = x)) > 0

Ví d như φ (A) = δx0 thì đi u này đòi h i tr ng thái x0 có th đ t

đư c (liên l c) t b t kỳ tr ng thái khác v i xác su t dương Vì v y, tính

t i gi n là đi u ki n ch t hơn so v i φ - t i gi n V i không gian tr ng thái liên t c,

φ(•) có th là đ đo Lebesgue

Khái ni m v tính không chu kỳ như đ nh nghĩa trư c đó cũng đư c áp d

ng cho xích Markov liên t c

M t xích Markov là φ - t i gian và không có chu kỳ thì có phân ph i gi i h n Đ

đo kho ng cách gi a hai đ đo xác su t ta s d ng kho ng cách bi n thiên hoàn toàn

Đ nh nghĩa 1.21 Kho ng cách bi n phân gi a hai đ đo xác su t P1 và

P2 đư c đ nh nghĩa b i:

P1(•) − P2(•) = sup |P1(A) − P2(A)|

A

19

Đ nh lí 1.22 Phân ph i tr ng thái cân b ng Phân ph i c a xích

Markov không có chu kỳ, φ - t i gi n h i t đ n m t phân ph i gi i h n

Vì đ nh lý trên đúng cho b t kỳ phân ph i ban đ u q(0) nào nên d n

đ n ta có phương trình cân b ng t ng quát

π(x) = π(y)p(y, x)dy

Σ

B đ 1 Tr ng thái cân b ng chi ti t Gi s π là phân ph i trên

Σ th a mãn: π (x)p(x, y) = π(y)p(y, x) v i m i x, y ∈ Σ, trong đó p(x, y) là m t đ chuy

n ho c hàm kh i xác su t c a m t xích Markov X có tính ergodic Khi đó π là

m t phân ph i d ng c a X

20

Th t v y, phân ph i π th a mãn phương trình tr ng thái cân b ng t ng

ta không th tính E(h(Y )) = h(y)π(y)dy và các phương pháp mô ph ng

cơ b n cũng không th c hi n đư c Đ gi i quy t v n đ này, chúng ta đưa

ra m t phương pháp g i là phương pháp MCMC

Chúng ta bi t r ng m t xích Markov X có tính ergodic thì phân ph i c a xích h i t đ n phân ph i d ng Vì v y, ý tư ng chính c a phương pháp

MCMC là đi xây d ng m t xích Markov có tính ergodic mà phân ph i d ng

là π Khi đó, chúng ta ch y X lên đ n th i gian dài N và ư c

lư ng E(h(Y )) b i

N N=1 h(X n) Đ nh lý ergodic cho ta bi t v i N đ 1

n

l n, ư c lư ng trên s g n đ n E(h(Y ))

Xích Markov quan tâm thư ng b t đ u t i m t tr ng thái mà không có phân ph i d ng (ngư c l i chúng ta không làm vi c v i MCMC) Ta có th khám phá hi u qu tr ng thái ban đ u có th có trên các tr ng thái đư c truy

c p b i xích Markov Đ gi m kh năng c a đ ch ch, cái đư c g i

22

là đ ch ch kh i đ u do nh hư ng c a k t qu c a giá tr kh i đ ng, m t

M bư c ban đ u c a xích b lo i b và ư c lư ng d a trên tr ng thái đư c

truy c p sau th i gian M, t c là chúng ta s d ng ergodic trung bình:

N

Giai đo n đ u đ n th i đi m M đư c g i là giai đo n t m th i (ng n

ng i) ho c là th i kỳ burn-in Làm th nào chúng ta quy t đ nh th i đ dài c a

th i kỳ burn-in? Bư c đ u tiên ki m tra đ u ra c a xích là quan sát thông thư ng b ng m t Đây là m t phương pháp r t thô nhưng r t nhanh chóng

và r ti n Tuy nhiên, đi u này nên đư c theo dõi b ng các phương pháp ph

c t p hơn

Như v y, chúng ta b t đ u v i phân ph i π và c g ng tìm xích Markov có tính ergodic mà phân ph i d ng là π V i b t kỳ cách cho phân ph i, thư ng là có nhi

u xích Markov phù h p Vì v y, có nhi u cách khác nhau trong vi c xây d ng

m t xích Markov mà phân ph i h i t đ n phân ph i m c tiêu

Th c s không ph i quá khó đ tìm m t xích Markov có phân ph i d ng là phân ph i mong mu n Có m t s các phương pháp, đư c g i là "l y m u", mà chúng ta có th s d ng đ tìm m t xích Markov như v y N u xích đư c xây d

ng là ergodic thì chúng ta có th ti n hành b ng cách mô ph ng xích đó và ư

c tính s lư ng quan tâm

2.2 M u Metropolis - Hastings

Cho Σ là không gian tr ng thái c a phân ph i m c tiêu Quá trình chuy

n đ i c a m t xích Metropolis-Hastings đư c t o ra như sau Đ u tiên, chúng

ta ch n v i m i x ∈ Σ m t m t đ q(x, •) trong Σ (ho c hàm kh i xác su t n u Σ là r

i r c) Vì v y, q(x, • ), x ∈ Σ, xác đ nh các xác su t/m t đ chuy n c a m t xích Markov trong không gian tr ng thái Σ, cho bi t tr ng thái hi n t i là x Các xác su t/ m t đ chuy n q(x, •) nên đư c ch n sao cho vi c l y m u đư c d dàng

23

Gi s tr ng thái hi n t i c a xích Markov là X n = x Khi đó, chúng

ta l y m u m t tr ng thái z theo q(x, •) Chúng ta đ xu t tr ng thái z

này như là tr ng thái m i c a xích và ch p nh n nó v i xác su t

α(x, z) = min 1, π(z)q(z, x)

π(x)q(x, z)

N u tr ng thái đ xu t z đư c ch p nh n thì xích Markov chuy n đ n

tr ng thái z, nghĩa là X n+1 = z N u không thì xích v n còn tr ng thái

x, nghĩa là X n+1 = x Chúng ta tóm t t quá trình này trong đ nh nghĩa

sau:

Đ nh nghĩa 2.1 M u Metropolis - Hastings Ch n các xác su t/m t đ chuy

Chúng ta xem xét m t vài ví d sau Ví d đ u tiên v phân ph i h n

h p: phân ph i h n h p liên t c v i hai thành ph n có m t đ d ng

f (x) = pf1(x) + (1 − p)f2(x)

v i 0<p<1, f i là các m t đ Chúng ta có th l y m u h n h p b i m u x t f1(•) v

i xác su t p và t f2(•) v i xác su t 1-p Ví d sau ch ra cách

l y m u t m t phân ph i h n h p b ng cách s d ng m u Metropolis -

Hastings M t đ trong ví d này có th đư c l y m u tr c ti p

Ví d 2.1 Mô ph ng phân ph i h n h p c a hai phân ph i chu n

24

Ví d 2.2 Đi m trên đư ng tròn đơn v

Gi s x = (x(1), , x(m)) là v trí c a m đi m trên đư ng tròn đơn v Đ t π (x(1),

đơn v v i đi u ki n không có đi m nào n m trong kho ng cách d c a m i đi m khác (phân ph i ki u này thư ng x y ra trong các thi t l p hóa h c đó các đi

m là tâm c a ph n t d ng hình c u có đư ng kính d) G i A là bi n c kho ng cách nh nh t gi a m đi m đ c l p

cùng ph n ph i đ u trên đư ng tròn đơn v l n hơn d và đ t p =P(A) G i

Σ là tr ng thái c a b t kỳ hình d ng m đi m trên (0, 2π) sao cho kho ng

cách nh nh t gi a các đi m l n hơn d Khi đó phân ph i m c tiêu c a

chúng ta là:

π(x) = 21p1[x∈Σ ] π

Trong m t chi u, ta có th tính đư c p nhưng trong 2 chi u, đi u này là

không th Cũng như ví d trư c ta có m t d ng đơn gi n cho phân ph i m c tiêu

Có cách d dàng chuy n t m t x ∈ Σ đ n m t tr ng thái khác x ∈ Σ M t cách như th là ch n x ∈ x ng u nhiên và xóa nó đi và l y m t m u v trí m i z theo phân

ph i đ u trên (0, 2π) R i thi t l p x = x ∪ {z}∴{x} (Đi u này có th t o ra hình d

ng x không n m trong Σ nhưng như sau này ta th y, đi u này không th t s

là v n đ ) Phương pháp này đư c mô

như sau: Ch n X0 ∈ Σ ch ng h n b ng cách đ t các đi m k ti p m t

kho ng cách d + ε riêng bi t t m i đi m khác ( đây, ε là đ nh ) Bây

gi , gi s X n = x Quá trình như sau:

1 Ch n i ∈ { 1, 2, , m} ng u nhiên và l y m u z t phân ph i chu n

trên (0, 2π) Đ t z = x ∪ {z}∴{x(

i)}

26

Có th th y trong các ví d trư c, xác su t ch p nh n α (x, y) cơ b n t

l v i π(•), vì v y, chúng ta không c n bi t h ng s tiêu chu n c a π(•) đ có th tính xác su t này Cũng có th th y r ng xác su t ch p nh n ch a d ng gi ng v i d

ng trong các phương trình cân b ng chi ti t Đi u này không ph i là trùng

h p ng u nhiên, xác su t ch p nh n đư c ch n sao cho phương trình cân b

ng chi ti t th a mãn Chúng ta xem xét phương trình cân b ng chi ti t c a xích MH Đ u tiên, chúng ta c n xác đ nh nhân chuy n c a xích MH

B đ 2 Nhân chuy n p(x, y) c a m u Metropolis - Hastings đư c cho

(Chú ý r ng nhân chuy n không liên t c đ i v i đ đo Lebesgue.)

Ch ng minh Gi s Σ là r i r c (trong trư ng h p Σ liên t c, ch ng minh tương

t ) Nh c l i r ng, xích chuy n đ n tr ng thái m i n u tr ng thái m i này đư c đ

xu t và ch p nh n Đi u này x y ra v i xác su t q(x, y)α (x, y) Đây là xác su t chuy n t tr ng thái x đ n y khi y = x Bây gi , ta xét xác su t chuy n t x đ n x Đi

u này có th x y ra theo hai trư ng h p Th nh t, ta có th đ xu t x như là m t

tr ng thái m i

27

Bây gi , chúng ta ki m tra phương trình tr ng thái cân b ng chi ti t

B đ 3 Xích Metropolis - Hastings th a mãn phương trình tr ng thái cân b

= π(y)q(y, x)α(y, x) = π(y)p(y, x)

Phương trình tr ng thái cân b ng cũng đúng cho trư ng h p t m thư ng x =

y

D a vào cách ch n phân ph i đ xu t mà chúng ta có m t s phương pháp MCMC sau

28

2.3 M t s thu t toán MCMC

2.3.1 M u Gibbs

M u Gibbs là m t d ng l a ch n ph bi n s d ng phân ph i có đi u

ki n đ y đ như là phân ph i đ xu t Cho x t = (x(1), , x(td)) và t

Ngư i ta có th ch ra r ng đ i v i l a ch n phân ph i đ xu t này, xác

su t ch p nh n là g n b ng 1 N u phân ph i có đi u ki n đ y đ là chu n t c và

d l y m u thì m u Gibbs là m t l a ch n r t ph d ng Ta xem

xét m t ví d đơn gi n:

Ví d 2.3 Phân ph i chu n hai chi u Đây là m t ví d nh mà chúng ta có th

l y m u phân ph i chu n hai chi u tr c ti p Nhưng nó minh h a r t t t cách làm vi c c a m u Gibbs Chúng ta mu n m u X và Y v i m t

X n = (x n , y n) thì ta ti n hành như sau Đ u tiên, ta l y m u X = x t

phân ph i có đi u ki n c a (X|Y = yn) và ti p theo l y m u Y = y t

phân ph i có đi u ki n c a (Y |X = x) Khi đó ta đ t X n+1 = (x, y)

29

M u đ c l p cũng tương t như m u lo i b Hãy so sánh xác su t ch p nh n

đ i v i m u lo i b v i xác su t ch p nh n d ki n c a m u đ c l p trong tr ng thái d ng Đ i v i m u lo i b đ áp d ng, chúng ta gi thi t r ng π (x) ≤ M f (x) Khi đó, n u Y có phân ph i f và X có phân ph i π

= M

P

(π(X1)/f (X1) ≥ π(X2)/f (X2)) = M

trong đó X1 và X2 là các m u đ c l p cùng phân ph i π Do đó, trong

tr ng thái d ng, xác su t ch p nh n c

a m u đ c l p l n hơn xác su t

ch p nh n c a thu t toán l y m u lo i b Đi u này là dĩ nhiên đi kèm v i chi phí t o ra m t m u đ c l p v i ch ti m c

n phân ph i chính xác Tương t v i m

u lo i b t o c m giác ch n m t m u đ c

l p v i phân ph i đ xu t f là g n đ n m

c có th m c tiêu π (Chú ý n u f = π thì xích ngay l p t c đ t tr ng thái d ng) Trong th c hành, phân ph i đ

xu t fθ thư ng xuyên ph thu c vào tham s

p

(

x ,

= sup

|

(p(

x, y) −

≤

(

− M ),

trong đó, b t đ ng th c đ u tiên có đư

c t phương trình (1) trên Tương t

nhưv

y,

ta

có:

−

M

2

1

S d ng quy n p, bây gi , ta có th ch ra:

1

||P n (x, •) − π|| ≤ (1 − M )n

Đi u này có nghĩa là m u đ c l p là ergodic đ u n u π (x) ≤ M f (x), xem

đ nh nghĩa sau

Đ nh nghĩa 2.2 M t xích Markov ergodic v i phân ph i không đ i π là

ergodic hình h c n u t n t i m t hàm không âm M sao cho E

Chú ý r ng n u f là đ i x ng qua 0 thì đây là m t m u Metropolis Ví

d cho m u Metropolis cũng như m u du đ ng ng u nhiên MH là phân ph i tr

n

L a ch n chung cho f là m t đ chu n đa bi n, t- m t đ ho c m t đ đ u

32

Đ cung c p m t mô t chính xác hơn, chúng ta gi s chia không

gian tham s thành hai thành ph n và tr ng thái hi n t i X t = (X1t , X2t) Thành ph n th nh t Y1 bây gi đư c l y m u t phân ph i đ xu t đ i

có đi u đi n đ y đ (ti n đ n m t h ng s tiêu chu n) và q1(Y1|(X1t , X2t)) là xác

su t chuy n t đi m X1t đ n Y1 v i đi u ki n thành ph n th hai là X2t

Thành ph n th hai đư c l y m u t phân ph i đ xu t q2(•|(X1t , X2t))