Thuật toán mô phỏng MCMC thích nghi và ứng dụng

Ch¿ ra t ‰nh hºi tö cıa hai thu“t to¡n v chøng minh t‰nh ergodic cıa thu“t to¡n Metropolis th‰ch nghi.. X‰ch nh÷ th‚ ÷æc gåi l mºtx‰ch Markov ergodic.Mºt x‰ch Markov thíi gian ríi r⁄c tr

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

-NGUYỄN VĂN TÂN

THUẬT TOÁN MÔ PHỎNG MCMC THÍCH

NGHI VÀ ỨNG DỤNG

Chuyên ngành: Lý thuyết xác suất và thống kê toán học

Mã số:

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS TRẦN MẠNH CƯỜNG

2.1 Giîi thi»u 2.2 M¤u Metropolis - Hastings 2.3 Mºt sŁ thu“t to¡n MCMC

2.3.12.3.22.3.32.3.4

3.1.13.1.23.1.3

1

3.2 Thu“t to¡n Metropolis th‰ch nghi 3.2.1

3.2.23.2.33.3 Mºt sŁ øng döng cıa MCMC th‰ch nghi 3.3.1

3.3.2K‚t qu£ ch‰nh

T i li»u tham kh£o

Líi nâi ƒu

R

” t…m hi”u v• MC, ta x†t b i to¡n sau: Gi£ sß ta cƒn t‰nh t‰ch ph¥n

01 h(x)dx Theo ành lþ Newton - Leibnitz, n‚u F (x) l mºt nguy¶n h m

cıa h(x) th…

I = F (x) 1 = F (1) F (0):

0

Tuy nhi¶n, trong nhi•u tr÷íng hæp, ta khæng th” t…m ÷æc F(x) Gi£ sß

f(x) l h m m“t º tr¶n [0, 1] sao cho n‚u h(x) 6= 0 th… f(x) > 0 Ta vi‚t l⁄i I =

ti‚n tîi ngh¾a l In I(h:c:c) Nh÷ v“y ” t‰nh x§p x¿ I, ta ph£i thüc hi»n n

mæ phäng cho bi‚n ng¤u nhi¶n X

C¡c mæ phäng MC cì b£n n y câ ÷u i”m l d„ thüc hi»n Tuy nhi¶n, nâ

ch¿ mæ phäng ÷æc Łi vîi c¡c tr÷íng hæp ìn gi£n

Trong nhi•u tr÷íng hæp phøc t⁄p nh÷ sŁ chi•u t«ng l¶n (ph¥n phŁi

nhi•u chi•u) th… c¡c MC cì b£n khæng th” thüc hi»n ÷æc • gi£i quy‚t

v§n • n y, chóng ta ÷a ra mºt ph÷ìng ph¡p gåi l ph÷ìng ph¡p MCMC

Þ t÷ðng ch‰nh cıa ph÷ìng ph¡p MCMC l i x¥y düng mºt x‰ch Markov

câ t‰nh ergodic m ph¥n phŁi dłng l Khi â, chóng ta ch⁄y X l¶n ‚n

thíi gian d i N v ÷îc l÷æng E(h(Y )) bði

cho ta bi‚t vîi N ı lîn, ÷îc l÷æng tr¶n s‡ g P

Chóng ta th§y r‹ng vi»c chån lüa ph¥n phŁi • xu§t l

3

sü hºi tö cıa thu“t to¡n MCMC Vi»c chån lüa ÷æc ph¥n phŁi • xu§t tŁtth÷íng khâ thüc hi»n v… thæng tin v• m“t º möc ti¶u l khæng câ ho°cr§t ‰t Hìn nœa, trong thu“t to¡n MCMC, ph¥n phŁi • xu§t ÷æc chåncho måi b÷îc mæ phäng ” sß döng c¡c thæng tin ¢ thu ÷æc trong c¡cb÷îc mæ phäng tr÷îc ” mæ phäng cho b÷îc ti‚p theo, chóng ta ÷a rathu“t to¡n MCMC th‰ch nghi — â, ph¥n phŁi • xu§t ÷æc c“p nh“t còngqu¡ tr…nh sß döng thæng tin ƒy ı t‰ch lôy cho ‚n thíi i”m hi»n t⁄i MØilüa chån ph¥n phŁi • xu§t th‰ch nghi s‡ cho chóng ta mºt d⁄ng MCMCth‰ch nghi.

Möc ‰ch ch‰nh cıa lu“n v«n n y l tr…nh b y c¡c ph÷ìng ph¡pMCMC cì b£n v hai thu“t to¡n MCMC th‰ch nghi tł b i b¡o [6], [7] çngthíi ÷a ra c¡c so s¡nh giœa c¡c thu“t to¡n MCMC v chøng minh chi ti‚tc¡c ành lþ trong b i b¡o công nh÷ ÷a ra mºt sŁ øng döng cıa thu“t to¡n.Lu“n v«n gçm 3 ch÷ìng

Ch÷ìng 1 nh›c l⁄i mºt sŁ ki‚n thøc bŒ træ v• sü hºi tö cıa d¢y ⁄i l÷æng ng¤u nhi¶n, d¢y mixingale, c¡c thu“t to¡n mæ phäng MC cì b£n v x‰ch Markov

Ch÷ìng 2 tr…nh b y v• c¡c ph÷ìng ph¡p MCMC cì b£n

Ch÷ìng 3 tr…nh b y chi ti‚t v• hai ph÷ìng ph¡p MCMC th‰ch nghi tłhai b i b¡o [6] v [7] â l thu“t to¡n Metropolis du ºng ng¤u nhi¶n th

‰ch nghi ([6]) v thu“t to¡n Metropolis th‰ch nghi ([7]) Ch¿ ra t

‰nh hºi tö cıa hai thu“t to¡n v chøng minh t‰nh ergodic cıa thu“t to¡n Metropolis th‰ch nghi Sau mØi thu“t to¡n •u ÷a ra sü so s¡nhgiœa c¡c thu“t to¡n MCMC çng thíi ÷a ra mºt sŁ øng döng thüc t‚ cıa mæ h…nh MCMC th‰ch nghi

Líi ƒu ti¶n, xin ch¥n th nh c£m ìn thƒy TS Trƒn M⁄nh C÷íng ¢ nh“nh÷îng d¤n v t“n t…nh gióp ï tæi ho n th nh lu“n v«n n y LÆng bi‚t ìns¥u s›c tæi công xin ÷æc gßi ‚n c¡c thƒy cæ trong Tr÷íng HKHTN

- HQGHN, Khoa To¡n

-Cì - Tin ¢ gióp ï tæi ho n

th nh khâa håc H Nºith¡ng 12 n«m 2015

4

Ch֓ng 1

Ki‚n thøc chu'n bà

1.1 Sü hºi tö cıa d¢y ⁄i l÷æng ng¤u nhi¶n

Gi£ sß ( ; F; P ) l khæng gian x¡c su§t

ành ngh¾a 1.1 Mºt d¢y c¡c ⁄i l÷æng ng¤u nhi¶n hay bi‚n ng¤u nhi¶n (Xn) ÷æc gåi l hºi tö hƒu ch›c ch›n ‚n bi‚n ng¤u nhi¶n X n‚u:

ành ngh¾a 1.4 Mºt d¢y c¡c bi‚n ng¤u nhi¶n (Xn) ÷æc gåi l hºi tö theotrung b…nh b“c r ‚n bi‚n ng¤u nhi¶n X n‚u r 1, EjXnjr < 1 8n, EjXjr < 1 v :

ành l‰ 1.6 ( ành lþ giîi h⁄n trung t¥m) Cho d¢y (Xn) c¡c bi‚n ng¤u

nhi¶n ºc l“p còng ph¥n phŁi, câ còng ký vång EXi = v

DXi =

theo ph¥n phŁi ‚n bi‚n ng¤u nhi¶n Z câ ph¥n phŁi chu'n t›c

1.2 D¢y mixingale

ành ngh¾a 1.7 Cho d¢y (Xn)n 1 c¡c bi‚n ng¤u nhi¶n b…nh ph÷ìng kh£ t

‰ch trong khæng gian x¡c su§t ( ; F; P ) v d¢y (Fn)+n=1 l d¢y t«ng c¡c

- ⁄i sŁ con cıa F Khi â, (Xn; Fn) ÷æc gåi l d¢y mixingale n‚u vîi

måi d¢y h‹ng khæng ¥m cn v

jjE(XnjFn m)jj2 mcn v jjXnvîi måi n 1 v m 0

1.3 C¡c thu“t to¡n mæ phäng cì b£n

C¡c k‚t qu£ thŁng k¶ th÷íng li¶n quan ‚n t‰ch ph¥n Nh›c l⁄i r‹ng c£

ký vång v x¡c su§t •u nh“n ÷æc tł t‰ch ph¥n (ho°c tŒng) V… v“y, x†t t

‰ch ph¥n sau:

I = h(x)dx

0

Thæng th÷íng, ng÷íi ta ti‚p c“n d⁄ng tŒng Riemann Chóng ta ¡nh gi¡

h m h(x) t⁄i n i”m (x(1); :::; x(n)) trong mºt l÷îi ch‰nh quy v sau â

Tuy nhi¶n, trong nhi•u tr÷íng hæp, vi»c x¡c ành l§y c¡c i”m (x(1); :::; x(n))

l khæng th” ho°c chi ph‰ qu¡ tŁn k†m, ng÷íi ta ¢ ÷a ra mºt c¡ch ti‚pc“n kh¡c â l qu¡ tr…nh Monte Carlo Chóng ta b›t ƒu b‹ng vi»c vi‚t

^x§p x¿ ph¥n phŁi chu'n V… v“y ph÷ìng sai V ar(In) cho ta bi‚t v• º ch

‰nh x¡c ÷îc l÷æng cıa chóng ta v nâ câ th” ÷æc ÷îc l÷æng nh÷ sau:

v n =

n(n 1)

1.3.1 Ph÷ìng ph¡p bi‚n Œi nghàch £o

ành l‰ 1.9 X†t h m ph¥n phŁi lôy t‰ch (cdf) F (x) Gåi F 1 l nghàch

£o mð rºng cıa F , tøc l :

F 1(u) = minfx 2 S : F (x) ug u 2 (0; 1]

Gåi U l mºt bi‚n ng¤u nhi¶n ph¥n phŁi •u (0, 1) v °t X = F 1(U), khi âph¥n phŁi cıa X câ cdf F (x) (Chó þ r‹ng Łi vîi h m ph¥n phŁi li¶n töcth… nghàch £o mð rºng l nghàch £o thæng th÷íng)

8

V‰ dö 1.2 Mæ phäng bi‚n ng¤u nhi¶n câ ph¥n phŁi Bernoulli (p)

v bi‚n ng¤u nhi¶n câ ph¥n phŁi nhà thøc B(n; p)

Cho U l mºt bi‚n ng¤u nhi¶n ph¥n phŁi •u (0, 1) N‚u ta x†t

8

<1 n‚u U < p

X =:0 ng÷æc l⁄i

th… X l bi‚n ng¤u nhi¶n câ ph¥n phŁi Bernoulli vîi x¡c su§t th nh cæng

p

Cho X1; :::; Xn l mºt m¤u ºc l“p còng ph¥n phŁi Bernoulli(p) Khi â Y

= Pn

i=1 Xi câ ph¥n phŁi nhà thøc B(n; p)

V‰ dö 1.3 Mæ phäng bi‚n ng¤u nhi¶n tu¥n theo ph¥n phŁi h…nh håc (p)

Gi£ sß X nh“n gi¡ trà trong N v P(X = j) = pj Khi â:

i

tu¥n theo ph¥n phŁi

Gi£ sß chóng ta muŁn l§y m¤u X l mºt bi‚n ng¤u nhi¶n li¶n töc vîi

h m m“t º f(x) Chóng ta khæng bi‚t c¡ch l§y m¤u tł X nh÷ng chóng tabi‚t c¡ch l§y m¤u tł mºt bi‚n ng¤u nhi¶n Y t÷ìng tü vîi h m m“t º g(y) Gåigi¡ cıa f l supp(f) = fx : f(x) > 0g N‚u ta câ supp(f) supp(g)

9

v f(x)=g(x) M 8x th… ta câ th” l§y m¤u tł Y ” t⁄o ra m¤u cho X Chóng tal°p l⁄i c¡c b÷îc sau cho ‚n khi mºt m¤u ÷æc tr£ v•.

B÷îc 1: L§y m¤u Y = y tł g(y) v U = u tł ph¥n phŁi •u U(0, 1) Sang b÷îc 2

B÷îc 2: N‚u u Mf g(y(y)) th… °t X = y Ng÷æc l⁄i, quay l⁄i b÷îc 1

M»nh • 1.10 Ph¥n phŁi cıa bi‚n ng¤u nhi¶n X ÷æc l§y m¤u trong

” t‰nh ÷æc x¡c su§t tr¶n, ta cƒn bi‚t m“t º chung cıa Y v U Bði t‰nh

ºc l“p n¶n:

h(y; u) = g(y)1[0 u 1]:V… v“y:

P Y x; U Mg(Y)

v

D¤n ‚n:

P(X x) =

M 1 : f(y)dy:

Câ bao nhi¶u lƒn l°p trong thu“t to¡n chóng ta dòng ‚n? Trong mØi lƒn

10

l°p, chóng ta t⁄o ra mºt m¤u vîi x¡c su§t P(U

2

Ta ¢ bi‚t c¡ch l§y m¤u mºt bi‚n ng¤u nhi¶n ph¥n phŁi mô v… th‚ chóng

ta chån m“t º g l m“t º cıa mºt ph¥n phŁi mô vîi tham sŁ 1 Khi â:

g(x)

f(x)

r2e:q

Tł â, °t M = 2ed¤n ‚n

Thu“t to¡n l§y m¤u lo⁄i bä ti‚n h nh nh÷ sau:

B÷îc 1: L§y m¤u Y = y tł ph¥n phŁi mô E(1) v U = u tł ph¥n phŁi •uU(0; 1) ‚n b÷îc 2

11

m¤u bi‚n ng¤u nhi¶n câ i•u ki»n X = (Y jY 2 A) vîi khæng gian tr⁄ng th¡i

A Trong tr÷íng hæp n y m¤u lo⁄i bä câ th” ho n th nh bði l§y m¤u

l°p i l°p l⁄i X cho ‚n khi m¤u cıa chóng ta n‹m trong A Cö th” hìn, X câ m“t º f(x) = g(x) vîi x 2 A Do â

P (Y 2A)

f(x)

g(x)Gi£ sß U câ ph¥n phŁi •u tr¶n kho£ng ìn và Khi â

V… v“y, trong thu“t to¡n l§y m¤u lo⁄i bä ti¶u chu'n, chóng ta ch§p nh“nn‚u Y 2 A v ng÷æc l⁄i, chóng ta lo⁄i bä Chóng ta khæng cƒn l§y m¤u U ”

÷a ra quy‚t ành n y

N‚u ¡nh gi¡ m“t º möc ti¶u f l tŁn k†m th… ph÷ìng ph¡p lo⁄i bä câ th”dòng m¡y i»n to¡n ‰t tŁn k†m hìn N‚u th¶m c“n tr¶n M g(x) tr¶n m“t ºmöc ti¶u f(x) th… chóng ta công câ th” d„ d ng ÷îc l÷æng c“n d÷îi h(x).V… th‚ gåi l thu“t to¡n l§y m¤u lo⁄i bä h…nh bao, ti‚n h nh nh÷ sau:

1 Gi£ sß Y = y tł g(y) v U = u tł phƒn phŁi •u U(0; 1)

2 Ch§p nh“n n‚u u h(y)=M g(y) v °t X = y l mºt m¤u Ng÷æc l⁄i, i ‚n b÷îc 3

3 Ch§p nh“n n‚u u f(y)=M g(y) v tr£ l⁄i X = y l mºt m¤u Ng÷æc l⁄i i

‚n b÷îc 1

Ri•u n y hi»u qu£ hìn v… trung b…nh ta cƒn 1=M h(x)dx lƒn l°p ¡nh

gi¡ cıa f ÷æc thay th‚ bði ¡nh gi¡ cıa h H m h câ th” ÷æc t…m th§y

trong v‰ dö bði khai tri”n Taylor

1.3.3 Ph÷ìng ph¡p l§y m¤u quan trång

Trong o⁄n tr÷îc ta ¢ ÷a ra l§y m¤u lo⁄i bä, sß döng m“t º • xu§t ” t⁄o ram¤u tł m“t º möc ti¶u Trong o⁄n n y, chóng ta v§n ti‚p töc l§y m¤u cıam“t º möc ti¶u nh÷ng thay Œi c¡ch ¡nh gi¡ t⁄o ra ÷îc l÷æng khængch»ch cıa c¡c °c t‰nh cıa m“t º möc ti¶u

Nh›c l⁄i c¡i m ta ang quan t¥m khi th£o lu“n v• ph÷ìng ph¡p MonteCarlo l t‰ch ph¥n

trong â, g l mºt m“t º sao cho g(x) > 0 vîi f(x)h(x) 6= 0 B¥y gií, chóng tat⁄o ra mºt m¤u ºc l“p còng ph¥n phŁi (x1; :::; xn) tł g v ÷îc l÷æng I bði:

^ 1

I = n

Ta gåi c¡ch l§y m¤u n y l l§y m¤u quan trång M“t º g ÷æc gåi l

m“t º • xu§t ho°c m“t º cæng cö v trång sŁ w(x i ) = f(xi ) ÷æc gåi l

g(x i )

^

trång sŁ quan trång Chó þ r‹ng I l mºt ÷îc l÷æng khæng ch»ch cıa I

Câ hai lþ do t⁄i sao chóng ta quan t¥m ‚n bi”u di„n m¤u quan trång:

1 L§y m¤u tł f(x) l khæng th” ho°c qu¡ ›t ä

2 h(x), trong â X f, câ ph÷ìng sai lîn, v… th‚ ÷îc l÷æng khæng

ch»ch theo quy ÷îc câ sai sŁ Monte Carlo (MC) lîn

Ph÷ìng sai cıa mºt ÷îc l÷æng quan trång s‡ ch¿ hœu h⁄n n‚u ÷îc l÷æng l b…nh ph÷ìng kh£ t‰ch, tøc l

Eg h2

13

Do â, ph÷ìng sai s‡ th÷íng væ h⁄n n‚u t sŁ f(x)=g(x) khæng bà ch°n.D¤n ‚n, n‚u câ th”, chóng ta n¶n chån m“t º • xu§t g câ uæi d y hìn f.Tâm l⁄i, n‚u f(x)=g(x) khæng bà ch°n th… th“m ch‰ n‚u ph÷ìng sai cıa ÷îcl÷æng thŁng k¶ l hœu h⁄n, thı töc l§y m¤u l khæng hi»u qu£ công nh÷ph÷ìng sai cıa trång sŁ quan trång l lîn.

sau ¥y th÷íng ÷æc sß döng

Thay v… ÷îc l÷æng quan trång ^

~

I =

×îc l÷æng n y câ hai læi th‚:

1 Nâ l ÷îc l÷æng khæng ch»ch, th÷íng câ ph÷ìng sai nhä hìn ÷îc l÷æng

quan trång, ÷a v o d„ d ng hìn Nh÷ng chó þ r‹ng ÷îc l÷æng n yv¤n phò hæp Łi vîi x1; :::; xn ºc l“p còng ph¥n phŁi vîi m“t º g,

1 Ph†p t‰nh gƒn óng ƒu ti¶n ÷æc gåi l l§y l⁄i m¤u quan trång li¶nti‚p v qu¡ tr…nh n y nh÷ sau:

(a) L§y mºt m¤u quan trång Y (1); :::; Y (n) vîi c¡c trång sŁ quan trång wi = f(Y (i))=g(Y (i)); i = 1; :::; n

(b) T⁄o mºt m¤u mîi X(1); :::; X(n) b‹ng c¡ch l§y m¤u tł Y (1); :::; Y

(n)

i=1

2 Ph÷ìng ph¡p l§y m¤u thø hai ÷æc gåi l ki”m so¡t lo⁄i bä v xemx†t lo⁄i bä b§t ký i”m m¤u m câ trång sŁ quan trång d÷îi mºtng÷ïng

14

c cho tr÷îc Lo⁄i bä nhœng i”m m¤u s‡ ÷a ra mºt º l»ch, nh÷ng b‹ng

sü thay Œi c¡c trång sŁ quan trång th‰ch hæp, º l»ch n y câ th”tr¡nh ÷æc Cho m¤u quan trång Y (1); :::; Y (n) vîi c¡c trång sŁ quantrång w1; :::; wn, qu¡ tr…nh ki”m so¡t lo⁄i bä nh÷ sau:

(a) Vîi j = 1; :::; n ch§p nh“n Y (j) vîi x¡c su§t pj = minf1; wj=cg.Ng÷æc l⁄i, lo⁄i bä Y (j)

(b) N‚u Y (j) ÷æc ch§p nh“n t‰nh to¡n l⁄i th… trång sŁ quan trång l

R

w~ j = qw j =p j , trong â q = minf1; w(x)=cgg(x)dx.

Chó þ v… q nh÷ nhau Łi vîi t§t c£ c¡c i”m m¤u n¶n ta khæng cƒn t

‰nh nâ rª r ng n‚u ta sß döng ÷îc l÷æng t l» Hìn nœa, ki”m so¡tlo⁄i bä t⁄o ra mºt m¤u quan trång theo m“t º • xu§t

ành ngh¾a 1.11 X‰ch Markov Mºt d¢y ⁄i l÷æng ng¤u nhi¶n X = fXn;

n = 0; 1; 2; 3; :::g nh“n c¡c gi¡ trà tr¶n t“p S ÷æc gåi l x‰ch Markov n‚u:

P(Xn+1 2 AjXn = xn;Xn 1 = xn 1; :::; X0 = x0)

= P(Xn+1 2 AjXn = xn)vîi måi n > 0, A S, x0; x1; :::; xn 2 S.

æi khi t‰nh Markov cıa x‰ch cÆn ÷æc ph¡t bi”u d÷îi d⁄ng: N‚ubi‚t tr⁄ng th¡i hi»n t⁄i (t⁄i thíi i”m n) cıa x‰ch th… qu¡ khø v t÷ìng lai (t⁄ithíi i”m n+1) ºc l“p vîi nhau

15

H…nh sau ch¿ ra c¡c x¡c su§t chuy”n cho sü thay Œi thíi ti‚t.

B‹ng vi»c l§y mæ h…nh thíi ti‚t nh÷ x‰ch Markov, chóng ta gi£ sß r‹ng

H…nh 1.1: X¡c su§t chuy”n cıa x‰ch thíi ti‚t

thíi ti‚t ng y mai ÷æc t‰nh theo thíi ti‚t hæm nay, khæng phö thuºc v o

khæng phö thuºc v o n Ta gåi P(x, A) l nh¥n chuy”n Trong ph⁄m vi ð

¥y, chóng ta gi£ sß r‹ng nh¥n chuy”n l li¶n töc tuy»t Łi vîi måi x 2 S, tøc

l nâ câ mºt m“t º li¶n quan ho°c h m khŁi x¡c su§t V… v§y, cŁ ành x 2

S, h m p(x; y) l mºt m“t º ho°c h m khŁi x¡c su§t (pmf)

X¡c su§t chuy”n sau n b÷îc cıa X ÷æc ành ngh¾a bði

ZP(Xn 2 AjX0 = x) = P (n)(x; A) = p(n)(x; y)dy:

A

N‚u khæng gian tr⁄ng th¡i S cıa X l hœu h⁄n th… ta câ th” gom c¡c

x¡c su§t chuy”n th nh mºt ma tr“n x¡c su§t chuy”n nh÷ sau

ành ngh¾a 1.13 Ma tr“n chuy”n °t P(Xn+1 = jjXn = i) = pij (i; j 2 S)

Ma tr“n x¡c su§t chuy”n cıa X l

P = (p

ij)

i;j2S:Khi â x¡c su§t chuy”n sau n b÷îc l

V‰ dö 1.7 Ma tr“n x¡c su§t chuy”n cıa x‰ch Markov thíi ti‚t v

x¡c su§t chuy”n sau 2 - lƒn cıa x‰ch Markov thíi ti‚t l

B

BŒ• 1.14 Ph¥n phŁi t⁄i thíi i”m n Gi£ sß ¢ bi‚t ph¥n phŁi ban ƒu cıa X,

tøc l ph¥n phŁi cıa X0 ÷æc cho bði h m m“t º q(0)(x) Khi â, ta câ th” t

‰nh ÷æc h m m“t º cıa X t⁄i thíi i”m n nh÷ sau:

V‰ dö 1.8 Gi£ sß trong ng y thø 0, tríi n›ng Do â q(0) = (1, 0, 0) Khi

â, ph¥n phŁi cıa thíi ti‚t trong ng y thø 2 l

= (0; 31; 0; 39; 0; 3):

V… v“y n‚u ng y thø 0 tríi n›ng th… chóng ta câ 31% kh£ n«ng tríi n›ng

v o ng y thø 2

17

N‚u mºt x‰ch Markov thäa m¢n i•u ki»n hæp lþ nh§t ành th… ph¥nphŁi cıa x‰ch hºi tö ‚n mºt ph¥n phŁi giîi h⁄n m công ÷æc gåi l ph¥nphŁi c¥n b‹ng ho°c c¥n b‹ng ho°c b§t bi‚n X‰ch nh÷ th‚ ÷æc gåi l mºtx‰ch Markov ergodic.

Mºt x‰ch Markov thíi gian ríi r⁄c tr¶n mºt khæng gian tr⁄ng th¡i ríi r⁄c lergodic n‚u nâ l tŁi gi£n, khæng chu ký v hçi quy d÷ìng ƒu ti¶n, ta ÷a

ra c¡c kh¡i ni»m cho khæng gian tr⁄ng th¡i (ríi r⁄c) ‚m ÷æc v ành ngh¾at÷ìng tü cho khæng gian tr⁄ng th¡i tŒng qu¡t

ành ngh¾a 1.15 TŁi gi£n: X‰ch Markov X ÷æc gåi l tŁi gi£n n‚u t§tc£ c¡c tr⁄ng th¡i •u li¶n l⁄c ÷æc, tøc l vîi måi i; j 2 S, câ mºt sŁ n 0 saocho:

P(Xn = ijX0 = j) > 0:

ành ngh¾a 1.16 Hçi quy Mºt x‰ch Markov X ÷æc gåi l hçi quy n‚ux¡c su§t ” x‰ch xu§t ph¡t tł tr⁄ng th¡i i quay trð l⁄i i sau hœu h⁄n b÷îcb‹ng 1, tøc l :

P(Xtrð l⁄i tr⁄ng th¡i i sau hœu h⁄n b÷îc jX0 = i) = 1 8i 2 S:

ành ngh¾a 1.17 Hçi quy d÷ìng : Mºt x‰ch hçi quy ÷æc gåi l hçi quyd÷ìng n‚u E(Tii) < 1 vîi måi i 2 S, trong â Tii l kho£ng thíi gian lƒn ƒuti¶n trð v• tr⁄ng th¡i i N‚u x‰ch Markov l ergodic vîi ph¥n phŁi dłng th…

V‰ dö 1.9.

H…nh 1.2: X¡c su§t chuy”n cıa x‰ch thíi ti‚tB¥y gií ta x†t mºt khæng gian tr⁄ng th¡i li¶n töc X Bði v… x¡c su§tcıa mºt bi‚n ng¤u nhi¶n li¶n töc nh“n gi¡ trà t⁄i mºt i”m b‹ng 0 n¶n ta cƒnxem l⁄i ành ngh¾a v• t‰nh tŁi gi£n

ành ngh¾a 1.20 - tŁi gi£n Mºt x‰ch Markov ÷æc gåi l - tŁi gi£n n‚utçn t⁄i mºt º o khæng tƒm th÷íng trong X sao cho 8A X vîi (A) > 0 v 8x 2

X , tçn t⁄i sŁ nguy¶n d÷ìng n = n(x) sao cho:

P (n)(x; A)(= P(Xn 2 AjX0 = x)) > 0:

V‰ dö nh÷ (A) = x0 th… i•u n y Æi häi tr⁄ng th¡i x0 câ th” ⁄t ÷æc (li¶nl⁄c) tł b§t ký tr⁄ng th¡i kh¡c vîi x¡c su§t d÷ìng V… v“y, t‰nh tŁi gi£n l i•uki»n ch°t hìn so vîi - tŁi gi£n Vîi khæng gian tr⁄ng th¡i li¶n töc, ( ) câ th”

l º o Lebesgue

Kh¡i ni»m v• t‰nh khæng chu ký nh÷ ành ngh¾a tr÷îc â công ÷æc

¡p döng cho x‰ch Markov li¶n töc

Mºt x‰ch Markov l - tŁi gian v khæng câ chu ký th… câ ph¥n phŁigiîi h⁄n ” o kho£ng c¡ch giœa hai º o x¡c su§t ta sß döng kho£ng c¡chbi‚n thi¶n ho n to n

ành ngh¾a 1.21 Kho£ng c¡ch bi‚n ph¥n giœa hai º o x¡c su§t P1 v

P2 ÷æc ành ngh¾a bði:

k

19

ành l‰ 1.22 Ph¥n phŁi tr⁄ng th¡i c¥n b‹ng Ph¥n phŁi cıa x‰chMarkov khæng câ chu ký, - tŁi gi£n hºi tö ‚n mºt ph¥n phŁi giîi h⁄n , tøc l:

lim kP n(x; ) ( )k = 0 vîi hƒu h‚t x 2 X :

ành l‰ 1.24 Ph¥n phŁi cıa mºt x‰ch Markov khæng câ chu ký, hçi quy

Harris hºi tö ‚n ph¥n phŁi giîi h⁄n , tøc l :

S

BŒ • 1 Tr⁄ng th¡i c¥n b‹ng chi ti‚t Gi£ sß l ph¥n phŁi tr¶n S thäa m¢n:

(x)p(x; y) = (y)p(y; x) vîi måi x; y 2 S, trong â p(x, y)

l m“t º chuy”n ho°c h m khŁi x¡c su§t cıa mºt x‰ch Markov X câ t‰nhergodic Khi â l mºt ph¥n phŁi dłng cıa X

20

Th“t v“y, ph¥n phŁi thäa m¢n ph÷ìng tr…nh tr⁄ng th¡i c¥n b‹ng tŒng qu¡t v…:

ergodic trung b…nh hN hºi tö ‚n E (h(Y )) vîi x¡c su§t 1

Chóng ta công câ ành lþ giîi h⁄n trung t¥m Nâ Æi häi i•u ki»n nh§tành l tŁc º hºi tö ÷æc bi‚t ‚n l hºi tö h…nh håc Chóng ta công sß döngc¡c kþ hi»u nh÷ ành lþ tr¶n

ành l‰ 1.26 ành lþ giîi h⁄n trung t¥m N‚u X l ergodic h…nh håc ([3])v

E (h(Y )2+") < 1 vîi " > 0 th…

hN ! Nvîi 2 l ⁄i l÷æng câ li¶n quan ‚n thíi gian tü t÷ìng quan ƒy ı cıa X

21

ta khæng th” t‰nh E(h(Y )) = h(y) (y)dy v c¡c ph÷ìng ph¡p mæ phäng

cì b£n công khæng thüc hi»n ÷æc • gi£i quy‚t v§n • n y, chóng ta ÷a ramºt ph÷ìng ph¡p gåi l ph÷ìng ph¡p MCMC

Chóng ta bi‚t r‹ng mºt x‰ch Markov X câ t‰nh ergodic th… ph¥nphŁi cıa x‰ch hºi tö ‚n ph¥n phŁi dłng V… v“y, þ t÷ðng ch‰nh cıaph÷ìng ph¡p MCMC l i x¥y düng mºt x‰ch Markov câ t‰nh ergodic mph¥n phŁi dłng l Khi â, chóng ta ch⁄y X l¶n ‚n thíi gian d i N v ÷îcl÷æng E(h(Y )) bði 1 PN

h(X ) ành lþ ergodic cho ta bi‚t vîi N ı

N n=1 n

lîn, ÷îc l÷æng tr¶n s‡ gƒn ‚n E(h(Y ))

X‰ch Markov quan t¥m th÷íng b›t ƒu t⁄i mºt tr⁄ng th¡i m khæng câph¥n phŁi dłng (ng÷æc l⁄i chóng ta khæng l m vi»c vîi MCMC) Ta câth” kh¡m ph¡ hi»u qu£ tr⁄ng th¡i ban ƒu câ th” câ tr¶n c¡c tr⁄ng th¡i ÷æctruy c“p bði x‰ch Markov ” gi£m kh£ n«ng cıa º ch»ch, c¡i ÷æc gåi

22

l º ch»ch khði ƒu do £nh h÷ðng cıa k‚t qu£ cıa gi¡ trà khði ºng, mºt Mb÷îc ban ƒu cıa x‰ch bà lo⁄i bä v ÷îc l÷æng düa tr¶n tr⁄ng th¡i ÷æc truyc“p sau thíi gian M, tøc l chóng ta sß döng ergodic trung b…nh:

Nh÷ v“y, chóng ta b›t ƒu vîi ph¥n phŁi v cŁ g›ng t…m x‰ch Markov

câ t‰nh ergodic m ph¥n phŁi dłng l Vîi b§t ký c¡ch cho ph¥n phŁi,th÷íng l câ nhi•u x‰ch Markov phò hæp V… v“y, câ nhi•u c¡ch kh¡cnhau trong vi»c x¥y düng mºt x‰ch Markov m ph¥n phŁi hºi tö ‚n ph¥nphŁi möc ti¶u

Thüc sü khæng ph£i qu¡ khâ ” t…m mºt x‰ch Markov câ ph¥n phŁi dłng l ph¥n phŁi mong muŁn Câ mºt sŁ c¡c ph÷ìng ph¡p, ÷æc gåi l "l§ym¤u", m chóng ta câ th” sß döng ” t…m mºt x‰ch Markov nh÷ v“y.N‚u x‰ch ÷æc x¥y düng l ergodic th… chóng ta câ th” ti‚n h nh b‹ngc¡ch mæ phäng x‰ch â v ÷îc t‰nh sŁ l÷æng quan t¥m

2.2 M¤u Metropolis - Hastings

Cho S l khæng gian tr⁄ng th¡i cıa ph¥n phŁi möc ti¶u Qu¡ tr…nhchuy”n Œi cıa mºt x‰ch Metropolis-Hastings ÷æc t⁄o ra nh÷ sau ƒuti¶n, chóng ta chån vîi mØi x 2 S mºt m“t º q(x; ) trong S (ho°c h m khŁix¡c su§t n‚u S l ríi r⁄c) V… v“y, q(x; ); x 2 S, x¡c ành c¡c x¡c su§t/m“t ºchuy”n cıa mºt x‰ch Markov trong khæng gian tr⁄ng th¡i S, cho bi‚ttr⁄ng th¡i hi»n t⁄i l x C¡c x¡c su§t/ m“t º chuy”n q(x; ) n¶n ÷æc chån saocho vi»c l§y m¤u ÷æc d„ d ng

23

Gi£ sß tr⁄ng th¡i hi»n t⁄i cıa x‰ch Markov l Xn = x Khi â, chóng tal§y m¤u mºt tr⁄ng th¡i z theo q(x; ) Chóng ta • xu§t tr⁄ng th¡i z n y nh÷ ltr⁄ng th¡i mîi cıa x‰ch v ch§p nh“n nâ vîi x¡c su§t

(x; z) = min 1;

N‚u tr⁄ng th¡i • xu§t z ÷æc ch§p nh“n th… x‰ch Markov chuy”n ‚n tr⁄ngth¡i z, ngh¾a l Xn+1 = z N‚u khæng th… x‰ch v¤n cÆn ð tr⁄ng th¡i x,ngh¾a l Xn+1 = x Chóng ta tâm t›t qu¡ tr…nh n y trong ành ngh¾a sau:

ành ngh¾a 2.1 M¤u Metropolis - Hastings Chån c¡c x¡c su§t/m“t ºchuy”n q(x; y); x; y 2 S Chóng ÷æc gåi l c¡c ph¥n phŁi • xu§t B¥y gií,gi£ sß Xn = x 2 S

f1( ) vîi x¡c su§t p v tł f2( ) vîi x¡c su§t 1-p V‰ dö sau ch¿ ra c¡ch l§ym¤u tł mºt ph¥n phŁi hØn hæp b‹ng c¡ch sß döng m¤u Metropolis -Hastings M“t º trong v‰ dö n y câ th” ÷æc l§y m¤u trüc ti‚p

V‰ dö 2.1 Mæ phäng ph¥n phŁi hØn hæp cıa hai ph¥n phŁi chu'n

M“t º möc ti¶u l :

(x) = p

vîi 0<p<1

L§y m¤u ! tł mºt m“t º d⁄ng chu'n t›c v

tr⁄ng th¡i mîi Khi â z N (x; 1) v

X¡c su§t ch§p nh“n:

(

=

min 1; (z): (x)Qu¡ tr…nh m¤u Metropolis - Hastings nh÷ sau:

Gi£ sß x = (x(1); :::; x(m)) l và tr‰ cıa m i”m tr¶n ÷íng trÆn ìn và °t(x(1); :::; x(m)) l m“t º m ph¥n phŁi m i”m ºc l“p còng ph¥n phŁi •u tr¶n

÷íng trÆn ìn và vîi i•u ki»n khæng câ i”m n o n‹m trong kho£ng c¡ch dcıa mØi i”m kh¡c (ph¥n phŁi ki”u n y th÷íng x£y ra trong c¡c thi‚t l“p hâahåc ð â c¡c i”m l t¥m cıa phƒn tß d⁄ng h…nh cƒu câ ÷íng k‰nh d) Gåi

A l bi‚n cŁ kho£ng c¡ch nhä nh§t giœa m i”m ºc l“p

25

còng phƒn phŁi •u tr¶n ÷íng trÆn ìn và lîn hìn d v °t p =P(A) Gåi S l

tr⁄ng th¡i cıa b§t ký h…nh d⁄ng m i”m tr¶n (0; 2 ) sao cho kho£ng c¡ch nhä

nh§t giœa c¡c i”m lîn hìn d Khi â ph¥n phŁi möc ti¶u cıa chóng ta l :

1(x) =

2 p 1[x2S]

Trong mºt chi•u, ta câ th” t‰nh ÷æc p nh÷ng trong 2 chi•u, i•u n y l

khæng th” Công nh÷ v‰ dö tr÷îc ta câ mºt d⁄ng ìn gi£n cho ph¥n phŁi

möc ti¶u

Câ c¡ch d„ d ng chuy”n tł mºt x 2 S ‚n mºt tr⁄ng th¡i kh¡c x 2 S Mºt0

c¡ch nh÷ th‚ l chån x 2 x ng¤u nhi¶n v xâa nâ i v l§y mºt m¤u và tr‰ mîi

z theo ph¥n phŁi •u tr¶n (0; 2 ) Rçi thi‚t l“p x 0 = x [ fzgnfxg ( i•u n y câ

th” t⁄o ra h…nh d⁄ng x 0 khæng n‹m trong S nh÷ng nh÷ sau

n y ta th§y, i•u n y khæng th“t sü l v§n •) Ph÷ìng ph¡p n y ÷æc mæ t£

bði m“t º chuy”n:

q(V… x

8

<1 n‚u x 0 2 S;

=:0 ng÷æc l⁄i:

Do â mi„n l chóng ta b›t ƒu trong S b§t ký tr⁄ng th¡i m chóng ta

chuy”n ‚n tr⁄ng th¡i công n‹m trong S Tâm l⁄i, thu“t to¡n Metropolis nh÷

sau: Chån X0 2 S chflng h⁄n b‹ng c¡ch °t c¡c i”m k‚ ti‚p mºt kho£ng c¡ch

d + " ri¶ng bi»t tł mØi i”m kh¡c (— ¥y, " l ı nhä) B¥y gií, gi£ sß Xn = x

Qu¡ tr…nh nh÷ sau:

1 Chån i 2 f1; 2; :::; mg ng¤u nhi¶n v l§y m¤u z tł ph¥n phŁi chu'n tr¶n (0; 2 ) °t z = x [ fzgnfx(i)g.

26

2 N‚u z 2 S th… ch§p nh“n z v °t Xn+1 = z N‚u z 2= S th… b¡c bä

z v °t Xn+1 = x

Chóng ta xem x†t mºt v i t‰nh ch§t lþ thuy‚t cıa thu“t to¡nMetropolis - Hastings (MH) ƒu ti¶n, câ nhi•u tü do trong vi»c chån •xu§t kÿ thu“t q(x; y) i•u ki»n cƒn l gi¡ cıa m“t º möc ti¶u l t“p con cıagi¡ cıa c¡c m“t º • xu§t th‰ch hæp Chi ti‚t hìn, chóng ta cƒn:

BŒ • 2 Nh¥n chuy”n p(x; y) cıa m¤u Metropolis - Hastings ÷æc chobði:

p(x; y) = q(x; y) (x; y) + 1fx=ygr(x);

Vîi

r(x) =

(Chó þ r‹ng nh¥n chuy”n khæng li¶n töc Łi vîi º o Lebesgue.)

Chøng minh Gi£ sß S l ríi r⁄c (trong tr÷íng hæp S li¶n töc, chøng minht÷ìng tü) Nh›c l⁄i r‹ng, x‰ch chuy”n ‚n tr⁄ng th¡i mîi n‚u tr⁄ng th¡i mîi n y

÷æc • xu§t v ch§p nh“n i•u n y x£y ra vîi x¡c su§t q(x; y) (x; y) ¥y l x¡csu§t chuy”n tł tr⁄ng th¡i x ‚n y khi y 6= x B¥y gií, ta x†t x¡c su§t chuy”n tł x

‚n x i•u n y câ th” x£y ra theo hai tr÷íng hæp Thø nh§t, ta câ th” • xu§t xnh÷ l mºt tr⁄ng th¡i mîi

27

v ch§p nh“n nâ, vîi x¡c su§t l q(x; x) (x; x) Thø hai, chóng ta • xu§ttr⁄ng th¡i y n o â v b¡c bä nâ, khi â x‰ch trð l⁄i tr⁄ng th¡i x X¡c su§t x£y

ra tr÷íng hæp n y l :

r(x) = y 2Sq(x; y)(1 (x; y))Tâm l⁄i, x¡c su§t chuy”n cıa x‰ch Metropolis - Hastings ÷æc cho bði:

p(x; y) = q(x; y) (x; y) + 1fx=ygr(x):

B¥y gií, chóng ta ki”m tra ph÷ìng tr…nh tr⁄ng th¡i c¥n b‹ng chi ti‚t

BŒ • 3 X‰ch Metropolis - Hastings thäa m¢n ph÷ìng tr…nh tr⁄ng th¡i c¥n b‹ng Łi vîi

Chøng minh Vîi x 6= y, ta câ:

(x)p(x; y) = (x)q(x; y) (x; y)

= (x)q(x; y)min

= minf (x)q(x; y); (y)q(y; x))g

= (y)q(y; x)min

= (y)q(y; x) (y; x) = (y)p(y; x):

Ph÷ìng tr…nh tr⁄ng th¡i c¥n b‹ng công óng cho tr÷íng hæp tƒm th÷íng x

= y

Düa v o c¡ch chån ph¥n phŁi • xu§t m chóng ta câ mºt sŁ ph÷ìng ph¡p MCMC sau

28

V‰ dö 2.3 Ph¥n phŁi chu'n hai chi•u ¥y l mºt v‰ dö nhä m chóng ta

câ th” l§y m¤u ph¥n phŁi chu'n hai chi•u trüc ti‚p Nh÷ng nâ minh håar§t tŁt c¡ch l m vi»c cıa m¤u Gibbs Chóng ta muŁn m¤u X v Y vîi m“t º:

(x; y) =

pM“t º n y ch¿ ra mºt ph¥n phŁi chu'n hai chi•u vîi ký vång (0, 0)

v ma tr“n hi»p ph÷ìng sai: =

phŁi N ( y; 1 2) v (Y jX = x) câ ph¥n phŁi N ( x; 1 2) Gi£ sß Xn = (xn; yn)

th… ta ti‚n h nh nh÷ sau ƒu ti¶n, ta l§y m¤u X = x tł ph¥n phŁi câ i•u ki»ncıa (XjY= yn) v ti‚p theo l§y m¤u Y = y tł ph¥n phŁi câ i•u ki»n cıa (Y jX=x) Khi â ta °t Xn+1= (x; y)

29

2.3.2 M¤u ºc l“p

Nh÷ t¶n gåi ch¿ tr⁄ng th¡i m¤u ºc l“p • su§t khæng phö thuºc v o tr⁄ngth¡i hi»n t⁄i cıa x‰ch, tøc l q(x; y) = f(y) vîi måi x 2 S, trong â f l mºt h mkhŁi x¡c su§t ho°c m“t º X¡c su§t ch§p nh“n cho m¤u ºc l“p quy v•:

(x; y) = min 1;

V‰ dö 2.4 X†t h m m“t º möc ti¶u:

1(x) =

h nh, c¡c t‰nh ch§t lþ thuy‚t cıa nâ ÷æc hi”u ngƒm l thäa m¢n Łi vîi v

‰ dö n y, chóng ta câ th” ch¿ ra r‹ng m¤u ºc l“p l ergodic mi„n l gi¡ cıa lmºt t“p con cıa gi¡ cıa f

M¤u ºc l“p công t÷ìng tü nh÷ m¤u lo⁄i bä H¢y so s¡nh x¡c su§t ch§pnh“n Łi vîi m¤u lo⁄i bä vîi x¡c su§t ch§p nh“n dü ki‚n cıa m¤u ºc l“p trongtr⁄ng th¡i dłng Łi vîi m¤u lo⁄i bä ” ¡p döng, chóng ta gi£ thi‚t r‹ng (x) Mf(x) Khi â, n‚u Y câ ph¥n phŁi f v X câ ph¥n phŁi

th… ta câ :

(Y)f(X)

g = (X)f(Y )

+

Z Z1

[ (y)f(x) (x)f(y)] (x)f(y)dxdy

(x)f(y) 1[ (y)f(x)< (x)f(y)] (x)f(y)dxdy

E minf1; (X)f(Y )g

trong â X1 v X2 l c¡c m¤u ºc l“p còng ph¥n phŁi Do â, trong tr⁄ng th¡idłng, x¡c su§t ch§p nh“n cıa m¤u ºc l“p lîn hìn x¡c su§t ch§p nh“n cıathu“t to¡n l§y m¤u lo⁄i bä i•u n y l d¾ nhi¶n i k–m vîi chi ph‰ t⁄o ra mºtm¤u ºc l“p vîi ch¿ ti»m c“n ph¥n phŁi ch‰nh x¡c T÷ìng tü vîi m¤u lo⁄i

bä t⁄o c£m gi¡c chån mºt m¤u ºc l“p vîi ph¥n phŁi • xu§t f l gƒn ‚n møc

câ th” möc ti¶u (Chó þ n‚u f = th… x‰ch ngay l“p tøc ⁄t tr⁄ng th¡i dłng).Trong thüc h nh, ph¥n phŁi • xu§t f th÷íng xuy¶n phö thuºc v o tham sŁ

n o â v chóng ta i•u ch¿nh tham sŁ theo kinh nghi»m ” câ ÷æc t l»ch§p nh“n trung b…nh tŁt Ta câ th” sß döng thß nghi»m ” ÷îc l÷æng tl» ch§p nh“n dü ki‚n

N‚u (x) M f(x) th… ta th“m ch‰ câ th” t‰nh to¡n tŁc º hºi tö cıa nh¥nchuy”n ‚n ph¥n phŁi dłng nh÷ sau Vîi y 6= x: