LUẬN văn TOÁN ỨNG DỤNG một số TÍNH CHẤT cơ bản QUÁ TRÌNH MARKOV và ỨNG DỤNG

Cö thº chùng minh mët ph¦n ành lþHopf Ergodic v ành lþ giîi h¤n trung t¥m Gordin... Tr÷íng hñp khæng gian tr¤ng th¡i húu h¤n.. ành lþ giîi h¤n trung t¥m cho x½ch Markov.. Ph¥n bè døng kh

Chuy¶n ng nh: To¡n Ùng Döng

MËT SÈ TNH CH‡T CÌ BƒN CÕA QU TRœNH MARKOV V€ ÙNG DÖNG

Gi¡o vi¶n h÷îng d¨n: Th¦y L¥m Ho ng Ch÷ìng

Sinh vi¶n thüc hi»n: é Th nh T i Lîp: To¡n Ùng Döng K32

Ng y 24 th¡ng 7 n«m 2010

Em xin ch¥n th nh c¡m ìn Ban gi¡m hi»u tr÷íng ¤i håc C¦n Thì, Ban chõ nhi»m KhoaKhoa Håc Tü Nhi¶n, c¡c th¦y cæ bë mæn to¡n Khoa Khoa Håc Tü Nhi¶n ¢ gióp ï, h÷îngd¨n trong suèt thíi gian em håc tªp t¤i tr÷íng.

°c bi»t, em xin ch¥n th nh c¡m ìn Th¦y L¥m Ho ng Ch÷ìng, bë mæn to¡n Khoa KhoaHåc Tü Nhi¶n - ¤i håc C¦n Thì - Ng÷íi trüc ti¸p h÷îng d¨n luªn v«n Th¦y ¢ tªn t¼nhgióp ï, ëng vi¶n, t¤o måi i·u ki»n thuªn lñi º em ho n th nh b i luªn v«n

Em xin ch¥n th nh c¡m ìn cè v§n håc tªp Cæ D÷ìng Thà Tuy·n ¢ d¤y dé, r±n luy»n,h÷îng d¨n suèt bèn n«m håc tªp v  °c bi»t trong thíi gian em l m b i luªn v«n

Em công xin gûi líi c¡m ìn ¸n c¡c b¤n lîp To¡n Ùng Döng K32 - Khoa Khoa Håc TüNhi¶n - ¤i håc C¦n Thì ¢ trao êi, gâp þ cho b i luªn v«n

Cuèi còng em xin c£m ìn gia ¼nh, t¤o måi i·u ki»n vªt ch§t, tinh th¦n trong thíi gian

em ho n th nh b i luªn v«n cõa m¼nh

C¦n Thì, ng y 30 th¡ng 4 n«m 2010

é Th nh T i

I Lþ do chån · t i v  möc ½ch nghi¶n cùu

Qu¡ tr¼nh ng¨u nhi¶n l  mæ h¼nh to¡n håc cõa r§t nhi·u b i to¡n thüc ti¹n xu§t hi»ntrong khoa håc v  cæng ngh» Nâ mæ t£ sü ti¸n hâa theo thíi gian cõa mët h» thèng chàu süt¡c ëng cõa c¡c nh¥n tè ng¨u nhi¶n

Mët trong nhúng lîp qu¡ tr¼nh ng¨u nhi¶n quan trång v· lþ thuy¸t công nh÷ ùng döng

â l  "Qu¡ tr¼nh Markov" Qu¡ tr¼nh n y do nh  to¡n håc - vªt lþ nêi ti¸ng ng÷íi NgaA.A.Markov (14/6/1856 - 20/7/1922) ÷a ra v o ¦u th¸ k¿ XX º mæ t£ chuyºn ëng cõac¡c ph¥n tû ch§t läng trong mët b¼nh k½n V· sau mæ h¼nh ÷ñc ph¡t triºn v  sû döng nhi·utrong c¡c l¾nh vüc cì håc, y håc, sinh håc, kinh t¸

º nghi¶n cùu v· mët qu¡ tr¼nh ng¨u nhi¶n nâi chung hay mët qu¡ tr¼nh Markov nâiri¶ng, ngo i vi»c kh£o s¡t c¡c t½nh ch§t cì b£n cõa chóng th¼ mët c¥u häi lîn luæn ÷ñc °t

ra â l : Li»u qu¡ tr¼nh n y câ hëi tö y¸u (theo ph¥n phèi) v· mët ¤i l÷ñng ng¨u nhi¶n n o

â hay khæng? N¸u khæng th¼ c¦n ph£i thay êi hay th¶m bît nhúng i·u ki»n g¼? â côngch½nh l  v§n · m  luªn v«n n y ÷a ra v  t¼m c¡ch gi£i quy¸t

II èi t÷ñng v  ph¤m vi nghi¶n cùu

Tr÷îc ti¶n, luªn v«n ÷a ra ành ngh¾a "Qu¡ tr¼nh ng¨u nhi¶n", düa tr¶n cì sð â ÷a ra

ành ngh¾a "Qu¡ tr¼nh Markov", cö thº:

+ X½ch Markov t÷ìng ùng qu¡ tr¼nh ng¨u nhi¶n ríi r¤c theo thíi gian

+ Qu¡ tr¼nh Markov t÷ìng ùng qu¡ tr¼nh ng¨u nhi¶n li¶n töc theo thíi gian

Ti¸p theo, luªn v«n tr¼nh b y c¡c t½nh ch§t cì b£n, c¦n thi¸t (thæng qua c¡c ành ngh¾a,

ành lþ ) º ùng döng v o vi»c chùng minh hai ành lþ "Gordin Lifsic" v  ành lþ "HopfErgodic"

III Ph÷ìng ph¡p nghi¶n cùu

åc c¡c t i li»u li¶n quan v  c¡c s¡ch tham kh£o chuy¶n ngh nh, k¸t hñp vîi c¡c thængtin tø internet

D÷îi sü h÷îng d¨n cõa Th¦y L¥m Ho ng Ch÷ìng, em ¢ lüa chån c¡c ki¸n thùc cì b£nquan trång, nhi·u ùng döng º tr¼nh b y trong luªn v«n, çng thíi ÷a ra c¡c v½ dö minhhåa ùng vîi c¡c ki¸n thùc ¢ ÷a ra

Luªn v«n gçm 3 ch÷ìng:

• Ch÷ìng 1: Qu¡ tr¼nh ng¨u nhi¶n v  x½ch Markov

Tr¼nh b y c¡c ành ngh¾a cì b£n v· qu¡ tr¼nh ng¨u nhi¶n, x½ch Markov v  mët sè t½nhch§t quan trång cõa chóng Ch÷ìng n y cán mët sè kh¡i ni»m, ành lþ l m n·n t£ngcho c¡c ch÷ìng sau: ph÷ìng tr¼nh Chapman - Kolmogorov, ph¥n bè ban ¦u, ph¥n bèdøng, ph¥n bè giîi h¤n, ph¥n lo¤i tr¤ng th¡i x½ch Markov

• Ch÷ìng 2: Qu¡ tr¼nh Markov

Tr¼nh b y kh¡i ni»m qu¡ tr¼nh Markov C¡c ành ngh¾a, ành lþ v  t½nh ch§t cõa qu¡tr¼nh trong ba tr÷íng hñp: khæng gian tr¤ng th¡i ¸m ÷ñc, khæng gian tr¤ng th¡i væh¤n ¸m ÷ñc v  tr÷íng hñp têng qu¡t

• Ch÷ìng 3: Mët sè ùng döng cho qu¡ tr¼nh Markov

Tr¼nh b y hai ùng döng cõa qu¡ tr¼nh Markov Cö thº chùng minh mët ph¦n ành lþHopf Ergodic v  ành lþ giîi h¤n trung t¥m (Gordin)

é Th nh T i

Ch÷ìng 1 Qu¡ tr¼nh ng¨u nhi¶n v  X½ch Markov 5

1.1 Qu¡ tr¼nh ng¨u nhi¶n 5

1.2 X½ch Markov 5

1.3 Ph¥n bè ban ¦u 6

1.4 Ph÷ìng tr¼nh Chapman - Kolmogorov 7

1.5 Ph¥n bè døng v  ph¥n bè giîi h¤n 11

1.6 Ph¥n lo¤i tr¤ng th¡i x½ch Markov 17

Ch÷ìng 2 Qu¡ tr¼nh Markov 31 2.1 Kh¡i ni»m 31

2.2 Tr÷íng hñp khæng gian tr¤ng th¡i húu h¤n 32

2.3 Tr÷íng hñp khæng gian tr¤ng th¡i væ h¤n ¸m ÷ñc 37

2.4 Tr÷íng hñp têng qu¡t 46

Ch÷ìng 3 Mët sè ùng döng cho qu¡ tr¼nh Markov 51 3.1 ành lþ giîi h¤n trung t¥m cho x½ch Markov 51

3.2 ành lþ Hopf Ergodic 55

3

Qu¡ tr¼nh ng¨u nhi¶n v  X½ch Markov

1.1 Qu¡ tr¼nh ng¨u nhi¶n

Qu¡ tr¼nh ng¨u nhi¶n {Xt, t ∈ T } l  mët tªp hñp c¡c ¤i l÷ñng ng¨u nhi¶n Ch¿ sè t ÷ñcxem nh÷ thíi gian v  Xt l  tr¤ng th¡i cõa qu¡ tr¼nh t¤i thíi iºm t

V½ dö 1.1 Xt l  têng sè kh¡ch h ng v o si¶u thà t¤i thíi iºm t ho°c têng sè s£n ph©m b¡n

÷ñc ¸n thíi iºm t

Tªp hñp T ÷ñc gåi l  tªp hñp ch¿ sè cõa qu¡ tr¼nh

+ T ¸m ÷ñc th¼ qu¡ tr¼nh ÷ñc gåi l  qu¡ tr¼nh ríi r¤c theo thíi gian

+ T l  mët kho£ng tr¶n tröc sè thüc th¼ qu¡ tr¼nh ÷ñc gåi l  li¶n töc theo thíi gian.Tªp hñp t§t c£ c¡c gi¡ trà câ thº cõa c¡c ¤i l÷ñng ng¨u nhi¶n gåi l  khæng gian tr¤ngth¡i cõa qu¡ tr¼nh ng¨u nhi¶n K½ hi»u E

1.2 X½ch Markov

Qu¡ tr¼nh ng¨u nhi¶n {Xn, n = 0, 1, 2, } (câ khæng gian tr¤ng th¡i E ¸m ÷ñc) l  mëtx½ch markov n¸u:

P {Xn+1= j|Xn= i, Xn−1 = in−1, , X0 = i0} = P {Xn+1= j|Xn= i} = Pij (1.1)vîi måi tr¤ng th¡i i0, , in−1, i, j v  vîi måi n ≥ 0

Ð ¥y ta chó þ:

• N¸u Xn= i th¼ qu¡ tr¼nh ð tr¤ng th¡i thù i t¤i thíi iºm n

• Gi¡ trà cè ành Pij l  x¡c su§t º qu¡ tr¼nh ð tr¤ng th¡i thù i bi¸n êi sang tr¤ng th¡ithù j hay cán gåi l  x¡c su§t chuyºn

• N¸u bi¸t tr¤ng th¡i hi»n t¤i Xn th¼ qu¡ khù X0, , Xn−1 v  t÷ìng lai Xn+1 ëc lªp vîinhau (t½nh Markov)

5

• V¼ x¡c su§t khæng ¥m v  v¼ qu¡ tr¼nh ph£i bi¸n êi ¸n 1 tr¤ng th¡i n o â n¶n:

°t qu¡ tr¼nh ð tr¤ng th¡i 0 n¸u tríi m÷a v  ð tr¤ng th¡i 1 n¸u tríi khæng m÷a th¼ qu¡tr¼nh â s³ l  1 x½ch Markov gçm 2 tr¤ng th¡i {0, 1} vîi ma trªn x¡c su§t bi¸n êi l :

Ph¥n bè cõa X0 ÷ñc gåi l  ph¥n bè ban ¦u K½ hi»u: ui=P (X0 = i)

ành lþ 1.1 Ph¥n bè çng thíi cõa (X0, X1, , Xn) ÷ñc ho n to n x¡c ành tø ph¥n bèban ¦u v  x¡c su§t chuyºn:

P {X0 = i0, X1 = i1, , Xn= in} = ui0Pi0i1 Pin−1inChùng minh Theo cæng thùc nh¥n x¡c su§t ta câ:

1.4 Ph÷ìng tr¼nh Chapman - Kolmogorov

Ta câ:

Pij = P (Xn+1 = j|Xn = i)

Pijn= P (Xn+k = j|Xk= i) , n ≥ 0 i, j ≥ 0Ph÷ìng tr¼nh Chapman - Kolmogorov cho ta mët c¡ch t½nh c¡c x¡c su§t sau n b÷îc bi¸n

ành lþ 1.2 Ta câ:

Um+n = UmPnNâi ri¶ng:

Un= U PnChùng minh Theo cæng thùc x¡c su§t ¦y õ ta câ:

Líi gi£i: Ma trªn x¡c su§t qua 1 b÷îc bi¸n êi l :

V½ dö 1.4 Cho ( ξn ), n = 0, 1, 2, l  d¢y c¡c ¤i l÷ñng ng¨u nhi¶n ëc lªp, còng ph¥n

K½ hi»u Xn l  sè qu£ c¦u trong b¼nh A t¤i thíi iºm n Hiºn nhi¶n Xn l  x½ch Markov Tat½nh x¡c su§t chuyºn P (Xn+1= j | Xn= i)

T¤i thíi iºm Xn= i trong A chùa i qu£ c¦u n¶n x¡c su§t º chån ÷ñc qu£ c¦u tø A l i

d v  qu£ c¦u n y s³ ÷ñc chuyºn sang B

Vªy P (Xn+1 = i − 1 | Xn = i) = i

d.T÷ìng tü trong B chùa d − i qu£ c¦u n¶n x¡c su§t º chån ÷ñc qu£ c¦u tø B l  d − i

d v qu£ c¦u n y s³ ÷ñc chuyºn sang A

Vªy P (Xn+1 = i + 1 | Xn = i) = d − i

dCho n¶n:

Thèng k¶ nhi·u n«m cho th§y "x¡c su§t º mët ng÷íi khæng nghi»n sau mët quþ v¨n khængnghi»n" l  0,99 v  "x¡c su§t º mët ng÷íi nghi»n sau mët quþ v¨n ti¸p töc nghi»n" l  0,88

Nh÷ vªy tr¤ng th¡i cõa mët ng÷íi (nghi»n hay khæng nghi»n) ÷ñc mæ t£ bði mët x½chMarkov vîi hai tr¤ng th¡i E = {0, 1} vîi ma trªn x¡c su§t chuyºn nh÷ sau:

Tùc l  t¤i thíi iºm n y câ 14,5% sè ng÷íi nghi»n

V½ dö 1.7 Gi£ sû ta câ d cûa h ng k½ hi»u 1, 2, , d còng b¡n mët s£n ph©m n o â Kh¡ch

h ng câ thº chån mua s£n ph©m ð mët trong d cûa h ng n y tòy theo sð th½ch cõa hå v  trongtøng th¡ng hå khæng thay êi ché mua h ng

Gåi (Xn) l  cûa h ng m  kh¡ch h ng chån mua s£n ph©m ð th¡ng thù n

¥y l  mët x½ch Markov câ d tr¤ng th¡i, x¡c su§t chuyºn Pij l  x¡c su§t º kh¡ch h nghi»n t¤i ang mua h ng t¤i cûa h ng i qua th¡ng sau chuyºn sang mua ð cûa h ng j X²t

Vªy ph¥n bè ban ¦u l  U(0) = (0, 2; 0, 5; 0, 3)

Qua th¡ng 2 ph¥n bè kh¡ch h ng trong ba cûa h ng s³ l  U(1) = U(0)P = (0, 22; 0, 49; 0, 29)

Qua th¡ng 3 ph¥n bè kh¡ch h ng trong ba cûa h ng s³ l  U(2) = U(1)P = (0, 234; 0, 483; 0, 283)T÷ìng tü ta câ thº t½nh ð th¡ng 12 ph¥n bè kh¡ch h ng trong ba cûa h ng s³ l 

U (11) = (0, 270; 0, 459; 0, 271)Tùc l  trong th¡ng 12 cûa h ng 1 chi¸m 27% kh¡ch h ng, cûa h ng 2 chi¸m 45,9% kh¡ch

h ng v  cûa h ng 3 chi¸m 27,1% kh¡ch h ng

1.5 Ph¥n bè døng v  ph¥n bè giîi h¤n

ành ngh¾a 1.1 Ph¥n bè ban ¦u U = (ui), i ∈ E ÷ñc gåi l  ph¥n bè døng n¸u ta câ

Un= U vîi måi n tùc l  un

i = ui, ∀i ∈ E, ∀n Khi â d¢y Xn câ còng ph¥n bè

Tø ành l½ ( 1.1) ta suy ra U = (ui) l  ph¥n bè døng n¸u v  ch¿ n¸u:

13

131

4

12

141

6

13

12

Ph¥n bè døng khæng ph£i bao gií công tçn t¤i Vªy vîi i·u ki»n n o th¼ tçn t¤i ph¥n bèdøng? Ph¥n bè døng n¸u tçn t¤i th¼ câ duy nh§t khæng?

ành lþ 1.3 Gi£ sû (Xn) l  x½ch Markov vîi khæng gian tr¤ng th¡i E = {1, 2, } vîi matrªn x¡c su§t chuyºn P = Pij v  ma trªn x¡c su§t chuyºn sau n b÷îc l  Pn = Pn

ij Gi£ sûr¬ng vîi måi i, j ∈ E tçn t¤i giîi h¤n

πj = 0 vîi måi j ∈ E th¼ ph¥n bè døng khæng tçn t¤i

Chùng minh (i) Theo bê · Fatou, ta câ:

Vªy sj = 0, ∀j ∈ E hay πj = P

i∈E

πiPij, ∀j ∈ E(ii) Ta câ:

Gi£ sû U = (ui) l  ph¥n bè døng Lªp luªn nh÷ tr¶n ta câ:

uj =X

k∈E

ukPkjnV¼ chuéi hëi tö ·u vîi n n¶n:

ành ngh¾a 1.2 Gi£ sû (Xn) l  x½ch Markov vîi khæng gian tr¤ng th¡i E = {1, 2, } vîi

ma trªn x¡c su§t chuyºn P = (Pij)v  ma trªn x¡c su§t chuyºn sau n b÷îc l  Pn= (Pn

ij) Tanâi r¬ng x½ch câ ph¥n bè giîi h¤n n¸u vîi måi i, j ∈ E tçn t¤i giîi h¤n

Þ ngh¾a cõa ph¥n bè giîi h¤n l  nh÷ sau:

Vªy ph¥n bè Uncõa Xnhëi tö tîi ph¥n bè giîi h¤n π Khi n kh¡ lîn ta câ P (Xn = j) ≈ πj

Theo ành l½ 1.6 n¸u ph¥n bè giîi h¤n tçn t¤i th¼ ph¥n bè døng công tçn t¤i v  duynh§t v  hai ph¥n bè n y tròng nhau Tuy nhi¶n câ nhúng x½ch Markov tçn t¤i ph¥n bè døngnh÷ng khæng tçn t¤i ph¥n bè giîi h¤n

V½ dö 1.9 Cho x½ch Markov (Xn) câ hai tr¤ng th¡i vîi ma trªn x¡c su§t chuyºn l 

1

2) l  ph¥n bè døng duy nh§t

ành lþ 1.4 (i·u ki»n tçn t¤i ph¥n bè giîi h¤n v  ph¥n bè døng)

Cho (Xn) l  x½ch Markov vîi khæng gian tr¤ng th¡i húu h¤n E = {1, 2, , d} vîi ma trªn x¡csu§t chuyºn sau n b÷îc l  Pn= (Pn

ij) Khi â câ tçn t¤i ph¥n bè giîi h¤n π = (π1, π2, , πd)vîi πj > 0, ∀i ∈ E khi v  ch¿ khi x½ch l  ch½nh quy theo ngh¾a:

Tçn t¤i n0 sao cho

Pn0

ij > 0, ∀i, j ∈ EChùng minh Gi£ thi¸t x½ch l  ch½nh quy Ta cè ành j v  °t:

Lªp luªn t÷ìng tü ta câ d¢y (Mn

j) vîi n = 1, 2, l  d¢y gi£m bà ch°n bði 0, do â tçnt¤i giîi h¤n:

Thªt vªy ð (*) khi cho n = 1 th¼ (**) óng vîi k = 1.

Gi£ sû óng vîi k, ta câ:

V½ dö 1.10 Méi ng÷íi d¥n trong mët vòng n o â câ thº ð trong ba t¦ng lîp: gi u, kh¡ v ngh±o Con c¡i cõa hå câ thº thuëc mët trong ba t¦ng lîp nâi tr¶n vîi c¡c x¡c su§t kh¡c nhautuý thuëc v o vi»c hå ang ð trong t¦ng lîp n o.

X½ch Markov n y l  ch½nh quy N¶n tçn t¤i ph¥n bè giîi h¤n π = (π1, π2, π3) Ph¥n bè n y

l  ph¥n bè døng duy nh§t v  ÷ñc t¼m b¬ng c¡ch gi£i h» ph÷ìng tr¼nh sau:

(π1, π2, π3)P = (π1, π2, π3)Gi£i ph÷ìng tr¼nh ta ÷ñc π1 = 0,067, π2 = 0,624, π3 = 0,369 Nh÷ vªy qua nhi·u th¸ h»

ð vòng d¥n c÷ nâi tr¶n s³ câ 6,7% ng÷íi gi u, 62,4% kh¡ v  36,9% ng÷íi ngh±o

1.6 Ph¥n lo¤i tr¤ng th¡i x½ch Markov

ành ngh¾a 1.3 Ta nâi r¬ng tr¤ng th¡i i ¸n ÷ñc tr¤ng th¡i j n¸u tçn t¤i n ≥ 0 sao cho

T½nh ch§t 1.1 (i) Tr¤ng th¡i i ·u li¶n thæng vîi tr¤ng th¡i i, vîi måi i ≥ 0.

(ii) N¸u tr¤ng th¡i i li¶n thæng vîi tr¤ng th¡i j, th¼ tr¤ng th¡i j công li¶n thæng vîi tr¤ngth¡i i

(iii) N¸u tr¤ng th¡i i li¶n thæng vîi tr¤ng th¡i j, tr¤ng th¡i j li¶n thæng vîi tr¤ng th¡i k, th¼tr¤ng th¡i i công li¶n thæng vîi tr¤ng th¡i k

ành ngh¾a 1.5 X½ch Markov ÷ñc gåi l  tèi gi£n n¸u hai tr¤ng th¡i b§t k¼ l  li¶n thæng.V½ dö 1.11 Cho x½ch Markov vîi bèn tr¤ng th¡i E = {1, 2, 3, 4} v  ma trªn x¡c su§t chuyºn

0 0 1

2

121

2

1

2 0 01

K¸t luªn hai tr¤ng th¡i b§t k¼ l  li¶n thæng do â ¥y l  x½ch tèi gi£n

ành ngh¾a 1.6 Chu k¼ cõa tr¤ng th¡i i k½ hi»u l  d(i) l  ÷îc chung lîn nh§t cõa t§t c£ c¡c

sè nguy¶n d÷ìng n > 1 m  Pn

ii > 0 N¸u Pn

ii = 0 vîi måi n > 1 th¼ ta quy ÷îc °t d(i) = 0

ành lþ 1.5 N¸u i ↔ j th¼ d(i) = d(j) Vªy c¡c tr¤ng th¡i còng mët lîp câ còng mët chu k¼

d v  ta gåi sè d chung â l  chu k¼ cõa lîp

Chùng minh Do i ↔ j n¶n tçn t¤i k, l sao cho Pk

l  tr¤ng th¡i hçi quy, ng÷ñc l¤i n¸u f∗

ii< 1 ta nâi i l  tr¤ng th¡i khæng hçi quy

ành lþ 1.6 Tr¤ng th¡i i l  hçi quy khi v  ch¿ khi

Vîi méi 0 6 k 6 n gåi Ek l  bi¸n cè: "Xn = iv  h» l¦n ¦u ti¶n quay l¤i i ð b÷îc thù k"

Ta câ:

Bê · 1.2 (Bê · Aben)

(i) N¸u chuéi P∞

∞

P

n=0

fiikPiin−k = Piinn > 1 theo bê · (1)

ành lþ 1.7 N¸u i → j v  j hçi quy th¼ i hçi quy.

Chùng minh Theo gi£ thi¸t tçn t¤i m, n sao cho:

Pijn> 0, Pjim> 0Vîi méi sè nguy¶n d÷ìng h tø ph÷ìng tr¼nh Chapman - Kolmogorov suy ra:

Piin+h+m> PijnPjjhPijmVªy:

V½ dö 1.12 Cho (rn) l  d¢y c¡c ¤i l÷ñng ng¨u nhi¶n ëc lªp câ ph¥n bè x¡c su§t nh÷ sau:

N¸u du ëng ng¨u nhi¶n l  èi xùng p = q = 1

Do â theo ành lþ 1.6 måi tr¤ng th¡i l  khæng hçi quy.

V½ dö 1.13 X²t du ëng ng¨u nhi¶n cõa më h¤t tr¶n l÷îi iºm nguy¶n tr¶n m°t ph¯ng Gi£

sû x¡c su§t º h¤t dàch l¶n tr¶n, dàch xuèng d÷îi mët ìn và (theo ph÷ìng th¯ng ùng), dàchsang ph£i, dàch sang tr¡i mët ìn và (theo ph÷ìng n¬m ngang) ·u b¬ng nhau v  b¬ng 1

4 Tath§y P2n+1

2n

 2nn

 n

X

i=0

 ni

2n

 2nn

X

n

P00n = ∞Vªy tr¤ng th¡i 0 l  hçi quy

M°t kh¡c ta th§y x½ch l  tèi gi£n n¶n måi tr¤ng th¡i ·u hçi quy

Ng÷íi ta ¢ chùng minh ÷ñc vîi du ëng ng¨u nhi¶n èi xùng trong khæng gian ba chi·u,måi tr¤ng th¡i ·u khæng hçi quy

ành lþ 1.8 K½ hi»u Qii l  x¡c su§t º h» xu§t ph¡t tø i quay l¤i i væ sè l¦n, Qij l  x¡c su§t

º h» xu§t ph¡t tø i i qua j væ sè l¦n Khi â:

(i) N¸u i hçi quy th¼ Qii = 1, n¸i i khæng hçi quy th¼ Qii= 0

(ii) N¸u i hçi quy v  i ↔ j th¼ Qij = 1 Nâi ri¶ng, vîi x¡c su§t 1 h» xu§t ph¡t tø i sau mët

sè húu h¤n b÷îc s³ i qua j

Chùng minh (i) Gi£ sû Q(m)

ii l  x¡c su§t º h» quay l¤i i ½t nh§t m l¦n Theo cæng thùc x¡csu§t ¦y õ v  t½nh Markov cõa h» ta câ:

Qii= 0 ho°c 1 khi f∗

ii < 1 ho°c b¬ng 1(ii) Gåi f∗

K¸t hñp vîi (*) suy ra:

1 6 Qijfji∗ + 1 − fji∗ → fji∗ 6 Qijfji∗V¼ j → i n¶n f∗

ji > 0Suy ra:

Qij = 1

V½ dö 1.14 Mët ng÷íi v o sáng b¤c vîi sè ti·n trong tói l  1000 USD v  chìi ¡nh b¤c nh÷sau: méi v¡n chìi anh ta tung mët çng ti·n c¥n èi v  çng ch§t N¸u çng ti·n ra m°tngûa anh ta ÷ñc 1 USD, n¸u ra m°t s§p anh ta m§t 1 USD Gåi Xn l  sè ti·n anh ta câ sau

n v¡n chìi Khi â X0 = 1000 v  X0, X1, l  mët du ëng ng¨u nhi¶n èi xùng vîi tr¤ngth¡i ban ¦u X0 = 1000 Theo ành lþ tr¶n vîi x¡c su§t 1, Xn s³ "vi¸ng th«m" tr¤ng th¡i 0.Nâi c¡ch kh¡c dò sîm hay muën anh ta s³ thua h¸t ti·n

ành lþ 1.9 Cho Xn l  x½ch tèi gi£n khæng hçi quy khi â vîi måi i, j

∞

X

n=1

Pijn < ∞Nâi ri¶ng:

Chùng minh Sû döng bê · sau:

Bê · 1.3 Cho fn l  mët d¢y c¡c sè khæng ¥m câ têng b¬ng 1 v  ÷îc chung lîn nh§t cõat§t c£ c¡c sè j > 0 m  fj > 0 b¬ng 1 Cho (un) l  d¢y x¡c ành truy hçi theo c¡ch sau:

ij = 0 n¸u s < 0 khi â 1.12 ÷ñc vi¸t l¤i:

ành ngh¾a 1.8 Tr¤ng th¡i hçi quy i ÷ñc gåi l  tr¤ng th¡i hçi quy d÷ìng n¸u µi < ∞ v 

÷ñc gåi l  tr¤ng th¡i hçi quy khæng n¸u µi = ∞

V½ dö 1.15 Gi£ sû (Xn) l  du ëng ng¨u nhi¶n èi xùng tr¶n ÷íng th¯ng (måi tr¤ng th¡i

l  hçi quy nh÷ ¢ x²t ð v½ dö tr÷îc) Ta chùng minh måi tr¤ng th¡i l  khæng hçi quy

Ta câ:

Pii2n = 2n

n

(1

(1

(s

Tø ph÷ìng tr¼nh (*) (trang 21) ta suy ra:

Fiis = 1 − Pii(s)−1 = 1 − (1 − s2)

12Theo bê · Abel:

ành lþ 1.11 Gi£ sû i → j N¸u i hçi quy d÷ìng th¼ j hçi quy d÷ìng N¸u i hçi quy khængth¼ j hçi quy khæng

Chùng minh Theo gi£ thi¸t tçn t¤i m, n sao cho:

Pijn> 0, Pjim> 0Vîi måi k ta câ:

Piin+k+m> PijnPjjkPjimK¸t hñp vîi ành lþ 1.10 ta câ:

ành lþ 1.12 Gi£ sû (Xn) l  x½ch tèi gi£n khæng câ chu ký vîi khæng gian tr¤ng th¡i ¸m

÷ñc E Khi â s³ x£y ra mët trong ba kh£ n«ng sau ¥y:

(i) Måi tr¤ng th¡i l  khæng hçi quy Khi â vîi måi i, j

lim

n→∞Pijn = 0Vªy x½ch khæng câ ph¥n bè døng

(ii) Måi tr¤ng th¡i l  hçi quy khæng Khi â vîi måi i, j

lim

n→∞Pijn = 0Vªy x½ch khæng câ ph¥n bè døng

(iii) Måi tr¤ng th¡i l  hçi quy d÷ìng Khi â vîi måi i, j

lim

n→∞Pijn = πj > 0

v  π = (π1, π2, ) l  ph¥n bè giîi h¤n (công l  ph¥n bè døng) cõa x½ch

ành lþ 1.13 Gi£ sû (Xn) l  x½ch tèi gi£n khæng câ chu ký vîi khæng gian tr¤ng th¡i húuh¤n E = {1, 2, , d} Khi â måi tr¤ng th¡i ·u hçi quy d÷ìng v  x½ch câ ph¥n bè giîi h¤n

π = (π1, π2, , πd) Ph¥n bè n y công l  ph¥n bè døng duy nh§t cõa x½ch