Một số tính chất của không gian tôpô 0 chiều

Đã lý tưởng hoá các sự vật trong cuộc sống ở trạng thái độc lập với nhau, xây dựng nên một quá trình gọi là quá trình Markov.. Trong khoá luận này dã trình bày: “ Một số vấn đề về xich M

Lời nói đầu

Trong cuộc sống của chúng ta, tất cả sự vật và hiện tượng dù lớn hay nhỏ đều có sự phụ thuộc lẫn nhau Độc lâp chỉ là một sự lý tưởng hoá cho đơn giản khi con người ta cần nghiên cứu một vấn đề nào đó

Andrei Andreevitch MarKov ( 14/6/1856 - 20/7/1922 ) là nhà Toán Học

- Vât Lý nổi tiếng người Nga Đã lý tưởng hoá các sự vật trong cuộc sống ở trạng thái độc lập với nhau, xây dựng nên một quá trình gọi là quá trình Markov Trong khoá luận này dã trình bày: “ Một số vấn đề về xich Markov với thời gian rời rạc” Đó là một vấn đề nhỏ trong quá trình Markov Khoá luận gồm có những nội dung sau:

Đ1- Tính Markov: trình bày các định nghĩa về tính Markov và những ví

dụ minh hoạ

Đ2- Xích Markov rời rạc và thuần nhất: trình bày một số vấn đề như:

Ma trận xác suất chuyển; phương trình Chapman - Kolmogorov; phân phối ban đầu

Đ3- Xich Markov hữu hạn trạng thái trình bày mô hình ứng dụng quan trọng của xích Markov; định lý ergodic; phân phối dừng; phân phối giới hạn

và phân phối ergodic

Khoá luận được hoàn thành dưới sự hướng dẫn của PGS - TS Phan

Đức Thành Nhân dịp này Tác giả xin bày tỏ lòng biết ơn sâu sắc đối với

Thầy, người đã giúp đỡ, chỉ bảo rất nhiều cho tác giả để hoàn thành được khoá luận này Đồng thời tác giả cũng cảm ơn các thầy cô trong khoa Toán nhất là các thầy thuộc bộ môn xác suất thống kê và các bạn sinh viên đã cổ vũ, động viên và giúp đỡ tác giả trong thời gian qua Tuy nhiên vì khả năng và thời gian có hạn nên khoá luận không tránh khỏi những thiếu sót, mong được sự góp ý và chỉ bảo của thầy cô và bạn đọc

Dân số nước ta hiện tại là 80 triệu người , trong tương lai dân số nước

ta sẽ phát triển chỉ phụ thuộc vào dân số hiện tại mà độc lập với quá khứ Vậy sự phát triển của dân số nước ta có tính Markov

Nói chung, các hệ ( sinh thái, vật lý, hoặc cơ học, v.v.) không có trí nhớ hoặc hoặc sức ỳ là những hệ có tính Markov

2-Định nghĩa: ( Theo phương diện toán học ) :

Ký hiệu: X(t) là vị trí của hệ tại thời điểm t

E là không gian trạng thái của X(t)

Ta nói rằng X(t) có tính Markov nếu:

P{X(tn+1) =j \ X(t0) =i0,X(t1) =i1, ,X(tn-1) =in-1,X(tn) =i}=

P{X(tn+1) =j \ X(tn) =i}

Với bất kỳ t0 < t1 < < tn < tn+1< …và i0 , i1 in-1 , i,j  E

Ta xem tn là hiện tại ; tn+1 là tương lai ;( t0 , t1 , ,tn-1 ) là quá khứ

Vì thế biểu thức trên phản ánh tính Markov của X(t)

Nếu X(t) có tính Markov và E đánh số được thì X(t) gọi là xích markov

Nếu t = 0,1,2 thì ta có khái niệm xích Markov với thời gian rời rạc Nếu t

 

0, thì ta có khái niệm xích Markov với thời gian liên tục Đặt p(s,i,t,j) = P( X(t) = j \X(s) = i) (s<t) là xác suất chuyển của hệ

Tức xác suất có điều kiện để hệ( hay quá trình) tại thời điểm s ở trạng thái i

đến thời điểm t chuyển sang trạng thái j

Nếu xác suất chuyển chỉ phụ thuộc vào (t-s) tức là:

p(s,i,t,j) = p(s+h,i,t+h,j ) thì ta nói hệ( hay quá trình) là thuần nhất theo thời gian Hay xích

Markov lúc này được gọi là thuần nhất

Ví dụ 2:

Cho 0,1, ,n, là dãy biến ngẫu nhiên ( đại lượng ngẫu nhiên ) rời

rạc, độc lập , Ek là tập hợp các giá trị của k, Ek hữu hạn hay đếm được ( k =

Nếu dãy biến ngẫu nhiên 0,1, ,n , ở trên rời rạc, độc lập và có cùng phân phối Xác xuất thì ( n: n= 0,1,2, ,) là xích Markov thuần nhất và ngược lại

Thật vậy:

)

\ ( ) ( ) (

)

\ ( n1 j n i   n1 j   1 j   1 j 0i

Nếu 1,2, ,n, là dãy biến ngẫu nhiên, rời rạc, độc lập và cùng phân phối xác xuất thì (Xn : n=1,2,3, ) là xích Markov thuần nhất

Giả sử: (,A,P) là không gian xác suất

E là không gian trạng thái có các phần tử i,j ,k

Xn:  E là biến (đại lượng ) ngẫu nhiên nhận giá trị trong tập đếm được E

Xn có tính thuần nhất và tính Markov là:

pij = P { Xn+1=j \ Xn =i}=P { Xn+1 =j \ X0 =i0 , X1=i1 , , Xn=i} (*)

không phụ thuộc vào n

Trong đó: pij là xác suất có điều kiện để hệ tai thời điểm n (hiện tại) ở trạng thái i sau 1 bước chuyển sang trạng thái j tại thời điểm (n+1) ( tương lai)

Ta đặt:

A= ( X n+1 =j ) , B = ( Xn= i ) , C= ( X0=i0, X1=i1 , Xn-1 =in-1)

Thì (*) sẽ là:

P(A/B) = P(A/BC)

Từ đó áp dụng công thức có điều kiện ta có :

) (

) (

) ( ) ( )

(

) ( )

/

(

B BC

ABC BC

B

ABC B

) (

B A B C BC

A B

p là xác suất để hệ tại thời điểm ban đầu ở trạng thái i sau n bước chuyển sang trạng thái j Rõ ràng p ij1  p ij

jinÕu1

Chú ý: Từ công thức xác suất đầy đủ   (p ij) có tính chất sau:

1p





E j

ij 1.p

Ma trận như vậy được gọi là ma trận ngẫu nhiên

Từ công thức xác suất đầy đủ và tính Markov ta có n= 1,2, ,N

ik p p

kj n

m kj n

n kj

)

\ (X1 k X0 i X n 1 j X1 k

E k

n kj

kj n

ik P

P ( ).

- Chứng minh (3): n m

ij

p  = 

E k

m kj n

n m

m kj

P

1 2 1

0 

 P(X0 = i0, X1 = i1, , Xn-1 = in-1, Xn = i ) = i i i i i

n

P P P P

1 2 1

0  gọi là phân phối

hữu hạn chiều của quá trình Markov

Đó là việc thực hiện liên tiếp hệ từ trạng thái i0 sau một bước chuyển sang trạng thái i1 từ trạng thái i1 sau một bước lại chuyển sang trạng thái i2 cứ như vậy đến khi hệ về trạng thái in-1 thì sau một bước chuyển về trạng thái i

2- Phân phối ban đầu

, j  E ) và gọi é = é (0) là phân phối ban đầu của hệ

Phân phối ban đầu được gọi là dừng nếu é(n)không phụ thuộc n tức là:

X P i X

n n

n m

n

n i) (X j \ X i)X

ij ) n (

i PP

Hay é (n+m) = é(n)P(m) đpcm

c - Kết luận :

* Mô hình của một xích Markov rời rạc và thuần nhất là bộ ba (Xn, é, P) trong

đó : Xn là dãy đại lượng ngẫu nhiên rời rạc

é là phân phối ban đầu

P là ma trận xác xuất chuyển

* Những vấn đề cần nghiên cứu đối với xích Markov là:

- Tìm điều kiện để tồn tại  j =

Đ3- XÍCH MARKOV HỮU HẠN TRẠNG THÁI

1.Xích Markov có hai trạng thái: (E={0,1})

*Giả sử ma trận xác xuất chuyển của xích là:

01 00

P P

P P

a a

a a 1

a a 1

) 1 ( 1

1 (

) 1 1 ( )

1 (

b ab

b a b

b a a ab a

ba

)ba1(ab

abba

( 1

a b

a b

b a

a b a

b

n n

) (

lim

Khi n  thì P(X n =0) =

b a

b

 ; P(Xn =1) =

b a

b



rơi vào : Trạng thái 1 với xác xuất

b a

a



2, Ý nghĩa thực tiễn của mô hình xích Markov hai trạng thái:

Giả sử muốn nghiên cứu một vấn đề xã hội ( tội phạm, nghiện hút, mại dâm ) trong một lớp người nào đó, khi ta ký hiệu 0 là trạng thái không mắc vấn đề xã hội, 1 là trạng thái mắc vấn đề xã hội

Ví dụ:

Thống kê tình trạng nghiện hút của 1200 sinh viên ta có số liệu ban đầu:

1000 không nghiện, 200 nghiện Sau hai tháng do buôn bán ma tuý hoạt động mạnh, và do những biện pháp xã hội ( tuyên truyền, giáo dục, cai nghiện )

nên trong 1200 sinh viên này điều tra thu được là: 1000 người trước không nghiện thì nay có 10 người nghiện Còn trong 200 người trước đây nghiện thì nay có 24 người không nghiện Vậy trong tương lai số người nghiện và không nghiện như thế nào?

Ta giả sử : 0 là trạng thái của của số sinh viên không nghiện

1 là trạng thái của của số sinh viên nghiện

* Do đó ta có không gian trạng thái E={0,1}

* Phân phối ban đầu

p0 =

6

5 1200

1000

 , p1 =

6

1 1200

01 , 0 99 0

11 10

01 00

P P

P P

Theo mô hình trên thì với a = 0,01, b =0,12 , và 1 ab < 1

, 0

01 , 0 13 , 0

12 , 0

13 , 0

01 , 0 13 , 0

12 , 0 lim

b a

a b

a b

b a

a b

a

b

P n

n

Kết luận trong tương lai sẽ có phân phối cân bằng là:

* Tỉ lệ người không nghiện là xấp xỉ 92%

* Tỉ lệ người nghiện xấp xỉ 8%

Có nghĩa là tỉ lệ người nghiện có giảm và người không nghiện tăng so với điều tra ban đầu Để biết tốc độ tăng, giảm này diễn ra chậm thế nào ? Ta

di tính trực tiếp như sau:

- 3 tháng đầu tiên tỉ lệ người nghiện và không nghiện là:

0 894407 ,

0

042034 ,

0 9257966 ,

 ,

Định lý sau cho ta điều kiện để xích Markov có tính chất ergodic

Định lý :

Giả sử P=( Pij ) là ma trận xác suất chuyển của xích Markov (Xn) có không gian trạng thái hữu hạn E = { 1,2,3, ,N } thoả mãn

(i) Nếu P chính quy theo nghĩa sau:

n0sao cho ij(n )

j

0Pmin >0 (3a) Thì  1 ,2 , ,Nlà các số sao cho :

j > 0, 

E J

nlimP j với mỗi j E (3c)

(ii) Ngược lại nếu tồn tại các số 1 ,2 , ,n thoả mãn điều kiện (3b) và (3c) thì tồn tại n0 thoả mãn (3a)

(iii) Các số 1 ,2 , ,n là nghiệm của hệ phương trình:







E k kj k

Giả sử AE={1,2, , N}

A j j

,Ax

nÕunÕu

10





n n

n(v(P

Phân phối dừng có thể giải thích như sau :

Nếu ta lấy (1 ,2 , ,N) là phân phối ban đầu của xích Markov, tức là:

J = P(X0 = 0 ); j = 1,2, , N

Khi đó :

 

j kj

k k 1

k kj

1 k k 2

k kj

2 k k 3

k kj

1 n k k n

N

2 1

NN N

2 N

1

2 N 22

12

1 N 21

11

p

pp

pp

p

pp

Nếu cho biết xích Markov có ma trận xác suất chuyển là :

P =





















45 , 0 50 , 0 05 , 0

25 , 0 70 , 0 05 , 0

10 , 0 50 , 0 40 , 0

Tìm phân phối dừng của xích Markov trên

Giải:

1

P =





















45 , 0 25 , 0 10 , 0

50 , 0 70 , 0 50 , 0

05 , 0 05 , 0 40 , 0

Theo định nghĩa phân phối dừng là nghiệm không âm của phương trình: j 1j sao cho j =1

0,401 + 0,052+ 0,053 = 1

0,501 + 0,702 + 0,503 = 2  0,101 + 0,252 + 0,453 = 3 1 + 2+3 = 1

5(2 +3 ) = 60 1 (1)

 50(1 +3 ) = 30 2 (2)

101 + 252 = 55 3 (3)





1 +2 +3 = 1 (4)

Từ (4) 2 + 3 = 1 - 1 thay vào (1) ta được 1 =

13

165

5 

Từ (4) 1 + 3 = 1- 2thay vào (2) ta được 2 =

8

580

Vậy (1 , 2 ,3) = (

104

31,8

5,13

Trong trường hợp đó ta gọi (1 ,2 , ,N ) là phân phối gới hạn

- Ta nói rằng xích Markov có tính ergodic nếu :

j =1,2 , , N ;  ( n )

ij n

Plim



 = J không phụ thuộc vào i thoả mãn các điều kiện: J > 0 , 1

j j

 Trong trường hợp đó ta gọi (1 ,2 , ,N) là phân phối ergodic

b-Nhận xét:

Phân phối giới hạn ( và phân phối ergodic ) là phân phối dừng nhưng điều ngược lại thì không đúng

Ví dụ:

Xích Markov (Xn) có ma trận xác suất chuyển là: P = 10 10

- Phân phối dừng (1 ,2) là nghiệm không âm của hệ sau:

1 ( là phân phối dừng duy nhất

- Nhưng không có phân phối giới hạn, bởi vì:

01

10

P( n 1)

Vậy không tồn tại J = ij(n)

n

Plim

Khoá luận đã thu được những kết quả sau:

- Phát biểu định nghĩa tính Markov theo ngôn ngữ toán học

- Trình bày các khái niệm ma trận xác suất chuyển sau n bước

P(n) = (p(ijn)) và thiết lập mỗi liên hệ giữa ma trận P(n)

với ma trận xác suất chuyển sau một bước P

- Khái niệm phân phối ban đầu của hệ (0) (j,jE) và thiết lập mối liên hệ giữa ( n ) với  và P(n)

- Thiết lập được phương trình Chapma – kolmogov

- Trình bày mô hình Xích Markov hai trạng thái và ứng dụng trong thực

tế

- Trình bày khái niệm ergodic và các phân phối dừng, phân phối giới hạn, phân phối ergodic

TÀI LIỆU THAM KHẢO:

[1] Nguyễn Duy Tiến – Các mô hình xác suất và ứng dụng

Phần I Xích Markov và ứng dụng NXB - ĐHQG HN 2000

[2] Nguyễn Duy Tiến – Vũ Việt Yên

Lý thuyết xác suất NXBGD HN 2000

MỤC LỤC Đ1- Tính Markov Trang

1 Mở đầu 2

2 Định nghĩa 2 Đ2- Xích Markov rời rạc và thuần nhất

5

1 Xích Markov có hai trạng thái 10

2 Ý nghĩa thực tiễn của mô hình xích Markov