Về một số tính chất của quá trình mác cốp

Xích Markov là trờng hợp riêng của quá trình Markovkhi ta có thể đánh số đợc các trạng thái.. Luận văn đề cập đến một số tính chất của quá trình Markov trình bày ở ch-ơng 3.. Luận văn gồ

Môc lôc

Tran g

§ 2 BiÕn ngÉu nhiªn vµ vµ kú väng 6

Ch¬ng 3 Qu¸ tr×nh Markov- C¸c kh¸i

§ 2 Nh÷ng d¹ng kh¸c cña tÝnh chÊt Markov 22

§ 3 Ph©n phèi h÷u h¹n chiÒu cña qu¸ tr×nh

Markov

24

Kết luận 29

Mở đầu

Đầu thế kỷ XX, A.A.Markov (14/6/1856 đến 20/7/1922) nhà Toán học và Vật lý nổi tiếng ngời Nga đã đa ra một môhình toán học để mô tả sự thay đổi từ nguyên âm sangphụ âm và ngợc lại của 20.000 từ trong một vở kịch củaPuskin Về sau mô hình này đợc phát triển và sử dụng trongnhiều lĩnh vực khác (nh Vật lý, Cơ học, Sinh học, Y học, Kinh

-tế, v.v…) và đợc mang tên là: Quá trình Markov

Trong những năm gần đây, quá trình Markov đợc ứngdụng rất nhiều trong thơng nghiệp, tin học, viễn thông, v.v…

và là một môn học bắt buộc với sinh viên của nhiều trờng Đạihọc

Xích Markov là trờng hợp riêng của quá trình Markov(khi ta có thể đánh số đợc các trạng thái) Luận văn đề cập

đến một số tính chất của quá trình Markov (trình bày ở

ch-ơng 3)

Luận văn gồm 3 chơng:

Chơng 1: Một số kiến thức chuẩn bịChơng 2: Xích Markov với thời gian rời rạcChơng 3: Quá trình Markov

Các khái niệm cơ bản

Do điều kiện về thời gian hạn hẹp và trình độ có hạncủa tác giả, luận văn chắc chắn không tránh khỏi nhữngthiếu sót Tác giả rất mong nhận đợc sự góp ý, chỉ bảo củacác thầy, các cô và các bạn đọc Luận văn hoàn thành dới sựhớng dẫn tận tình của PGS.TS Phan Đức Thành Tác giả xinchân thành cảm ơn thầy.

Sau cùng, tác giả gửi lời cảm ơn sâu sắc tới Ban chủnhiệm khoa Toán, các thầy, các cô và tập thể sinh viên lớp41A2 - Toán đã tạo mọi điều kiện thuận lợi để tác giả hoànthành luận văn này

Ngời thực hiện:

Hồ Nhật Tâm.

Chơng 1

Một số kiến thức chuẩn bị

Đ1 Xác suất có điều kiện Công thức xác suất đầy đủ

1.1 Định nghĩa: Xác suất có điều kiện của biến cố A với

điều kiện B là một số xác định theo công thức:

Chøng minh: C¸c tÝnh chÊt a) , b) hiÓn nhiªn Ta chøng minh

Thật vậy : P(A1, A2… Ak + 1) = (P(A1 A2… Ak)Ak + 1)= P(A1A2 …

Ak).P(Ak + 1  A1 A2… Ak) = P (A1) P(A2  A1) … P (Ak  A1 A2… Ak 1) P (Ak + 1  A1 A2… Ak ).

-Do đó theo nguyên lý quy nạp (2) đợc chứng minh 

Công thức (3) gọi là công thức xác suất đầy đủ:

Chứng minh: Vì { A1, A2… An} là hệ đầy đủ nên:

B = B  = B

hệ đầy dủ các biến cố với P(Ai)  i Khi đó:

P(Ak | B) = (4) (k = 1, 2, …, n)

Chứng minh: Ta có: P(Ak|B) =

Giải: Gọi A = {chọn ra một ngời bị viêm họng}

B = {ngời đợc chọn ra ngời nghiện thuốc}

-Đ2 Biến ngẫu nhiên và kỳ vọng

2.1 Biến ngẫu nhiên:

biến ngẫu nhiên (hay đại lợng ngẫu nhiên) nếu:

{ : X()  B} = X-1 (B)  f với mỗi B  B(R) (trong đó

B(R) là  - đại số các tập Borel của trục thực R).

2.1.2 Ví dụ:

1 Kiểm tra ngẫu nhiên 3 em trong nhóm gồm 3 em học khá

và 10 học trung bình Gọi X là số em khá đợc kiểm tra Khi

đó X() = {0, 1, 2, 3} - và gọi X là biến ngẫu nhiên rời rạc(nghĩa là X( chỉ nhận một số hữu hạn hoặc đếm đợc cácgiá trị)

2 Tuổi thọ của một thiết bị điện là một biến ngẫu nhiên vớiX() = (0,+ ) X còn gọi là biến ngẫu nhiên liên tục

2.2 Kỳ vọng:

Kỳ vọng là số đặc trng quan trọng của biến ngẫu nhiên

Ta ký hiệu M(X) hay viết MX, dP(), P(d)

Chứng minh:

a) Giả sử X  0 Khi đó (Xn)  : 0  Xn X

Ký hiệu X(t) là vị trí của hệ tại thời điểm t.

Tập hợp {X(t) t  T, T là khoảng thời gian đang xét}

đ-ợc gọi là không gian trạng thái

- Giả sử trớc thời điểm s, hệ ở trạng thái nào đó, ở thời

điểm s hệ ở trạng thái i Ta cần biết tại thời điểm t trong

t-ơng lai (t > s) hệ ở trạng thái j , với xác suất là bao nhiêu ?Nếu xác suất này chỉ phụ thuộc vào s, t, i, j thì điều này cónghĩa là: sự tiến triển của hệ trong lơng lai chỉ phụ thuộcvào hiện tại và độc lập với quá khứ Đó là tính Markov

Ký hiệu E - tập gồm các giá trị của X(t) Ta gọi E làkhông gian trạng thái của X(t)

+ Nếu X(t) có tính Markov và E - đếm đợc thì X(t) đợcgọi là xích Markov

+ Nếu xích Markov X(t) có t = 0, 1, 2, … thì ta có kháiniệm xích Markov với thời gian rời rạc

+ Nếu xích Markov X(t) có t  [0, ) thì ta có khái niệmxích Markov với thời gian liên tục

Cụ thể ta có định nghĩa sau:

1.1.1 Định nghĩa: Ký hiệu tn là thời điểm hiện tại, tn+1 làthời điểm tơng lai,

(t0, t1, … tn-1) là thời điểm quá khứ Ta nói rằng X(t) có tínhMarkov nếu:

P{X(tn+1) = jX(t0) = i0, …, X(tn-1) = in - 1, X(tn) = i}=P{X(tn+1) =jX(tn) = i}

đúng với mọi t0 < t1 < … < tn < tn+1 < … và i0, …, in-1, i, j  E

1.1.2 Định nghĩa: Ta gọi p(s, i, t, j) = P{X(t) = jX(s) = i},

(s < t) là xác suất chuyển của hệ (hay quá trình)

Nếu xác suất chuyền chỉ phụ thuộc vào (t - s), tức làp(s, i, t, j) = p(s + h, i, t + h, j ) thì ta nói hệ (hay quá trình )

là thuần nhất theo thời gian

1.1.3 Các ví dụ

Ví dụ 1 Gọi X(t) là dân số tại thời điểm t (trong tơng

lai), thì có thể xem X(t) chỉ phụ thuộc vào dân số hiện tại

và độc lập với quá khứ Nói chung, các hệ (sinh thái, vật lýhoặc cơ học, v.v …) không có trí nhớ, hoặc sức ỳ, là những

hệ có tính Markov

Ví dụ 2 Cho , 1, …, n, … là dãy biến ngẫu nhiên (đại ợng ngẫu nhiên) rời rạc, độc lập, Ek là tập hợp các giá trị của k, hữu hạn hay đếm đợc (k = 0, 1, 2, …, n …)

Vậy (n: n = 0, 1, 2, …) là xích Markov.

Ví dụ 3 Cho 0 , 1,… n ,… là dãy biến ngẫu nhiên (đại

l-ơng ngẫu nhiên) rời rạc, độc lập nhận giá trị là những sốnguyên Đặt Xn =  + 1 + 2 + … + n (n = 1,2…)

Giả sử (, A, P) là không gian xác xuất, Xn:   E là biến

(đại lợng) ngẫu nhiên nhận giá trị trong tập E - đếm đợc E làkhông gian trạng thái mà các phần tử của nó ký hiệu là i, j, k,

… (có chỉ số hoặc không) Khi đó, tính Markov và tínhthuần nhất của (Xn); n = 0, 1, 2… có nghĩa là:

j Theo công thức xác suất đầy đủ ta có:

= P (Xn + 1 = j  X0 = i)

= (Xn + 1 = j  X0 = i, X1 = k P (X1 = k  X0 = i)

=

= (do tính thuần nhất) 

2 Chứng minh 2): Điều phải chứng minh tơng đơng với chứngminh:

Vì hệ xuất phát từ trạng thái i, sau n bớc chuyển sangtrạng thái k, rồi từ trựng thái k sau bớc cuối cùng chuyển sangtrạng thái j Theo công thức xác suất đầy đủ ta có:

= P (Xn + 1 = j  X0 = i)

= (Xn + 1 = j  X0 = i, Xn = k) P (Xn = k  X0 = i)

= Pkj (do tính thuần nhất)

3 Chứng minh (3): áp dụng (1) liên tiếp ta có:

Thật vậy, hệ xuất phát từ trạng thái i, sau (n + 1) bớcchuyển sang trạng thái j là kết qủa của việc hệ xuất phát từtrạng thái i, sau n bớc chuyển sang trạng thái k nào đó, thế rồixuất phát từ trạng thái k sau m bớc tiếp theo chuyển sang trạngthái j Theo công thức xác suất đầy đủ ta có:

2.2 Phân phối ban đầu:

2) (n + 1) = (n) P.

3) (n + 1) = (1) P(n)

4) (n + m) = (n) P(m),  n, m = 0, 1, 2 …

Chứng minh: Rõ ràng các tính chất 1) 2) 3) là các trờng hợp

riêng của tính chất 4) Sau đây ta chứng minh tính chất 4).Thật vậy, theo công thức xác suất đầy đủ ta có:

= P (Xn + m = j)

=

=

 (n + m) = (n) P(m), 

2.2.3 Định nghĩa: Phân phối ban đầu đợc gọi là dừng

nếu (n) không phụ thuộc n, tức là  = (n) hay là  =  P

(do tính chất (1))

Vậy mô hình của một xích Markov rời rạc và thuần nhất

là bộ ba (Xn, , P), trong đó:

(Xn): dãy các đại lợng ngẫu nhiên rời rạc

: Phân phối ban đầu

P: Ma trận xác suất chuyển

2.2.4 Chú ý: Xích Markov hoàn toàn đợc xác định một cách

duy nhất bởi bộ ba (Xn, , P), nhng nếu thay P bởi P(2) thìtính duy nhất không đúng nữa

Lấy ví dụ P(2) =

Vì P(2) = P2 nên P = hoặc P =

Chơng 3 Quá trình MarkoV Các khái niệm cơ bản

Đ1 Quá trình Markov và họ Markov

1.1 Quá trình Markov (quá trình ngẫu nhiên Markov):

Cho không gian đo đợc (X, B) sao cho tất cả các tậpmột điểm là đo đợc (ta gọi đó là không gian pha) Mỗi

điểm của không gian pha gọi là mỗi trạng thái

Giả sử có quá trình ngẫu nhiên (t, t  T), T  R xác

định trên T x , nhận giá trị trong không gian pha (X, B) Với

 t  T, ta ký hiệu các  - đại số:

f t =  (u, u  t) ;

Đặc biệt, nếu hữu hạn hay đếm đợc (còn  - đại số

B tất nhiên là  - đại số tất cả các tập con của nó) thì xíchMarkov đợc gọi là xích Markov rời rạc

3) Nếu T = [0, ) hay (-, ) và hữu hạn hay đếm đợcthì xích Markov đợc gọi là xích Markov (rời rạc) với thời gianliên tục

1.1.2 Định nghĩa (về hàm chuyển của quá trình Markov):

Cho quá trình Markov t, t  T Ta nói rằng hàm P (s,x, t,

) xác định với s, t  T, s  t, x  X,   B là hàm chuyển củaquá trình t nếu thoả mãn:

a) Với s, t, x cố định hàm P (s, x, t, ) là độ đo xác suấttrên  - đại số B (độ đo xác suất - tức là P (s, x, t, X = 1),

b) Với s, t  cố định, hàm P(s, , t, ) đo đợc đối với

-đại số B,

c) P(s, x, s, ) = x() = ,

d) Với  s  t, x  X,   B, hầu chắc chắn có:

P {t    f= s} = P (s, s, t, ).

1.1.3 Nhận xét: 1) Ta có thể thay điều kiện (1) trờng

định nghĩa 1.1.1 bởi mỗi một trong hai yêu cầu sau:

- Với  t  T và  B  f t , hầu chắc chắn có:

P (B  f t) = P (B  f= t). (2)

- Với  A  f t,  t  T, hầu chắc chắn có:

P (A  f t) = P (A  f = t). (3) 2) Từ điều kiện (d) của định nghĩa 1.1.2 suy ra:hầu chắc chắn:

Ta cã (A f= t) P (B  f= t) dP = M [P(A  f= t) P (B  f= t) C]

vµ P (ABC) = MM [ABc  f t] = MAC P (B  f t) (v× f= t  f t)

Do (7) ta cã:

P(ABC) = MM [AC X P(Bf= t) M(A  f= t)] = M[C P(BF= t) M (A

P (s, x, t, ) = [2(t - s)]-1/2

* Ví dụ 2: Giả sử 1, 2,…, n,… là các đại lợng ngẫu nhiên độclập có cùng mật độ phân phối p(x) dơng trên toàn đờngthẳng Khi đó những dãy ngẫu nhiên sau lập thành xíchMarkov:

cho các ma trận xuất suất chuyển Pst phụ thuộc vào hai thời

không gian pha (X, B) và cho trớc hàm P(s, x, t, ) thoả mãn:

a) Với s, t, x cố định, hàm P (s, x, t, ) là độ đo xác suấttrên  - đại số B (tức là P (s, x, t, X) = 1),

1) Quá trình ngẫu nhiên t(, t  T  [s, ), trên khônggian xác suất (, f s, Ps, x) là Markov, nghĩa là với  s, x, t  s, A

Ps, x {u    f[s, t]} = P (t, t, u, ),3) Ps, x {s = x} = 1

Ví dụ: Xét họ quá trình Wiener xuất phát từ tất cả các điểm

ban đầu có thể có, đó là họ Markov (t, Ps, x) với mật độchuyển (trong trờng hợp r - chiều):

P (s, x, t, y) = [2  (t - s)] - r/2 tức là với hàm chuyển:

P (s, x, t, ) = [2  (t - s)] - r/2

(với s<t; với s=t thì nh đối với quá trình Markov bất kỳ: P(s,x,t,)=x())

-Đ 2 Những dạng khác nhau của tính chất Markov

Có rất nhiều cách để định nghĩa quá trình Markov.Sau đây ta sẽ dẫn ra một số định nghĩa tơng đơng dới

dạng các mệnh đề Các chứng minh có thể tham khảo trongtài liệu [4].

Mệnh đề 1: Để quá trình ngẫu nhiên t, t  T là Markov cần

và đủ là: với mọi s1  s2  …  sm  t  t1  …  tn , si , t, ti  T và với

 tập 1, …, m, 1, …, n  B, hầu chắc chắn có:

P {  1, …,  m,  1, …,  n  f= t} =

= P {  1, …,  m  f= t} x

x P {  1, …,  n  f= t}.

Mệnh đề 2 : Để quá trình ngẫu nhiên t, t  T là quá trình

Markov cần và đủ là: với mọi s1  s2  …  sm  t  t1  …  tnthuộc T và mọi hàm B - đo đợc bị chặn f1, …, fm, g1, …, gn,hầu chắc có:

P{t   F  s} = P(s, s, t, ).

Nhận xét 1: Giả sử quá trình ngẫu nhiên 1, t  T thoả mãn:

Với mọi s  t,   B, hầu chắc chắn có:

hầu chắc chắn theo độ đo xác suất Ps, x

Chứng minh: Vì B  F  t, nên xác suất Pt, x (B) đo đợc theo x

đối với  - đại số B và nếu trong hàm này thay x bằng đại ợng ngẫu nhiên t(thì ta đợc đại lợng ngẫu nhiên thực đo

l-đợc với F = t = t) và do đó phải đo đợc đối với F [s, t].Nghĩa là, chỉ cần chứng minh rằng các tích phân của vếphải và trái theo bất kỳ A  F [s, t] là trùng nhau, tức là :

Ta cố định A Nh là hàm của B, cả 2 vế của (*) là độ

đo Đối với các biến cố B dạng , t  t1  …  tn

và nghĩa là cả (*) đợc thực hiện

Từ đó nh ta đã làm, ta kết luận đợc rằng (*) đợc thựchiện đối với  - đại số sinh ra từ các biến cố có dạng đã nói,tức là đối với B  F  t

3.2 Hệ quả1: Với mọi hàm bị chặn Bn - đo đợc f, ta có:

Ms,x f(

-3.5 Các tr ờng hợp đặc biệt của ph ơng trình Chapman

- Đặc biệt đối với xích Markov thì xác suất chuyển hoàntoàn đợc xác định bằng việc cho trớc ma trận xác suấtchuyển sau một bớc, tức là pn, n + 1, vì rằng pm, n =

*Trờng hợp 2: Nếu quá trình Markov có không gian là pha liên

tục với hàm mật độ xác suất chuyển là f (s, x, t, y) thì (3)

có dạng:

Mệnh đề1: Các phân phối 1 chiều liên hệ với hàm chuyển

bởi hệ thức sau: Với  s  t và   B:

t () = (dx) P (s, x, t, )

3.6 Định lý: Giả sử P (s, x, t, ), s  t, s, t  T, x  X,   B làhàm thoả mãn:

a) Với s, t, x cố định hàm P (s, x, t, ) là độ đo xác suấttrên  - đại số B (tức là P (s, x, X) = 1),

b) P (s, x, s, ) = x() = ,

c) P (s, x,u, ) = (s, x, t, dy) P (t, y, u, )

Với mọi s  t1 < … < tn và x  X ta xác định độ đo xácsuất trên (Xn, B(n)) theo công thức:

(thứ tự lấy tích phân từ tích phân cuối cùng) Khi đó với s, x

cố định các độ đo này lập thành hệ phân phối hữu hạnchiều tơng thích

Mệnh đề 2: Giả sử hàm P ( , , , ) thoã mãn các điều

3.7 Định lý: Giả sử X là không gian mêtric  - compact, B =

BX là  - đại số các tập con Borel của nó Giả sử P (s, x, t,

B = BX là  - đại số các tập con Borel của nó Giả sử P(s, x, t, ) là hàm thoã mãn:

-Kết luận

Luận văn đã thu đợc những kết quả sau:

1 Trình bày khái niệm xích Markov với thời gian rời rạcbao gồm các nội dung:

2 Trình bày các khái niệm cơ bản của quá trình Markov:

- Quá trình Markov và họ Markov

- Những dạng khác nhau của tính chất Markov

- Phân phối hữu hạn chiều của quá trình Markov, và đi

đến kết quả quan trọng là phơng trình Chapman Kolmogorov:

Tµi liÖu tham kh¶o

[1] §µo H÷u Hå, X¸c suÊt thèng kª, NXB §¹i häc Quèc Gia, Hµ