Xích Markov, Du Động Ngẫu Nhiên Và Ứng Dụng.pdf

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐẶNG THỊ THỎA XÍCH MARKOV, DU ĐỘNG NGẪU NHIÊNVÀ ỨNG DỤNG Chuyên ngành Lý thuyết xác suất và thống kê toán học Mã số 60460106 LUẬN VĂN THẠC SỸ K[.]

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

ĐẶNG THỊ THỎA

XÍCH MARKOV, DU ĐỘNG NGẪU NHIÊN VÀ ỨNG DỤNG

Chuyên ngành: Lý thuyết xác suất và thống kê toán học

Mã số: 60460106

LUẬN VĂN THẠC SỸ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌCGS.TSKH ĐẶNG HÙNG THẮNG

HÀ NỘI- 2015

Mục lục

Lời nói đầu 4

1 Xích Markov 6 1.1 Xích Markov 6

1.1.1 Các định nghĩa 6

1.1.2 Ma trận chuyển 7

1.1.3 Các ví dụ 9

1.2 Xích Markov hấp thụ 10

1.2.1 Dạng chính tắc 10

1.2.2 Xác suất hấp thụ 11

1.2.3 Ma trận cơ bản 12

1.2.4 Thời gian tiến tới hấp thụ 13

1.2.5 Xác suất hấp thụ 14

1.3 Xích Markov egođic 15

1.3.1 Xích Markov chính quy 16

1.3.2 Vectơ cố định 19

1.3.3 Trạng thái cân bằng 22

1.3.4 Ví dụ về xích Egođic 24

1.4 Định lí giới hạn cơ bản cho xích chính quy 26

1.5 Thời gian trung bình chuyển qua cho xích Egođic 29

1.5.1 Thời gian trung bình chuyển qua lần đầu tiên 29

1.5.2 Thời gian trung bình quay lại 31

1.5.3 Ma trận trung bình lần đầu tiên đi qua và ma trận trung bình quay lại 32

1.5.4 Ma trận cơ bản 34

1.5.5 Sử dụng ma trận cơ bản để tính ma trận thời gian trung bình chuyển qua lần đầu tiên 37

1.5.6 Định lí giới hạn trung tâm cho xích Markov 40

2 Du động ngẫu nhiên 41 2.1 Du động ngẫu nhiên trong không gian Ơ’clit 41

2.1.1 Du động ngẫu nhiên trên đường thẳng thực 42

2.1.2 Du động ngẫu nhiên tổng quát 43

2.1.3 Sự quay lại và sự quay lại lần đầu tiên 44

2.1.4 Xác suất hồi quy 47

2.1.5 Kỳ vọng của số lần ở vị trí cân bằng 51

2.2 Luật arcsin 55

3 Ứng dụng 60 3.1 Mô hình Ehrenfest được dùng để giải thích sự khuếch tán khí ga 60 3.2 Di truyền 61

3.3 Kinh tế 63

3.3.1 Mô hình phân chia thị trường 63

3.3.2 Mô hình quản lý tiến mặt 68

3.3.3 Mô hình kiểm kê 70

3.3.4 Mô hình phục vụ đám đông 72

3.4 Đường đi của người say rượu 74

3.5 Sự phá sản của người chơi cờ bạc 79

3.5.1 Sự phá sản của người chơi cờ bạc 80

3.5.2 Đối phương của người chơi giàu vô tận 82

3.6 Xã hội học 82

Kết luận 85

Tài liệu tham khảo 86

LỜI NÓI ĐẦU

Đầu thế kỷ XX, A.A Markov(14/6/1856 - 20/7/1922)- nhà Toán học vàVật Lý nổi tiếng người Nga đã đưa ra một mô hình toán học để mô tả chuyểnđộng của các phần tử chất lỏng trong một bình kín Về sau mô hình này đượcphát triển và sử dụng trong nhiều lĩnh vực khác như cơ học, sinh học, y học,kinh tế,vv và được mang tên là quá trình Markov

Xích Markov là trường hợp riêng của quá trình Markov( khi ta có thểđánh số được các trạng thái)

Luận văn này đề cập tới xích Markov, du động ngẫu nhiên và ứng dụng

Bố cục luận văn gồm ba chương, phần kết luận và danh mục tài liệu thamkhảo

Chương một trình bày về xích Markov: các định nghĩa cơ bản, ma trậnchuyển, các ví dụ và các trường hợp riêng của xích Markov, xích Markov hấpthụ, xích egođic, xích chính quy

Chương hai sẽ trình bày về du động ngẫu nhiên, các đặc điểm của nó vàluật arcsin

Chương ba sẽ trình bày các ứng dụng của xích Markov và du động ngẫunhiên trong thực tế

Luận văn này được thực hiện dưới sự hướng dẫn của GS.TSKH ĐặngHùng Thắng Toàn thể ban lãnh đạo và các thầy cô trong khoa Toán - Cơ -Tin học, trường Đại học Khoa học Tự nhiên - Đại học Quốc Gia Hà nội đãgiúp tôi có thêm nhiều kiến thức để có thể hoàn thành luận văn và khóa họcmột cách tốt đẹp Các thầy cô phòng Sau Đại học đã tạo những điều kiệnthuận lợi giúp tôi hoàn thành các thủ tục bảo vệ luận văn cũng như học tập

Các thầy và các bạn trong seminar Lý thuyết xác suất và thống kê toán học

về những góp ý để tôi có thể hoàn thành luận văn này

Tôi xin chân thành cảm ơn tất cả những sự giúp đỡ và đóng góp quý giáấy

Tôi rất mong nhận được những ý kiến đóng góp của quý thầy cô và cácbạn

Hà Nội, tháng 11 năm 2014

Đặng Thị Thỏa

Ta kí hiệu E là tập gồm các giá trị của X(t) và gọi E là không gian trạngthái của X(t) Nếu X(t) có tính Markov và E đánh số được thì X(t) đượcgọi là xích Markov Thêm vào đó, nếu t = 0, 1, 2, 3, thì ta có khái niệmxích Markov với thời gian rời rạc, còn nếu t ∈ (0, +∞) thì ta có định nghĩaxích Markov có thời gian liên tục.

Về phương diện toán học, tính Markov có thể định nghĩa như sau:

Định nghĩa 1.1.1 Ta nói rằng X(t) có tính Markov nếu:

có điều kiện để hệ (quá trình) tại thời điểm s ở trạng thái i, đến thời điểm

t chuyển sang trại thái j Vì thế ta gọi là xác suất chuyển của hệ ( hay quátrình)

Nếu xác suất chuyển chị phụ thuộc vào (t − s), tức là

P (s, i, t, j) = P (s + h, i, t + h, j)thì ta nói hệ (quá trình) thuần nhất theo thời gian

1.1.2 Ma trận chuyển

Giả sử Xn ở hàng thứ nhất của ma trận P trong ví dụ 1.1.3 ở trên mô

tả xác suất của biến thể hiện trạng thái thời tiết mưa Tương tự hàng hai vàhàng ba tương ứng với thời tiết đẹp trời và có tuyết rơi Ma trận vuông nhưvậy gọi là ma trận xác suất chuyển hay ma trận chuyển

Giả sử Xn; n = 0, 1, 2, là xích rời rạc vầ thuần nhất Nói một cáchchính xác là: giả sử (Ω, A, P ) là không gian xác suất, Xn : Ω → Elà biến (đạilượng)ngẫu nhiên nhận giá trị trong tập đếm được E E là không gian trạngthái, các phần tử của nó được kí hiệu là i, j, k, Khi đó, tính Markov và

tính thuần nhất của Xn có nghĩa là:

pij = P {X(tn+1) = j|X(tn) = i}

= P {X(tn+1) = j|X(t0) = i0 , X(tn−1) = in−1, X(tn) = i}không phụ thuộc vào n P = (pij) được gọi là ma trận xác suất chuyểnsau 1 bước hay gọi tắt là ma trận chuyển

Tổng quát thì ta có định lý sau:

Định lý 1.1.1 Nếu P là ma trận chuyển của xích Markov Phần tử pij của

ma trận Pn là xác suất của xích bắt đầu từ trạng thái i sang trạng thái j sau

n bước là p(n)ij :

p(n)ij = X

k∈E

pikp(n−1)kjChứng minh Để chứng minh biểu thức của đính lý này ta lập luận như sau:

Hệ xuất phát từ trạng thái i và chuyển sang trạng thái j sau n bước là kếtquả của việc hệ xuất phát từ trạng thái i, sau một bước chuyển sang trạngthái k, sau n − 1 bước tiếp theo chuyển sang trạng thái j Từ công thức xácsuất đầy đủ và tính Markov ta có:

Định lý 1.1.2 Cho P là ma trận chuyển của xích Markov và u là véctơ xácsuất miêu tả phân bố ban đầu Khi đó xác suất của xích ở trạng thái i sau n

bước là phần tử thứ i của véctơ:

đó thay đổi từ không sang có Ta chọn các trạng thái của thông điệp là cóhoặc không Ma trận chuyển như sau:

Ví dụ 1.1.2 Mỗi một con ngựa bất kì chạy trong một cuộc đua ba con ngựa

có ba trường hợp xảy ra với xác suất chiến thắng, nhì và thứ ba lần lượt là1/2,1/4 và 1/4, độc lập với các kết quả trước đó Chúng ta có thể có quátrình kiểm tra độc lập nhưng cũng có thể tính toán thông qua lý thuyết củaxích Markov Ma trận chuyển:

Ví dụ 1.1.3 Theo Kemeny, Snell, và Thompson, vùng đất với nhiều maymắn, Land of Oz lại có một hệ thống thời thiết không hề tốt Họ không baogiờ có hai ngày đẹp trời liên tiếp Nếu hôm nay là ngày đẹp trời thì ngày mai

là ngày có tuyết hoặc mưa Nếu có mưa hoặc tuyết rơi thì ngày tiếp theo cũng

sẽ tương tự Nếu có sự thay đổi giữa có tuyết rơi và mưa thì chỉ có một nửathời gian còn lại là đẹp trời Với những thông tin trên, chúng ta có thể xácđịnh được xích Markov như sau Ta kí hiệu ba trạng thái thời tiết là R, N và S

Từ các thông tin trên ta xác định được ma trận chuyển là một ma trận vuông:

Định nghĩa 1.2.1 Một trạng thái i của xích Markov được gọi hấp thụ nếu

nó không thể rời khỏi trạng thái đó ( tức là pii = 1) Một xích Markov đượcgọi là hấp thụ nếu nó có ít nhất một trạng thái hấp thụ và từ bất kì trạngthái nào đều có thể đi tới trạng thái hấp thụ ( không nhất thiết qua nột bước)Định nghĩa 1.2.2 Trong một xích Markov hấp thụ, một trạng thái khôngphải trạng thái hấp thụ được gọi là trạng thái tức thời

1.2.1 Dạng chính tắc

Nghiên cứu một xích Markov bất kì Đánh số lại các trạng thái sao chotrạng thái bắt đầu là trạng thái tức thời Nếu có r trạng thái hấp thụ và t

trạng thái tức thời thì ma trận chuyển có dạng chính tắc như sau:





Trong đó I là ma trận đơn vị cỡ r, 0 là ma trận không cỡ rxt, R là ma trậnkhác không cỡ txr và Q là ma trận vuông cỡ t t trạng thái đầu tiên là trạngthái tức thời, r trạng thái còn lại là trạng thái hấp thụ

Trong mục 1.1, ta biết rằng phần tử p(n)ij của ma trận Pn là xác suất để đếntrạng thái j sau n bước và bắt đầu từ trạng thái i Lập luận trên đại số các





Ở đây dấu * ở phía trên góc phải của ma trận Pn thay cho ma trận cỡtxr Dạng của ma trận Pn chỉ ra rằng các phần tử của Qn là xác suất củamỗi trạng thái là trạng thái tức thời sau n bước, bắt đầu từ trạng thái tứcthời bất kì Định lí ở trên đã chỉ ra rằng, xác suất của trạng thái tức thời sau

n bước tiến dần đến 0 Vì vậy mỗi phần tử của Qn tiến dần đến 0 khi n tiến

ra vô cùng, tức là Qn → 0

Tiếp theo, nếu u và v là hai vecto, ta nói rằng u ≤ v nếu tất cả các thànhphần của u bé hơn hoặc bằng các thành phần tương ứng của v Một cáchtương tự, nếu A và B là hai ma trận thì A ≤ B nếu mỗi phần tử của A béhơn hoặc bằng phần tử tương ứng của B

1.2.2 Xác suất hấp thụ

Định lý 1.2.1 Trong một xích Markov hấp thụ, xác suất để quá trình bịhấp thụ sau một số hữu hạn bước bằng 1 (tức là Qn → 0 khi n → ∞ )

Chứng minh Từ một trạng thái tức thời j, nó có thể tiến đến trạng thái hấpthụ Giả sử m là số bước nhỏ nhất có thể đạt được trạng thái hấp thụ củaxích bắt đầu từ trạng thái j.

Gỉa sử pj là xác suất quá trình bắt đầu từ trạng thái j không đạt tới trạngthái hấp thụ sau mj bước thì pj < 1 Nếu m = max{mj} và p = max{pj}.Xác suất để quá trình không là hấp thụ sau m bước nhỏ hơn hoặc bằng

p, sau 2n nhỏ hơn hoặc bằng p2, Vì p < 1 nên những xác suất này tiến tớikhông Khi xác suất để một quá trình không là hấp thụ sau n bước là hàmđơn điệu giảm, tiến dần đến không Do đó Qn → 0 khi n → ∞

1.2.3 Ma trận cơ bản

Định lý 1.2.2 Với một xích hấp thụ ma trận I − Q là ma trận nghịch đảocủa ma trận N và với N = I + Q + Q2+ , phần tử nij của ma trận N là

kì vọng của số lần của xích ở trạng thái j mà bắt đầu từ trạng thái i.Trạngthái ban đầu là đếm được khi i = j

Chứng minh Nếu (I − Q)x = 0 suy ra x = Qx lặp lại điều này ta có x = Qnx

Từ Qn → 0, ta có Qnx → 0 nên x = 0 Do vậy tồn tại (I − Q)1 = N

Mặt khác ta có

(I − Q)(I + Q + Q2+ + Qn = I − Qn+1Nhân hai vế với N ta được:

(I + Q + Q2+ + Qn = N(I − Qn+1)Cho n → ∞ ta có

N = I + Q + Q2+ Nếu i và j là hai trạng thái tức thời, và giả định trong suốt quá trìnhchứng minh i và j là cố định Giả sử Xk là biến ngẫu nhiên, bằng 1 nếu xích

ở trạng thái j sau k bước và bằng 0 trong các trường hợp còn lại Với mỗi k,biến ngẫu nhiên này phụ thuộc cả i và j Ta có

P (Xk = 1) = qij(k)và

P (Xk = 0) = 1 − qij(k),

ở đây qij(k) là phần tử thứ ij của ma trận Qk Các đẳng thức này cho thấy

k = 0 thì Q0 = I

Do đó Xk là biến ngẫu nhiên 0-1, E(Xk) = qij(k)

Kì vọng của số lần xích ở trạng thái j trong n bước, khi nó bắt đầu ởtrang thái i, thật vậy:

1.2.4 Thời gian tiến tới hấp thụ

Ta đi nghiên cứu câu hỏi: Nếu một xích bắt đầu ở trạng thái i thì số bướctrung bình để trước khi xích đạt trạng thái hấp thụ là bao nhiêu? Câu trảlời có trong định lí sau đây:

Định lý 1.2.3 Nếu ti là kì vọng của số bước của xích trước khi đạt trạngthái hấp thụ với trạng thái bắt đầu là i và t là vectơ cột mà ti là vị trí thứ icủa vectơ Khi đó

để lũy thừa bậc n của ma trận chuyển chỉ có các phần tử dương.

Nói cách khác, có thể đi từ bất kì trạng thái này đến trạng thái kháctrong n bước Rõ ràng từ định nghĩa, mọi xích chính quy đều là xích egođic.Ngược lại, xích egođic không nhất thiết là xích chính quy Ví dụ sau chỉ rõđiều đó:

Ví dụ 1.3.1 Nếu xích Markov có ma trận chuyển cho bởi:

Một ví dụ rất hấp dẫn về xích egođic nhưng không phải là xích chính quy

Ta đi xem xét mô hình bình Ehrenfest:

Trong trường hợp này xích Markov là xích chính quy.

Một ví dụ về xích Markov không chính quy là xích hấp thụ Giả sử nếu:

P =





1 01/2 1/2





là ma trận chuyển của một xích Markov Thì với bất kì mũ nào, P luôn cóphần tử không ở góc trên bên phải

Sau đây ta nghiên cứu hai định lí quan trọng về xích chính quy

Định lý 1.3.1 Nếu P là ma trận chuyển của một xích Markov chính quy.Thì, khi n → ∞, ma trận Pn tiến đến ma trận giới hạn W với tất cả cáchàng đều giống nhau và bằng w Vectơ w là vectơ xác suất dương ( tức là tất

cả các thành phần đều dương và tổng của chúng bằng 1)

Chứng minh Trong mục tiếp theo, ta sẽ đưa ra 2 cách chứng minh cho định

lí cơ bản này Ở đây ta đưa ra các ý cơ bản cho chứng minh thứ nhất

Ta muốn chỉ ra lũy thừa n của ma trận P là ma trận chuyển của xíchchính quy tiến tới ma trận mà tất cả các hàng giống nhau Điều này cũnggiống việc chỉ ra rằng, pn hội tụ tới một ma trận có các cột không đổi Taxét cột thứ j của ma trận pn là pny với y là vectơ cột mà 1 ở vị trí thứ j,các vị trí còn lại bằng 0 Do vậy ta cần chứng minh rằng, với bất kì vectơ cột

y nào thì pny tiến đến vectơ cột không đổi khi n → ∞

Với mỗi hàng của ma trận P là một vectơ xác suất, py thay thế cho ybởi trung bình các thành phần của nó Sau đây ta xét ví dụ:

ra, nếu ta làm nhiều hơn trung bình này với pny Sự khác biệt giữa thànhphần lớn nhất và thành phần nhỏ nhất sẽ tiến tới đến 0 khi n → ∞ Điềunày có nghĩa là pny tiến tới một vectơ hằng số Phần tử thứ ij của ma trận

pn, p(n)ij là xác suất mà quá trình tới trạng thái j sau n bước khi bắt đầu ởtrạng i Nếu ta đặt một hàng của ma trận W là w thì ở định lí này, xác suất

ở trạng thái j tiến tới giá trị gần đúng wj, phần tử thứ j của w, độc lập vớitrạng thái ban đầu

Ví dụ 1.3.2 Trở lại ví dụ Land of Oz trong mục 1.1, lũy thừa bậc 6 của ma

ma trận P tiến tới một vectơ giống nhau Thật hấp dẫn khi nó xảy ra quásớm trong ví dụ này.

Định lý 1.3.2 Cho P là ma trận chuyển của xích chính quy, giả sử

W = lim

n→∞Pnvới w là một vectơ hàng của W và c là vectơ cột mà tất cả các thành phầncủa nó đều bằng 1 Thì:

(a) wP = w, và vectơ hàng bất kì v thỏa mãn vP = v, là vectơ hằng bội của

Nếu v là vectơ thỏa mãn v = vP thì v = vPn và khi chuyển qua giớihạn, v = vW Nếu r là tổng các thành phần của vthì dễ dàng kiểm tra được

vW = rw Vì vậy v = rw

Ta chứng minh ý (b) giả sử rằng x = Px thì x = Pnx và chuyển qua giớihạn x = Wx Từ giả thiết tất cả các hàng của ma trận W giống nhau, vìvậy các thành phần của Wx đều bằng nhau, do vậy nó là bội số của c.Một hệ quả trực tiếp của định lí 1.3.2 là có vectơ xác suất v mà vP = v

Ta cũng có thể phát biểu định nghĩa 1.3.3 là điều kiện của giá trị riêng

và vectơ riêng Một vectơ hàng cố định là vectơ riêng bên trái của ma trận

P tương ứng với giá trị riêng bằng 1 Một cách tương tự để xây dựng vectơcột cố định

Bây giờ ta đưa ra một vài phương pháp tính vectơ hàng cố định w choxích Markov chính quy

Ví dụ 1.3.3 Dựa trên định lí 1.3.1 ta có thể tìm giới hạn vectơ cho ví dụLand of Oz:

w1+ w2+ w3 = 1và

Mối quan hệ này dẫn tới bốn phương trình với ba ẩn:

w1+ w2+ w3 = 1(1/2)w1+ (1/2)w2+ (1/4)w3 = w1

(1/4)w1 + 1/4w3 = w2(1/4)w1+ (1/2)w2+ (1/2)w3 = w3Định lí đảm bảo cho phương trình có nghiệm duy nhất Nếu các phương trình

là giải được, ta có nghiệm

w = (0.4, 0.2, 0.4)giống với tính toán của P6 trong ví dụ 1.3.2

Để tính vectơ cố định, ta có thể giả thiết giá trị của trạng thái riêng làmột, tức là 1 và sử dụng tất cả trừ ra một trong những phương trình tuyếntính từ wP = w

Hệ phương tình này có nghiệm duy nhất và ta có w từ nghiệm này bằng cáchchia mỗi phần tử cho tổng các thành phần của vectơ xác suất w Ta sẽ minhhọa cho điều này bằng ví dụ sau

Ví dụ 1.3.4 (Tiếp ví dụ 1.3.3) Nếu ta đặt w1 = 1, thì giải phương trìnhtuyến tính thứ nhất và thứ hai của hệ wP = w Ta có

(1/2)w1+ (1/2)w2+ (1/4)w3 = 1

(1/4)w1 + 1/4w3 = w2Giải hệ ta có:

(w1; w2; w3) = (1; 1/2; 1)Bây giờ ta chia vectơ này cho tổng các thành phần của nó ta được:

w = (.4; 2; 4)

Phương pháp có thể lập trình trên máy tính và tính toán một cách dễdàng.

Như đề cập ở trên, ta coi vectơ hàng cố định w như là một vectơ riêngbên trái của ma trận chuyển P Vì vậy, nếu kí hiệu I là ma trận đơn vị thì

w thỏa mãn phương trình ma trận sau:

wP = wIHoặc

w(P − I) = 0

Vì vậy, w thuộc không gian không hạch của ma trận P-I Hơn nữa, định lí1.3.2 chỉ ra rằng, không gian không hạch này có chiều bằng 1 Một ngôn ngữlập trình trên máy tính có thể tìm được không gian không hạch của ma trận.Bằng ngôn ngữ này, người ta có thể tìm được vectơ xác suất hàng cố địnhcủa ma trận P bởi việc trả ra kết quả của không gian không hạch sau đóchuẩn hóa vectơ trong không gian không hạch, cho nên tổng các thành phầncủa nó bằng 1

Chương trình FixedVector sử dụng một trong các cách trên để tínhvectơ xác suất hàng cố định cho xích Markov chính quy

Ta luôn giả sử rằng ta bắt đầu từ trạng thái đặc trưng Định lí sau kháiquát hóa định lí 1.3.1 cho trường hợp trạng thái bắt đầu xác định một vectơxác suất

Định lý 1.3.3 Cho P là ma trận chuyển của xích chính quy và v là vectơxác suất bất kì Khi đó

lim

n→∞vPn = wvới w là vectơ xác suất cố định duy nhất của P

Chứng minh Ở định lí 1.3.1 ta có:

lim

n→∞Pn = W

1.3.3 Trạng thái cân bằng

Ta có một sự giải thích mới cho w Giả sử rằng vectơ ban đầu ở trạngthái i với xác suất là wi với mọi i Khi đó xác suất ở trạng thái tiếp theosau n bước cho bởi wP = W và giống nhau cho mọi bước Phương pháp nàycung cấp cho chúng ta về quá trình được gọi là "dừng" Thực tế thì w chỉ

là vectơ xác suất mà wP = w, chỉ ra rằng ta phải có vectơ xác suất bắt đầumột cách chính xác để có quá trình dừng

Nhiều kết quả liên quan tới xích Markov chính quy phụ thuộc vào thực tế

mà xích có vectơ xác suất cố định dương duy nhất Tính chất này được chỉ

ra cho mọi xích Markov Egođic

Định lý 1.3.4 Với mỗi xích Markov Egođic, có duy nhất một vectơ xác suấtthỏa mãn wP = w và w dương ngặt Bất kì vectơ hàng nào mà thỏa mãn

vP = v, là bội của w Bất kì vectơ cột nào thỏa mãn Px = x, là vectơ hằngsố

Chứng minh Định lí này chỉ ra rằng định lí 1.3.2 đúng với mọi xích Egođic.Kết quả sau dễ dàng chỉ ra từ thực tế, nếu P là ma trận chuyển của xích