Nghiên cứu xác định hòa hợp HLA giữa bệnh nhân và người hiến bằng kỹ thuật PCR SSO để định hướng ghép tế bào gốc trong điều trị bệnh Thalassemia

Nghiên cứu xác định hòa hợp HLA giữa bệnh nhân và người hiến bằng kỹ thuật PCR SSO để định hướng ghép tế bào gốc trong điều trị bệnh Thalassemia Nghiên cứu xác định hòa hợp HLA giữa bệnh nhân và người hiến bằng kỹ thuật PCR SSO để định hướng ghép tế bào gốc trong điều trị bệnh Thalassemia luận văn tốt nghiệp thạc sĩ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

NGUYỄN THỊ PHI DOAN

THUẬT TOÁN METROPOLIS VÀ ỨNG DỤNG

Mục lục

1.1 Các phương pháp mô phỏng biến ngẫu nhiên 7

1.1.1 Phương pháp lấy mẫu ngược 7

1.1.2 Phương pháp lấy mẫu loại trừ 8

1.2 Ước lượng bằng mô phỏng 10

1.2.1 Lấy mẫu quan trọng (Importance Sampling) 11

1.3 Xích Markov 13

1.3.1 Giới thiệu về xích Markov 14

1.3.2 Phân bố dừng 18

1.3.3 Phân bố giới hạn 20

1.3.4 Xích tối giản và không có chu kì 24

1.3.5 Xích khả nghịch 27

2 THUẬT TOÁN METROPOLIS-HASTINGS 28 2.1 Giới thiệu về MCMC 28

2.2 Thuật toán Metropolis-Hastings 29

3 ÁP DỤNG THUẬT TOÁN METROPOLIS 46 3.1 Giới thiệu về R 46

3.2 Mô hình lõi cứng (hard-core model) 47

3.3 Thuật toán và chương trình 48

LỜI CẢM ƠN

Luận văn trên em hoàn thành dưới sự hướng dẫn tận tình và cũng hếtsức nghiêm khắc của TS Trần Mạnh Cường Thầy đã dành nhiều thờigian quý báu của mình để hướng dẫn cũng như giải đáp các thắc mắc của

em trong suốt cả quá trình làm luận văn Em muốn tỏ lòng biết ơn chânthành và sâu sắc nhất tới Thầy

Em cũng muốn gửi tới toàn thể các Thầy Cô Khoa Toán - Cơ - Tin họctrường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, các Thầy

Cô đã đảm nhận việc giảng dạy khóa Cao học 2011 - 2013 từ lúc chúng em

ôn thi đầu vào và trong cả quá trình học tại Khoa, đặc biệt là các Thầy

Cô tham gia giảng dạy nhóm Xác suất thống kê 2011 - 2013 lời cám ơnchân thành nhất vì công lao dạy dỗ chúng em trong suốt thời gian củakhóa học

Vì thời gian cũng như kiến thức của em cũng còn nhiều hạn chế nênkhông tránh khỏi những thiếu sót Kính mong các Thầy, Cô nhận xét vàcho em những lời nhận xét góp ý để bản luận văn của em được hoàn thiệnhơn Và có thể những góp ý quý giá đó sẽ mở hướng cho em trong quátrình học tập, nghiên cứu sau này

Tôi xin cám ơn gia đình, bạn bè, đồng nghiệp và các anh chị em trongnhóm Xác suất thống kê 2011 - 2013 đã quan tâm, giúp đỡ, tạo điều kiện

và động viên tinh thần để tôi có thể hoàn thành được khóa học

LỜI MỞ ĐẦU

Đầu thế kỷ XX, nhà vật lý và bác học nổi tiếng người Nga A.A.Markov

đã đưa ra một mô hình toán học để mô tả chuyển động của các phân tửchất lỏng trong một bình kín Sau này mô hình Markov được phát triển

và mang tên: Quá trình Markov Xích Markov là trường hợp riêng của quátrình Markov khi ta có thể đánh số được các trạng thái

Chúng ta đều biết vai trò quan trọng của thuyết Monte Carlo trongviệc ước lượng các số nguyên và mô phỏng các quá trình ngẫu nhiên Bước

có tính quyết định nhất trong việc phát triển lý thuyết Monte Carlo hiệuquả là ước lượng (lấy mẫu) từ một phân bố xác suất thích hợp π(x) Takhông thể trực tiếp tạo thành các mẫu độc lập từ π(x), cũng như chọncách lấy mẫu quan trọng, trong các mẫu ngẫu nhiên được lấy từ một phân

bố thử dạng khác (nhưng gần giống) với phân bố mục tiêu và sau đó đánhgiá dựa vào tỉ số quan trọng; hoặc xây dựng các mẫu xác suất độc lập dựatrên ý tưởng lấy mẫu Markov Chain Monte Carlo

Cho π(x) = Z−1exp(−h(x)) là phân bố mục tiêu dựa vào kết quảnghiên cứu (có thể tất cả các hàm phân phối xác suất được viết dạngnày), khi mà hằng số chuẩn hóa hay hàm phân bố Z mà chúng ta thườngkhông biết Về mặt lý thuyết, Z = R exp (−h(x))dx có thể tính nhưngkhông dễ dàng (và thường khó) hơn vấn đề ban đầu là mô phỏng từ π.Được thúc đẩy bởi các vấn đề tính toán các xác suất vật lý, Metropolis

đã giới thiệu ý tưởng cơ bản của việc phát triển một quá trình Markov đểđạt được việc lấy mẫu của π Ý tưởng này sau đó được phát triển thànhthuyết Metropolis dù đơn giản nhưng rất hữu ích và hiện nay được sử dụngrộng rãi bởi các nhà nghiên cứu trong rất nhiều lĩnh vực khoa học khácnhau như sinh học, hóa học, khoa học máy tính, kinh tế học, các ngành

kỹ thuật, khoa học vật liệu và nhiều lĩnh vực khác

Luận văn gồm có 3 chương:

Chương 1: Kiến thức cơ sở- Xích Markov: Ở phần đầu em trình bày

các phương pháp cơ bản để mô phỏng biến (mẫu) ngẫu nhiên như phươngpháp ngược, phương pháp lấy mẫu quan trọng, phương pháp lấy mẫu loạitrừ Tiếp theo là ước lượng bằng mô phỏng Phần tiếp theo của chương I

là lý thuyết xích Markov Mỗi phần đều có các ví dụ minh họa để việc tiếpcận vấn đề trở nên dễ dàng hơn

Chương 2: Thuật toán Metropolis-Hastings: Cũng là phần chính củaluận văn Trong chương này, em đề cập tới các kiến thức cơ bản để xâydựng thuật toán Metropolis Em giới thiệu phương pháp MCMC và nêuthuật toán Metropolis cùng các ví dụ cụ thể áp dụng thuật toán này

Chương 3: Áp dụng thuật toán Metropolis: Trong chương này em giớithiệu về ngôn ngữ lập trình R và các tính năng của nó Tiếp đó em ứngdụng vào bài toán mô hình lõi cứng (hard-core model) để viết một đoạnchương trình áp dụng ngôn ngữ R cho kết quả cụ thể Trong chương này

em nêu thuật toán và chương trình áp dụng trên máy tính

Hà Nội, tháng 05 năm 2014

Học viênNguyễn Thị Phi Doan

BẢNG KÝ HIỆU

MCMC: Markov Chain Monte Carlo

: điều phải chứng minh

BNN: biến ngẫu nhiên

Chương 1

KIẾN THỨC CHUẨN BỊ

1.1 Các phương pháp mô phỏng biến ngẫu nhiên

1.1.1 Phương pháp lấy mẫu ngược

Định lý 1.1 Cho hàm phân phối tích lũy F(x) với F−1 là hàm ngược của

F được xác định như sau:

F−1(u) = min{x|F (x) ≥ u}

với u ∈ (0, 1]

Cho U là một BNN có phân phối đều U(0,1) và đặt X = F−1(U ) khi

đó hàm phân phối của X là F(x)

Ví dụ 1.1 Mô phỏng một biến ngẫu nhiên có phân phối mũvới tham số λ

Hàm phân phối mũ có dạng:

F (x) = 1 − exp(−λx) với x ≥ 0

Cho U ∼ U (0, 1) và đặt Y = −1

λlog(1 − U ).

Khi đó Y có phân phối mũ với tham số λ

Hơn thế, nếu U ∼ U (0, 1) thì 1 − U cũng có phân phối U (0, 1) do đónếu đặt

Y = −1

λ log(U )có phân phối mũ với tham sốλ. ⊗

Ví dụ 1.2 Phân phối Becnoulli và phân phối nhị thức B(n, p).Cho U ∼ U (0, 1) Nếu:

X =



1 khi U < p

0 trong các trường hợp khác

Thì X là một phân phối Becnoulli với xác suất thành công là p Cho

X1, Xn là các BNN độc lập của phân phối Becnoulli khi đó Y =

Kí hiệu[a]: phần nguyên của a, khi đóX = [ log(U )

log(1 − p)]có phân phối hình

1.1.2 Phương pháp lấy mẫu loại trừ

Giả sử ta có BNN X với hàm mật độ f (x) Ta chưa mô phỏng được Xnhưng ta có thể mô phỏng Y với hàm mật độ cho biết trước là g(y) màgiá của f là tập con giá của g và f (x)

g(x) ≤ M với ∀x.Sau đó ta sử dụng mẫu Y để tìm mẫu X Lặp lại các bước sau tới khicho kết quả

Bước 1: Mô phỏng Y = y từ g(x) và U = u từ phân phối đều U (0, 1).Chuyển sang bước 2,

Bước 2: Nếu u 6 f (y)

M.g(y) đặt X = y Ngược lại quay về bước 1.

Mệnh đề 1.1 Biến ngẫu nhiên X được lấy dựa trên phương pháp loại trừnhư trên có hàm mật độ f (x)

Câu hỏi đặt ra là ta cần bao nhiêu phép lặp trong thuật toán này? Trongmỗi phép lặp ta xây dựng một mẫu với xác suất P (U 6 f (Y )

Ta đã biết cách xây dựng một mẫu có phân phối mũ Vì vậy ta chọn hàm

g là hàm mật độ của phân phối mũ với tham số 1 và có:

Ví dụ 1.5

Cho một biến ngẫu nhiên Y với hàm mật độ g(x) được xây dựng trênkhông gian S Giả sử A ⊂ S và ta lấy mẫu của biến ngẫu nhiên có điềukiện X = (Y |Y ∈ A) với không gian xác định A

Trong trường hợp lấy mẫu bằng phương pháp loại trừ ta có thể thựchiện bởi việc lấy mẫu X lặp lại cho đến khi mẫu ta cần thuộc A Chínhxác hơn, X có hàm mật độ f (x) = g(x)

Giả sử rằng U là phân phối đều trong một khoảng (0,1) Khi đó

Với phương pháp lấy mẫu loại trừ ta chấp nhận giá trị này nếu Y ∈ A

và ngược lại ta loại bỏ

Nếu việc đánh giá hàm f không khó khăn, ngoài việc đánh giá cận trênMg(x) cho f(x) ta có thể đánh giá cận dưới h(x) và ta có phương pháp lấymẫu loại bỏ cải biên như sau:

1 Lấy Y = y từ g(y) và U = u từ U (0, 1)

2 Chấp nhận nếu u ≤ h(y)

M.g(y) và nhận X = y như là mẫu Ngược lại

chuyển sang bước 3

thay bởi hàm h Hàm h có thể tìm được nhờ khai triển Taylor

1.2 Ước lượng bằng mô phỏng

Trong phần trước, ta tìm cách lấy mẫu của phân bố mục tiêu (targetdensity) dựa trên việc lấy mẫu của một phân bố đề xuất (proposal den-sity) Phần này, dựa trên mẫu của phân bố đề xuất ta tìm ước lượng khôngchệch cho các đặc trưng của phân bố mục tiêu

1.2.1 Lấy mẫu quan trọng (Importance Sampling)

Giả sử ta quan tâm đến tích phân:

trong đó g(x) là hàm mật độ thỏa mãn g(x) > 0 nếu f (x).h(x) 6= 0 Tasinh mẫu ngẫu nhiên (độc lập có cùng phân bố) (x1, x2, , xn) từ g và ướclượng I bởi:

b

I = 1n

n

X

i=1

f (xi)g(xi)h(xi) =

1n

n

X

i=1

w(xi)h(xi)

Thủ tục này gọi là Lấy mẫu quan trọng

Hàm mật độ g được gọi là hàm mật độ đề xuất và bI gọi là ước lượng quantrọng (importance estimator)

w(xi) = f (xi)

g(xi) là trọng số (importance weight).

Chú ý rằng bI là một ước lượng không chệch của I

Có hai lý do mà ta quan tâm đến phương pháp này là:

1, Việc lấy mẫu từ f (x)là không thể hoặc rất khó

2, Biến ngẫu nhiên H(X), trong đó X có mật độ f(x), có phương sailớn Vì vậy ước lượng không chệch truyền thống, tức 1

Phương sai của ước lượng bI theo phương pháp này là hữu hạn nếu:

Do đó phương sai sẽ bằng vô cùng nếu tỉ số f (x)

g(x) là không bị chặn Vì

vậy, nếu có thể ta chọn hàm mật độ đề xuất g có đuôi dày hơn f Tổngquát, nếu f (x)

g(x) không bị chặn thì cho dù phương sai của ước lượng là hữu

hạn, thì thủ tục này cũng không hiệu quả vì phương sai của các trọng sốlớn Các trọng số biến đổi nhiều sẽ ảnh hưởng đến giá trị ước lượng

Ví dụ 1.6 Các xác suất đuôi của phân bố chuẩn

Cho p = P [Z > 4] trong đó Z là biến ngẫu nhiên có phân phối chuẩntắc Dùng cách tiếp cận đơn giản nhất ta có thể xây dựng mẫu ngẫu nhiênđộc lập có phân phối chuẩn Z(1), , Z(M ) và đặt:

b

p = 1M

Ước lượng này có 2 thuận lợi:

1, Nó là ước lượng chệch có phương sai nhỏ hơn ước lượng quan trọng đượcxây dựng từ trước Chú ý rằng ước lượng này vẫn là ước lượng vững khi

x1, xn là độc lập cùng phân bố với hàm mật độ g ta có:

1n

n

X f (xj)g(xj) −→ 1 khi n −→ ∞

2, Ta có thể có mẫu quan trọng nếu chỉ biết f (x) và w(x) sai khác mộthằng số nhân.

Nếu lý do là không tìm được hàm mật độ của mẫu quan trọng dẫn đếnphương sai nhỏ thì có một vài phương pháp làm giảm phương sai như:Phương pháp 1 (Sequential Importance Resampling)

+) Sinh mẫu dạng Y(1), Y(n) với trọng số wi = f (Y

(i))g(Y(i)), i = 1, n.

+) Sinh mẫu mới X(1), , X(n) bởi Y(1), , Y(n) xác suất wj

Phương pháp 2 (Rejection Control)

Xem xét loại bỏ các điểm mẫu có trọng số (importance weight) dưới ngưỡng

c Làm theo cách này sẽ sinh ra ước lượng chệch, tuy nhiên nếu thay đổicác trọng số một cách phù hợp ta sẽ tránh được điều này

Giả sử ta có mẫu quan trọng Y(1), , Y(n) với trọng số w1, , wn thìphương pháp này được thực hiện như sau:

+) Với j = 1, , n chấp nhận Y(i) với xác suất Pj = min{1; wj

c }.+) Nếu Y(j) được chấp nhận ta tính lại trọng số:

Xét một hệ nào đó được quan sát tại các thời điểm rời rạc 0, 1, 2 Giả

sử các quan sát đó là X0, X1 , Xn, Khi đó ta có một dãy các đại lượngngẫu nhiên (ĐLNN) (Xn) là trạng thái của hệ tại thời điểm n Giả thiếtrằng mỗi Xn với n = 0, 1, 2 là một ĐLNN rời rạc Kí hiệu S là tập các

giá trị của các (Xn) Khi đó S là một tập hữu hạn hay đếm được, các phần

tử của nó được kí hiệu là i, j, k Ta gọi S là không gian trạng thái của dãy

1.3.1 Giới thiệu về xích Markov

Định nghĩa 1.1 Xích Markov

Dãy các ĐLNN (Xn) là một xích Markov nếu với mọi n1 < n2 < <

nk < nk+1 và với mọi i1, i2, ik, ik+1 ∈ S ta có:

P (Xnk+1 = ik+1|Xn1 = i1, Xn2 = i2, , Xnk = ik) = P (Xnk+1 =

ik+1|Xnk = ik)

Ta coi thời điểm nk+1 là tương lai, nk là hiện tại và n1, n2, , nk−1 làquá khứ Như vậy xác suất có điều kiện của một sự kiện B nào đó trongtương lai nếu biết hiện tại và quá khứ của hệ cũng giống như xác suất cóđiều kiện của B nếu chỉ biết trạng thái hiện tại của hệ Đó chính là tínhMarkov của hệ

Hay nói cách khác, tính Markov cũng được phát biểu dưới dạng: Nếubiết trạng thái hiện tại của hệ thì quá khứ và tương lai độc lập với nhau.Giả sử P (Xm+n = j|Xm = i) là xác suất để xích tại thời điểm m ởtrạng thái i, tại thời điểm m + n thì chuyển sang trạng thái j sau n bước.Xác suất này nói chung phụ thuộc vào i, j, m, n Nếu đại lượng này khôngphụ thuộc vào m ta nói xích thuần nhất Từ giờ trở đi, ta chỉ xét các xíchthuần nhất

Kí hiệu:

Pij = P (Xn+1 = j|Xn = i)

Pij(n) = P (Xm+n = j|Xm = i)

Ta gọi(Pij, i, j ∈ S) là xác suất chuyển sau một bước (xác suất chuyển)còn

(Pij(n), i, j ∈ S) là xác suất chuyển sau n bước Chú ý rằng:

Phân bố của X0 được gọi là phân bố ban đầu Ta kí hiệu ui = P (X0 = i).

Định lý 1.2 Phân bố đồng thời của (X0, X1, , Xn) được hoàn toàn xácđịnh từ phân bố ban đầu và xác suất chuyển:

Trong trường hợp S có d phần tử, ta kí hiệu P = (Pij), P (n) = (Pij(n))

là các ma trận vuông cấp d × d P được gọi là ma trận xác suất chuyển,P(n) được gọi là ma trận xác suất chuyển sau n bước Khi đó phương trìnhChapman-Kolmogorov tương đương với:

P (n + m) = P (n) · P (m)

vì P = P (1) nên bằng quy nạp ta dễ thấy:

P (n) = Pn.Gọi ui(n) = P (Xn = i)

Kí hiệu véc tơ U (n) = (u1(n), u2(n), , ud(n)) là véc tơ hàng d-chiều mô

tả phân bố của Xn và U = U (0) = (u1, u2, , ud) là véc tơ hàng d-chiều

mô tả phân bố ban đầu (phân bố của X0 )

P (Xn = 0) = P (Xn = 1) = 1

2(∀n = 0, 1, 2, ).

Ta sẽ chỉ ra rằng (Yn) là một quá trình không có tính Markov

Thật vậy, hàm xác suất của Yn được cho bởi:

1.3.2 Phân bố dừng

Định nghĩa 1.2 Phân bố dừng

Phân bố ban đầu U = (ui), i ∈ S là phân bố dừng nếu ta có U (n) = U với

∀n tức là ui(n) = ui với ∀n ,∀i ∈ S Khi đó dãy (Xn) có cùng phân bố

Ta cũng có kết quả tương đương sau:

U = (ui) là phân bố dừng nếu và chỉ nếu:

15

151

6

23

163

8

38

14

trong đó a, b > 0, 0 < a + b < 1 Ta đi tìm phân bố dừng

Đặt U = (x, y) Khi đó U là phân bố dừng khi và chỉ khi x, y là nghiệmkhông âm của hệ sau:

Định lý 1.5 Giả sử (Xn) là một xích Markov với không gian trạng thái

S = {1, 2, } với xác suất chuyển sau n bước là P (n) = (Pij(n)) Giả sử

rằng mọi i, j ∈ S tồn tại giới hạn

1.3.3 Phân bố giới hạn

Định nghĩa 1.3 Phân bố giới hạn Giả sử (Xn) là xích Markov vớikhông gian trạng thái S = {1, 2, }với ma trận xác suất chuyển P = (Pij)

và ma trận xác suất chuyển sau n bước là P (n) = Pij(n) Ta nói rằng xích

có phân bố giới hạn nếu với ∀i, j ∈ S tồn tại giới hạn:

Ý nghĩa của phân bố giới hạn như sau:

Gọi ui(n) = P (Xn = i) Kí hiệu véc tơ U (n) = (u1(n), u2(n), ) là véc tơhàng d-chiều mô tả phân bố của Xn

Vậy phân bố U (n) của Xn hội tụ tới phân bố giới hạn π Khi n khá lớn

ta có:

P (Xn = j) ≈ πj

Theo định lý 1.3.4 nếu phân bố giới hạn tồn tại thì phân bố dừng cũngtồn tại và là duy nhất Hơn nữa hai phân bố này trùng nhau Tuy nhiênđiều ngược lại không đúng tức là có những xích Markov có tồn tại phân

bố dừng nhưng không tồn tại phân bố giới hạn

Do đó không tồn tại lim

n→∞P (n) Tuy nhiên rõ ràng π = (1/2, 1/2) là phân

bố dừng duy nhất

Một trong những bài toán quan trọng trong nghiên cứu xích Markov làtìm các điều kiện để đảm bảo sự tồn tại của phân bố dừng và phân bố giớihạn Ta có định lý sau:

Định lý 1.6 Cho (Xn) là xích Markov với không gian trạng thái hữu hạn

S = {1, 2, d}với ma trận xác suất chuyển sau n bước là P (n) = (Pij(n)).Khi đó tồn tại phân bố giới hạn π = (π1, π2, ) với πj > 0, ∀j ∈ S khi vàchỉ khi xích là chính quy theo nghĩa: tồn tại n0 sao cho:

Pij(n0) > 0, ∀i, j ∈ S

Ví dụ 1.13 (Ma trận ngẫu nhiên kép)

Xét xích Markov có không gian trạng thái S = {1, 2, , d} và ma trận xácsuất chuyển của nó là chính quy đồng thời là một ma trận kép, có nghĩa là:

Vì phân bố dừng là duy nhất và phân bố giới hạn chính là phân bố dừng nên

ta kết luận rằng phân bố giới hạn là phân bố đều π = (1/d, 1/d, , 1/d).Chẳng hạn, ta tung liên tiếp con xúc sắc cân đối đồng chất một cách độclập Kí hiệu ξn là số chấm xuất hiện ở lần gieo thứ n, Xn =

1, tồn tại với mọi j,

2, là dương và không phụ thuộc vào i,

3, π = (π1, , πk)T là một phân bố xác suất trên S

Ta có:

+ ) Nếu xích ergodic thì phân bố giới hạn là phân bố dừng

+ ) Thay vì kiểm tra điều kiện phân bố dừng ta kiểm tra điều kiện cânbằng chi tiết

Bổ đề 1.1 Điều kiện cân bằng chi tiết

Giả sử π là phân bố trên không gian trạng thái S thỏa mãn:

π(x)p(x, y) = π(y)p(y, x)

với mọi x, y ∈ S, mà p(x, y) là hàm mật độ chuyển của một xích Markovergodic X Do đó π là phân phối ổn định của X

Ta có: π = πP với P: ma trận chuyển

1.3.4 Xích tối giản và không có chu kì

Định nghĩa 1.5 Ta nói rằng trạng thái i đến được trạng thái j và kí hiệu là

i → j nếu tồn tại n ≥ 0 sao cho Pij ≥ 0 (ta quy ước Pii(0) = 1, Pij(0) = 0

Định nghĩa 1.6 Xích tối giản

Xích Markov được gọi là tối giản nếu hai trạng thái bất kỳ là liên lạc được.Nói cách khác, khi ta không thể phân hoạch S thành các lớp con nhỏ hơn.Nếu xích không tối giản thì S được phân hoạch thành các lớp rời nhau

S = S1 ∪ S2 ∪ ∪ Sn Có thể xem mỗi Sk là không gian trạng thái của

xích Markov tối giản Như vậy việc nghiên cứu xích Markov có thể quy vềviệc nghiên cứu các xích tối giản.

Ví dụ 1.14 Xích không tối giản

Cho xích Markov với không gian trạng thái S = {1, 2, 3, 4, 5} và ma trậnxác suất chuyển là:

2

14

231

4

34







, P2 =

Theo cách phân lớp trên thì S = S1∪ S2 với S1 = {1, 2} và S2 = {3, 4, 5}

Ta có thể xem S1 và S2 là không gian trạng thái của xích Markov với matrận xác suất chuyển tương ứng là P1 và P1

⇒ xích Markov đã cho là không tối giản ⊗

Ví dụ 1.15 Xích Markov tối giản

Cho xích Markov với không gian trạng thái S = {1, 2, 3, 4}và các ma trậnxác suất chuyển là:

2

121

Tương tự ta cũng chỉ ra được 3 ↔ 4

Vậy hai trạng thái bất kỳ của xích là liên lạc được Do đó, xích đã cho là tối

Định nghĩa 1.7 Chu kỳ của trạng thái

Chu kỳ của trạng thái i, kí hiệu là d(i) là ước chung lớn nhất của tất cảcác số nguyên dương n ≥ 1 mà Pii(n) > 0 Nếu Pii(n) = 0 với mọi n ≥ 1

thì ta quy ước đặt d(i) = 0

Định lý 1.7 Nếu i ↔ j thì d(i) = d(j) Vậy các trạng thái có cùng mộtchu kỳ d và ta gọi số d chung đó là chu kỳ của lớp

Chứng minh: Do i ↔ j nên ∃k, l sao cho: