LUẬN VAN THẠC SĨ ỨNG DỤNG QUÁ TRÌNH BÁN MARKOV VÀO MÔ HÌNH RỦI RO TRONG BẢO HIỂM

Với mỗi dãy tái tạo, ta có thể kết hợp các quá trình ngẫu nhiên sau cóthời gian liên tục với các giá trị trong N : khi đó Nt > n − 1 ⇔ Tn≤ t, n ∈ N0.Quá trình này được gọi là quá trình đ

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

Ngô Ngọc Minh

ỨNG DỤNG QUÁ TRÌNH BÁN

MARKOV VÀO MÔ HÌNH RỦI RO

TRONG BẢO HIỂM

Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

Mã số: 60 46 15

LUẬN VĂN THẠC SĨ TOÁN HỌC

HƯỚNG DẪN KHOA HỌC: TS TÔ ANH DŨNG

TP Hồ Chí Minh - 2009

Lời cảm ơn

Đầu tiên, tôi xin chân thành cảm ơn Ban Giám Hiệu, Phòng Đào tạo sau Đại học, KhoaToán - Tin học, trường Đại học Khoa học Tự nhiên Thành phố Hồ Chí Minh, Bộ mônXác suất - Thống kê cùng tất cả Quý Thầy Cô đã tận tình giảng dạy, giúp đỡ tôi trongsuốt quá trình học tập và thực hiện luận văn này

Tôi xin được bày tỏ lòng biết ơn sâu sắc đến người thầy của mình: TS Tô Anh Dũng,Đại học Khoa Học Tự Nhiên TP HCM Tôi cảm ơn thầy về những lời khuyên, gợi ý và

sự hỗ trợ tận tình, chu đáo của thầy trong quá trình học tập và giúp tôi hoàn thành luậnvăn này

Đồng thời, tôi cũng xin được gởi lời cảm ơn đến PGS TS Nguyễn Bác Văn, TS DươngTôn Đảm Các thầy đã trang bị cho tôi kiến thức, giúp tôi hiểu rõ hơn về xác suất, thống

kê và ảnh hưởng sâu sắc đến con đường học tập, nghiên cứu khoa học của mình

TP HCM - Ngày 20 tháng 06 năm 2009

Tác giảNgô Ngọc Minh

Lời mở đầu

Hầu hết ở các nước phát triển, vốn dự phòng ban đầu là một lượng nhỏ cố định được quy

định bởi chính phủ và phụ thuộc vào sự luân chuyển vốn của công ty bảo hiểm

Thật vậy, điều đó giúp bảo vệ khách hàng tránh tình trạng không may là công ty phải

trả một lượng lớn tiền bồi thường trong một khoảng thời gian ngắn làm công ty mất khả

năng chi trả (rủi ro) Vấn đề quản lý rủi ro trong bảo hiểm là một trong các vấn đề quan

trọng nhất Việc có một mô hình toán học giúp quản lí rủi ro là rất cần thiết cho các công

ty bảo hiểm

Jarrow Land và Turnbull chỉ ra rằng có thể giải quyết được vấn đề rủi ro trong tài chính

và bảo hiểm bằng công cụ xích Markov Sau đó nhiều bài báo đã chỉ ra rằng xích Markov

có thể nảy sinh nhiều vấn đề Cũng từ thời điểm này người ta nghĩ đến việc ứng dụng bán

Markov vào rủi ro trong tài chính và bảo hiểm Nguyên nhân là đối với xích Markov thời

gian chuyển đổi giữa các trạng thái là rời rạc Đây là lý do tại sao bán Markov được dùng

tốt hơn xích Markov

Trong luận văn này tôi sẽ trình bày ứng dụng của quá trình bán Markov vào quản lý

rủi ro trong bảo hiểm

Mục lục

1.1 Mục đích 1

1.2 Định nghĩa chính 2

1.3 Sự phân loại của các quá trình tái tạo 3

1.4 Phương trình tái tạo 7

1.5 Sử dụng phép biến đổi Laplace 14

1.5.1 Phép biến đổi Laplace 14

1.5.2 Phép biến đổi Laplace Stieltjes (L-S) 16

1.5.3 Một ứng dụng đối với hàm tái tạo 17

1.6 Ứng dụng của đẳng thức Wald 18

1.6.1 Đẳng thức Wald 18

1.6.2 Chặn dưới của hàm tái tạo R 19

1.7 Dáng điệu tiệm cận của quá trình N(t) 20

1.8 Các thời điểm hồi quy 23

1.8.1 Định nghĩa 23

1.8.2 Hàm phân phối của số lần hồi quy 24

1.8.3 Dáng điệu tiệm cận 26

1.9 Quá trình tái tạo trì hoãn và quá trình tái tạo dừng 30

1.10 Dạng số 35

1.10.1 Phương pháp cầu phương tổng quát 35

1.10.2 Một vài công thức đặc biệt 37

1.10.3 Ví dụ thực tế về tai nạn ô tô 39

2 Xích Markov 45 2.1 Tính Markov 45

2.1.1 Định nghĩa tính Markov 45

2.1.2 Các ví dụ 46

2.2 Định nghĩa xích Markov 47

2.3 Phân loại trạng thái xích Markov 50

2.3.1 Các trạng thái tuần hoàn và không tuần hoàn 50 2.3.2 Các trạng thái ước lượng và không ước lượng được – Tính tối giản 50

MỤC LỤC 5

2.3.3 Trạng thái nhất thời và hồi quy 51

2.4 Số lần chiếm giữ 54

2.5 Tính xác suất hấp thu 55

2.6 Dáng điệu tiệm cận 56

2.7 Các ví dụ 60

2.8 Một trường hợp trong bảo hiểm xã hội (Janssen (1966)) 63

2.9 Phương pháp số giải bài toán tiệm cận 65

2.9.1 Thuật toán cho nghiên cứu xích Markov tiệm cận 65

2.9.2 Mẫu dữ liệu tối giản thực tế trong bảo hiểm xe 68

2.9.3 Các ví dụ rút gọn được và không rút gọn được, dạng kết nối chính tắc 72 3 Quá trình tái tạo Markov, bán Markov và bước ngẫu nhiên Markov 82 3.1 Quá trình (J-X) dương 82

3.2 Xích bán Markov và xích bán Markov mở rộng 83

3.3 Các tính chất chính 83

3.4 Ví dụ về quá trình yêu cầu bồi thường trong bảo hiểm 86

3.5 Quá trình tái tạo Markov, quá trình bán-Markov và quá trình đếm liên kết 87 3.6 Các hàm tái tạo Markov 88

3.7 Phương trình tái tạo Markov 91

3.8 Dáng điệu tiệm cận của MRP 92

3.8.1 Dáng điệu tiệm cận của hàm tái tạo Markov 92

3.9 Dáng điệu tiệm cận của SMP 92

3.9.1 Trường hợp tối giản 92

3.9.2 Trường hợp không tối giản 94

3.10 MRP trì hoãn và MRP dừng 95

3.11 Trường hợp nghiên cứu về bảo hiểm xã hội 98

3.11.1 Mô hình bán Markov 98

3.11.2 Ví dụ số 99

3.12 Quá trình (J-X) 100

3.13 Các hàm của quá trình (J-X) 101

3.14 Các bước ngẫu nhiên cổ điển và lý thuyết rủi ro 103

3.14.1 Các kí hiệu cơ bản trong bước ngẫu nhiên 103

3.14.2 Sự phân loại các bước ngẫu nhiên 104

3.15 Các bước ngẫu nhiên bán Markov 106

3.16 Phân phối cận trên đúng cho các bước ngẫu nhiên bán Markov 107

4 Các Mô Hình Rủi Ro Trong Bảo Hiểm 109 4.1 Mô hình ngẫu nhiên cổ điển cho lý thuyết rủi ro và xác suất phá sản 109

4.2 Mô hình rủi ro E.S Anderson hay G/G 110

4.2.1 Mô hình 110

4.2.2 Phí bảo hiểm 110

4.2.3 Ba quá trình cơ bản 112

4.2.4 Xác suất phá sản 113

4.3 Mô hình rủi ro Cramer – Lundberg hay P/G 115

4.3.1 Mô hình 115

4.3.2 Xác suất phá sản 115

4.3.3 Quản lí rủi ro bằng xác suất phá sản 120

4.3.4 Ước lượng Cramer 121

MỤC LỤC 6 4.4 Các mô hình khuyếch tán cho lý thuyết rủi ro và xác suất phá sản 123

4.4.1 Mô hình rủi ro khuyếch tán đơn giản 123

4.4.2 Mô hình rủi ro ALM 124

4.5 Mô hình rủi ro Bán Markov 125

4.5.1 Mô hình rủi ro bán Markov (hay SMRM) 125

4.5.2 Mô hình rủi ro bán Markov tổng quát (hay GSMRM) 125

4.5.3 Quá trình đếm số yêu cầu bồi thường 128

4.5.4 Quá trình tiền bảo hiểm tích lũy 130

4.5.5 Quá trình tiền đóng bảo hiểm 131

4.5.6 Quá trình rủi ro và rủi ro của vốn dự trữ 131

4.5.7 Mô hình rủi ro bán-Markov dừng 132

4.6 Xác suất phá sản của mô hình rủi ro bán-Markov tổng quát 132

4.6.1 Xác suất phá sản và không phá sản 132

4.6.2 Sự thay đổi mức phí bảo hiểm 133

4.6.3 Giải pháp tổng quát cho vấn đề tiệm cận xác suất rủi ro 134

Chương 1

Thuyết tái tạo

1.1 Mục đích

Đặt (Xn, n ≥ 1) là một dãy biến ngẫu nhiên không âm, độc lập và có cùng phân phối được

xác định trên không gian xác suất (Ω, =, P)

Ta xét vấn đề về độ tin cậy như sau: tại thời điểm 0, hệ được xét bắt đầu với một

thành phần mới và sau đó nó bị hỏng tại thời điểm ngẫu nhiên T1 Tại thời điểm này, một

thành phần mới khác lập tức được thay thế cho thành phần đầu tiên trong hệ, sau đó nó

cũng bị hỏng tại thời điểm c và cứ tiếp tục quá trình như vậy Tất cả các thành phần này

Quá trình ngẫu nhiên (N(t), t ≥ 0), được thể hiện ở hình 1.1

Mômen cấp một của N(t) sẽ cho số lượng trung bình của sự thay thế trong (0, t] Đặcbiệt nếu tại thời điểm 0, người quản lý có đủ khả năng để thực hiện toàn bộ sự thay thế,

số lượng thay thế trung bình sẽ là kì vọng E(N(t)) Dĩ nhiên, nhà quản lý phải dự trữthêm để ngăn chặn sự gia tăng ngẫu nhiên Vấn đề này sẽ được giải quyết trong mục1.7.Lĩnh vực nghiên cứu xác suất của các quá trình này được gọi là thuyết tái tạo Nó được

sử dụng cho xác suất ứng dụng, một trong những chủ đề quan trọng để giải quyết một sốvấn đề trong cuộc sống

1.2 Định nghĩa chínhĐịnh nghĩa 1.1 Dãy ngẫu nhiên (Tn, n ≥ 0), trong đó

Tn= X1+ + Xn, n ≥ 1 (1.5)được gọi là dãy tái tạo hoặc quá trình tái tạo

Các biến ngẫu nhiên Tn, n ≥ 0 được gọi là thời điểm tái tạo và biến ngẫu nhiên Xn, n ≥ 1được gọi là khoảng thời gian giữa hai lần chuyển đổi

Ví dụ 1.1

1 Ta xét hệ thống hàng đợi của một dịch vụ, quá trình khách hàng đến và quá trình

số lần phục vụ được áp dụng bởi luật FIFO, nghĩa là khách hàng nào tới trước sẽ đượcphục vụ trước Trong nhiều mô hình của lý thuyết hàng đợi, quá trình đến được thừa nhận

là một quá trình tái tạo Trong trường hợp này, biến ngẫu nhiên Tnlà thời gian đến củakhách hàng thứ n, khi đó khách hàng số 0 thì sẽ được phục vụ tại thời điểm 0 và biếnngẫu nhiên Xnmô tả khoảng thời gian đến giữa khách hàng thứ (n − 1) và thứ n

2 Quá trình đến cũng được xét trong lý thuyết rủi ro Ta xét một công ty bảo hiểmbắt đầu tại thời điểm 0 với số vốn ban đầu u(u ≥ 0) Khách hàng đóng phí bảo hiểm vàcông ty bảo hiểm phải trả tiền bồi thường khi khách hàng xảy ra tai nạn Trong trườnghợp này, biến ngẫu nhiên Tnmô tả yêu cầu bồi thường bảo hiểm thứ n và công ty sẽ bắtđầu xem xét chi trả tiền bồi thường với yêu cầu đầu tiên được gọi là yêu cầu bồi thường

0, biến ngẫu nhiên Xnlà “khoảng thời gian đến” giữa sự bồi thường thứ (n − 1) và thứ n

3 Trong lý thuyết đếm, ta xét các mẫu đến tại thời điểm Tn, n ≥ 0 với T0= 0, biếnngẫu nhiên Xnthỏa các điều kiện của thời điểm đến giữa 2 lần chuyển đổi liên tục.Định nghĩa 1.2 Với mỗi dãy tái tạo, ta có thể kết hợp các quá trình ngẫu nhiên sau cóthời gian liên tục với các giá trị trong N :

khi đó

N(t) > n − 1 ⇔ Tn≤ t, n ∈ N0.Quá trình này được gọi là quá trình đếm kết hợp hoặc quá trình đếm tái tạo N(t) mô

tả tổng số tái tạo trong (0, t]

1.3 Sự phân loại của các quá trình tái tạo 3

Định nghĩa 1.3 Hàm tái tạo được định nghĩa

trong đó kì vọng được quy định là hữu hạn

1.3 Sự phân loại của các quá trình tái tạo

Ta giả sử rằng các biến ngẫu nhiên được định nghĩa trên R có hàm phân phối F như vậy:

Áp dụng bổ đề Stein, kết quả quan trọng sau được chứng minh

Mệnh đề 1.4 Nếu F (0) < 1, với mọi t thì N(t) có mô men bậc bất kì

Đặc biệt, mệnh đề này có nghĩa là hàm tái tạo hữu hạn với mọi t hữu hạn Do đó, ta

Trong một vài trường hợp, nó hữu ích để xét tái tạo ban đầu và để định nghĩa biếnngẫu nhiên N0(t) vào thời điểm t là tổng số tái tạo trong [0, t]

sự trợ giúp của hàm phân phối F

Mệnh đề 1.6 Một quá trình tái tạo của hàm phân phối F lài) Hồi quy khi và chỉ khi F (∞) = 1

ii) Nhất thời khi và chỉ khi F (∞) < 1

iii) Tuần hoàn với chu kì δ (δ > 0) khi và chỉ khi nếu F là hằng số nằm ngoài khoảng[nδ,(n + 1)δ), n ∈ N và tất cả các bước nhảy của nó xảy ra tại các điểm nδ, n ∈ N.Nếu t tiến đến +∞ hệ thức1.16cho:

Mệnh đề 1.7 Quá trình tái tạo của hàm phân phối F là hồi quy hay nhất thời phụ thuộcvào H(+∞) = +∞ hoặc H(+∞) < +∞ Trong trường hợp cuối, ta có

1 − F (+∞)hoặc H(+∞) = F (+∞)

1 − F (+∞). (1.24)

1.3 Sự phân loại của các quá trình tái tạo 5

Sự phân loại được trình bày ở trên sẽ rõ ràng hơn với khái niệm tuổi thọ của quá trình

tái tạo

Định nghĩa 1.8 Tuổi thọ của quá trình tái tạo (Tn, n ≥ 1) là biến ngẫu nhiên L được

định nghĩa:

Vì thế, nếu L = `, có nghĩa là chỉ có một số lượng hữu hạn sự tái tạo trên [0, ∞) Ta

cũng định nghĩa một biến ngẫu nhiên N mới, nó là tổng số lượng tái tạo trên [0, L)

Định nghĩa 1.9 Tổng số lượng các tái tạo trong (0, ∞), có thể là vô hạn, được cho bởi

Trong lý thuyết độ tin cậy, biến cố {N = k} có nghĩa là thành phần thứ (k + 1) được

đưa vào hệ thống và sẽ có tuổi thọ là vô hạn Phân phối xác suất của N được cho bởi công

Vì vậy, có thể tính được trung bình của tổng số các tái tạo một cách dễ dàng trongtrường hợp nhất thời Ta cũng có thể đưa ra hàm phân phối của L Thực vậy, ta có:

1.4 Phương trình tái tạo 7

n

X

k=0

(λt)kk! = e

−λt(λt)n

Với mọi t cố định, quá trình (N(t)) là quá trình Poisson của tham số λt

Giá trị của hàm tái tạo H theo hệ thức1.16và1.15

Theo đó, trong quá trình tái tạo Poisson thì hàm tái tạo là tuyến tính

Ta sẽ thấy trong phần1.5, một quá trình tái tạo có thể cũng được mô tả bởi hàm tái

tạo của nó Quá trình tái tạo Poisson là một quá trình có hàm tái tạo tuyến tính

1.4 Phương trình tái tạo

Trở lại hệ thức1.16ta sử dụng tính liên đới của tích chập ta có:

Hệ thức này được gọi là phương trình tích phân của thuyết tái tạo, hoặc đơn giản là phươngtrình tái tạo Nó được viết như sau:

1.4 Phương trình tái tạo 9

Phương trình tích phân đó được gọi là thuộc kiểu tái tạo

Khi G = F, ta được phương trình tái tạo Các phương trình tích phân này đã được

nghiên cứu từ lâu gồm các đóng góp của Lotka (1940), Feller (1941), Smith (1954), Cinlar

(1969) Cinlar đưa ra hai mệnh đề sau:

Mệnh đề 1.10 (Sự tồn tại và tính duy nhất) Phương trình tích phân của kiểu tái tạo

1.67có duy nhất một nghiệm được cho bởi

Vì vậy, hàm R • G(t) là một kết quả của phương trình kiểu tái tạo1.67

2 Tính duy nhất: Đặt X1và X2là hai nghiệm của phương trình1.67, và Y được định

Nó cũng có thể dùng để nghiên cứu dáng điệu tiệm cận cho phép giải các kiểu phươngtrình tái tạo Kết quả cơ bản là “định lí khóa tái tạo” đã được chứng minh bởi W.L Smith(1954), trên thực tế về mặt toán học nó tương đương với định lí Blackwell (1948), đượctrình bày ở đây bởi hệ quả1.13

Kết quả của định lí khóa tái tạo áp dụng định lí Blackwell được tìm thấy ở Cinlar(1975b)

Mệnh đề 1.11 (Dáng điệu tiệm cận và định lí khóa tái tạo)

i) Trong trường hợp nhất thời, ta có:

1.4 Phương trình tái tạo 11

∞

Z

t

Kết luận: Hàm G được đưa ra trong hệ thức cuối là hàm duy nhất cho phương trình

tích phân kiểu tái tạo có nghiệm là hệ thức1.83

Rõ ràng, hàm G là hàm đơn điệu không tăng trên [0, +∞) và:

∞

Z

0

G(t)dt = 1m

lấy tích phân từng phần ta được:

trong đó O(1) là hàm của t xấp xỉ 0 khi t tiến đến vô cực

Hệ quả 1.13 Trong trường hợp một quá trình tái tạo hồi quy với giá trị trung bình mhữu hạn ta có:

G(t) =

( 1

τ, 0 ≤ t ≤ τ

1.4 Phương trình tái tạo 13

Trong đó τ là một số thực cố định dương Từ định lí khóa tái tạo (mệnh đề1.11, phần

(ii)), ta biết rằng cách giải duy nhất đó được cho bởi mệnh đề1.10:

1) Giải thích xác suất của hàm mật độ tái tạo Đặt k(t)dt là xác suất có sự tái tạo

trong khoảng thời gian (t, t + dt) và phải thỏa mãn hệ thức sau, hệ thức này có được bởi

tham số xác suất đơn giản sử dụng tính độc lập của tuổi thọ liên tục:

Vì vậy, xác suất được định nghĩa ở trên được cho bởi h(t)dt và tổng quát hơn là bởi

dH(t) với một sai số chính xác của O(dt)

2) Phương sai của N(t): Từ bổ đề Stein, ta biết rằng với mọi t thì N(t) có mô ment

V ar(N(t)) = H(t) + 2H(2)

(t) − (H(t))2 (1.122)1.5 Sử dụng phép biến đổi Laplace

1.5.1 Phép biến đổi Laplace

Để chỉ ra sự hữu ích của phép biến đổi Laplace trong việc giải phương trình tái tạo, ta giả

sử rằng hàm phân phối F đặc trưng cho quá trình tái tạo hồi quy được xét có hàm mật

độ là f Ta dùng các kí hiệu tổng quát như sau: với bất kì hàm α nào trên [0, ∞), ˜α sẽ mô

tả biến đổi Laplace của nó, với:

˜α(s) =

˜h(s) = f (s)˜

Sử dụng phép biến đổi Laplace ngược ta tìm được giá trị của h(t)

1.5 Sử dụng phép biến đổi Laplace 15

Chú ý 1.3 Từ phương trình đại số1.125, ta suy ra được biểu thức hàm mật độ f như

là hàm mật độ tái tạo h Trong phép biến đổi Laplace, ta có:

˜f(s) = ˜h(s)

Phép biến đổi Laplace ngược cho ta một hàm của h

Điều này dẫn đến kết quả quan trọng là mỗi quá trình tái tạo (nếu có) được đặc trưng

bởi mật độ tái tạo của nó hoặc bởi hàm tái tạo của nó Như vậy, có sự tương ứng một-một

giữa hàm phân phối F của hàm tái tạo và hàm tái tạo H của nó

Ví dụ 1.3 (Quá trình Poisson) Xét lại ví dụ1.2 Từ hệ thức1.43, ta được

Trường hợp này ta có phép biến đổi Laplace ˜f:

˜f(s) = λ

Theo đó quá trình Poisson là duy nhất cho loại mà có hàm tái tạo tuyến tính

Kết quả này đã được trình bày trong ví dụ1.2 Trong trường hợp này, các kết quả của

hệ quả1.13và1.14là chính xác

1.5.2 Phép biến đổi Laplace Stieltjes (L-S)Phép biến đổi L-S tổng quát hơn phép biến đổi Laplace Thực vậy, cho hàm α xác địnhtrên [0, ∞), ¯α là phép biến đổi L-S của nó và có dạng:

¯α(s) =

¯H(s) = F (s)¯

hệ thức trên tương đương với hệ thức1.126nếu ta không thừa nhận sự tồn tại hàm mật

độ của F Hiển nhiên nếu tồn tại hàm mật độ thì từ1.136ta có:

1.5 Sử dụng phép biến đổi Laplace 17

1.5.3 Một ứng dụng đối với hàm tái tạo

Từ ví dụ1.3, ta biết rằng H tuyến tính khi và chỉ khi quá trình tái tạo là Poisson:

H(t) = λt ⇔ F (x) = 1 − e−λx, x ≥ 0 (1.153)Nếu nhân H(t) với hằng số µ thì hàm

vẫn là một hàm tái tạo Chính xác hơn, H1tương ứng với hàm phân phối F1cho bởi:

Tổng quát hơn, Daley (1965) xét vấn đề là nhân một hàm tái tạo H với hằng số α nếu

có thể, để mô tả đặc điểm cho một quá trình tái tạo mới Ta có mệnh đề sau:

Mệnh đề 1.15 (Daley (1965)) Nếu H là một hàm tái tạo, thì hàm αH với hằng số α

thuộc [0, 1] vẫn là hàm tái tạo tương ứng với hàm phân phối Fαsau:

Rõ ràng hàm Fαlà một hàm không âm và không giảm xác định trên [0, α), như vậy:

Bây giờ ta xét thời điểm của lần thay đổi đầu tiên sau thời gian t Nó được cho bởi

SN 0 (t).Bổ đề Wald tính giá trị trung bình của biến ngẫu nhiên này

Mệnh đề 1.16 (Bổ đề Wald )

1.6.2 Chặn dưới của hàm tái tạo R

Hệ quả 1.17 Với mọi t dương ta có

R(t) ≥ t

Chứng minh Theo định nghĩa N0(t), ta có:

Mệnh đề 1.18 (Luật mạnh số lớn) Nếu m < ∞ thì hầu như chắc chắn rằng:

1.7 Dáng điệu tiệm cận của quá trình N(t) 21

Như vậy kết quả của mệnh đề là do từ1.188và từ kết quả giới hạn cổ điển của dãy

Mệnh đề 1.19 (Định lí giới hạn trung tâm) Nếu σ2

< ∞, thì với mọi y ∈ R :

lim

t→∞P N(t) − tmp

σ2tm3 ≤ y

!

trong đó Φ là hàm phân phối chuẩn

Chứng minh Ta biết rằng các tuổi thọ X1, X2, , Xn, liên tiếp của quá trình tái tạo là

độc lập cùng phân phối và có phương sai hữu hạn Như vậy, ta có thể áp dụng định lí giới

hạn trung tâm cổ điển cho dãy tổng riêng (Tn, n ≥ 0), khi đó:

Bây giờ ta xét sác suất của thành phần đầu tiên trong đẳng thức1.195 Ta có:

σ2tm3 =nm − t

σ√t

√

=nm − t

σ√n

rnm

Nếu n → ∞ và t → ∞, theo hệ thức1.197và1.201thì lượng bên trên sẽ tiến đến −y:

lim

t→∞P N(t) − tmp

bởi tính chất của hàm phân phối chuẩn

Chú ý 1.6 Từ mệnh đề1.19, ta có xấp xỉ cho số lớn t như sau:

var(N(t) ∼ σ

2

là kết quả của sự rút gọn của1.122

Ví dụ 1.5 (Áp dụng cho lý thuyết thống kê) Vấn đề sau chỉ ra rằng mệnh đề1.19có thểdẫn đến các kết quả ứng dụng Một thiết bị kĩ thuật có tuổi thọ ngẫu nhiên trung bình

là m = 100 giờ và có độ lệch chuẩn là σ = 60 giờ Với lý do an toàn, các thay thế phảiđược thực hiện liên tục không đựơc gián đoạn trong suốt 8000 giờ Số lượng của các thiết

bị được thay thế vào hệ tại thời điểm 0 để không có sự gián đoạn nào với xác suất 0.95 làbao nhiêu?

Từ1.193, ta có:

P

N(8000) − 8000100

60√80001000000 ≤ 1.65



Hoặc

PN(8000) ≤ 80 + 165.0.6.√0.008

∼

Như vậy, ta có

P (N(8000) ≤ 80 + 9) ∼= 0.95 (1.212)

1.8 Các thời điểm hồi quy 23

Do đó số lượng các thiết bị dự trữ tại thời điểm 0 ít nhất là 89

Ở đây con số 89 có thể tìm ra bằng cách tính toán như trên nhưng thường dùng quy

tắc tỉ sốtµ =8000

100 = 80, ta cộng thêm 10% an toàn ta có 88 gần với kết quả tối ưu trên.

1.8 Các thời điểm hồi quy

1.8.1 Định nghĩa

Xét quá trình tái tạo (Tn, n ≥ 0) được đặc trưng bởi hàm phân phối F của giá trị trung

bình m Tại thời điểm t dương, ta biết rằng tuổi thọ của XN(t)+1hoặc XN(t)là:

Trong giới hạn của quá trình thay thế, thành phần chịu tác động tại thời điểm t có độ

tuổi δ(t) cho bởi

Ta sẽ sử dụng các thuật ngữ sau: biến ngẫu nhiên δ(t), γ(t) và XN(t)+1được gọi là tuổi,

tuổi thọ còn lại và thời gian tồn tại

Hình 1.2: Tuổi, tuổi thọ còn lại và thời gian tồn tạoCác biến ngẫu nhiên này hay chính xác hơn là các quá trình ngẫu nhiên này thì có ích

cho nhiều ứng dụng Ví dụ, ta có thể tính toán được xác suất mà thiết bị bắt đầu hoạt

động tại thời điểm t và không hư hỏng trong suốt khoảng thời gian [t, t + τ], ta tính phải

tính được xác suất sau:

1.8.2 Hàm phân phối của số lần hồi quyTrước hết ta đưa ra hàm phân phối của các biến ngẫu nhiên δ(t), γ(t) và XN(t)+1với mọi

t Kế đến, ta sẽ nghiên cứu về dáng điệu tiệm cận của các hàm phân phối này tức là khi ttiến dần ra +∞

Mệnh đề 1.20 (Phân phối của tuổi (δ(t))) Nếu Fδ(t)là hàm phân phối tuổi δ(t) thì:

Fδ(t)(x) − Fδ(t)(t − 0) = 1 − F (t), (1.219)

Fδ(t)=Z

1.8 Các thời điểm hồi quy 25

Hoặc tương đương:

quả1.227cho quá trình Poisson ta có:

là kết quả tự nhiên nếu ta nhớ “tính không nhớ” của phân phối mũ

Mệnh đề 1.22 (Phân phối của thời gian tồn tại) Nếu FX N(t)+1 là hàm phân phối của

thời gian tồn tại XN(t) thì ta có:

Giả sử x > t Như vậy, thành phần chịu tác động tại thời điểm t vẫn là thành phần

đầu tiên Trong trường hợp này, xác suất của biến cố được xét là F (x) − F(t)

Một khả năng khác đó là tồn tại ít nhất một sự tái tạo trước hoặc tại thời điểm t.Nếu ta giả sử thành phần chịu tác động vào thời điểm t đã được đưa vào hệ thống trongkhoảng thời gian từ u đến u + du, ta phải tính xác suất mà thành phần này có tuổi thọtrong khoảng (t − u, x) Kết quả này kết hợp với chứng minh xác suất của hàm tái tạo cho

ta tích phân của1.229 Hiển nhiên, nếu x ≤ t thì nhất thiết sẽ có ít nhất một sự tái tạotrước hoặc tại thời điểm t và xác suất của biến cố XN(t)+1≤ x được cho bởi tích phân.Chú ý 1.10 Áp dụng hàm tái tạo R được xác định bởi hệ thức1.20, ta có kết quả của1.227như sau

Thừa nhận rằng hàm H và R bằng 0 với đối số có giá trị âm

Hệ quả 1.23 Nếu F có đạo hàm là f thì FXN(t)cũng có đạo hàm là fXN(t)và :

fXN(t)=



f (x)[M(t) − M(t − x)] nếu x ≤ t

f (x)[M(t) − M(t − x)] + f(x) nếu x > 1 (1.231)Chứng minh Hệ quả này là hệ quả đơn giản của công thức mà cho ta đạo hàm của hàmλ(x) theo x, được định nghĩa:

Mệnh đề tiếp theo cho ta dáng điệu tiệm cận của hàm phân phối Fδ(t), Fγ(t)và FXN(t)+1.Mệnh đề 1.24 Nếu m hữu hạn thì với mọi x dương:

1.8 Các thời điểm hồi quy 27

Chứng minh

(i) Từ biểu đồ1.2ta có thể viết

P (δ(t) ≤ x) = P (γ(t − x) ≤ x) (1.236)hoặc

Fδ(t)(x) = Fγ(t−x)(x) (1.237)Với bất kì hàm g và x cố định ta có:

[1 − F (max{x, u})] du (1.252)

Áp dụng tích phân từng phần và với khai triển sau đây, tích phân này được biến đổithành:

1.8 Các thời điểm hồi quy 29

Hệ quả 1.25 Nếu m hữu hạn thì :

(i) Phân phối hữu hạn Fδcủa Fδ(t)và Fγ(t)có hàm mật độ fδđược cho bởi

(i) Biểu đồ bên dưới chỉ rõ sự tương đương của các biến cố

Hình 1.5: Phân tích các biến cố tuổi thọ và tuổi thọ còn lại

{ω: γ(t, ω) > x, δ(t, ω) > y} (1.261)và

Chính xác hơn, đặt (Xn, n ≥ 1) là dãy các biến độc lập độc lập không âm, G là hàmphân phối của tất cả các biến ngẫu nhiên khác

Dãy tương ứng (Tn, n ≥ 0), với

được gọi là dãy tái tạo trì hoãn hoặc quá trình tái tạo trì hoãn

Rõ ràng, định nghĩa cổ điển của quá trình tái tạo có thể được mở rộng cho trường hợpquá trình tái tạo trì hoãn Ví dụ nếu Hd(t) là hàm tái tạo của quá trình tái tạo trì hoãn

và nếu đặt điều kiện là X1= x, thì ta có:

Hd(t|X1= x) =



1 + H(t − x) nếu x ≤ t (1.272)trong đó H là hàm tái tạo kết hợp với hàm phân phối F Khi đó, với định nghĩa:

1.9 Quá trình tái tạo trì hoãn và quá trình tái tạo dừng 31

Vì thế nếu biết được hàm tái tạo H muốn tính Hdthì ta chỉ cần tính tích chập

Khái niệm quá trình tái tạo trì hoãn này đựơc trình bày bởi vì nó giải thích rằng nếu

một quá trình tái tạo được khảo sát và nó đang hoạt động trong một khoảng thời gian

dài thì biến đầu tiên X1được khảo sát là tuổi thọ còn lại γ tại thời điểm bắt đầu của quá

trình khảo sát Ta có thể giả sử rằng hàm phân phối giới hạn của γ được cho bởi1.234

Hiển nhiên, các biến ngẫu nhiên Xn,n ≥ 2 còn lại có hàm phân phối F

Như vậy ta có quá trình tái tạo trì hoãn riêng cho nó là

G(x) = 1m

x

Z

0

Quá trình như vậy được gọi là quá trình tái tạo dừng

Hai kết quả chính, liên quan đến quá trình tái tạo dừng, có liên quan đến hàm tái tạo

Hvà hàm phân phối tuổi thọ còn lại

Mệnh đề 1.27 Với mỗi quá trình tái tạo dừng được đặc trưng bởi hàm phân phối (G, F )

với giá trị trung bình hữu hạn m cho f, với mọi t ta có:

Hs(t) = t

Hslà hàm tái tạo của quá trình tái tạo dừng

Chứng minh Nếu áp dụng phép biến đổi Laplace Stieltjes cho cả hai vế của1.276ta được:

1.9 Quá trình tái tạo trì hoãn và quá trình tái tạo dừng 32

Từ1.277và tính chất của phép biến đổi L-S, ta được:

G(s) = 1m

1 − F (s)

Thay H(s) và G(s) bằng1.282và1.285vào đẳng thức1.279ta được:

H(s) = 1m

1 − F (s)s

Bây giờ, đặt γs(t) là tuổi thọ còn lại tại thời điểm t với quá trình tái tạo dừng và khiđó:

Fc

s (t)(x) = 1 − Fγ s(x) (1.290)Mệnh đề 1.28

(i) Mỗi quá trình tái tạo dừng được đặc trưng bởi hàm phân phối (G, F ) có giá trị trungbình hữu hạn m cho F và với mọi t ta được:

1.9 Quá trình tái tạo trì hoãn và quá trình tái tạo dừng 33

Chứng minh (i) Điều kiện cho giá trị của X1

(t) Hàm cuối này có được từ mệnh

đề1.21và theo1.222có thể được viết lại dưới dạng:

Fc

s (t)(x) = 1 − G(t + x) + Fx• G(t) + Fx• H • G(t) (1.301)hoặc

(ii) Với mệnh đề1.27, trong trường hợp dừng, hệ thức1.303trở thành:

Hệ quả 1.29 Với mỗi quá trình tái tạo dừng và với mọi t ta có:

(i)

Fc (t)(x) = 1m

vì biến cố {ω : t > X1(ω)} là tiệm cận của xác suất 1 Như vậy hàm phân phối của XN(t)+1

độc lập với t, kết quả1.310tương đương với1.313

Chú ý 1.11 Với biến ngẫu nhiên hai chiều (X, Y ), ta có

P (X ≤ x,Y ≤ y) = 1 − P (X > x) − P (Y > y) + P (X > x,Y > y) (1.314)

Ta có thể ứng dụng kết quả cơ bản này vào hàm phân phối đồng thời của (γ(t), δ(t)),

được cho bởi1.309 Khi đó ta có:

Phương trình tái tạo1.57có thể được giải trực tiếp (như đã trình bày trong các phần

trước) trong một số trường hợp đặc biệt hoặc được giải bằng phép biến đổi Laplace hay

Laplace Stieltjes cho các trường hợp còn lại

Bằng cách này, có thể giải phương trình tích phân1.57bằng phép giải tích Nhưng

trong phần lớn các ứng dụng thực tế phương trình giải được bằng mô hình thì không giải

được bằng các phương pháp giải tích Với các trường hợp này ta cần sử dụng phép xấp xỉ

số để giải phương trình tái tạo tổng quát1.57trong khoảng thời gian horizon bị chặn

Một cách để giải quyết vấn đề này là sử dụng phép biến đổi Laplace nhưng khi đó ta

cần phép biến đổi Laplace ngược để có được nghiệm của phương trình, nhưng ta biết rằng

phép biến đổi ngược này không ổn định về mặt số học Vì vậy, cách tốt nhất để giải1.57

là áp dụng phương pháp số cho phương trình tích phân mà không sử dụng phép biến đổi

Laplace

1.10.1 Phương pháp cầu phương tổng quát

Ta thừa nhận hàm mật độ f của F tồn tại Do đó ta phải giải phương trình tích phân

được cho bởi1.58

Công thức của phép cầu phương tổng quát được viết dưới dạng:

Trong đó h là độ dài bước nhảy, k ≤ N, k, N ∈ N, wk,l là các trọng số liên quan

đến công thức phép cầu phương1.316 Chúng là các hàm được tính giá trị tại cả điểm đầu

và điểm cuối

Ngoài ra, N là số sao cho hk = t,hN = Y và 0 ≤ t ≤ Y , Y mô tả độ dài thời gianhorizon

Phương pháp cầu phương tổng quát có nghĩa là giá trị của trọng số wk,lphụ thuộc vào

đa thức được sử dụng để xấp xỉ hàm lấy tích phân

Áp dụng kết quả1.316, ta có hệ thức xấp xỉ kết quả của1.58như sau:

ˆH(kh) = F (kh) +

k

X

l=0

wk,lH(kh − lh)f(lh); k = 1, , Nˆ (1.317)

trong đó ˆHlà giá trị xấp xỉ của hàm H

Bằng cách này, hệ tuyến tính sau có:

ˆ H(h) −w 1,0H(h)f (0)ˆ = w 1,1H(0)f (h) + F (h)ˆ ˆ

H(2h) −w 2,0 H(2h)f (0) ˆ −w 2,3 H(h)f (h) ˆ = w 2,2 H(0)f (2h) + F (2h) ˆ

ˆ H(kh) −w k,0H(kh)f (0)ˆ −wk,1H((k − 1)h)f (h)ˆ · · · −wk,k−1H(h)f ((k − 1)h)ˆ = w k,kH(0)f (kh) + F (kh)ˆ

1.10 Dạng số 37

Đặt

ξk

(h) = ˆH(kh) − H(kh), k = 0,1,2, , N (1.326)trong đó H(kh) là nghiệm của1.57và ˆH(kh) là nghiệm của1.318

1.10.2 Một vài công thức đặc biệt

Trong phần này vài công thức của phương pháp số của phương trình tái tạo sẽ được trình

bày Công thức1.317sẽ liên quan đến công thức tổng quát riêng Newton-Cotes

Phương trình có được từ phép cầu phương Simpson là:

ˆ

H(kh) = F (kh) +h

3H(kh)f (0) +ˆ

4h3

k2X

τ=1

ˆH(kh − (2τ − 1)h)f((2τ − 1)h)

+2h3

k

2−1X

τ=1

ˆH(kh − 2τh)f(2τh) +h3H(0)f (kh).ˆ (1.334)

Áp dụng công thức Bezout ta được:

Cuối cùng, áp dụng phương pháp phép cầu phương (công thức hình chữ nhật), ta đượchai công thức khác: một cho ta giá trị hàm tích phân tại thời điểm ban đầu và thứ hai cho

ta vào thời điểm cuối của khoảng thời gian được xét

Bằng cách này, ta được các hệ thức sau:

ˆH(kh) = F (kh) + h

k

X

τ=1

ˆH(kh − τh)(F (τh) − F ((τ − 1)h)), (1.338)

ˆH(kh) ∼= F (kh) +

k−1

X

τ=0

ˆH(kh − τh)(F ((τ + 1)h) − F ((τ)h)) (1.339)Trong1.338ta giả sử h = 1 thì:

ˆH(k) ∼= F (k) +

k

X

τ=1

ˆH(k − τ)(F (τ) − F (τ − 1)) (1.340)Hơn nữa, đặt:

Bây giờ ta đặt H là hàm tái tạo với thời gian liên tục và {Tn} là các thời điểm tái tạo.Nếu ta đặt:

1.10 Dạng số 39

Định lý 1.33 Quá trình Thhội tụ đến Tnvới ∀w khi h → 0

Chứng minh Theo các định nghĩa đã được nêu trong mục1.10.2và hệ thức1.345ta có:

hcc

1.10.3 Ví dụ thực tế về tai nạn ô tô

a) Mô tả dữ liệu

Trong phần này phương trình tái tạo được ứng dụng cho dữ liệu thực trong thống kê bảo

hiểm Chúng ta hy vọng rằng quá trình tái tạo có thể được ứng dụng cho trường hợp tổng

quát với dữ liệu từ quan sát thống kê Trong trường hợp này ta sử dụng công thức được

cho bởi hệ thức1.342

Ta áp dụng thuyết tái tạo cho trường hợp tai nạn xe Trong một hợp đồng bảo hiểm

xe mỗi lần người được bảo hiểm gặp tai nạn, công ty bảo hiểm sẽ trả tiền tổn thất cho

họ Điều đó có nghĩa là khi xe được bảo hiểm mang đi sữa chữa thì đó chính là được tái

tạo Tại thời điểm bắt đầu của hợp đồng thì thuyết tái tạo cũng được áp dụng Ta có dữ

liệu tai nạn thô của một công ty bảo hiểm được theo dõi trong 50 năm Từ dữ liệu này ta

có thể xây dựng hàm phân phối tăng dần với thời gian tái tạo rời rạc về tai nạn xe Nói

chung, ta có dữ liệu của 156.428 người mua bảo hiểm và trong số họ 22.395 người có ít

nhất một lần bị tai nạn trong thời gian mua bảo hiểm Trong hồ sơ không có dữ liệu liên

quan đến ngày mua bảo hiểm

Ta xây dựng hai vector Vector thứ nhất đếm số lượng người được bảo hiểm mà lần

thứ hai bị tai nạn trong vòng 1 năm, 2 năm, kể từ lần đầu tiên Vector thứ hai ta đếm

số người được bảo hiểm bị tai nạn lần thứ ba trong 1 năm, 2 năm, kể từ lần thứ 2

Chính xác hơn, tại thời điểm ban đầu, ta đặt tất cả các phần tử của hai vector là 0 Ta

thêm 1 tại phần tử thứ n của vector đầu tiên khi tai nạn lần thứ hai được xác định sau

n − 1 và trước n năm kể từ lần tai nạn đầu tiên

Tương tự vậy, ta thêm 1 tại phần tử thứ n của vector thứ hai khi tai nạn lần thứ ba

được xác minh sau n − 1 và trước n năm kể từ tai nạn lần thứ hai Cuối cùng, phần tử

thứ n của hai vector sẽ đưa ra số tai nạn trong suốt năm thứ n từ năm trước đó

Kết quả thu được sẽ được trình bày trong bảng 1.1 Ví dụ, số 1.576 ở hàng thứ ba

trong bảng mô tả số tai nạn lần thứ hai xảy ra sau hai năm và trước năm thứ ba kể từ tai

nạn đầu tiên và tương tự số 226 mô tả số tai nạn lần thứ ba xảy ra sau hai năm và trước

năm thứ ba sau tai nạn lần thứ hai

Trong bảng1.2ta trình bày số lượng trung bình và phương sai hằng năm liên quan đến

ba phân phối của bảng1.1

1-2 2-3 1-2 + 2-3Trung bình 5.3453 5.8676 5.4293Phương sai 10.8680 11.7207 11.0421Bảng 1.2: Trung bình và phương sai hằng năm của cáctai nạn

1.10 Dạng số 41

Trong bảng1.3, ta trình bày phân phối thực nghiệm của ba vector trong bảng1.1 Các

kết quả trong cột có được là do chia mỗi ô cho tổng số tai nạn xảy ra trong vector (phần

tử cuối cùng) Mặc dù giá trị trung bình và phương sai không bằng nhau nhưng biểu đồ

có được từ bảng1.3có dạng giống như quá trình Poisson

i) Cả ba phân phối đều có cùng dạng

ii) Các phân phối này có dạng Poisson nhưng phương sai xấp xỉ gấp đôi giá trị trungbình

iii) Giá trị trung bình và phương sai của hai cột đầu tiên trong bảng1.1là tương tựnhau

Do đó, ta có thể nói rằng giả thiết tái tạo là chấp nhận được vì chúng đồng dạng và cócùng tham số của hai phân phối đầu tiên Ta có thể giả sử rằng sau một tai nạn quá trìnhđược tái tạo và chế độ của người được bảo hiểm là giống nhau Để có được dữ liệu đángtin cậy hơn ta gộp các phân phối thứ nhất và thứ hai lại với nhau ta sẽ có cột thứ ba chomỗi bảng

a) Phân phối kết quảBây giờ ta xét tần số trong cột cuối cùng của bảng1.3như xác suất mà một tai nạn mớixảy ra sau n − 1 và trước n năm kể từ tai nạn trước Kết quả thứ n được xem như mộtước lượng xác suất sẽ có một tai nạn sẽ xảy ra giữa năm n − 1 và n, ít nhất là một tainạn, như đã nói ở trên, ta không có dữ liệu liên quan đến dữ liệu của hợp đồng bảo hiểmđầu tiên

Ta xét khoảng thời gian giữa hai lần xảy ra tai nạn Các giá trị được nêu trong cộtthứ hai là xác suất có điều kiện của biến cố có ít nhất một tai nạn như đã được trình bàytrước đó Áp dụng mô hình tái tạo ta cần xây dựng hàm phân phối cho xác suất có mộttai nạn trong vòng n năm

Xác suất có ít nhất một tai nạn (được cho bởi dữ liệu thô) là ta chia số lượng người bị

ít nhất một tai nạn (22.395) cho tổng số người có bảo hiểm (156.428)

Với 9.806 là số tai nạn xảy ra sau khi đã từng bị tai nạn

Ta định nghĩa các biến cố sau cho người được bảo hiểm:

A: biến cố có ít nhất hai tai nạn trong suốt thời gian khảo sát

Bn: biến cố một tai nạn khác xảy ra sau năm thứ n − 1 và trước năm thứ n kể từ tainạn trước

C: có ít nhất một tai nạn trong suốt thời gian kí hợp đồng (xác suất: 22.395/156.428

= 0,14316)

Ta hy vọng có thể ước lượng được các xác suất sau cho các tai nạn xảy ra liên tiếp Dn:

có một tai nạn sau năm thứ n − 1 và trước năm thứ n kể từ ngày kí hợp đồng bảo hiểmhoặc từ tai nạn trước đó

Phần tử thứ n trong cột thứ hai của bảng1.3bằng với cột thứ tư trong bảng1.2cógiá trị như sau:

Bảng 1.4: kết quả tái tạo của tai nạn

Trong cột thứ tư của bảng này, hàm phân phối tăng có được bởi các thành phần của

cột thứ ba Trong trường hợp này, thành phần thứ n mô tả xác suất xảy ra tai nạn đầu

tiên trong vòng n năm Các dữ liệu này mô tả hàm phân phối trong phương trình tái tạo

với thời gian rời rạc để ước tính số lượng tai nạn trung bình của một người có bảo hiểm

trong 1, 2, , n năm Giải phương trình tái tạo với thời gian rời rạc (36) ta được kết quả

trình bày ở cột cuối cùng trong bảng1.3

Ở đây các kết quả cho ta số lượng tai nạn trung bình là thấp Với dữ liệu được sử dụng

là thực, được cung cấp bởi công ty bảo hiểm và hơn nữa đây là kết quả kết hợp với giátrị xác suất có ít nhất một tai nạn xảy ra trong suốt thời gian bảo hiểm, như ta đã nêu ởtrên là 0,14316

Chương 2

Xích Markov

2.1 Tính Markov

2.1.1 Định nghĩa tính Markov

Giả sử chúng ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lí hoặc sinh thái

nào đó (có thể là phân tử, hạt cơ bản, người hoặc một sinh vật nào đó, ) Kí hiệu X(t)

là vị trí của hệ tại thời điểm t Tập hợp các vị trí có thể có của hệ được gọi là không gian

trạng thái Giả sử trước thời điểm s hệ ở trạng thái nào đó, còn ở thời điểm s hệ ở trạng

thái i Ta cần biết tại thời điểm t trong tương lai (t > s)hệ ở trạng thái j với xác suất

bao nhiêu? Nếu xác suất này chỉ phụ thuộc vào s, t, i, j thì điều này có nghĩa là: sự tiến

triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc lập với quá khứ Đó là tính

Markov Hệ có tính chất này gọi là quá trình Markov

Chẳng hạn, nếu gọi X(t) là dân số tại thời điểm t (trong tương lai), thì có thể xem

X(t) chỉ phụ thuộc vào dân số hiện tại và độc lập với quá khứ Nói chung, các hệ (sinh

thái, vật lý hoặc cơ học, ) không có trí nhớ hoặc sức ỳ, là những hệ có tính Markov

Ta kí hiệu E là tập gồm các giá trị của X(t)và gọi E là không gian trạng thái của

X(t) Nếu X(t)có tính Markov và E đánh số được (đếm được), thì X(t) được gọi là xích

Markov Thêm vào đó, nếu t = 0, 1, 2 thì ta có khái niệm xích Markov với thời gian rời

rạc, còn nếu t ∈ [0; ∞) thì ta có khái niệm xích Markov với thời gian liên tục

Về phương diện toán học, tính Markov được định nghĩa như sau:

Định nghĩa 2.1 (Tính Markov) Ta nói rằng X(t) có tính Markov nếu:

P {X(tn+1) = j|X(t0) = i0, , X(tn−1) = in−1, X(tn) = i} =

= P {X(tn+1) = j|X(tn) = i}

với bất kì t0< t1< < tn< tn+1< và i0, , in−1, i, j ∈ E

Ta xem tnlà hiện tại, tn+1là tương lai, (t0, t1, , tn−1) là quá khứ Vì thế biểu thức

trên chính là tính Markov của X(t)

Đặt p(s, i, t, j) = P {X(t) = j|X(s) = i} , (s < t) Đó là xác suất có điều kiện để hệ

(hay quá trình) tại thời điểm sở trạng thái i, đến thời điểm t chuyển sang trạng thái j Vì

thế ta gọi p(s, i, t, j) là xác suất chuyển của hệ (hay quá trình)

Nếu xác suất chuyển chỉ phụ thuộc vào (t − s), tức là, p(s, i, t, j) = p(s + h, i, t + h, j),

thì ta nói hệ (hay quá trình) là thuần nhất theo thời gian

2.1.2 Các ví dụ

Ví dụ 2.1 Cho ξ0, ξ1, , ξn, là dãy biến ngẫu nhiên (đại lượng ngẫu nhiên) rời rạc,độc lập, Eklà tập hợp các giá trị của ξk,Ekhữu hạn hay đếm được (k = 0, 1, , n, ).Đặt E = ∞S

Các xích Markov ở ví dụ2.1và2.2trên là không thuần nhất

Nếu trong ví dụ2.1cho ξ0, ξ1, , ξn, là dãy biến ngẫu nhiên rời rạc, độc lập và cùngphân phối xác suất, thì (ξn; n = 0, 1, 2, ) là xích Markov thuần nhất và ngược lại.Trong ví dụ2.2, nếu cho η1, η2, , ηn, là dãy biến ngẫu nhiên rời rạc, độc lập vàcùng phân phối xác suất, thì (Xn; n = 1, 2, ) là xích Markov thuần nhất Thật vậy, bằnglập luận như trên ta có

P {Xn+h= j|Xn= i} = P {ηn+1+ ηn+2+ + ηn+h= j − i}

= P {η2+ η3+ + ηh+1= j − i}

= P {Xh+1= j|X1= i}

với mọi n = 1, 2, ; h = 1, 2, ; j, j ∈ E ⊂ N

2.2 Định nghĩa xích Markov 47

2.2 Định nghĩa xích Markov

Xét một hệ kinh tế hoặc vật lí S với m trạng thái có thể, được mô tả bởi tập hợp I :

Đặt S là hệ được tạo ra ngẫu nhiên với thời gian rời rạc (t = 0,1,2, ,n, ) và Jnlà

biến ngẫu nhiên mô tả trạng thái của hệ S tại thời điểm n

Định nghĩa 2.2 Dãy ngẫu nhiên (Jn,n ∈ N) là một xích Markow khi và chỉ khi với mọi

j0, j1, , jn∈ I :

P (Jn= jn|J0= j0, J1= j1, , Jn−1= jn−1) = P (Jn= jn|Jn−1= jn−1) (2.2)

(với xác suất này có nghĩa)

Định nghĩa 2.3 Một xích Markow (Jn,n ≥ 0) là thuần nhất khi và chỉ khi xác suất2.2

không phụ thuộc vào n và không thuần nhất trong các trường hợp khác Tạm thời, ta chỉ

Ma trận P thỏa mãn hai điều kiện trên được gọi là ma trận Markov hoặc ma trận

chuyển Với mỗi ma trận chuyển, ta có thể kết hợp với một mạch chuyển có đỉnh mô tả

các trạng thái Có một cung nằm giữa hai đỉnh i và j khi và chỉ khi pij> 0

Hình 2.1:

Để định nghĩa đầy đủ cho sự thác triển xích Markov cần cố định phân phối ban đầu

cho trạng thái J0,có nghĩa là vectơ

Bây giờ ta xét xác suất chuyển p(n)

ij ,được định nghĩa như sau:

2.2 Định nghĩa xích Markov 49

thì hệ thức2.19đúng với mọi n ≥ 0 Nếu

p(n) = (p1(n), , pm(n)) (2.21)thì hệ thức2.19, sử dụng kí hiệu ma trận, trở thành:

p(n) = pPn

Định nghĩa 2.4 Ma trận Markov P chính quy nếu tồn tại một số nguyên dương k, sao

cho mọi phần tử của ma trận P(k)đều dương

Từ hệ thức2.17, P chính quy khi và chỉ khi tồn tại một số nguyên dương k sao cho

mọi phần tử của ma trận P lũy thừa k đều dương

Ví dụ 2.3

i) Nếu

P=

.5 5

1 0



(2.23)thì

P2=

.75 25.5 5

2314

34



 và



.7 2 1.6 2 2.4 1 5



2.3 Phân loại trạng thái xích Markov2.3.1 Các trạng thái tuần hoàn và không tuần hoànĐặt i ∈ I và d(i) là ước số chung lớn nhất của tập hợp số nguyên n, như vậy

Định nghĩa 2.5 Nếu d(i) > 1 thì trạng thái i được gọi là tuần hoàn với chu kì d(i) Nếud(i) = 1 thì trạng thái i là không tuần hoàn Rõ ràng, nếu pii> 0 thì i là không tuần hoàn.Tuy nhiên, ngược lại là không đúng

Chú ý 2.1 Nếu P chính quy thì mọi trạng thái đều không tuần hoàn

Định nghĩa 2.6 Một xích Markov với các trạng thái không tuần hoàn được gọi là mộtxích Markov không tuần hoàn

Sau này ta chỉ xét xích Markov loại này

2.3.2 Các trạng thái ước lượng và không ước lượng được – Tính tối giảnĐịnh nghĩa 2.7 Trạng thái i được gọi là hướng đến trạng thái j (kí hiệu i j) khi và chỉkhi có một số nguyên dương n sao cho

pn

i 6 j có nghĩa là i không hướng đến j

Định nghĩa 2.8 Trạng thái i và j được gọi là liên thông khi và chỉ khi i j và j i hoặc

j = i Ta kí hiệu i / j

Định nghĩa 2.9 Trạng thái i được gọi là ước lượng được khi và chỉ khi nó liên thông vớimọi trạng thái mà nó hướng đến Ngược lai, nó được gọi là không ước lượng được

2.3 Phân loại trạng thái xích Markov 51

Quan hệ / định nghĩa quan hệ tương đương bên ngoài không gian trạng thái I có kết

quả là một phân hoạch của I Lớp tương đương chứa trạng thái i được mô tả bởi C(i)

Định nghĩa 2.10 Một xích Markov được gọi là tối giản khi và chỉ khi có duy nhất một

lớp tương đương

Rõ ràng, nếu P chính quy thì xích Markov có cả tính tối giản và không tuần hoàn Một

xích Markov như vậy được gọi là ergodic

Dễ thấy rằng, nếu trạng thái i ước lượng được (không ước lượng được) thì mọi thành

phần của lớp C(i) là ước lượng được (không ước lượng được) (xem Chung (1960))

Định nghĩa 2.11 Một tập con E của không gian trạng thái I được gọi là đóng khi và chỉ

2.3.3 Trạng thái nhất thời và hồi quy

Định nghĩa 2.12 Cho các trạng thái i và j, với J0= i, ta định nghĩa biến ngẫu nhiên

τijlà thời gian chuyển đầu tiên đến trạng thái j như sau:

τij=



n nếu Jv6= j, 0 < v < n, Jn= j

∞ nếu Jv6= j với mọi v > 0 (2.32)

τijđược gọi là thời gian đến của trạng thái {j}, bắt đầu từ trạng thái i vào thời điểm

0

Giả sử:

fij(n)= P (τij= n|J0= i), n ∈ N0 (2.33)và

Với mọi j, ta định nghĩa dãy số lần quay lại trạng thái j (r(j)

n , n ≥ a) liên tiếp nhưsau:

Định nghĩa 2.13 Một trạng thái i được gọi là nhất thời (hồi quy) nếu quá trình tái tạoliên kết với số lần quay lại trạng thái i liên tiếp của nó là nhất thời (hồi quy)

Hệ quả trực tiếp của định nghĩa này là:

2.3 Phân loại trạng thái xích Markov 53

Mệnh đề 2.14 (Định lí khai triển) Không gian trạng thái I của bất kì xích Markov nào

cũng có thể được phân tích thành r(r ≥ 1) tập con C1, , Crcó dạng phân hoạch, như vậy

mỗi tập con Cichỉ là một trong các dạng sau:

a) Một tập đóng dương hồi quy ước lượng được

b) Một tập không đóng nhất thời không ước lượng được

Chú ý 2.2

1) Nếu một lớp không ước lượng được giảm đến trạng thái {i}, có hai khả năng:

a) Tồn tại một số nguyên dương N sao cho:

0 < pN

b) Trong trường hợp số N trong a) không tồn tại thì trạng thái i được gọi là trạng

thái không quay lại

2) Nếu trạng thái {i} có dạng một lớp ước lượng được thì

và trạng thái i được gọi là trạng thái hấp thu

3) Nếu m = ∞, có thể có hai dạng khác của lớp trong định lí khai triển:

a) Đóng nhất thời ước lượng được

b) Các lớp không đóng hồi quy ước lượng được

Tài liệu về xích Markov đưa ra các điều kiện cần và đủ sau cho trạng thái nhất thời và hồi

Nj(n) = #{k ∈ {1, , n} : Jk= j} (2.59)Theo định nghĩa, biến ngẫu nhiên Nj(n) được gọi là số lần xảy ra trạng thái j trong nphép chuyển đầu tiên

Biến ngẫu nhiên

được gọi là số lần xảy ra của trạng thái j

Với bất kì trạng thái j và n ∈ N0ta định nghĩa:

gij= P (Nj(∞) = ∞|J0= i) (2.64)Khi đó:

2.5 Tính xác suất hấp thu 55

2.5 Tính xác suất hấp thu

Mệnh đề 2.16

i) Nếu i hồi quy và j ∈ C(i) thì fij= 1

ii) Nếu i hồi quy và j /∈ C(i) thì fij= 0

hồi quy Như vậy, theo2.67gjj= 1 Từ2.70, với mọi n > 0:

Mệnh đề 2.17 Đặt T là tập hợp các trạng thái nhất thời của I, và đặt C là một lớp hồi

quy Với mọi j, k ∈ C ta có

Điều này nói rằng dáng điệu tiệm cận của xích Markov được trình bày bởi sự tồn tại

(hoặc không tồn tại) giới hạn của ma trận Pn Một kết quả chuẩn liên quan đến dáng điệu

tiệm cận của Pnđược cho nêu ở mệnh đề tiếp theo và được chứng minh ở Chung (1960),

Parzen (1962) hoặc Feller (1957)

Mệnh đề 2.19 Với bất kì xích Markov không tuần hoàn của ma trận chuyển P và số

lượng hữu hạn trạng thái, ta có:

a) Nếu trạng thái j là hồi quy (dương) thì

Hệ quả 2.21 (Trường hợp duy nhất rút gọn được) Nếu xích Markov của ma trận chuyển

P có một lớp C ước lượng được (đại lượng hồi quy dương) và T là tập hợp nhất thời, khi

đó ta có:

i) Với mọi

i,j ∈ C : limn→∞p(n)ij = πj (2.100)với {πj, j ∈ C} là nghiệm duy nhất của hệ:

lim

n→∞p(n)ij = πj với mọi i ∈ T (2.104)Chú ý 2.4 Hệ thức2.101và2.102đúng vì tập hợp các trạng thái hồi quy C có thể đượcxem như xích Markov phụ của xích ban đầu

Nếu trạng thái nhất thời thời ` thuộc tập hợp {1, , `}, sử dụng phép hoán vị của tậphợp I thì ma trận P có dạng sau:

1 l l + 1 m1

l

` + 1

2.6 Dáng điệu tiệm cận 59

Điều này chứng minh rằng ma trận phụ P22chính là một ma trận chuyển Markov

Bây giờ ta xét một xích Markov của ma trận P Trường hợp tổng quát được nêu bởi

một phân hoạch của I:

I = T[

C1

[ .[

trong đó T là tập hợp các trạng thái nhất thời và C1, , Crlà r lớp hồi quy dương

Sắp xếp lại thứ tự của các phần tử trong I, ta giả sử rằng

0

P`×v 1

Pv 1 ×v 1

0

· · ·

P`×v r

00

ví dụ đơn giản sau trong trường hợp nghiên cứu sự phát triển đầy đủ của một mảng bảohiểm xã hội

i) Cho ma trận P như sau



(2.119)

Ma trận P là chính quy nên tối giản và không tuần hoàn

Phân phối giới hạn (π1,π2) thỏa mãn hệ2.87và2.88:

2.7 Các ví dụ 61

ii) Bài toán chuyển (Anton-Kolman (1978))

Ta xét một công ty taxi của một thành phố V , ta chia thành phố ra thành ba khu

vực V1, V2và V3 Một xe taxi có thể đón và đưa hành khách đến bất kì đâu trong ba

khu vực trên Ta có thể xem một xe taxi như một hệ vật lý S và có thể là một trong

ba trạng thái: khu vực V1, V2hoặc V3

Sự khảo sát về xe taxi hướng đến cấu trúc của một xích Markov với ba trạng thái

Xích Markov này có ma trận P như sau, ví dụ:

P =



0.5 0.4 0.10.3 0.6 0.10.2 0.1 0.7



ma trận này là chính quy, do đó tối giản và không tuần hoàn, với tất cả các phần tử

của nó đều dương

iii) Vấn đề quản lí của một công ty bảo hiểm

Một công ty bảo hiểm xe phân loại khách hàng thành ba nhóm:

G0: Khách hàng không xảy ra tai nạn nào trong cả năm

G1: Khách hàng bị tai nạn một lần duy nhất trong một năm

G2: Khách hàng bị tai nạn nhiều hơn một lần trong một năm

Ban thống kê của công ty quan sát thấy rằng sự chuyển đổi hàng năm của ba nhóm

này có thể được mô tả bởi xích Markov với không gian trạng thái {G0, G1, G2} và

Ta giả sử rằng mỗi năm công ty đưa ra 50.000 hợp đồng mới và muốn biết sự phân

phối của các hợp đồng này trong bốn năm kế tiếp Sau một năm, mỗi nhóm có kết

quả trung bình như sau:

+ Nhóm G0:50, 000 × 0.85 = 42, 500

+ Nhóm G1:50, 000 × 0.10 = 5, 000

+ Nhóm G2:50, 000 × 0.05 = 2, 500.

Các kết quả này chỉ là các phần tử dòng đầu tiên của ma trận P nhân với 50.000

Sau hai năm, nhân các phần tử dòng đầu tiên của ma trận P(2)với 50.000 ta được:

+ Nhóm G0: 36, 125

+ Nhóm G1: 8, 250

+ Nhóm G2: 5, 625

Tính toán tương tự ta đưa ra:

Sau 3 năm Sau 4 năm

Dạng của xích Markov với ma trận chuyển2.124, có lớp {1,2} là nhất thời và lớp {3}

là hấp thu Như vậy, theo hệ quả2.21ta có ma trận giới hạn

1: nhiên liệu dầu hỏa

Để giải quyết vấn đề này ta cần tính toán giá trị tiệm cận của P

Sơ đồ chuyển liên quan đến P cho ta ma trận là tối giản và không tuần hoàn Giải

hệ2.87,2.88ta được:

π1= 244, π2= 529, π3= 227 (2.127)

Đó là khoảng 24% cho nhiên liệu dầu, 53% cho gas và 23% cho điện

Chú ý 2.5 Nếu muốn biết trạng thái sau một hoặc hai sự biến đổi, có thể dùng hệ thức2.19với n = 1, 2, 3 và với P cho bởi:

2.8 Một trường hợp trong bảo hiểm xã hội (Janssen (1966)) 63

Ta thu được kết quả sau:

p(1)1 = 257 p(1)2 = 597 p(1)3 = 146

p(2)1 = 255 p(2)2 = 594 p(2)3 = 151

p(3)1 = 254 p(3)2 = 590 p(3)3 = 156

Kết quả cho ta thấy sự hội tụ của p(n)về π tương đối nhanh

2.8 Một trường hợp trong bảo hiểm xã hội (Janssen (1966))

Để tính toán tiền bảo hiểm và trợ cấp lương hưu cho các trường hợp bệnh nghề nghiệp

như nhiễm bụi silic, ta cần tính toán mức độ trung bình của bệnh tật vào thời điểm cho

trước Giả sử rằng ta có m mức độ bệnh tật: S1, , Sm, và cuối cùng là trả 100% lương

hưu nhưng chưa tính tiền tử

Theo Yntema, giả sử rằng người quyết định chính sách bảo hiểm có thể chọn từ mức độ

Siđến Sjvới xác suất pij Giả thiết này dẫn đến việc xây dựng một mô hình xích Markov

với ma trận m × m:

là ma trận chuyển liên quan đến mức độ bệnh tật

Các cá thể bắt đầu tại thời điểm 0 với Silà mức độ bệnh Mức độ trung bình của bệnh

tật sau bước chuyển thứ n là:

Giá trị này được tính bởi hệ quả2.22với i = 1, , m

Ví dụ 2.4 Dùng dữ liệu thực tế của bệnh nhiễm bụi silic, Yntema (1962) bắt đầu với các

mức độ nhiễm bệnh như sau: S1= 10%; S2= 30%; S3= 50%; S4= 70%; S5= 100% Sử

dụng dữ liệu ở Hà Lan, ông xét ma trận chuyển P sau:

2.8 Một trường hợp trong bảo hiểm xã hội (Janssen (1966)) 64

i) Tất cả các trạng thái đều không tuần hoàn

ii) Tập {S3, S4, S5} là một lớp ước lượng được (hồi quy dương)

iii) Các nút trạng thái 1 và 2 là các lớp nhất thời không ước lượng được

Do đó một xích Markov duy nhất rút gọn được có thể kết hợp được với ma trận P Vậy,

.05 · π5,.05 · π5,.9 · π5,

2.9 Phương pháp số giải bài toán tiệm cận 65

đây là kết quả của Yntema Hệ thức2.138chứng minh rằng mức độ trung bình của bệnh

tật độc lập với trạng thái ban đầu i

2.9 Phương pháp số giải bài toán tiệm cận

2.9.1 Thuật toán cho nghiên cứu xích Markov tiệm cận

Trong phần này ta trình bày một thuật toán hữu ích cho cách giải đầy đủ dáng điệu tiệm

cận của một xích Markov Nó sẽ diễn tả ví dụ về bảo hiểm xã hội được cho trong phần

trước Thuật toán, được đưa ra bởi De Dominics, Manca (1984b), hữu ích cho sự phân loại

trạng thái của xích Markov Nó thể hiện trên đồ thị mô tả các phép chuyển của quá trình

từ trạng thái này sang trạng thái khác Để biểu diễn các bước của thuật toán ta sẽ theo

ví dụ đã được nêu trong phần trước Đầu tiên, ta mô tả ngắn gọn lý thuyết đồ thị dạng

Christophidies (1975)

Đặt Γ là không gian trạng thái:

Γ = {x1, x2, , xm} (2.139)Trong đó nút ximô tả trạng thái thứ i Γ(xi) mô tả tập hợp các nút có thể đạt được

sau một bước đơn từ xi, ta nói rằng xj∈ Γ(xi)nếu có một cung nối trực tiếp từ xiđến xj

Γk

(xi) mô tả tập hợp các nút có thể đạt được từ xitheo một đường dẫn có độ dài k

Cuối cùng, R(xi) là tập hợp của tất cả các nút có thể đạt được từ xinghĩa là giả sử

Như có thể thấy trong bảng2.2, các phần tử của giá trị 1 là vị trí của các phần tử khác

0 trong ma trận chuyển2.133 A có thể được xem là ma trận Boolean Đặt:

C1= {1}, C2= {2}, C3= {3, 4, 5} (2.148)bây giờ nếu có thể xây dựng một hệ thức thứ tự riêng giữa các lớp Cs

Định nghĩa sau đựơc trình bày là: Cp≤ Cq⇔ Cp= Cqhoặc ∃ {xt1, , xt h} đường dẫncủa các trạng thái

xt 1∈ Cq,xt h∈ Cp (2.149)Nếu nó có thể đi từ lớp Cpđến lớp Cqthì điều đó có nghĩa là Cp≤ Cq Khi đó ta có: