ước lượng bayes trong mô hình hồi qui phi tuyến hữu hạn chiều

Trong đề tài sẽ trìnhbày cách xây dựng ước lượng bayes cho tham ẩn định vị, hơn thế nữa ta sẽ khảo sát môhình với giả thiết hàm ước lượng của tham ẩn định vị có tính ngẫu nhiên và cụ thế

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

TRẦN THẾ VŨ

ƯỚC LƯỢNG BAYES TRONG MÔ HÌNH HỒI QUI PHI TUYẾN HỮU

HẠN CHIỀU

Chuyên ngành: Lý thuyết xác suất và thống kê trong toán học

Mã số: 60 46 15

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:

PGS.TS TÔ ANH DŨNG

TP HỒ CHÍ MINH - 2011

LỜI CẢM ƠN

Lời đầu tiên, tôi xin gửi lòng biết ơn sâu sắc của tôi đến Thầy PGS.Tiến sĩ Tô AnhDũng về sự tận tình hướng dẫn, chỉ bảo của thầy đối với tôi trong suốt quá trình học tập

và hoàn thành luận văn

Tôi xin chân thành cảm ơn Nghiên cứu sinh Trần Võ Huy và các bạn Trần Minh Quang,Nguyễn Thành Tâm, Nguyễn Anh Triết, Nguyễn Thị Kim Loan đã đọc bản luận văn vàcho những ý kiến đóng góp xác đáng và quý báu giúp tôi hiểu sâu hơn

Tôi xin cảm ơn đến Quý Thầy Cô trong Hội đồng chấm luận văn đã dành thời gian quýbáu để tham dự hội đồng chấm luận văn

Tôi xin trân trọng cảm ơn Quý Thầy Cô trong và ngoài của Khoa Toán-Tin học TrườngĐại học Khoa học Tự nhiên thành phố Hồ Chí Minh, đã truyền đạt kiến thức và kinhnghiệm học thuật cho tôi trong suốt quá trình học tại trường

Xin trân trọng cảm ơn Ban Giám hiệu, các thầy cô phòng Quản lý Sau Đại học trườngĐại học Khoa học Tự nhiên thành phố Hồ Chí Minh đã tạo mọi điều kiện thuận lợi giúptôi hoàn thành chương trình học

Do kiến thức bản thân còn hạn chế cũng cần phải học tập thêm Kính mong sự đónggóp và chỉ bảo của Quý Thầy Cô

Cuối cùng, tôi xin dành những lời thân thương nhất gửi đến các thành viên của giađình tôi, những người đã luôn bên tôi những lúc khó khăn, luôn động viên, hỗ trợ và tạomọi điều kiện thuận lợi nhất để tôi học tập

Thành phố Hồ Chí Minh, tháng 6 năm 2011

TRẦN THẾ VŨ

Lời giới thiệu

Ước lượng Bayes là vấn đề cập nhật và thời sự hiện nay trong thống kê và đã được tiếp cậntheo nhiều hướng khác nhau Trong đề tại luận văn này ta sẽ tiếp cận ước lượng tham ẩnđịnh vị trong mô hình hồi qui phi tuyến hữu hạn chiều theo quan điểm giải tích hàm vàđây cũng là một bài toán quan trọng về mặt lý thuyết lẫn ứng dụng Trong đề tài sẽ trìnhbày cách xây dựng ước lượng bayes cho tham ẩn định vị, hơn thế nữa ta sẽ khảo sát môhình với giả thiết hàm ước lượng của tham ẩn định vị có tính ngẫu nhiên và cụ thế hơn làcấu trúc hàm lập ngẫu nhiên Dựa vào nội dung chính đó, đề tài phân thành bốn phần sau:

- Chương 1 : Kiến thức cơ bản về lý thuyết xác suất, độ đo

- Chương 2 và 3 : Nghiên cứu các hàm lập ngẫu nhiên và tổng các biến ngẫu nhiênkhông độc lập

- Chương4 : Nghiên cứu và phân tích ước lượng Bayes trong mô hình hồi qui phi tuyến

1 chiều, hữu hạn chiều và bước đầu khảo sát các ước lượng của tham ẩn định vị với cấutrúc ngẫu nhiên

- Phụ lục A, B : Cung cấp kiến thức cơ bản về thống kê Bayes và không gian Banach

Mục lục

1.1 Không gian topo 3

1.2 Cơ bản về lý thuyết độ đo, tích phân và xác suất 5

1.3 Sự hội tụ của các biến ngẫu nhiên và kỳ vọng có điều kiện 14

1.4 Độ đo xác suất trên không gian metric 16

1.5 Xích markov 18

2 Hàm lặp ngẫu nhiên 23 2.1 Cơ sở xây dựng hàm lặp ngẫu nhiên và điều kiện tồn tại phân bố xác suất dừng 23

2.2 Moment hình học co 29

2.3 Các ví dụ và ứng dụng 33

3 Giới hạn Berry-Esseen 38 3.1 Giới hạn Berry-Esseen 38

3.2 Các ví dụ ứng dụng 47

4 Ước lượng Bayes trong mô hình hồi qui 50 4.1 Tiêu chuẩn compact tương đối trong không gian hàm 50

4.2 Về sự tồn tại ước lượng Bayes trong cấu trúc thống kê 54

4.3 Ước lượng Bayes trong mô hình hồi qui phi tuyến 1 chiều 57

4.4 Ước lượng Bayes trong mô hình hồi qui phi tuyến r chiều 60

4.5 Ước lượng Bayes trong mô hình hồi qui phi tuyếnr chiều với ước lượng bị chặn của tham ẩn định vị là hàm ngẫu nhiên 65

A Cơ sở lý thuyết thống kê Bayes 70

i

Bảng ký hiệu

R Tập số thực

L1( ;F; P ); L1 Không gian các biến ngẫu nhiên khả tích

Lp( ;F; P ); Lp Không gian các biến ngẫu nhiên lũy thừ p khả tích

dp(x; y); p(x; y) Metric Prokhorov

1A Hàm chỉ tiêu tập A

F trường sinh bởi :

k kp Chuẩn trên không gian định chuẩn Lp( ;F; P ); Lp:B(X) đại số Borel

B(I; Rr) Không gian gồm các hàm h : I ! Rr đo được và bị chặn:L( ; );L( ; ) Hàm tổn thất

Pr ob Xác suất xảy ra

Chương 1

Kiến thức nền tảng

1.1 Không gian topo

Định nghĩa 1.1.1 Cho X là một tập hợp khác rỗng Một họ T các tập con của X đượcgọi là một topo trênX nếu T thỏa mãn 3 tiên đề sau đây :

Khi đó cặp (X; T ) được gọi là không gian topo xác định trên nền X

Định nghĩa 1.1.2 Một metric d trên tập X là một ánh xạ d : X X ! R sao cho :

1 Với mọi x; y 2 X ta có d(x; y) 0 và d(x; y) = 0 nếu và chỉ nếu x = y:

2 Với mọi x; y 2 X ta có d(x; y) = d(y; x):

3 Với mọi x; y; z 2 X ta có d(x; z) d(x; y) + d(y; z):

Ta ký hiệu là (X; d)

Định nghĩa 1.1.3 Giả sử(X; T ) là một không gian topo và x0 2 X Tập A X đượcgọi là lân cận củax0 nếu tồn tại tập mởU 2 T sao cho x0 2 U A Hiển nhiên nếu U 2 Tthì U là lân cận của mọi điểm của nó Tuy nhiên một lân cận của x0 chưa chắc là một tậpmở

Định nghĩa 1.1.4 Giả sử (X; T ) là một không gian topo và ; 6= B T Họ B đượcgọi là một cơ sở của topoT nếu với mọi G2 T tồn tại một họ B0 B sao cho G = S

A2B0

A:

Định nghĩa 1.1.5 Cho một họ V những lân cận của điểm x 2 X được gọi là một cơ

sở lân cận củax2 X nếu với mọi lân cận U của x đều tồn tại một lân cận H 2 V sao cho

x2 H U

Định nghĩa 1.1.6 Trong không gian topo được gọi là khả li (hay tách được) nếu trong

X tồn tại một tập con A hữu hạn hay đếm được và A trù mật khắp nơi (tập hợp trù mật)tức là A = X:

Định lý 1.1.1 Cho (X; d) là một không gian metric và T là topo sinh ra bởi metric dtức làT là họ tất cả các tập con của X mở đối với metric d Nếu (X; T ) là khả li thì nó cómột cơ sở đếm được

Định lý 1.1.2 Mọi không gian topo có một cơ sở đếm được đều khả li

3

làT1 không gian và với mọix2 X và mọi tập đóng F X sao cho x =2 F thì tồn tại cáctập mởU sao cho x2 U và tập mở V sao cho F V sao cho U\ V = ?:

Định lý 1.1.4 Giả sử X là một không gian chính quy và có một cơ sở đếm được Khi

đóX là metric hóa được tức là tồn tại một metric d trên X sao cho topo sinh bởi d trùngvới topo T

Định nghĩa 1.1.9 Cho (X ) 2I là một họ những không gian topo Đặt X là tíchDescartes của họ các tập hợp (X )

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

1.2 Cơ bản về lý thuyết độ đo, tích phân và xác suất

1.2.1 Lý thuyết độ đo, tích phân

Định nghĩa 1.2.1.1 Cho không gian 6= ?, F0 là các tập con trên F0 được gọi làđại số nếu thỏa

làF1 F2 hoặc _2

i=1Fi

Ta gọi ( 1 2;F1 F2) gọi là không gian tích của hai không gian ( 1;F1) và ( 2;F2):Định nghĩa 1.2.1.6 ChoC là lớp các tập con trên : Hàm ' xác định trên C và nhậngiá trị số

' : C! R8A 2 C; 9!x 2 R : '(A) = xđược gọi là hàm tập nhận giá trị số

- Hàm tập ' được gọi là hữu hạn khi '(A) <1; 8A 2 C:

- Hàm tập ' được gọi là không âm nếu '(A) 0;8A 2 C:

- Hàm tập ' được gọi là cộng tính hữu hạn nếu:

8fAigi=1;:::;n C:Ai\ Aj = ? với i 6= j; j = 1; :::; n và

- Hàm tập ' được gọi là cộng tính đếm được ( cộng tính) nếu:

Định nghĩa 1.2.1.7 Cho không gian đo được ( ;F) và một hàm xác định trên F

và nhận giá trị[0;1): được gọi là độ đo nếu là cộng tính

- được gọi là hữu hạn nếu ( ) <1

- được gọi là cộng tính hữu hạn nếu

8fAigi=1;:::;n F:Ai\ Aj = ? với i 6= j; j = 1; :::; n ; ta có

Cho không gian đo được( ;F) và là một độ đo trên( ;F):Khi đó ( ; F; ) được gọi

là không gian có độ đo hay là không gian đo Khi ( ) = 1 thì ( ;F; ) được gọi là khônggian xác suất

Các tính chất :

a) Nếu 9A 2 F sao cho (A) < 1 thì (?) = 0:

b) Tính cộng tính hữu hạn của độ đo

Định lý 1.2.1.1 Cho không gian đo ( ;F; ) và fAngn2N đo được Khi đó ta có

1 (limn!1inf An) limn!1inf (An):

2 Nếu (S1

n=1

An) < 1 thì limn!1sup (An) (limn!1sup An):

với limn!1inf An= S1

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

Định nghĩa 1.2.1.8 Cho không gian ( ;F; ) và tập A Ta nói A là tập khôngđáng kể ( không đáng kể hay không) nếu 9B 2 F sao cho A B và (B) = 0:Gọi L là lớp các tập N là tập không đáng kể tức là

Khi đó là độ đo nới rộng duy nhất của lên F ( jF = ):

c) ( ;F; ) là không gian có độ đo đủ

Định lý 1.2.1.5 Cho ( ;F), ; độ đo hữu hạn trên ( ;F), F0 là đại số trên ;(F0) = F Nếu = trên F0 thì = trên F

Định lý 1.2.1.6 (Định lý Carathéodory) Cho đại số F0 trên ; 0 là hàm tập

0 :F0 ! [0; 1] thỏa:

1 0 là hữu hạn trên F0

2 0 là cộng tính trên F0

Khi đó ta có thể nới rộng 0 thành độ đo duy nhất trên (F0):

Định nghĩa 1.2.1.9 Cho (R; B(R)) Khi đó hàm tập : B(R) ! [0; 1] gọi là độ đoLebesgue-Stieltjes nếu : (Ik) < 1; 8Ik khoảng giới nội trong R

Định nghĩa 1.2.1.10

F được gọi là hàm phân phối nếu F : R ! R thỏa :

1 F là hàm không giảm trên R

2 F là hàm liên tục trái8x 2 R:

3 F ( 1) = limx! 1F (x) = 0, F (+1) = limx!+1F (x) = 1:

Định lý 1.2.1.7

a Cho độ đo Lebesgue-Stieltjes Khi đó hàm F : R ! R được xác định bởi : F (b)

F (a) = [a; b);8a; b 2 R; a b là hàm phân phối

b Ngược lại, cho hàm phân phối F Khi đó được định nghĩa như sau :

(1) [a; b) = F (b) F (a):

(2) ( 1; a] = F (a) F ( 1); (a; +1) = F (+1) F (a):

(3) Đặt F0 là lớp các tập có dạng tổng hữu hạn các khoảng nửa hở bên phải.8A 2 F0; A =

thì là độ đo Lebesgue-Stieltjes trên (F0) = B(R):

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

Định nghĩa 1.2.1.11 Cho ( ;F); ( 0;F0) là hai không gian đo được Ta nói hàm

f : ( ;F) ! ( 0;F0) là đo được ( còn gọi f là F đo được) nếu :

8B 2 F0 : f 1(B)2 F () f 1(F0) F:

Trong trường hợp( ;F) = ( 0;F0) = (R; B(R)) và f : (R; B(R)) ! (R; B(R)) đo đượcthì f còn gọi là hàm Borel

Chú ý :

1 Nghịch ảnh của đại số là một đại số

2 Nếu f đo được thì f 1 (ảnh ngược của đại số) là đại số bé nhất làm cho

f đo được

3 Nếu X : ( ;F) ! (R; B(R)) là hàm đo được Khi đó X 1

(B(R)) được ký hiệu

là (X):

4 Nếu f : ( ;F) ! (R; B(R)) là hàm đo được thì khi đó người ta ký hiệu f 2

L0( ;F) là lớp các hàm đo được trên ( ; F):

5 Nếu f 2 L0( ;F) và ( ; F; ) là không gian có độ đo đầy đủ Khi đó f gọi là

đo được

6 Hợp 2 hàm đo được là đo được, công, trừ, nhân, chia (nếu xác định) của 2 hàm

đo được là đo được

7 Cho f : (R; B(R)) ! (R; B(R)) liên tục thì f đo được

Định lý 1.2.1.8 cho f : ! 0 C là lớp các tập con của 0 Khi đó

f 1( (C)) = (f 1(C)):

Định nghĩa 1.2.1.12 Cho không gian ( ;F; ) đầy đủ Ta nói P (!) đúng hầu khắpnơi nếu f! : P (!) không đúng g = 0: Tức là

9N 2 F : (N) = 0; P (!) đúng 8! 2 NChú ý :

1 Nếu f 2 L0( ;F; ) và f = g hầu khắp nơi thì g 2 L0( ;F; ):

2 Nếu ffngn2N L0( ;F; ); và fn ! f hầu khắp nơi thì f 2 L0( ;F; ):

Định nghĩa 1.2.1.13 Chof : ! R Ta nói f là hàm bậc thang nếu f( ) chỉ nhậnhữu hạn giá trị thực Giả sử

L+0( ;F; ) là lớp các hàm không âm đo được.

4 Nếu f 2 L0( ;F; ) Đặt f+ = max(f; 0); f = max( f; 0)) f = f+ f :Vì thế

- Nếu chỉ có một trong hai bằng 1 thì ta nói R

f d tồn tại nhưng không khả tích

Z(f + g)d =

gd < +1 và fn#n f thìR

fnd #n

R

f d :Định lý 1.2.1.10 (Định lý hội tụ bị chặn) : Cho ffngn2N đo được trên( ;F; ) và

Định nghĩa 1.2.1.15 Cho độ đo có dấu (độ đo suy rộng) ; và độ đo trên ( ;F)

Ta nói tuyệt đối liên tục với ( ) nếu :

Định lý 1.2.1.10 Cho là độ đo có dấu và là độ đo trên không gian đo được( ;F),

<1: Khi đó 2 điều sau đây là tương đương :

a) :

b) (An)! 0, n ! 1 thì (An)! 0, n ! 1

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

Định lý 1.2.1.11 (Định lý Radon - Nikodym) Cho là độ đo có dấu, là độ đotrên ( ;F): Giả sử , <1, Khi đó tồn tại hàm f 2 L1( ;F; ) sao cho

(A) =Z

A

f d , 8A 2 F:

Lúc này f được gọi là đạo hàm Radon - Nicodym của đối với và viếtf = dd 1.2.2 Xây dựng không gian xác suất

Không gian xác suất và các đặc trưng của nó được xây dựng và mở rộng từ lý thuyết

độ đo và tích phân Từ đây ta coi tập là không gian các biến cố sơ cấp

Định nghĩa 1.2.2.1 (Hệ tiên đề Kolmogorov) Ta gọi bộ ba ( ;F; P ) với

a) là tập hợp tùy ý gồm các phần tử !

b) F là các đại số các tập con của

c) P là độ đo xác suất cộng tính (P ( ) = 1) hay nói gọn hơn là xác suất trên F.Khi đó không gian ( ;F; P ) gọi là không gian xác suất

Tập được gọi là không gian các biến cố sơ cấp Tập A2 F được gọi là biến cố, P(A)

là xác suất của biến cố A: P được gọi là xác suất trên F:

Định nghĩa 1.2.2.2 (phần tử ngẫu nhiên) Giả sử ( ;F) và (E; ) là hai khônggian đo, ánh xạ f : ! E được gọi là đo được hay phần tử ngẫu nhiên nhận giá trị trong

E nếu

f 1(A)2 F; A 2 F:

Đôi khi f còn được gọi là phần tử ngẫu nhiên trên ( ;F) với giá trị trong (E; ).Định nghĩa 1.2.2.3 Giả sử là tập tùy ý,(fi)i2I là họ các ánh xạ từ vào các khônggian đo(Ei; i)i2I Ta gọi đại số sinh bởi họ hàm(fi) và ký hiệu bởi (fi; i2 I) là đại

số bé nhất trên sao cho tất cả các ánh xạ fi đo được

Nhận xét : i2I i cũng là đại số sinh bởi họ tập Xi 1(Ai); Ai 2 i; i 2 I trong đó

Ai = Ei hầu tất cả (trừ một số hữu hạn các i):

Định nghĩa 1.2.2.5 Lớp K các tập con của được gọi là compact nếu đối với dãybất kỳ(Kn) K mà T1

Định nghĩa 1.2.2.6: Giả sử ( ;F; P ) là không gian xác suất, K F là lớp compact

Độ đo xác suất P được gọi là chính quy (đối với K) nếu

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

P (B) = sup

A2K

A B

P (A); với mỗi B2 F:

Nhật xét : Nếu P chính quy đối với K thì P cũng chính quy đối với lớp K là lớp nhỏnhất chứaK đóng đối với hợp hữu hạn và giao đếm được

Định lý 1.2.2.2 Giả sử ( ;F; P ) là không gian xác suất, F0 là đại số các tập con của: K0 là lớp compact và K0 F0 Ngoài ra, giả thiết rằng F = (F0) và K là lớp nhỏnhất chứaK0 đóng với hợp hữu hạn và giao đếm được Giả sử P là hàm tập không âm hữuhạn cộng tính trên F0 và P ( ) = 1: Khi đó, nếu

P (B) = sup

A2K 0

A B

P (A), với mỗi B 2 F0;

thì P có thể thác triển một cách duy nhất thành một độ đo xác suất trên F và chính quyđối với K:

Định nghĩa 1.2.2.7 ( ;F) không gian đo đã cho, R = [ 1; +1] Hàm thực X =X(!) xác định lấy giá trị trên R gọi là hàm F-đo được hoặc biến ngẫu nhiên suy rộngnếu

f! : X(!) 2 Bg = X 1(B)2 F với mỗi B 2 B(R):

Trong đó B(R) là đại số các tập Borel của trục thực R (tập Borel được trình bàytrong phần 1.4) Thêm vào đó, nếu

X : ! R = ( 1; +1):

thì X được gọi là biến ngẫu nhiên

Định nghĩa 1.2.2.8 (Hàm Borel) Hàm ' : (Rn; B(Rn)) ! (R; B(R)) được gọi làhàm Borel, nếu nó B(Rn) đo được, nghĩa là với mỗi B 2 B(R)

' 1(B)2 B(Rn):

Tính chất :

1 X1; :::; Xn là các biến ngẫu nhiên cùng xác định trên ( ;F) và '(t1; :::; tn) là hàmBorel giá trị thực Khi đóY = '(X1; :::; Xn) cũng là biến ngẫu nhiên

2.X; Y là các biến ngẫu nhiên xác định trên ( ;F) khi đó X Y , X:Y , X_ Y , X ^ Y ,

X+= X _ 0; X = ( X) _ 0, jXj = X++ X cũng là các biến ngẫu nhiên

3 Cho(Xn)n 1 là dãy các biến ngẫu nhiên xác định trên( ;F) và supnXn,infnXn hữuhạn trên Khi đó supnXn, infnXn, lim Xn= X (hữu hạn) đều là các biến ngẫu nhiên.Định lý 1.2.2.3 Giả sử X là biến ngẫu nhiên xác định trên ( ;F) và Y là ánh xạ

từ vào R Lúc đó Y là F-đo được khi và chỉ khi tồn tại hàm Borel ' : R ! R sao cho

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

được gọi là phân phối X trên (E; ) Đó là một độ đo xác suất còn được gọi là ảnh của PquaX, ký hiệu là X(P ):

Khi (E; ) = (RT

; B(RT)); phần tử ngẫu nhiên X còn được gọi là hàm ngẫu nhiên Nếu

T R thì X được gọi là quá trình ngẫu nhiên

Định lý 1.2.2.4 X 2 L1( ;F; P ) nếu và chỉ nếu với mọi " > 0 tồn tại > 0 sao cho

Z

AjAjdP < "; EjXj < 1= với mọi A 2 F, P (A) < :Định lý 1.2.2.5 Giả sửX là phần tử ngẫu nhiên từ không gian xác suất ( ;F; P ) vàokhông gian đo(E; ), PX là phân phối xác suất củaX trên (E; ), nghĩa là

PX(B) = P (X 1(B)); B2 :Khi đó, với mọi hàm thực ' từ E vào R ( đo được) ta có

1.2.3 Xác suất chuyển và độ đo tích

Định nghĩa 1.2.3.1: Giả sử ( 1;F1), ( 2;F2) là hai không gian đo Xác suất chuyển

là hàmP12(!1; A2) xác định trên không gian tích 1 F2 và thỏa mãn :

a) Với !1 2 1 cố định, hàm P12(!1; :) là độ đo xác suất trên F2:

b) Với A2 2 F2 cố định, hàm P12(:; A2) F1 đo được

Định lý 1.2.3.1 Giả sử ( 1;F1), ( 2;F2) là hai không gian đo, P1 là xác suất trên

F1; P12 là xác suất chuyển trên 1 F2 Khi đó, tồn tại xác suất P trênF1 F2 sao cho

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

1.3 Sự hội tụ của các biến ngẫu nhiên và kỳ vọng có

điều kiện

1.3.1 Sự hội tụ của các biến ngẫu nhiên

Định nghĩa 1.3.1 (Hội tụ theo phân phối) Giả sử (Fi)i2N là một dãy các hàmphân phối xác suất với các biến ngẫu nhiên (Xi)i2N và F là hàm phân phối ứng với biếnngẫu nhiên X Ta nói rằng dãy Xn hội tụ về X theo phân phối, nếu

Định nghĩa 1.3.4 (Hội tụ theo trung bình bậc r) : Ta nói rằng dãy (Xn) hội

tụ theo trung bình bậc r hay trong không gian định chuẩn Lr( ;F; P ) về X, nếu r 1,

EjXnjr <1 với mọi n, và

lim

n!1E (jXn Xjr) = 0:

Các trường hợp đặc biệt quan trọng:

- Nếu r = 1, ta nói Xn hội tụ theo trung bình vềX

- Nếu r = 2, ta nói Xn hội tụ theo trung bình bình phương (bậc 2) về X

Hội tụ theo trung bình bậc r, với r > 0, suy ra hội tụ theo xác suất Còn nếu r > s 1,thì hội tụ theo trung bình bậc r sẽ suy ra hội tụ theo trung bình bậc s Do đó hội tụ theotrung bình dẫn đến hội tụ theo trung bình bình phương

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

1.3.2 Kỳ vọng có điều kiện

Định nghĩa 1.3.1 Cho không gian xác suất ( ;F; P ), < là trường con của F khi

đó kỳ vọng có điều kiện của biến ngẫu nhiên X 0 đối với F là biến ngẫu nhiên suy rộngkhông âm

E(Xj<) : ! [0; 1]

sao cho

(i) E(Xj<) là < đo được

(ii) Với mọi A2 <

1 Nếu X là < đo được thì E(Xj<) = X Đặc biệt, nếu c là hằng số thì E(cj<) = c:

2 Nếu X Y thì E(Xj<) E(Yj<) Đặc biệt, ta có bất đẳng thức

E[E(Xj<2)j<1] = E[E(Xj<1)j<2] = E(Xj<1):

7 Nếu Y là < đo được thì

n!1sup E(Xnj<) hầu chắc chắn

Ta có một số bất đẳng thức thông dụng sau đây.

a) Bất đẳng thức Chebyschev (cho kỳ vọng) Với mọi biến ngẫu nhiênX chỉ nhậncác giá trị không âm, và mọi số dươnga > 0 ta có

P (X a) E(X)

ab) Bất đẳng thức Markov (cho các moment tuyệt đối) Với mọi biến ngẫu nhiên

X, số dương a > 0, và số tự nhiên k, ta có

P (jXj a) E(jXjk)

ak :c) Bất đẳng thức Chebyschev cho phương sai) Nếu X là một biến ngẫu nhiên

có phương sai var(X) hữu hạn và a > 0 bất kỳ, ta có

P (jX E(X)j a) var(X)

a2 :a) Bất đẳng thức Holder Cho X 2 Lr( ;F; P ), Y 2 Ls( ;F; P ), trong đó r; s làcác số sao cho 1 < r <1; 1=r + 1=s = 1 thì

E(jXY j j<) [E(jXjr j<)]1=r:[E(jY js j<)]1=s:b) Bất đẳng thức Minkowski Nếu X; Y 2 Lr( ;F; P ); 1 r thì

E(jX + Y jr j<) [E(jXjr j<)]1=r + [E(jY jr j<)]1=r:c) Bất đẳng thức Jensen Nếu g : R ! R là hàm lồi, tức là

g(ax + by) ag(x) + bg(y); 0 a; b 1; a + b = 1; x; y2 Rthì

g(E(Xj<)) E(g(X)j<):

1.4 Độ đo xác suất trên không gian metric

Định nghĩa 1.4.1 Cho (X; d) là không gian metric đại số Borel B(X) là đại sốnhỏ nhất trongX chứa tất cả tập con mở của X Các thành phần của B(X) gọi là các tậpBorel của X

Định lý 1.4.1 Nếu X là không gian metric tách được, khi đó B(X) trùng với đại

số sinh bởi quả cầu đóng hoặc mở của X

Định nghĩa 1.4.2 Cho (X; d) là một không gian metric Một độ đo Borel hữu hạntrên X là ánh xạ : B(X) ! [0; 1) sao cho (?) = 0 và A1; A2; :::2 B(X) rời nhau saocho (S1

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

Cho (X; d) là không gian metric và ta đặt

Cb(X) :=ff : X ! R : f là liên tục và bị chặn gVới mỗi f 2 Cb(X) là khả tích tương ứng với bất kỳ độ đo Borel hữu hạn trên X.Định nghĩa 1.4.3 Cho ; 1; 2; ::: là độ đo Borel hữu hạn trên X Ta nói rằng ( i)ihội tụ yếu tới nếu

R

f d i !R

f dkhi i! 1 với mọi f 2 Cb(X): Ta ký hiệu i )

Định nghĩa 1.4.4 Cho (X; d) là không gian metric Ta đặt P = P (X) là tất cả độ đoxác suất Borel trênX Cho ; 2 P (X), ta định nghĩa

dp( ; ) = inff > 0 : (A) (A ) + và (A) (A ) + ;8A 2 B(X)g

trong đó

A =fx : d(x; A) < g nếu A 6= ?; ? = ? với mọi > 0với d(x; A) = inffd(x; a) : 2 Ag Hàm dp được gọi là metric Prokhorov trên P (X).Định lý 1.4.2 Cho (X; d) là một không gian metric

(i) dp là một metric trên P (X):

(ii) Cho ; 1; 2; :::2 P (X) Khi đó dp( i; )! 0 suy ra i )

Định lý 1.4.3 Nếu (X; d) là không gian metric tách được, khi đó cho ; 1; 2; ::: 2

P (X), ta có

Định lý 1.4.4 Nếu(X; d) là không gian metric tách được, khi đó không gian (P (X); dp)

là không gian metric tách được

Định lý 1.4.5 Một độ đo Borel hữu hạn trên X cơ sở chặt nếu 8" > 0 tồn tại mộttập compact K X sao cho (XnK) < " tức là (K) (X) " Nếu là độ đo Borelhữu hạn chặt trên X khi đó

(A) = supf (K) : K A; K compactgvới mọi tập BorelA trên X

Định lý 1.4.6 Nếu (X; d) là môt không gian metric đầy đủ tách được, khi đó mọi độ

đo Borel hữu hạn trên X là chặt

Định nghĩa 1.4.5 Tập hợp các độ đo xác suất Borel trên X được gọi là chặt haythỏa điều kiện Prokhorov nếu với mọi " > 0 tồn tại tập con compact K" của X sao cho

(K) 1 ";8 2 :Định lý 1.4.7 (Prokhorov) Cho (X; d) là không gian metric tách được, đầy đủ vàcho là tập con của P (X) Khi đó 2 điều sau đây là tương đương :

(a) là compact trong P (X):

a) Hạt nhân xác suất chuyển

Cho X là tập hợp nào đó và gọi B(X) là -trường sinh ra trên X: Nếu P =

fP (x; A); x 2 X; A 2 B(X)g sao cho

1 Với mỗi A 2 B(X); x ! P (x; A) là một hàm không âm trên X

2 Với mỗi x2 X; A ! P (x; A) là một độ đo xác suất trên B(X)

Khi đó ta gọi P là hạt nhân xác suất chuyển Markov hay hạt nhân chuyển Markov hayhạt nhân xác suất chuyển

Với bất kỳ hạt nhân xác suất chuyển Markov P và bất kỳ hàm bị chặn trên X; tađịnh nghĩa

b) Hạt nhân xác suất chuyển trên không gian trạng thái rời rạc

Cho X =fx0;x1; :::g là rời rạc (có thể là tập hữu hạn hoặc vô hạn đếm được) và choB(X) là họ các tập con của X:

Trạng thái của hạt nhân chuyển Markov được định nghĩa bởifP (x; y); (x; y) 2 X Xg ;trong đó x2 X và y 2 X; P (x; y) là ký hiệu ngắn gọn cho P (x; fyg):

Vì mọi x2 X; x ! P (x; :) là một xác suất, ta phải có

Một phân phối xác suất trên B(X) được định nghĩa là vector = ( (x0); (x1); :::)

và phân phối xác suất P được định nghĩa, với mỗi y2 X

c) Hạt nhân lặp và phương trình Chapman-Kolmogorov

Đặt P0(x; A) = x(A) là độ đo Dirac được định nghĩa là

x(A) = 1; x2 A

0; x =2 AVới mọi n 1; định nghĩa theo quy nạp như sau

Pn(x; A) =

Z

X

P (x; dy)Pn 1(y; A); x2 X và A 2 B(X)

Ta viết Pn là ký hiệu hạt nhân xác suất chuyển sau n bước chuyển fPn(x; A); x 2X; A2 B(X)g:

Phương trình Chapman-Kolmogorov : với bất kỳ m với 0 m n;

họ hạt nhân xác suất chuyển Markov (Pk; k 0) tồn tại duy nhất độ đo xác suất trên

Theo tính chất Markov ta suy ra bất kỳ hàm bị chặn , với mọi n và p, ta có

E[ (Xn+pjFn] = Qn:::Qn+p 1 (Xn);

E[ (Xn+p)] = Q1:::Qn+p 1[ ]Khi Xích Markov là thời gian thuần nhất,

Sau đây ta sẽ xét xích Markov trên không gian trạng thái rời rạc

Ma trận P =fP (x; y); (x; y) 2 Xg được gọi là ma trận xác suất chuyển Markov nếu

Cho quá trình = f kgk2Z được gọi là dừng ngặt nếu và chỉ nếu với bất kỳ n 2 N

và bất kỳk; phân phối của f n; :::; n+kg có cùng phân phối của f 0; :::; kg:

Cho trước độ đo xác suất bất biến ban đầu sao cho

= R

X

(dx)Pn(x; A) = P ( n2 A):

Ta xét P ( n 2 ) với bất kỳ phân bố ban đầu cho trước : Nếu tồn tại giới hạn độ

đo trên topo phù hợp trong không gian độ đo xác suất, sao cho

P ( n2 A) ! (A);

với mọi A2 B(X); khi đó

CHƯƠNG 1 KIẾN THỨC NỀN TẢNG

(A) = lim

n!1

R(dx)Pn(x; A)

Vì thế nếu giới hạn tồn tại, thì giới hạn này sẽ là độ đo xác suất bất biến và nếu

là duy nhất thì sẽ không phụ thuộc vào

Chương 2

Hàm lặp ngẫu nhiên

Có nhiều quan điểm cho rằng xích Markov có thể xây dựng bằng hàm lập ngẫu nhiên trênkhông gian trạng thái S Có một họ ff : 2 g các hàm từ S ! S và có phân bố xácsuất trên Nếu xích markov tại thời điểmx2 S; nó dịch chuyển bằng cách chọn ngẫunhiên và di chuyển tới f (x), không phụ thuộc vào x:Quá trình này ta có thể diễn đạtnhư sau

X0 = x0;X1 = f 1(x0); X2 = (f 2 f 1)(x0); :::

Trong đó 1; 2; : : : là độc lập cùng phân bố xác suất Ta nhắc lại tính chất Markovcủa xích : “Cho biết trạng hiện tại của xích khi đó phân bố xác suất có điều kiện của tươnglai không phụ thuộc vào quá khứ” Bên cạnh đó điều ta cũng quan tâm là điều kiện nào để

có phân bố xác suất dừng trên S với Pr obfXn 2 Ag ! (A) khi n ! 1 (ký hiệu Pr ob

có nghĩa là xác suất xảy ra)

Trong phần này ta luôn giả sử rằng S là không gian metric đầy đủ, tách được Từ đây

ta xây dựng điều kiện tồn tại phân phối dừng được trình bày 2:1 Trong phần 2:2, ta sẽtrình bày một số tính chất giới hạn của hàm lập ngẫu nhiên Phần2:3, ta sẽ trình bày một

số ví dụ của hàm lập ngẫu nhiên

2.1 Cơ sở xây dựng hàm lặp ngẫu nhiên và điều kiện

tồn tại phân bố xác suất dừng

Cho (S; ) là không gian metric đầy đủ, tách được Ta đặt LipK là tập hợp các ánh xạ

f : S ! S với [f(x); f(y)] K (x; y) Ứng với mỗi f ta gọi Kf là giá trị nhỏ nhất của

K Nếu f là một hằng số thì Kf = 0 Nếu f 2 LipK với bất kỳ K < 1 khi đó f gọi làLipschitz Cho S0 là tập con đếm được trù mật của S, và đặt H0 là tập hợp các ánh xạ từ

S0 ! S Ta trang bị H0 topo tích và trường tích Rõ ràng, H0 là một không gian metricđầy đủ, tách được Cho H là không gian các hàm Lipschitz trên S Bổ đề sau đây sẽ xâydựng một cấu trúc độ đo trên H:

Bổ đề 2.1

(i) H là một tập con Borel của H0:

(ii) f ! Kf là một hàm Borel trên H:

(iii) (f; s) ! f(s) là ánh xạ Borel từ H S vào S:

Chứng minh

Cho f 2 H0; đặt

23

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

là quả cầu tâm s1 bán kính 1=n Tương tự như vậy ta xây dựng các tập hợp Bn;i sao chochúng rời nhau Như vậy ứng với mỗin; ta có dãy Bn;i rời nhau và

1

[

i=1

Bn;j = S:

Cho ánh xạ f : S ! S, đặt fn(s) = f (sj) với s 2 Bn;j Khi đó fn là xấp xỉ của f bởi

f (sj) trong lận cận của sj Ánh xạ (f; s)! fn(s) là ánh xạ Borel từ H0 S vào S:và trêntập hợp các hàm Lipschitz f , các dãy ánh xạ này hội tụ từng điểm đến ánh xạ tương ứng

Metric cảm sinh một metric Prokhorov trên các độ đo xác suất được ký hiệu là pđược định nghĩa dưới đây (mặc dù metric Prokhorov đã được trình bày ở chương 1 nhưng

để tiện sử dụng trong chương 2 ta định nghĩa lại một lần nữa)

Định nghĩa 2.1 Nếu P; Q là các độ đo xác suất trên S, khi đó p(P; Q) là inf của

> 0 sao cho

P (C) < Q(C ) + và Q(C) < P (C ) + ;với mọi tập compact C S, trong đó C là tập hợp tất cả các điểm mà khoảng cách đến

P (B) < P (C) + " < Q(C ) + + "

< Q(C+") + + " < Q(B +") + + "

và tương tự cho Q(B) Vì thế, p+ " tức là p Từ đó ta suy ra = p:

Định nghĩa 2.2 Một biến ngẫu nhiên U có phân phối đuôi đại số nếu có hằng sốdương ; sao cho Pr obfU > ug < =u với mọi u > 0 Điều kiện này vẫn được sử dụngcho số dương lớn u nghĩa là ta cho Pr obfU = 1g > 0

Bổ đề 2.2 Cho X; X0 là ánh xạ ngẫu nhiên vào S, với các phân phối ; 0 Nếu

Pr obf (X; X0) g < khi đó p( ; 0) trong đó là metric trên S; p là metricProkhorov đươc cảm sinh trên các độ đo xác suất

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

Ta cố định một độ đo trên H Giả sử rằng :

f ! Kf có phân phối đuôi đại số tương ứng với độ đo : (2.1)Với điểm bất kỳ x0 2 S, giả sử rằng :

f ! (f) = [f(x0); x0] có phân phối đuôi đại số tương ứng với độ đo : (2.2)

Ta giả sử thêm điều kiện nữa :

Z

H

log Kf (df ) < 0; (2.3)tích phân có thể nhận giá trị 1:

Bổ đề 2.3 Cho f ig là các biến ngẫu nhiên độc lập cùng phân phối và Pr obf i =1g > 0 Ta giả sử rằng có hằng số dương ; sao cho Pr obf i > #g < e # với mọi

# > 0 Cho có cùng phân phối với i Khi đó

(i) 1 Ef g < 1

(ii) Nếu c là số thực hữu hạn sao cho c > Ef g, có một hằng số dương, hữu hạn A và

r sao cho r < 1 và Pr obf 1+ ::: + n > ncg < Arn với mọi n = 1; 2; :::Hằng số A và r phụthuộc vào c và quy luật phân phối của biến ngẫu nhiên , không phụ thuộc vào n

Ngoài ra ta suy ra được kết quả sau :

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

Pr obf 1+ ::: + n> ncg < Ef 1+ ::: +nc ng ncnc = 1:

Đặt = (c m)=2d > 0 , ta tính được với r = r ;c = e (c m)2=4d Do đó ta suy ra chọnđược Ac = (rn) 1và r; khi đó

Pr obf 1+ ::: + n> ncg < Acrn:Nếu m c c0 = 2m + 2d 0 thì c0 thay thế c: Ta hoàn thành chứng minh với trườnghợp này

Trường hợp 2: Cho 0i bị chặt cụt bởi i do một hằng số mà không phụ thuộc vào i:Khi đó P

Áp dụng bổ đề 2:3 với biến ngẫu nhiên i = log Kfi:

Bổ đề 2.6 Giả sử thỏa điều kiện (2:1) và (2:3) Với " dương đủ nhỏ : loại trừ tập hợp

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

Các bổ đề trên nhằm mục đích chứng minh rằng quá trình tiến X0(x) = x; X1(x) =

f1(x); X2(x) = (f2 f1)(x)::::có duy nhất một độ đo xác suất bất biến Thật vậy giả sử gọi

và 0 là hai xác suất bất biến, khi đó ứng với ta chọn x và ứng với 0 ta chọn x0 Tađặt Yn = Xn(x) và Yn0 = Xn(x0), theo bổ đề 2:6 ta có (Yn; Yn0) exp( n") (Y0; Y00) Rõràng là khi n ! 1, thì luật phân phôí của Yn; Yn0 là trùng nhau tức là = 0:

Chứng minh

(i) và (ii) hiển nhiên đúng Đối với (iii) ta áp dụng bất đẳng thức :

Pr obfU + V > tg Pr obfU > t=2g + Pr obfV > t=2gvới t > 0:Sau khi áp dụng định nghĩa và sau một số bước biến đổi ta có được kết quả

Hệ quả 2.1 Giả sử thỏa điều kiện (2:1) Nếu điều kiện (2:2) đúng cho một x0 2 S cụthể nào đó, khi đó(2:2) đúng với mọi x2 S: Nói cách khác, có các hằng số dương ; saocho

ff : [f(x0); x0] > ug < =u ;với mọi u > 0 Hằng số có thể phụ thuộc vào x0, nhưng thì không

Việc chứng minh hệ quả 2:1 dựa vào bổ đề 2:7 và bất đẳng thức tam giác

Bổ đề 2.8 Cho f và g là ánh xạ từ S vào S, cho x2 S Khi đó

[(f g)(x); x] [f (x); x] + Kf [g(x); x]

Chứng minh

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

Theo bất đẳng thức tam giác ta có :

[(f g)(x); x] [f (x); x] + [(f g)(x); f (x)]

[f (x); x] + Kf (g(x); x):

vì theo định nghĩa của Kf

Hệ quả 2.2 : Cho fgig là các ánh xạ từ S vào S, cho x 2 S Khi đó

[(g1 g2 ::: gm)(x); x] [g1(x); x] + Kg1 [g2(x); x]

+Kg1Kg2 [g3(x); x] + :::

+Kg1Kg2:::Kgm 1 [gm(x); x]:

Chứng minh

Áp dụng bổ đề 2:8 cho từng cặp gi; gi+1 ta được kết quả

Sau đây là 2 kết quả quan trọng do Persi Diaconis và David Freedman trình bày trongbài báo nghiên cứu của hai ông Nội dụng cụ thể được trình bày dưới đây

Định lý 2.1 Cho là một độ đo xác suất trên không gian các hàm Lipschitz Giả sửrằng điều kiện 2:1, 2:2 và 2:3 thỏa Ta coi xích Markov trên S di chuyển theo độ đo Gọi

Pn(x; dy) là luật phân phối của xích sau n lần chuyển bắt đầu từ x:

(i) Có duy nhất một phân phối xác suất bất biến

(ii) Có một hằng số dương hữu hạn Ax và 0 < r < 1 sao cho

p[Pn(x; :); ] Axrn;với mọi n = 1; 2; ::: và x2 S

(iii) Hằng số r không phụ thuộc vào n hoặc x; hằng số Ax không phụ thuộc vào n và

Ax < a + b p(x; x0), trong đó 0 < a; b <1:

Mệnh đề 2.1 Giả sử điều kiện 2:1, 2:2 và 2:3 đều thỏa Ta định nghĩa quá trình lùi

fYn(x)g là Yn(x) = (f1 f2 ::: fn)(x): Khi đó Yn(x) hội tụ tới giới hạn ngẫu nhiên khôngphụ thuộc vào điểm bắt đầu x:

Theo bổ đề 2:6 , bỏ đi tập có xác suất A0rn0;

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

n+i

Y

j=1

Kfj e (n+i)"

với mọi n n0 và mọi i = 0; 1; :::

Ta có các hằng số dương hữu hạn c0; c1; r0; r1 với r0 < 1 và r1 < 1 sao cho với mọi n0,với mọi n n0 và với mọim = 0; 1; :::

cóff g là họ hàm Lipschitz với chỉ số 2 , ta cần ánh xạ ! f (x) là đo được ứng mỗi

x2 S0 Khi đó ! f là ánh xạ đo được từ vàoH, độ đo trên cảm sinh độ đo trên H

và trong phần 2:1 này ta luôn làm việc trên H: Persi Diaconis và David Freedman đã đưa

ra định lý sau :

Định lý 2.2 Cho (S; ) là không gian metric đầy đủ, tách được Cho ff : 2 g là

họ hàm Lipschitz trênS và cho là một xác suất trên các Giả sử rằng

Z

K (d ) <1,Z

[f (x0); x0] (d ) <1 với bất kỳ x0 2 S và

Zlog K (d ) <1

(i) Quá trình tiến Xn có duy nhất phân phối dừng

(ii) Có một hằng số dương hữu hạn Ax và 0 < r < 1 sao cho

p[Pn(x; :); ] Axrnvới mọi n = 1; 2; ::: và với mọi điểm bắt đầu x2 S

(iii) Hằng số r không phụ thuộc vào n hoặc x; hằng số Ax không phụ thuộc vào n và

Ax < a + b p(x; x0), trong đó 0 < a; b <1:

Mệnh đề 2.2 Giả sử điều kiện định lý 2:2 đều thỏa Khi đó quá trình lùi fYn(x)g là

Yn(x) = (f1 f2 ::: fn)(x) hội tụ hầu chắc chắn tới giới hạn ngẫu nhiên Giới hạn này códuy nhất phân bố dừng

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

trong đó x2 S, tập Borel B S

Trong phần 2.2, ta sẽ thiết lập sự hội tụ của Xntới dưới ý nghĩa moment hình học

co Ta sẽ định nghĩa moment hình học co như dưới đây

Định nghĩa 2.3 Cho X00 s độc lập với X0 s và dãy ( k)k 1 và định nghĩa quátrình lặp tiến Xn(x) = f n f n 1 ::: f1(x) Vì thế ta coi Xn(X00) như là bản sao của

Xn(X0): Ta nói Xnlà moment hình học co nếu tồn tại > 0; C = C( ) và 0 < r = r( ) < 1sao cho với mọi n2 N;

Chú ý Ta có thể giả định 0 < 1 trong 2 điều kiện vì với mọi > 1 nào làm 2 điềukiện xảy ra thì đều đúng với mọi 1 Thật vậy, với mọi 2 (0; ); cho C( ) = C( ) =

và r( ) = r( ) =

2 (0; 1) khi đó :

Ef [Xn(x); Xn(x0)]g (Ef [Xn(x); Xn(x0)]g) =

C( ) = [r( ) = ]n (x; x0):

Ta có quá trình lặp lùi Zn(x) = f 1 f 2 ::: f n(x) Chú ý rằng với mọi x 2 S;

Zn(x)= XD n(x) tức là có cùng phân phối nhưng Zn lại hội tụ đến phân phối dừng còn Xn

hội tụ đến một biến ngẫu nhiên Ta nói biến ngẫu nhiên Y có phân phối đuôi đại số nếutồn tạiA; B > 0 sao cho P (jY j > y) < A=yB với mọi y > 0 tương đương E(jY j ) < 1 vớimọi > 0

Định lý 2.3 Giả sử điều kiện 1 thỏa,

E(log K ) =

Zlog K Ffd g < 0; trong đó K = sup

x06=x

[f (x0); f (x)]

(x0; x)

và K có phân phối đuôi đại số Khi đó tồn tại duy nhất phân phối dừng cho Xn =

f n(Xn 1), n2 N: Và Zn(x)! Z1 s Giới hạn Z1 không phụ thuộc vào x:

Định lý 2.4 Giả sử điều kiện một và hai thỏa Khi đó tồn tại một biến ngẫu nhiên

Z1 sao cho với mọi x 2 S; Zn(x)! Z1 hầu chắc chắn Giới hạn Z1 là ( 1; 2; : : :) đođược và không phụ thuộc vào x Hơn thế nữa , với mọi n2 N;

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

là ( 1; 2; :::) đo được Theo bất đẳng thức tam giác ta có

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

Vì Zn(x)! Z1 hầu chắc chắn nên với mọix2 S, giới hạn Vn = limm!1f 1+n f 2+n::: f n+m(x) tồn tại hầu chắc chắn Ta nhận ra Vn có phân phối xác địnhZ1 = Zn(Vn) s

Chú ý Vì K có phân phối đuôi đại số nên E(K ) < 1 với > 0 đủ nhỏ Vì

Ef [Xn(x); Xn(x0)]g C( )rn( ) (x; x0):

Với C( ) = 1 và r( ) = E(K ) theo bổ đề Fatou

1 > E(K ) =

Zsup

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

2.3 Các ví dụ và ứng dụng

Phần 2:1 và phần 2:2 trình bày mang tính lý thuyết vì thế trong phần 2.3 sẽ trình bày các

ví dụ trực quan và ứng dụng của định lý 2.2 nói riêng và tính chất hàm lập ngẫu nhiên nóichung Mục đích để hiểu rõ các vấn đề đã trình bày, ta bắt đầu với ví dụ 1

Ví dụ 1 Cho S là đường thẳng thực R và có hàm số được định nghĩa như sau

f+(x) = ax + 1 và f (x) = ax 1:

Trong đó a cho trước và 0 < a < 1 Ta ký hiệu = f+; g;đặt (+) = ( ) = 1=2.Quá trình dịch chuyển tuyến tính được định nghĩa như sau

Xn+1 = aXn+ n+1;trong đó n = 1 với xác suất 1/2: Phân phối dừng được biểu diễn giống như luật phânphối của

Y1= 1+ a 2+ a2 3+ : : :Chuỗi ngẫu nhiên này hội tụ về giới hạn hằng số vì 0 < a < 1 Rõ ràng là phân phốicủaY1 không đổi nếu nhân vào choa và thêm vào một biến ngẫu nhiên , điều đó có nghĩaphân phối của Y1 là dừng ngặt

Ví dụ 2 Cho S = (0; 1) Nếu xích markov tại điểm x; luật di chuyển là sẽ chọn mộttrong 2 khoảng(0; x) hoặc (x; 1) với xác suất 1/2 và sau đó sẽ di chuyển tới y2 (0; 1) Hàmmật độ chuyển là

Trong đó 1A(y) = 1 hoặc = 0 tương ứng nếu y2 A hoặc y =2 A

Như thế khi cho x khởi đầu chạy một cách lung tung, ta có thể biễu diễn xích markovbởi hàm lập ngẫu nhiên như sau

u(x) = ux; u(x) = x + u(1 x);

với u thống nhất được chọn trên (0; 1) và ; được chọn với xác suất 1=2 cho từng hàm.Theo định lý 2.2 chỉ ra có một phân phối dừng duy nhất Giờ ta giả sử rằng phân phốidừng có hàm mật độ f (x) Ta có

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

! R2

và dễ dàng kiểm tra đó là ánh xạ Lipschitz Ta cố định các trọng số dương w1;:::;wk với

w1+ ::: + wk= 1 Những thành phần này chỉ định một xích Markov fXng dịch chuyển qua

R2 Bắt đầu từ x, quá trình xích markov bằng cách chọn i ngẫu nhiên với xác suất wi vàdịch chuyển đến fi(x):

Vấn đề đặt ra là từ bức ảnh mục tiêu cho trước, ta xử lý cho fai; bi; wig để tập hợpđiểmfX1; : : : ; Xng tạo nên ảnh khớp với ảnh mục tiêu sao cho ít nhất xác suất sự phù hợpđạt được là cao nhất Kỹ thuật này được Dubins, Freedman (1966), Hutchinson (1981),Diaconis và Shahshahani (1986) nghiên cứu và được sử dụng rộng rãi

Ta phác họa phương pháp đó như sau Định lý 2.2 được ứng dụng, có duy nhất mộtphân phối dừng gọi là Cho x là hàm phân bố khối lượng tại điểm x tức là x(A) = 1nếu x 2 A và x(A) = 0 nếu x =2 A Theo định lý Ergodic, phân bố thực nghiệm của

fX1; :::; Xng sẽ hội tụ tới :

1N

m m Tương ứng với bức ảnh có một độ đo xác suất rời rạc trên mặt phẳng, ta đặtkhối lượng 1=b lên từng điểm ảnh màu đen và 0 với từng điểm ảnh màu trắng với b là sốlượng điểm ảnh màu đen Ta muốn rằng phân phối dừng xấp xỉ Vì tính chất dừng, vớibất kỳ hàm liên tục bị chặn f nào trên Rn,

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

Với dạng hàm f thích hợp, sẽ cho ta hệ phương trình tìm fai; bi; wig Ví dụ, chọn f làtuyến tính hoặc đa thức bậc nhỏ Ở phương trình trên, cái ta không biết đó là ai; bi; wi.Kết quả tìm được là kết quả xấp xỉ chứ không phải kết quả chính xác

Ví dụ 4 Ta chọn S = Rd, choX0 = x0 2 Rd và

Xn+1 = An+1Xn+ Bn+1; n = 0; 1; 2; :::

với (An; Bn) là độc lập và phân phối xác định, An là ma trận d d, Bn là vector d 1.Quá trình Xn được định nghĩa như trên là quá trình tự hồi qui Dưới tiêu chuẩn điều kiệnphù hợp, phân bố dừng có thể được biểu diễn giống như luật phân phối của

Z = B1+ A1A2+ A1A2B3+ A1A2A3B4+ :::

Cho chuỗi Z hội tụ hầu chắc chắn đến giới hạn hữu hạn Cho cặp (A; B), ta thấy rằngnếu nhân Z cho A và sau đó cộng vào B thì phân bố không đổi điều đó có nghĩa là phân

bố đó là dừng Điều kiện đểZ hội tụ đó là An có tính chất co trên trung bình

Đặt k k là chuẩn trên Rd Giả sử rằng (An; Bn) là độc lập và phân phối xác định ,

n = 1; 2; ::: với

Eflog+kAnkg < 1; Eflog+kBnkg < 1;

trong đó x+ = x khi x > 0 và x+

= 0 khi x < 0 Tập con L của Rd là bất biến nếu

PfX1 2 LjX0 = xg = 1 với mọi x 2 L Ta có kết quả sau,

Giả sử Eflog+kAnkg < 1; Eflog+kBnkg < 1; và định nghĩa xích Markov Xn =

AnXn 1+ Bn; n = 0; 1; 2; : : :Ta giả sử rằng chỉ có duy nhất một tập con bất biến của Rd làchính nó Khi đó dãy vô hạn

Ví dụ 5 Cho S = R, cho 0 < a < 1 là số thực và cho là một độ đo xác suất trên

R Ta thiết lập quá trình tự hồi qui là quá trình Markov trên R với luật di chuyển : bắtđầu từ x2 R, xích markov sẽ chọn theo và di chuyển đến ax + Ta thấy f = ax +) Kf = a do đó R

Rlog Kf (df ) < 0 vì a < 0 thỏa điều kiện (2.3) Rõ ràng là tồn tại điềukiện (2.1), đối với điều kiện (2.2) ta đặt điều kiện nếu có phân phối , có hằng số dương,hữu hạn ; với P (j j > u) < =u với mọi u > 0 Nếu i độc lập cùng phân phối , quátrình tiến bắt đầu từ x có X0(x) = x;

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

X1(x) = ax + 1; X2(x) = a2x + a 1+ 2; X3(x) = a3x + a2 1+ a 2+ 3; : : :

Quá trình hội tụ theo phân phối, không hội tụ hầu chắc chắn, tại bước n biến ngẫunhiên mới được tạo ra bởi n Quá trình lùi bắt đầu từx với Y0(x) = x

Y1(x) = ax + 1; Y2(x) = a2x + 1+ a 2; Y3(x) = a3x + 1+ a 2+ a2 3; : : :

quá trình này hội tụ hầu khắp nơi vì chuỗi 1+ a 2 + a2

3:::hội tụ Quá trình tự hồi quidừng được nhìn thấy có dạng là

Wm = m+ a m 1 + a2 m 2+ a3 m 3+ : : :Mỗi Wm xuất hiện bằng cách tạo vòng lặp lùi trên f m; m 1; m 2; :::g

Ví dụ 6 Xét mô hình hàng đợi G/G/1, ta sẽ dùng hàm lặp ngẫu nhiên để chứng minhtồn tại phân bố dừng trong lý thuyết hàng đợi Khách hàng đến đợi với khoảng thời gian

U1; U2; ::: là các biến ngẫu nhiên độc lập cùng phân phối Thời điểm đến là các tổng riêng0; U1; U1 + U2; :::Khách hàng thứ j có thời gian phục vụ là Vj là các biến ngẫu nhiên độclập cùng phân phối và độc lập với thời gian đến.Cho Wj là thời gian chờ của khách hàngthứ j tức là thời gian trước khi bắt đầu dịch vụ Theo định nghĩa, W0 = 0, với mọi j > 0;

Wj thỏa mãn phương trình

Wj+1 = (Wj + Vj Uj+1)+:Công thức trên suy ra từ lý luận sau Khách hàng j đến tại thời điểm Tj = U1+ ::: + Uj

và thời gian đợi Wj, kết thúc dịch vụ tại thời điểm Tj + Wj + Vj Khách hàng j + 1 đếntại thời điểm Tj+ Uj+1 Nếu Tj+ Uj+1 > Tj+ Wj + Vj khi đó Wj+1 = 0, trường hợp khác,

CHƯƠNG 2 HÀM LẶP NGẪU NHIÊN

Ta chú ý rằng nếu điểm bắt đầu x > 0, thì ta sẽ thay n bằng n+ x: Trong mô hìnhhàng đợi , ta đặtXj = Vj Uj+1 vớij = 1; 2; ::: thì Xj cũng là các biến ngẫu nhiên độc lập,phân phối xác định Xích Markov fWj : j = 0; 1; :::;1g có quy luật phân phối dừng theo

lim

1 j n(X1+ ::: + Xj)+;giới hạn này xác định hầu chắc chắn Ta có thể giả sửE(X1) < 0 để đảm bảo sự hội tụ vì

X1+ ::: + Xj ' jE(X1)! 1 hầu chắc chắn Ta có kết quả như sau, Giả sử cho các biếnngẫu nhiênX1; X2; : : : là độc lập có phân phối xác định Ta đặt S =limn!1max1 j n(X1+::: + Xj)+,S hữu hạn khi và chỉ khi