Vấn đề xấp xỉ ngẫu nhiên và ứng dụng

Vấn đề xấp xỉ ngẫu nhiên và ứng dụng.

VẤN ĐỀ XẤP XỈ NGẪU NHIÊN VÀ ỨNG DỤNG

Nguyễn Văn Thu (1) , Hoàng Văn Bắc (2)

(1) Trường Đại học Quốc tế, ĐHQG-HCM (2) Trường THPT Đức Trọng, tỉnh Lâm Đồng

(Bài nhận ngày 08 tháng 11 năm 2009, hoàn chỉnh sửa chữa ngày 22 tháng 11 năm 2010)

TÓM TẮT: Xấp xỉ ngẫu nhiên là một công cụ vô cùng quan trọng của giải tích số Trong bài

này chúng tôi sẽ trình bày tổng quát về xấp xỉ ngẫu nhiên ñồng thời cũng nêu ra một phương pháp ñặc biệt của xấp xỉ ngẫu nhiên, ñó là phương pháp Robbins - Monro

Từ khóa: xấp xỉ ngẫu nhiên, phương pháp Robbins – Monro.

1 CÁC VÍ DỤ THỰC TẾ

a.Để biết ñộ cứng của hợp kim ñồng - sắt

ở nhiệt ñộ 5000C người ta thường xét khoảng

thời gian x và Y x ( )là ñộ cứng tương của hợp

kim Vấn ñề ñặt ra là tìm các giá trị của x mà

hợp kim có ñộ cứng trung bìnhα Biết rằng

các loại hợp kim khác nhau ứng với ñộ cứng

khác nhau

b.Ta xét ñộ nhạy của một chất nổ khi bị va

chạm Một phương pháp thong thường ta thả

cho nó rơi tự do từ một ñộ cao xác ñịnh Đối

với một số chất nổ thì ñộ cao này thì phát nổ

mỗi loại chất nổ làm cho nổ khi ñược thả

c.Tương tự, trong việc kiểm tra thuốc trừ

sâu, ta cũng phải xác ñịnh giới hạn của các loại

thuốc ñối với các loại côn trùng và mức ñộ sử

dụng sao cho phù hợp ñể ñạt kết quả cao trong

sử dụng

2 XẤP XỈ NGẪU NHIÊN

Các tình huống trong ví dụ rất thực tế và

cụ thể ở trên có thể vận dụng toán học ñể giải

quyết như sau Chọn ngẫu nhiên một giá trị x1,

sau ñó quan sát giá trị y x ( )1 của biến ngẫu

M x = E Y x Trong ñó E là kí hiệu

kỳ vọng toán học và M là một hàm tăng chưa

biết dạng chính xác Ta cũng chọn một dãy các

số dương an giảm dần theo n, ví dụ chọn

n

c a n

= , trong ñó c là hằng số dương tuỳ ý Vấn ñề ñặt ra là xác ñịnh giá trị của θ sao cho

( )

M θ = α Ta thiết lập hệ thức ñệ quy ñể tìm các giá trị x cho các thí nghiệm tiếp theo:

xn 1 xn c [ y x ( )n ]

Giả sử ta làm ñược thí nghiệm thứ n và

ñã biết ñược xn cũng như giá trịy x ( n) Sử dụng (1) ta có thể xác ñịnh giá trị cụ thể của x

ñể sử dụng cho lần thí nghiệm thứ n + 1 Ta sẽ kiểm tra hệ thức ñệ quy này Với trường hợp

ñơn giản nhất Xét α = 0 thì (1) có dạng

c

n

Nếu y x ( n) > 0 thì xn+1< xn và nếu

( )n 0

y x < thì xn+1> xn Nếu y x ( n) là

dương thì giảm giá trị của x cho lần thí

nghiệm thứ n + 1 và ngược lại

Ta sẽ nghiên cứu một ứng dụng của xấp xỉ

ngẫu nhiên, ñó là phương pháp Robbins -

Monro ñược trình bày sau ñây

3 PHƯƠNG PHÁP ROBBINS - MONRO

3.1 Giải tích thích ứng - Không thích

ứng

Trong việc kiểm tra thuốc trừ sâu, ta nhận

thấy hiện tượng là có hoặc không có loại côn

trùng mà thuốc có tác dụng Do ñó, vấn ñề là

ñể xác ñịnh phù hợp chủng loại và liều lượng

mà thích ứng cho từng loại côn trùng Về mặt

toán học, các vấn ñề này ñược giải quyết như

sau Xét Zlà biến ngẫu nhiên với hàm phân bố

M Nếu x là số thực và Y x ( ) là biến ngẫu

nhiênsao cho:

( ) 1

Y x = nếu Z ≤ x = 0 nếu Z > x

Thì

( ) 1 ( ) 0 1 ( ) ( ).

= = > = −

Bây giờ Y x ( ) là một quan sát thích ứng

ñối với số lượng x (khối lượng thuốc trừ sâu

chẳng hạn) Vấn ñề là ñể xác ñịnh giá trị của x

cho sự thích ứng α Ta có ñịnh lí sau:

Định lí 1 Giả sử M là một hàm phân

θ thoả mãn M ( ) θ = α; giả sử Mkhả vi tại

θ và M ′ ( ) θ > 0 Xét x1 là một số thực và

n là một số nguyên dương Nếu

( )

1

1

trong ñó Yn là một nghiệm ngẫu nhiên sao cho

1| , , , , , ( ) 0| , , , , , 1 ( )

−

−

Thì lim ( )2 0

n E X θ

biến ngẫu nhiên { } Xn hội tụ ñến θ theo bình phương trung bình và do ñó hội tụ theo xác suất

( )2

n E Xn

ξ = − θ , ta chỉ cần chứng minh

lim n 0

n ξ

→∞ =

Có một phương pháp ñể giải quyết vấn ñề thích ứng – không thích ứng là phương pháp xấp xỉ ngẫu nhiên

3.2 Xấp xỉ ngẫu nhiên một chiều

Bây giờ ta xét câu hỏi của tình huống tổng

quát trong ñó Y không bị hạn chế nhận giá trị 1 hoặc 0 mà có thể nhận bất kì giá trị nào

Định lí 2 (Dvoretzky) Giả sử

{ } { } { } αn , βn , γn là các dãy số thực không

âm sao cho

lim n 0

n α

→∞ = (1)

n

β

∞

< ∞

1

n

γ

∞

= ∞

∑ (3)

Xét θ là một số thực và Tn là các phép

biến ñổi ño ñược sao cho

( 1, , ) max [ ,(1 )| | ]

T X X − ≤ θ α + β X − − θ γ (4)

với mọi X1, , Xn Xét X1 và

( 1, 2, )

n

Y n = là các biến ngẫu nhiên và

ñịnh nghĩa

1 ( , ,1 ) ( , ,1 ), 1.

X+ = T X X − Y X X ∀ ≥ n (5)

Thì các ñiều kiện { }2

1

{ }2

1

n

n

E Y

∞

=

< ∞

và E Y { n| X1, , Xn} = 0 (7)

với xác suất 1 với mọi n, suy ra

lim n 0 1

n

→∞

Chứng minh: Không mất tính tổng quát,

ta có thể chọn θ = 0

1 Từ (4) và (6) suy ra rằng

( )2

n

( 1, , ) [ ]

khác 0, và s n ( ) 1 = nếu một trong hai thừa số

bằng 0 Viết

n

j m

=

′

.Thì

1

n

Y

∞

′

∑ hội tụ với xác suất 1 bởi (6) và (7) Viết

n j

j m

=

′

= ∑

Với ∀ > ∀ > ∃ δ 0, ε 0, M0( , ) δ ε sao cho

,

48

M m n

m n

≤ ≤

> <

(9)

3 Đặt d m m ( , − = 1) 1,

1

n

j

j m

=

Xét tổng

1

1

( , ) ( , )

n

j

j m

+

−

=

′

= ∑

bằng với

1

2

(( 2),( 1)) ( , ) ( 1, ) ( , )

n

n

j m

−

− +

′

∑

(( 2), ( 1)) ( , ) n

(10)

Khi d j n ( , ) ≥ d j ( + 1, ) n chúng ta thấy rằng giá trị tuyệt ñối của (10) không lớn hơn

1

2 sup (( 2), ( 1)) ( ( , ))

m j n

n j

− ≤ ≤

Do ñó từ (2) và (9) ta có ñược rằng với

0, 0

δ > ε > tồn tại một

00( , ) 0( , )

( , ) 3 / 2

< < > −

(11)

Ta suy ra ñiều phải chứng minh

Định lí 3 (Dvoretzky)

Cho{ αn( X1, , Xn} { , βn( X1, , Xn) }

và { γn( X1, , Xn) } là những dãy hàm không

âm của biến số thực X1, , Xn sao cho hàm

1

( , , )

n X Xn

1

lim n( , , n) 0

n α X X

1, , n

X X ; (1)

hàm βn( X1, , Xn) là ño ñược và

1 1

( , , )

n X Xn

β

∞

ñều trong X1, , Xn; (2)

1

0, n( , , n) 0: n 0,

và T Xn( 1, , Xn) − ≤ θ max{ αn( X1, , Xn),[1 + βn( X1, , Xn)] | Xn − − θ γ | n} (4)

cố ñịnh ñều với mọi dãy X1, , Xn thoả

mãn

1,2,

sup n

n

=

< , trong ñó L là số dương

tuỳ ý, (5) ở ñây T Xn( 1, , X ) là phép biến

1 ( 1, , ) ( ), 1

và E X ( 12) < ∞ (7)

2

1

( n )

E Y

∞

< ∞

với xác suất 1 E Y { n| X1, , Xn} = 0. (9)

n

Chứng minh: Lấy θ = 0 và δ ε , là những số dương tuỳ ý Để chứng minh (10) ta cần chứng minh nó thoả mãn

P X < δ ∀ > − n ε (12) Lấy M ≥ M0( , ) δ ε là ñủ lớn thoả, với

, n / 8

n ≥ M α < δ Lấy L ñủ lớn thoả

L > δ và

2

32

j

j m

L Max E X

M

ε

Chúng ta lấy L ở ñây là thoả mãn với (3)

Nó cũng thoả mãn rằng

Giả sử rằng 4 ñiều kiện sau ñược thoả mãn

liên hệ (1) của ñịnh lí 1 (15)

/ 4

m

X ≤ δ với một vài m M ≥ (16)

1 / 4, 1

m

X + ≥ δ ≤ ≤ j k (17)

m k

X + + ≤ δ (18)

trong ñó 1 k ≤ ≤ ∞ Khi k = ∞, (17)

ñúng khi j ≥ 1 và (18) là rổng (là rõ ràng khi

chứng minh xong mà k ≠ ∞) Bởi vì

/ 8

n

α δ < khi n ≥ M và bởi vì (15), (16),

(17) dẫn ñến

m j m j m j

( m j1) ( m j( m j) (0 ) 1)

sign X + + = sign T+ X + ≤ ≤ − j k

(20)

Áp dụng (4) ( với γ = 0) ta có Xm+1

nằm giữa 0 và

( )(1 m) m m

Lập lại lập luận này, khi 1 ≤ ≤ j k thì

m j

X + nằm giữa 0 và

( 1) ( 2) ( ) ( , 1) m

s m j + − s m j + − s m d m m j + − X

( 1) ( 1) ( 1, 1) m

( 1) ( 1, 1) m j m j

s m j d m j m j Y+ − Y+ −

(22)

Giá trị tuyệt ñối của (22) không lớn hơn

m

X d m m + − + j S m + m + − j

(23)

Vì vậy Xm j+ , 1 ≤ ≤ j k (24)

Để chứng minh (12) ta chỉ cần chỉ ra rằng

các kiều kiện sau không thể xảy ra cả hai

Liên hệ với (11) và (14) của (15), (25)

/ 4

m

X > δ với tất cả m M ≥ (26)

Để chứng minh (11) Xét

1lim j

j

≤ <∞

= Xét N là số nguyên Bởi vì (10), ta chỉ phải

lim (| n| ) 0

n E X k +

→∞ − = ở ñây

( | Xn| − k )+ = max { ( | Xn| − k ) , 0 }

3.3 Xấp xỉ cho quá trình tiệm cận chính quy

Trong phần này sẽ nghiên cứu dãy các biến ngẫu nhiên, nhưng chỉ tập trung vào các

ñiều kiện yếu trên các hệ số lập

Định lí 4(a) (Comer) Xét { } Xn là một dãy xác ñịnh như dưới ñây và X1 là một biến

1

E X − θ < V < ∞,

ở ñây θ và V là các số thực Giả sử rằng

(i) Xn+1 = Xn− a Y Xn′ [ n( n) − Y0], ở ñây Y0 là số thực bất kì và Y Xn( n)là biến

[ n( ) | n] ( n)

E Y X X = M X

n

n

−

mọi n, ở ñây L và u là những số thực thoả mãn L < u Không mất tính tổng quát giả sử rằng Y0 = 0

(iii)

1

n

a

∞

′ = ∞

∑ , ở ñây { } an′ là dãy số dương

(iv) lim n 0

n a a

→∞ ′ = ≥ ′

0 a

u

′

≤ ≤

(vi) Zn = Y Xn( n) − M X ( n) và M là

lien tục tại θ với M (0) = 0

(vii)E Z   n2  = k2, ở ñây k là số thực

1

2 2

→∞  −   ≤ và

1

lim sup n

n

uk

L

→∞         ≤ +

Chứng minh: Từ (iv) và (v) luôn tồn tại

một số N sao cho a un′ < 1 với n > N

Do ñó

[ ]

( ) ( )

( ) ( )

1

1

1

1

2

( ),

(1 )

(1 )

a L a E Z X

θ θ

+

+

+

+

′

1

θ

+



































′

(1)

Lấy ε > 0 thì ta giả sử trái với giả thiết rằng

( )2

n

E X − θ ≥ k L + ε Lấy n > N

1

1

( )

n

ε ε

+

−



′





′

∑

(2)

Nhưng khi

1

n

a

∞

′ = ∞

1 ( )

2 2

n

N

ε

Thay (3) vào (2) ta ñược

( )2 12

n

Khi

θ θ

và

n

Định lí 4(b)(Comer) Giả sử có các ñiều

kiện (i) ñến (iv) của ñịnh lí 4(a)

(i) Xét

, | , 1, , 1

n m E Zn Zn m Zn m Z

1

m ≥ và n ≥ + m 1

(ii) Tồn tại một dãy các số thực { } ξm sao

cho

1

,

( n m) m, 1

m ξ

→∞ =

Thì tồn tại một hàm g của a ′ sao cho

( )

2

n n

n n m

θ

→∞

→∞

′

′

và

0

lim ( ) 0, (0) 0.

′→ ′ → =

Định lí 4(c) Giả sử có các ñiều kiện của

ñịnh lí 4(a) và 4(b) Thêm vào

(i) an′ → 0 khi n → ∞

ii) ( Xn− θ ) ( ) M Xn > 0.

Thì P limn Xn θ 1.

→∞

3.4 Lý thuyết mẫu nhỏ

Vì các phương pháp ñã trình bày ở các phần trước trong thực tế chỉ áp dụng ñối với các vấn ñề giải quyết một cỡ mẫu xác ñịnh, câu hỏi ñặt ra là lí thuyết xấp xỉ tiệm cận tốt như thế nào ñối với các trường hợp cụ thể Trong toán học, khài niệm tuyến tính rất quan trọng,

ví dụ trong Kakutani là sự mở rộng của ñịnh lí

ñiểm bất ñộng Brauwer có quan hệ gắn với

vấn ñề ñặt ra Vì vậy nó ñược giả thiết rằng

( )

M X = E y X là một ñường thẳng với phương sai của X ñược chọn là một hằng số

STOCHASTIC APPROXIMATIONS AND APPLICATIONS

Nguyen Van Thu (1) , Hoang Van Bac (2)

(1) International University,VNU-HCM

(2) Secondary School, Duc Trong, Lam Dong

ABSTRACT: The purpose of this note is to present introductory ideas of stochastic

approximation problems which stand for important aspects of numerical analysis In particular, we illustrate by considering the Robbins – Monro method

Từ khóa: Xấp xỉ ngẫu nhiên, phương pháp Robbins – Monro, biến ngẫu nhiên, hàm phân phối,

nghiệm ngẫu nhiên, quá trình tiệm cận chính quy, mẫu nhỏ

TÀI LIỆU THAM KHẢO

[1].M.T Wasan, Stochastic Approximation,

Cambridge University Press, (1969)

[2].Vivek S Borkar, Stochastic Approximation, Cambridge University Press, (2008)