Bài toán lọc dừng tối ưu và điều khiển tối ưu quá trình ngẫu nhiên

Bài toán lọc dừng tối ưu và điều khiển tối ưu quá trình ngẫu nhiên Bài toán lọc dừng tối ưu và điều khiển tối ưu quá trình ngẫu nhiên Bài toán lọc dừng tối ưu và điều khiển tối ưu quá trình ngẫu nhiên luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp

ĐẠI HỌC QUỐC GIA HÀ NỘI

NGUYỄN THẮNG ĐƯỜNG

Bài toán lọc, dừng tối ưu và điều khiển tối ưu

quá trình ngẫu nhiên

luËn v¨n th¹c sÜ TOÁN HỌC

Hµ néi - 2012

ĐẠI HỌC QUỐC GIA HÀ NỘI

NGUYỄN THẮNG ĐƯỜNG

Bài toán lọc, dừng tối ưu và điều khiển tối ưu

quá trình ngẫu nhiên

Mã số : 60 46 15

luËn v¨n th¹c sÜ TOÁN HỌC

Người hướng dẫn khoa học: GS.TSKH Đặng Hùng Thắng

Hµ néi - 2012

Mục lục

1.1 Một số kiến thức về quá trình ngẫu nhiên 4

1.1.1 Quá trình ngẫu nhiên 4

1.1.2 Chuyển động Brownian 5

1.1.3 Tính chất của chuyển động Brownian 5

1.2 Tích phân Itô 5

1.2.1 Tích phân Itô 5

1.2.2 Một số tính chất của tích phân Itô 7

1.3 Tích phân ngẫu nhiên và công thức Itô 7

1.4 Phương trình vi phân ngẫu nhiên 9

1.5 Một số ví dụ 10

2 Bài toán lọc 16 2.1 Đặt vấn đề 16

2.2 Bài toán lọc tổng quát 16

2.2.1 Phát biểu bài toán lọc tổng quát 16

2.2.2 Giải bài toán lọc tổng quát 17

2.3 Bài toán lọc Kalman-Bucy 18

2.3.1 Phát biểu bài toán 18

2.3.2 Giải bài toán lọc Kalman-Bucy 19

2.4 Một số ví dụ 30

3 Bài toán dừng tối ưu 36 3.1 Đặt vấn đề 36

3.2 Bài toán dừng tối ưu 36

3.3 Các bước giải bài toán 37

3.3.1 Bước 1 37

3.3.2 Bước 2 38

3.3.3 Bước 3 41

3.4 Ví dụ minh hoạ 45

3.5 Ví dụ áp dụng thực tế 46

4 Điều khiển tối ưu hệ ngẫu nhiên 51 4.1 Đặt vấn đề 51

4.2 Bài toán điều khiển tối ưu 52

4.3 Phương trình Hamilton-Jacobi-Bellman 534.4 Ví dụ minh hoạ 584.5 Ví dụ áp dụng thực tế 60

Lời mở đầu

Xác suất thống kê là một bộ phận của toán học nghiên cứu các hiện tượng ngẫunhiên, là một lĩnh vực toán học ứng dụng Ngày nay, Xác suất thống kê đã trở thànhmột ngành toán học lớn, chiếm vị trí quan trọng trong cả lý thuyết và ứng dụng Nó cóvai trò hết sức quan trọng trong vật lý và trong phạm vi khác của khoa học tự nhiên,trong kỹ thuật quân sự, trong các ngành kỹ thuật khác nhau, trong kinh tế học

Lý thuyết quá trình ngẫu nhiên là một trong lý thuyết quan trọng trong xác suấtthống kê Quá trình ngẫu nhiên cũng có thể được xem như một hàm ngẫu nhiên nào

đó và sự mô tả các hàm ngẫu nhiên này thường được thông qua các phương trình viphân ngẫu nhiên Tính toán ngẫu nhiên phục vụ đắc lực và đóng vai trò then chốttrong nghiên cứu các hàm ngẫu nhiên nói chung và phương trình vi phân ngẫu nhiênnói riêng

Bài toán lọc, dừng tối ưu, điều khiển tối ưu quá trình ngẫu nhiên thuộc vào loại cácbài toán có quan hệ mật thiết với ứng dụng Cơ sở để để giải quyết bài toán đó là tínhtoán ngẫu nhiên

Vì những lý do trên dưới sự hướng dẫn GS TSKH Đặng Hùng Thắng em chọn đềtài: "Bài toán lọc, dừng tối ưu và điều khiển tối ưu quá trình ngẫu nhiên".Luận văn của em gồm phần mở đầu, phần kết luận và bốn chương:

•Chương 1: Một số kiến thức chuẩn bị Chương này nhằm giới thiệu về tích phânItô, công thức vi phân Itô, phương trình vi phân ngẫu nhiên Đây là kiến thức cơ sởchuẩn bị cho nội dung chính chương 2,3,4

•Chương 2: Bài toán lọc Chương này giới thiệu về bài toán lọc, cách giải bàitoán lọc Kalman-Bucy

•Chương 3: Bài toán dừng tối ưu Chương này giới thiệu về bài toán dừng tối

ưu, các bước giải bài toán dừng tối ưu

•Chương 4: Bài toán điều khiển tối ưu hệ ngẫu nhiên Chương này giới thiệu vềbài toán điều khiển tối ưu, phương trình Hamilton-Jacobi-Bellman, cách giải bài toánđiều khiển tối ưu

Tuy nhiên, do trình độ và thời gian có hạn nên luận văn không thể tránh khỏi thiếusót Em rất mong nhận được sự góp ý phê bình của các thầy, cô để luận văn của emđược hoàn thiện hơn

Em xin chân thành cảm ơn tới các thầy, cô trong khoa Toán-Cơ-Tin, bộ môn Xácsuất-Thống kê Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH ĐặngHùng Thắng đã tận tình chỉ bảo, giúp đỡ em hoàn thành bản luận văn này

Hàm phân phối của quá trình ngẫu nhiên X ={X t } t ∈T là hàm đo được µ t 1 ,t 2 , ,t k

xác định trên không gian Rnk , k = 1,2,3 ,:

µ t 1 ,t 2 , ,t k(F 1 × F 2 × × F k) = P[X t 1 ∈ F 1 , , X t k ∈ F k];t i ∈ T

trong đó F 1 , , F k là những tập Borel trong Rn

Định lý 1.1 Với mọi t 1 , t 2 , , tk ∈ T và mọi hoán vị σ trên {1,2, , k }, cho họ độ đoxác suất ν t 1 ,t 2 , ,t k trên Rnk thoả mãn

ν t σ(1) ,t σ(2) , ,t σ(k)(F 1 × F 2 × × F k) =ν t 1 ,t 2 , ,t k(Fσ−1 (1) × × F σ −1 (k))

và

ν tσ(1), ,tσ(k)(F 1 × × F k) =ν t 1 , ,t k ,t k+1 , ,t k+m(Fσ−1 (1) × × F σ −1 (k) ×Rn× ×Rn)Khi đó luôn tồn tại không gian xác suất (Ω, F,P) và quá trình ngẫu nhiên {X t }

với X t: Ω→Rn thoả mãn

ν t 1 ,t 2 , ,t k(F 1 × F 2 × × F k) = P[X t 1 ∈ F 1 , , X t k ∈ F k];t i ∈ T

với mọi ti ∈ T, k ∈ N và mọi tập Borel Fi

Định nghĩa 1.2 Cho {Xt } và {Yt } là các quá trình ngẫu nhiên trên không gian(Ω, F,P) Khi đó ta nói rằng {X t } là bản sao của {Y t } nếu

P({ω;X t(ω) =Y t(ω)}) = 1 với mọi t

1.1.2 Chuyển động Brownian

Năm 1828 Robert Brown quan sát chuyển động tưởng chừng không theo quy luật củahạt phấn hoa Chuyển động được giả thiết giống như chuyển động các hạt trong chấtlỏng đồng chất Biểu diễn các chuyển động đó người ta sử dụng quá trình ngẫu nhiên

B t(ω) để chỉ hạt phấn hoa ω ở thời điểm t

Ta xây dựng {Bt } bởi định lý Kolmogorov với độ đo xác suất {ν t 1 ,t 2 , t k }

Với x ∈Rn ta xác định

p(t, x, y) = (2πt)−n2 exp(−|x − y|

2

2t ) với y ∈Rn, t >0Nếu 0≤ t1 ≤ t 2 ≤ ≤ t k xác định độ đo {νt 1 ,t 2 , t k } trên Rnk

1.1.3 Tính chất của chuyển động Brownian

1 B t là quá trình Gaussian tức là với mọi 0 ≤ t1 ≤ ≤ t k biến ngẫu nhiên

Z = (Bt1, , Btk)∈Rnk có phân phối chuẩn

2 B t có số gia độc lập, tức là B t 1 , B t 2 − B t 1 , , B t k − B t k−1 độc lập với mọi 0≤ t1 <

1 (t, ω)−→ f(t, ω) là (B × F)-đo được với B là σ-đại số trên [0, ∞)

trong đó B t là chuyển động Brownian 1-chiều

Chúng ta có thể xác định tích phân Itô bằng cách: Nghiên cứu lớp J[φ] các hàmđơn giản φ, sau đó áp dụng tính chất: Với mọi hàm f ∈ N luôn xấp xỉ bằng hàm đơn

giản φ và xác định R

f dB là giới hạn của của R

φdB khi φ → f.Hàm đơn giản: Một hàm φ ∈ N được gọi là hàm đơn giản nếu nó có dạng

φ(t, ω) =X

j

e j(ω).χ(tj,tj+1](t)Khi đó tích phân của hàm đơn giản φ(t, ω) xác định bởi

1.2.2 Một số tính chất của tích phân Itô

Tính chất 1 (xem [10], [11]) Cho f, g ∈ N(0, T) và 0≤ S < U < T Khi đó:

1.3 Tích phân ngẫu nhiên và công thức Itô

Định nghĩa 1.4 Cho B t là chuyển động Brownian 1-chiều trên không gian (Ω, F,P).Tích phân ngẫu nhiên 1-chiều là quá trình ngẫu nhiên X t có dạng:

Định lý 1.2 Công thức Itô 1-chiều(xem [3], [5], [8], [10])

Cho X t là quá trình ngẫu nhiên có vi phân Itô:

Bây giờ ta mở rộngB(t, ω) = (B 1(t, ω), , B m(t, ω) là chuyển động Brownian m-chiều,khi đó X = (X 1 , X 2 , X n) là vi phân ngẫu nhiên Itô-n chiều biểu diễn bởi:

Định lý 1.3 Công thức Itô nhiều chiều

Cho dX =udt+vdB là vi phân ngẫu nhiên Itô n-chiều định nghĩa như phần trước.Nếu g(t, x) = (g 1(t, x), , g p(t, x)) là ánh xạ khả vi cấp 2 liên tục từ [0,+∞)×Rn vào

Rp Khi đó quá trình Y(t, ω) =g(t, X t) là quá trình ngẫu nhiên p-chiều mà mỗi thànhphần được cho bởi:

1.4 Phương trình vi phân ngẫu nhiên

Phương trình vi phân ngẫu nhiên là phương trình có dạng:

dXt

dt =b(t, X t) +σ(t, X t)W t (1.3)trong đó b(t, X t)∈R, σ(t, X t) ∈R là các hàm đo được và W t là tiếng ồn trắng

Hoặc:

dX t =b(t, X t)dt+σ(t, X t)dB t (1.4)

trong đó B t là chuyển động Brownian và W t = dBt

dt

Một quá trình ngẫu nhiên X t(ω), t ∈ [0, T] được gọi là nghiệm của phương trình

vi phân với điều kiện ban đầu X 0 =Z, (Z là một biến ngẫu nhiên cho trước, độc lậpvới W và E(Z2)< ∞) nếu:

(i) X t là thích nghi với Ft và đo được đối với σ-trường tích B[0,T ]x F t

(ii)ERt

0

Xt2dt < ∞

(iii) X t thoả mãn phương trình vi phân ngẫu nhiên ban đầu

Định lý 1.4 Tồn tại và duy nhất(xem [3], [5], [10])

Ví dụ 1.2 Tìm điện tích trong mạch điện

Điện tích Q(t) ở thời điểm t tại một điểm cố định trong mạch điện thoả mãn phươngtrình vi phân ngẫu nhiên

LQ00(t) +RQ0(t) + 1

CQ(t) =G(t) +αW t (1.5)

Q(0) =Q 0;Q0(0) =I 0 (1.6)trong đó L là cảm ứng, R là điện trở, C là điện dung,W t là nhiễu trắng vàG(t) +αW t

là nguồn điện thế tại thời điểm t

Xác định điện tích của mạch điện Q(t)?

−L1G t



K =

0

α L



và B t là chuyển động Brownian 1-chiều

Vì vậy ta có phương trình vi phân ngẫu nhiên 2-chiều

Nhân cả hai vế của phương trình trên với exp(−At) ta có

exp(−At)dX = exp(−(At)AXdt+ exp(−At)[H t dt+KdB t]hay

exp(−At)dX −exp(−(At))AXdt= exp(−At)[H t dt+KdB t]Xét vế trái exp(−At)dX − exp(−(At))AXdt Sử dụng công thức Itô cho hàm g =(g 1 , g 2) : [0, ∞)×R2 →R2 xác định bởi

exp(−As)[H s+AKB s]ds

Ví dụ 1.3 Chuyển động Brown trên vòng tròn đơn vị

Cho X = B là chuyển động Brown 1-chiều và g(t, x) = eix = (cosx,sinx) ∈ R2 với

x ∈R Khi đó hãy chứng minh

Ví dụ 1.4 Với B t là chuyển động Brownian 1-chiều Hãy kiểm tra xem quá trình sau

có phải là nghiệm của phương trình vi phân tương ứng không?

(i)X t =eBt và dX t = 12X t dt+X t dB t

(ii)Xt = B t

1+t;B0= 0 và dXt =−1+t1 Xtdt+ 1

1+t dBt;X0 = 0(iii)X t = sinB t với B 0 =a ∈(−π2,π2) và dX t =−12X t dt+p

X 2



dt +

0

eX1



dB t

Vậy quá trình đó là nghiệm của phương trình vi phân tương ứng.

(iv) Sử dụng công thức Itô cho hàm g(t, y) = (g 1 , g 2) = (t, etB t) Khi đó

= 0;∂

2 g 1

∂y 2 2

X 2



dt+

0

eX1



dB t

Vậy quá trình đó là nghiệm của phương trình vi phân tương ứng

Ví dụ 1.5 Chuyển động Brownian trên Ellipse

là quá trình ngẫu nhiên X t = (X 1(t), X 2(t) xác định bởi X 1(t) = acosB t , X 2(t) =

bsinB t Trong đó B t là chuyển động Brownian 1-chiều

Chứng minh rằng X t là nghiệm của phương trình vi phân ngẫu nhiên

a 0





Chọn Y t =B t

Sử dụng công thức Itô cho hàm g(t, y) = (g 1 , g 2) với g 1=acosy; g 2 =bsiny Khi đó

dX 1=−asinY t dY t − 12acosY t dt

a 0





Z(s) =Q(s) + "ồn trắng" (2.1)

Bài toán đặt ra : Tìm ước lượng tốt nhất của Q(t) trên cơ sở quan sátZ s trong côngthức (2.1) với s ≤ t? Bài toán như vậy gọi là bài toán lọc Bằng trực giác, bài toán

đó là bài toán lọc tiếng ồn từ các quan sát một cách tối ưu

2.2 Bài toán lọc tổng quát

2.2.1 Phát biểu bài toán lọc tổng quát

Một hệ thống X t mà sự tiến triển chúng mô tả bởi phương trình:

X t của trạng tháiX t dựa trên các quan sát này?

Như vậy ˆX t là một hàm của các quan sát sao cho:

1 ˆX t được đặt cơ sở trên các quan sát ( Z s;s ≤ t ) nghĩa làX t(.)là G t-đo được với

G t là σ-đại số sinh ra bởi (Z s;s ≤ t )

2 ˆX t là ước lượng tốt nhất theo nghĩa trung bình bình phương tức là:

2.2.2 Giải bài toán lọc tổng quát

Định lý 2.1 Nghiệm của bài toán lọc tổng quát xác định bởi:

ˆ

X t=P K(X t) = E[X t |G t]Chứng minh

Trước hết ta xét bổ đề sau:

Bổ đề 2.1 Cho H ⊂ F là một σ-đại số và X∈ L2(P) là F-đo được Đặt N = (S ∈

L2(P) S là H- đo được) và cho PN là phép chiếu từ không gian Hilbert L2(P) vàokhông gian con N Khi đó

P N(X) = E[X |H] (2.4)Chứng minh bổ đề

- E[X |H] là hàm được xác định duy nhất từ Ω→R thoả mãn:

Theo lý thuyết không gian Hilber chúng ta thấy nghiệm của bài toán lọc cho bởiˆ

ở dạng phương trình vi phân ngẫu nhiên tuyến tính Bài toán đó là bài toán lọc tuyếntính hay bài toán lọc Kalman-Bucy

2.3 Bài toán lọc Kalman-Bucy

Vào năm 1960 Kalman và năm 1961 Kalman và Bucy đưa ra bài toán lọc Kalman-Bucy Nội dung của bài toán là đưa ra thủ tục để ước lượng trạng thái của hệ thốngđược biểu diễn nhiễu dạng phương trình vi phân ngẫu nhiên trên cơ sở của quan sátnhiễu Ngay lập tức nó được mang ứng dụng vào các ngành khoa học khác và ngàynay nó đã ứng dụng rộng rãi Vì vậy bài toán lọc Kalman-Bucy đã được chứng tỏ làrất hữu ích

2.3.1 Phát biểu bài toán

Bài toán lọc Kalman-Bucy

Phương trình hệ thống, quan sát của bài toán lọc có dạng:

Phương trình hệ thống: dX t =F(t)X t dt+C(t)dU t;F(t)∈ Rn×n, C(t) ∈Rn×p

Phương trình quan sát: dZ t =G(t)X t dt+D(t)dV t;G(t)∈Rm×n, D(t) ∈Rm×rHãy tìm ước lượng tốt nhất ˆX t của X t dựa trên các quan sát này?

Để đơn giản chúng ta chỉ xét trường hợp 1-chiều:

Bài toán lọc Kalman-Bucy 1-chiều

Phương trình hệ thống, quan sát của bài toán lọc có dạng:

Phương trình hệ thống: dX t =F(t)X t dt+C(t)dU t;F(t), C(t)∈R

Phương trình quan sát: dZ t =G(t)X t dt+D(t)dV t;G(t), D(t)∈R

Hãy tìm ước lượng tốt nhất ˆX t của X t dựa trên các quan sát này?

Chúng ta giả thiết rằng F, G, C, D là hàm bị chặn trong khoảng bị chặn và Z t =

2.3.2 Giải bài toán lọc Kalman-Bucy

Các bước để giải bài toán lọc Kalman-Bucy

Bước 1

Cho L=L(Z, t) là bao kín trong L2(Ω) của các tổ hợp tuyến tính dạng

c 0+c 1 Z s 1(ω) + +ck.Z s k(ω), s j ≤ t, c j ∈R (2.5)Cho PL là phép chiếu từ L2(Ω) lên L Khi đó với K xác định như (2.3) thì

Chúng ta sẽ chứng minh định lý 2.2 thông qua 5 bước:

Bước 1: Ước lượng Z-tuyến tính và Z-đo được

Bổ đề 2.2 Cho X, Z s;s ≤ t là biến ngẫu nhiên trong L2(P)

Giả sử (X, Z s 1 , Z s 2 , Z s n) ∈ Rn+1 có phân phối chuẩn với mọi s 1 , s 2 , s n ≤ t, n ≥ 1.

Khi đó:

P L(X) = E[X |G] =P K(X)Chứng minh Đặt ˆX =PL(X),X0 =X − Xˆ

Như chúng ta đã biết: Véc tơ (Y 1 , Y 2 , Yk) ∈ Rk là chuẩn nếu và chỉ nếu tổ hợp tuyến

tínhc 1 Y 1+c 2 Y 2+ +c k Y k là chuẩn với mọi c 1 , c 2 , c 3 , c k và giới hạn trong L2 của dãycác biến ngẫu nhiên chuẩn là chuẩn

Do đó

(X0, Z s 1 , , Z s n) là chuẩn với mọi s 1 , s 2 , , s n ≤1

Do E[X0Z s j] = 0, X0 và Z s j không tương quan với mọi 1 ≤ j ≤ n

trong đó H(t)∈ R2×2, K(t)∈ R2×2 và B t là chuyển động Brownian 2-chiều.

Sử dụng dãy xấp xỉ Picard tìm nghiệm phương trình có dạng:

Đồng thời L2[0, T] là không gian đầy đủ Vì vậy N(Z, T) đóng trong L2(P) 

Định nghĩa về quá trình đổi mới Nt

= 0 (do N t có số gia trực giao.)Vậy

Véc tơ ( ˆX t 1 , ,Xtˆ 2) là giới hạn của véc tơ ngẫu nhiên m-chiều (M(1) , , M(m)) trong

đó M(j) là tổ hợp tuyến tính như trên

Họ Z t là Gaussian nên (M(1), , M(m)) là Gaussian và giới hạn ( ˆX t 1 , ,Xtˆ 2) cũng làGaussian

Tính chất 2: Vì N t có số gia trực giao nên R t cũng có số gia trực giao.

Tính chất 3: Vì N t là quá trình Gauss nên R t cũng là quá trình Gauss

Tính chất 4: Sử dụng công thức Ito cho hàm g(t, x) = x2

Bước 4: Công thức tường minh về Xt

Theo công thức Ito ta có:

Để chứng minh công thức trên cần chú ý rằng do định lý Pythagorean, bổ đề 2.7 vàtính đẳng cự Itô:

-Phương trình vi phân ngẫu nhiên của ˆX t

Ta có thể mở rộng định lý trong trường hợp n-chiều:

Định lý 2.3 (Lọc Kalman-Bucy nhiều chiều)

Nghiệm ˆX t = E[X t |G] của bài toán lọc tuyến tính nhiều chiều:

Quá trình hệ thống dX t=F(t)X t dt+C(t)dU t;F(t) ∈ R n ×n , C(t) ∈ R n ×p

Quá trình quan sát dZ t = G(t)X t dt+D(t)dU t;G(t) ∈ Rm×n, D(t) ∈ Rm×r được biểudiễn bởi phương trình vi phân:

dXˆt = (F − SGT)(DDT)−1G) ˆXdt+SGT(DDT)−1dZ t; (2.30)ˆ

trong đó S(t) = E[(X t − Xˆt)(X t − Xˆt)T]∈ R n ×n được xác định bởi phương trình Riccati:

dS

dt =F S+SFT − SGT(DDT)−1GS+CCT; (2.32)

S(0) = E[(X 0 −E[X 0])(X 0 −E[X 0])T]Điều kiện đặt ra đối với D(t) ∈ Rm×r là D(t)D(t)T có ma trận nghịch đảo với mọi t

và (D(t)D(t)T)−1 là hàm bị chặn trên mọi đoạn giới nội của t

2.4 Một số ví dụ

Ví dụ 2.1 Quan sát nhiễu của quá trình hằng số

Xét trường hợp đơn giản:

Quá trình hệ thống: dX t = 0 tức là X t =X 0; EX 0= 0; EX02 =a2

Quá trình quan sát: dZ t=X t dt+mdV t;Z 0 = 0

H t = dZt

dt =X t+mW t;W t là ồn trắngTìm ước lượng tốt nhất của X t theo quan sát Z t?

-Phương trình vi phân ngẫu nhiên của ˆX t

dXˆt =− a

2

m 2+a 2 tXˆtdt+ a2

m 2+a 2 tdZt; ˆX 0 = E[X 0] = 0hay

dXˆt =−tanh(t) ˆX t dt+ tanh(t)dZ t; ˆX 0 = 0hay

d(cosh(t).Xˆt) = sinh(t).dZt

Vì vậy

ˆ

X t = 1cosh(t).

Ví dụ 2.4 Quan sát sự tăng trưởng dân số

Ta xét trường hợp đơn giản: