Ứng dụng của nghiệm Nhớt trong lý thuyết điều khiển tối ưu và trò chơi vi phân

Cho đen nay lý thuyet ve nghi¾m nhót đã đưoc mó r®ng cho lóp các phương trình elliptic - parabolic suy bien caphai xem [6] và đã đưoc úng dung trong rat nhieu lĩnh vnc khác nhau,đ¾c bi¾t

Cuoi cùng, tác giá xin đưoc cám ơn tói gia đình, ban bè đã giúp

đõ, đ®ng viên k%p thòi đe tác giá hoàn thành bán lu¾n văn này

Hà N®i, tháng 5 năm 2011

Tác giá

LèI CAM ĐOAN

Tôi xin cam đoan Lu¾n văn là công trình nghiên cúu cna riêng tôi.Trong khi nghiên cúu lu¾n văn, tôi đã ke thùa thành quá khoa hoccna các nhà khoa hoc và đong nghi¾p vói sn trân trong và biet ơn

Hà N®i, tháng 5 năm 2011

Tác giá

Mnc lnc

1.1 eV lý thuyet đieu khien toi ưu 7

1.1.1 H¾ đieu khien 7

1.1.2 Bài toán đieu khien toi ưu 11

1.1.3 Nguy ên lý quy hoac h đ®ng 13

1.1.4 Phương trình Hamilton-Jacobi-Bellman 17

1.1.5 Phương pháp quy hoac h đ ® n g 20

1.2 thuyetLý trò chơi vi p hân 24

1.3 Nghi¾m nhót cna phương trình Hamilton-Jacobi 30

1.3.1 Khái ni¾m v à tính c hat 30

1.3.2 Nguy ên lý cnc tr% v à nguy ên lý so sánh 32

1.3.3 Tính liên tuc Lipschitz cna nghi¾m nhót 35

1.4 Ket lu¾n chương 1 37

Chương 2 Úng dnng cúa nghi¾m nhát 38 2.1 Úng dung đoi vói lý thuyet đieu khien toi ưu 38

2.1.1 Nghi¾m nhót cna phương trình quy hoach đ®ng 38 2.1.2 Đieu ki¾n can và đn cna đieu khien toi ưu 43

2.2 Úng dung đoi vói lý thuyet trò chơi vi phân 51

2.2.1 Nghi¾m nhót cna phương trình quy hoach đ®ng 51 2.2.2 Úng dung cna nghi¾m nhót đe xây dnng phán hoi toi ưu 55

2.2.3 Sn h®i tu cna lưoc đo xap xí bán ròi rac 61

2.3 lu¾nKet chương 2 66

T

ài li¾u tham kháo 68

Mé ĐAU

1 Lí do chon đe tài

Lý thuyet nghi¾m nhót cna phương trình Hamilton- Jacobi cap m®t

đã đưoc đe xuat bói M.Crandall và P.L Lions tù nhung năm đau cnath¾p ký 80 (xem [7], [3]), mà m®t trong nhung đ®ng lnc chính cna nó

là đe nghiên cúu phương trình Hamilton - Jacobi - Bellman Nó xuathi¾n trong cách tiep c¾n quy hoach đ®ng đoi vói các bài toán đieukhien toi ưu tat đ%nh Cho đen nay lý thuyet ve nghi¾m nhót đã đưoc

mó r®ng cho lóp các phương trình elliptic - parabolic suy bien caphai (xem [6]) và đã đưoc úng dung trong rat nhieu lĩnh vnc khác nhau,đ¾c bi¾t là trong lý thuyet đieu khien toi ưu và lý thuyet trò chơi viphân (xem [4],[5])

Đe nâng cao sn hieu biet ve loai nghi¾m suy r®ng này chúng tôi đãchon đe tài ”Úng dung cna nghi¾m nhót trong lý thuyet đieu khien toi

ưu và lý thuyet trò chơi vi phân"

2 Mnc đích nghiên cNu

Nghiên cúu khái ni¾m nghi¾m nhót cna phương trình đao hàmriêng, các tính chat và các úng dung có the cna chúng trong lýthuyet đieu khien toi ưu đ¾c bi¾t là trong lý thuyet trò chơi vi phân

3 Nhi¾m vn nghiên cNu

• Tìm hieu ve nghi¾m nhót cna phương trình đao hàm riêng cap

m®t

• Tìm hieu ve lý thuyet đieu khien toi ưu tat đ%nh, đ¾c bi¾t là cách

tiep c¾n quy hoach đ®ng

• Tìm hieu ve lý thuyet trò chơi vi phân.

• Tìm úng dung cna nghi¾m nhót trong lý thuyet đieu khien toi ưu

và lý thuyet trò chơi vi phân

4 Đoi tưang và pham vi nghiên cNu

• Nghiên cúu nghi¾m nhót cna lóp phương trình Hamilton Jacobi

-Bellman bao gom các khái ni¾m, các tính chat; cách tiep c¾n quyhoach đ®ng đoi vói bài toán đieu khien toi ưu tat đ%nh

• Lý thuyet trò chơi vi phân và moi quan h¾ giua các đoi tưong đó.

5 Phương pháp nghiên cNu

• Nghiên cúu tài li¾u tham kháo.

• Tong hop, phân tích, h¾ thong lai các khái ni¾m, tính chat.

• Hói ý kien chuyên gia.

6 NhÑng đóng góp cúa đe tài

Đe tài trình bày m®t cách tong quan ve úng dung cna nghi¾m nhótđoi vói lý thuyet đieu khien toi ưu tat đ%nh và lý thuyet trò chơi vi phân

6

Chương 1 M®t so kien thNc chuan b%

1.1 Ve lý thuyet đieu khien toi ưu

Trưóc het ta trình bày m®t so khái ni¾m và ket quá can thiet ve h¾phương trình vi phân phi tuyen mà chúng ta muon đieu khien Ta giá

thiet rang: hàm f (x, a) vói x ∈ R N , a ∈ A (tương úng đưoc goi là

bien trang thái và bien đieu khien), thóa mãn các giá thiet sau:

.A là m®t không gian tô pô,

f : R N × A → R N là m®t hàm liên tuc;

(A0)

f b% ch¾n trên B(0, R) × A, vói moi R > 0; (A1)

(tính b% ch¾n đ%a phương cna f đeu theo bien đieu khien a)

ton tai m®t mô đun đ%a phương ω f sao cho

|f (y, a) − f (x, a)| ≤ ω f (|x − y|, R),



vói moi x, y ∈ B(0, R) và R >

0,

(A2)

(tính liên tuc đeu đ%a phương cna f, đeu theo bien đieu khien a), trong

đó mô đun đ%a phương là m®t hàm ω : R+ × R+ → R+ sao cho vói moi

R > 0, ω(., R) liên tuc, không giám và ω(0, R) = 0.

Ta se chn yeu quan tâm tói trưòng hop A ⊂ R M là t¾p compac Khi đó (A1) và (A2) là các h¾ quá cna (A0)

Ta cũng giá thiet

(f (x, a) − f (y, a)).(x − y) ≤ L|x − y|2, ∀x, y ∈ R N , a ∈ A; (A3) túc là, ton tai m®t so L ∈ R sao cho f (x, a) − LI, vói I là toán

tú đong nhat, là m®t ánh xa đơn đi¾u (không tăng) vói moi a.



Trong lu¾n văn này ta chí xét trưòng hop f liên tuc Lipschitz toàn

cuc theo bien trang thái, túc là

|f (x, a) − f (y, a)| ≤ L |x − y| , ∀x, y ∈ R N , a ∈ Ạ

Khi đó, tn nhiên f thóa mãn (A3) và (A2).

Chúng ta quan tâm tói nghi¾m (hay quy đao) cna h¾ phi tuyen

.y r (t) = f (y(t), ăt)), t > 0,

vói các hàm đieu khien ặ) (goi là đieu khien l¾p mó (open loop),

vì không phu thu®c vào bien trang thái) thu®c t¾p tat cá các đieu

khien: A := {α : [0; +∞) → A đo đưoc}

(ve hàm đo đưoc và các tính chat liên quan có the xem [2])

Kí hi¾u y x (., a) = y x (.) là nghi¾m cna (1.1) úng vói đieu khien a, theo nghĩa y x (., a) là nghi¾m cna phương trình tích phân

¸ t

y(t) = x

+ 0 f (y(s), ăs))ds, t > 0.

Như v¾y y x (., a) là m®t hàm liên tuc tuy¾t đoi trên các t¾p con

compac cna [0, +∞) và thóa mãn (1.1) hau khap nơị Các đ%nh lý sau đây chí

ra sn ton tai nghi¾m cũng như tính chat nghi¾m cna phương trình tíchphân:

y(t) = x + ¸ t

f (y(s), ăs))ds. (1.2)

t0

Đ%nh lý 1.1.1 [Sn ton tai quy đao đ%a phương, [4], Đ%nh lý 5.4] Giá

sú ta có các giá thiet (A0), (A1), x ∈ R N co đ%nh và đ¾t

K = K x := sup{|f (z, a)| : |z − x| ≤ 1, a ∈ A}.

Khi đó vói moi t0 ∈ R, a ∈ A ton tai m®t nghi¾m liên tnc Lipschitz y cúa (1.2) trên [t0, t0 + 1/K] Hơn nua

|y(t) − x| ≤ K(t − t0),∀t.

8

Đ%nh lý 1.1.2 [Sn ton tai quy đao toàn cnc, [4], Đ%nh lý 5.5] Giá sú

ta có các giá thiet (A0), (A1) và (A3) Khi đó vói moi t0 ∈ R, x ∈ R N , a

∈ A ton tai m®t nghi¾m duy nhat y x : [0, +∞) → R N cúa (1.2) và thóa mãn

|y x (t)| ≤ (|x| + ,2K(t − t0))e K(t−t0 ), ∀t > t0, trong đó K := L + sup α∈A |f (0, α)| Neu y z là nghi¾m thóa mãn đieu ki¾n ban đau y z (t0) = z thì

Đe xét tính khá vi cna nghi¾m cna (1.1) theo đieu ki¾n ban đau x,

ta nhó lai rang: ma tr¾n nghi¾m cơ bán M (s, t) cna h¾ phương trình

ma tr¾n vuông cap N, I là ma tr¾n đơn v% cap N Hơn nua, c®t thú i,

m i cna M (., t0), túc là m i (s) = M (s, t0)e i là nghi¾m cna (1.3) vói

du ki¾n ban đau là ξ(t0) = e i , túc là nó thóa mãn

• vói moi x, hàm t ›→ F (x, t) đo đưoc;

• vói moi t, hàm x ›→ F (x, t) khá vi liên tuc, hơn nua ma tr¾n Jacobi cna nó D x F b% ch¾n trên K × [t0, t1] vói moi t¾p compac K ⊂ R N .Nghi¾m cna (1.4) đưoc hieu theo nghĩa tích phân thông thưòng và ký

hi¾u là S(t, t0, x) = y(t) Khi đó ta có

Đ%nh lý 1.1.3 [[4], Đ%nh lý 5.8] Vói các giá thiet đã nêu trên, goi

yˆ(.) = S(., t0, x0) là nghi¾m cúa (1.4) vói điem ban đau x = x0 Khi đó vói moi t ∈ [t0, t1], ánh xa x ›→ S(t, t0, x) khá vi liên tnc trong m®t lân c¾n cúa x0 Hơn nua, ma tr¾n Jacobi cúa nó tai x0 là

D x S(t, t0, x0) = M (t, t0), trong đó M (., ) là ma tr¾n cơ bán cúa h¾ phương trình tuyen tính

ξ r (t) = D x F (yˆ(t), t)ξ(t).

Ket quá này cho ta tính khá vi cna quy đao cna h¾ (1.1), túc là

nghi¾m cna (1.3) theo v% trí ban đau vói moi đieu khien a ∈ A co đ

%nh, túc là tính khá vi cna ánh xa x ›→ y x (t, a) dưói các giá thiet (A3) và thêm đieu ki¾n x ›→ f (x, a) khá vi liên tuc vói moi a ∈ A và

(A0)-có ma tr¾n Jacobi b% ch¾n trên các t¾p compac (túc là, ω f (r, R) =

L R r trong (A2)).

1.1.2 Bài toán đieu khien toi ưu

Gan vói h¾ (1.1), lý thuyet đieu khien toi ưu thưòng xét m®t trong

bon phiem hàm chi phí (cost functional) sau đây:

• TH1: Bài toán vói thòi gian vô han (Infinite Horizon):

• TH2: Bài toán vói thòi gian huu han hay Bài toán Mayer (Finite Horizon):

Chúng ta muon cnc tieu hóa các phiem hàm chi phí nêu trên vói

ặ) ∈ A (trong tình huong chí có ràng bu®c đoi vói đieu khien a),

ho¾c vói

ặ) ∈ A x := {a ∈ A : y x (a, t) ∈ Ω, ∀t > 0},

.min {s : y x (s, a) ∈ T } neu {s : yx (s, a) ∈ T } ƒ= ∅ +∞, neu trái lai;

e

−

trong đó Ω ⊆ RN là m®t t¾p mó đã cho (trong tình huong có ràng bu®c trang thái).

Đ%nh nghĩa 1.1.4 Neu phiem hàm chi phí đat cnc tieu tai đieu khien

a ∗ (.) thì a ∗ (.) đưoc goi là m®t đieu khien toi ưu úng vói v% trí ban đau

x (và úng vói thòi điem t trong bài toán vói thòi gian huu han)

Vi¾c cnc tieu hóa các phiem hàm chi phí đe c¾p ó trên lan lưot dan

tói các hàm giá tr% (value function) sau đây:

• TH1: Bài toán vói thòi gian vô han:

1.1.3 Nguyên lý quy hoach đ®ng

Tiep theo ta đưa ra phương trình hàm, tương úng thóa mãn bói cáchàm giá tr% trên đây, phương trình đó dien tá m®t cách trnc quanrang: đe đat đưoc chi phí cnc tieu ta can thnc hi¾n các bưóc sau:

• Cho h¾ v¾n hành đen m®t thòi gian nhó s vói m®t đieu khien ặ)

tùy ý trên đoan [0, s];

• Thanh toán chi phí tương úng đen thòi điem s;

• Thanh toán chi phí còn lai (cho thòi gian sau s) vói m®t đieu khien tot

nhat có the;

• Cnc tieu hóa tong hai khoán đã thanh toán trên tat cá các đieu

khien có the trên đoan [0, s]

Đ%nh nghĩa 1.1.5 Phương trình hàm đoi vói hàm giá tr% đó đưoc goi

là nguyên lý quy hoach đ®ng.

Các nguyên lý quy hoach đ®ng tương úng vói các hàm giá tr% (trù

V c (x)) đưoc chí ra trong m¾nh đe sau:

M¾nh đe 1.1.6 Vói moi s > 0

• TH1: Bài toán vói thòi gian vô han:

• TH4: Bài toán chiet khau thòi gian toi thieu:

, neu s ≤ T (x)).

Chúng minh Đe chúng minh các nguyên lý quy hoach đ®ng ta dna vào

tính chat núa nhóm cna các nghi¾m cna (1.1):

y x (s + t, a) = y y x (s,a) (t, ặ + s)),

và hai tính chat sau cna các đieu khien chap nh¾n đưoc:

1 Neu ặ) ∈ A và t > 0 thì ặ + t) ∈ A;

Sau đây chúng tôi chí trình bày chúng minh nguyên lý quy hoach

đ®ng cho bài toán tìm thòi gian toi thieụ Th¾t v¾y, vói moi ặ) ∈ A

Đe chúng minh bat đang thúc ngưoc lai ta co đ%nh m®t đieu khien

ặ) ∈ A, đ¾t z := y x (s, a)) và đe đơn gián ta giá sú ton tai a1(.)

∈ A sao cho T (z) = t z (a1) Khi đó

M¾nh đe 1.1.7 Vói moi ặ) ∈ A các hàm sau không giám:

• TH1: Bài toán vói thòi gian vô han:

• TH3: Bài toán tìm thòi gian toi thieu:

s ›→ s + T (y x (s, a)), s ∈ [0, t x (a)], neu T (x) < +∞;

• TH4: Bài toán chiet khau thòi gian toi thieu:

Chúng minh (cho bài toán tìm thòi gian toi thieu)

1 Vói moi ặ) ∈ A, tù nguyên lý quy hoach đ®ng vói v% trí ban đau

y x (s, a), ta có

T (y x (s, a)) ≤ ε + T (y x (s + ε, a)) vói ε > 0 đn nhó, suy ra:

s + T (y x (s, a)) ≤ s + ε + T (y x (s + ε, a)).

∞

V¾y ta có khang đ%nh thú nhat.

2 Neu h(s) := s + T (y x (s, a)) là hàm hang thì h(s) ≡ h(0) = T (x) Vì the tù 0 ≤ T (x) < +∞ ta suy ra t x (a) < +∞ và h(t x (a)) =

t x (a) bói vì T ≡ 0 trên t¾p đích T V¾y T (x) = t x (a) Hay ặ) là đieu khien toi ưu úng vói v% trí ban đau x.

Ngưoc lai, neu ặ) ∈ A là đieu khien toi ưu úng vói x thì

(x, t) đoi vói bài toán vói thòi gian huu han) Khi đó

• TH1: Bài toán vói thòi gian vô han:

V ∞ (x) + max{−f (x, a).DV ∞ (x) − l(x, a)} = 0;

Chúng minh (cho bài toán tìm thòi gian toi thieu).

1 Ta chúng minh H(x, DT (x)) ≤ 1 Co đ%nh m®t đieu khien hang a(t) ≡ a0 và đ¾t y(t) = y x (t, a) Tù nguyên lý quy hoach đ®ng ta có

T (x) − T (y(s)) ≤ s vói 0 ≤ s < T (x).

chia hai ve cho s > 0 ta đưoc:

T ( x ) − T ( y ( s ))

T ( x ) − T ( y ( s ))

• TH1: Bài toán vói thòi gian vô han:

u + max{−f (x, a).Du(x) − l(x, a)} = 0 trong R N ;

(1.5)

a∈A

• TH2: Bài toán vói thòi gian vô han có ràng bu®c trang thái:

u + max{−f (x, a).Du(x) − l(x, a)} = 0trong Ω,

max{−f (x, a).Du(x) − l(x, a)} ≥ 0 trên

∂Ω;

a∈A x

(1.6)



• TH3: Bài toán vói thòi gian huu han:

∂t + H(x, D x (u) = 0 trong R

× (0, +∞),

(1.7)

u(x, 0) = g(x) trên RN × 0;

• TH4: Bài toán tìm thòi gian toi thieu:

H(x, Du) = 1 trong Ω \ T , u = 0 trên ∂T ,

RN \T có the không b% ch¾n, chang han khi t¾p đích T là compact).

Phương trình đao hàm riêng úng vói bài toán vói thòi gian vô han (1.5)

đưoc đ¾t trong toàn b® không gian Lúc này, tính b% ch¾n cna V ∞ cóthe đưoc xem như là đieu ki¾n biên ”ó vô cnc” cna phương trình đó.Đieu ki¾n biên cna bài toán có ràng bu®c trang thái (1.6) là mói và lanđau tiên nó đưoc đ¾t ra bói Soner Bài toán biên úng vói bài toán tìmthòi gian toi thieu (1.8) là bài toán biên tn do; chúng ta muon rang: Ω

= R := {x : T (x) < +∞}, (de thay R là t¾p mó và T (x) → +∞ khi x → ∂R neu h¾ đieu khien đưoc ó gan T ).

∂u

N



1.1.5 Phương pháp quy hoach đ®ng

Lý thuyet co đien cna phương pháp quy hoach đ®ng thnc hi¾n vóigiá thiet phương trình Hamilton-Jacobi-Bellman có m®t nghi¾m (đôikhi chí can m®t nghi¾m dưói) và dùng nghi¾m đó đe chí ra các đieuki¾n đn đe ton tai đieu khien toi ưu Ket quá khi đó thưòng đưoc goi là

đ%nh lý kiem chúng Sau đây là m®t ví du ve ket quá như v¾y đoi vói

bài toán chiet khau thòi gian toi thieu Trưóc het ta đưa ra đ%nh nghĩahàm kiem chúng co đien:

Đ%nh nghĩa 1.1.9 Hàm kiem chúng co đien là m®t hàm b% ch¾n u ∈

Đ%nh lý 1.1.10 Giá sú u là m®t hàm kiem chúng co đien cúa bài toán

chiet khau thòi gian toi thieu, x ∈/ T , a ∗ (.) ∈ A.

(i) Neu u(x) ≥ J (x, a ∗ ) thì a ∗ (.) là m®t đieu khien toi ưu úng vói x

vói hau het t ≤ t x (a) Tích phân hai ve ta nh¾n đưoc

a Neu t x (a) = +∞ thì do u b% ch¾n nên u(x) ≤ 1 = J (x, a).

Nh¾n xét 1.1.11 Neu hàm kiem chúng u là m®t nghi¾m cúa phương

trình HJB :

u + H(x, Du) = 1 trong R N \ T , thì đieu ki¾n đú đe m®t đieu khien là toi ưu (1.11) tương đương vói

−f (y ∗ (s), a ∗ (s)).Du(y ∗ (s)) = max{−f (y ∗ (s), a).Du(y ∗ (s))}

a∈A

= H(y ∗ (s), Du(y ∗ (s))) vói hau het 0 < s < t x (a).

Nh¾n xét 1.1.12 Neu chúng ta lay chính hàm giá tr% V làm m®t hàm

kiem chúng (nhưng đieu này chí đưoc thnc hi¾n neu V trơn), thì đieu ki¾n đú đe m®t đieu khien là toi ưu (1.11) cũng là đieu ki¾n can Th¾t v¾y, theo nguyên lý quy hoach đ®ng (M¾nh đe 1.1.7), neu a ∗ là đieu khien toi ưu úng vói x thì hàm h xác đ%nh bói (1.12) vói u = V

là hàm hang Khi đó

0 = h r (s) = e −s [1 − V (y ∗ (s)) + DV (y ∗ (s)).f (y ∗ (s), a ∗ (s))], hay (1.11) thóa mãn vói u = V.

Bưóc cuoi cùng cna phương pháp quy hoach đ®ng là chúng ta cogang xây dnng m®t đieu khien toi ưu dưói dang phán hoi tù nhunghieu biet ve hàm giá tr% Chúng tôi se minh hoa bưóc này đoi vói bàitoán chiet khau thòi gian toi thieu dưói m®t vài giá thiet khá ch¾t Giá

sú hàm giá tr% V là trơn và xét t¾p con sau cna A

S (z) : = arg minf (z, a).DV (z)

a∈A

= {a ∈ A : H(z, DV (z)) = −f (z, a).DV (z)} Đây là t¾p các đieu khien a mà úng vói chúng hàm giá tr% V giám nhanh nhat theo hưóng f (z, a) tương úng.

y r = f (y, Φ(y)), t > 0, y(0) = x,

có nghi¾m duy nhat đưoc goi là m®t phán hoi chap nh¾n đưoc Phán

hoi chap nh¾n đưoc Φ đưoc goi là phán hoi toi ưu úng vói x neu

Φ(y(.)) ∈ A

là m®t đieu khien toi ưu úng vói x.

Theo Đ%nh lý 1.1.10 và Nh¾n xét 1.1.11, m®t đieu khien a ∗ (t) ∈ A

là toi ưu úng vói x khi và chí khi

a ∗ (t) ∈ S(y x (t, a ∗ )) vói hau het t > 0.

Vì v¾y neu phán hoi chap nh¾n đưoc Φ thóa mãn

Φ(z) ∈ S(z), ∀z ∈ R N ,

thì Φ là toi ưu úng vói moi điem ban đau x ∈ RN

Phương pháp này thnc hi¾n đưoc đoi vói các bài toán liên quanđen h¾ tuyen tính và các hàm chi phí b¾c hai Trong trưòng hop nàyhàm giá tr% là hàm b¾c hai và nó có the tính đưoc bang cách giáim®t phương trình đơn gián hơn nhieu so vói phương trình Hamilton-

Jacobi-Bellman (đó là phương trình Riccati), S(z) là t¾p m®t điem

vói moi z và phan tú Φ(z) cna nó là m®t hàm trơn cna z, nên Φ(z) là

m®t phán hoi chap nh¾n đưoc toi ưu Tuy nhiên trong hau het các bàitoán ta thưòng g¾p nhung khó khăn sau:

(a) Hàm giá tr% V không trơn;

(b) Th¾m chí trong t¾p con mà ó đó V trơn thì S(z) cũng không là t¾p

m®t điem;

(c) Không có phán hoi chap nh¾n đưoc Φ nào thóa mãn:

Φ(z) ∈ S(z), vói moi z.

1.2 Lý thuyet trò chơi vi phân

Cho m®t h¾ đ®ng lnc đưoc đieu khien bói hai ngưòi

chơi:

.y r (t) = f (y(t), a(t), b(t)), t > 0 y(0) = x

t x (a, b)

=

.min{t : y x (t, a, b) ∈ T } neu {t : yx (t, a, b) ∈ T } =ƒ

∅

Sau đây là hai bài toán đưoc mô hình hóa theo cách này

Trò chơi chon- tìm: Trong trò chơi này moi ngưòi chơi đieu khien m®t

đoi tưong, ngưòi chơi thú nhat muon tiep c¾n ngưòi chơi thú hai ngaykhi có the, còn ngưòi chơi thú hai thì muon lan tránh càng lâu càng

tot é đây bien trang thái đưoc chia ra làm hai phan y = (y A , y B ) ∈

RM × R M Phương trình vi phân trong (1.13) đưoc tách đôi

A = f A (y A , a), y B = f B (y B , b),

và chi phí J là thòi điem bat đưoc, túc là thòi điem đau tiên các toa đ®

mô tá ngưòi chơi thú nhat đn gan vói các toa đ® mô tá ngưòi chơi thúhaị Trong tình huong này, t¾p đích là:

T := {(y A , y B ) : |y A,i − y B,i | ≤ ε, ∀1 ≤ i ≤ k}

vói ε ≥ 0 và k ≤ M (ó đây y A,i là thành phan thú i cna y A)

Trò chơi đieu khien trong hoàn cánh thieu thông tin: Giá sú chúng ta chí có m®t ngưòi đieu khien ặ) cna h¾ đieu khien, nhưng h¾ b% ánh hưóng bói nhieu b(.) Tình huong này thưòng đưoc mô tá bói lý

thuyet đieu khien ngau nhiên Tuy nhiên trong m®t vài trưòng hop, lýthuyet đieu khien ngau nhiên cũng không thích hop Chang han khi

chúng ta không biet bat kỳ thông tin nào cna b(.) ho¾c khi ta không

chac chan cnc tieu hóa đưoc giá tr% mong đoi cna hàm chi phí Trongcác tình huong đó, chúng ta đ¾t van đe cnc tieu hóa phiem hàm chi

phí khi đ® nhieu toi nhat có thẹ Vì v¾y rat thích hop khi coi b(.) là

ngưòi chơi thú hai, ngưòi muon cnc đai hóa phiem hàm chi phí

Đe đ%nh nghĩa hàm giá tr% cna trò chơi chúng ta phái đưa ra m®tvài lu¾t chơị

Lu¾t chơi tĩnh: Là mô hình trong đó tai thòi điem ban đau t =

0 ngưòi chơi thú nhat chon phương án toàn cuc cna mình dna trêndáng đi¾u toàn cuc trong tương lai cna ngưòi chơi thú hai, còn ngưòichơi thú hai đưa ra phương án cna mình dna trên lna chon cna ngưòi

chơi thú nhat Trong mô hình này chúng ta có hàm giá tr% dưói và hàm giá tr% trên cna trò chơi tương úng là

Lu¾t chơi vói đieu khien phán hoi: Là mô hình trong đó tai moi thòi điem t, cá hai ngưòi chơi đưa ra quyet đ%nh đieu khien cna mình chí dna trên v% trí hi¾n thòi cna trang thái y(t) Đây là m®t mô hình

thông tin khá thnc te và nó là m®t mô hình đien hình trong lý thuyetđieu khien tn đ®ng Cu the, đieu khien cna hai ngưòi chơi xác đ%nhbói hai hàm

(phán hoi) cna trang thái Φ : RN → A, Ψ : R N → B Nói cách khác, ta

Trong mô hình này, đe có sn ton tai duy nhat cna quy đao chúng ta can

có giá thiet f, Φ, Ψ liên tuc Lipschitz Tuy nhiên yêu cau Φ, Ψ liên

tuc Lipschitz là quá ng¾t, bói vì trong các ví du thưòng g¾p thì cácphán hoi toi ưu th¾m chí còn không liên tuc Hơn nua ta cũng khôngbiet là nguyên lý quy hoach đ®ng có còn đúng đoi vói các phán hoiLipschitz hay không?

Lu¾t chơi vói chien lưoc không đ%nh trưóc: Là mô hình trong đó tai moi thòi điem t, ngưòi chơi thú nhat chon giá tr% cna đieu khien ặ)

trên cơ só biet đieu khien đã chon cna đoi phương tính đen thòi điem

t, túc là biet giá tr% cna b(.) |[0,t]

Đ%nh nghĩa 1.2.1 M®t chien lưoc cna ngưòi chơi thú nhat là m®t ánh

xa α : B → A; nó đưoc goi là không đ%nh trưóc neu vói bat kỳ t > 0

và b, ˆb ∈ B, b(s) = ˆb(s) vói moi s ≤ t đeu suy ra α[b](s) = α[ˆb](s) vói moi s ≤ t.

Nói cách khác, ngưòi chơi thú nhat chon m®t trong so các chienlưoc không đ%nh trưóc

Γ := {α : B → A : ∀t > 0, b(.) | [0,t] = ˆb(.) | [0,t] ⇒ α[b](s) = α[ˆb](s),

∀s ≤ t}.

Ví dn 1.2.2 M®t ví du tam thưòng cna chien lưoc không đ%nh trưóc

α ∈ Γ là chien lưoc hang: α[b]

=

a¯, ∀b ∈ B, vói a¯

∈ A nào đó M®t ví

Vói lu¾t chơi này, Varayia, Roxin, Elliot và Kalton đã đưa ra khái

ni¾m hàm giá tr% dưói cna trò chơi

V (x) :=

inf sup J (x, α[b], b).

α ∈Γ b(.)∈B

Đáo ngưoc vai trò cna ngưòi chơi trong mô hình này ta có đ%nh nghĩa

hàm giá tr% trên cna trò chơi

U (x) :=

sup inf J (x, a, β[a]),trong đó

β∈∆ ặ)∈A

∆ := {β : A → B : ∀t > 0, ặ) | [0,t] = aˆ(.) | [0,t] ⇒ β[a](s) = β[aˆ] (s), ∀s ≤ t}

là t¾p các chien lưoc không đ%nh trưóc cna ngưòi chơi thú haị

M¾nh đe 1.2.4 Vói các kí hi¾u trên đây ta có các bat đang thúc:

v s ≤ V ≤ u s và v s ≤ U ≤ u s Chúng minh Vói moi x ∈ R N và ε > 0, ton tai m®t α¯ ∈ Γ sao cho

V (x) + ε ≥ J (x, α¯[b], b) ≥ inf J (x, a, b), ∀b ∈ B

a∈A

Chúng tó v s ≤ V.

M¾t khác theo Ví du 1.2.2 thì Γ chúa m®t bán copy cna A, do đó

V ≤ u s Hoàn toàn tương tn ta có các bat đang thúc còn laị

Các tên goi hàm giá tr% trên và hàm giá tr% dưói cna trò chơi có nguon goc tù bat đang thúc

Tuy nhiên chúng minh đieu đó là không de Đieu này đưoc chúng minh

m®t cách gián tiep nhò phương trình Hamilton-Jacobi cho V và U

nh¾n đưoc bói phương pháp quy hoach đ®ng Tuy nhiên, theo trncgiác thì (1.15) là đúng, bói vì ngưòi chơi luôn chon cách chơi có loinhat tai moi thòi điem chơi Hơn nua ví du sau đây cho ta có thêm sntin tưóng vào

Neu ngưòi chơi thú nhat là ngưòi muon cnc tieu J thì se đieu khien

a sao cho (a − b)2 lón nhat, và phương án tot nhat trong trưòng hopnày đoi vói anh ta là

α ∗ [b](t) =

.1 neu b(t) < 0 −1 neu b(t) ≥ 0.

Khi đó đieu khien toi ưu đoi vói ngưòi chơi thú hai (ngưòi muon cnc đai

J ) là b ∗ (t) ≡ 0 Vì khi đó (a − b)2 se luôn bang 1 là giá tr% nhó nhat

có the Do v¾y t x (a, b) = −x và giá tr% toi ưu

Neu ngưòi chơi thú hai là ngưòi muon cnc đai J thì se đieu khien b

sao cho (a − b)2 nhó nhat, và phương án tot nhat trong trưòng hopnày đoi vói anh ta là

β ∗ [a](t) = a(t).

Khi đó vói moi đieu khien cna ngưòi chơi thú nhat (ngưòi muon cnc tieu

J ) ta đeu có (a − b)2 = 0 Do v¾y t x (a, b) = +∞ và giá tr% toi ưu

¸ ∞

U (x) :=

sup inf J (x, a, β[a])= e

−s ds = 1.

Mô hình vùa mô tá ó trên là không thnc hi¾n đưoc trong nhieu tròchơi, chang han trong các trò chơi tron- tìm, bói vì trong trò chơi đó loithe cna ngưòi chơi đã đưoc cho trưóc khi lna chon chien lưoc Tuynhiên nó cho ta m®t nh¾n đ%nh rang, bat kỳ trò chơi nào có tính

công bang hơn đeu có đau ra nam giua V (x) và U (x) Đieu đó dan

tói đ%nh nghĩa sau:

Đ%nh nghĩa 1.2.6 Neu V (x) = U (x) thì chúng ta nói rang trò chơi

vói v% trí ban đau x có m®t giá tr% và ta goi V (x) là hàm giá tr% cúa trò

Dang vi phân cna hai nguyên lý quy hoach đ®ng trên tương úng

đưoc goi là phương trình Hamilton-Jacobi- Isaacs dưói và phương trình Hamilton-Jacobi- Isaacs trên, úng vói các Hamiltonian

H(x, p) := minmax{−f (x, a, b).p},

b∈B a∈A

H˜ (x, p) := maxmin{−f (x, a, b).p}.

a∈A b∈B

1.3 Nghi¾m nhát cúa phương trình

Hamilton-Jacobi

Trong muc này chúng tôi trình bày m®t so khái ni¾m và ket quáquan trong cna lý thuyet nghi¾m nhót liên tuc cna phương trìnhHamilton- Jacobi

(1.16)

trong đó E là m®t t¾p mó trong R M , hàm Hamilton F = F (x, r, p)

là m®t hàm giá tr% thnc liên tuc trên E × R × R M Các ket quá này

chn yeu đưoc h¾ thong tù các công trình [4]-[7]

Ký hi¾u USC(E) và LSC(E) tương úng là t¾p tat cá các hàm so

u : E → R núa liên tuc trên (tương úng: núa liên tuc dưói) trên E.

cna (1.16) hay là m®t nghi¾m cna F (x, u, Du) ≤ 0 trong E neu vói moi φ ∈ C1(E) và vói moi điem cnc đai đ%a phương x cna u − φ

ta có

F (x, u(x), Dφ(x)) ≤ 0.

Hàm u ∈ LSC(E) là m®t nghi¾m nhót trên cna (1.16) hay là m®t nghi¾m cna F (x, u, Du) ≥ 0 trong E neu vói moi φ ∈ C1(E) và vói moi điem cnc tieu đ%a phương x cna u − φ ta có

F (x, u(x), Dφ(x)) ≥ 0.

Hàm u ∈ C(E) đưoc goi là nghi¾m nhót cna (1.16) neu nó vùa là

m®t nghi¾m nhót dưói vùa là m®t nghi¾m nhót trên cna phương trìnhđó

Đe ý rang: phương trình Hamilton tien hóa

u t (y, t) + F (y, t, u(y, t), D y (y, t)) = 0, (y, t) ∈ D × (0, T )

có the đưa ve dang (1.16) vói

x = (y, t) ∈ E = D×(0, T ) ∈ R M +1 , F˜(x, r, q) = q M +1 +F (x, r,

q1, · · · , q M )

trong đó q = (q1, · · · , q M , q M +1 ) ∈ R M +1

M¾nh đe sau đây cho thay tính chat đ%a phương cna nghi¾m nhót

và sn phù hop cna nghi¾m nhót đoi vói khái ni¾m nghi¾m co đien

trình (1.16) trong E thì u là nghi¾m nhót cúa phương trình đó trong

E r vói moi t¾p mó E r ⊂ E;

ii) Neu u là nghi¾m co đien cúa phương trình (1.16) trong E thì u là

nghi¾m nhót cúa phương trình đó trong E;

iii) Neu u ∈ C1(E) là nghi¾m nhót cúa phương trình (1.16) trong E

thì u là nghi¾m co đien cúa phương trình đó trong E;

Ví dn 1.3.3 Hàm u(x) = |x| là m®t nghi¾m nhót cna phương trình

tương úng đưoc goi là trên vi phân và dưói vi phân cna hàm u tai x.

M¾nh đe 1.3.4 Hàm u ∈ USC(E) là nghi¾m nhót dưói cúa (1.16)

Hàm u là nghi¾m nhót cúa (1.16) khi và chí khi nó thóa mãn đong thòi hai đieu ki¾n (1.17) và (1.18).

Nhò đ¾c trưng này cna nghi¾m nhót, chúng ta chúng minh đưoc rang

Đ%nh lý 1.3.5 a) Neu u ∈ C(E) là nghi¾m nhót cúa (1.16) và u khá

vi tai x ∈ E thì

F (x, u(x), Du(x)) = 0.

th

ì

b) Neu u liên tnc Lipschitz đ%a phương và là nghi¾m nhót cúa (1.16)

F (x, u(x), Du(x)) = 0 hau khap nơi trong E.

Khái ni¾m nghi¾m nhót có liên h¾ m¾t thiet vói nguyên lý cnc tr%

và nguyên lý so sánh

sánh đoi vói các nghi¾m trên ng¾t, trơn neu vói moi φ ∈ C1(E) và

Rõ ràng là neu u thóa mãn nguyên lý cnc đai thì u cũng thóa mãn

nguyên lý so sánh Moi liên h¾ giua các khái ni¾m trên và nghi¾mnhót cho bói m¾nh đe sau đây

là m®t nghi¾m nhót dưói Ngưoc lai, neu u là nghi¾m nhót dưói và ánh xa

r ›→ F (x, r, p) không giám vói moi x, p thì u thóa mãn nguyên lý cnc đai

mô đun ω1 : [0, +∞) → [0, +∞) sao cho Hamiltonian H thóa mãn đieu ki¾n

|H(x, p) − H(y, p)| ≤ ω1(|x − y|(1 + |p|)), x, y ∈ E, p ∈ R M (H1) Khi đó neu u1, u2 ∈ C(E) tương úng là nghi¾m nhót dưói và nghi¾m nhót trên cúa phương trình Hamilton-Jacobi

nhót cna phương trình (1.19) và u1 = u2 trên ∂E thì u1 = u2 trong

E Nói cách khác bài toán Dirichlet đoi vói (1.19) có tính duy nhat

nghi¾m theo nghĩa nhót

ii) Đ%nh lý 1.3.8 van đúng đoi vói phương trình

λu(x) + H(x, Du(x)) = 0, x ∈ E, trong đó λ > 0 đã cho.

Trong trưòng hop E = RM , chúng ta có ket quá ve sn so sánh nghi¾m trong không gian BC(R M )-tat cá các hàm liên tnc và b% ch¾n

trên RM Tuy nhiên chúng ta can các giá thiet sau ve Hamiltonian H :

H(y, λ(x − y) + p) − H(x, λ(x − y) + q)