Chuong 3Lý thuyết điều khiển nâng cao

PH NG PHÁP QUI HO CH NG.

Môn Môn h c h c

LÝ THUY T I U KHI N NÂNG CAO

 Ph ng pháp qui ho ch đ ng Bellman

 i u khi n t i u toàn ph ng tuy n tính LQR

 i u khi n t i u toàn ph ng tuy n tính LQR

 c l ng tr ng thái t i u (l c Kalman)

 i u khi n t i u LQG

 i u khi n t i u LQG

GI I THI U

 i u khi n t i u : xác đ nh lu t K cho h th ng đ ng

Gi i thi u

 i u khi n t i u : xác đ nh lu t K cho h th ng đ ng

cho tr c sao cho t i thi u hóa m t ch tiêu ch t l ng

 K t i u đ c phát tri n trên c s toán h c: ph ng

 K t i u đ c phát tri n trên c s toán h c: ph ng

pháp bi n phân (Bernoulli, Euler, Lagrange, Weiertrass,…)

 T nh ng n m 1950, K t i u phát tri n m nh m và tr thành m t l nh v c đ c l p

 Ph ng pháp quy ho ch đ ng do Richard Bellman đ a

 Bài toán đi u ch nh toàn ph ng tuy n tính và l c

Kalman do Rudolf Kalman đ a ra trong nh ng g g

n m1960

Có hi bài t á đi khi t i tù th

Phân lo i bài toán đi u khi n t i u

Phân lo i bài toán đi u khi n t i u

 Có nhi u bài toán đi u khi n t i u, tùy theo:

 Lo i đ i t ng đi u khi n

 Mi n th i gian liên t c hay r i r c

 Ch tiêu ch t l ng

 Bài toán t i u có ràng bu c hay không

 K t i u t nh: ch tiêu ch t l ng không ph thu c th i gian

 K t i u đ ng: ch tiêu ch t l ng ph thu c th i gian

 Bài toán ch nh toàn ph ng tuy n tính (Linear

Quadractic Regulator LQR)

Quadractic Regulator – LQR)

 Bài toán đi u khi n t i u H2

 …

 Tr c khi máy tính s ra đ i ch có th gi i đ c

ng d ng

 Tr c khi máy tính s ra đ i, ch có th gi i đ c

m t s ít bài toán đi u khi n t i u đ n gi n

 Máy tính s ra y đ i cho phép ng d ng lý thuy t đi u p p g g ý y khi n t i u vào nhi u bài toán ph c t p.

 Ngày nay, đi u khi n t i u đ c ng d ng trong

nhi u l nh v c:

Không gian (aerospace)

 i u khi n quá trình (proccess control)

 i u khi n quá trình (proccess control)

T I U HÓA T NH

 Bài toán t i u t nh không ràng bu c: tìm m thông

T i u hóa t nh không ràng bu c

 Bài toán t i u t nh không ràng bu c: tìm m thông

s th c (hay ph c) u1, u2,…, um sao cho hàm

 Gi s L(u) kh đ o hàm theo u thì đi u ki n c n và

(

0 )



   trong đó:

u u L

u u L

u u

L L

L

1

2 2

1

2 1

1 2

L L

2

2 1

2

u u

L u

2

2 1

2

2 1

1

u

L u

u L

u u

uu L

 (u*,u*)  (0.7222;0.3889) là đi m c c ti u.

Tìm c c tr không ràng bu c

Tìm c c tr không ràng bu c – – Thí d 1 Thí d 1

)38890

;72220

0

;7222

100

L

0 50

-2 0

2 4

6 -50

u1u

u *

4

u2

 Bài toán t i u t nh có ràng bu c: tìm vector thông s

T i u hóa t nh có ràng bu c

 Bài toán t i u t nh có ràng bu c: tìm vector thông s

u sao cho hàm L(x,u) đ t c c ti u, đ ng th i th a

n

: hàm đánh giá

p m

n

f :      : đi u ki n ràng bu c

Hàm Hamilton

 nh ngh a hàm Hamilton :

 nh ngh a hàm Hamilton :

) , ( )

, ( )

, ( x u L x u T f x u

trong đó   p là vector h ng s g i là th a s Larrange

Do ràng bu c f(x,u) = 0 nên c c ti u c a L(x,u) c ng

trong đó là vector h ng s , g i là   p th a s Larrange

 Bi n đ i bài toán tìm c c ti u hàm L(x,u) v i ràng bu c

u

x u

) (

, ( )

,

( )

x

u x x

u

x u

u x

d c c a hàm m c tiêu v i đi u ki n ràng bu c

d c c a hàm m c tiêu v i đi u ki n ràng bu c

)(

x

u

x u

u x

u x f u

x f u

x u

,()

,()

,

()

(

1

u u

u u

x x

u

u x u

x

f u

(

u



)(

0)

,(x u 

u H

, ( x u 

, ( x u

, ( )

, (

0 )

, ( )

, ( )

,

(

u x f

u x

u x f

u x u

2 1

2 2

2

5 )

0 2

6 )

( )

H   T

) 2 6

( 3

8 2

2 5

) (  u12  u22  u1u2  u1  u2  u1  u2 



2 10

(

0 )

3 4

2

) (

0 8

H

u

u u

6 )

(

0 6

3 4

2

2 1

2 1

f

u

u u

0 8412

0

*  

) 2 6

( 3

8 2

2 5

) (  u2  u2  u u  u  u  u  u 

Tìm c c tr có ràng bu c

Tìm c c tr có ràng bu c – – Thí d 1 Thí d 1

47350

84120

100

L

0 50

-2 0

2 4

6 -50

u1u

u *

4

u2

, ( )

,

) 6

3 (

) 2 (

) 2 (

) ,



u x H

, (

0 )

, (

u x H

u x H

u

x

0 )

2 (

2

) ,

u x H

3 )

,



u x

x u

x f

u

) 22 8

; 68 1 ( ), 04 2

; 71 1 ( ), 92 0

; 53 4 ( )

,

2 2

) 2 (

) 2 (

) (

L

 Thay 3 nghi m trên vào , ta đ c

2 2

) 2 (

) 2 (

) ,

3(

)2(

)2(

),

H  ( x*, u*) (1 71 ;2  04 )  

4 2

) (

) ,

( )

,

(

1

2 1

x x

u f

u

f u

x

x x

f

2 )

, ( )

,

H x  x  T f x

) 2 (

) 4 2

( 3

) , ( u  x12  x22  u2  1 x1  x2   2 x1  u 



2 /

) ,

, (

0 )

, (

u H

u H

/ ) , (

0 6

/ ) , (

2

1 2

u H

x x

u H

) , (

0 4

2 )

, (

1 2

2 1

u f

x x

u f

x

x

0 2

) ,

5714 1

*

5714 3

1429 7

1429 5



 Gi i h ph ng trình, ta đ c:

8514

0 5714

1



1429

7 1429

5

)42

(3

),( u  x12  x22  u2  1 x1  x2   2 x1  u 

c c tr tìm ( ) đ c trên c ng chính là c c ti u1 2

T i u hóa đ ng không ràng bu c

T i u hóa đ ng không ràng bu c

 Bài toán t i u đ ng không ràng bu c: tìm vector hàm

min )

( )

dt t

L

J x x x 

 Bài toán t i u đ ng không ràng bu c: tìm vector hàm

x(t) sao cho phi m hàm J(x) đ t c c ti u:

min )

, , ( )

x t

)) (

J x  x

) (

(t x* t

x

Khái ni m bi n phân

) ( )

( )

J

L i hi hà  J ( x )  J ( x   x )  J ( x ) trong đó là bi n phân c a hàm

(t x t

x 

ttMinh h a bi n phân c a hàm x (t )

 Bi n phân c a phi m hàm:

)]

( )

( [ lim )

( lim

(x x t dt J

 Cho phi m hàm:

 Bi n phân c a phi m hàm đ c tính nh sau:

 Bi n phân c a phi m hàm đ c tính nh sau:

) ( )

( )]

( [ x t J x x J x

) ( ]

) (

2

0 0

] ) (

2 [ x  x  x dt

0

dt x

x x x

J x

J

x

lim )

Công th c tính bi n phân phi m hàm d ng tích phân

f

t

dt L

J

0

) ( )

Bi n phân phi m hàm bài toán t i u đ ng không ràng bu c

Bi n phân phi m hàm bài toán t i u đ ng không ràng bu c

d L

( x x x 

 Bi n phân phi m hàm:

dt

t L

, ,

(

x x

x

x x

x

x x

( )

dt

d t

( x 

J

 ( ) 0 *

x x

, ,

d t

J

0

x x

T i u hóa đ ng không ràng bu c

T i u hóa đ ng không ràng bu c –– Thí d 1 Thí d 1

2 /

(

i đi ki bi

3 )

2 / ( , 1 )

d x

 L i gi i t ng quát: x ( t )  C1 sin t  C2 cos t

 Thay đi u ki n biên, suy ra: C1  C 3 , 2 1

 K t lu n: x*( t )  3 sin t  cos t

T i u hóa đ ng không ràng bu c

T i u hóa đ ng không ràng bu c –– Thí d 2 Thí d 2

 Tìm hàm x(t) sao cho phi m hàm d i đây đ t c c ti u:

 Tìm hàm x(t) sao cho phi m hàm d i đây đ t c c ti u:

min )

( 1

(

* t   t 

x

T i u hóa đ ng có ràng bu c

T i u hóa đ ng có ràng bu c

 Bài toán t i đ ng có ràng b c: tìm ector hàm x(t) ác

t f

 Bài toán t i u đ ng có ràng bu c: tìm vector hàm x(t) xác

đ nh trên đo n [t0, tf] sao cho phi m hàm J(x) đ t c c ti u:

min )

, , ( )

x t

n      

 :

f

, (

) , , ,

, , , (

( PT Euler-Lagrange c a bài toán t i u đ ng có ràng bu c)

T i u hóa đ ng có ràng bu c d ng tích phân

T i u hóa đ ng có ràng bu c d ng tích phân

 Bài toán t i u đ ng có ràng bu c: tìm vector hàm x(t) xác

min )

( )

dt t

L

J x x x 

 Bài toán t i u đ ng có ràng bu c: tìm vector hàm x(t) xác

đ nh trên đo n [t0, tf] sao cho phi m hàm J(x) đ t c c ti u:

min )

, , ( )

, , ,

 H x x   t d H x x   t

0

) (

) (







) (

) (

)

H x x    x x   T f x x 

f f

i u ki n biên và x t ( 0) x0

) , , ( )

, , ( )

, , ,

H x x   x x   f x x

) (

, , ,

x

x



t H

dt

d t

ràng bu c và đi u ki n biên

T i u hóa đ ng có ràng bu c

T i u hóa đ ng có ràng bu c –– Thí d 1 Thí d 1

 Tìm hàm x(t) sao cho phi m hàm d i đây đ t c c ti u:

 Tìm hàm x(t) sao cho phi m hàm d i đây đ t c c ti u:

min )

( )

, , ( )

, , , ( x x t L x x t f x x t

) ( )

( )

, , , ( x x t x2 t x t

H      



, , ,

x H dt

d x

t x

24

( )

, , , ( x x t x2 t x t

H      

4

T i u hóa đ ng có ràng bu c

T i u hóa đ ng có ràng bu c –– Thí d 1 Thí d 1

 Xác đ nh các h ng s d a vào đi u ki n ràng bu c và đi u

 Xác đ nh các h ng s d a vào đi u ki n ràng bu c và đi u

ki n biên:



0 0

0

4

4 )

16 2

9 )

)

(

2 1

4

)

T i u hóa đ ng có ràng bu c

T i u hóa đ ng có ràng bu c –– Thí d 2 Thí d 2

t x t

x

t ) ( ) ( ) ( 

2

2 2

0

2 2

( ]

) 1 (

5 [ )



) , , ( )

, , ( )

, , , ( x x t L x x t f x x t

) 2

( ]

) 1 (

5 [ )

, , , ( x x t x1 2 x22 x1 x1 x2



d x

H

  10(x1 1)  2    0 (1)

1 1

0

2 2

d x

2

1 1

2

2

2

x x

x

x x

(]

)1(

5[),,,

y ( ) ( ) 10(x1 1)  4(x1  2x1) 2(x1  2x1) 0

010

18

2x  x  

1   t  t 

e C e

C t

5549

0

1

C C

(7)



1556

.042

.4030025

 1( )  0.5549 3t  0.0011 3t  0.556

e e

t x

Thay (7) vào (5):

1 1

2 x 2x

x2  1  1

 2( )  0.5549 3t  0.0055 3t 1.112

e e

t x

I U KHI N T I U LIÊN T C

 Cho đ i t ng:

Bài toán đi u khi n t i u liên t c

Bài toán đi u khi n t i u liên t c

)) ( )

( ( )

x t

u t

min )

), ( ), ( ( ))

( ( )

 Kho ng th i gian x y ra quá trình t i u là t có th phân lo i:

Phân lo i bài toán đi u khi n t i u

Phân lo i bài toán đi u khi n t i u

 Kho ng th i gian x y ra quá trình t i u là tf , có th phân lo i:

Bài toán t i u có tf c đ nh, ví d :

 i khi n đoàn tà h a gi a 2 ga i l ch trình ác

 i u khi n đoàn tàu h a gi a 2 ga v i l ch trình xác

đ nh sao cho n ng l ng đoàn tàu tiêu th là th p nh t;

 i u khi n quá trình chuy n đ i hóa h c trong th i gian

 i u khi n quá trình chuy n đ i hóa h c trong th i gian cho tr c v i chi phí th p nh t

Bài toán t i u có Bài toán t i u có t tf f không c không c đ nh, ví d : đ nh, ví d :

 i u khi n tên l a lên đ cao xác đ nh v i th i gian nhanh nh t

 i u khi n tàu bi n đi đ c xa nh t v i m t ngu n n ng

l ng c đ nh cho tr c

 Các bài toán đi khi n t i đ ng có tr ng thái đ x

Phân lo i bài toán đi u khi n t i u (tt)

Phân lo i bài toán đi u khi n t i u (tt)

 Các bài toán đi u khi n t i u đ ng có tr ng thái đ u x0

cho tr c Tr ng thái cu i quá trình t i u là xf =x(tf) , có

th phân lo i:

th phân lo i:

 i m cu i t do, ví d :

 i u khi n tên l a lên đ cao l n nh t;

 i u khi n tàu bi n đi đ c xa nh t v i m t ngu n

 i u khi n ghép n i các con tàu g p

 i u khi n h th ng v tr ng thái cân b ng

Gi i bài toán K toán t i u dùng PP bi n phân

 Bài toán K t i u liên t c có th phát bi u l i nh sau:

 Bài toán K t i u liên t c có th phát bi u l i nh sau:

) ), ( ), ( ( )

0

) (

0

) ( ))

( ), ( ( )

( )

), ( ), ( ( ))

( ( )

Gi i bài toán K toán t i u dùng PP bi n phân

 nh ngh a hàm Hamilton:

 nh ngh a hàm Hamilton:

) , , ( ) ( )

, , ( )

, , ,

t T

t t

T

dt

H t

H J

0

u

x x

i u ki n c n đ có l i gi i bài toán đi u khi n t i u

i u ki n c n đ có l i gi i bài toán đi u khi n t i u

 Chú ý là  x ( t )  0 do đi u ki n đ u c đ nh;  x ( t )  0

 Chú ý là do đi u ki n đ u c đ nh;

n u đi m cu i ràng bu c, n u đi m cu i t do

0 )

( t0 

x

0 )

Trình t gi i bài toán đi u khi n t i u

Trình t gi i bài toán đi u khi n t i u

) ) ( )

( ( )

t t

L t

( ( )

(

min)

(

min)

u

i u ki n đ u và x ( t0)  x0 đi u ki n cu i

f f

Trình t gi i bài toán đi u khi n t i u

Trình t gi i bài toán đi u khi n t i u

 B c 3: Thành l p hàm Hamilton: H (t) L(x,u,t)   (t) f (x,u,t)

 B c 4: Vi t đi u ki n c n đ có l i gi i t i u:

))()(()

(t y t y u t

 Yêu c u: Thi t k lu t đi u khi n u(t) đi u khi n nhi t đ nhi t đ lò

y t

x( )  ( ) 

t bi n tr ng thái:

 Ph ng trình tr ng thái c a lò s y là: x(t)  2x(t)  u(t)

0)

1()

1(

a y t

y t

x( ) ( )

t bi n tr ng thái:

 Tr ng thái cu i mong mu n: x f  x(1)  y(1)  y a  y d  y a  50

i u khi n t i u

i u khi n t i u – – Thí d 1 (tt) Thí d 1 (tt)

Theo yêu c u thi t k là tr ng thái cu i x(t f) càng g n x f =50 càng t t,

đ ng th i t i thi u n ng l ng tiêu t n, suy ra hàm m c tiêu:

min)

(2

1]

)(

[2

1)

( ây là bài toán t i u đi m cu i t do)

,,()

,,,

,,,

()

x

H t







)(

(2)[

()

(2

1)

,,,

e C

t) 1 2( 

t e C t

t e C t

x t

e C e

C t

(t  t

u)(t) t2(( ))  0( ) (2)(3)

(t x t u t

i u khi n t i u

i u khi n t i u – – Thí d 1 (tt) Thí d 1 (tt)

1(

0)

4

2 2

2 1 2

50

2 2

2 1

e e

5

12

2 2

2 2

e e

i u khi n t i u

i u khi n t i u – – Thí d 1 (tt) Thí d 1 (tt)

t e C t

u( )   1 2

t t

e C e

C t

4)

(t u t y

thi u n ng lg ng tiêu t n.g

 Yêu c u:

 Hãy thành l p bài toán t i u cho yêu c u thi t k trên.y p y

()

1)

(

)()

(

2

2 1

t

u M

t x

t x t

(

2 t u t

x



i u khi n t i u

i u khi n t i u – – Thí d 2 Thí d 2

t n,

min)

(2

1)

(

1

 u t dt u

đi m cu i ràng bu c)suy ra hàm m c tiêu:

0)

0()

0(0

)0()

0()

0(,0)

0()

1()

1(,10)

1()

,,()

,,,

1 2

)(2)

()

(2

1)

,,,( t u2 t 1x2 t 2 u t



) ( )

1

t t

t x t

(

2 t u t x

1 1

)(

)(





x

H t

0( 

1( 

) (

C C

2( ) 2 2 2

4 4

) ( 2 )

(

) ( )

(

C t

C t

u t

x

t x t



i u khi n t i u

i u khi n t i u – – Thí d 2 (tt) Thí d 2 (tt)

 Thay đi u ki n biên:

 Thay đi u ki n biên:



0 )

0 (

0 )

3

2 1

3 2

C C

x

C x

) (

* t   t 

PH NG PHÁP QUI HO CH NG

 Ph ng pháp qui ho ch đ ng ( DP – Dynamic

Nguyên lý t i u Bellman

 Ph ng pháp qui ho ch đ ng ( DP – Dynamic

 Ph ng pháp qui ho ch đ ng là m t thu t toán xác đ nh

 Ph ng pháp qui ho ch đ ng là m t thu t toán xác đ nh dãy giá tr {u(k)} t i u đ t i thi u ch tiêu ch t l ng J.

 Nguyên lý t i u: g y ý M i đo n cu i c a qu đ o tr ng thái q g

 Phân bài toán tìm đ ng thành các b c t 1 đ n 5

(N ki N k 1 j

min)

*

j k k

j k ki

j ki

*

 J1*(N11) là kho ng cách ng n nh t t nút đ u đ n nút đích

 Vòng xuôi: đi t nút đ u đ n nút cu i  đ ng đi

 Vòng xuôi: đi t nút đ u đ n nút cu i  đ ng đi

t i u

( )

, (

( )

, (

j 3

*

3 N i d N i N j J N j

)( 3

*

3 N i J

),

(N3i N4j J4* N4j

)( 3

33

* 3

32

* 3





N J

N J

đ c b c 3

min)

),

(N2i N3j J3* N3j

)( 2

N

31 31



N J

(

7)

(

23

* 2

22 2





N J

N J

*

j d N N J N N

)(

)(N N J* N

),

(N11 N2j J2 N2j

)( 11

*

1 N J

31 23

51 42

32 23

 Cho đ i t ng mô t b i ph ng trình sai phân:

Bài toán đi u khi n t i u đ ng r i r c

Bài toán đi u khi n t i u đ ng r i r c

))(),(()

1(k f x k u k

x  

n k x k

x k x

u k u

()(()

Chú ý: Bài toán t i u đi m cu i t do  ( N x , N )  0

 Ý t ng gi i bài toán K t i u r i r c dùng nguyên lý t i u Bellman: tìm ki m nghi m u*(k) ph thu c x*(k) theo chi u

Bài toán t i u đi m cu i c đ nh  ( N x , N )  0

Bellman: tìm ki m nghi m ph thu c theo chi u

ng c h ng qu đ o t đi m cu i x đ n đi m đ u x

)

(k

 t hàm m c tiêu t i u cho đo n qu đ o t thái cu i k t đi m x(k)

PP qui ho ch đ ng gi i bài toán K t i u r i r c

PP qui ho ch đ ng gi i bài toán K t i u r i r c

)1,

0(

,))(),(())

(,(min

))(

(

1

) 1 ( ), , (

N

k i N

((

))()((min

))((

N

i i

L N

N k

k L

(

) (

1 ( ), , ( min ( ( ), ( )) ( , ( )) ( ( ), ( ))))

(

(

k i N

*

k k

f J

k k

L k

(),(()

,(



i))

(

*

k k

f J

k k

L k

 B c 1: Vi t ph ng trình Bellman:

)11

0

min))

 Tìm ph thu c là nghi m bài toán t i u: u (N 1) x (N 1)

)())

()(

(

f

 ( ( 1), ( 1)) ( , ( ))

min))

1(

(

) 1 (

1(

),1(

(

) (

*

k k

f J

k k

L k

Chú ý đ tì *(k) á d PP t i t h i i PT J k(.) 0

 Chú ý: đ tìm , áp d ng PP t i u t nh, gi i PT:u*(k) 0

)(( ) 

 k k

u

( ( )

( ( )

1 ( k f x k u k

i u khi n t i u r i r c dùng DP

i u khi n t i u r i r c dùng DP – – Thí d 1 Thí d 1

)

(2

1)

(2

1)

()

((

3

2 2

J

min))

()

((

x J

 Gi i:

min))

(

) (

*

k k

f J

k k

L k

*

k u k

x J

k u k

x k

x

k u

v i: J4*(x(4))  0

*

u x

x

0))

4((

3(

(

) 3 (

 J3 (x(3))  2x (3)

2 (

) 2 (

2

u

 ( 2 ) ( 2 ) 2 ( 3 )

min ))

2 (

) 2 (

*

)) 2 (

1 ) 2 (

1 2 ) 2 ( )

2 ( i

)) 2 ( (

2

) 2

( 2

2 ) 2 ( )

2 ( min

)) 2 (

2

( 2

3 min ))

2 (

) 2 (

u

) 2 (

(.)

2 x u u

2 (

2

( 2

1 2 3

) 2 ( )

2 ( ))

2 (

4

) 2

( 3

4 ))

2 (

1 (

) 1 (

1 ( min

)) 1 (

) 1 (

*

1 ( ( 1 ) ( 1 ))

2

1 3

4 ) 1 ( )

1 ( min

)) 1 (

( 3

2 ) 1

( 3

4 min ))

1 (

( 3

8 ) 1

( 3

2 )

1 (

(.)

1 x u u

( 3

)

( 3

)) (

(

) 1 (

1

u

4

) 1 ( )

1 (

( )

1

( 2

1 3

4 4

) 1

( )

1 ( ))

1 (

( 4

5 ))

1 (