Mô hình hóa và nhận dạng hệ thống - Chương 5

Xác định ngõ vào, ngõ ra của hệ thống cần nhận dạng ⇒ xác định tín hiệu “kích thích“ để thực hiện thí nghiệm thu thập số liệu và vị trí đặt cảm biến để đo tín hiệu ra. Chọn tín hiệu

MÔ HÌNH HÓA VÀ NHẬN DẠNG HỆ THỐNG

Giảng viên: TS Huỳnh Thái Hoàng

Bộ môn Điều Khiển Tự Động, Khoa Điện – Điện Tử

Đại học Bách Khoa TP.HCM Email: hthoang@hcmut.edu.vn,

hthoang.hcmut@yahoo.com Homepage: http://www4.hcmut.edu.vn/~hthoang/

Môn học

CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ

Chương 5

‘ Nguyên tắc ước lượng tham số

‘ Phương pháp sai số dự báo

‘ Phương pháp tương quan

‘ Thuật tốn lặp ước lượng tham số

‘ Thuật tốn đệ qui ước lượng tham số

Nội dung chương 5

‘ Tham khảo:

[1] L Ljung (1999), System Identification – Theory for the user.

[2] R Johansson (1994), System Modeling and Identification

Tài liệu tham khảo

Nguyên tắc ước lượng tham số

Nguyên tắc ước lượng tham số

‘ PP sai số dự báo: ước lượng tham số sao cho sai số dự báo tối thiểu

dự báo và dữ liệu quá khứ bằng 0

⇒ “min”

Phương pháp sai số dự báo

Nguyên tắc ước lượng tham số theo pp sai số dự báo

‘ Chọn cấu trúc mô hình và rút ra bộ dự báo : yˆ (k,θ) = g(θ,Z k− 1 )

‘ Chọn tiêu chuẩn đánh giá sai số dự báo :

1

) , (

1 )

, (θ l ε θ

N

θˆ

‘ Tìm tối thiểu hóa sai số dự báo:

) ,

( min

, (k θ = y k − y k θε

‘ Tính sai số dự báo :

) , ( ) ( )

, (k θ L q k θ

‘ Lọc sai số dự báo (nếu cần):

Các tùy chọn của phương pháp sai số dự báo

Cấu trúc mô hình

‘ Mô hình tuyến tính

ŽARX, ARMAX, FIR, OE, BJ,

ŽMô hình chuỗi hàm cơ sở trực giao,

‘ Mô hình phi tuyến:

ŽMô hình Wienner, mô hình Hamerstain

ŽMô hình hồi qui tuyến tính dùng các phần tử hồi qui phi tuyến

ŽMô hình hộp đen phi tuyến

* cấu trúc dãy (mạng MLP)

* cấu trúc xuyên tâm (mạng RBF)

* cấu trúc tích tensor (mô hình mờ)

Bộ lọc L(.)

‘ Bộ lọc L(q): lọc nhiễu tần số cao hoặc các thành phần trôi tần số thấp

‘ Nếu bộ dự báo tuyến tính bất biến và y và u là các đại lượng vô

hướng thì kết quả lọc sai số dự báo ε tương đương với lọc dữ liệu y

và u trước, sau đó mới đưa dữ liệu đã lọc vào bộ dự báo

‘ Bộ dự báo cho hệ tuyến tính bất biến :

) ( ) , ( ) , ( )

( )]

, ( 1

[ ) , (

( )[

, ( )

( )

, (k L q H 1 q y k G q u k

ε

)]

( ) , ( )

( [ )]

, ( ) ( [L 1 q H q θ 1 y k − G q θ u k

= − −

⇒ lọc sai số dự báo tương đương với việc đổi mô hình nhiễu từ

sang

) , (q θ

H

) , ( ) ( )

, (q θ L 1 q H q θ

H = −

Chuẩn ước lượng thông số l(.)

1 )

, (θ ε θ

1

) , (

1 )

, (θ ε θ

‘ Chuẩn l1:

) , ( max

) ,

, (θ β l ε θ

‘ Chuẩn có trong số (theo thời gian)

Thuật toán ước lượng bình phương tối thiểu tuyến tính

‘ Bộ dự báo hồi qui tuyến tính tổng quát: yˆ (k,θ) = ϕT (k)θ + μ(k)

N

Z V

1

2

) ( )

( )

(

1 )

( ) ( )

( )

( )

( ) , ( )

( ) ( ) , ( )

( )

( ) , (

θ

⇒

Tính chất của ước lượng bình phương tối thiểu

‘ Giả sử hệ thống thực mô tả bởi: y(k) = ϕT (k)θ0 + μ(k) + v0(k)

‘ Sai số tiệm cận của tham số ước lượng: lim ˆN LS 0 (R*) 1 f *

E k

k N

( ) (

k v

k N

⇒ Điều kiện để ước lượng bình phương tối thiểu là ước lượng vững,

nghĩa là hội tụ đến tham số của hệ thống là:

ŽR* không suy biến

Žf* = 0: điều này xảy ra khi {v0(k)} là chuổi của các biến ngẫu nhiên độc lập có trung bình bằng 0 (nhiễu trắng) hoặc tín hiệu vào

{u(k)} là chuổi độc lập với chuổi {v0(k)} có trung bình bằng 0 vàvector hồi qui không chứa tín hiệu ra trong quá khứ (na = 0)

LS N

θ ˆ

0

ˆ

θ

Phương pháp tương quan

Nguyên tắc ước lượng tham số theo phương pháp tương quan

‘ Chọn cấu trúc mô hình và rút ra bộ dự báo : yˆ (k,θ) = g(θ,Z k−1)

) , ( ˆ ) ( )

, (k θ = y k − y k θε

‘ Tính sai số dự báo :

) , ( ) ( )

, (k θ L q k θ

‘ Lọc sai số dự báo (nếu cần):

‘ Chọn chuổi vector tương quan : ( ,θ) = ( , k− 1,θ)

Z k

k ζζ

‘ Chọn hàm tuyến tính của sai số: α(ε)

] 0 )

, ( [

1 )

, (

Ứớc lượng tham số bộ dự báo hồi qui tuyến tính giả

‘ Mô hình hồi qui tuyến tính giả (Pseudo Linear Regression – PLR):

θθϕ

θ) ( , ) ,

(

ˆ k k

y = T1

) (q =

L

) , ( )

, ( θ ϕ θ

ζ k = k

) , ( ))

, ( (ε k θ ε k θ

k

i N

T i

1

) 1 ( )

1 ( )

(

) ( ) ˆ

, ( )

ˆ , ( )

ˆ , (

ˆ ϕ θ ϕ θ ϕ θθ

‘ Lời giải của bài toán trên có thể tìm bằng thuật toán lặp:

) , ( )

( )[

, (

1 sol

Thuật toán lặp ước lượng tham số

Tối ưu hóa bằng phương pháp số

‘ Theo phương pháp sai số dự báo, để ước lượng tham số mô hình ta cần tìm cực trị của hàm:

1 )

, (

N i

N N

i N

i

‘ Thuật toán Newton tìm lời giải bài toán tối ưu bằng công thức lặp:

‘ Để thực hiện thuật toán Newton cần tính đạo hàm bậc 1 và bậc 2 của

hàm ( , N )

V θ

Tính đạo hàm trong trường hợp tiêu chuẩn bình phương

1 )

, (θ ε θ

2 )

, (θ ψ θ ε θ

T

d

k y k

y k

y k

θ

ψ ( , ) ˆ( , ) ˆ( , ) ˆ( , ) ˆ( , )

2 1

θ θ

θ θ

) ,

( )

, ( )

, (

2 )

,

θ

θθ

θ

‘ Nhận xét: tính chính xác cần rất nhiều phép tính → không hiệu quả Tùy theo cách tính gần đúng mà thuật toán Newton có các phiên bản khác nhau

) ,

( N

V ′′ θ

) ,

( N

V ′′ θ

Các phiên bản của thuật toán Newton

‘ Thuật toán suy giảm độ dốc:

) ˆ , ( ).

ˆ , ( ˆ

1

) ( )

( )

( )

1

N N

k

i N i

i N

ˆ , ( )

ˆ , ( )

ˆ , ( ˆ

1

) ( 1

1

) ( )

( )

( )

( )

1

N N

k

i N N

k

i N T

i N i

i N

=

) ˆ , ( ).

ˆ , ( )

ˆ , ( )

ˆ , ( ˆ

1

) (

1 )

(

1

) ( )

( )

( )

1

N N

t

i N i

N

k

i N T

i N

i N

=

‘ Thuật toán Levenberg–Marquardt:

Nếu μ(i) ⇒ thuật toán Gauss–Newton

‘ Độ dài bước μ(i) được chọn sau cho: V N (θˆN(i+1), Z N ) <V N (θˆN(i), Z N )

Thuật toán lặp tìm nghiệm phương trình

‘ Thuật toán thay thế:

) ,

ˆ ( ˆ

ˆ ( 1 ) ( ) ( ) (i) N

N N

i i

N i

N N

i i

N

i

Tính đạo hàm của bộ dự báo theo tham số

‘ Các công thức tính đạo hàm:

ŽTrường hợp mô hình hộp đen tuyến tính

ŽTrường hợp mô hình hộp đen phi tuyến

‘ Biểu thức đạo hàm của bộ dự báo theo tham số:

T

d

k y k

y k

y k

y k

θ

ψ ( , ) ˆ( , ) ˆ( , ) ˆ( , ) ˆ( , )

2 1

θθ

θθ

k y e

k

y k

y

Δ

− Δ

Thuật toán đệ qui ước lượng tham số

Tại sao cần thuật toán ước lượng đệ qui

‘ Việc tính toán tham số mô hình trực tuyến phải được thực hiện sao

cho việc xử lý dữ liệu đo tại mỗi thời điểm lấy mẫu phải chắc chắn

hoàn tất trong khoảng thời gian nhỏ hơn chu kỳ lấy mẫu

‘ Thuật toán ước lượng đệ qui được sử dụng trong các hệ thống điều khiển thích nghi, nhằm đảm bảo chất lượng điều khiển khi thông số

mô hình thay đổi

Đối tượng

Điều khiển

Mô hình

Thuật toán bình phương tối thiểu tuyến tính có trọng số

‘ Giả sử thu thập được k mẫu dữ liệu, tham số mô hình ước lượng

bằng phương pháp bình phương tối thiểu tuyến tính có trọng số là:

( ) , ( min

ˆ 1

k f k R

l k k

R

1

) ( )

( ) , ( )

k k

f

1

) ( ) ( ) , ( )

( β ϕ

Khuyết điểm:

‘ Không sử dụng được giá trị tham số đã tính ở thời điểm trước đó

‘ Khi số mẫu tăng đến vô cùng không đủ bộ nhớ để lưu trữ dữ liệu

‘ Thời gian tính toán tăng lên khi k tăng.

Thuật toán bình phương tối thiểu tuyến tính có trọng số đệ qui

‘ Chọn chuỗi trọng số thỏa mãn tính chất:

) , 1 (

) ( )

, (k l = λ k β k − l

β

1 ) , (k k =

β

) 1 0

( ≤ l ≤ k −

Chú ý:

‘ Nếu thì

‘ λ gọi là hệ số quên (forget factor)

‘ Thông thường λ được chọn trong khoảng 0.98÷0.995

l k

l

k, ) = −( λβ

k

k) = , ∀ ( λλ

‘ Thuật toán ước lượng đệ qui:

j l

k

1

) ( )

( )

1 (

) ( )

(k k R k k k

R = λ − +ϕ ϕT

) ( ) ( ˆ

1

ˆ ) ( )

( )

( = − T k−

k k

y

ε

Chứng minh thuật toán ước lượng đệ qui

l k k

R

1

) ( )

( ) , ( )

( β ϕ ϕ

) ( )

( )

( )

( ) , 1 (

) (

1

1

k k

l l

l k

) ( )

( )

1 (

) ( )

k k

f

1

) ( ) ( ) , ( )

( β ϕ ( , ) ( ) ( ) ( ) ( )

1

1

k y k l

y l l

( ) ( ) , 1 (

) (

1

1

k y k l

y l l

k k

) ( ) ( )

1 (

) ( )

(k k f k k y k

f = λ − +ϕ

) ( )

( )

( )

( ) , (

1

1

k k

l l

) ( )

, (k l = λ k β k − l

β

) ( ) (

ˆ 1

k f k R

k

−

=

θ

Chứng minh thuật toán ước lượng đệ qui (tt)

) ( )

( )

1 (

) ( )

(k k R k k k

R = λ − +ϕ ϕT

) ( ) ( )

1 (

) ( )

(k k f k k y k

f = λ − + ϕ

) ( ) (

ˆ 1

k f k R

1 (

) ( )[

(

1

k y k k

f k k

= − λ

)]

( ) ( ˆ

) 1 (

) ( )[

1

k y k k

R k k

k k

R k

R −ϕ ϕT θk +ϕ

] ˆ ) ( )

( )[

( ) (

Thuật toán đệ qui không tính nghịch đảo ma trận

‘ Đặt: P(k) = R −1(k)

‘ Thuật toán ước lượng đệ qui không tính nghịch đảo ma trận:

) ( ) ( ˆ

ˆ ) ( )

( )

(k = y k − ϕT k θ k −

ε

) ( ) 1 (

) ( )

(

) ( ) 1 (

)

(

k k

P k k

k k

P k

) ( )

(

) 1 (

) ( ) ( ) 1 (

) 1

( )

(

1 )

(

k k

P k k

k P k k

k P k

P k

k

T

ϕ ϕ

ϕ

ϕ λ

λ

) ( ) ( ) ( ˆ

) ( )

(

) 1 (

) ( ) ( ) 1 (

) 1

( )

(

1 )

(

k k

P k k

k P k k

k P k

P k

k P

T

T

ϕ ϕ

ϕ

ϕ λ

λ

⇒

) ( ) 1 (

) ( )

(

) ( ) 1 (

) ( ) (

1

k k

P k k

k k

P k

k

ϕ ϕ

ϕ ϕ

− +

Thuật toán đệ qui chuẩn hóa độ lợi

) ( ) ( ) ( ˆ

k βγ

l k k

R

1

) ( )

( ) , ( )

( β ϕ ϕ

‘ Thuật toán ước lượng đệ qui chuẩn hóa độ lợi

) ( ) ( ) ( )

( ˆ

( )

( = − T k−

k k

) ( )

( )[

( )

1 (

) (k = R k − + k k k − R k −

)]

1 (

) ( )

( )[

( )

1 (

) (k = R k − + k k k − R k −

⇒

‘ Độ lợi γ(k) thường chọn bằng hằng số, γ = 1 − λ

Thuật toán sai số dự báo đệ qui

( )

, (θ γ β ε θ

‘ Chọn chuỗi trọng số thỏa mãn tính chất:

) , 1 (

) ( )

, (k l = λ k β k − l

β

1 ) , (k k =

β

) 1 0

( ≤ l ≤ k −

1

1

) , ( )

k βγ

‘ Thuật toán ước lượng:

[ ( )] ( , ˆ( 1 )) ( , ˆ( 1 )) )

( ) ( )

1 (

ˆ )

(

ˆ k =θ k − + k k k −1ψ k θ k − k θ k −

‘ Trong trường hợp tổng quát không thể tính toán đệ qui

và do phụ thuộc vào tất cả dữ liệu quá khứ

)) 1 (

ˆ , (k θ k −

ε

)) 1 (

ˆ , (k θ k −

ψ yˆ (k,θˆ(k − 1 ))

Thuật toán sai số dự báo đệ qui (tt)

‘ Thuật toán Gauss-Newton đệ qui

) ( ) ( ) ( )

( ˆ

ˆ ) ( )

(k = y k − y k θk−1ε

)]

1 (

) ( )

( )[

( )

1 (

) (k = R k − + k k k − R k −

‘ Trong trường hợp hệ tuyến tính bất biến hữu hạn chiều có thể tính

đệ qui và như sau: : y ˆ k( ) ψ (k)

) ( )) ( ˆ ( )

( )) ( ˆ ( )

1 (k θ k ξ k θ k z k

) ( )) 1 (

ˆ ( )

1 (

) (

) (

ˆ

k k

k k