Mô hình hóa và nhận dạng hệ thống - P5

Xác định ngõ vào, ngõ ra của hệ thống cần nhận dạng ⇒ xác định tín hiệu “kích thích“ để thực hiện thí nghiệm thu thập số liệu và vị trí đặt cảm biến để đo tín hiệu ra. Chọn tín hiệu

Trang 1

Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ

1

Chương 5

CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ

Chương 5: CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ

5.1 Nguyên tắc ước lượng tham số

5.2 Phương pháp sai số dự báo

5.3 Phương pháp hợp lý cực đại

5.4 Phương pháp tương quan

5.5 Thuật toán lặp ước lượng tham số

5.6 Thuật toán đệ qui ước lượng tham số

5.1 NGUYÊN TẮC ƯỚC LƯỢNG THAM SỐ

Giả sử chúng ta đã chọn được cấu trúc mô hình thích hợp với hệ thống cần nhận dạng và đưa ra bộ dự báo y(k,θ), đồng thời đã thu thập được N mẫu dữ

Ta cần xác định tham số θˆ sao cho sai số dự báo càng nhỏ càng tốt N

− Phương pháp sai số dự báo: ước lượng tham số sao cho sai số dự báo tối thiểu

− Phương pháp tương quan: ước lượng tham số sao cho tương quan giữa sai số dự báo và dữ liệu quá khứ bằng 0

5.2 PHƯƠNG PHÁP SAI SỐ DỰ BÁO

5.2.1 Nguyên tắc ước lượng sai số dự báo

Nguyên tắc ước lượng thông số theo phương pháp sai số dự báo là tối thiểu hóa sai số dự báo Tổng quát hóa nguyên tắc trên, ta có thuật toán sau đây:

Trang 2

2

1 Chọn cấu trúc mô hình và rút ra bộ dự báo:

),(),(k =g Z k− 1

Bộ dự báo có thể tuyến tính hay phi tuyến; có thể là mạng thần kinh nhân

tạo, hệ mờ, chuổi wavelet,…

2 Từ dữ liệu quan sát và bộ dự báo y(k,θ), thành lập chuổi sai số dự báo:

),()(),(k θ = y k − y k θ

ε , k =1, 2, …, N (5.4)

3 Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần

),()(),(k θ L q k θ

N Z

V

1

),(

1),

trong đó l(.) là hàm xác định dương

5 Tìm tham số θ tối thiểu hóa tiêu chuẩn đánh giá:

),(minarg

Tất cả các phương pháp ước lượng tham số dựa vào biểu thức (5.7) gọi

chung là phương pháp sai số dự báo (Prediction Error Method – PEM)

Tùy thuộc vào cách chọn:

− Nếu bộ dự báo tuyến tính bất biến và y và u là các đại lượng vô hướng

thì kết quả lọc sai số dự báo ε tương đương với lọc dữ liệu y và u trước, sau đó

mới đưa dữ liệu đã lọc vào bộ dự báo

− Bộ dự báo cho hệ tuyến tính bất biến là (xem chương 4):

)(),(),()

()]

,(1

[),(k H 1 q y k H 1 q G q u k

Sai số dự báo:

Trang 3

3

ε(k,θ)=H− 1(q,θ)[y(k)−G(q,θ)u(k)] (5.9) Sai số dự báo sau khi qua bộ lọc:

εF(k,θ)=L(q)H−1(q,θ)[y(k)−G(q,θ)u(k)]

=[L−1(q)H(q,θ)]−1[y(k)−G(q,θ)u(k)]

(5.10)

Biểu thức (5.10) cho thấy ảnh hưởng của bộ lọc sai số dự báo tương đương

với việc đổi mô hình nhiễu từ H(q,θ) sang H(q,θ)=L−1(q)H(q,θ)

⇒ Khi mô tả và phân tích các phương pháp nhận dạng, ta thường giới hạn trong

trường hợp L(q) ≡ 1

5.2.3 Tiêu chuẩn ước lượng tham số

Thường chuẩn ước lượng tham số được chọn là chuẩn toàn phương:

∑

=

= N

k F

N

N Z

V

1

2),(

1),

N

N Z

V

1

),(

1),

Chuẩn l∞:

),(max)

,(

N k

1

)),((),()

Bộ dự báo cho hệ tuyến tính bất biến là:

)(),(),()

()]

,(1

[),(k H 1 q y k H 1 q G q u k

Sai số dự báo:

)]

(),()()[

,()

,(k θ =H−1 q θ y k −G q θ u k

Trang 4

1),

2

1

2

),()

,(

N

l

l N N

1),(

N

l

l N

N

N Z

Mặt khác, do (5.17) nên theo định lý 2.1 (Ljung 1999, page 31) ta có:

{ ( ) ( , ) ( )} ~ ( ))

,()

l N l

N j

R k u q G DFT Y

l N l

N l N

j l

N j

R R

U e

G Y

l N

j l

N j

U e

G Y

)()(),(

l N

l N l N j

e G U

Y U

l N j

e G e

G U

)()

,(

θ

ω

ωω

j N

e H

U Q

),(

N

l

l j

j N

N Z

2

θθ

Trang 5

5

5.2.4 Mô hình hồi qui tuyến tính và phương pháp bình phương tối thiểu

Ở chương 4 chúng ta đã thấy cấu trúc hồi qui tuyến tính rất hữu ích trong

việc mô tả hệ tuyến tính và hệ phi tuyến Tổng quát, bộ dự báo hồi qui tuyến

tính có dạng:

)()()

Z V

1),(

1),

Do V N có dạng toàn phương nên chúng ta có thể tìm cực tiểu bằng cách cho

đạo hàm bậc 1 theo tham số bằng 0

N Z V d

k y N d

k y k

k

k k k

k y k

1 1

)()()

()()

()(

• Tính chất của ước lượng bình phương tối thiểu:

Giả sử ngõ ra của hệ thống thực cho bởi:

)()()

()

k

T LS

1

0 0 1

1

)()

()()

()(

1

0 1

1

θ

Trang 6

N k

k

0 1

*

0 ( )ˆ

()(

1lim

1

*

k k E k k N

()(

Như vậy điều kiện để ước lượng bình phương tối thiểu là ước lượng vững,

nghĩa là θˆN LS hội tụ đến tham số của hệ thống là:

− R *

không suy biến

− f *

= 0: điều này xảy ra khi {v0(k)} là chuổi của các biến ngẫu nhiên độc

lập có trung bình bằng 0 (nhiễu trắng) hoặc tín hiệu vào {u (k)} là chuổi độc lập

với chuổi {v0(k)} có trung bình bằng 0 và vector hồi qui không chứa tín hiệu ra

N Z N k y k k k V

1

2)()()(),()

()(),(

5.3 PHƯƠNG PHÁP HỢP LÝ CỰC ĐẠI (Maximum Likelihood Method)

5.3.1 Bộ ước lượng và nguyên tắc hợp lý cực đại

− Lĩnh vực suy luận thống kê, cũng như nhận dạng hệ thống và ước lượng

tham số liên quan đến bài toán rút ra thông tin từ dữ kiện quan sát mà bản thân

các dữ kiện quan sát này có thể không tin cậy

− Dữ kiện quan sát có thể mô tả là thể hiện của biến ngẫu nhiên

− Giả sử dữ kiện quan sát có thể biểu diễn bằng biến ngẫu nhiên:

{y(1),y(2), ,y(N)}

có hàm mật độ xác suất là:

Trang 7

7

)

;(),,,

;( x1 x2 x N f N

N

d f

A P

x

y x x

trong đó θ là vector tham số mô tả tính chất của biến quan sát được

− Giả sử vector tham số θ chưa biết và mục đích của việc quan sát biến y N

là để ước lượng θ, điều này có thể thực hiện được bằng bộ ước lượng θ(y N)

Nếu giá trị quan sát được của y là N y thì giá trị tham số ước lượng là * N

− Có thể có nhiều bộ ước lượng khác nhau

− Bộ ước lượng hợp lý cực đại: là bộ ước lượng sao cho cực đại hóa xác

suất sự kiện quan sát

Vì: P(y N = y*N)~ f y(θ;y*N) (5.37) Nên bộ ước lượng hợp lý cực đại xác định bởi:

)

;(maxarg)(

ˆ

*

N N

Thí dụ: Giả sử y(i), i = 1, 2, …, N là các biến ngẫu nhiên độc lập có phân bố

chuẩn với giá trị trung bình là θ0 (chưa biết) và phương sai là λi (đã biết) Bài

toán đặt ra là ước lượng θ0 từ các giá trị quan sát

• Cách thường dùng để ước lượng θ0 là lấy trung bình mẫu:

)(1ˆ

• Cách khác để ước lượng θ0 là dùng phương pháp hợp lý cực đại

Vì hàm mật độ xác suất của các biến ngẫu nhiên có phân bố chuẩn là:

exp2

N y

x x

exp2

1)

;(

λ

θπλ

Vì vậy hàm hợp lý cho bởi )f y(θ;y N Vì cực đại hóa hàm hợp lý tương

đương với cực đại hóa logarithm của nó nên:

Trang 8

8

),(logmaxarg)(

y N

ML

y f

i y N

2])([2

1log2

12

log2maxarg

λ

θλ

π

Biểu thức trên đạt cực đại khi:

min]

)([2

11

λθ

)()/1(

1)

(ˆ

λλ

Để ý rằng nếu phương sai của tất cả các biến ngẫu nhiên đều bằng nhau thì

công thức (5.43) và công thức (5.39) cho kết quả ước lượng như nhau

5.3.2 Phương pháp hợp lý cực đại ước lượng tham số hệ thống động

Mô hình xác suất của hệ thống động:

)

;,(),( θ = k−1 θ

Z k g k

y

),()(),(k θ = y k −y k θ

k

k e

N

y y f y k g k Z k f k k

f

1 1

1

,),,(,

),,,()()

f

,),,(log

1)

;(log1

θ θ

Định nghĩa:

θ, ) log ( , ), ,,

),),,((

1minarg

θ l ε

Biểu thức trên cho thấy phương pháp hợp lý cực đại là một trường hợp

riêng của phương pháp sai số dự báo

Trang 9

9

Trường hợp đặc biệt: nếu sai số dự báo là đại lượng ngẫu nhiên có phân bố

Gauss có trung bình bằng 0 và phương sai λ thì (5.48) trở về trường hợp bình

phương tối thiểu Thật vậy:

ε

2

),(exp

2

1),,(

ε

2

),(2

log2

1),,(log)

,,(

2 θθ

5.4 PHƯƠNG PHÁP TƯƠNG QUAN (Correlation Method)

5.4.1 Nguyên tắc ước lượng tương quan

Nguyên tắc ước lượng thông số theo phương pháp tương quan là tương

quan giữa sai số dự báo và các phần tử hồi qui phải bằng 0 Tổng quát hóa

nguyên tắc trên, ta có thuật toán sau đây:

),(),( = k−1

Z g k

2 Từ dữ liệu quan sát và bộ dự báo y(k,θ), thành lập chuổi sai số dự báo:

),()(),(k θ = y k − y k θ

ε , k =1, 2, …, N (5.51)

),()(),(k θ L q k θ

4 Chọn chuổi vector tương quan:

),,(),( θ = k−1 θ

Z k

f

1

)),((),(

1),

• Ước lượng hồi qui tuyến tính giả:

Mô hình hồi qui tuyến tính giả (Pseudo Linear Regression – PLR):

θθϕ

Trang 10

10

),(),( θ ϕ θ

),()),((ε k θ ε k θ

,(

1solˆ

1

N

k

T PLR

k

i N T i N

i

1

) 1 ( 1

1

) 1 ( )

1 ( )

)()ˆ,()

ˆ,()ˆ,(

5.4.2 Phương pháp biến công cụ

Phương pháp biến công cụ có thể xem là trường hợp riêng của phương pháp

tương quan áp dụng cho mô hình hồi qui tuyến tính nhằm ước lượng đúng thông

số của hệ thống trong trường hợp nhiễu v(k) có tương quan với các phần tử hồi

qui liên quan đến tín hiệu ra trong quá khứ

θϕ

ε , k =1, 2, …, N (5.60)

),()(),(k θ L q k θ

Trang 11

f

1

)),((),(

1),

5.5 THUẬT TOÁN LẶP ƯỚC LƯỢNG THAM SỐ

Ở mục 5.1 ta đã biết để ước lượng tham số mô hình ta cần tìm cực trị của hàm:

( ( , ), ) min

1),(

V θ l ε θ θ (pp sai số dự báo) (5.65)

hoặc tìm nghiệm của phương trình:

0)),((),(

1),(

f θ ζ θ α ε θ (pp tương quan) (5.66)

Trong trường hợp tổng quát, không thể tìm được lời giải giải tích của

(5.65) và (5.66) → cần tìm lời giải bằng phương pháp số (numerical method)

5.5.1 Tối ưu hóa bằng phương pháp số

Thuật toán Newton tìm lời giải bài toán tối ưu (5.65) bằng công thức lặp:

ˆ

ˆ( 1 ) ) ) 1 i) N

N N N i N N

i N

V

1

2),(

1),

V

1

),(),(

2),

trong đó:

θ

θθ

∂

= ( , ))

,(k y k

T

d

k y k

y k

θ

2 1

θθ

N Z

V

1

),(),()

,(),(

2),

θ

θθ

θ

Trang 12

12

Tính chính xác V N′′(θ,Z N) theo biểu thức (5.72) cần rất nhiều phép tính →

không hiệu quả Tùy theo cách tính gần đúng V N′′(θ,Z N) mà thuật toán Newton

có các phiên bản sau:

• Thuật toán suy giảm độ dốc:

)ˆ,()

ˆ,(ˆ

1

) )

) ) 1

N N

k

i N i

ˆ,()

ˆ,()ˆ,(ˆ

1

) 1

1

) )

) ) )

1

N N

k

i N N

k

i N T i N i

i N i

trường hợp μ i) =1 thuật toán trên được gọi là thuật toán Gauss–Newton

• Thuật toán Levenberg–Marquardt:

)ˆ,()

ˆ,()

ˆ,()ˆ,(ˆ

1

) 1

) )

1

N N

t

i N i

N

k

i N T i N i

Trong các thuật toán trên, độ dài bước (step size) μ(i) là hệ số dương được

chọn sao cho:

),ˆ(),ˆ( N(i 1) N N N i) N

(5.76)

5.5.2 Tìm nghiệm phương trình bằng phương pháp số

Các thuật toán số tìm nghiệm phương trình (5.66) tương tự như các thuật

toán tìm lời giải tối ưu

Thuật toán thay thế (substitution method):

),ˆ(ˆ

ˆ( 1 ) ( ) ) i) N

N N i i N

i

N θ f θ Z f θ Z

5.5.3 Tính toán đạo hàm

Để sử dụng các công thức (5.73), (5.74), (5.75) và (5.78) ta phải tính đạo

hàm theo tham số của bộ dự báo:

Trang 13

13

T

d

k y k

y k

θ

2 1

θθ

θ

Đạo hàm ψ(k,θ) có thể tính dễ dàng hay khó khăn hoàn toàn tùy thuộc

vào cấu trúc mô hình Trong nhiều trường hợp ta không thể tìm được )ψ(k,θ

bằng biểu thức giải tích mà phải tính đạo hàm gần đúng bằng phép tính sai phân

• Mô hình hộp đen tuyến tính SISO:

)()(

)()()(

)()()

q D

q C k u q F

q B k y q

Bộ dự báo:

)()()(

)()()()(

)()(1),

q F q C

q B q D k y q C

q A q D k

)()

,

q C

q D k

)()

,

q F q C

q D k

1)()()()(

)()()

()()(

)()(),

q C l k u q F q C q C

q B q D l

k y q C q C

q A q D k

1)

()()(

)()

()(

)()

,

q C l

k u q F q C

q B l

k y q C

q A k

)()

()()()(

)()()

,

q F q C

q D l

k u q F q F q C

q B q D k

y

∂

• Mô hình hộp đen phi tuyến:

♦ Bộ dự báo cấu trúc lưới:

i i

i g g

k y

1 1

)(

)()

,(),

Dễ dàng tính được:

)(

),

Trang 14

14

j i

T i i ij

),

♦ Bộ dự báo cấu trúc xuyên tâm: (học viên tự tính)

♦ Bộ dự báo cấu trúc tích tensor:

j

ij j ij i

l

i i

i g g

k y

1

))(

()

,(),

k

y

1

))(

()

,(

1

ij j ij j ij d

j k k

ik k ik i

j k k

ik k ik i

k y e k

y k

y

Δ

−Δ+

≈

∂

),

5.5.4 Lời giải cục bộ và giá trị khởi động

− Thuật toán tối ưu hóa số tìm giá trị ˆ*

N

θ thỏa mãn phương trình:

0),

′ N

N Z

do đó chỉ tìm được lời giải tối ưu cục bộ

− Khi ước lượng tham số ta mong muốn tìm được lời giải tối ưu toàn cục

− Để tìm được lời giải tối ưu toàn cục, cách thông thường là chạy thuật

toán lặp nhiều lần với các giá trị khởi động khác nhau

Trang 15

15

− Bằng cách chọn độ dài bước thích hợp có thể tăng khả năng tìm được lời

giải tối ưu toàn cục

− Có thể kết hợp thuật toán tìm lời giải tối ưu toàn cục (như thuật toán di

truyền) với thuật toán Newton để ước lượng tham số

5.6 THUẬT TOÁN ĐỆ QUI ƯỚC LƯỢNG THAM SỐ

5.6.1 Giới thiệu

− Một trong những mục đích của việc giải bài toán nhận dạng hệ thống là

xây dựng mô hình toán học của hệ thống để thiết kế bộ điều khiển

− Tham số của hệ thống thực có thể biến đổi theo thời gian → Điều khiển

hệ thống dựa trên mô hình tham số cố định không đạt chất lượng tốt

→ Cần xác định mô hình của hệ thống trong khi hệ thống đang hoạt động Mô

hình cần phải được xác định dựa vào dữ liệu quan sát đến thời điểm hiện tại

− Hệ thống điều khiển trong đó có sử dụng mô hình được cập nhật trực

tuyến gọi là hệ thống điều khiển thích nghi

Hình 4.1: Hệ thống điều khiển thích nghi

− Việc tính toán tham số mô hình trực tuyến phải được thực hiện sao cho

việc xử lý dữ liệu đo tại mỗi thời điểm lấy mẫu phải chắc chắn hoàn tất trong

khoảng thời gian nhỏ hơn chu kỳ lấy mẫu

− Thuật toán nhận dạng thỏa mãn yêu cầu trên gọi là thuật toán nhận

dạng đệ qui

5.6.2 Thuật toán bình phương tối thiểu tuyến tính có trọng số đệ qui

• Tiêu chuẩn bình phương tối thiểu có trọng số:

Giả sử thu thập được k mẫu dữ liệu, tham số mô hình ước lượng bằng

phương pháp bình phương tối thiểu tuyến tính có trọng số là:

θ

Đối tượngĐiều khiển

Mô hình

Trang 16

16

Lời giải giải tích của (5.85) là:

)()(

k f k R

R

1

)()(),()

f

1

)()(),()

− Khi số mẫu tăng đến vô cùng không đủ bộ nhớ để lưu trữ dữ liệu và tính toán

− Thời gian tính toán θˆ tăng lên khi k tăng k

→ Cần tìm thuật toán tính θˆ dựa vào k ˆ 1

−

k

θ và dữ liệu thu thập ở thời điểm k, đồng thời thời gian tính toán không phụ thuộc vào k

• Thuật toán đệ qui:

Giả sử chuổi trọng số có tính chất sau:

),1()(),(k l =λ k β k− l

1),(k k =

j l

k

1)()

R

1

)()(),()

l l

k

l

T ϕ ϕϕ

1

k k l

l l k

k

l

T ϕ ϕϕ

⇒ R(k)=λ(k)R(k−1)+ϕ(k)ϕT(k) (5.91) Tương tự:

f

1

)()(),()

)()()()(),(1

1

k y k l

y l l k

Trang 17

17

)()()()(),1()(1

1

k y k l

y l l k k

k f k R

Tóm lại, thuật toán bình phương tối thiểu đệ qui cho bởi hai công thức sau:

]ˆ)()()[

()(ˆ

• Phiên bản nghịch đảo ma trận hiệu quả:

Để tránh phải tính nghịch đảo ma trận R (k) ở mỗi bước, đặt:

)()

(k R 1 k

và áp dụng bổ đề nghịch đảo ma trận

1 1 1 1

1 1 1

][

][A+BCD − = A− −A− B DA− B+C− − DA− (5.96) vào biểu thức (5.94) với A=λ(k)R(k−1), )B=ϕ(k , 1C = , )D=ϕT (k , ta

được:

)(

)1()(1

)()(

)1()()()(

)1()

(

)1()

(

1

k

k P k k

k

k P k k

k

k P k

λλ

ϕϕ

)(

)1()()()()1()(

)()

()(

)1()

(

)1(

k

k P k k

k k

P k

k k

k

k P k

k

λλ

ϕ

Tiêu đề	Mô Hình Hóa Và Nhận Dạng Hệ Thống - P5
Tác giả	Huỳnh Thái Hoàng
Trường học	Trường Đại Học Bách Khoa
Chuyên ngành	Điều Khiển Tự Động
Thể loại	bài giảng
Thành phố	Thành Phố Hồ Chí Minh

Định dạng
Số trang	22
Dung lượng	274,87 KB