Tìm hiểu về bài toán ổn định hóa hệ markov dương

LỜI CAM ĐOANKhóa luận tốt nghiệp “Tìm hiểu về bài toán ổn định hóa hệ Markovdương” được hoàn thành do sự cố gắng, nỗ lực tìm hiểu nghiên cứu của bảnthân cùng với sự giúp đỡ, hướng dẫn tậ

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

KHOA TOÁN

——————–o0o———————

NGÔ THÙY LINH

TÌM HIỂU VỀ BÀI TOÁN ỔN ĐỊNH HÓA

HỆ MARKOV DƯƠNG

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC

Chuyên ngành: Toán ứng dụng

HÀ NỘI, 2018

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

KHOA TOÁN

——————–o0o———————

NGÔ THÙY LINH

TÌM HIỂU VỀ BÀI TOÁN ỔN ĐỊNH HÓA

LỜI CAM ĐOAN

Khóa luận tốt nghiệp “Tìm hiểu về bài toán ổn định hóa hệ Markovdương” được hoàn thành do sự cố gắng, nỗ lực tìm hiểu nghiên cứu của bảnthân cùng với sự giúp đỡ, hướng dẫn tận tình của thầy Nguyễn Trung Dũng.Tôi xin cam đoan khóa luận tối nghiệp này không trùng lặp với các khóaluận của tác giả khác

Hà Nội, ngày 8 tháng 5 năm 2018

Sinh viên

Ngô Thùy Linh

LỜI CẢM ƠN

Trước hết cho tôi bày tỏ lòng cảm ơn sâu sắc đến thầy giáo Nguyễn TrungDũng đã tận tình hướng dẫn và giúp đỡ tôi trong suốt thời gian nghiên cứuthực hiện khóa luận

Tôi xin chân thành cảm ơn các Thầy-Cô của khoa Toán, Trường Đại học Sưphạm Hà Nội 2 đã tận tình giảng dạy, trang bị cho tôi những kiến thức chuyênmôn cần thiết trong quá trình học tập tại trường Tôi cũng xin gửi lời cảm ơntới gia đình, người thân bạn bè đã động viên khuyến khích tôi hoàn thành tốtkhóa luận này

Trong quá trình nghiên cứu đề tài không tránh khỏi những sai sót Vì vậy,tôi rất mong nhận được những ý kiến đóng góp của thầy cô và bạn đọc để khóaluận của tôi được hoàn thiện hơn Tôi xin chân thành cảm ơn!

Hà Nội, ngày 8 tháng 5 năm 2018

Sinh viên

Ngô Thùy Linh

MỤC LỤC

Trang

Lời cam đoan 1

Lời cảm ơn 2

Kí hiệu 4

MỞ ĐẦU 6

1 KIẾN THỨC CHUẨN BỊ 8

1.1 Xích Markov rời rạc thuần nhất và hữu hạn 8

1.1.1 Các định nghĩa 8

1.1.2 Phương trình Chapman-Kolmogorov 9

1.1.3 Phân phối ban đầu 10

1.2 Mô hình hệ nhảy Markov rời rạc 11

1.3 Tính ổn định của hệ nhảy Markov tuyến tính rời rạc 13

1.4 Một số khái niệm và kết quả bổ trợ 17

2 BÀI TOÁN ỔN ĐỊNH HÓA HỆ MARKOV DƯƠNG 18

2.1 Một số định nghĩa 18

2.2 Phân tích tính ổn định 19

2.2.1 Trường hợp thời gian liên tục 20

2.2.2 Trường hợp thời gian rời rạc 21

2.3 Ổn định hóa 21

2.3.1 Trường hợp thời gian liên tục 22

2.3.2 Trường hợp thời gian rời rạc 23

2.4 Ví dụ số 24

Kết luận 29

TÀI LIỆU THAM KHẢO 30

A ⊗ B Tích Kronecker của hai ma trận A và B.

A  0 Tất cả các phần tử của A không âm

A  0 Tất cả các phần tử của A dương

col{A, B} Ma trận khối cột

"

A B

#

diag{A, B} Ma trận khối chéo

"

#

λ(A) Tập các giá trị riêng của ma trận A

λmax(A) max {Reλ : λ ∈ λ(A)}

λmin(A) min {Reλ : λ ∈ λ(A)}

σ(A) Bán kính phổ của ma trận A (i.e max{|λ| : λ ∈ λ(A)})

(Ω, F ,P) Không gian xác suất đầy đủ

E[.] Toán tử kỳ vọng

LMIs Bất đẳng thức ma trận tuyến tính

MJSs Hệ nhảy Markov (Markov jump systems)

MỞ ĐẦU

1 Lý do chọn đề tài nghiên cứu

Trong những năm gần đây, vấn đề nghiên cứu định tính các hệ Markov

đã nhận được sự quan tâm và chú ý của nhiều nhà khoa học ở trong nước vàtrên thế giới Việc nghiên cứu này có nhiều ứng dụng trong kỹ thuật như môphỏng máy tính, hệ thống kĩ thuật, sinh học, y tế Chính vì vậy, nghiêncứu tính ổn định của hệ Markov đóng vai trò vô cùng quan trọng đối với quátrình nghiên cứu lý thuyết các hệ động lực Dựa trên sự định hướng của Thạc

sỹ Nguyễn Trung Dũng, tôi chọn đề tài: Tìm hiểu về bài toán ổn định hóa

hệ Markov dương làm đề tài khóa luận tốt nghiệp

3 Nhiệm vụ nghiên cứu

1 Trình bày kiến thức về hệ Markov dương

2 Trình bày tiêu chuẩn ổn định ngẫu nhiên của hệ Markov dương và thiết kếmột bộ điều khiển ngược để hệ đóng của nó là ổn định

4 Đối tượng và phạm vi nghiên cứu

1 Đối tượng nghiên cứu: Hệ Markov dương

2 Phạm vi nghiên cứu: Tiêu chuẩn ổn định hóa hệ Markov dương.

5 Cấu trúc khóa luận

Ngoài phần mở đầu, kết luận, danh mục tài liệu tham khảo thì khóa luậnbao gồm 2 chương:

1 Chương 1: Kiến thức chuẩn bị

2 Chương 2: Bài toán ổn định hóa hệ Markov dương

Chương 1

KIẾN THỨC CHUẨN BỊ

Trong chương này, chúng tôi nhắc lại một số khái niệm trong giải tích ngẫunhiên, xích Markov rời rạc, mô hình hệ nhảy Markov và một số kết quả bổ trợ

có liên quan đến nội dung khóa luận

1.1 Xích Markov rời rạc thuần nhất và hữu hạn

Trong mục này, chúng tôi nhắc lại một số kết quả liên quan đến xích Markovrời rạc thuần nhất và hữu hạn Nội dung của mục này dựa trên tài liệu [3].1.1.1 Các định nghĩa

Cho{rk}k∈Z0 là một dãy các biến ngẫu nhiên xác định trên không gian xácsuất (Ω, F ,P) và cùng nhận giá trị trong một tập M không quá đếm được.Định nghĩa 1.1.1 ([3]) Dãy R = {rk}k∈Z0 được gọi là một xích Markov nếu vớimọi k ∈Z0,

P{rk+1 = j|r0= i0, , rk−1 = ik−1, rk = i} =P{rk+1 = j|rk = i} (1.1)với mọi i0, i1, , ik−1, i, j ∈ M.

• P{rk+1 = j|rk = i} được gọi là xác suất chuyển của xích từ trạng thái i ởthời điểm k sang trạng thái j ở thời điểm k + 1

• Tập M được gọi là không gian trạng thái của xích R

• Nếu tập M có hữu hạn phần tử thì xích R được gọi là hữu hạn

• Nếu xác suất chuyển πij , P{rk+1 = j|rk = i} không phụ thuộc vào thờigian k thì xích R được gọi là thuần nhất

Nhận xét 1.1.1 Đẳng thức (1.1) diễn tả luật Markov của quá trình {rk}k∈Z0

Ví dụ 1.1.1 Hình 1.1 mô tả một xích Markov với 3 trạng thái M = {1, 2, 3}.Mỗi trạng thái còn được gọi là một mode Theo xích Markov trên Hình 1.1, hệ

sẽ chuyển từ mode i nào đó sang mode j 6= i với xác suất πij và xác suất ở tạimode i ∈ M là πii

Hình 1.1: Xích Markov với 3 trạng thái

Cho {rk}k∈Z0 là một xích Markov rời rạc thuần nhất với không gian trạngthái hữu hạn M Khi đó, ma trận Π = (πij)i,j∈M được gọi là ma trận xác suấtchuyển của xích {rk} Chú ý rằng πij ≥ 0 với mọi i, j ∈ M Hơn nữa, do côngthức xác suất đầy đủ, P

j∈M πij = 1 với mọi i ∈ M.1.1.2 Phương trình Chapman-Kolmogorov

Cho {rk}k∈Z0 là một xích Markov rời rạc thuần nhất và hữu hạn với matrận xác suất chuyển Π = (πij)i,j∈M

Định nghĩa 1.1.2 ([3]) Xác suất chuyển sau s bước, kí hiệu bởi πij(s), được địnhnghĩa bởi

πij(s) =P{rk+s = j|rk = i}

Chú ý từ định nghĩa trên rằng πij(s) là xác suất để tại thời điểm ban đầuxích ở trạng thái i, sau s bước xích chuyển sang trạng thái j

Nhận xét 1.1.2 Từ tính thuần nhất của xích, ta có π(s)ij =P{rs = j|r0= i} Rõ

ràng π(1)ij = π ij Kí hiệu Π(s) = (π(s)ij ) với quy ước

Khi đó, ma trận Π(s) = (πij(s)) được gọi là ma trận xác suất chuyển sau s bước

Sử dụng công thức xác suất đầy đủ và tính Markov, ta có kết quả sau.Mệnh đề 1.1.1 ([3]) Với mọi s ∈ Z0,

Π(s+1)= ΠΠ(s) = Π(s)Π,

Π(s+m)= Π(s)Π(m).

1.1.3 Phân phối ban đầu

Định nghĩa 1.1.3 ([3]) Phân phối của xích tại thời điểm s được xác định bởi

Định nghĩa 1.1.4 ([3]) Xích{rk}k∈Z0 được gọi là dừng nếup(s)không phụ thuộcvào s, tức là

p = p(s) hay p = pΠ.

Như vậy, một xích Markov rời rạc thuần nhất với không gian trạng tháihữu hạn M là bộ ba (rk, p, Π), trong đó

• rk là dãy các biến ngẫu nhiên rời rạc nhận giá trị trong M,

• p là phân phối ban đầu,

Từ Π(s) = Π(s−1)Π suy ra phần tử π00(s) được xác định bởi

1.2 Mô hình hệ nhảy Markov rời rạc

Trong mục này, chúng tôi giới thiệu một số ví dụ về mô hình hệ nhảyMarkov rời rạc

Ví dụ 1.2.1 ([4]) Xét mô hình một hệ thống máy sản xuất một loại sản phẩm.Tốc độ sản xuất theo yêu cầu là một hằng số d > 0 Mục tiêu của hệ thống làsản xuất ra sản phẩm đáp ứng được yêu cầu về tốc độ sản xuất Ta giả thiết hệthống chỉ hoạt động khi tất cả các máy hoạt động tốt Do đó, hệ thống có thểrơi vào một trong hai trạng thái là hoạt động hoặc dừng Vì các máy hoạt độngđộc lập và các máy hỏng là ngẫu nhiên nên trạng thái hoạt động của hệ thốngđược mô tả bởi một xích Markov {rk} với không gian trạng thái M = {0, 1}, ở

đó rk = 0 là trạng thái máy bị hỏng và rk = 1 là trạng thái máy hoạt động tốt.Hơn nữa, chúng ta cũng giả thiết rằng, trong trạng thái hoạt động, hệ thống cóthể sản suất với tốc độ u với số lượng sản phẩm cực đại là l > d

Kí hiệu x(k) là tổng lượng hàng kiểm kê tại thời điểm k, tức là x(k) bằngtổng sản phẩm tính đến thời điểm k trừ tổng lượng hàng yêu cầu đến thời điểm

k Khi đó, hệ thống được mô tả bởi hệ nhảy Markov rời rạc sau đây

(1.5)

trong đó u(k) là biến điều khiển tốc độ sản xuất

Ví dụ 1.2.2 ([6]) Một máy đun nước dùng năng lượng mặt trời được cấu tạobởi (Hình 1.2): Hệ thống gương phản chiếu ánh sáng mặt trời có thể di chuyểnđược, một tháp chứa bình nước có thể điều chỉnh được lượng nước và bộ cápchuyển năng lượng mặt trời vào bình nước Năng lượng truyền vào bình nướcphụ thuộc vào điều kiện thời tiết Nếu trời nắng, năng lượng truyền vào bìnhnước nhiều hơn và ngược lại, nếu trời nhiều mây năng lượng nhận được ít đi

Hình 1.2: Máy năng lượng mặt trời

Dựa vào các dữ liệu thống kê, điều kiện thời tiết có thể được mô tả bởimột xích Markov với hai trạng thái là “có nắng” và “nhiều mây” Kí hiệu x(k) lànhiệt lượng mặt trời ở thời điểm k thì mô hình điều khiển nhiệt lượng có dạng







x(k + 1) = A(rk)x(k) + B(rk)u(k), z(k) = C(rk)x(k) + D(rk)u(k),

ở đó {rk} là một xích Markov rời rạc với không gian trạng thái M = {1, 2} mô

tả điều kiện thời tiết,

2 nếu trời nhiều mây

1.3 Tính ổn định của hệ nhảy Markov tuyến tính rời rạc

Trong mục này, chúng tôi giới thiệu một số khái niệm và kết quả cơ bản vềtính ổn định của hệ nhảy Markov tuyến tính rời rạc

Trên không gian xác suất đủ (Ω, F ,P), cho xích Markov rời rạc thuần nhất

{rk}k∈Z0 với không gian trạng thái hữu hạn M = {1, 2, , m} Xác suất chuyểncủa xích được cho bởi

Kí hiệu Π = (πij) là ma trận xác suất chuyển vàp = (p1, p2, , pm) là phân phốiban đầu của xích, ở đó pi=P{r0 = j}, j ∈ M.

Xét hệ điều khiển mô tả bởi hệ nhảy Markov rời rạc tuyến tính sau đây

x(k + 1) = A(rk)x(k) + B(rk)u(k), k ∈Z0, x(0) = x0, (1.6)

ở đó x(k) ∈Rn là vectơ trạng thái của hệ, u(k) ∈Rm là vectơ điều khiển đầu vào

và A(rk), B(rk) là các ma trận hằng cho trước với số chiều phù hợp

Giả sử hàm điều khiển phản hồi được thiết kế dạng

với mọi vectơ ban đầu x0 và mọi phân phối ban đầu p

Định nghĩa 1.3.2 Hệ (1.6) được gọi là ổn định hóa được theo một nghĩa nào

đó nếu tồn tại một bộ điều khiển phản hồi dạng (1.7) sao cho hệ đóng (1.8) ổnđịnh theo nghĩa tương ứng

Nhận xét 1.3.1 Đối với hệ tuyến tính (1.6) với xích Markov rời rạc thuần nhất

và hữu hạn, ta có

AMSS ⇐⇒ EMSS ⇐⇒ SS=⇒ASS.

Định lí 1.3.1 ([6]) Các khẳng định sau là tương đương:

và các xác suất chuyển là không biết, tức là ma trận Π có dạng

"

? ?

? ?

#, hệ (1.6)

ổn định với bất kì xác xuất chuyển khi và chỉ khi tồn tại một ma trận P ∈ S+n

thỏa mãn điều kiện

1 2 1 2

1 2

#

.

Khi đó,

A = 12

"16 9

1 9 16 9

1 9

#

, rσ(A) = 17

18 < 1.

Theo Định lí 1.3.1, hệ đã cho là ổn định tiệm cận Tuy nhiên, vẫn với các tham

số của hệ như trên, ma trận xác suất chuyển Π bây giờ được cho bởi

Π =

"

0.9 0.1 0.9 0.1

#

,

nghĩa là hệ có thể ở lại mode 1 (mode không ổn định) lâu hơn Khi đó,

A =

"144 90

1 10 16 9

1 9

Π =

"1 2

1 2 1 2

1 2

#

.

Trong trường hợp này r σ (A) = 2.125 > 1 và do đó hệ không ổn định tiệm cận

Ví dụ 1.3.3 ([6]) Xét hệ (1.6) gồm hai mode với các ma trận

#

.

Khi đó rσ(A) = 0.4 < 1 và do đó hệ là ổn định tiệm cận

Nhận xét 1.3.3 Các ví dụ trên chỉ ra ảnh hưởng của các xác suất chuyển củaxích Markov lên tính ổn định của hệ Cụ thể hơn, ngay cả khi tất cả các mode

ổn định tiệm cận, thậm chí ổn định mũ, không suy ra hệ nhảy Markov tươngứng với một xích Markov nào đó là ổn định và ngược lại, cho dù tất cả các modeđều không ổn định vẫn tồn tại xích Markov chuyển đổi các mode để hệ nhảyMarkov tương ứng ổn định theo một nghĩa nào đó

1.4 Một số khái niệm và kết quả bổ trợ

Định nghĩa 1.4.1 (Ma trận Metzler) Ma trận A = [aij] ∈Rn×n được gọi là matrận Metzler nếu aij ≥ 0 với mọi i 6= j, i, j = 1, 2, , n

Chương 2

BÀI TOÁN ỔN ĐỊNH HÓA HỆ MARKOV DƯƠNG

Nội dung của chương này trình bày các kết quả ổn định và ổn định hóa lớp

hệ nhảy Markov dương Các kết quả được tham khảo chính trong tài liệu [9].2.1 Một số định nghĩa

Cho không gian xác suất đầy đủ (Ω, F ,P), trong đó Ω là không gian mẫu,

F là σ - đại số của các biến cố và P là độ đo xác suất xác định trên F

Xét hệ nhảy Markov (MJS) thời gian liên tục như sau:

Đối với hệ MJS thời gian liên tục, xác suất chuyển đổi mode của quá trìnhMarkov {rt, t ≥ 0} cho bởi

trong đó∆ > 0,lim∆→0{o (∆)/∆} = 0, λij > 0 (i, j ∈S, i 6= j)là tốc độ chuyển đổi

từ modei tại thời điểm t sang modej vào thời điểm t + ∆ và λii = −Ps

j=1,j6=i λ ij

với mọi i ∈S Ma trận tốc độ chuyển đổi được kí hiệu là Λ = [λ∆ ij ]

Đối với hệ MJS thời gian rời rạc, xác suất chuyển đổi mode của xích Markov

{rk, k >≥ 0} cho bởi

Định nghĩa 2.1.2 Giả sử rằng hệ (2.1) (tương ứng hệ (2.2)) với u (t) = 0

(u(k)=0) là dương Khi đó, hệ được gọi là ổn định trung bình nếu lim

t→∞ E {x (t)} =

0 ( lim

k→∞ E {x (k)} = 0) với bất kỳ điều kiện ban đầu x0 ∈Rn

+ và r0 ∈S.

Định nghĩa 2.1.3 Giả sử rằng hệ (2.1) (tương ứng hệ (2.2)) vớiu (t) = 0(u (k) =

0) dương Khi đó, hệ được gọi là ổn định moment cấp 1 nếu lim

Định lí 2.2.1 Giả sử rằng hệ (2.1) (tương ứng hệ (2.2)) với u (t) = 0 (u(k) = 0)

là dương Khi đó hệ là ổn định trung bình nếu và chỉ nếu hệ ổn định mômencấp 1

Chứng minh Điều kiện đủ: Giả sử rằng hệ (2.1) hoặc (2.2) là ổn định trungbình Theo Định nghĩa 2.1.2, ta có

lim

t→∞ EnX

n i=1 xi(t)

o

= n × 0 = 0.

Từ sự không âm của vector x (t), ta có

kx (t)k =Xn

i=1 |x i (t)| =X

n i=1 xi(t)

0 ≤ lim

t→∞ E {x i (t)} ≤ lim

t→∞ E {kx (t)k} = 0,

điều này suy ra hệ ổn định trung bình

2.2.1 Trường hợp thời gian liên tục

Nội dung của phần này trình bày kết quả ổn định cho hệ (2.1) với u (t) = 0.Định lí sau đây cho các điều kiện cần và đủ để hệ (2.1) với u (t) = 0 ổn địnhtrung bình

Định lí 2.2.2 Giả sử rằng hệ (2.1) với u (t) = 0 là dương (hoặc tương đươngvới mỗi i = 1, 2, , N, ma trận hệ A(i) là Metzler) Khi đó, các khẳng định sau

là tương đương:

(i) Hệ (2.1) với u (t) = 0 là ổn định trung bình

(ii) H là một ma trận Hurwitz, trong đó

H = diagA1, , As + ΛT⊗I. (2.3)(iii) Tồn tại một tập các vectơ v i  0, i ∈S sao cho

Chứng minh (i)⇔(ii) Theo Định lí 2 trong [5] ta có (i)⇔(ii)

(ii)⇔(iii) Vì A(i), ∀i ∈S và Λ là ma trận Metzler nên suy ra H là một matrận Metzler Khi đó, theo Bổ đề 1.4.1, H là ma trận Hurwitz nếu và chỉ nếutồn tại một vectơ v  0 sao cho Hv ≺ 0 Đặtv = vecv (i), khi đó chúng ta có sựtương đương giữa (ii) và (iii)

2.2.2 Trường hợp thời gian rời rạc

Định lí sau cho điều kiện cần và đủ trên ổn định trung bình của hệ (2.2)với u(k) = 0

Định lí 2.2.3 Giả sử rằng hệ (2.2) với u (k) = 0 là dương (hoặc tương đươngvới mỗi i = 1, 2, , N ma trận hệ A(i)  0) Khi đó, các khẳng định sau là tươngđương:

(i) Hệ (2.2) với u (k) = 0 là ổn định trung bình

(ii) F là một ma trận Schur, trong đó

F = ΠT ⊗I

diagnA(1), , A(N )o. (2.5)(iii) Tồn tại một tập các vectơ v i  0, i ∈S sao cho

Nhận xét 2.2.1 Các Định lý 2.2.2 và 2.2.3 cho các điều kiện cần và đủ để các

hệ MJSs dương với thời gian liên tục hoặc rời rạc là ổn định trung bình Tất cảcác điều kiện đó có thể kiểm tra Các điều kiện (iii) của Định lý 2.2.2 và 2.2.3

là tuyến tính và có thể giải như bài toán quy hoạch tuyến tính Đối với các điềukiện (ii) của Định lý 2.2.2 và 2.2.3, từ các Bổ đề 1.4.1 và 1.4.2 kiểm tra tínhchất Metzler của ma trận H và tính chất Schur của ma trận F cũng là các bàitoán quy hoạch tuyến tính, nghĩa là, tìm vectơ như tìm các vectơ c  0 và d  0

để thỏa mãn Hc ≺ 0 và (F − I) d ≺ 0, tương ứng

2.3 Ổn định hóa

Trong phần này, chúng ta xét các bài toán ổn định hóa các hệ (2.1) và(2.2) Bộ điều khiển phản hồi trạng thái được thiết kế sao cho hệ đóng là ổnđịnh trung bình Các bộ điều khiển phản hồi được thiết kế có dạng như sau: