Bài tập lớn đại số tuyến tính Mô hình Markov

Theo lý thuyết xác suất, mô hình Markov là mô hình ngẫu nhiên được sử dụng để mô hình các hệ thống thay đổi ngẫu nhiên. Giả định rằng các trạng thái trong tương lai chỉ phụ thuộc vào các trạng thái hiện tại, không thuộc vào các sự kiện xảy ra trước đó (nghĩa là, nó giả định thuộc tính Markov). Nói chung, giả định này cho phép suy luận và tính toán với mô hình mà nếu không thì sẽ khó hiểu. Vì lí do này, trong các lĩnh vực mô hình dự báo và dự báo xác suất, mong muốn một mô hình nhất định sẽ trưng bày tài sản Markov.

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC BÁCH KHOA

KHOA CƠ KHÍ

BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH

GVHD: Thầy Nguyễn Hữu Hiệp

ĐỀ TÀI 8: GIỚI THIỆU MÔ HÌNH MARKOV

Nhóm 8

Phạm Hiền Linh 1913956 Dương Gia Minh 1914136

Trần Thị Kiều Linh 1913965 Nguyễn Quốc Minh 1914169 Nguyễn Trần Thảo Ly 1914096

Võ Nguyễn Khánh Linh 1913969 Nguyễn Nhật Lệ 1913928

Mục lục

I Giới thiệu mô hình Markov 2

1.1 Giới thiệu mô hình Markov: 2

1.2 Mô hình Markov: 3

1.3 Mô hình Markov ẩn: 5

II Ứng dụng mô hình Markov để giải một bài toán cụ thể: 9

III Một số ứng dụng mô hình Markov: 10

1 Tìm cân bằng thị phần: 10

2 Chính sách thay thế vật tư thiết bị: 11

3 Phân tích Markov trong dự báo thất thu cho các hợp đồng thực hiện trước: 12

4 Tìm phân phối giới hạn cho một hệ thống kĩ thuật: 13

5 Một ứng dụng của quá trình sinh−tử cho hệ thống hàng chờ: 15

I Giới thiệu mô hình Markov

1.1 Giới thiệu mô hình Markov:

Theo lý thuyết xác suất, mô hình Markov là mô hình ngẫu nhiên được sử dụng để mô hình các hệ thống thay đổi ngẫu nhiên Giả định rằng các trạng thái trong tương lai chỉ phụ thuộc vào các trạng thái hiện tại, không thuộc vào các sự kiện xảy ra trước đó (nghĩa

là, nó giả định thuộc tính Markov) Nói chung, giả định này cho phép suy luận và tính toán với mô hình mà nếu không thì sẽ khó hiểu Vì lí do này, trong các lĩnh vực mô hình

dự báo và dự báo xác suất, mong muốn một mô hình nhất định sẽ trưng bày tài sản Markov

Có 4 mô hình Markov phổ biến được sử dụng trong các tình huống khác nhau, tùy thuộc vào việc mọi trạng thái tuần tự có thể quan sát được hay không và liệu hệ thống có được điều chỉnh dựa trên các quan sát được thực hiện hay không:

Trạng thái hệ thống hoàn toàn

có thể quan sát được Trạng thái hệ thống có thểquan sát được một phần

Hệ thống tự chủ Chuỗi Markov Mô hình Markov ẩn

Hệ thống được

điều khiển Quy trình quyết định củaMarkov Quá trình quyết định Markovcó thể quan sát được một phần

- Chuỗi Markov:

Mô hình Markov đơn giản nhất là chuỗi Markov Nó mô hình trạng thái của một hệ thống với một biến ngẫu nhiên thay đổi theo thời gian Trong bối cảnh này, thuộc tính Markov cho thấy rằng phân phối cho biến này chỉ phụ thuộc vào phân phối của trạng thái trước đó Một ví

dụ sử dụng chuỗi Markov là chuỗi Markov Monte Carlo , sử dụng thuộc tính Markov để chứng minh rằng một phương pháp cụ thể để thực hiện bước đi ngẫu nhiên sẽ lấy mẫu từ phân phối chung

- Mô hình Markov ẩn:

nhưng chúng thường không đủ để xác định chính xác trạng thái Một số thuật toán nổi tiếng cho các mô hình Markov ẩn tồn tại Ví dụ, được đưa ra một chuỗi các quan sát, thuật toán Viterbi sẽ tính toán chuỗi trạng thái tương ứng rất có thể, thuật toán chuyển tiếp sẽ tính xác suất của chuỗi các quan sát và thuật toán Baum tựa Welch sẽ ước tính xác suất bắt đầu, quá trình chuyển đổi chức năng và chức năng quan sát của mô hình Markov ẩn

Một cách sử dụng phổ biến là nhận dạng giọng nói , trong đó dữ liệu được quan sát là dạng sóng âm thanh giọng nói và trạng thái ẩn là văn bản nói Trong ví dụ này, thuật toán Viterbi tìm ra chuỗi các từ được nói có khả năng nhất cho âm thanh lời nói

- Quy trình quyết định của Markov:

Quá trình quyết định Markov là một chuỗi Markov trong đó các chuyển đổi trạng thái phụ thuộc vào trạng thái hiện tại và một vectơ hành động được áp dụng cho hệ thống Thông thường, quy trình quyết định của Markov được sử dụng để tính toán chính sách hành động sẽ tối đa hóa một số tiện ích liên quan đến phần thưởng dự kiến Nó liên quan chặt chẽ đến việc học tăng cường , và có thể được giải quyết bằng phép lặp giá trị và các phương pháp liên quan

- Quy trình quyết định Markov có thể quan sát được một phần:

Một quy trình quyết định Markov có thể quan sát được một phần (POMDP) là một quy trình quyết định Markov trong đó trạng thái của hệ thống chỉ được quan sát một phần Các POMDP được biết là NP hoàn chỉnh , nhưng các kỹ thuật gần đúng gần đây

đã làm cho chúng hữu ích cho nhiều ứng dụng, chẳng hạn như điều khiển các tác nhân đơn giản hoặc robot

1.2 Mô hình Markov:

- Một dãy trạng thái ngẫu nhiên gọi là có thuộc tính Markov nếu như xác suấtchuyển sang trạng thái tiếp theo chỉ phụ thuộc vào trạng thái hiện tại và quá khứ.Dãy chuyển trạng quan sát được được gọi là chuỗi Markov hay Xích Markov Dãy chuyển trạng không quan sát được gọi là mô hình Markov ẩn

Có N trạng thái s1,s2,…,s n

Các bước thời gian rời rạc tương ứng: t=0,t=1,…

Tại bước thời gian thứ t, hệ thống ở một trong các trạng thái trên, gọi là q t

Với q t ∈{s1, s2,…,s n}

Giữa mỗi bước thời gian, trạng thái tiếp theo được chọn một

cách ngẫu nhiên Trạng thái hiện tại sẽ quyết định xác suất phân

bố của trạng thái tiếp theo (thường được kí hiệu bằng vòng cung

kết nối các trạng thái)

Trạng tháiq

t +1 độc lập có điều kiện với {q

t −1 ,q t−2 , ,q1,10} được đưa ra bởi q t

P(A|B) là xác suất sau hay xác suất có điều kiện, là xác suất xuất hiện A đối với B(hay xác xuất chuyển tiếp từ B đến A)

Một chuỗi q được gọi là chuỗi Markov, để thỏa

thuộc tính của Markov, trạng thái tiếp theo chỉ phụ

thuộc vào trạng thái hiện tại và không phụ thuộc

vào trạng thái nào trong quá khứ

Đây được gọi là mô hình Markov bậc 1

Mô hình Markov bậc hai: là mô hình được tạo ra trên cơ sở trạng thái hiện tại qt phụ thuộc vào hai trạng thái liền kề trước đó

1.3 Mô hình Markov ẩn:

- Giới thiệu:

+ Học thuyết về chuỗi Markov được phát triển vào những năm 1900 Mô hình Markov ẩn phát triển vào cuối những năm 60 và được sử dụng rộng rãi trong lĩnh vực nhận dạng giọng nói vào những năm 1960 – 1970 và được đưa vào

khoa học máy tính năm 1989

+ Nhiều bài toán thực tế được biểu diễn dưới mối quan hệ nhân quả, nhưng chỉ quan sát được phần quả, còn phần nhân thì ẩn HMM là một thuật toán cho phép gairi quyết các bài toán xác lập mối quan hệ nhân quả cục bộ nói trên + Mô hình Markov ẩn (tiếng Anh là Hidden Markov Model - HMM) là mô hình thống kê trong đó hệ thống được mô hình hóa được cho là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số

ẩn từ các tham số quan sát được, dựa trên sự thừa nhận này Các tham số của

mô hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví

dụ cho các ứng dụng nhận dạng mẫu Trong một mô hình Markov điển hình, trạng thái được quan sát trực tiếp bởi người quan sát, và vì vậy các xác suất chuyển tiếp trạng thái là các tham số duy nhất Mô hình Markov ẩn thêm vào các đầu ra: mỗi trạng thái có xác suất phân bổ trên các biểu hiện đầu ra có thể

Vì vậy, nhìn vào dãy của các biểu hiện được sinh ra bởi HMM không trực tiếp chỉ ra dãy các trạng thái Đây là một mô hình toán thống kê có ứng dụng rộng rãi trong Tin sinh học

- Các thành phần của HMM:

- Các chuyển tiếp trạng thái trong mô hình Markov ẩn:

Sơ đồ trên trình bày về các thành phần trong một mô hình Markov ẩn, đầu ra của mô hình

là 2 chuỗi trạng thái được quan sát (Y), ta giả định rằng chúng là kết quả của một quá trình Markov mang tính ngẫu nhiên (stochastic process) gồm các tham số trạng thái chưa xác định (trạng thái ẩn, X) với xác suất ban đầu (initial probability) Có sự chuyển tiếp

giữa các tham số trạng thái ẩn, và xác suất đầu ra cho phép liên kết mỗi trạng thái ẩn với kết quả quan sát được

Ví dụ về bài toán dự báo thời tiết: có 3 loại thời tiết, nắng, mưa và có mây Ta gọi qn là thời tiết ngày hôm nay thì các ngày trước đó sẽ là qn-1, qn-2, q1 để tìm xác suất của n Công thức trên có nghĩa là một khi đã biết qn-1, qn-2, q1 ( thời tiết các ngày trước đó ) thì tính được xác suất ngày hôm nay là qn = {“ nắng”, “ mưa”, “ có mây”} là bao nhiêu

Giả sử cho n=3 và q3= “nắng” để tính xác suất P (q3|q2,q1) biết q1, q2 thuộc {“nắng”,

“mưa”, “có mây”} vậy chúng ta phải tính tất cả 33-1 =32 =9 trường hợp Vậy phải biết được 9 trường hợp trong quá khứ thì mới tính được xác suất hiện tại Nếu n=6 thì chúng

ta phải có 3 6−1 = 243 trường hợp mới tính dước xác suất hiện tại, giá trị trên là quá lớn vì vậy cần phải được đơn giản, do đó lý thuyết makov mới ra đời cho chuỗi (qn, qn-1, q

n-2, q1) ta có:

P ( qn-1, qn-2, q1 ) = P(qn | qn-1 ) (2)

Theo công thức trên xác suất của trạng thái hiện tại chỉ phụ thuộc vào trạng thái trước đó,với công thức (2) được gọi là lý thuyết markov

Công thức tính một chuỗi các quan sát sau: {q1,q2, qn}

P(q1, ,qn)= ∏

i=1

n

P(q1|qi-1)

Thời tiết hôm nay

Thời tiết ngày mai

*Giải thích hình vẽ : đầu tiên có 3 loại thời tiết nắng, mưa và có mây, nếu hôm nay trời

nắng thì xác suất ngày mai trời tiếp tục nắng sẽ là 0.8, xác suất ngày mai trời mưa sẽ là

0,05, xác suất ngày mai trời có mây là 0,15 Ta thấy xác suất khá hợp lí, bởi vì hôm nay

nắng thì khả năng mai tiếp tục nắng sẽ cao hơn là mưa và có mây Và cứ như vậy cho xác

suất hôm nay thời tiết mưa hoặc có mây Với các dữ kiện trên hình thành một ma trận

chuyển tiếp thường ký hiệu là A Aji : i là thời tiết hôm nay, j là thời tiết ngày mai

II Ứng dụng mô hình Markov để giải một bài toán cụ thể:

Dân của thành phố A đọc ba tờ báo Tuổi trẻ, Thanh niên và Người lao động Qua khảo sát người ta nhận thấy: sau một tháng có 10% bạn đọc của Tuổi trẻ chuyển sang đọc Thanh niên, và 10%chuyển sang đọc Người lao động; có 10% bạn đọc Thanh niên chuyển sang đọc Tuổi Trẻ và 20% chuyển sang đọc Người Lao Động; có 10% bạn đọc Người lao động chuyển sang đọc Tuổi trẻ và 30% chuyển sang đọc Thanh niên Giả sử năm 2020 số dân đọc báo Tuổi trẻ, Thanh niên và Người lao động tương ứng là 800000, 300000 và 500000 Ước lượng số dân đọc báo Tuổitrẻ, Thanh niên và Người lao động sau 1 năm

function TinhSoDanDocBao

fprintf( 'Ta co \n' );

fprintf( 'Ma tran dau vao \n M = \n' );

M=[0.8 0.1 0.1; 0.1 0.7 0.3; 0.1 0.2 0.6];

disp(M);

fprintf( 'Ta co so dan ban dau \n D = \n' );

D = [800000;300000;500000];

disp(D);

fprintf( 'Goi so dan doc 3 loai bao sau 1 nam la X\n' );

X = M^12 * D;

fprintf( 'So dan doc 3 loai bao sau 1 nam la \n X = \n' );

fprintf( '%.0f\n' , X);

fprintf( 'So dan doc bao Tuoi tre la %.0f\n' , X(1));

fprintf( 'So dan doc bao Thanh nien la %.0f\n' , X(2));

fprintf( 'So dan doc bao Nguoi lao dong la %.0f\n' , X(3));

end

Các mô hình Markov được ứng dụng nhiều trong các lĩnh vực Vận trù học, Kinh tế,

Kĩ thuật, Dân số học, Di truyền học, Trong mục này, chúng ta sẽ xem xét các ứng dụng như tìm cân bằng thị phần, xác định chính sách thay thế vật tư thiết bị, dự báo thất thu cho các hợp đồng thực hiện trước, tìm phân phối giới hạn của một hệ thống kĩ thuật và một ứng dụng của quá trình sinh − tử cho hệ thống hàng chờ

1 Tìm cân bằng thị phần:

Bài toán: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C Giả

sử, trong tháng đầu, số khách vào các siêu thị lần lượt là 200, 500 và 300 Những tháng sau đó, ta giả sử xác suất để một khách hàng (đã vào siêu thị A lúc trước) vào lại A luôn là 0,8; chuyển sang B luôn là 0,1 và chuyển sang C luôn là 0,1 Các xác suất chuyển khác của khách hàng ("trụ lại" B, chuyển sang A, chuyển sang C ) được cho thông qua ma trận chuyển P

Lúc đó, theo kết quả đã biết, tỉ lệ phần trăm cân bằng dừng (khi thời gian đủ dài) số khách hàng vào các siêu thị A, B, C là 27,3%, 45,4% và 27,3% có thể tìm được từ hệ

Π ×(I – P) = 0

2. Chính sách thay thế vật tư thiết bị:

Trong một hệ thống điện kĩ thuật, các thiết bị cùng một loại được phân ra các tình trạng sau đây: vừa mới thay, còn tốt, vẫn dùng được và đã bị hỏng Theo số liệu thống

kê được, ta có ma trận xác suất chuyển trạng thái như sau:

trong đó, sau mỗi tuần (xem hàng đầu của ma trận P) có 0%, 80%, 20% và 0% số các thiết bị mới thay chuyển sang tình trạng mới thay, còn tốt, vẫn dùng được và

đã bị hỏng Các hàng khác của ma trận P được giải thích một cách tương tự Ta đi tìm phân phối dừng Π bằng phương pháp đã biết

Khi viết lại dưới dạng hệ phương trình (4 ẩn, 4 phương trình) ta phải loại bớt một phương trình đi, và thêm vào hệ thức π1+ π2+ π3 + π4 = 1 và ràng buộc πk ≥ 0 (k =

1, 2, 3, 4) Kí hiệu x1 = π 1, x2 = π2, x3 = π3 và x4 = π4 ta sẽ có hệ:

Vậy phân phối dừng Π = [1/6 1/3 1/3 1/6]

Ta xét phương án thứ hai cho việc thay thế vật tư thiết bị với ma trận xác suất chuyển trạng thái sau đây

Ma trận này tương ứng với chính sách mới về thay thế vật tư thiết bị là: thay thế mỗi thiết bị một khi kiểm tra và phát hiện thiết bị ở tình trạng vẫn dùng được Điều này có thể dẫn tới việc giảm thiểu thất thu do thiết bị hỏng gây nên Thật vậy, ứng với ma trận P trên đây, phân phối dừng Π = [1/4 1/2 1/4] Lúc này, mỗi tuần hệ

thống trên phải chi trung bình trên một thiết bị số tiền là: (1/4) × 25 + (0) ×18,5 =

6,25 nghìn/thiết bị/tuần Như vậy hệ thống sẽ tiết kiệm được 1 nghìn / thiết bị / một tuần Nếu hệ thống có 2000 thiết bị, thì nhờ chính sách thay thế vật tư mới, mỗi tuần hệ thống sẽ tiết kiệm được 2 triệu (đồng)

3 Phân tích Markov trong dự báo thất thu cho các hợp đồng thực hiện trước:

Một công ti kinh doanh trong ngành điện chuyên về sửa chữa và thay thế phụ tùng

đề ra chính sách tín dụng: đáp ứng yêu cầu của khách hàng trước, thanh toán sau Phần nhiều hợp đồng sẽ được thanh toán đúng thời hạn, một tỉ lệ nhất định sẽ được công ti cho thanh toán chậm, còn một số ít không thanh toán được Theo kinh nghiệm, sau hai hay ba hợp đồng thanh toán chậm của một khách hàng nào

đó là hợp đồng không thanh toán được sau một thời gian dài, công ti coi đây là hợp đồng “xấu” và sẽ cắt bỏ chính sách tín dụng với khách hàng đó Như vậy tại từng thời điểm các hợp đồng có thể rơi vào một trong các tình trạng (trạng thái)

Các phần tử trong ma trận trên có ý nghĩa đặc biệt Trong số các hợp đồng hiện tại

ở trạng thái S2 (phải thanh toán đúng kì hạn) cuối cùng sau một thời gian nhất định

có 89,83% sẽ rơi vào trạng thái S0 (được thanh toán) và 10,17% sẽ rơi vào trạng thái S1 (không được thanh toán) Còn trong số các hợp đồng hiện tại ở trạng thái S3

(thanh toán chậm) cuối cùng sau một thời gian nhất định có 64,41% sẽ rơi vào trạng thái S0 (được thanh toán) và 35,59% sẽ rơi vào trạng thái S1(không được thanh toán)

Thực hiện phép tính

Ta thấy trong 500 triệu phải thanh toán đúng kì hạn và 100 triệu thanh toán chậm cuối cùng sẽ có 459,32 triệu được thanh toán và 140,68 triệu là nợ “xấu” không đòi được Để cải thiện tình trạng này, công ti cần nghiên cứu tìm ra một chính sách tín dụng hợp lí hơn

4 Tìm phân phối giới hạn cho một hệ thống kĩ thuật:

Một hệ thống kĩ thuật có hai chi tiết có thể bị hỏng ở bất kì thời điểm nào Tại mỗi thời điểm hệ thống có thể rơi vào một trong những trạng thái sau (xem hình IV.1):

Chú ý rằng lúc này ta có xích Markov (thời gian) liên tục với không gian trạng thái S ={S0, S1, S2, S3} Sau đây, chúng ta sẽ tìm cách xác định phân phối giới

hạn (long run distribution) của {X(t)}t≥0

Trước hết ta nhắc lại về phân phối Poát−xông và phân phối mũ Giả sử dòng

tín hiệu đến (hay xảy ra) tuân theo phân phối Poát−xông P (λ) với λ là số tín

hiệu đến trung bình trong một khoảng thời gian nhất định (coi là một đơn vị thời gian), λ còn được gọi là cường độ của dòng tín hiệu đến Lúc đó, trong khoảng thời gian như trên thì số tín hiệu xảy ra sẽ nhận giá trị k với xác suất

Ta gọi phần tử xác suất P là xác suất xuất hiện (ít nhất) một tín hiệu trong khoảng thời gian ∆ t Thế thì, do “tính đơn nhất” của quá trình Poát−xông, P cũng là xác suất xuất hiện đúng một tín hiệu trong khoảng thời gian ∆ t Theo công thức đã biết thì P = λ∆t (chính xác tới vô cùng bé o( ∆ t))

Xét biến ngẫu nhiên T (chẳng hạn thời gian phục vụ một tín hiệu trong một hệ dịch vụ), có phân phối mũ ε(µ) với hàm mật độ là f(τ) = µe µ µ cũng được gọi

là cường độ phục vụ hay cường độ của “dòng phục vụ” Hàm phân phối xác

suất của T sẽ là: