Tiểu luận môn công cụ toán cho công nghệ thông tin quá trình ngẫu nhiên xích markov

S l ơ lược về quá trình ngẫu nhiên ược về quá trình ngẫu nhiên ề quá trình ngẫu nhiên c v quá trình ng u nhiên ẫu nhiên Các hiện tượng diễn ra trong tự nhiên, xã hội hoặc có tính chất tấ

4 Lâm Duy Qúy.

5 Nguyễn Hồng Hoan Sang

6 Nguyễn Thị Lê Soa

7 Nguyễn Minh Tâm.

I KHÁI NIỆM QUÁ TRÌNH NGẪU NHIÊN 2

1 Sơ lược về quá trình ngẫu nhiên 2

2 Khái niệm quá trình ngẫu nhiên 2

3 Phân loại quá trình ngẫu nhiên 3

3.1 Phân loại theo tập thời gian T 3

3.2 Phân loại theo tập không gian trạng thái E 3

II XÍCH MARKOV 3

1 Định nghĩa: 3

2 Xích Markov rời rạc và thuần nhất 5

2.1 Bài toán ví dụ 5

2.2 Ma trận xác suất chuyển 1 bước 5

2.3 Ma trận xác suất chuyển sau n bước 6

2.4 Phương trình Chapmam-Kolmogorov: 6

2.5 Các tính chất của ma trận chuyển trạng thái 7

2.6 Phân phối ban đầu 7

2.7 Phân phối dừng: 8

2.8 Phân loại trạng thái xích Markov 10

KẾT LUẬN 13

III LẬP TRÌNH CHUYỂN BÀI TOÁN ĐỐI NGẪU 13

1. Giao diện & Cách sử dụng: 13

2. Mã lập trình 15

TÀI LIÊU THAM KHẢO 23

I KHÁI NI M QUÁ TRÌNH NG U NHIÊN ỆM QUÁ TRÌNH NGẪU NHIÊN ẪU NHIÊN

1 S l ơ lược về quá trình ngẫu nhiên ược về quá trình ngẫu nhiên ề quá trình ngẫu nhiên c v quá trình ng u nhiên ẫu nhiên

Các hiện tượng diễn ra trong tự nhiên, xã hội hoặc có tính chất tất định (có tính quyluật, có thể biết trước kết quả) hoặc có tính chất ngẫu nhiên (không biết trước kết quả).Mặc dù không thể nói trước một hiện tượng ngẫu nhiên xảy ra hay không xảy ra khi thựchiện một lần quan sát, tuy nhiên nếu tiến hành quan sát nhiều lần một hiện tượng ngẫunhiên trong các phép thử như nhau, ta có thể đánh giá được khả năng xuất hiện của cácbiến cố tương ứng và rút ra được những kết luận khoa học về hiện tượng này Lý thuyếtxác suất nghiên cứu khả năng xuất hiện của các hiện tượng ngẫu nhiên và ứng dụng chúngvào thực tế Trong học phần xác suất và thống kê chúng ta đã tìm hiểu khái niệm biếnngẫu nhiên, đó là các biến nhận giá trị nào đó phụ thuộc vào các yếu tố ngẫu nhiên Khi

họ các biến ngẫu nhiên phụ thuộc vào thời gian ta có quá trình ngẫu nhiên Quá trình ngẫunhiên cung cấp những mô hình hữu ích để nghiên cứu nhiều lĩnh vực khác nhau như vật

lý thống kê, viễn thông, điều khiển, phân tích chuỗi thời gian, sự tăng trưởng dân số vàcác ngành khoa học quản lý Các tín hiệu video, tín hiệu thoại, dữ liệu máy tính, nhiễu củamột hệ thống viễn thông, nhiễu điện trong các thiết bị điện, số khách hàng đến một điểmphục vụ, chỉ số chứng khoán trong thị trường chứng khoán… là các quá trình ngẫu nhiên.Quá trình ngẫu nhiên có nhiều ứng dụng trong viễn thông là quá trình Markov (quá trìnhkhông nhớ, memoryless) và quá trình dừng

2 Khái ni m quá trình ng u nhiên ệm quá trình ngẫu nhiên ẫu nhiên

Xét một hệ thống vật lý (hay một hệ thống sinh thái, hệ thống dịch vụ,… ) tiếntriển theo thời gian Gọi X(t) là vị trí (tình trạng) của hệ tại thời điểm t Như vậy ứng vớimỗi thời điểm t, X(t) chính là một biến ngẫu nhiên mô tả vị trí (tình trạng) của hệ thống.Quá trình {X(t), t∈T} được gọi là một quá trình ngẫu nhiên

Tập T là tập chỉ thời gian và do đó ta coi X(t) là trạng thái của quá trình thời gian t.Tập hợp các vị trí có thể có của X(t) gọi là không gian trạng thái Kí hiệu là E

Ví dụ 1.1: khi gieo con xúc sắc, gọi X(t) là biến ngẫu nhiên chỉ trạng thái của con xúc sắc ở lần gieo t Như vậy, X(t) chỉ có thể nhận giá trị là 1 trong 6 mặt của con xúc sắc Do đó, ta có không gian trạng thái là E = {1, 2, 3, 4, 5, 6}.

Tóm lại: Một quá trình ngẫu nhiên là một tập hợp các biến ngẫu nhiên dùng mô tả

sự tiến triển của một quá trình nào đó theo thời gian

Ví dụ 1.2: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1, 2, 3 của hệ thống siêu thị này) Giả sử rằng, trong từng

trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng vào siêu thị A, 50% vào B và 30% vào C

 Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn ở siêu thị C thì X(0) = 3 Lúc đó, X(0) có bảng phân phối xác suất sau:

 Để mô tả tình trạng phân chia thị phần trong các tháng tiếp theo, chẳng hạn, tháng = 1, 2, 3,… vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3),… với các bảng phân phối xác suất tương ứng

Ta xây dựng được quá trình ngẫu nhiên { X(0), X(1), X(2), …} để mô tả tình trạng phân chia thị phần của hệ thống siêu thị trên.

3 Phân lo i quá trình ng u nhiên ại quá trình ngẫu nhiên ẫu nhiên

3.1 Phân lo i theo t p th i gian T ại theo tập thời gian T ập thời gian T ời gian T

Xét quá trình ngẫu nhiên { X(t), t ∈ T }:

{ X(t), t ∈ T } được gọi là quá trình rời rạc theo thời gian Trường hợp này ta ký

tháng 0, 1,… thì tập T = { 0, 1, 2, 3, 4, 5, …} là tập rời rạc

gian

3.2 Phân lo i theo t p không gian tr ng thái E ại theo tập thời gian T ập thời gian T ại theo tập thời gian T

của quá trình, mỗi giá trị của X(t) được gọi là một trạng thái

thực hoặc quá trình trạng thái liên tục

nào đó Còn tại thời điểm s (hiện tại) hệ có trạng thái i Ta cần biết tại thời điểm t trong tương lai (t >s) hệ có trạng thái j với xác suất là bao nhiêu?

Nếu xác suất này chỉ phụ thuộc vào s, i, t, j, có nghĩa là sự tiến triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc lập với quá khứ, đó là tính Markov Hệ có tính chất này được gọi là quá trình Markov.

Về phương diện toán học, tính Markov có thể định nghĩa như sau:

Ta nói rằng X(t) có tính Markov nếu:

Ví dụ 2.2: Xét quá trình chơi bài của một người nào đó, nếu gọi X(t) là số tiền của người đó tại thời điểm t (ván bài thứ t) thì có thể xem X(t) chỉ phụ thuộc vào số tiền của người đó ở ván bài thứ t-1 và không phụ thuộc vào X(t-2), X(t-3),… là bao nhiêu Như vậy, ta nói X(t) có tính Markov.

Nói chung, các hệ sinh thái không có trí nhớ là những hệ có tính Markov

Nếu E đánh số được (đếm được) thì quá trình { X(t), t ∈ T } được gọi là xích Markov Lúc này, có thể kí hiệu E = {1, 2, 3, }, tức là các trạng thái được đánh số

Nếu tập các giá trị t đếm được (chẳng hạn, t = 0, 1, 2, ) thì ta có xích Markov với

thời gian rời rạc, hay xích Markov rời rạc.

tục

Đặt p(s, i, t, j) = P( X(t) = j | X(s) = i ) Đó là xác suất có điều kiện để hệ (hay quátrình) tại thời điểm s ở trạng thái i đến thời điểm t chuyển sang trạng thái j Vì thế, ta gọip(s, i, t, j) là xác suất chuyển của hệ (hay quá trình)

Nếu xác suất chuyển chỉ phụ thuộc vào (t – s), tức là:

gian

Trong phần sau, ta chỉ xét xích Markov rời rạc và thuần nhất

2 Xích Markov r i r c và thu n nh t ời rạc và thuần nhất ại quá trình ngẫu nhiên ần nhất ất

2.1 Bài toán ví dụ

Ví dụ 2.3: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C

(A, B, C được coi là các vị trí 1, 2, 3 của hệ thống siêu thị này) Giả sử rằng, trong từngtháng mỗi khách hàng luôn trung thành với một siêu thị Ngoài ra, cũng giả sử rằng trongtháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàngvào siêu thị A, 50% vào B và 30% vào C

Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêuthị trên, chúng ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ởsiêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn ở siêu thị C thì X(0) = 3 Lúc

đó, X(0) có bảng phân phối xác suất sau:

Để mô tả tình trạng phân chia thị phần trong các tháng tiếp theo, chẳng hạn, tháng = 1, 2, 3,… vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2),X(3),… với các bảng phân phối xác suất tương ứng

Ta xây dựng được quá trình { X(t), t = {1, 2, …} để mô tả tình trạng phân chia thị

phần của hệ thống siêu thị trên

Những tháng sau, ta giả sử:

trong tháng sau luôn là 0,8; chuyển sang mua hàng ở B luôn là 0,1 và chuyển sang

C luôn là 0,1

sang A luôn là 0,07; vào lại B luôn là 0,9 và chuyển sang C luôn là 0,03

0,083; chuyển sang B luôn là 0,067 và vào lại C luôn là 0,85

Yêu cầu:

1 Cho biết xác suất để một khách hàng trong tháng đầu mua ở siêu thị A sau 2 tháng

sẽ chuyển sang mua ở siêu thị B là bao nhiêu?

2 Cho biết tỉ lệ phần trăm số khách hàng vào các siêu thị A, B, C sẽ thay đổi cho đếntháng thứ mấy thì ổn định (thay đổi không đáng kể)?

2.2 Ma tr n xác su t chuy n 1 b ập thời gian T ất chuyển 1 bước ển 1 bước ước c

Giả sử (Xt) , t = 0, 1, 2, … là xích Markov rời rạc và thuần nhất Khi đó tínhMarkov và tính thuần nhất của (Xt) có nghĩa là:

pij = P { X(tn+1} = j | X(t0) = i0, … , X(tn-1) = in-1, X(tn) = i}

Ý nghĩa: pij là xác suất có điều kiện để hệ tại thời điểm tn (hiện tại) ở trạng thái i

chuyển sang trạng thái j tại thời điểm tn+1

Xét lại ví dụ 2.3, dựa vào định nghĩa ma trận chuyển một bước ta được:

2.3 Ma tr n xác su t chuy n sau n b ập thời gian T ất chuyển 1 bước ển 1 bước ước c.

Ma trận xác suất chuyển n bước có được định nghĩa theo công thức

là xác suất có điều kiện để hệ tại thời điểm ban đầu ở trạng thái i, sau

n bước chuyển sang trạng thái j

2.4 Ph ương trình Chapmam-Kolmogorov: ng trình Chapmam-Kolmogorov:

Theo ví dụ 2.3, hỏi xác suất để một khách hàng trong tháng đầu mua ở siêu thị A

2.5 Các tính ch t c a ma tr n chuy n tr ng thái ất chuyển 1 bước ủa ma trận chuyển trạng thái ập thời gian T ển 1 bước ại theo tập thời gian T

2.6 Phân ph i ban đ u ối ban đầu ầu.

Định nghĩa: Giả sử tại thời điểm t = n, X(n) cũng có thể nhận một trong N giá trị

Áp dụng cho ví dụ 2.3:

suất tại thời điểm t = 0 hay véc tơ phân phối ban đầu

- Sau 1 tháng kể từ thời điểm ban đầu, xác suất tỉ lệ khách hàng vào các cửa hànglà:

suất chuyển P = [pij]

• Viết dưới dạng ma trận thì phân phối dừng là vector cột bất biến đối với matrận chuyển vị của P, tức là:

Giải hệ trên ta có ∏ = [ 0,272 0,455 0,273] là phân phối dừng, tức là trongtương lai:

Tỉ lệ phần trăm khách hàng vào các siêu thị

2.8 Phân lo i tr ng thái xích Markov ại theo tập thời gian T ại theo tập thời gian T

a) Trạng thái liên thông: Ta nói rằng trạng thái j đạt được từ trạng thái i nếu tồn

Xích Markov tối giản: xích Markov được gọi là tối giản nếu hai trạng thái bất kỳ

của nó liên thông với nhau

Ví dụ: Cho xích Markov với ma trận xác suất chuyển

Mở đầu: Giả sử (Xn) là xích Markov Xét trạng thái cố định i ϵ E, ta đặt

Ý nghĩa: fij(n ) là xác suất để hệ xuất phát từ i lần đầu tiên chuyển sang trạng

Ý nghĩa: Theo định nghĩa thì i là hồi quy nếu và chỉ nếu hệ xuất phát từ i,

với xác suất 1 hệ trở lại i tại thời điểm hữu hạn nào đó Trạng thái i là không hồi quy cónghĩa biến cố hệ xuất phát từ i trở lại i ít nhất một lần có xác suất bằng fii <1

Trạng thái hồi quy dương và trạng thái hồi quy không

k=0

∞

n f i j ,(n)

đó là thời gian trung bình

để hệ trở lại i Trạng thái i là trạng thái dươi nếu µi < ∞, trạn thái i là trạngthái không nếu µi = ∞

Ý nghĩa: Trạng thái i là trạng thái dương có nghĩa là thời gian chờ đợi để hệ

xuất phát từ i trở về i là hữu hạn,trong khi đó thời gian nay bằng ∞ nếu i là trạng thái 0

Ví dụ: Cho xích Markov với không gian trạng thái E={0,1,2,3} VÀ ma trận xắcsuất chuyển.

Trạng thái 2 và 3 của xích đã cho là hồi quy hay không hồi quy?

thái không hồi quy

Còn rất nhiều vấn đề cần tìm hiểu về Markov và các mô hình ứng dụng có thể điđến được những kết quả đẹp về mặt lý thuyết hoặc những kết quả có ý nghĩa thực tế ( ápdụng được một cách thuận tiện trong thực tế )

Nhiều mô hình ngẫu nhiên trong Kinh tế, Kĩ thuật, Lý thuyết nhận dạng, Vận trùhọc, Dân số học, Di truyền học, được tiếp cận nghiên cứu có thể dựa trên cơ sở là quátrình Markov

III LẬP TRÌNH CHUYỂN BÀI TOÁN ĐỐI NGẪU.

1 Giao diện & cách sử dụng.

Diễn giải.

Số 1: Nhập tổng số biến của bài toán.

Số 2: Nhập hệ số hàm mục tiêu, cuối cùng hoàn thành chọn nút “Add”.

Số 3: Nhập tổng số ràng buộc.

Số 4: Nhập cac hệ số ràng buộc, xong nhấn nút “Add”.

Số 5: Nhập ràng buộc biến, xong nhấn nút “Add”.

Số 6: Sau khi nhập xong, sẽ ra bài toàn ban đầu.

Số 7: Bài toán đối ngẫu chuyển.

Số 8: Sau khi nhận nút này, sẽ cho kết quả bài toàn chuyển.

namespace nhom5

{

{

int n,m,i=1,j=1,k=1,t=1; // lưu trữ số int [] a = new int [20]; int [,] b = new int [10,10]; int [] c = new int [20]; string [] str = new string [10]; string [] strbien = new string [10]; string strminmax,str2,str3,str5,str6,str7; public Form1() {

InitializeComponent(); }

private void txtbien_KeyPress( object sender, KeyPressEventArgs e) {

if (e.KeyChar == 13) {

n = Convert ToInt32(txtbien.Text); if (i < n) {

label3.Text = label3.Text + "" + "X" + i+ "" + "=" ;

}

}

private void txthammuctieu_KeyPress( object sender, KeyPressEventArgs e) {

if (e.KeyChar == 13) {

if (i <= n) {

a[i] = Convert ToInt32(txthammuctieu.Text.Trim()); txthammuctieu.Text = "" ;

label3.Text = "Hàm mục tiêu:" ; label3.Text = label3.Text + "" + "X" + i + "" + "=" ; i++;

}

}

}

private void btnadd_Click( object sender, EventArgs e) {

string str1; if (cmdchon.Text != "" ) {

{

if (a[j] > 0) {

if (j < n) {

str1 = a[j].ToString() + "*" + "X" + j + "" + "+" ; str2 = str2 + str1; }

else {

str1 = a[j].ToString() + "*" + "X" + j + "" ; str2 = str2 + str1;

}

}

else {

if (j < n) {

str1 = a[j].ToString() + "*" + "X" + j + "" + "-" ; str2 = str2 + str1; }

else {

str1 = a[j].ToString() + "*" + "X" + j + "" ; str2 = str2 + str1; }

}

}

str2 = str2 + "=>" + cmdchon.Text; rtxbandau.Text = str2+ "\n" ; }

else MessageBox Show( "Chưa chọn giá trị Min/Max" ); }

private void txtsorangbuoc_KeyPress( object sender, KeyPressEventArgs e) {

if (e.KeyChar == 13) {

m = Convert ToInt32(txtsorangbuoc.Text); if (j < m) {

label6.Text = label6.Text + j + "X" + k + "" ;

}

}

private void textBox1_KeyPress( object sender, KeyPressEventArgs e) {

k++;

}

else

str1 = b[j, k].ToString() + "*" + "X" + k + "" ; str3 = str3 + str1;

}

else

{

str5 = str5 + c[i].ToString() + "*" + "Y" + i + "" ; i++;

else {

str6 = str6 + b[j, i].ToString() + "*" + "Y" + j + "" ;

else {

str6 = str6 + b[j, i].ToString() + "*" + "Y" + j + "" ; }

}

else

{

str6 = str6 + ">=" + a[i].ToString() + "\n" ; ; rtxchuyen.AppendText(str6);