Tìm hiểu chung về biến vecto ngẫu nhiên, các đặc trưng thống kê, độc lập, tương quan đối với các biến vecto ngẫu nhiên và áp dụng làm bài tập 8 2 , 8 3, và thử nghiệm dùng phần mềm matlab

Tìm hiểu chung về biến vecto ngẫu nhiên, các đặc trưng thống kê, độc lập, tương quan đối với các biến vecto ngẫu nhiên và áp dụng làm bài tập 8 2 , 8 3, và thử nghiệm dùng phần mềm matlab

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

──────── * ───────

BÀI TẬP LỚN

QUÁ TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG

Đề Số 2 : Tìm hiểu chung về biến vecto ngẫu nhiên, các đặc trưng

thống kê, độc lập, tương quan đối với các biến vecto ngẫu nhiên và áp dụng làm bài tập 8.2 , 8.3, và thử nghiệm dùng phần mềm Matlab.

Giáo viên hướng dẫn : PGS.TS Nguyễn Thị Hoàng Lan

Hà Nội, tháng 11 năm 2011

MỤC LỤC

MỤC LỤC 2

LỜI NÓI ĐẦU 4

I Giới thiệu chungvề biến vecto ngẫu nhiên

1 Định nghĩa biến vecto ngẫu nhiên

5

2 Hàm phân bố đồng thời của biến vecto ngẫu nhiên

5

3 Hàm mật độ của biến vecto ngẫu nhiên liên tục.

6

4 Bảng phân bố xác suất cho biến vecto ngẫu nhiên rời rạc 2 chiều.

a) Bảng phân bố xác suất đồng thời

6

b) Bảng phân bố xác suất biên

7

5 Hàm của các biến vecto ngẫu nhiên

8

II Các tham số đặc trưng của biến vecto ngẫu nhiên

1 Kỳ vọng

10

2 Ma trận hiệp phương sai

11

3 Độc lập và Sự tương quan

12

III Một số phân phối của biến vecto ngẫu nhiên liên tục

1 Phân phối chuẩn

15

2 Phân phối có diều kiện

18

3 Phân phối mẫu

20

4 Phân phối Wishtart

22

IV Bài tập và thử nghiệm dùng phần mềm Matlab

24

PHÂN CÔNG

32

Tài Liệu Tham Khảo 33

LỜI NÓI ĐẦUVéc-tơ ngẫu nhiên là một bộ có thứ tự bao gồm nhiều biến ngẫu nhiên Mỗi biến ngẫu nhiên là một phần của véc-tơ ngẫu nhiên, số biến ngẫu nhiênthành phần gọi là chiều của véc-tơ ngẫu nhiên.

Tương tự biến ngẫu nhiên,quy luật biến ngẫu nhiên nhiều chiều đượckhảo sát thông qua hàm phân bố Trường hợp biến véc-tơ ngẫu nhiên có cácbiến ngẫu nhiên thành phần rời rạc được gọi là biến véc-tơ ngẫu nhiên rờirạc Nếu tất cả các biến ngẫu nhiên thành phần liên tục thì biến ngẫu nhiênnhiều chiều tương ứng gọi là liên tục Biến véc-tơ ngẫu nhiên rời rạc đượcxác định bởi bảng phân bố xác suất đồng thời, còn biến véc-tơ ngẫu nhiênliên tục được định bởi hàm mật độ xác suất đồng thời

Ngoài những đặc trưng kỳ vọng, phương sai của các biến ngẫu nhiênthành phần , các véc-tơ ngẫu nhiên còn được đặc trưng bởi các khái niệm mớinhư Ma trận hiệp phương sai, Hiệp phương sai, hệ số tương quan, Ma trậntương quan Hệ số tương quan đo mức độ phụ thuộc tuyến tính của hai biếnngẫu nhiên thành phần , hệ số tương quan càng gần 1 thì mức độ phụ thuộctuyến tính càng chặt

Mục tiêu của bài tập lớn nhằm giúp sinh viên rèn luyện kiến thức cơbản đã được học trước đó Do đã được học về các môn như xác suất thống kênên cách tiếp cận vấn đề dễ dàng hơn, mang tính mở rộng kiến thức cũ

Trong quá trình thực hiện chúng em xin gửi lời cảm ơn chân thành tớiPGS.TS Nguyễn Thị Hoàng Lan đã hướng dẫn và cho chúng em những lờikhuyên bổ ích!

I Giới thiệu chung về biến vecto ngẫu nhiên

1 Định nghĩa về biến vecto ngẫu nhiên:

Một véc-tơ ngẫu nhiên n chiều là một bộ có thứ tự (X1, X2,…,Xn) với cácthành phần X1, X2,…,Xn là các biến ngẫu nhiên

Véc-tơ ngẫu nhiên n chiều (X1, X2,…,Xn) là liên tục hay rời rạc nếu tất cảcác biến ngẫu nhiên thành phần X1, X2,…,Xn đều là liên tục hay rời rạc

2 Hàm phân bố đồng thời của biến vecto ngẫu nhiên :

Hàm n biến F(x1,x2,…,xn) xác định bởi :

F(x1,x2,…,xn) = P{ X1<x1 , X2<x2,…, Xn<xn} được gọi là hàm phân bố củavéctơ ngẫu nhiên X=(X1, X2,…,Xn) Hay đgl phân bố đồng thời của các biến ngẫunhiên X1, X2,…,Xn

Ký hiệu véctơ ngẫu nhiên 2 chiều là (X,Y) , trong đó X là biến ngẫu nhiênthành phần thứ nhất và Y là biến ngẫu nhiên thành phần thứ 2

FX (x) , FY (y) là các hàm phân bố thành phần của véctơ

3.Hàm mật độ của biến véc-tơ ngẫu nhiên liên tục :

Định nghĩa : Hàm mật độ của véctơ NNLT X=(X1 , X2 ,…, Xn) là hàm nbiến f(x1 ,x2 ,…,xn ) ≥ 0 thỏa mãn :

f(x1 ,x2 ,…,xn ) còn được gọi là hàm mật độ đồng thời của X1 , X2 ,…, Xn

Tính chất (để đơn giản cho cách biểu diễn ta xét trường hợp véctơ ngẫu

nhiên 2 chiều (X,Y) có hàm mật độ f(x,y)

1 f(x,y) ≥0 với mọi (x,y) và ∫

∂ x ∂ y F ( x , y ) nếu tồntại đạo hàm tại(x , y )

¿0 Nếu ngược lại

f ( x , y ) dx=f Y(y ) hàm mật độ của biến ngẫu nhiên Y

4 Bảng phân bố xác suất cho biến vecto ngẫu nhiên rời rạc 2 chiều:

a) Bảng phân bố xác suất đồng thời.

Bảng phân bố xác suất đồng thời của biến ngẫu nhiên rời rạc hai chiều (X,Y)

là bảng liệt kê tất cả các giá trị của X theo hàng , Y theo cột và các xác suất tươngứng

xn p(xn,y1) p(xn,y2) … p(xn,yj) … p(xn,ym) p(xn)

Trong đó xi(i=1,n ) là các giá trị có thể có của thành phần X; yj(j=1,m) là cácgiá trị có thể có của thành phần Y P(xi,yj) là xác suất dông thời của biến ngẫunhiên hai chiều (X,Y) nhận giá trị (xi,yj), nghĩa là :

P(xi,yj) =P{X=xi,Y=yj},Xác suất này thỏa mãn

{P(x i , y i)≥ 0, với mọi i=1 , n ; j=1, m

b) Bảng phân bố xác suất biên

Áp dụng công thức xác suất đầy đủ cho hệ {X=x1},{X=x2}, ,{X=xn} ta có:

p(x i , y j); j=1, m

Như vậy từ bảng phân bố xác suất đông thời của (X,Y), nếu ta cộng xác suấttheo cột thì ta được các xác suất tương ứng với các giá trị của X Từ đó nhận đượcphân bố xác suất của biến ngẫu nhiên thành phần Y và biến ngẫu nhiên thành phầnX

5.Hàm của biến vecto ngẫu nhiên:

Xét vector ngẫu nhiên X= (X1, … , X n¿ có hàm mật độ xác định đồng thời f¿)

và p hàm thực

y i=y i¿) i=1,…,nGiả sử ánh xạ : R n → R n là song ánh, ta có thể đổi ngược

x i=x i¿) i=1,…,nXét các biến ngẫu nhiên Y1, … , Y p được định nghĩa bởi

Y i=y i¿) i=1,…,n

Thì hàm mật độ xác suất đồng thời của Y = (Y1, … , Y n) là

g¿) = abs ( |J| ¿f [x1(y1, … , y n), … , x p(y1, … , y n)]

Với J là ma trận Jacobian

II Các tham số đặc trưng của biến vecto ngẫu nhiên

1 Kỳ vọng

Xét X(X 1 .

.

Xn) là một véc-tơ ngẫu nhiên n-chiều thì kỳ vọng của X là

E(X) =(E (X 1) .

E(Xn)) = µ

Với Y là véc-tơ ngẫu nhiên n-chiều và α, β là các hằng số

E(αX +βY) = α E (X) + β E(Y)Nếu A ϵ ɱm x n(R) thì

E(AX)=AE(X)

Nếu X và Y là 2 biến véc-tơ ngẫu nhiên độc lập :

E(XY)=E(X).E(Y)

2 Ma Trận hiệp phương sai

Phương sai của X :

Var(X) = E[(X-µ)(X-µ)t] = Cov(X , Xt) =Ʃ

Ʃ gọi là ma trận hiệp phương sai.

Nếu đặt Cov(Xi, Xj) =E [(Xi –E(Xi))(Xj – E(Xj))] = ϭ ij là hiệp phương saicủa biến ngẫu nhiên Xi, Xj thành phần , với i,j =1,…,p

Ma trận hiệp phương sai :

Cov(X, Yt) =E[(X –E(X))(Y – E(Y))t]= E(XYt) - µϑt

- Tính chất của Ma Trận hiệp phương sai Ʃ:

Var(X+Y)=Var(X) + Cov(X,Y) + Cov(Y,X) + Var(Y)

Các bi n ng u nhiên ến ngẫu nhiên ẫu nhiên x 1 , …., x n được gọi là độc lập nếu các sự kiện {c g i là đ c l p n u các s ki n {ọi là độc lập nếu các sự kiện { ộc lập nếu các sự kiện { ập nếu các sự kiện { ến ngẫu nhiên ự kiện { ện { x 1≤

x1}, …., {x n≤ xn} là đ c l p.t đó ta có ộc lập nếu các sự kiện { ập nếu các sự kiện { ừ đó ta có

F(x1, …., xn) = F(x1) … F(xn)f(x1, …., xn) = f(x1) … f(xn)

T trên ta có, b t kì m t t p con nào c a t p xừ đó ta có ất kì một tập con nào của tập x ộc lập nếu các sự kiện { ập nếu các sự kiện { ủa tập x ập nếu các sự kiện { i đ u là m t t p h p c aều là một tập hợp của ộc lập nếu các sự kiện { ập nếu các sự kiện { ợc gọi là độc lập nếu các sự kiện { ủa tập xcác bi n ng u nhiên đ c l p.ến ngẫu nhiên ẫu nhiên ộc lập nếu các sự kiện { ập nếu các sự kiện {

Ví dụ : f(x1, x2, x3) = f(x1) f(x2) f(x3)

B đi bi n xỏ đi biến x ến ngẫu nhiên 3, ta có được gọi là độc lập nếu các sự kiện { f(xc 1, x2) = f(x1) f(x2) , đi u đó cho th y các bi nều là một tập hợp của ất kì một tập con nào của tập x ến ngẫu nhiên

ng u nhiên ẫu nhiên x1, x2 là đ c l p Tuy nhiên n u các bi n ng u nhiên ộc lập nếu các sự kiện { ập nếu các sự kiện { ến ngẫu nhiên ến ngẫu nhiên ẫu nhiên xi là đ c l pộc lập nếu các sự kiện { ập nếu các sự kiện {

t ng đôi m t thì chúng không nh t thi t ph i đ c l p toàn th ừ đó ta có ộc lập nếu các sự kiện { ất kì một tập con nào của tập x ến ngẫu nhiên ải độc lập toàn thể ộc lập nếu các sự kiện { ập nếu các sự kiện { ể

ví dụ:

f(x1, x2) = f(x1) f(x2) ; f(x2, x3) = f(x2) f(x3) ; f(x1, x3) = f(x1) f(x3)

nh ng f(ư x1, x2, x3) ≠f(x1) f(x2) f(x3)

l p lu n thì ta có th th y r ng ập nếu các sự kiện { ập nếu các sự kiện { ể ất kì một tập con nào của tập x ằng các bi n ng u nhiên ến ngẫu nhiên ẫu nhiên xi là đ c l p thì ộc lập nếu các sự kiện { ập nếu các sự kiện {

y1 =g1(X), …… , yn = gn(X) cũng đ c l p.ộc lập nếu các sự kiện { ập nếu các sự kiện {

b T ương quan : ng quan :

Hi p bi n c a các bi n ng u nhiên xện { ến ngẫu nhiên ủa tập x ến ngẫu nhiên ẫu nhiên i, xj được gọi là độc lập nếu các sự kiện {c ch rõ trong (7-6) V i cácỉ rõ trong (7-6) Với các ới các

bi n ng u nhiên ph c ến ngẫu nhiên ẫu nhiên ức

Cij = E{(xi –Ƞn) (xj –Ƞj)} = E(xi xj*) - E{xi}E{ xj*}

Theo đ nh nghĩa Phịnh nghĩa Phương sai x ương sai xng sai xi là

σi2 = Cij = E{| xj – Ƞj |} = E{|xi|2} + |E{xi}|2

Các bi n ng u nhiên xến ngẫu nhiên ẫu nhiên i được gọi là độc lập nếu các sự kiện {c g i là không tọi là độc lập nếu các sự kiện { ương sai xng quan là n u Cến ngẫu nhiên ij = 0 v i iới các

≠ j

Trong trương sai xng h p đó, n u x = xợc gọi là độc lập nếu các sự kiện { ến ngẫu nhiên 1 + … + xn thì σx2 = σ12 + … + σn2 22)

(8-N u các bi n ng u nhiên ến ngẫu nhiên ến ngẫu nhiên ẫu nhiên x1, …., xn là đ c l p thì chúng cũng khôngộc lập nếu các sự kiện { ập nếu các sự kiện {

tương sai xng quan Đi u này đều là một tập hợp của ược gọi là độc lập nếu các sự kiện {c ch ng minh nh (7-14) d i v i các bi n th c Đ iức ư ối với các biến thực Đối ới các ến ngẫu nhiên ự kiện { ối với các biến thực Đối

v i s ph c thì cũng ch ng minh tới các ối với các biến thực Đối ức ức ương sai xng t : ự kiện { N u các bi n ng u nhiên zến ngẫu nhiên ến ngẫu nhiên ẫu nhiên 1 = x1 +

jy1 , …, zn = xn + jyn là đ c l p thì f(xộc lập nếu các sự kiện { ập nếu các sự kiện { 1 x2 y1 y2) = f(x1y1)f(x2y2) T đó cóừ đó ta có :

Tương sai xng t , n u các nhóm xự kiện { ến ngẫu nhiên 1 … xn và y1 … yn là đ c l p thì ộc lập nếu các sự kiện { ập nếu các sự kiện {E{ g(x1 … xn) h(y1 … yn)} = E{ g(x1 … xn) } + … + E{ h(y1 … yn) }

c Ma tr n t ập ương quan : ng quan

cho các ma tr nập nếu các sự kiện {

và (2) là ma tr n hi p phập nếu các sự kiện { ện { ương sai xng sai Rõ ràng :

Rn = E{Xt X*}V i Xới các t là chuy n v c a Xể ịnh nghĩa Phương sai x ủa tập xChúng ta sẽ th o lu n v các tính ch t c a ma tr n Rải độc lập toàn thể ập nếu các sự kiện { ều là một tập hợp của ất kì một tập con nào của tập x ủa tập x ập nếu các sự kiện { n và đ nh th c ịnh nghĩa Phương sai x ức ∆

n.Các tính ch t c a Cất kì một tập con nào của tập x ủa tập x n cũng tương sai xng t ự kiện {

Ma tr n Rập nếu các sự kiện { n là xác đ nh không âm nghĩa làịnh nghĩa Phương sai x

Q = ARnA+≥ 0

V i Aới các + là liên h p chuy n v c a vector A = [aợc gọi là độc lập nếu các sự kiện { ể ịnh nghĩa Phương sai x ủa tập x 1, …, an]

Các bi n ng u nhiên xến ngẫu nhiên ẫu nhiên i được gọi là độc lập nếu các sự kiện { ọi là độc lập nếu các sự kiện {c g i là đ c l p tuy n tính n u ộc lập nếu các sự kiện { ập nếu các sự kiện { ến ngẫu nhiên ến ngẫu nhiên

E {| a1x1 + … + anxn |2 } > 0 v i m i A ới các ọi là độc lập nếu các sự kiện { ≠ 0Khi đó ma tr n tập nếu các sự kiện { ương sai xng quan Rn được gọi là độc lập nếu các sự kiện { ọi là độc lập nếu các sự kiện {c g i là xác đ nh định nghĩa Phương sai x ương sai xng

Các bi n vector ng u nhiên xến ngẫu nhiên ẫu nhiên i được gọi là độc lập nếu các sự kiện { ọi là độc lập nếu các sự kiện {c g i là ph thu c tuy n tính n u ụ ộc lập nếu các sự kiện { ến ngẫu nhiên ến ngẫu nhiên

a1x1 + … + anxn = 0 v i m i A ới các ọi là độc lập nếu các sự kiện { ≠ 0khi đó Q = 0, và ma tr n Rập nếu các sự kiện { n là duy nh tất kì một tập con nào của tập x

T các ý trên ta có, n u các bi n ng u nhiên xừ đó ta có ến ngẫu nhiên ến ngẫu nhiên ẫu nhiên i là đ c l p tuy n tính thìộc lập nếu các sự kiện { ập nếu các sự kiện { ến ngẫu nhiên

b t kì t p con nào l y ra t xất kì một tập con nào của tập x ập nếu các sự kiện { ất kì một tập con nào của tập x ừ đó ta có i đ u đ c l p tuy n tính.ều là một tập hợp của ộc lập nếu các sự kiện { ập nếu các sự kiện { ến ngẫu nhiên

III Một số phân phối của biến vecto ngẫu nhiên liên tục

1 Phân phối chuẩn (GAUSS)

Trong lý thuyết xác suất và thống kê,phân phối chuẩn nhiều chiều, đôi khiđược gọi là phân phối Gauss nhiều chiều, là tổng quát hóa của phân phối chuẩn một

chiều (còn gọi là phân phối Gauss) cho không gian nhiều chiều hơn Phân phối này

còn có quan hệ gần gũi với phân phôic huẩn ma trận

Một véc tơ ngẫu nhiên X=[X1+… X n]T tuân theo một phân phối chuẩn nhiềuchiều nếu nó thỏa mãn các điều kiện tương đương nhau sau đây:

 Mọi tổ hợp tuyến tính Y=a1X1+ +aNXN đều tuân theo phân phốichuẩn

 Tồn tại một véc tơ ngẫu nhiên Z=[Z1,… , Z M]T, trong đó các thành phầncủa nó là các biến ngẫu nhiên độc lập tuân theo phân phối chuẩn chuẩn hóa, mộtvéc tơ µ=[µ1, … , µ N]Tvà một ma trận kích thước N xM sao cho X=AZ+µ

 tồn tại một véc tơ μ và một ma trận đối xứng, nửa xác định

dương sao cho hàm đặc trưng của X là

Φxx(u;µ,Ʃ)=exp(iµ. T u−1

2u

T

Ʃu¿

Nếu là ma trận không suy biến, thì phân phối này có thể được mô tảbởi hàm mật độ xác suất sau:

fX(x1, ,xN)= 1

(2 π )N /2∨Ʃ∨¿1 /2¿exp(−12 ( x−µ )

T Ʃ−1

(x−µ))Trong đó |Ʃ| là định thức của Lưu ý rằng phương trình trên suy biến vềphương trình của phân phối chuẩn một chiều nếu là một giá trị vô hướng (nghĩa

là một ma trận 1x1)

Véc tơ μ trong các điều kiện trên là giá trị kỳ vọng của X và ma trận là ma

trận Ʃ=AAT hiệp phương sai của thành phần X i

Cần lưu ý rằng ma trận hiệp phương sai có thể suy biến (và khi đó khôngđược mô tả bởi các công thức sử dụng Ʃ−1 ở trên)

Trường hợp này thường xảy ra trong thống kê; ví dụ, trong phân phối củavéc tơ dư trong các bài toán hồi quy tuyến tính thông thường Cũng lưu ý rằng

các X i nói chung là không độc lập; chúng có thể được xem là kết quả của việc áp dụng biến đổi tuyến tính A cho tập hợp Z gồm các biến ngẫu nhiên Gauss độc lập.

Việc phân phối của một véc tơ ngẫu nhiên X là một phân phối chuẩn nhiều

chiều được ký hiệu bởi công thức sau:

X ~ N(µ,Ʃ)

hoặc viết tường minh rằng X biến trong không gian N-chiều,

X ~ NN(µ,Ʃ)

Nếu X và Y có phân phối chuẩn và độc lập thống kê, thì chúng có một phân

phối chuẩn có điều kiện phụ thuộc, nghĩa là cặp (X, Y) phải có phân phối chuẩn 2

chiều Tuy nhiên, một cặp biến ngẫu nhiên có phân phối chuẩn có điều kiện phụthuộc không nhất thiết độc lập lẫn nhau.

Điều kiện rằng hai biến ngẫu nhiên X và Y đều có phân phối chuẩn không kéo theo việc cặp (X, Y) có một phân phối chuẩn có điều kiện phụ thuộc (joint

normal distribution) Một ví dụ đơn giản là: Y =X nếu |X| > 1 và Y = −X nếu |X| < 1.

Điều này cũng đúng cho số biến ngẫu nhiên nhiều hơn 2

Trường hợp hai chiều

Trong trường hợp 2 chiều không suy biến, hàm mật độ xác suất (với kì vọng (0,0)) là

Biến đổi afin

Nếu Y=c+BX là một biến đổi afin của X ~ N(µ,Ʃ) trong đó là một véc tơ

M x 1 gồm các hằng số và là ma trận M xN, thì có phân phối chuẩnnhiều chiều với giá trị kỳ vọng c+Bµ và phương sai BƩBT nghĩa là, Y ~N(c+Bµ,BƩBT) Đặc biệt, tập con bất kỳ của đều có một phân phối biên duyên

là phân phối chuẩn nhiều chiều Để minh họa, ta xét ví dụ sau: để tách tậpcon (X1,X2,X3)T, sử dụng

B=[1 0 0 0 00 1 0 0 0

0 0 0 1 0]