Tìm hiểu về hàm mật độ có điều kiện, hàm đặc tính, chuẩn hóa và áp dụng

Tìm hiểu về hàm mật độ có điều kiện, hàm đặc tính, chuẩn hóa và áp dụng

ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

- -

BÁO CÁO BÀI TẬP LỚN MÔN QUÁ TRÌNH NGẪU NHIÊN ỨNG DỤNG

NHÓM 3-ĐỀ TÀI: TÌM HIỂU VỀ HÀM MẬT ĐỘ CÓ ĐIỀU KIỆN, HÀM ĐẶC TÍNH, CHUẨN HÓA VÀ ÁP DỤNG

Giảng viên: PGS.TS.Nguyễn Thị Hoàng Lan

HÀ NÔI 2011

Sinh viên thực hiện SHSV

MỤC LỤC

Lời nói đầu……….3

Tổng quan về việc thực hiện đề tài……….… 4

I.Hàm mật độ có điều kiện và kì vọng có điều kiên……… …… ………5

I.1.Hàm mật độ có điều kiện……….…….….…………5

I.2.Kì vọng có điều kiện……….……….…… 7

II.Hàm đặc tính và chuẩn hóa………8

II.1.Hàm đặc tính……….……… 8

II.2.Vector chuẩn……….……… …9

II.3.Vector chuẩn phức……….……… … 10

II.4.Dạng chuẩn bậc 2……… ……… 12

III.Ứng dụng……….……… ……15

III.1.Bài tập……… ………….……… 15

III.2.Matlab………… ……….……… 16

Tài liệu tham khảo……… 20

LỜI NÓI ĐẦU

Chúng ta đang sống trong kỉ nguyên khoa học kĩ thuật hiện đại Sự bùng nổ của ngành công nghệ thông tin đã mang lại những bước đột phá to lớn.Đóng góp quan trọng vào sự phát triển bùng nổ đó là vai trò vô cùng to lớn của toán học nói chung và xác suất nói riêng, đây chính là nền tảng của ngành công nghệ thông tin Được giao đề tài “Tìm hiểu

về hàm mật độ có điều kiện, hàm đặc tính, chuẩn hóa và áp dụng”, chúng em cảm thấy đây là một đề tài rất thú vị.Trong quá trình làm bài chúng em đã thu được nhiều điều bổ ích như rèn luyện kĩ năng nghiên cứu, kĩ năng tìm kiếm thông tin, kĩ năng làm việc nhóm ,ôn luyện các phần kiến thức liên quan… Chúng em xin trân trọng gửi lời cảm ơn

cô, sự chỉ dẫn tận tình của cô đã giúp chúng em rất nhiều trong quá trình thực hiện đề tài này

TỔNG QUAN VỀ VIỆC THỰC HIỆN ĐỀ TÀI

Phân công nhiệm vụ các thành viên:

Các thành viên được phân công từng phần riêng biệt để nghiên cứu và trao đổi với nhau Tuy nhiên, do nhóm đông người nên việc phân chia gặp một số khó khăn và còn chưa được đều về khối lượng kiến thức

Phần I: Hàm mật độ có điều kiện và kì vọng có điều kiện-Hoàng Doãn Quân

Phần II: Hàm đặc tính, chuẩn hóa

II.1 Hàm đặc tính - Nguyễn Văn An

II.2 Vector chuẩn- Lê Tự Quân

II.3 Vector chuẩn phức- Bùi Tuấn Sơn

II.4 Dạng chuẩn bậc 2- Trần Bảo Long

Ứng dung: bài tập và matlab: Đỗ Quang Minh (trưởng nhóm)

Vấn đề viết báo cáo:

Mỗi thành viên viết báo cáo phần việc của mình, trưởng nhóm thu gom các báo cáo và tổng hợp thành 1 báo cáo hoàn chỉnh

Báo cáo chủ yếu dựa theo cuốn Probability, Random Variables and Stochastic Processes

-3 rd của Athanansios Papoulis, để ngắn gọn khi cần tham chiếu đến 1 vấn đề trong cuốn

này thay vì ghi tên sách ta chỉ ghi là text book vd: xem (5-71-text book)

Các công thức quan trọng sẽ được kí hiệu trong ngoặc vd: (II.1.2) để tiện nhắc đến ở các phần liên quan

I Hàm mật độ có điều kiện và kì vọng có điều kiên

I.1 HÀM MẬT ĐỘ CÓ ĐIỀU KIỆN

Với hai biến ngẫu nhiên X và Y phân phối xác suất có điều kiện của Y cho X là phân bố

xác suất của Y khi X được biết đến là giá trị cụ thể.Nếu phân phối xác suất của Y cho X

là phân phối liên tục thì hàm mật độ chức năng được gọi là hàm mật độ có điều

kiện.Chúng ta sẽ mở rộng công thức f(x|y)=f(x,y)/f(x) (hàm mật độ xác suất cho biến

đơn)

Cho n véc tơ ngẫu nhiên ( RVs) xn …xk……x1 ta có hàm mật độ xác suất cho biến

nhiều chiều sau đây

(I.1)

Từ hàm mật độ xác suất trên ta có thể suy ra hàm phân phối xác suất

Ví dụ 1:

Theo công thức hàm mật độ ta suy ra được quy tắc chuỗi

Các quy tắc loại bỏ biến ra khỏi hàm mật độ:

ví dụ:

Qua hai ví dụ ta thấy có hai trường hợp xảy ra

Trường hợp 1: biến cần loại bỏ nằm bên trái (trên) của biểu thức điều kiện

Để loại bỏ một biến ta chỉ cần tích phân hàm mật độ với chính biến ấy

Trường hợp 2:biến cần loại nằm bên phải(dưới) cảu biểu thức điều kiện

Để loại bỏ một hay nhiều biến ta nhân hàm mật độ ban đầu với một hàm mật độ mới của các biến ở bên phải hàm mật độ ban đầu mà hàm mật độ mới đó có các biến cần loại bỏ ở bên trái, các biến không cần loại bỏ ở bên phải Sau đó cũng lấy tích phân với chính các biến cần loại đó

Giờ ta đi chứng minh hai ví dụ trên :

( | )=∫ ∞ ( , | )

 ( | ) ( ) =∫-∞+∞f( , | ).f( ) dx2 (nhân cả 2 vế với ( ) )

Vt = ( , )

( ) ( )= ( , )

Vp=∫ ( , , )

( )

∞

∞ dx2 = ( , ) = vt (dpcm)

( | )=∬ ∞ ( | , , )

 ( | ) ( ) =∬∞ ( | , , )

∞ ( , | ) ( )dx2dx3 (nhân cả hai vế với ( ))

Vế trái = ( , )

( ) ( )= ( , )

Vế phải = ∬ ( , , , )

( , , )

∞

∞

( , , ) ( ) ( )dx2dx3=∬ ∞ ( , , , )

= ( , ) =vt (dpcm)

Những công thức ở trên áp dụng cho trường hợp liên tục trong trường hợp rời rạc ta có công thức sau:

Cho các biến ngẫu nhiên x1 ,x2 ,x3

2.KÌ VỌNG CÓ ĐIỀU KIỆN

ta đã có công thức(xem 7.57-text book):

Mở rộng hơn ta có:

{ | , … … … } =∫ ∞ ∞ ( | , … … … )dx1 (I.4)

{ | , … … … } có thể được coi như là 1 biến ngẫu nhiên Do đó nhân công thức trên với ( , , … … … , ) và lấy tích phân ta có kết luân sau đây

{ { | , … … … }}= { }

Chứng minh:

{ { | , … … … }}=∫ … ∫ ∞ { | , … … … }

∞

∞

∞

∞

= { } (dpcm)

Với kì vọng có điều kiên, ta có quy tắc loại bỏ biến bên phải của biểu thức điều kiện:

Để loại bỏ một hay nhiều biến ở bên phải ta nhân kì vọng ban đầu với một hàm mật độ của các biến ở bên phải biểu thức điều kiện của kì vọng ban đầu mà hàm mật độ mới đó

có các biến cần loại bỏ ở bên trái, các biến không cần loại bỏ ở bên phải Sau đó cũng lấy tích phân với chính các biến cần loại đó

Ví dụ:

{ | , }= { { | , , }}=∫ ∞ { | , }

Ở trên là trong trường hợp liên tục trong trường hợp rời rạc ta có công thức sau

II.Hàm đặc tính và chuẩn hóa

II.1.Hàm đặc tính

Hàm đặc tính của một vector ngẫu nhiên được định nghĩa bởi hàm Ф(Ω):

Ф(Ω) = E{ Ω } = E{ (ω ⋯ ω )} = Ф(jΩ) (II.1.1)

Ф(jΩ) là hàm momen

Điều kiện:

X = [x1, .xn] Ω =[ω1, .ωn] Ứng dụng : nếu các biến ngẫu nhiên xi độc lập với hàm mật độ tương ứng ƒi(xi), khi

đó mật độ ƒz(z) của biến ngẫu nhiên z =x1+ … +xn là:

ƒz (z) = ƒ1(x1) * … * ƒn(xn) (II.1.2) Chứng minh:

Khi RVs xi độc lập và ω chỉ phụ thuộc vào xi ta kết luận :

E{ (ω ⋯ ω )}=E{ ω } E{ ω }

Do đó:

Ф(ω) = E{ ( ⋯ )} = Ф1(ω) . Фn(ω) (II.1.3)

Фi(ω) là hàm đặc tính của xi Áp dụng cho phép biến đổi Fourier ngược ta thu được (II.1.2)

Ta xét thêm 1 ví dụ nữa để minh họa cho ứng dụng của hàm đặc tính trong chứng minh

Ví dụ: (phép thử Bernoulli)

ta có các biến ngẫu nhiên xi, biến xi đại điên cho lần tung đồng xu thứ i ,xi=1 nếu mặt đồng xu ngửa và xi= 0 nếu mặt đồng xu sấp.ta có:

P{xi = 1} =P{h} = p P{xi = 0} = P{t} = q , p=1-q

Ta sẽ chứng minh lại công thức bernoulli bằng cách áp dụng (II.1.3)

Biến ngẫu nhiên z = x1+ +xn nhận các giá trị 0,1,…,n và {z = k} là sự kiện {k mặt ngửa trong n lần reo }.Hơn nữa ta có :

Фz(ω) = E{ ω } = ∑ { = } ω (II.1.5)

Các biến ngẫu nhiên xi độc lập vì xi chỉ phụ thuộc vào lần thử thứ i và mỗi lần thử là độc lập với nhau.Từ (II.1.3) và (II.1.4) :

Фz(ω) = (p ω + q)n = ∑ pk ωqn-k (II.1.6)

Đồng nhất thức (II.1.6) với (II.1.5) ta được điều phải chứng minh-công thức bernoulli: P{z = k} = pkqn-k (II.1.7)

II.2 Vector chuẩn

Định nghĩa: các biến ngẫu nhiên xi là biến ngẫu nhiên chuẩn đồng thời nếu tổng :

a1x1+ a2x2+ … +anxn=AXt (II.2.1)

Là 1biến ngẫu nhiên phân phối chuẩn với A bất kì A=[a1,…,an]

Từ định nghĩa chúng ta có những kết luận sau: Nếu các biến ngẫu nhiên xi có kì vọng bằng 0 và hiệp phương sai ma trận C, thì hàm đặc tính đồng thời của chúng là:

Ф(Ω)=exp (− ΩC Ωt

Và hàm mật độ đồng thời bằng

( ) =

Trong đó là định thức của ma trận C

Chứng minh II.2.2:

Giả địnhE{xi}=0 ta thuđược

Thay =0 và =1 vào công thức (5-65-text book) ta có:

{ } = exp [−

2] Dẫn đến

Từ (II.2.2) bằng phép biến đổi fourier ngược ta suy ra (II.2.3)

II.3 Vector chuẩn phức

Định nghĩa:

Một vector ngẫu nhiên ở dạng chuẩn phức là vector Z=X+jY=[z1, z2, zn] trong đó mỗi thành phần zi là một biến ngẫu nhiên phức : zi=xi+jyi (j là đơn vị ảo) Chúng ta giả định rằng E{zi}=0.Khi đó đặc trưng thống kê của vector Z được xác định thông qua hàm mật

độ xác suất:

Fz(Z)=f(x1, xn,y1, yn)

hàm fZ là hàm của 2n biến ngẫu nhiên xi và yi Đây là mở rộng của (II.2.3) , được xác định thông qua một ma trận kích thước 2n X 2n :

D=













CXX

CYY

CXY

CYX

D bao gồm 2n2+n tham số( 4n2 tham số của toàn ma trận nhưng bị trùng) E{xi,xj}, E{yi,

yj} và E{xi, yj} Hàm đặc tính của vector Z được xác định như sau:

Φz(Ω)= E{exp( j( u1x1 + + unxn + v1y1 + + vnyn) )}

Mở rộng (II.2.5) ta có :

Φz(Ω)=exp{- 1

2 Q} Q= (u v )













CXX

CYX

CXY

CYY 









Ut

Vt

Ở đây : U=[ u1, ,un], V=[v1, ,vn] và Ω=U+jV

Ma trận hiệp phương sai của vector chuẩn phức Z là một ma trận vuông kích thước

n X n :

CZZ = E{ Zt Z*} = CXX + CYY - j(CXY - CYX)

CZZ được xác định với n2 tham số.Không giống như trường hợp vector chuẩn thực, hàm mật độ xác suất fZ(Z) của vector Z không thể xác định thông qua ma trận hiệp phương sai

CZZ do CZZ chỉ có n2 tham số trong khi D có 2n2 + n tham số mà như trên ta đã biết fZ(Z) được xác định thông qua D tức là để xác định fZ(Z) thì cần phải có

2n2 + n tham số

Ví dụ với trường hơp n=1 khi đó Z=z=x+jy là một vector vô hướng

và Czz=E{|z|2} do đó Czz xác đinh thông qua một tham số duy nhất δ2z = E{X2+Y2} Trong khi fZ(Z) là một hàm mật độ chuẩn chứa 3 tham số δx, δy và E{xy}

Định lý Goodman ( Good man’s Theorem)

Trong một số trường hợp đặc biệt ta vẫn có thể xác định được hàm mật độ xác suất fZ(Z)

và hàm đặc tính Φz(Ω) của vector chuẩn phức Z thông qua ma trận hiệp phương sai CZZ

Và định lí Goodman chính là một trường hợp như thế:

Đinh lý:

Nếu 2 vector X và Y thỏa mãn điều kiện sau:

Điều kiện 1: CXX = CYY

Điều kiện 2 : CXY - CYX Với Z=X+jY khi đó:

CZZ = 2( CXX - jCXY )

fZ(Z) = 1

πn|CZZ| exp{-Z*CZZ

-1

Zt} ( II.3.1)

Φz(Ω) = exp{ -1

4 Ω*CZZΩt} ( II.3.2 )

Chứng minh: ta chỉ cần chứng minh công thức (II.3.2), việc biến đổi Fourier ngược (

II.3.2 ) sẽ cho ta (II.3.1) Theo giả thiết đã cho ta có:

Q = (U V )













CXX -CXY

CXY

CXX 









Ut

Vt = UCXYUt + VCXYUt - UCXYVt +VCXXVt

mặt khác : CXXt = CXX và CXYt = -CXY điều này dẫn chúng ta đến kết quả sau:

VCXXUt = UCXXVt UCXYUt = VCXYVt = 0

Từ đó:

1

2 Ω*CZZΩt = (U - jV)(CXX - jCXY )(Ut + jVt) = Q

Và ta nhận được kết quả là ( 2 ) => đ.p.c.m

II.4 Dạng chuẩn bậc 2 :

1.phân phối chi bình phương:

Cho n biến ngẫu nhiên độc lập zi theo phân phối chuẩn N(0,1), x là tổng bình phương của n biến đó:

Ta sẽ chứng minh rằng biến ngẫu nhiên x có phân phối chi bình phương với n bậc tự do,

CM:

Ta có biến ngẫu nhiên zi2 có phân phối chi bình phương bậc tự do bằng 1 χ2(1) ( xem trang 96-text book) Theo(5-71-text book) với m=1 ta chỉ ra được hàm momen của phân phối này :

Tương tự như hàm đặc tính trong (II.1.3), hàm momen có tính chất:

Các biến ngẫu nhiên zi độc lập, suy ra:

Theo (5-71-text book) đây chính là phân phối χ2(1) => ta có điều phải chứng mình

Ta có:

Từ (II.4.1) và (II.4.2) ta dẫn đến kết luận sau: với 2 biến ngẫu nhiên độc lập x,y với x theo phân phối χ2(m), y theo phân phối: χ2(n) thì:

Ngược lai: nếu ta có biến ngẫu nhiên z = x+y theo phân phối χ2(m+n) x,y độc lập, x theo phân phối χ2(m) thì y sẽ theo phân phối χ2(n) (II.4.4) Sau đây sẽ là một ứng dụng quan trọng của tính chất trên

2.Phương sai mẫu:

Trên nhiều tình huống thực tế, giá trị chính xác của phương sai của một tổng thể, kí hiệu bởi σ2 ( thông thường ta chỉ gọi là phương sai) là rất khó xác định trước được Phương pháp chung để ước lượng phương sai của một tổng thể (hữu hạn hoặc vô hạn) là ta sẽ lấy một mẫu hữu hạn các cá thể từ quần thể Giả sử rằng mẫu thu được có các giá trị đo được

là (x1,…,xn), Phương sai mẫu của (x1,…,xn) bằng:

Vậy tại sao lại chia cho (n-1) mà không phải chia cho n như cách tinh phương sai thông thường thường?

Giải thích: do phương sai mẫu dùng để xác định giá trị của phương sai tổng thể nên ta cần chọn giá trị phương sai mẫu sao cho nó là một ước lượng không chệch của phương sai tổng thể.Hay nói cách khác:

Không quá khó khăn để chứng minh (II.4.6) bằng các phép biến đổi đại số và xác suất cơ bản

Tuy nhiên trong phạm vi đề tài này ta sẽ chỉ xét trường hợp giá trị của phép thử thứ i: xi

là biến ngẫu nhiên theo phân phối chuẩn N(η, σ), trong trường hợp riêng này ta có thêm cách chứng minh khác cho (II.4.6) và một số kết quả mở rộng

Xét phương sai mẫu đối với phân phối chuẩn:

Chưng minh (II.4.7):

Ta có:

Dễ thấy vế trái của (II.4.8) là 1 biến ngẫu nhiên tuân theo phân phối χ2(n)

Xét vế phải cuả (II.4.8) là 1 tổng của 2 biến ngẫu nhiên độc lập:

Ta có:

Là 1 biến ngẫu nhiên độc lập theo phân phối χ2(1) vì theo phân phối chuẩn N(N(η,

Từ những kết quả trên kết hợp với (II.4.4) ta có:

 (II.4.7) đã được chứng minh

Từ II.4.7 kết hợp với (5.71-text book) ta có 2 kết quả sau:

Đây chính là kết quả II.4.6 trong trường hợp phân phối chuẩn

và:

III.Ứng Dụng

III.1.Bài tập:

8-32: Cho 2 biến ngẫu nhiên x,y là không tương quan với kì vọng bằng 0 và σx= σy = σ Chứng minh rằng nếu z= x+jy, thì:

Với Ω=u+jv Đây là dạng vô hướng của định lý Goodman

Chứng minh:

Theo đề bài mỗi ma trận Cxx, Cxy, Cyx chỉ có 1 tham số

Ta có Cxx = E(x2) = σx

2

= σ2= σy

2

=E(y2)=Cyy => thỏa mãn điều kiện 1

Cxy= Cyx= E( (x-Ex)(y-E(y) ) = Exy- Ex- Exy=0 ( vì x,y không tương quan)

 Cxy=- Cyx (vì cùng bằng 0) => Thỏa mãn điều kiện 2

Do đó bài tập này chính là trường hợp vô hướng(n=1) của đinhk lý Goodman

Thêm nữa Czz=σz2=E(|z|2)=E(x2+y2)=2 σ2

Thay n=1,Czz=2 σ2 vào (II.3.1) và (II.3.2) ta được điều phải chứng minh

III.2.Matlab:

Sử dụng bản matlab 2008b

Ta có bảng hàm matlab: ( lấy trên trang www.mathworks.com)

Chuẩn mvnrnd(MU,SIGMA,cases) mvncdf(X,MU,SIGMA) mvnpdf(X,MU,SIGMA)

 Vector X

 Kì vọng MU, trong đề tài này ta xét MU = 0

 Ma trận hiệp phương sai SIGMA

 Cases là số trường hợp được sinh ngẫu nhiên

Ví dụ minh họa với biến ngẫu nhiên X có 2 chiều:

 Tạo 100 số ngẫu nhiên và biểu diễn trên đồ thị:

mu = [0 0];

SIGMA = [1 1.5; 1.5 3];

r = mvnrnd(mu,SIGMA,100);

plot(r(:,1),r(:,2),'*')

Hình III.1: số ngẫu nhiên

 Tạo và vẽ hàm phân phối:

mu = [0 0]; SIGMA = [2 3; 3 6];

[X1,X2] = meshgrid(linspace(-3,3,50)',linspace(-3,3,50)');

X = [X1(:) X2(:)];

p = mvncdf(X,mu,SIGMA);

surf(X1,X2,reshape(p,50,50));

Hình III.2: Hàm phân phối

 Tạo và vẽ hàm mật độ:

mu = [0 0]; SIGMA = [2 3; 3 6];

[X1,X2] = meshgrid(linspace(-3,3,50)',linspace(-3,3,50)');

X = [X1(:) X2(:)];

p = mvnpdf(X,mu,SIGMA);

surf(X1,X2,reshape(p,50,50));

Hình III.3: hàm mật độ

Tài liệu tham khảo

 Probability, Random Variables and Stochastic Processes -3rd , Athanansios Papoulis

 Giáo trình xác suất thống kê Tống Đình Quỳ , NXB Đại học Quốc gia Hà Nội

 Stochastic Signals and Systems Gleb V.Tcheslavski