Phân phối chuẩn hay biến bivariate normal distribution

Định nghĩa: a Hai biến ngẫu nhiên X và Y được gọi là liên tục kết hợp jointly continuous nếu tồn tại một hàm không âm fXY: R2 → R, sao cho, với mọi tập A∈R2, ta có PX,Y∈A = fA XYx,ydxdy.

PHÂN PHỐI CHUẨN HAI BIẾN BIVARIATE NORMAL DISTRIBUTION

TS CHU VĂN THỌ

Bộ môn Toán - Đại Học Y Dược TP HCM

The sum of two or more independent normal random variables is also normal However, if two or more normal random variables are not independent, then their sum is not necessarily normal

There are two definitions of bivariate normal distribution Two random

variables are said to be bivariate normal, in the first definition, when all their linear combination is normal random variable; and, in the second definition, when their joint probability density function satisfies the bivariate normal probability density function

We prove that the above two definitions are equivalent in the sense that, if two random variables are bivariate normal based on one definition, they are bivariate normal based on the other definition

The proof of their equivalence can be conducted by two ways We prove that, in the first way, the two definitions result in the same moment generating functions; and, in the second way, the joint probability density function of a normal random vector is the same of the bivariate normal probability density function

A.HAI BIẾN NGẪU NHIÊN LIÊN TỤC

1 Hàm mật độ xác suất kết hợp (Joint Probability Density Function, PDF)

1.1 Định nghĩa:

a) Hai biến ngẫu nhiên X và Y được gọi là liên tục kết hợp (jointly continuous) nếu tồn tại một hàm không

âm fXY: R2 → R, sao cho, với mọi tập A∈R2

, ta có P((X,Y)∈A) = fA XY(x,y)dxdy b) Hàm fXY(x,y) được gọi là hàm mật độ xác suất kết hợp của X and Y

1.2 Kết quả từ định nghĩa:

fR2 XY(x,y)dxdy = f−∞∞ −∞∞ XY(x,y)dxdy = 1

1.3 Hàm mật độ xác suất lề (Marginal PDF)

a) Hàm mật độ xác suất lề của X là fX(x) = f−∞∞ XY(x,y)dy với mọi x

b) Hàm mật độ xác suất lề của Y là fY(y) = f−∞∞ XY(x,y)dx với mọi y

2 Hàm phân phối tích lũy kết hợp (Joint Cumulative Distribution Function, CDF)

2.1 Định nghĩa:

a) Hàm phân phối tích lũy kết hợp của hai biến ngẫu nhiên X và Y là FXY(x,y) = P(X ≤ x,Y ≤ y)

b) Hàm phân phối tích lũy kết hợp của hai biến ngẫu nhiên X và Y liên tục kết hợp (jointly continuous), là

FXY(x,y) = P(X ≤ x,Y ≤ y) = f−∞y −∞x XY(u,v)dudv

3 Hàm mật độ xác suất điều kiện (The Conditional PDF) - Hàm phân phối tích lũy điều kiện (The Conditional CDF)

3.1.Định nghĩa:

Cho X là biến ngẫu nhiên liên tục và A là biến cố a < X < b (có thể a = −∞ hay b = +∞)

a)Hàm phân phối tích lũy điều kiện là F X A(x) = {1 nếu x ≥ b; FX x −FX(a)

FX b −FX(a) nếu a < x < b; 0 nếu x ≤ a}

b)Hàm mật độ xác suất điều kiện là f X A(x) = { fX(x)

P(A) nếu a < x < b; 0 chỗ khác}

3.2 Định nghĩa:

Cho X là biến ngẫu nhiên liên tục, và A là biến cố a < X < b (có thể a = −∞ hay b = +∞)

a) Kỳ vọng điều kiện là E[X|A] = x−∞∞ f X A(x)dx

b) Kỳ vọng điều kiện là E[g(X)|A] = g(x)−∞∞ f X A(x)dx

c) Phương sai điều kiện là Var(X|A) = E[X2|A] − (E[X|A])2

3.3 Định nghĩa:

Cho hai biến ngẫu nhiên X và Y liên tục kết hợp

a) Hàm mật độ xác suất điều kiện của X với Y = y là f X Y(x|y) = fXYf x,y

Y (y) b) Xác suất điều kiện X∈A với Y = y là P(X∈A|Y = y) = fA X Y(x|y)dx

c) Hàm phân phối tích lũy điều kiện của X với Y = y là F X Y(x|y) = P(X ≤ x|Y = y) = f−∞x X Y(x|y)dx

3.4 Định nghĩa:

Cho hai biến ngẫu nhiên X và Y liên tục kết hợp

a) Kỳ vọng điều kiện của X với Y = y là E[X|Y = y] = xf−∞∞ X Y(x|y)dx

b) Kỳ vọng điều kiện của g(X) với Y = y là E[g(X)|Y = y] = g(x)f−∞∞ X Y(x|y)dx

c) Phương sai điều kiện của X với Y = y là Var(X|Y = y) = E[X2|Y = y] − (E[X|Y = y])2

3.5 Định lý:

a) Luật về tổng xác suất (Law of Total Probability): P(A) = P−∞∞ (A|X = x)fX(x)dx b) Luật về kỳ vọng lặp (Law of Iterated Expectation): E[Y] = E−∞∞ [Y|X = x]fX(x)dx = E[E[Y|X]] c) Luật về tổng phương sai (Law of Total Variance): Var(Y) = E[Var(Y|X)] + Var(E[Y|X])

4 Hai biến ngẫu nhiên độc lập

a) Hai biến ngẫu nhiên X và Y liên tục được gọi là độc lập khi fXY(x,y) = fX(x)fY(y), với mọi x,y

b) Hai biến ngẫu nhiên X và Y liên tục được gọi là độc lập khi FXY(x,y) = FX(x)FY(y) với mọi x,y

4.3 Định lý:

a) Nếu hai biến ngẫu nhiên X và Y độc lập thì E[XY] = EXEY

b) Nếu hai biến ngẫu nhiên X và Y độc lập thì E[g(X)h(Y)] = E[g(X)]E[h(Y)]

5 Hàm hai biến ngẫu nhiên liên tục

5.1 Kỳ vọng của hàm hai biến g(X,Y):

E[g(X,Y)]= g(x, y)−∞∞ −∞∞ fXY(x,y)dxdy

5.2 Phương pháp biến đổi (The Method of Transformations)

Cho hai biến ngẫu nhiên X và Y liên tục kết hợp Gọi (Z,W) = g(X,Y) = (g1(X,Y), g2(X,Y)), trong đó g: R2 ↦ R2

là hàm liên tục 1-1 (khả nghịch), có đạo hàm riêng liên tục

Gọi h = g-1, nghĩa là, (X,Y) = h(Z,W) = (h1(Z,W), h2(Z,W))

Khi đó, Z và W là hai biến ngẫu nhiên liên tục kết hợp và hàm mật độ xác suất kết hợp là fZW(z,w), với mọi (z,w)∈RZW, được xác định bởi fZW(z,w) = fXY(h1(z,w), h2(z,w)).|J|, với J là định thức Jacobian của h,

6 Một số kết quả nghiên cứu:

Gọi W = X Ta có (Z,W) = g(X,Y) = (g1(X,Y) = X+Y, g2(X,Y) = X)

Suy ra, (X,Y) = h(Z,W) = (h1(Z,W) = W, h2(Z,W) = Z - W)

Theo định lý 6.1, fZ(z) = f−∞∞ X(w)fY(z − w)dw = 1

2π e∞ −w 22

−∞ e−(z−w )22 dw = 2π1 e∞ −2w 2−2wz +z22

∞

−∞ e−

(w −z2)22

dw

Ta có 1

2π 21

1 π

∞

−∞ e−

(w −2)z 22

dw = 1, vì là tích phân của hàm PDF của biến ngẫu nhiên có phân phối chuẩn, trung bình 2z , phương sai 12 Vậy fZ(z) = 1

2 πe−z24

2 +σ222σ12σ22 (w −σ12 z−μ2 +σ22μ1

σ12+σ22 2πσ1σ2 exp{- σ1

2 +σ222σ12σ22 (w −σ12 z−μ2 +σ22μ1

σ12+σ22 )2} Hàm mật độ lề

σ12+σ22 2πσ1σ2 exp{− σ12+σ22

2σ12σ22 (w −σ12 z−μ2 +σ22μ1

σ12+σ22 )2}

∞

nhiên có phân phối chuẩn, trung bình σ12 z−μ2 +σ22μ1

σ12+σ22 , phương sai σ12σ22

σ12+σ22 Suy ra

7 Hiệp phương sai (Covariance)

7.1 Định nghĩa:

Cho hai biến ngẫu nhiên X và Y

Hiệp phương sai giữa X và Y là Cov(X,Y) = E[(X − EX)(Y − EY)] = E[XY] − EXEY

7.2 Tính chất:

a) Cov(X, X) = Var(X)

b) Cov(X,Y) = Cov(Y,X)

c) Cov(cX,Y) = cCov(X,Y) , với c là hằng số

d) Cov(X + c,Y) = Cov(X,Y) , với c là hằng số (Chú ý: Cov(c,Y) = 0)

e) Cov( aiXi, bjYj) = i jaibjCov(Xi, Yj) , với ai (i=1,2,…n), bj (j=1,2,…m) là các hằng số

f) Nếu hai biến ngẫu nhiên X và Y độc lập thì Cov(X,Y) = 0

7.3 Phương sai của tổng hai biến ngẫu nhiên:

Var(aX + bY) = a2Var(X) + b2Var(Y) + 2abCov(X,Y) , với mọi a,b ∈ R

8 Hệ số tương quan (Correlation Coefficient)

8.1.Định nghĩa:

Cho hai biến ngẫu nhiên X và Y

Hệ số tương quan giữa X và Y là ρXY = ρ(X,Y) = Cov(X−EX

a) Nếu ρXY = 0, ta nói X và Y không tương quan (uncorrelated)

b) Nếu ρXY > 0, ta nói X và Y tương quan thuận (positively correlated)

c) Nếu ρXY < 0, ta nói X và Y tương quan nghịch (negatively correlated)

8.4.Tính chất:

a) Nếu X và Y không tương quan, thì Var(X + Y) = Var(X) + Var(Y)

b) Nếu X1, X2, , Xn không tương quan từng đôi, ρ(Xi, Xj) = 0 khi i ≠ j, thì

Var(X1+ X2 + + Xn) = Var(X1) + Var(X2) + + Var(Xn)

8.5 Không tương quan và độc lập của hai biến ngẫu nhiên:

Nếu hai biến ngẫu nhiên X và Y độc lập thì Cov(X,Y) = 0, do đó ρXY = 0, suy ra X và Y không tương quan Nhưng nếu hai biến ngẫu nhiên X và Y không tương quan, thì X và Y không chắc độc lập

Phản thí dụ:

Theo phản thí dụ trong 4.4, hai biến ngẫu nhiên X và Y không độc lập và E[XY] = EXEY

Suy ra Cov(X,Y) = E[XY] – EXEY = 0, dẫn đến ρXY = 0, do đó X và Y không tương quan

B PHÂN PHỐI CHUẨN HAI BIẾN

Trong phân tích tương quan, hai biến ngẫu nhiên X và Y là hai biến ngẫu nhiên đồng thời Một phân phối biểu diễn sự biến đổi đồng thời của hai biến ngẫu nhiên X và Y được gọi là phân phối hai biến kết hợp (bivariate distribution or jointly distribution)

2 Định nghĩa phân phối chuẩn hai biến (đn 1)

Hai biến ngẫu nhiên X và Y được gọi là có phân phối chuẩn hai biến hoặc có phân phối chuẩn kết hợp (bivariate normal distribution or jointly normal distribution), nếu aX + bY có phân phối chuẩn, với

mọi a,b∈R

Chú ý:

Trong định nghĩa trên, nếu a = b = 0, thì aX + bY = 0 Do đó, ta có thể coi hằng số zero là biến ngẫu nhiên

có phân phối chuẩn, có trung bình 0 và phương sai 0

3 Tính chất

a) Nếu X và Y có phân phối chuẩn hai biến, thì X có phân phối chuẩn và Y có phân phối chuẩn

b) Nếu X và Y có phân phối chuẩn và độc lập, thì X và Y có phân phối chuẩn hai biến

c) Nếu X ∼ N(μX, σX2) và Y ∼ N(μY, σY2) có phân phối chuẩn hai biến, thì

X + Y ∼ N(μX + μY, σX2 + σY2 + 2ρσXσY), với ρ = ρ(X,Y)

4 Định lý

Cho Z1 ~ N(0,1) và Z2 ~ N(0,1) là hai biến ngẫu nhiên độc lập

Gọi X = Z1 và Y = ρZ1 + 1 − ρ2 Z2 , với ρ ∈ (−1,1) Khi đó:

a) X và Y có phân phối chuẩn hai biến và ρ(X,Y) = ρ

b) Hàm mật độ xác suất kết hợp của X và Y là fXY(x,y) = 1

2π

1 1−ρ 2 exp{− 1

Var(X) = Var(Z1) = 1, Var(Y) = ρ2Var(Z1) + (1−ρ2)Var(Z2) = 1

ρ(X,Y) = Cov (X,Y)

σXσY = Cov(X,Y) = Cov(Z1, ρZ1+ 1 − ρ2 Z2)

= ρCov(Z1, Z1) + 1 − ρ2 Cov(Z1, Z2) = ρ.1+ 1 − ρ2.0 = ρ

2(x2 + 1

1−ρ2(ρx + y)2} = 1

2π

1 1−ρ 2 exp{− 1

2(1−ρ 2 )(x2 − 2ρxy + y2

)}

5 Định nghĩa phân phối chuẩn hai biến chính tắc

Hai biến ngẫu nhiên X và Y được gọi là có phân phối chuẩn hai biến chính tắc với hệ số tương quan ρ (the standard bivariate normal distribution with correlation coefficient ρ) nếu hàm mật độ xác suất kết hợp là

2π e− 12 y2 , khi đó X và Y được gọi là có phân phối chuẩn hai biến chính tắc

Do đó Z2 ~ N(0,1)

8 Định nghĩa phân phối chuẩn hai biến (đn 2)

Hai biến ngẫu nhiên X và Y được gọi là có phân phối chuẩn hai biến, với tham số μX, σX2 , μY, σY2 , ρ , nếu hàm mật độ xác suất kết hợp là

fXY(x,y) = 2πσ1

X σY

1 1−ρ 2 exp{− 2(1−ρ1 2) [(x−μX

fZ1Z2(z1, z2) = 2πσ1

X σY

1 1−ρ 2 exp{− 2(1−ρ1 2) [(x−μX

σX + μY = σYρx−μX

σX + μY Var(Y|X = x) = σY2(1 −ρ2

)Var(Z2) = σY2(1 −ρ2

) Vậy Y|X = x ∼ N(σYρx−μX

σX + μY, σY2(1 −ρ2

))

12 Một số kết quả nghiên cứu về 𝐟𝐗𝐘(x,y) của phân phối chuẩn hai biến

Đồ thị z = fXY(x,y) được nhìn từ trên xuống (Hình 2)

Đồ thị hàm mật độ xác suất điều kiện của Y|X = x:

Đồ thị hàm mật độ xác suất điều kiện của Y|X = 30, nhìn trực diện (Hình 4)

Đồ thị hàm mật độ xác suất điều kiện của Y|X = 30, tại điểm X =30, nhìn trực diện (Hình 5)

Đồ thị z = fXY(x,y) được nhìn từ trên xuống (Hình 7)

Nhận xét:

Với cùng giá trị μX= 30,56, σX = 2,322, μY = 3,08, σY = 0,363, độ lệch về phía trái trục X của đồ thị

z = fXY(x,y) (ứng với ρ = 0,854) (hình 2) nhiều hơn độ lệch về phía trái trục X của đồ thị z = fXY(x,y) (ứng

với ρ = 0,4) (hình 7)

Ta có max fXY = 8,2661 khi x = μX = 30,56, y = μY = 3,08

Đồ thị z = fXY(x,y) (với μX=30,56, σX = 6,966, μY=3,08, σY=0,363, ρ = 0,854) được trình bày khi 23 < x <

39; 1,9 < y < 4,7 như sau:

(Hình 8)

Đồ thị z = fXY(x,y) được nhìn từ trên xuống (Hình 9)

Đồ thị z = fXY(x,y) (với μX=30,56, σX=6,966, μY=3,08, σY=0,363, ρ = 0,854) được trình bày khi 8 < x <

53; 1,9 < y < 4,7 như sau:

(Hình 10)

Nhận xét:

Với cùng giá trị μX=30,56, μY=3,08, σY=0,363, ρ = 0,854, max fXY(x,y) (ứng với 𝛔𝐗 = 6,966) (hình 8)

bằng 1/3 của max fXY(x,y) (ứng với 𝛔𝐗 = 2,322) (hình 1); đồ thị z = fXY(x,y) (ứng với 𝛔𝐗 = 6,966) (hình

10) trãi dài theo trục X nhiều hơn (gần như 3 lần) so với đồ thị z = fXY(x,y) (ứng với 𝛔𝐗 = 2,322) (hình 1).

12.4 Bài toán 4:

Giả sử chiều cao bụng X (cm) và trọng lượng thai nhi Y (kg) của sản phụ sắp chuyển dạ, có phân phối

Đồ thị z = fXY(x,y) (với μX= 30,56, σX= 2,322, μY= 3,08, σY = 0,363, ρ = 0) được trình bày khi 23 < x <

39; 1,9 < y < 4,7 như sau:

(Hình 11)

Không có độ lệch theo trục X của đồ thị z = fXY(x,y) (Hình 12)

Không có độ lệch theo trục Y của đồ thị z = fXY(x,y) (Hình 13)

Đồ thị hàm mật độ xác suất điều kiện của Y|X = x khi ρ = 0:

Khi ρ = 0 thì X và Y độc lập, biến ngẫu nhiên Y|X = x ~ N(μY|X=x = μY ; σY|X=x2 = σY2).

Đồ thị hàm mật độ xác suất điều kiện của Y|X = x khi ρ = 0 (Hình 14)

C HÀM SINH MOMENT (Moment Generating Function, MGF)

Mục tiêu của phần này là dùng MGF để chứng tỏ hai định nghĩa của hai biến ngẫu nhiên có phân phối chuẩn hai biến là tương đương (định nghĩa 1 và định nghĩa 2)

1 Hàm sinh moment của biến ngẫu nhiên

1.1 Định nghĩa moment của biến ngẫu nhiên:

Moment thứ n của biến ngẫu nhiên X được định nghĩa là E[Xn]

Moment trung tâm thứ n (the nth central moment) của biến ngẫu nhiên X được định nghĩa là E[(X−EX)n] Moment thứ 1 của biến ngẫu nhiên X là kỳ vọng E[X], moment trung tâm thứ 1 là phương sai Var(X)

1.2 Định nghĩa hàm sinh moment:

Hàm sinh moment của biến ngẫu nhiên X là MX(s) = E[esX]

Ta nói hàm sinh moment của X tồn tại khi có một hằng số dương a sao cho MX(s) hữu hạn với mọi

Chú ý: Nếu hàm sinh moment của X tồn tại, thì nó xác định duy nhất phân phối xác suất của X

1.5 Định lý:

Nếu X1, X2 , ⋯, Xn là n biến ngẫu nhiên độc lập, thì với Y = X1 + X2 + ⋯ + Xn , ta có

MY(s) = MX1(s)MX2(s)…MXn(s)

1.6 Moment và hàm sinh moment của một vài phân phối:

a) Cho X ∼ Uniform(a,b) Khi đó, MX(s) = e

s −1

s và E[Xk] = 1

k+1 b) Cho X∼Exponential(λ) Khi đó, MX(s) = λ

λ−s (s < λ) và E[Xk] = k!

λk c) Cho X∼Poisson(λ) Khi đó, MX(s) = eλ(es−1) với mọi s∈R

d) Cho X∼ Binomial(n,p) Khi đó, MX(s) = (pes +1−p)n

1.7 Một số kết quả nghiên cứu

Định lý:

1) Cho X ∼ N(0,1) Khi đó, MX(s) = es22 với mọi s ∈ R

2) Cho X ∼ N(μ, σ2

) Khi đó, MX(s) = esμ + σ2s22 với mọi s ∈ R

3) Cho Y=X1 + X2 +…+ Xn , trong đó các Xi độc lập và Xi ∼ N(μi,σi2), với i=1,2, ,n

Khi đó, Y ~ N( ni=1μi , σni=1 i2)

4) Cho Y = X1 + X2 +…+ Xn , trong đó các Xi độc lập và Xi ∼ Binomial(mi ,p), với i=1,2, ,n Khi đó, Y ~ Binomial( ni=1mi , p)

5) Cho Y = X1 + X2 +…+ Xn , trong đó các Xi độc lập và Xi ∼ Poisson(λi), i=1,2, ,n

Khi đó, Y∼Poisson( λni=1 i)

3) Nếu X1, X2 , ⋯, Xn là n biến ngẫu nhiên độc lập, thì với Y= X1 + X2 + ⋯ + Xn , ta có

MY(s) = MX1(s)MX2(s)…MXn(s) = esμi + s2σi2

2

n i=1 = e (sμi + s2σi2

2

n i=1 ) = es ni=1μi +s22 ni=1σi2 với mọi s ∈ R Suy ra Y ~ N( ni=1μi , σni=1 i2)

4) Nếu X1, X2 , ⋯, Xn là n biến ngẫu nhiên độc lập, thì với Y= X1 + X2 + ⋯ + Xn , ta có

2.Hàm sinh moment của hai biến ngẫu nhiên X và Y có phân phối kết hợp (The MGF of the joint distribution)

2.1 Định nghĩa:

Cho hai biến ngẫu nhiên X và Y có phân phối kết hợp

Hàm sinh moment của hai biến ngẫu nhiên X và Y có phân phối kết hợp (the MGF of the joint

distribution), được định nghĩa là MXY(s,t) = E[esX+tY]

Chú ý:

Hàm sinh moment của hai biến ngẫu nhiên X và Y có phân phối kết hợp xác định duy nhất phân phối kết hợp của X và Y

2.2 Một số kết quả nghiên cứu:

2.2.1 Xác định MGF của hai biến ngẫu nhiên phân phối chuẩn hai biến (theo đn 1):

Khi đó, MXY(s,t) = E[esX + tY ] = esμX +tμY +12 s2σX2 + t2σY2 + 2stρσXσY

,

2.2.2 Xác định MGF của hai biến ngẫu nhiên có phân phối chuẩn hai biến (theo đn 2):

X và Y được gọi là có phân phối chuẩn hai biến khi hàm mật độ xác suất kết hợp là

fXY(x,y) = 2πσ1

X σY

1 1−ρ 2 exp{− 2(1−ρ1 2) [(x−μX

Khi đó, MXY(s,t) = E[esX + tY ] = esμX +tμY +12 s2σX2 + t2σY2 + 2stρσXσY

esσXu −

1 2(1−ρ2) (u2 – 2ρuv )

+∞

−∞

+∞

Xét tích phân

2π 1−ρ 2 esσXu −

1 2(1−ρ2) (u2 – 2ρuv )

là hàm mật độ xác suất của biến ngẫu nhiên có phân phối chuẩn, trung

bình sσX 1 − ρ2 + ρv, phương sai 1 − ρ2 , nên 1