LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên • Nếu X và Y độc lập với nhau: • fy/x=f2y, fx/y=f1x è fx,y=f1x.f2y • Tức là sự biến thiên của đại lượng

Trang 1

LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

Phan Văn Tân

Bộ mô Khí tượng

Trang 2

CHƯƠNG 8 LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI

8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên

•  Xét hai đại lượng ngẫu nhiên X, Y

•  Giả sử f(x,y) là phân bố đồng thời của hệ (X,Y)

•  Khi đó có thể biểu diễn: f(x,y)=f(y/x).f1(x)=f(x/y).f2(y)

•  Trong đó f(y/x), f(x/y) là các phân bố có điều kiện còn f1(x), f2(y)

là các phân bố riêng

) ,

( )

, ( ,

) ,

( )

, (

2

y Y

x X

P y

x

F y

x

y x

F y

∞

−

∞ +

x f

y x

f y

x

f dy y x f

y x

f x

y

f

) , (

) ,

( )

/ (

, )

, (

) ,

( )

/ (

Trang 3

•  Nếu X và Y độc lập với nhau:

•  f(y/x)=f2(y), f(x/y)=f1(x) è f(x,y)=f1(x).f2(y)

•  Tức là sự biến thiên của đại lượng này không ảnh hưởng đến sự biến thiên của đại lượng kia và ngược lại

•  Nói chính xác hơn, xác suất để Y nhận giá trị nào đó không bị ảnh hưởng bởi việc cho trước giá trị x của X, và ngược lại

•  Nếu X và Y không độc lập với nhau, khi đó ta nói X và Y phụ thuộc lẫn nhau

•  Có hai khái niệm phụ thuộc giữa X và Y:

–  Phụ thuộc hàm

–  Phụ thuộc tương quan

Trang 4

•  Nếu X và Y phụ thuộc hàm với nhau, khi đó có thể biểu diễn:

Y = f(X) hoặc X = g(Y)

•  Điều đó có nghĩa là nếu X nhận giá trị x nào đó thì tương ứng Y nhận giá trị y=f(x), hoặc khi Y nhận giá trị y nào đó thì X nhận giá trị tương ứng x=g(y)

•  Tuy nhiên, trong thực tế các đại lượng ngẫu nhiên thường phụ

thuộc lẫn nhau phức tạp hơn nhiều

•  Ví dụ:

–  Quan hệ giữa nhiệt độ và độ ẩm tương đối không khí trong

ngày: Qui luật chung là nhiệt độ tăng thì độ ẩm giảm, nhưng đó

là mối quan hệ không đơn trị và không phải là quan hệ hàm

–  Quan hệ giữa chiều cao và cân nặng của cơ thể người

–  …

Trang 5

Minh họa sự phụ thuộc

giữa Y và X: Ứng với một

giá trị x∈X có thể có

nhiều giá trị của Y, và

ngược lại – Không phải là

quan hệ hàm

X

Y

Tập giá trị Y/X=x (hoặc

X/Y=y) sẽ tuân theo luật

phân bố nào đó mà ta gọi

là phân bố có điều kiện:

f(y/x) (hoặc f(x/y)

Sự phụ thuộc giữa Y và X trong trường hợp này được gọi là phụ thuộc ngẫu nhiên Quan hệ giữa Y và X được gọi là quan hệ tương quan

Trang 6

8.2 Hệ số tương quan

•  Một trong những đặc trưng quan trọng để nghiên cứu mối quan hệ tương quan giữa hai biến ngẫu nhiên là hệ số tương quan

•  Theo định nghĩa, hệ số tương quan giữa hai đại lượng ngẫu nhiên

X, Y là số vô thứ nguyên được xác định bởi:

y x y

x

xy

y x

xy

D D

Y

X D

D m

Y M m

X M

m Y

m X

M

Y M Y

M X

M

Y M Y

X M X

M

),

cov(

])[(

]

)[(

)]

)(

[(

]])[[(

]

])[

[(

])]

[])(

[[(

2 2

•  Một số ký hiệu thường gặp ρxy ≡ ρ ≡ ρ(X ,Y ) = ρ(Y , X )

) , cov(

) ,

Trang 7

Một số tính chất của hệ số tương quan

1)  Nếu Z1=aX+b, Z2=cY+d (a,b,c,d là các hằng số, a>0, c>0) thì

ρ(Z1,Z2) = ρ(X,Y)

2)  Trị số của hệ số tương quan nằm trong khoảng [–1,1]: |ρ| ≤ 1

3)  Điều kiện cần và đủ để |ρxy| = 1 là Y và X thực sự có quan hệ hàm

tuyến tính, tức Y=aX+b, hoặc X=cY+d

ρxy = 1 khi và chỉ khi a>0, hoặc c>0, ρxy=–1 khi a<0 (c<0)

4)  Nếu X và Y độc lập với nhau thì ρxy=0 Điều ngược lại không đúng

Trang 8

Ý nghĩa của hệ số tương quan

•  Từ các tính chất của hệ số tương quan suy ra rằng

–  Hệ số tương quan là đại lượng đặc trưng cho mối quan hệ

tuyến tính giữa hai biến ngẫu nhiên X và Y –  Hệ số tương quan bằng 0 thì hai biến không có quan hệ tương

quan tuyến tính nhưng chưa chắc chúng độc lập với nhau (trừ chúng có phân bố chuẩn)

–  Hệ số tương quan dương thì hai biến quan hệ đồng biến với

nhau, hệ số tương quan âm hai biến quan hệ nghịch biến với nhau

Trang 9

8.3 Hệ số tương quan mẫu

•  Hệ số tương quan ρ đã xét trên đây là hệ số tương quan lý thuyết giữa hai biến ngẫu nhiên Nó là một hằng số chưa biết

•  Xét hai biến ngẫu nhiên (X,Y) và mẫu (X1,Y1),…,(Xn,Yn)

•  Hệ số tương quan mẫu giữa hai đại lượng ngẫu nhiên X, Y là đại lượng được xác định bởi:

y x

xy y

x

xy n

i

i n

i

n i

i i

xy

s s

R D

D Y

Y n

X

X n

Y Y

X

X n

(

1 )

( 1

) )(

( 1

1

2 1

2

•  Khác với hệ số tương quan lý thuyết ρ, hệ số tương quan mẫu

r là một đại lượng thống kê nên nó là một biến ngẫu nhiên

Trang 10

Trang 11

•  Mật độ phân bố của r có dạng:

•  Phân bố của r chỉ phụ thuộc vào dung lượng mẫu n và hệ số tương

quan tổng thể ρ

•  Khi n = 2 thì f n (r) = 0, phù hợp với sự kiện hệ số tương quan được

tính từ tập mẫu chỉ có 2 quan trắc phải bằng ±1

•  Kỳ vọng của hệ số tương quan mẫu r: M[r]=ρ

•  Phương sai của hệ số tương quan mẫu r:

4 2

2

1 2

3

!

)2

())2

1(

()

1()

1

()2(

2)

(

i

i n

n n

n

i

r i

n r

n

r

Γ π

4 2

2

1 2

1 )

1 (

) 1

( )

1 (

2 )

(

x

dx rx

x r

n r

n n

ρ

ρ π

hoặc dạng khác

) 4

4 4

2 (

4

]

[

02 11

13 20

11

31 2

11

22 20

20

22 2

02

04 2

20

40 2

µ µ

µ

µ µ

µ

µ µ

µ

ρ

−

− +

+ +

=

n r

D

Trang 12

•  Ước lượng khoảng của hệ số tương quan:

Khi đó biến z có phân bố xấp xỉ chuẩn với trung bình và phương sai:

Sử dụng phép biến đổi của Fisher:

r

r z

1

ρ

ρ ζ

) 1 (

Và khoảng tin cậy của ζ với độ tin cậy 1-α là:

1 (

2

, 3

1 )

1 (

2 )

ˆ , ˆ ( 1 2

n

u n

r z

n

u n

r

ζζ

trong đó uα nhận được từ phân bố chuẩn N(0,1): P(u ≥ uα ) =α

•  Cách xác định:

–  Cho α tính được u α ; từ r tính được z;

–  Từ u α , r, z tính được (ζˆ1,ζˆ2) ⇒(ρˆ1,ρˆ2) ⇒(ρˆ1 < ρ < ρˆ2)

Trang 13

•  Kiểm nghiệm độ rõ rệt của hệ số tương quan:

–  Trong thực tế, do độ lớn của mẫu (dung lượng mẫu) bị hạn chế

nên có thể xảy ra tình huống mặc dù ρ=0 nhưng r≠0, và ngược lại –  Nói cách khác, trong tính toán thực hành nếu nhận được r = 0 thì

điều đó không có nghĩa là ρ bằng 0

–  Ngược lại, nếu r≠0 thì cũng không hẳn là ρ khác 0

–  Khi dung lượng mẫu nhỏ thì mặc dù ρ=0 nhưng giá trị của r lại

có thể có ý nghĩa (lớn đáng kể)

–  Để xác minh xem ρ=0 hay ρ≠0 cần phải kiệm nghiệm độ rõ rệt của r (là ước lượng của ρ)

Trang 14

–  Để kiểm nghiệm, ta đặt giả thiết H0: ρ = 0

–  Thay ρ ≈ r, với giới hạn tin cậy ban đầu d thì khi H0 đúng, xác

suất phạm sai lầm loại 1 là P(r ≥ )d =α

2 /

1− 2 −

=

n r

r t

2 /

=

n r

•  Nếu |t| ≥ tα thì bác bỏ H0 và đưa ra kết luật r lớn rõ rệt

•  Nếu |t| < tα thì chấp nhận H0 và kết luận r không lớn rõ rệt

Trang 15

–  Ví dụ: Từ tập mẫu {(xt, yt), t=1 11} ta tính được hệ số tương

quan r xy=0.76 Hãy cho biết với giá trị nhận được như vậy thì hệ

số tương quan có lớn rõ rệt không nếu chọn xác suất phạm sai

1 r2 n

r

2 11 /

76 0 1

76

Trang 16

8.4 Khái niệm về hồi qui

• Xét hai biến ngẫu nhiên (X,Y)

• Quan hệ giữa X và Y có thể là:

–  Quan hệ hàm

–  Quan hệ tương quan

•  Khi X và Y có quan hệ tương quan:

–  Mỗi giá trị x ∈ X tương ứng với một hàm phân bố (hoặc hàm mật độ) có điều kiện F(y/x) (hoặc f(y/x)) của Y, và ngược lại

–  Nghiên cứu mối phụ thuộc tương quan cần xác định được các phân bố có điều kiện

)(

),

()

/

(

1 x f

y x

f x

y

)(

),

()

/

(

2 y f

y x

f y

x

f =

 Rất khó, phức

tạp, và hầu như không thể thực hiện được

Trang 17

• Một cách làm khác: Chỉ giới hạn xét mối quan hệ phụ thuộc giữa

X với một số đặc trưng có điều kiện của Y, như kỳ vọng, trung vị, mốt,

• Phổ biến hơn cả là xét mối quan hệ giữa X và kỳ vọng có điều kiện của Y : m y (x) = M[Y/X=x]

•  Người ta gọi đây là sự phụ thuộc hồi qui: Hồi qui của Y lên X

Y=m y (X) hay y = m y (x)

•  Hồi qui này được gọi là hồi qui I: y = m y (x) có thể là hàm tuyến

tính hoặc phi tuyến

•  Nói chung, y = m y (x) là một hàm bất kỳ, phức tạp, và hầu như

không biết được dạng giải tích

m y( ) [ / ] ( / )

Trang 18

y=m y (x)

(x t ,y t )

Trang 19

8.5 Hồi qui bình phương trung bình tuyến tính một biến

• Trong thực tế, để nghiên cứu mối quan hệ tương quan giữa Y và X,

người ta thường xấp xỉ m y (x) bởi một lớp hàm f(x) nào đó đã biết

trước dạng giải tích (Chú ý: f(x) là một hàm nào đó, không phải là

hàm mật độ của X)

• Trong trường hợp này hàm hồi qui được gọi là hồi qui II

• Nguyên tắc xác định hàm f(x) là cực tiểu hóa hệ thức:

• Điều đó có nghĩa là tìm trong các hàm φ(X) thuộc lớp hàm Φ một

hàm f(X) nào đó thỏa mãn

) (

~ )

( )

( x f x y y f x

) (

~

X f

Y Y

] )) (

[(Y f X 2

] )) (

[(

] )) (

min

•  Hàm hồi qui II được xác định bằng phương pháp này gọi là hồi qui bình phương trung bình

Trang 20

y=m y (x)

(x t ,y t )

=f(x) y~

Trang 21

y=m y (x)

(x t ,y t )

=f(x)=α+βx ~y

Trang 22

•  Trường hợp đơn giản nhất của hồi qui bình phương trung bình là hồi

Y = f(X) = α + βX

Hay y = f(x) = α + βx

α, β là các hằng số (Để đơn giản ta bỏ

ký hiệu dấu “ngã” phía trên Y và y)

•  Các hằng số α, β được gọi là các hệ số hồi qui

•  Từ phương pháp bình phương tối thiểu ta có:

] ]) [ ]

[ ]

[ [(

] ) [(

] )) (

[(

2

2 2

2

X M X

M X

Y M Y

M Y

M

X Y

M X

f Y M R

β β

β α

− +

−

− +

] [ ( ]) [

( ])

] [ ])(

[ (

2

]) [

] [ ])(

[ (

2 ]) [

])(

[ (

2

]) [

] [ ( ])

[ (

]) [

X M Y

M X

X M Y

M Y

X M X

Y M Y

X M Y

M X

Y M Y

M

βα

β

βα

β

βα

− +

−

=

Trang 23

[

]

]) [

] [ ])(

[ (

2

]) [

] [ ])(

[ (

2 ]) [

])(

[ (

2

]) [

] [ ( ])

[ (

]) [

2

X M Y

M X

X M Y

M Y

X M X

Y M Y

X M Y

M X

Y M Y

M

R

βα

β

βα

β

βα

− +

[ ]

[ ] [

] [ ]

[ ]

[ ] [

] [ ]

[ ] [ ]

[ ]

[ [ 2

) , cov(

2 ])

[ ]

[ ( ] [ ]

[

2

2 2

2

X M X M X

M Y

M X M

X M X X

Y M X Y

M X M

Y M Y

M Y M X

M Y Y

Y M Y M

Y X X

M Y

M X

D Y

D

R

ββα

β

ββα

ββ

αβ

α

ββ

αβ

−

− +

+ +

+

− +

+ +

−

− +

+

−

− +

+

=

2 2 2

2

2 2

2

( 2

) , cov(

2 )

(

x x

y x x

x y

x

y x y

y y

x y

y

x y

m m

m m m

m m

m

m m m

m m

m

Y X m

m D

D

R

βαβ

ββ

αββ

βα

ββ

αβ

−

− +

+ +

−

− +

+

−

− +

+

−

− +

+

=

xy x

y x

D

R2 = + β2 + ( −α − β )2 − 2βµ

Trang 24

xy x

y x

D

R2 = + β 2 + ( −α − β )2 − 2βµ

02

2)

(2

0)

(2

2

=

−+

x x

y

x y

D m

m m

R

m m

R

µβ

β

αβ

β

αα

0)

)(

(

02

2)

(

2

=

−+

−

xy x

x x

x y

y

xy x

x x

y

D m

m m

D m

m m

µ β

β β

µ β

β α

x

xy xy

x

D

D β − µ = 0 ⇒ β = µ

x y

) ,

cov(

X M Y

M X

Y

X

β α

X D D

m m

X f

m m

Trang 25

x y

m m

y

X D

D

m m

X f

y x

xy

x

xy x

y

µ µ

y

y x

σ ρ

σ

σ σ

σ

µ σ

σ σ

µ σ

–  Hệ số tương quan âm: Đường thẳng hồi qui có hướng “đi

xuống” từ trái sang phải

Đây là phương trình đường thẳng

hồi qui với hệ số góc β

Trang 26

x

y

x

y

Trang 27

xy x

y x

D

X Y

M X

f Y

M

R

βµ β

α β

β

α2)

(

]))(

[(

]))(

[(

2 2

2

−

−+

(1

2

2)

(

2 2

2

2 2

2

2 2

2

2 2

4

2 2

2

ρ

σσ

σ

µσ

σ

µσ

σ

µσ

µβ

β

σσ

µσ

=

−

−+

+

=

y y

x

xy y

x

xy y

x

xy

x

xy y

xy x

x y

y x

x

xy

R

•  Vì |ρ|≤1 nên sai số R2 càng nhỏ khi |ρ| càng gần 1

•  Nói cách khác, nếu Y và X quan hệ tuyến tính với nhau càng chặt

chẽ thì sai số của phép xấp xỉ m y (x) ≈ f(x) càng chính xác

•  Khi hệ số tương quan |ρ|=1, ứng với trường hợp Y và X có quan hệ hàm tuyến tính, thì R2=0

Trang 28

8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội)

•  Xét mối quan hệ tương quan giữa biến ngẫu nhiên Y với m biến

ngẫu nhiên (X1, ,Xm)

•  Quan hệ giữa Y và (X1, ,Xm) có thể được mô tả bởi các phân bố

đồng thời f(y, x 1 , ,x m ) hoặc phân bố có điều kiện f(y/x 1 , ,x m )

•  Tuy nhiên, điều đó thường không thực hiện được, và thay cho điều

đó người ta xét quan hệ giữa Y với (X1, ,Xm) thông qua các đặc

trưng có điều kiện

•  Ở đây ta xét kỳ vọng có điều kiện:

•  Đây được gọi là mặt hồi qui I giữa Y và (X1, ,Xm)

•  Tương tự như trường hợp một biến, mặt hồi qui I m y (x 1 , ,x m ) là một

hàm phức tạp và nói chung không thể xác định được

Trang 29

•  Do đó, thay cho hàm hồi qui I người ta xét hồi qui II là một hàm m biến nào đó f(x 1 , ,x m ) được chọn làm xấp xỉ cho kỳ vọng có điều

kiện m y (x 1 , ,x m )=M[Y/X 1 =x 1 , ,X m =x m]

) , ,

( )

, , (

) , ,

y x x f x x Y f X X m

•  Trong trường hợp f(x 1 , ,x m ) thuộc lớp hàm tuyến tính ta có:

•  Trong đó các β j , j=0 m là các hệ số hằng số, được xác định sao cho

j j

x x

j

hay Y f ( X1, , Xm) β0 β X j

min ]

)) , ,

( [(

j

2

M

Trang 30

•  Phương trình hồi qui tìm được trong trường hợp này gọi là hồi qui bình phương trung bình tuyến tính nhiều biến

X X

Y M

X Y

M

k j

k

j

, , 1 ,

0 2

0

20

j 0

2

m

1 j

j 0

β β

β

Trang 31

m k

X X

Y M

X Y

M

k j

k

j

, ,1,

02

j 0

2

m

1 j

j 0

β

ββ

) , ,

1

(

0 ]

[ ]

[ 0

0 ]

[ ]

[ 0

m k

X X M X

M YX

M X

X Y

M

X M Y

M X

Y

M

k j k

k k

j

j j

j 0

m

1 j

j 0

m

1 j

j 0

m

1 j

j 0

ββ

[]

1 j

j

0 M[Y ] β M[X j]β

Trang 32

), ,1(

,0]

[]

j

0 M[Y] β M[X j]

β

), ,

1

(

0]

[]

[][

][

][]

[

m k

X X M X

M X

M Y M YX

=

−+

j m

1 j

β

), ,

1

(

0])

[][

][

(]

[][]

[

m k

X M X

M X

X M X

M Y M YX

j

β

), ,1(

,

k j

jµ β

jk x

x

yk yx

k j

k

µ µ

≡

) , , 1 (

βm

1 j

j

•  Đây là một hệ phương trình đại số tuyến tính m phương trình, m ẩn

số è Có nhiều cách giải: Khử Gauss, Crame, nghịch đảo MT,

Trang 33

j

0 M[Y] β M[X j]

β ) , , 1 (

+ +

= +

+ +

= +

+ +

m m y

ym mm

m m

y m

m m

β

µ β

µ

µ β

µ

µ β

2 1

2 2

22 21

1 1

12 11

m 2

1

m 2

1

m 2

1

j j

ym X

M

m Y

M

≡

≡ ] [

] [

Ký hiệu:

Có thể kết hợp lại thành hệ đầy đủ

Trang 34

mm

m m m

m m

µ

µ µ

β

β β β

µ

µ µ

2 1 0

2 1

22 21

12

2

11 1

m

2 1

Định dạng
Số trang	61
Dung lượng	3,88 MB