Chuong 2 PHƯƠNG PHÁP định lượng cô hương DHBK

OLS- Hồi qui đơnCác giả thiết • Trong phân tích hồi qui mục đích của chúng ta là ước lượng dự báo về tổng thể • Trong phân tích hồi qui, mục đích của chúng ta là ước lượng, dự báo về tổn

1 Phương pháp bình phương nhỏ nhất g p p p g

• Xét hàm hồi qui tổng thể (PRF)

y = β 1 + β 2 x 2 + β 3 x 3 + β k x k + u

) 0 x

x x Y ( E

β

j j

k 3,

2, 1

x Y

) 0 x

x x Y ( E

∂

∂ β

X ( ˆ ˆ

X ˆ

X ˆ X

ˆ ˆ

yˆ = 1 + 2 2 + 3 3 + + k k

β β

β β

X X ( 2, 3, k,

j

β

1 Phương pháp bình phương nhỏ nhất

• Đây là phương pháp được đưa ra bởi nhà toán học Đức Carl Friedrich

• Đây là phương pháp được đưa ra bởi nhà toán học Đức Carl Friedrich Gauss, đây là một phương pháp mạnh và được rất nhiều người sử

dụng, ký hiệu OLS (ordinary least squares)

• Tư tưởng của phương pháp này là cực tiểu tổng bình phương các phầndư

• Chúng ta đặt:

y i ký hiệu giá trị thực của biến y tại quan sát i

ký hiệu giá trị của hàm hồi qui mẫu

2 OLS- Hồi qui đơn

* Hàm hồi qui mẫu

x y

y y

x ˆ ˆ

y ( 2 ˆ

L

β

β β

∂

∂

ˆ ˆ

L

∂

2

1 ,ββ

( x 2

ˆ ˆ

n y

0 ) x ˆ ˆ

y ( i − 1 − 2 i = ⇔ ∑ i − 1 − 2∑ i =

i i

i

y n

yi =

∑ ∑ x i = n x

2 OLS- Hồi qui đơn

• Do vậy ta có thể viết hay (3)

• Từ (2), (4)

0 ˆ

x ( βˆ1 βˆ2 ) 0

0ˆ

ˆ

2

−n n x y

x x

y y

x

ˆ ˆ

0 ) ˆ

ˆ (

2

2

2 ββ

=

− +

−

=

− +

−

i i

i

x x

n x

y n y

x

x x

x x

y y

x

0 ˆ

ˆ

0 ˆ

ˆ

2 2

2 2

2 2

2

ββ

ββ

∑ x i y i n y x β2n x β2∑ x i 0

2 OLS- Hồi qui đơn

• Tương đương với ,

∑

− xi n y x xi yix

ˆ

&

)

xx

(

)yy

)(

xx

(x

nx

yxny

xˆ

2 1

2 i

i

i 2

2 i

2 OLS- Hồi qui đơn

Các giả thiết

• Trong phân tích hồi qui mục đích của chúng ta là ước lượng dự báo về tổng thể

• Trong phân tích hồi qui, mục đích của chúng ta là ước lượng, dự báo về tổng thể Chúng ta không thể biết được chất lượng của các ước lượng này như thế nào, chất

lượng phụ thuộc vào: dạng hàm của mô hình; phụ thuộc vào x i và u i, phụ thuộc vào kích thước mẫu

vào kích thước mẫu.

• Chúng ta đưa vào các giả thiết về x i và u i, nhằm để các ước lượng tìm được bằng phương pháp bình phương nhỏ nhất là các ước lượng tuyến tính, không chệch, có phương sai nhỏ nhất

phương sai nhỏ nhất.

• Giả thiết

1 E(u i) = 0 Kỳ vọng của các yếu tố ngẫu nhiên u i bằng 0

2 Var (u i) = σ2Phương sai bằng nhau và thuần nhất với mọi ui

3 Cov (u i ,u j)=0 Không có sự tương quan giữa các u i

4 Cov (u i ,x i)=0 U và X không tương quan với nhau

2 OLS- Hồi qui đơn

2 OLS- Hồi qui đơn

Phương sai không bằng nhau

f(y|x)

. E( | ) β + β

.

2 OLS- Hồi qui đơn

• Với các giả thiết 1 đến 4., thì các ước lượng được xác định bằng

phương pháp bình phương nhỏ nhất là các ước lượng tuyến tính, không chệch tốt nhất (có phương sai nhỏ nhất)

2

1, ˆ

ˆ ββ

• “tuyến tính” - là ước lượng tuyến tính

• “không chệch”- Giá trị kỳ vọng của đúng bằng giá trị của β1 và β2

• “Tốt nhất” - điều đó có nghĩa là ước lượng có phương sai nhỏ nhất trong

&

)yy

)(

xx

(y

xny

xˆ

2 1

2

i

i 2

xx

(x

làm thước đo cho chất lượng của ước lượng

làm thước đo cho chất lượng của ước lượng

• Với các giả thiết đã cho, phương sai và độ lệch chuNn được tính như sau:

3 Các phân tích

a- Độ chính xác của SRF

)

ˆ ( )

ˆ (

2

) (

) (

se

; ) (

) (

2 2

2

2 2

)

ˆ ( se

; )

( )

ˆ (

2

2 1

2 2

2 1

i

i i

i

x x

n

x x

x n

x Var

2 = Var u i

σ

se: sai số tiêu chuNn

• Trong các công thức trên, chưa biết, được

ước lượng bằng ước lượng không chệch của nó là:

2

2

2 2

−+

−

=

−

2 2

2

2 2

ˆ

ˆˆ

y y

e

y y

y y

y y

i i

i i

i i

sum residual

RSS :

-e

squares of

sum explained

ESS :

-y yˆ

2 i

2 i

• Do vậy ta có thể viết: TSS = ESS + RSS

• ESS: là tổng bình phương của tất cả các sai lệch giữa các giá trị của

biến phụ thuộc Y nhận được từ hàm hồi qui mẫu và giá trị trung bình của chúng Phần này đo độ chính xác của hàm hồi qui

• RSS: là tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Y và các giá trị nhận được từ hàm hồi qui

• TSS được chia thành hai phần: một phần do ESS và một phần do RSS gây ra

Ta có thể mô tả trên đồ thị như sau:

Ta có thể mô tả trên đồ thị như sau:

3 Các phân tích

b- Độ phù hợp của SRF

TSS

3 Các phân tích

b- Độ phù hợp của SRF

ESS

3 Các phân tích

b- Độ phù hợp của SRF

RSS

3 Các phân tích

b- Độ phù hợp của SRF

Từ TSS = ESS + RSS, ta chia cả hai vế cho TSS, ta có:

) y y

(

e )

y y

(

) y y

( TSS

RSS TSS

ESS 1

2 i

2 i 2

i

2 i

TSS

ESS R

) y y

( )

y y

(

2

i i

với giá trị trung bình được giải thích bằng mô hình

• R2 dùng để đo sự phù hợp của hàm hồi qui; 0 ≤ R2 ≤1

3 Các phân tích

c- Phân phối xác suất ui

Mục đích của phân tích hồi qui không phải chỉ suy đoán về β1 và β2 hay

Mục đích của phân tích hồi qui không phải chỉ suy đoán về β1 và β2 hay PRF mà còn phải kiểm tra bản chất sự phụ thuộc Do vậy cần phải biết

phân bố xác suất của β1 và β2 Các phân bố này phụ thuộc vào phân bố của các ui

• N ếu giả thiết đã cho ở phần trước (OLS), Ui có phân bố N (0, σ2), được thoả mãn, thì suy ra:

) ˆ Var ,

( N

ˆ

j j

β

ˆ )

ˆ ( Se

) ( E

ˆ T

*

) Va

, ( N

j

j j

j

j j

j j

ββ

ββ

β

Khi đó:

) 2 n

(

~ 2)

(n

-*

) ( )

(

2 2

2

j j

−

χσ

σ

ββ

)

3 Các phân tích

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Một vài khái niệm về kiểm định giả thiết:

• Giả thiết thống kê là giả thiết về dạng phân phối xác suất của biến ngẫunhiên, về các tham số đặc trưng của biến ngẫu nhiên hoặc về tính độc lập

ủ biế ẫ hiê

của biến ngẫu nhiên

• Giả thiết thống kê đưa ra được ký hiệu là H0 và được gọi là giả thiết gốchay giả thiết không Khi đưa ra một giả thiết thống kê người ta còn nghiên

cứu kèm theo nó mệnh đề mâu thuẫn với nó, gọi là giả thiết đối và được kýhiệu là H1 để khi giả thiết H0 bị bác bỏ thì chấp nhận giả thiết H1 H0 và H1tạo nên cặp giả thiết thống kê

• Giả thiết không và giả thiết đối có thể là giả thiết đơn hay giả thiết kép Một giả thiết được gọi là đơn nếu nó đưa ra 1 giá trị cụ thể cho tham số (vídụ: H0 : β = 0.5) Một giả thiết được gọi là kép nếu nó đưa ra một khoảngdụ: H0 : β 0.5) Một giả thiết được gọi là kép nếu nó đưa ra một khoảng

β

3 Các phân tích

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Một vài khái niệm về kiểm định giả thiết:

3 Các phân tích

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Một vài khái niệm về kiểm định giả thiết:

Việc kiểm định được thực hiện như sau:

• B1: Lập 1 mẫu ngẫu nhiên (X1, X2, X3, …, Xn) cho bnn X.

• B2: Tìm một hàm G f((X1 X2 X3 Xn β ) sao cho l ật phân bố của hàm G đã

• B2: Tìm một hàm G = f((X1, X2, X3, …, Xn, β ), sao cho luật phân bố của hàm G đã biết ( β là tham số liên quan đến giả thiết cần kiểm định) N hư vậy nếu giả thiết H0đúng thì hàm G sẽ có luật phân bố nói trên.

• B3: Tìm một miền Wα sao cho xác suất để giá trị của hàm G rơi vào miền này đúng

• B3: Tìm một miền Wα sao cho xác suất để giá trị của hàm G rơi vào miền này đúng bằng α với 0<α<1 và đủ bé để sao cho trong một phép thử rất khó có thể thu được giá trị hàm G rơi vào miền Wα.

• B4: Lẫy một mẫu cụ thể (X1, X2, X3, …, Xn) tính giá trị của hàm G cho mẫu này: g B4: Lẫy một mẫu cụ thể (X1, X2, X3, …, Xn) tính giá trị của hàm G cho mẫu này: g00 =

G0 (X1, X2, X3, …, Xn)

• Khi đó có các trường hợp:

– TH1: g TH1: g00 thuộc Wα => bác bỏ giả thiết H thuộc Wα bác bỏ giả thiết H00 ở mức ý nghĩa ở mức ý nghĩa α α

3 Các phân tích

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Ước lượng khoảng tin cậy đối với β j

Có y i = β1 + β 2 x 2i + u i ⎯ OLS⎯ →⎯ βˆ1; βˆ2

• Ước lượng khoảng tin cậy (1-α)

Thông thường người ta sử dụng α = 0.05, 0.01, 0.1g g g ụ g , ,

• Tìm 1 khoảng (G1, G2) sao cho xác suất P(G1≤ βj ≤ G2) = 1-α

Khi đó hiệu G2 - G1(độ dài) ≡ Độ chính xác của ước lượng

Ví dụ: G1= 4, G2=10

-+ -+ 4 101-α =0.95

3 Các phân tích

™ Ước lượng khoảng tin cậy đối với β

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Ước lượng khoảng tin cậy đối với β j

2) - T(n

~

)

ˆ ( Se

ˆ

j

j j

Se β j

+ Ước lượng 2 phía, ta tìm được tα/2 (n-2) thoả mãn

αβ

ˆ )

2 n

( t

/

Khoảng tin cậy 1-α của βj là:

β ) ( j

3 Các phân tích

™ Ước lượng khoảng tin cậy đối với β

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Ước lượng khoảng tin cậy đối với β j

+ Ước lượng 2 phía

3 Các phân tích

™ Ước lượng khoảng tin cậy đối với βj

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Ước lượng khoảng tin cậy đối với βj

+ Ước lượng phía phải: β j ≤ βˆj − tα ( n − 2 ) Se ( βˆj)

3 Các phân tích

™ Ước lượng khoảng tin cậy đối với βj

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Ước lượng khoảng tin cậy đối với βj

+ Ước lượng phía trái: β j ≥ βˆj + tα ( n − 2 ) Se ( βˆj)

3 Các phân tích

™ Kiểm định giả thiết đối với β

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Kiểm định giả thiết đối với βj

Có thể đưa ra giả thiết nào đó đối với βj, chẳng hạn βj = βj* N ếu giả thiết này đúng thì:

2) T(

ˆ

T β j − β j

Ta có bảng sau đây:

2) - T(n

~ ) ˆ ( Se

T

j

j j

3 Các phân tích

™ Kiểm định giả thiết đối với β

d- Ước lượng Khoảng tin cậy và Kiểm định đối với βj

™ Kiểm định giả thiết đối với βj

α thường nhỏ hơn 0.1; tα (n-2) được xác định bởi P(t> tα (n-2))= α

α /2 = 025

-Tα = -1.96

3 Các phân tích

™ Ước lượng khoảng tin cậy đối với σ2:

e- Ước lượng Khoảng tin cậy và Kiểm định đối với σ 2

™ Ước lượng khoảng tin cậy đối với σ2:

Ta có:

) 2 n

(

~ 2)

σ

H

1 ))

2 n

( 2)

(n )

-2 n

( (

2 2

/ 1

αχ

σσ

(

2) - (n )

2 n

(

2) - (n P

Hay

2 / 1

2

2 2

2 / 2

3 Các phân tích

™ Kiểm định giả thiết đối với σ2:

e- Ước lượng Khoảng tin cậy và Kiểm định đối với σ 2

™ Kiểm định giả thiết đối với σ2:

Loại giả thiết Giả thiết H0 Giả thiết

đối H1

Miền bác bỏđối H1

Hai phía σ2 = σ02 σ2 ≠ σ02

hay ) 2 n ( 2)

(n

-2

2 /

2 2

0

2

−

> χ ασ

σ)

Phía phải σ2 ≤ σ 2 σ2 > σ 2

) 2 n ( 2)

-(n

2 / 1

2 2

0

2

−

< χ −ασ

σ)

2) (n σ)2 2

Phía phải σ ≤ σ0 σ > σ0

Phía trái σ2 ≥ σ02 σ2 < σ02

) 2 n ( 2)

2 0

−

> χ ασ

σ

) 2 (

2) - (n σ)2 2

1 2

2 < χ −α −

4 Dự báo

• Giả sử ta biết rằng biến độc lập x và một giá trị x nào đó mà ta cần đưa

a- Dự báo giá trị trung bình của biến phụ thuộc

• Giả sử ta biết rằng biến độc lập x và một giá trị x0 nào đó mà ta cần đưa

ra các kết luận về giá trị trung bình của biến phụ thuộc y, thì ta có:

E(ylx0)= E(β1 + β2x0+ u0) = β1 + β2x0

Khi đó đường hồi qui mẫu cho ước lượng điểm E(ylx0):

ˆˆ

ˆ β β

ŷ0 là ước lượng không chệch có phương sai nhỏ nhất của E(ylx0), tuy nhiên ŷ0 vẫn khác giá trị thực của nó

0 2 1

ˆ ˆ

)]

ˆ ( x )

ˆ [(

E

) x x

ˆ ˆ

( E )

yˆ

(

Var

2 2

2

2 2 2

0 1

1

2 0 2 1

0 2 1

0

β β

β β

β β

β β

− +

−

=

−

− +

=

] ) ˆ

)(

ˆ [(

E 2

] )

ˆ ( x [ E ]

)

ˆ [(

E )

yˆ

(

Var

] ) (

x )

)(

( x 2 )

[(

E

2 2 2

2 0

2 1 1

0

2 2 2

2 0 1

1 2

2 0

2 1 1

β β

β β

β β

β β

β β

β β

β β

β β

− +

−

=

− +

−

− +

−

=

) ˆ ˆ

( 2

) ˆ ( )

ˆ (

) ˆ

(

V

)

ˆ ,

ˆ cov(

x 2 )

ˆ var(

x )

ˆ var(

] ) )(

[(

E x 2

2

2 1

0 2

2 0 1

1 1

2 2

0

β β

β β

β β

β β

β β

β β

+ +

=

−

− +

)

ˆ ,

ˆ cov(

x 2 )

ˆ var(

x )

ˆ var(

x n

) yˆ

(

Var

) ,

cov(

x 2 )

var(

x )

x y

var(

) y

(

Var

2 1

0 2

2 0 2

2

2 0

2 1

0 2

2 0 2

0

β β

β β

σ

β β

β β

+ +

+

=

+ +

−

=

n

4 Dự báo

a- Dự báo giá trị trung bình của biến phụ thuộc

) ˆ

)(

ˆ ( E )

ˆ ˆ

2

2 2

2

2 2

2 2

1 2

1

1

2 2

1 1

2 1

ˆ

) ˆ

( x )

x y

( x ˆ y

) ˆ ( E x

ˆ y

ˆ

) )(

( E )

, cov(

σ σ

σ σ

β β

β β

β β

β

β

β β

β β

β β

2

2 i

0 2

i

2 0 2

i

2 0

) x x

( 1

) x x

(

x x

2 )

x x

(

x )

x x

(

x n

) yˆ

(

Var

σ

σ σ

σ σ

( n

σ

Do chưa biết σ 2 , nên ta sử dụng ước lượng không chệch của σ , ụ g ợ g g ệ 2 là , khi đó:σ)2,

2)-T(n

~

)

yˆ(Se

)x(

yˆT

0

0 2 1

0 − β + β

=

)y( 0

4 Dự báo

a- Dự báo giá trị trung bình của biến phụ thuộc

Khoảng tin cậy 1 α của E(y|x ):

Khoảng tin cậy 1-α của E(y|x0):

1 )) ˆ ( S ) 2 (

t ˆ

ˆ

x )

yˆ ( Se ) 2 n

( t

x ˆ ˆ

β β

β β

) yˆ ( Se ) 2 n

( t

yˆ ) x y ( E )

yˆ ( Se ) 2 n

( t

yˆ

1 )) y ( Se ) 2 n

( t

x

0 2

/ 0

0 0

2 / 0

0 2

/ 0

2

1

− +

+

≤

α α

β β

4 Dự báo

b D bá iá t ị á biệt b- Dự báo giá trị cá biệt

Giả sử chúng ta muốn dự báo giá trị cá biệt y=y với x=x khi đó ước

Giả sử chúng ta muốn dự báo giá trị cá biệt y=y0 với x=x0, khi đó ước lượng của y0 là:

0 2 1

0 0

0 0

0 0

0

) ˆ var(

) var(

) ˆ var(

0 )

ˆ ( )

( )

ˆ (

)

(

y y

y y

y E y

E y

y E e

=

2 0

2 2

0 0

0 0

) (

) (

1

) (

) (

) (

x x

x

x n

y y

y y

σ σ

=

⎥⎦

2 0

1

) (

x x

x x

x x

n

σ

4 Dự báo

b D bá iá t ị á biệt b- Dự báo giá trị cá biệt

Ta có: e N ( 0 var( e ))

Ta có:

N gười ta chứng minh được:

)) var(

, 0 (

~ ) (

) 2 (

~ ) (

0

0

0 0

0

e Se

y

y n

T e

α

−

=

−+

()

2(

ˆ)

()

2(

ˆ(

)1

()

(

0 2

/ 0

0 0

2 / 0

2 / 0

e Se n

t y

y e

Se n

t y

P

t e

Se

P

5 Ví dụ

Ví dụ 1

Giải

Giải:

5 Ví dụ

Ví dụ 1

5 Ví dụ

Ví dụ 2

5 Ví dụ

Ví dụ 2

5 Ví dụ

Ví dụ 2

5 Ví dụ

Ví dụ 2

5 Ví dụ

Ví dụ 2

5 Ví dụ

Ví dụ 2

5 Ví dụ

Ví dụ 2