MÔ HÌNH hồi QUY TUYẾN TÍNH đa BIẾN (KINH tế LƯỢNG SLIDE)

Mô hình hồi quy tuyến tính đa biếnTrong thực tế, các mối quan hệ kinh tế thường phức tạp, một số biến số kinh tế có thể chịu tác động của nhiều biến số kinh tế khác  mô hình hồi quy ha

CHƯƠNG III MÔ HÌNH HỒI QUY

TUYẾN TÍNH ĐA BIẾN

1

Mô hình hồi quy tuyến tính đa biến

Trong thực tế, các mối quan hệ kinh tế thường phức tạp, một số biến số kinh tế có thể chịu tác động của nhiều biến

số kinh tế khác  mô hình hồi quy hai biến (hồi quy đơn)

tỏ ra không thỏa đáng

VD khi n/c nhu cầu về một loại hàng hóa nào đó thì nhu cầu phụ thuộc đồng thời vào nhiều yếu tố: thu nhập của người tiêu dùng, giá bán của hàng hóa, thị hiếu người tiêu dùng…

Vì vậy cần thiết phải mở rộng mô hình hồi quy hai biến bằng cách đưa thêm nhiều biến vào mô hình  n/c hồi quy nhiều biến (hồi quy bội hay hồi quy đa biến)

Nội Dung

1 Thiết lập mô hình

2 Ước lượng các tham số

3 Khoảng tin cậy và kiểm định các giả thiết thống kê

4 Phân tích phương sai và kiểm định sự phù hợp của mô hình

5 Một số dạng mô hình quan trọng

3

1 Thiết lập mô hình

Mô hình hồi quy k biến trình bày dưới dạng đại số như sau:

PRF [3.01] SRF [3.02]

β0: hệ số tự do, βj (j=1,…,k-1): hệ số hồi quy riêng

 , là các ước lượng điểm của β , u

Y i 0  1X1i  2X2i   k1X k1,i u i

Y i  ˆ0  ˆ1X1i  ˆ2X2i   ˆk1X k1,i uˆi

ˆ

Ta định nghĩa các ma trận tương ứng như sau :

n n

1 0

n n

u

u

u u

n

k k

X X

X

X X

X

X X

X X

* ,1

2 1

2 ,1 22

12

1, 1 21

1 0

ˆ

ˆ

ˆˆ

ˆ

ˆ

ˆˆ

n n

u

u

u u

2 Ước lượng các tham số

2.1 Phương pháp bình phương nhỏ nhất OLS

2.2 Các giả thiết của PP OLS dưới dạng ma trận

2.3 Các tính chất của hệ số ước lượng OLS

2.4 Độ chính xác của các hệ số ước lượng OLS

2.5 Tiêu chuẩn của các hệ số ước lượng OLS

1 1 0

n i

k k

i i

( ''

0 )

(

'

u f

u f

A T

Khi đó,

=

=

=

=

=

(Do )

Vậy,





n i i

u

1

2

ˆ uˆT.uˆ

) ˆ (

) ˆ (Y X T Y X





) ˆ ).(

ˆ (Y T T X T Y X











X Y Y











Y

Y T  T T  T T

Y X X

Y X





 ˆ ( ˆ)  ˆ







(

ˆ

1

n i





Ta cần tìm sao cho f( )  min, tương đương với tìm sao cho :

ˆ ( ''

0 )

ˆ ( '





f f

ˆ (

ˆ ( ' f

f  2X T Y  2X T Xˆ  0 X T X X T Y



 ˆ

k k i k i

i k i

i k i

k

i k i i

i i

i

i k i

i

X X

X X

X X

X X X

X X

X

X X

X n

*

2 ,1 2

,1 1

,1 ,1

,1 1 2

1

2 1 1

,1 2

1 0

ˆ

ˆ ˆ

k

n

X X

X

X X

X

* ,1 2

,1 1,

1 12

1 1

ˆ

ˆ ˆ

n n

Y

Y Y

i i i

X Y

X Y Y

* , 1

Xét điều kiện cần:

Dễ thấy rằng XTX là ma trận đối xứng qua đường chéo chính, do đó, về mặt thực hành ta chỉ cần xác định nửa trên hoặc nửa dưới của ma trận là đủ

Ta giả định là tồn tại ma trận nghịch đảo (XTX)-1 của

ma trận XTX, với điều kiện cần và đủ là ma trận X có hạng bằng k

 =

X X

ˆ (

f

Xét điều kiện đủ:

15

0 )

ˆ (

f

0 2

2 ˆ

)

ˆ (

' )

ˆ (

2.2 Các giả thiết của PP OLS dưới dạng ma trận

, /

(

) , ,

, /

(

) , ,

, /

(

, 1 2

1

2 , 1 22

12 2

1 , 1 21

11 1

n k n

n n

k k

X X

X u

E

X X

X u

E

X X

X u

E

2.2 Các giả thiết của PP OLS dưới dạng ma trận

u u

1

2

2 2 1

2

1 2

1

2 1

n

n n

u u

u u

u

u u u

u u

u u u

u u

)(

)(

)(

)(

)(

)(

)(

2 2

1

2

2 2 1

2

1 2

1

2 1

n n

n

n n

u E u

u E u

u E

u u E u

E u

u E

u u E u

u E u

E

2.2 Các giả thiết của PP OLS dưới dạng ma trận

Giả thiết 2 có được do sử dụng giả thiết 1 kết hợp với các giả thiết sau :

0

0

0 0

1 0

0

0 1

2.2 Các giả thiết của PP OLS dưới dạng ma trận

19

trong mô hình hồi quy

Kí hiệu cho hạng của ma trận là rank(X) = k, có nghĩa là

k cột trong ma trận X là độc lập tuyến tính, mà mỗi cột tương ứng với một biến độc lập nên không có tương quan tuyến tính chính xác giữa các biến độc lập, hay nói cách khác không có hiện tượng đa cộng tuyến (multicollinearity) xảy ra

Giả thiết 5: Véc tơ nhiễu có phân phối chuẩn nhiều

chiều, tức là: u ~ N(0, σ2I)

2.3 Các tính chất của hệ số ước lượng OLS

Với các giả thiết của mô hình, hàm hồi quy mẫu ƯL theo PP OLS có các tính chất tương tự như trong trường hợp hồi quy hai biến, bao gồm các tính chất sau:

2.3 Các tính chất của hệ số ước lượng OLS

21

Các hệ số ước lượng là thành phần của véc tơ và là véc tơ ước lượng điểm của β, tìm bằng PP OLS, có các tính chất sau đây:

thể.

cụ thể của chúng sẽ khác nhau.

quy luật chuẩn

 ˆ

 ˆ

 ˆ

 ˆ

2.4 Độ chính xác của các hệ số ước lượng OLS

Để đo mức độ dao động và tương quan giữa các hệ số ước lượng được, ta sử dụng ma trận hiệp phương sai của hệ số hồi quy dạng tổng quát như sau:

) ˆ , ˆ cov(

ˆ , ˆ cov(

) ˆ var(

) ˆ , ˆ cov(

) ˆ , ˆ cov(

) ˆ , ˆ cov(

) ˆ var(

)

ˆ

cov(

1 1

1 0

1

1 1

1 0

1

1 0

1 0 0

k k

k

k k

2.5 Tiêu chuẩn của các hệ số ước lượng OLS

Với các giả thiết của mô hình hồi quy tuyến tính cổ điển, là ước lượng tuyến tính, không chệch, có phương sai nhỏ nhất trong lớp tất cả các ước lượng

tuyến tính không chệch của β (tiêu chuẩn BLUE)

Đây chính là nội dung của định lý Gauss-Markov mà

ta đã biết trong chương II hồi quy hai biến

23

 ˆ

3 Khoảng tin cậy và kiểm định các giả thiết thống kê

3.1 Khoảng tin cậy

3.2 Kiểm định giả thiết về hệ số hồi quy

3.3 Kiểm định giả thiết về phương sai của nhiễu

3.4 Kiểm định tính có ý nghĩa của mô hình

3.5 Kiểm định tổ hợp tuyến tính về hệ số hồi quy

3.1 Khoảng tin cậy

Đối với mô hình hồi quy nhiều biến, việc xác định khoảng tin cậy cho các hệ số hồi quy và phương sai nhiễu của tổng thể được tiến hành tương tự như trong hồi quy hai biến Với cỡ mẫu n và k tham số, cùng với giả thiết nhiễu u có phân phối chuẩn, khi sử dụng thay thế cho σ2, ta có :

ˆ

i

i i

3.1 Khoảng tin cậy

Với độ tin cậy (1-α), ), ta có công thức xác định khoảng tin cậy như sau :

[3.09]

)

ˆ (

ˆ )

ˆ (

ˆ

2

),

( 2

3.2 Kiểm định giả thiết về hệ số hồi quy

PP tiến hành kiểm định giả thiết về hệ số hồi quy trong mô hình hồi quy bội hoàn toàn giống hoàn toàn như trong mô hình hai biến Điều khác biệt ở đây cần chú ý đó là bậc tự do Đối với mô hình hai biến, có hai tham số, bậc tự do tương ứng của thống kê t là (n-2), trong khi đối với mô hình hồi quy bội tổng quát có k tham số, bậc tự do tương ứng của thống kê t là (n-k)

Và giá trị: p-value = P (|t| > |tqs|)

27

)

ˆ (

ˆ

i

i

i qs

Bảng 3.01 Kiểm định giả thiết về hệ số hồi quy

), (n k i i n k i

Giá trị p-value p-value/2 < α),

Khoảng tin cậy *

i

  [  , ˆi t(nk),se( ˆi)]

3.3 Kiểm định giả thiết về phương sai của nhiễu

Bảng dưới đây tóm tắt các cách kiểm định giả thiết về phương sai của nhiễu cùng với quy tắc tương ứng để bác bỏ giả thiết H0, với :

p-value = P ( )

29

2 0

2 2

0

ˆ )

2



Bảng 3.02 Kiểm định giả thiết phương sai của nhiễu

  [(n-k) 2

2 ), (

, (n-k) 2

2 1 ), (

 n k hoặc 02< 2

2 1 ),





k n

Giá trị p-value p-value < α), /2 hoặc p-value > 1- α), /2

  [(n-k) 2

), (

, +  ]

Giá trị tới hạn 2

0

 > (2n  k),

Giá trị p-value p-value < α),

Khoảng tin cậy  ˆ 2

3.4 Kiểm định tính có ý nghĩa của mô hình

Xét hai mô hình sau :

(U) : Y=

(R) : Y =

(U) gọi là mô hình không bị ràng buộc (Unrestricted model)

(R) gọi là mô hình bị ràng buộc (Restricted model)

31

u X

X X

X   m m 

 1 1 1 1



3.4 Kiểm định tính có ý nghĩa của mô hình

Điều kiện ràng buộc trong mô hình (R) chính là hệ số hồi quy của các biến độc lập Xm-1, Xm+1,…,Xk-1 đồng thời bằng 0

Để kiểm định điều kiện ràng buộc trên, ta xây dựng giả thiết :

H0 : βm =…= βk-1 = 0

H1 : có ít nhất một βj ≠ 0

Kiểm định tính có ý nghĩa của mô hình tiến hành qua các bước:

3.4 Kiểm định tính có ý nghĩa của mô hình

Đi kèm theo nó, các phần mềm cũng cho ra p-value của stat, và người sử dụng có thể áp dụng quy tắc quyết định dựa trên giá trị tới hạn hay mức ý nghĩa để bác bỏ hay chấp nhận H0

F-Ngoài ra, cũng lưu ý rằng, nếu giả thiết là H0 : βj = 0 thì kết luận của kiểm định Wald tương đương với kết luận kiểm định t

3.5 Kiểm định tổ hợp tuyến tính về hệ số hồi quy

Phần này trình bày cách thức kiểm định giả thiết về sự liên hệ mang đặc tính tuyến tính giữa các hệ số hồi quy Xét tình

huống cụ thể như sau :

Giả sử ta có mô hình hồi quy (U) : Y=

Ta muốn kiểm định giả thiết :

Giả thiết β1=β2 có thể biến đổi về dạng β1 - β2 = 0  Dạng tương đương là cách biểu diễn tổ hợp tuyến tính của hai hệ số

u X

1

2 1

3.5 Kiểm định tổ hợp tuyến tính về hệ số hồi quy

) 1

(

) 2 3 /(

)

(

2

2 2

R R

U R U

3.5 Kiểm định tổ hợp tuyến tính về hệ số hồi quy

Cách 2 : Kiểm),(n-k định t gián tiếp

Đặt δ = β1 - β2, giả thiết H0 trở thành: H0 : β1 - β2 ↔ H0 : δ = 0

Thay β2 = δ - β1 vào mô hình (U), ta được :

Y= =

Đặt Z = X1+ X2, ta có mô hình (R) : Y=

bằng cách dùng kiểm định t thông thường như đã biết :

 

3.5 Kiểm định tổ hợp tuyến tính về hệ số hồi quy

37

Cách 3 : Kiểm),(n-k định t trực tiếp

t = =

với se( ) =

 = var ( ) + var ( ) – 2cov ( , )

và phương sai, hiệp phương sai của các hệ số hồi quy có từ

ma trận hiệp phương sai của hệ số hồi quy (công thức 3.05)

)

ˆ (

(

ˆ ˆ

2 1

2 1

4 Phân tích phương sai và kiểm định sự phù hợp của

mô hình

4.1 Các tổng bình phương độ lệch

4.2 Hệ số xác định bội và hệ số tương quan bội

4.3 Kiểm định sự phù hợp của mô hình

4.4 Bảng phân tích phương sai (ANOVA)

Ý nghĩa của các tổng bình phương TSS, ESS, RSS giống như

đã trình bày trong mô hình hồi quy hai biến

39

2 2

2

) (Y i  Y Y i  n Y Y T Y  n Y



2

2 ˆ ( ) ( ) )

ˆ

(Y i  Yˆi)2 uˆi2 TSS  ESS

4.2 Hệ số xác định bội và hệ số tương quan bội

4.2.1 Hệ số xác định bội

4.2.2 Hệ số xác định bội đã hiệu chỉnh (adjusted R-squared)

4.2.3 Hệ số tương quan bội (coefficient of correlation)

4.2.4 Hệ số tương quan riêng phần (partial correlation

coefficients)

4.2.1 Hệ số xác định bội

quy Nó chính là tỷ lệ của toàn bộ sự biến đổi của biến phụ thuộc

Y do biến giải thích X gây ra Trong mô hình hồi quy bội, tỷ lệ của toàn bộ sự khác biệt của biến Y do tất cả các biến giải thích

xác định bằng công thức tính như sau :

khi số biến độc lập trong mô hình hồi quy thay đổi.

41

TSS

RSS

TSS ESS

4.2.1 Hệ số xác định bội

hình sẽ phức tạp và khó phân tích hơn Ngoài ra, khi có nhiều biến độc lập thì khả năng tương quan cao giữa các biến độc lập dễ xảy ra

, 1 1

1 1

0 ˆ ˆ )

ˆ (Y i   X i   k X k i

(Y i  Y )2

4.2.2 Hệ số xác định bội đã hiệu chỉnh

43

Một bất lợi khi sử dụng nhiều biến độc lập trong mô hình hồi quy là bậc tự do bị giảm đi, do đón người ta điều chỉnh hệ số xác định bằng cách đưa thêm bậc tự do của các tổng bình phương vào công thức:

k n

RSS

k n

n



 1

k n

k



 1

R

2

R

4.2.3 Hệ số tương quan bội

45

kết hợp tuyến tính giữa hai biến Áp dụng công thức tính hệ số tương quan cho các cặp biến trong mô hình hồi quy bội, ta có:

0

ji i

ji i j

x y

x

y r

 





2 2

ji ti

ji ti tj

x x

x

x r

4.2.3 Hệ số tương quan bội

Ma trận hệ số tương quan có dạng:

Do hệ số tương quan không phân biệt vai trò quan hệ trong cặp biến nên ma trận tương quan đối xứng qua đường chéo chính, tức là ta có r = r Mặt khác các phần tử trên đường

, 1

1 , 1 10

1 , 0 01

k k

k k

r r

r r

r r

R

4.2.4 Hệ số tương quan riêng phần

47

Hệ số tương quan xem xét ở trên được gọi là hệ số tương quan bậc 0, có nghĩa là ta xét mối tương quan giữa hai biến

mà không quan tâm đến sự thay đổi của những biến còn lại

Để đánh giá chính xác hơn mức độ kết hợp tuyến tính của hai biến, ta cần cố định các biến còn lại Từ đó ta có khái niệm hệ số tương quan riêng phần bậc p, với p>0

Trong hồi quy k biến, để xét mối tương quan riêng phần giữa biến phụ thuộc Y và một biến độc lập Xj nào đó, ta phải cố định (k-2) biến độc lập còn lại, điều này dẫn đến việc phải tính hệ số tương quan riêng phần bậc (k-2)

4.2.4 Hệ số tương quan riêng phần

Thí dụ, ta có mô hình hồi quy ba biến:

4.2.4 Hệ số tương quan riêng phần

49

; ;

hệ số tương quan bậc nhất Từ “bậc” ở đây ngụ ý chỉ số hạng sau

là các hệ số tương quan bậc không

số tương quan bậc nhất có các mối liên hệ sau:

; và

) 1

)(

1 ( 132 232

23 13 12

3

,

12

r r

r r

r r

23 12

13 2

, 13

r r

r r

r r

)(

1

23 12

13 2

, 3

r r

r r r

23 13 12

2 13

2 12 2

1

2

r

r r r r

r R

2 12

2 r ( 1 r )r

4.3 Kiểm định sự phù hợp của mô hình

Để kiểm định sự phù hợp của mô hình hồi quy, ta xây dựng giả thiết như sau:

H 0 : R2 = 0 ↔ H 0 : β1 = β2 =…= βk-1 = 0

H 1 : R2 ≠ 0 ↔ H 1 : Có ít nhất một βi ≠ 0

Các hệ số hồi quy riêng (đứng trước biến độc lập trong mô hình hồi quy) đồng thời bằng 0 có nghĩa là các biến độc lập đồng thời không ảnh hưởng đến biến phụ thuộc, điều đó cũng

có nghĩa là hàm hồi quy mẫu không giải thích được sự thay đổi của biến phụ thuộc, hay nói cách khác, hàm hồi quy mẫu không phù hợp

4.3 Kiểm định sự phù hợp của mô hình

nghĩa tương đương nhau

) (

) 1

(

k n RSS

k ESS





) 1 (

) (

) 1

R

) 1 (

) (

) 1

R

u X



4.4 Bảng phân tích phương sai (ANOVA)

Đối với hồi quy nhiều biến, ta không chỉ căn cứ vào các tổng TSS, ESS, RSS để xét xem mô hình có phù hợp tốt hay không mà ta còn quan tâm đến bậc tự do của các tổng này, tức là còn cân nhắc đến số biến độc lập sử dụng trong mô hình hồi quy Điều này dẫn đến ý tưởng khảo sát bảng phân tích phương sai ANOVA (Analysis of variance)

Bảng 3.03 Bảng phân tích phương sai

Từ hàm hồi quy (ESS) ˆT(X T Y) n(Y ) 2



Từ các yếu tố ngẫu nhiên (RSS)

) (

Y1,…,Yn ngẫu nhiên khi lấy mẫu, nhưng có một ràng buộc giữa các Yi, đó là giá trị trung bình Khi đó, mức độ

tự do của TSS = chỉ còn là (n-1)

n Y

Y  i

2

2 ( ) )

(Y Y Y T Y n Y

i   



4.4 Bảng phân tích phương sai (ANOVA)

Bậc tự do có thể hiểu là số quan sát độc lập để tính các tổng bình phương Ví dụ:

với TSS, ta có n giá trị quan sát Y1,…,Yn ngẫu nhiên khi lấy mẫu, nhưng có một ràng buộc giữa các Yi, đó là giá trị trung bình Khi đó, mức độ tự do của TSS chỉ còn là (n-1), với TSS =

với RSS = = , ta có n giá trị quan sát ngẫu nhiên Yi, nhưng giá trị: phụ thuộc và k tham số của mô hình hồi quy nên mức độ tự do của RSS chỉ còn là (n-k)

n Y

Y  i

2

2 ( ) )

i

Yˆ ˆ0  ˆ1 1   ˆ 1 1,

4.4 Bảng phân tích phương sai (ANOVA)

5 Một số dạng mô hình quan trọng

những nhân tố có tính chất quyết định đối với kết quả nghiên cứu Tuy vậy, vấn đề “dạng của hàm hồi quy” lại không có một cơ sở

lý thuyết đủ mạnh để có thể khẳng định dạng của hàm hồi quy là dạng này mà không phải là dạng khác Dạng hàm của mô hình hồi quy là một vấn đề thực nghiệm.

số liệu lên hệ tọa độ Nếu như đồ thị chỉ ra quan hệ giữa hai biến

là tuyến tính thì dạng hàm của mô hình là tuyến tính, nếu quan hệ được chỉ ra là hàm bậc 2, 3 (phi tuyến)…thì dạng của mô hình được chọn một cách tương ứng Phương pháp này được sử dụng

5 Một số dạng mô hình quan trọng

5.1 Mô hình logarit kép (double- log model)

5.2 Mô hình bán logarit (semi-log model)

5.3 Mô hình nghịch đảo (hyperbol) (reciprocal model)

57