Phương sai và độ lệch chuẩn của các ước lượng bình phương nhỏ nhất được cho bởi các công thức sau đây:
n
_2
var ( p2 ) = --- —--- ơ2 = ---
( Ẻ 4 x ỉ * i > - ( í *2ix3i )2 i-l i = l i = l i=l 0 - r223 )
Trong đó r2.i là hộ số tương quan mẫu giữa biến X2 và X j.
s e ( ) = ^var(ậj) ,
p l .
var ( P 3 ) = ----Ị^ 1—--- —--<x2 = -—---, ( ẳ * l x ấ x l ) - ( ấ X2 / ) 2 ấ X3, (1 - ^23 )
/=1 /=1 iằ| / = 1
sc( p3 ) = -y/var(pj); cov( P2 , Pj) =
o - r ẳ )
( X * 2 , X 3 i ) 2
Trong đó r2 3 là hệ s ố tương quan giữa biến X ĩ và X? ,r223 = ^ —r^e-5— —
L x ị . L x l ,
Trong các công thức trôn ơ2 là phương sai của u nhưng chưa biết. Uơc lượng
2 . A 2 L eĩ RSS
không c h ố íh của ơ là : ơ = --- — = ---
n - 3 n — 3
3 là số tham số của mô hình, trong trường hợp tổng quát nếu mô hình có k tham số Pi , p2 ... pk thì Ở2 = Ỳ , e' / ( n - k) •
Y e 2
Với các sô' liêu ở thí du 3.1, ta có: ô 2 =— —r =144,2269/9 = 16,0252 n - 3
123,6667 - I---7 ^ —
Var< b = 7 ^ 7 7 ^ 7 - 1 6 ,0 2 5 2 * 0 ,1 07959;Se( P2)=Vvar(P2) = 0,32857
i 1 9 2 9 1 6 7 _ n —
Var ( p 3 ) = — — — • 16,0252 ô 0,16841 ;Se( Â ) = V ( P 3) = 0 ,4 1 0 3 8 . 18356,675
3.5. MÔ HÌNH HỒI QUY TUYẾN TÍNH K BIẾN - PHUƠNG PHÁP MA TRẬN Phần này giới thiệu với bạn đọc mô hình hồi quy bôi k biến bằng ngôn ngữ ma trận. Với ngôn ngữ ma trận kết hợp với kỹ thuật tính toán cho phép chúng ta giải quyết các vấn dề của phân tích hồi quy một cách nhanh chóng, chính xác.
Hàm hồi quy tổng thể có dạng
Yi = Pi + p2^5i + ••• + Pk^ki + Ư, Trong đó pi là hệ số tự do (hộ số chặn).
Pj-. j = i 2 , k là các hộ số hồi quy riêng.
Giả sử chúng ta có n quan sát, mỗi quan sát gồm k giá trị (Yi, X a,... Xki)
Y| = p i + P2X21 +... + pk^ki + Ui
Y2 = Pi + P2X22 +••• + PkXfc2 + l i
Yn = Pi + p2^2n + — + PkXkn + U)
' V ■ p .‘ ■ u ,-
Ký hiệu: Y = y2 ; p = p 2 ; u = u 2
Y„. _Pk_ l U n_
x =
1 X 1 X
21
22
X 3I X 32
X k ]
x k2
Khi đó ta có:
1 X Y = . x p + u
2n X 3n X kn
Giả thiết 4 nói rằng giữa các biến độc lập không có quan hệ tuyến tính với nhau, khi đó các cột của ma trận X là độc lập tuyến tính. Do đó hạng của ma trận X bằng số cột của ma trận này tức là R(X) = k, ma trận X không suy biến.
T h í dụ 3.2. Với thí dụ 3.1 ta có ma trận Xnhư sau:
1,0000 18,0000 10,0000
1,0000 25,0000 1 1 , 0 0 0 0
1,0000 19,0000 6,0000
1,0000 24,0000 16,0000
1,0000 15,0000 7,0000
1,0000 26,0000 17,0000
X = 1,0000 25,0000 14,0000
1,0000 16,0000 12,0000
1,0000 17,0000 12,0000
1,0000 23,0000 12,0000
1,0000 22,0000 14,0000
1,0000 15,0000 15,0000
UỒC LUỢNG c á c t h a m s ố - OLS Hàm hồi qui mẫu SRF có dạng
Ỹ . - ậ , + M 2 j + . . . + p k X ki Yj = p 1 + Ị3 2 X 2 j + ... + p k ^ ki + e ' hay Y = x p + e
Trong đó e = = Y -X p
Các uớc lượng OLS được tìm bằng cách:
/=/ỵỉ e? = ỉ ( Yi - p , - P 2X 2j- . . . - P kX ki)2 =>min
= / ' .=1
y e 2 là tổng bình phương của các phần dư (RSS).
= / '
•e= 1 e2 = (Y- xậ) (Y- xậ) = Y Y - P'X Y-Y xp+ p X xp /=/ '
= Y Y - 2 p 'X Y + p x 'x p
= -2X Y + 2X x $ =* X Y = â p
n ^ 3 / - 2*Jb-
1*2,- 'Lxị
^ 3 i
x:x
1 1 1 V
= ỵ 2\ ỵ 22 z 2n ỵ2
1<N
*
1 1 ^ •• 1______
x' Y
1<cã1
A
P 2
Ằ .
Với giả thiết,4, X không suy biến, nên X ’X cũng không suy biến*tdo đó tồn tai (X ‘X)' .T ừ đ ó : p = ( X X ỵ ^ Y .
Thí dụ: Với ma trận X ở thí dụ 3.2, khi đó:
X1 X =
X Y =
12 245 146 245 5195 3055
146 3055 1900 1696
35463,048 21409,652
; ( XX)-1 =
p =
2,440 -0,0884 -0,0454 -0,0884 0,0067 -0,0040 -0,0454 -0,0040 0,0105 '32,2773'
2,5057 4,7587
3.7. MA TRẬN PHƯ ƠN G SA I CỦ A p
Để kiểm định giả thiết, tìm khoảng tin cậy, cũng như thực hiện các suy luận thống kê khác cần phải tìm var(Pi), i = l,k và Cov( Pi, pj ). Phương pháp ma trận cho phép chúng ta tìm chúng một cách dễ dàng.
Ma trận hiệp phương sai cùa:
p = (X 'X )-'X ' Y Ý = x p + u
p = ( X 'X ) ''X '( X P + U )= p + ( x ‘ x ) ' ' x ' u
p - p = (X 'X )'‘XU
Cov(P) = E [(P - P) (P - P) ] = E{[(X x) ' x U ][ (X x ) '' x U ] }
= E[(X’X ) '1X ,UU ’X(X X’ )■*] = (X■ X ) ‘x E(UU )X (X ’ X )■'
= (X, X)'1Xơ2IX(X’X)‘1 Cov(p) =Ơ 2 (X ’X )''
Trong công thức trên (X X ) l à ma ưận nghịch đảo của ma trận (X X ), ơ 2 là Var (Ụ), nhưng chưa biết chúng ta phải dùng ước lược không chệch của ơ2 là:
V ar(p x) C o v { p x, p 2 ) ... C o v ( ^ J k )
C o v ( P k , P x) C o v (P k , p 2 ) ••• V a r(P k )
A
Cov( p) được xác định như thế nào?
= Ỹ' Y - 2 P ' X ' Y + P ' X ' X P
= Y' Y - p ' X ' Y . Với thí dụ 3.2 thì:
39,1009 -1,4164 -0 ,7 2 7 1 3 C ov(yỡ)= -1,41464 0,10796 -0 ,0 6 4 7 4 7
-0,72713 -0,064747 0,16841
3.8. CÁC TÍNH CHẤT CỦA UỠC LUƠNG BÌNH PHƯƠNG N H Ỏ NHẤT
Trong mô hình hồi quy bội các ước lượng bình phương nhỏ nhất có các tính chất giông như trong mô hình 2 giản biến đơn. Ở đây chỉ nêu ra các tính chất, viộc chứng minh các tính chất này được .ựình bày trong phần phụ lục III.2, sách “ Kinh tế lượng” - Nhà xuất bản Khoa học và Kỹ thuật, 2001. Để đơn giản hoá dưới đây chỉ đưa ra các tính chất đối với mô hình có hai biến độc lập.
Tuy nhiên những tính chất này đúng cho mô hình có số biến độc lập bất kỳ.
1. Đường hồi quy bội cùng đi qua điểm ( Y , x 2 , X 3) 2. Ỳ = Y
3 . X e i = 0
1=1
4. Các phần dư ej không tương quan với x 2i và x 3j , nghĩa là:
^ e; X2i = ^ Cj x 3j = 0
i=i i=i
n
5. Các phần dư e; không tương quan với Ỳj : ei Ỳj = 0 i=i
6. Từ công thức se ( P2 ) và se ( P 3 ) ta thấy rằng nếu như giữa X2 và X} có quan hệ tuyến tớnh quỏ chặt, r23 ô ± 1 thỡ var( P2 ) và v a r(p 3) rất lớn. Do đú ta sẽ khó khàn trong việc đoán nhận giá trị thực của p2 và p 3. Vấn đề này sẽ được giải thích đầy đủ hơn ở chương V.
7. Từ công thức xác định var( p 2 ) và var(P3), ta thấy chúng tỷ lệ thuận với ơ2
n r n 'N
và r2j, tỷ lô nghịch với x2i X x3ì • N^ư vậy sự biến thiên của Xjj càng lớn thì
i=I ' i=) '
var (Pj) càng nhỏ, hay Pj càng được ước lượng chính xác.
8. p , , P 3 là các ước lượng tuyến tính không chệch có phương sai nhỏ nhất trong lớp các lượng tuyến tính không chệch của p2 và p.v
3.9. UỠC LUỢNG h ợ p Lý t ố i đ a ( ML)
Với các giả thiết đã trình bày ở (3.2) thì Yi ~ N(Pi + £2X21 + ... + Pk Xki, ơ2) và các ước lượng của Pi, p2, .... pk là P | ... Pk thu được bằng OLS và ML là như nhau. Nhưng ước lượng của ơ2 từ ML: ỡ 2 = ^ e? / n là ước lượng chệch.
i= 1
3.10. HỆ s ố XÁC ĐỊNH BỘI R2 VÀ HỆ s ố XÁC ĐỊNH BỘI ĐÃ HIỆU CHỈNH R 2 Trong mô hình hồi quy hai biến , r2 đo độ thích hợp của hàm hồi qui. Nó chíiih là tỷ lộ của toàn bộ sự biến đổi của biến phụ thuộc Ydo biến giải thích X gây ra. Trong mô hình hồi quy bội tỷ lệ của toàn bộ sự khác biệt của biến Y do tất cả các biến giải thích X2. Xị...
Xk gây ra được gọi là hệ số xác đinh bội, ký hiệu R2.
Hệ số xác định bội R2 có thể tính bằng một trong hai công thức sau:
2 E SS T S S - R S S RSS
■ T SS “ TSS ~ “ TSS Phần trước đã chứng minh
e ' e = £ e ? _ Y Y - p ' X Y
i=l
= ỵ ^ y , - ỹ , ) = Ỳ ^ ( y , - Â
/=1 i=l
= ẳ e. ô - Ỹ - Â ( X a - X )... - À ( J f„ - x „ ))
/=l
= Ẻ e, ( r, - Ỹ - A (X * - X )... - Â ( X u - x „ )) i=l
= ẳ e , ( y , - p 2 X2i. . . - Â * * , ) = ẳ - 0 .
/=1 i=*l
= ấ y ^ y r b i * * • • • -Â * * ,) /‘“I
= ấ - Â ẳ y . x 2 i - - Ã Ẻ y i * * ,
/ = l i = l i=l
TSS = Ê y f - Ẻ Y j 2 - 2ZYiỸ +n Ỹ 2 = Y Y - n Ỹ 2 . i=! i=l
ESS = TSS - e’e = p X Y - n Y
^ t I - — ■ 1
, p X Y - n Y 2 R = ^ - r - 1— ===-
Y Y - n Y 2
ấ / = 1 eỉ _ p 2 Ế y ix2i + h Ế y ix3i/ —1___________ / — 1______________ _ l — I + - + Pk I , y ixk / R = — — = 1 -
TSS t y ĩ I , y ỉ
/ = l
0 s R2 < 1. Nếu R2 = 1, có nghĩa là đường hồi quy giải thích 100% sự thay đổi của Y . Nếu R2= o! cónghĩa là mô hình không giải thích sự thay đổi nào của Y.
Một tính chất quan trọng của R2 là nó là hàm không giảm của sô' biến giải
n n
thích có trong mô hình. Dễ dàng thấy rằng I y ỉ - I (Yj - Y Ý không phụ
Do đó, nếu tăng số biến giải thích trong mô hình thì R2 cũng tăng. Vấn đề đặt ra là khi nào thì đưa thêm biến giải thích mới vào mô hình?
Không thể dùng R2 làm tiêu chuẩn để xem xét việc đưa thêm hay không đưa thêm một biến giải thích mới vào mô hình. Bởi vì R2 còn phụ thuộc vào số bậc tự do của ^ (Yi - Ỹj Ý và 2 ] ơi - Y )2 tương ứng là (n-k) và (n-1). Trong đó k là
i=l ■ i=l
số các tham số (kể cả hê số chăn) của mô hình.
Người ta dùng hộ sổ xác định bội đã hiệu chỉnh, ký hiệu R 2 đé cân nhác khi xem xét việc thêm biến giải thích mới vào mô hình.
R 2 có các tính chất sau:
1. Nếu k>l, R 2 < R 2 < 1, điều này có nghĩa là nếu số biến giải thích tãng lên thì R 2 tàng chậm hơn so với R2.
2. R2 > 0, nhưng R 2 có thể âm. Như vậy khi R 2 còn tăng thì ta còn phải đưa thôm biến mới. R 2 còn có thể tăng khi mà hệ số của biến mới trong hàm hồi quy khác không. Khi nào biết được hệ số của biến mới Xk trong hàm hồi qui khác không? Khi mà giả thiết:
i= I
thuộc vào số biến giải thích trong mô hình, nhưng X / e ỉ là hàm giảm của số này.
R 2 =1
Ho : pk = 0 H, : pk * 0
bị bác bỏ, trong đó Xk là biến chúng ta định đưa thêm vào mô hình.
rỵt fU. A d 2 _ t RSS , 144,2269 n „ „ , Trong thí dụ 3.2 : R = 1 - — ^ = 1--- - - _ = 0 ,97566
R 2 = 1 - ( 1 - / ? 2) n 1
TSS 5924,7
= 1-(1-0,97566)(12-1) / (12-3) = 0,97025 n - k