Giá trị này phản ánh tác động của biến độc lập X j tới biến phụ thuộc Y.. Nếu các yếu tố khác không đổi, X j tăng 1 đơn vị thì trung bình của Y sẽ tăng là j β đơn vị và ngược lại điều
Trang 11 Mô hình hồi quy tuyến tính
Xem xét sự phụ thuộc của Y (biến phụ thuộc) vào các biến độc lập X 2 , X 3 ,…, X k dưới dạng tuyến tính, ta có
Hàm hồi quy tổng thể (PRF)
E(Y/X2, X3, , X k) = β1 + β2X2 + + βkXk
Mô hình hồi quy tổng thể (PRM)
Y = β1+ β2X2 + + βkXk + u
Sử dụng thông tin từ mẫu ta xây dựng được
Hàm hồi quy mẫu (SRF)
k
kX X
Y ˆ = β ˆ1 + β ˆ2 2 + + β ˆ
Mô hình hồi quy mẫu (SRM)
e X X
Y = β ˆ + β ˆ + + β ˆk k +
2 2 1 )
, 1 ( j k
β gọi là các hệ số hồi quy
) , 1 (
ˆ j k
β là ước lượng điểm của các hệ số hồi quy với 1 mẫu cụ thể
) , 1 (
ˆ j k
β là thống kê ước lượng (1 biến ngẫu nhiên đặc trưng) của các hệ số hồi quy với 1 mẫu ngẫu
nhiên
u : sai số ngẫu nhiên (sai số giữa giá trị cá biệt của Y và giá trị trung bình E(Y/X2, X3, , Xk ) trong tổng thể)
e : phần dư (residual – sai số giữa giá trị cá biệt/thực tế của Y và giá trị ước lượng trong hồi quy, Yˆ trong
mẫu quan sát)
1
β là hệ số chặn, là giá trị trung bình của biến phụ thuộc khi các biến độc lập trong mô hình
nhận giá trị bằng 0.
) , 2 ( j k
β là các hệ số hồi quy riêng (các hệ số góc) Giá trị này phản ánh tác động của biến độc
lập X j tới biến phụ thuộc Y Nếu các yếu tố khác không đổi, X j tăng 1 đơn vị thì trung bình của Y sẽ tăng là
j
β đơn vị và ngược lại (điều kiện các yếu tố khác không đổi)
• Dấu của βj sẽ thể hiện chiều tác động của X
j tới Y j
β > 0 : X
j tăng làm Y tăng và ngược lại (tác động cùng chiều) j
β < 0 : X
j tăng làm Y giảm và ngược lại (tác động ngược chiều) j
β = 0 : X
j thay đổi không làm Y thay đổi (Y không có quan hệ phụ thuộc tuyến tính vào X j)
Trang 22 Phương pháp ước lượng bình phương nhỏ nhất (OLS)
Để ước lượng 1 hồi quy mẫu tuyến tính với 1 mẫu quan sát cụ thể, phương pháp được sử dụng phổ biến nhất hiện nay là phương pháp bình phương nhỏ nhất OLS với tiêu chuẩn ước lượng:
∑
=
n i i e
1
2 min
Giá trị này được gọi là Tổng bình phương phần dư (Residual Sum of Squares – RSS hoặc Sum squared residual)
ei
Y
X
SRF
Yi
i
Yˆ
X i
Giả thiết 2: Kỳ vọng của sai số ngẫu nhiên, điều kiện X, bằng 0
0 )
( u X j =
E
Giả thiết này thỏa mãn sẽ đảm bảo các ước lượng từ phương pháp OLS (β ˆj( j = 1 , k )) là các ước lượng không chệch
Dưới ngôn ngữ ma trận, giả thiết được viết dưới dạng:
Trang 30 )
( u X = n×
E
2 )
var( u X j = σ
Giả thiết 3: Phương sai sai số ngẫu nhiên là thuần nhất/đồng đều/không thay đổi tại
mọi giá trị X i
2 )
var( u X ji = σ
hoặc
i
Giả thiết này thỏa mãn sẽ đảm bảo phương sai và sai số chuẩn của các ước lượng (var( β ˆj)và se ( β ˆj)) không bị ước lượng chệch sử dụng cho công việc phân tích các hệ số hồi quy
n
u
u
E ( ) = ( σ2 )
Dưới ngôn ngữ ma trận, giả thiết được viết dưới dạng:
Giả thiết 4: Không tồn tại cộng tuyến hoàn hảo giữa các biến độc lập trong mô hình
s
j ≠
∀ ρ ( X j, Xs) = 0 với
Giả thiết này thỏa mãn sẽ đảm bảo hệ phương trình chuẩn của phương pháp OLS có nghiệm duy nhất (1 bộ giá trị duy nhất cho β ˆj( j = 1 , k )).
Dưới ngôn ngữ ma trận, giả thiết được viết dưới dạng:
1 ) ( XT X −
Tồn tại ma trận
Giả thiết 5: Sai số ngẫu nhiên u, điều kiện X, có phân phối chuẩn độc lập
) , 0 (
~
X
Giả thiết này được thỏa mãn sẽ đảm bảo các ước lượng OLS cũng có phân phối chuẩn và có thể áp dụng bài toán suy diễn thống kê để phân tích các hệ số hồi quy
Trong nội dung của giả thiết 5, bao gồm cả thông tin không tồn tại tự tương quan giữa các sai số ngẫu nhiên (đề cập trong mục 8)
s
j ≠
∀ ρ ( uj, us) = 0 với
Giả thiết 6: Không tồn tại tự tương quan giữa các sai số ngẫu nhiên
Trên thực tế nội dung của giả thiết này thường được các nhà kinh tế lượng lồng ghép trong nội dung của giả thiết 5 như đã trình bày ở trên
Giả thiết này thỏa mãn sẽ đảm bảo phương sai của các ước lượng OLS không bị ước lượng chệch Thông thường khi giả thiết bị vi phạm sẽ dẫn tới các var( β ˆj) bị ước lượng chệch xuống (thấp hơn thực tế)
Trang 43 Báo cáo OLS do phần mềm EVIEWS cung cấp:
Mô hình hồi quy tuyến tính:
U L K
Y = β1+ β2 + β3 +
) ˆ S.E(
ˆ 1
1 β
β
-0.979116
0.3413
) ˆ S.E(
ˆ 2
2 β
β
4.965061
0.0001
) ˆ S.E(
ˆ 3
3 β
β
3.896242
0.0012
(Tổng bình phương phần dư)
• Các kiểm định chuẩn đoán sự vi phạm các giả thiết OLS của mô hình hồi quy
Trang 5Breusch-Godfrey Serial Correlation LM Test: (Kiểm tra hiện tượng tự tương quan – giả thiết 6)
hệ số chéo) - giả thiết 3)
(không có hệ số chéo) – giả thiết 3)
u L K
Y ) = + ln( ) + ln( ) +
ln( β1 β2 β3
Dependent Variable: LOG(Y)
Method: Least Squares
Date: 12/19/12 Time: 11:50
Sample: 1 20
Included observations: 20
)
,
2
( j k
β vẫn là các hệ số hồi quy riêng (các hệ số góc) Trong dạng hàm này, tham số này phản ánh tác
động tương đối của biến độc lập X j tới biến phụ thuộc Y Nếu các yếu tố khác không đổi, X j tăng 1 % thì trung bình của Y sẽ tăng là βj % và ngược lại (điều kiện các yếu tố khác không đổi) Trong kinh tế học thì các hệ số góc của dạng hàm hồi quy này được gọi là hệ số co dãn của biến phụ thuộc Y theo biến độc lập X j
Dấu của βj sẽ thể hiện chiều tác động của X
j tới Y j
β > 0 : X
j tăng làm Y tăng và ngược lại (ảnh hưởng cùng chiều)
Trang 6β < 0 : X
j tăng làm Y giảm và ngược lại (ảnh hưởng ngược chiều) j
β = 0 : X
j thay đổi không làm Y thay đổi (Y không có quan hệ phụ thuộc tuyến tính vào X j) Theo kết quả hồi quy ta có β ˆ2= 0.523699 cho biết khi biến vốn (K) tăng 1% thì biến sản lượng (Y) tăng 0.523699% và ngược lại (trong điều kiện các yếu tố khác không đổi)
Tương tự, β ˆ3= 0.693005 cho biết khi biến lao động (L) tăng 1% thì biến sản lượng (Y) tăng
0.693005% và ngược lại (trong điều kiện các yếu tố khác không đổi)
(+) Các câu hỏi phân tích hồi quy với dạng hàm này chỉ khác với dạng hàm tuyến tính thông thường
ở đơn vị của các biến.
• Ví dụ: Trong dạng hàm tuyến tính thông thường, nếu hỏi X (biến độc lập) tăng 1 đơn vị thì Y (biến
phụ thuộc) tăng 2 đơn vị, nhận xét ý kiến này cần kiểm định cặp giả thuyết:
H0: β2= 2 (tương đương với nhận xét ý kiến đầu bài là đúng)
H1: β2≠ 2 (tương đương với nhận xét ý kiến đầu bài là sai)
Trong dạng hàm tuyến tính với các biến dưới dạng loga Nepe này thì cách hỏi sẽ thay đổi hỏi X (biến độc lập) tăng 1 % thì Y (biến phụ thuộc) tăng 2 %, nhận xét ý kiến này ta vẫn cần kiểm định cặp
giả thuyết:
H0: β2= 2 (tương đương với nhận xét ý kiến đầu bài là đúng)
H0: β2≠ 2 (tương đương với nhận xét ý kiến đầu bài là sai)
4 Công thức khoảng tin cậy của các hệ số hồi quy
Với độ tin cậy (1 - α ) cho trước, khoảng tin cậy của các hệ số βj
KTC đối xứng : β ˆj
– SE(β ˆj )t
α/2 (n – k) < βj < βˆj
+ SE(β ˆj )t
α/2 (n – k)
KTC bên phải : β ˆj – SE(β ˆj
)tα(n – k) < βj (k là số hệ số của mô hình) KTC bên trái : βj < β ˆj + SE(β ˆj
)tα(n – k)
• Chú ý cách s ử d ụ ng:
- Nếu hỏi lượng thay đổi trung bình của biến phụ thuộc nằm trong khoảng nào (khi biến độc lập thay
đổi) và không đề cập đến giá trị tối đa hay tối thiểu, ta sử dụng khoảng tin cậy đối xứng.
- Khi mối quan hệ xem xét là thuận chiều (βj > 0), nếu hỏi lượng thay đổi tối đa của biến phụ thuộc thì dùng KTC (BÊN TRÁI) tối đa, và ngược lại
- Khi mối quan hệ là ngược chiều (βj < 0), nếu hỏi lượng thay đổi tối đa của biến phụ thuộc ta sử dụng KTC (BÊN PHẢI) tối thiểu và ngược lại Sau đó đổi dấu giá trị tìm được để có kết quả cuối cùng
Trang 7Với độ tin cậy (1 - α ) cho trước, khoảng tin cậy của a.βj + b.βs
KTC đối xứng :
) ( 2
) (
).
ˆ ˆ ( ˆ ˆ
s j s
j j
k n s j s
a β + β − β + β α− < β < β + β + β + β α−
j k n s j s
a β ˆ β ˆ ( β ˆ β ˆ ).α( ) β
(k là số hệ số của mô hình) KTC bên trái :
) ( ).
ˆ ˆ ( ˆ ˆ
s j s
j
j < a + b + Se a + b t −
<
∞
Trong đó:
) ˆ , ˆ cov(
2 )]
ˆ ( [
)]
ˆ ( [
) ˆ ˆ
s j s
j s
a
5 Quy tắc kiểm định giả thuyết đối với các hệ số hồi quy
(i) Cặp giả thuyết 1
≠
=
* 1
* 0
: H
: H
j j
j j
β β
β β
Tiêu chuẩn kiểm định : T = ( ˆ )
j
j j
Se β
β
β − Với kết quả ước lượng, ta có:
) ˆ (
j
j j qs Se
T
β
β
β −
= Với α cho trước, miền bác bỏ H0:
{ ( )}
2 : T t n k T
Wα = > α−
Nếu T qs∈Wα thì bác bỏ H0
Nếu ngược lại : chấp nhận H0
(ii) Cặp giả thuyết 2
>
=
* 1
* 0
: H
: H
j j
j j
β β
β β
Với α cho trước, miền bác bỏ H0:
{T:T t(n k)}
Nếu Tqs∈ Wα thì bác bỏ H0
Nếu ngược lại : chấp nhận H0
(iii) Cặp giả thuyết 3
<
=
* 1
* 0
: H
: H
j j
j j
β β
β β
Với α cho trước, miền bác bỏ H0:
Wα = < −α−
Nếu T qs∈Wα thì bác bỏ H0
Nếu ngược lại : chấp nhận H0
• Trường hợp đặc biệt khi β*j =0 → T qs = (ˆ )
ˆ
j
j
Se β β
= T- Statistic
Trang 8Khi hỏi Xj (biến độc lập) tăng có làm Y (biến phụ thuộc) thay đổi hay không cần kiểm định
cặp giả thuyết:
≠
=
0 :
H
0 :
H
1
0
j
j
β
β
Khi hỏi Xj (biến độc lập) tăng (giảm) có làm Y (biến phụ thuộc) tăng (giảm) hay không
cần kiểm định cặp giả thuyết:
>
=
0 :
H
0 :
H
1
0
j
j
β
β
Khi hỏi Xj (biến độc lập) tăng (giảm) có làm Y (biến phụ thuộc) giảm (tăng) hay không
cần kiểm định cặp giả thuyết:
<
=
0 :
H
0 :
H
1
0
j
j
β
β
• Khi kiểm định cặp giả thuyết
≠
=
0 : H
0 : H
1 0
j
j
β
β
có thể sử dụng quy tắc p-value (Prob - Probability) như sau :
Nếu p-value = hoặc < α→ bác bỏ H0
Nếu p-value > α→ chấp nhận H0
• Kiểm định biểu thức giữa các hệ số hồi quy:
(iv) Cặp giả thuyết 1
≠ +
= +
* 1
* 0
: H
: H
a b a
a b a
s j
s j
β β
β β
Tiêu chuẩn kiểm định : T = ( ˆ ˆ )
ˆ ˆ
s j
s j b a Se
a b a
β β
β β +
− + Với kết quả ước lượng, ta có:
) ˆ ˆ (
ˆ ˆ
s j
s j qs
b a Se
a b a T
β β
β β +
− +
= Với α cho trước, miền bác bỏ H0:
{ ( )}
2 : T t n k T
Wα = > α−
Nếu Tqs∈ Wα thì bác bỏ H0
Nếu ngược lại : chấp nhận H0
(v) Cặp giả thuyết 2
>
+
= +
* 1
* 0
: H
: H
a b a
a b a
s j
s j
β β
β β
Với α cho trước, miền bác bỏ H0:
{ T : T t(n k)}
Wα = > α−
Nếu T qs∈Wα thì bác bỏ H0
Nếu ngược lại : chấp nhận H0
Trang 9(vi) Cặp giả thuyết 3
<
+
= +
* 1
* 0
: H
: H
a b a
a b a
s j
s j
β β
β β
Với α cho trước, miền bác bỏ H0:
Wα = < −α−
Nếu T qs∈Wα thì bác bỏ H0
Nếu ngược lại : chấp nhận H0
6 Hệ số xác định của mô hình và kiểm định giả thuyết về sự phù hợp của hàm hồi quy
Hệ số xác định R2 = TSS
ESS
= 1 - TSS
RSS
= R – Squared → Cho biết tỉ lệ sự biến động của biến phụ
thuộc được giải thích bởi sự biến động của tất cả các biến độc lập (biến giải thích) có trong mô hình.
RSS = Residual Sum of Squares
TSS = (n-1)*(S.D Dependent Variable)2
Hệ số xác định đã hiệu chỉnh R2 = 1- (1 – R 2)n k
n
−
−1
= Adjusted -R - Squared → cách tính R2 như sau: 2
R = 1- (1 –R2 ) −1
−
n
k n
Hệ số R2 được sử dụng để đánh giá việc đưa thêm 1 biến độc lập mới (trường hợp thêm vào mô hình
nhiều biến độc lập mới thì cần sử dụng kiểm định thu hẹp hồi quy) vào mô hình có cần thiết hay không
So sánh hệ số này của mô hình đã thêm biến và mô hình chưa thêm biến mới, nếu R2tăng lên khi đưa
thêm biến thì biến độc lập mới là cần thiết cho mô hình và ngược lại
Cặp giả thuyết
≠
=
0 : H
0 : H 2 1
2 0
R
R
⇔
≠
≠
∃
=
=
=
) 1 ( : 0 :
H
0
: H 1
2 0
j j
k
β
β β
H0 : Hàm hồi quy không phù hợp (tất cả các biến độc lập cùng không tác động tới biến phụ thuộc)
H1 : Hàm hồi quy phù hợp (có ít nhất một biến độc lập có giải thích cho biến phụ thuộc)
Tiêu chuẩn kiểm định :
Chọn thống kê : ( 1 ) ( )
) 1 ( 2 2
k n R k
R F
−
−
−
=
Với kết quả ước lượng : F qs =( 1 ) ( )
) 1 ( 2 2
k n R k R
−
−
−
2
−
−
×
−
=
k
k n R
R
(thay số ) = F – Statistic
- Nếu F qs > Fα(k - 1; n - k) thì bác bỏ H0 : hàm hồi qui là phù hợp.
- Ngược lại, hàm hồi qui không phù hợp
Trang 10Có thể sử dụng mức xác suất (p-value) đã được phần mềm tính ra để thực hiện kiểm định cặp giả thuyết trên theo quy tắc: Prob (F-Statistic) < α → Bác bỏ H0
Prob > α→ chấp nhận H0
1
1 1
1 2
−
−
×
− +
=
k
k n statistic F
R
7 Kiểm định thu hẹp hồi quy (kiểm định thêm biến hay bớt biến bằng kiểm định F)
(Kiểm định nhiều điều kiện ràng buộc với các hệ số hồi quy)
E(Y/X2, , Xk - m, ,Xk ) = β1 + β2X2 + …+ βk - mXk - m + … + βkXk (UR)
E(Y/X2, , Xk - m) = β1 + β2X2 + + βk -mXk - m (R)
+
−
=
≠
∃
=
=
+
−
) , 1 (
: 0 :
H
0
: H
1
2 1
0
k m k j
j
k m
k m k
β
β β
β (Có thể bỏ m biến…ra khỏi mô hình (UR))
(Không thể bỏ……….)
⇔ Không cần đưa thêm m biến ….vào mô hình (R)
Nên đưa thêm m biến …… vào mô hình (R)
k n RSS
RSS RSS
m
k n R
R R k n R
m R R
UR
UR R
R UR
UR
R
−
−
=
−
−
−
2 UR
2 2 2
2 2
1 ) /(
) 1
(
/ ) (
Trong đó:
m – số điều kiện ràng buộc
k – số hệ số hồi quy của mô hình (UR)
n – số quan sát
Nếu Fqs > Fα(m, n - k) → bác bỏ H0 và ngược lại.
8 Các mô hình có chứa biến giả:
Biến giả D1 =
2
1 0
1
A A
• Mô hình có biến độc lập là biến giả
i i i
Y PRM : = β1+ β2 + β3 1 +
)
( A1 h oặc ( D 1i = 1 ) : Yi = ( β1+ β3) + β2Xi + ui
)
( A2 h oặc ( D 1i = 0 ) : Yi = β1+ β2Xi + ui
• Mô hình có biến tương tác giữa biến độc lập và biến giả
i i i i
Y PRM : = β1 + β2 + β3( * 1 ) +
)
( A1 h oặc ( D 1i = 1 ) : Yi = β1+ ( β2 + β3) Xi + ui
Trang 11( A2 h oặc ( D 1i = 0 ) : Yi = β1+ β2Xi + ui
• Mô hình có cả biến giả và biến tương tác
i i i i
i
Y PRM : = β1+ β2 + β3 1 + β4( * 1 ) +
)
( A1 h oặc ( D 1i = 1 ) : Yi = ( β1+ β3) + ( β2 + β4) Xi + ui
)
( A2 h oặc ( D 1i = 0 ) : Yi = β1+ β2Xi + ui
9 Phương sai sai số ngẫu nhiên thay đổi
Kiểm định WHITE: thường dùng cho hồi quy nhiều biến
Mô hình gốc: Y = β1+ β2X2 + β3X3 + u
Bước 1: Hồi qui mô hình gốc thu được phần dư ei
Bước 2: Tạo biến e i2 , 2
2i
3i
X , (X2i×X3i)
Hồi qui mô hình hồi qui phụ:
(2) e i2 = + X i + X i + X i + X2i +V i
3 5 3 4
2 2 3 2 2
(3) ei2 = + X i + X i + X i× X i + X i + X2i + Vi
3 6 3 5 3 2 4
2 2 3 2 2
Từ mô hình (2) và (3) được các hệ số xác định R22 và 2
3
R (kí hiệu là 2
i
m là số hệ số của mô hình phụ (2) hoặc (3)
Bước 3: Kiểm định cặp giả thuyết
≠
=
0 :
H
0 :
H
2 1
2 0
i
i R
R
H 0 : Mô hình ban đầu có phương sai của sai số đồng đều
H 1 : Mô hình ban đầu có phương sai của sai số thay đổi
Kiểm định F, χ2
Kiểm định χ2 :
2 2
i
qs= nR
χ = Obs*R-squared (White test) nếu χqs2 > χα2( m − 1 )thì bác bỏ H0
Kiểm định F: Fqs =
1
1 ) (
) 1 (
) 1 (
2
2 2
2
−
−
×
−
=
−
−
−
m
m n R
R m
n R m R
i
i
i i
= F-statistic (White test)
nếu Fqs > Fα(m-1, n –m) thì bác bỏ H0
Có thể sử dụng mức xác suất đã được máy tính tính ra trong kiểm định White để thực hiện kiểm định cặp giả thuyết theo quy tắc: Prob < α → Bác bỏ H0
Prob > α → Chưa bác bỏ H0
• Chú ý: Nếu mô hình ban đầu chỉ có 1 biến độc lập thì không phân biệt kiểm định có hệ số
chéo hay không và hồi quy phụ trong cả 2 trường hợp kiểm định đều là:
Trang 12i i i
3 2
1
10 Tự tương quan
MH ban đầu: Yt = β1+ β2Xt + Ut
Xét trường hợp ρ = 1 lược đồ tự tương quan bậc 1 – AR(1)
ut = ρ ut - 1 + εt
với - 1 ≤ρ ≤ 1 và εt thỏa mãn các giả thiết của OLS
- 1 < ρ < 0 tự tương quan âm
ρ = 0 không có tự tương quan
0 < ρ < 1 tự tương quan dương
∑
t
t t u
u u
ρ
Trong thực tế ta dùng ước lượng ρ ˆđể thay thế ρkhi quan sát hiện tượng tự tương quan
∑
∑
=
= −
= n
t t
n t t t
e
e e
1 2 2
1 ˆ
ρ Thống kê Durbin Watson được tính theo công thức:
) 1 ( 2
2 )
(
1 2 2
1 2
2 1 2
2
1 2 2
2 1
ρ
−
≈
−
+
=
−
=
∑
∑
∑
∑
∑
∑
=
= −
= −
=
=
n t t
n t t t n
t t n
t t n
t t
n t
t t
e
e e e
e
e
e e d
Với - 1 ≤ ρ ˆ ≤ 1 → 0 ≤ d ≤ 4
Với n, k’ = k – 1 cho trước, tra bảng phụ lục 5 → d L (giá trị cận dưới thống kê d) và d U (giá trị cận trên thống kê d)
Tự tương
quan dương ρ > 0
Không có kết luận
Không có tự tương quan ρ = 0
Không có kết luận
Tự tương quan âm ρ < 0
0 d L d U 4 – d U 4 – d L 4
• khi mô hình không có hệ số chặn
t t t
Y = β2 + β3 +
• có biến trễ của biến phụ thuộc đóng vai trò biến độc lập giải thích trong mô hình gốc
t t t
Y = β1+ β2 + β3 −1+
Bước 1: Hồi quy mô hình ban đầu được et ,et−1,…, e t−p
Bước 2: Hồi quy phụ