Các tham số của các ước lượng OLS... Hệ số tuơng quan bội R: Là căn bậc hai của hệ số xác định bội và đo mức độ tương quan tuyến tính chung giữa Y, X 2 và X 3.. Hệ số tương quan cặp r i
Trang 1Bài 3 MÔ HÌNH HỒI QUI bội (Multiple regression)
1 Mô hình hồi qui 3 biến
1.1 Mô hình:
Mô hình hồi qui trong đó biến phụ thuộc Y phụ thuộc vào 2 biến giải thích X2,
X3 có dạng
PRF: E(Y/ X 2i , X 3i ) = β1 + β2 X 2i + β3X 3i (1)
Đồ thị là một mặt phẳng
PRM: Y i = β1 + β2 X 2i + β3 X 3i + u i
trong đó: β1 gọi là hệ số chặn ( intercept)
βj ( j = 2,3) gọi là hệ số góc riêng phần ( partial slope)
Giả sử mọi giả thiết của OLS đều thoả mãn, lúc đó với mẫu kích thước n được lập từ tổng thể sẽ xác định được:
SRF: Yˆ i = + βˆ1 βˆ2X 2i + βˆ3X 3i (2)
SRM: Y i = βˆ1 + βˆ2 X 2i + βˆ3 X 3i + e i
Tìm ( j =βˆj 1,3) sao cho Q = ∑ ∑ → min
=
=
=
i i n
i
i
Y
1
2 1
2
) ˆ (
⇒ ∂Q/∂βˆ1 = 0 ∂Q/∂βˆ2 = 0 ∂Q/∂βˆ
3 = 0
⇒ βˆ
1n + βˆ
2∑X2i + βˆ
3∑X3i = ∑Yi
βˆ
1∑X2i + βˆ
2∑X2i2 + βˆ
3∑X2iX3i = ∑X2iYi
βˆ1∑X3i + βˆ2∑X2Ü X3i + βˆ 3∑X3i2 = ∑X3iYi
Ký hiệu: Y = (∑Yi)/n X 2 = (∑X2i)/n X 3 = (∑X3i)/n
yi = Yi – Y x2i = X2i – X 2 x3i = X3i – X 3
Trang 2⇒ βˆ 1 = Y - βˆ 2X 2 - βˆ3X 3 ∑x2iyi∑x3i2 - ∑x3iyi∑x2i x3i
βˆ
2 = - ∑x2i2∑x3i2 – (∑x2i x3i)2
∑x3iyi∑x2i2 - ∑x2iyi∑x2i x3i
βˆ3 = - ∑x2i2∑x3i2 – (∑x2i x3i)2
⇒ = yˆi βˆ2x2i +βˆ3x3i → Hàm hồi quy mẫu đi qua gốc toạ độ
1.2 Các tham số của các ước lượng OLS
E(βˆ j ) = βj j = 1,3
Var(βˆ1) = ⎢⎣⎡n1 +
⎥
⎥
⎦
⎤
−
−
+
2 3 2
2 3
2 2
3 2 3 2
2 2
2 3
2 3
2 2
) (
2
i i i
i
i i i
i
x x x
x
x x X X x
X x X
σ2
Var(βˆ
2) =
3 2
2 3
2 2
2 3
)
i i
i
x x x
x
x
σ2 =
23
2 2
2
r
x i
σ
Var( ) = βˆ3
3 2
2 3
2 2
2 2
)
i i
i
x x x
x
x
σ2 =
23
2 3
2
r
x i
σ
Se( ) = βˆj var( ˆ )
j
β trong đó σ 2 ≈ σ ˆ 2 =
3
−
n RSS
Cov(βˆ2βˆ3) =
2 3
2 2
2 23
2 23
) 1
r
−
Trang 31.3 Hệ số xác định bội R 2
ESS RSS
R 2 = - = 1 - -
TSS TSS
Với mô hình ba biến:
R2 =
∑
2 3 3 2
ˆ
i
i i i
i y
y x y
β
1.4 Hệ số tương quan
a Hệ số tuơng quan bội R: Là căn bậc hai của hệ số xác định bội và đo mức
độ tương quan tuyến tính chung giữa Y, X 2 và X 3
b Hệ số tương quan cặp r ij: Đo mức độ tương quan tuyến tính giữa biến i và biến j của mô hình
2
2
(
i i
i i
y x
y x
=
2 13
r
∑ ∑ ∑2 2 3
2
(
i i
i i
y x
y x
3
2 2
2 3
(
i i
i i
x x
x x
c Hệ số tương quan riêng phần r ij , k : Đo mức độ tương quan tuyến tính giữa biến i và biến j của mô hình với điều kiện biến k không đổi
r 12,3 =
) 1 )(
1
23
2 13
23 13 12
r r
r r r
−
−
−
r 13,2 =
) 1 ( 1
23
2 12
23 12 13
r r
r r r
−
−
−
r 23,1 =
) 1 )(
1
13
2 12
13 12 23
r r
r r r
−
−
−
Trang 4Ví dụ: Bảng sau đây cho Tỷ lệ lạm phát Y(%), Tỷ lệ thất nghiệp X2(%) và Tỷ lệ lạm phát kỳ vọng X3(%) của Mỹ giai đoạn 1970- 1982:
1971 4.30 5.9 3.84
1980 13.46 7.1 10.01
1981 10.24 7.6 10.81
a Hồi quy Y với X 2 và cho nhận xét Yt = õ1+ õ2*X2 + ut: õ2 < 0 do LP và TN
là nghịch biến Kết quả do õ2>0 mô hìn sai
b Hồi quy Y với X 2 và X 3 và so sánh với kết quả thu được ở phần a
c Hãy phân tích kết quả thu được ở mô hình 3 biến
Yt = õ1+ õ2*X2 + õ3*X3 + ut: õ2 < 0 do LP và TN là nghịch biến Kết quả õ2 <
0 và õ3>0 (Tỷ lệ TN tỷ lệ thuận với LP kỳ vọng) vậy thêm mô hình thêm biến X3
là phù hợp hơn
Dependent Variable: Y
Method: Least Squares
Date: 02/17/09 Time: 09:40
Sample: 1970 1982
Included observations: 13
Variable Coefficie
nt Std Error t-Statistic Prob
C 6.127172 4.285283 1.429817 0.1806
X2 0.244934 0.630456 0.388502 0.7051
R-squared 0.013536 Mean dependent
var
7.75692
3 Adjusted
R-squared
-0.076143
S.D dependent var 3.04189
2
Trang 5S.E of regression 3.155577 Akaike info
Sum squared resid 109.5343 Schwarz criterion 5.36377
3
-32.29958
F-statistic 0.15093
4 Durbin-Watson
stat
0.969568 Prob(F-statistic) 0.70505
8
Dependent Variable: Y
Method: Least Squares
Date: 02/17/09 Time: 09:35
Sample: 1970 1982
Included observations: 13
Variable Coefficie
nt Std Error t-Statistic Prob
C 7.193357 1.594789 4.510538 0.0011 X2
-1.392472 0.305018 -4.565214 0.0010 X3 1.470032 0.175786 8.362633 0.0000 R-squared 0.876590 Mean dependent
var
7.75692
3 Adjusted
R-squared
0.851907 S.D dependent var 3.04189
2 S.E of regression 1.170605 Akaike info
Sum squared resid 13.70316 Schwarz criterion 3.48246
5
-18.78860 F-statistic 35.51521 Durbin-Watson
stat 2.225465 Prob(F-statistic) 0.000029
Trang 62 Mô hình hồi quy tổng quát k biến - Dạng ma trận của mô hình
2.1 Mô hình
Mô hình hồi qui trong đó biến phụ thuộc Y phụ thuộc vào k – 1 biến giải thích
X2, ,X k có dạng
PRF: E(Y i ) = β1 + β2 X 2i + β3X 3i + … + βk X ki (1)
PRM: Y i = β1 + β2 X 2i + β3X 3i + … + βk X ki + u i (2)
trong đó: β1 gọi là hệ số chặn
βj ( j=2,k) gọi là các hệ số góc riêng phần
Với mẫu W = {(X 2i , X 3i ,…,X ki , Y i ); i = 1÷ n}, SRF: Yˆ i = + βˆ1 βˆ2X 2i + βˆ3X 3i + … + βˆk X ki (3)
SRM: Y i = βˆ1 + Xβˆ2 2i + Xβˆ3 3i + … + βˆk X ki + e i (4)
2.2 Dạng ma trận
Y1 = β1 + β2 X21 + …+ βk X k1 + u1
Y2 = β1 + β2 X22 + …+ βk X k2 + u2
…
Y n-1 = β1 + β2 X 2n-1 + + βk X kn-1 + u n-1
Y n = β1 + β2 X 2n + …+ βk X kn + u n
⇔
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛ +
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
×
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
−
−
−
k kn
n
kn n
k k
n
n
u u
u u
X X
X X
X X
X X
Y Y
Y Y
2 1
2
1 1
2
2 22
1 21
1
2 1
1
1
1
1
β
β β
→ Y(n×1) = X(n×k) ×β(k×1) + U(n×1)
Y = X×β + U → E(Y) = Xβ
Tương tự, đặt = Yˆ ;
⎟⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
−
n
n Y Y
Y Y
ˆ ˆ
ˆ ˆ
1
2 1
βˆ= ; e = , th×
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎝
⎛
k
β
β β
ˆ
ˆ
ˆ
2 1
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
−
n
n
e e
e e
1
2 1
Y = X βˆ + e
Trang 72.3 Phương pháp bình phương nhỏ nhất
Tìm βˆ sao cho ∑ = e’e → min
=
n i i
e
1 2
⇔ (Y - X βˆ )’ (Y - X βˆ) → min ⇔ X’Xβˆ = X’Y Nếu tồn tại (X’X)-1 thì βˆ = (X’X)-1X’Y
Khi đó βˆ = (X’X)-1X’Y là ước lượng tuyến tính không chệch tốt nhất
của β
2.4 Các tham số của ước lượng
Kì vọng : E(βˆ) = β Phương sai – hiệp phương sai
σ
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎝
⎛
) ˆ (
) ˆ , ˆ ( )
ˆ , ˆ (
) ˆ , ˆ (
) ˆ ( )
ˆ , ˆ (
) ˆ , ˆ (
) ˆ , ˆ ( )
ˆ (
2 1
2 2
1 2
1 2
1 1
k k
k
k k
Var Cov
Cov
Cov Var
Cov
Cov Cov
Var
β β
β β
β
β β β
β β
β β β
β β
2(X’X)-1
Với σ2 được ước lượng bởi = σ ˆ 2
k
n−
e e'
2.5 Sự phù hợp của hàm hồi qui :
Hệ số xác định béi:
R2 =
TSS
ESS = 1 -
TSS
RSS Đánh giá sự phù hợp của hàm hồi qui
Cho biết tỉ lệ sự biến động của biến phụ thuộc được giải thích bởi tất cả các
biến giải thích có trong mô hình
R2 có các tính chất sau:
+ 0 ≤ R 2 ≤ 1
Trang 8Tính chất này dùng để đánh giá mức độ thích hợp của hàm hồi quy
+ Giá trị của R 2 đồng biến với số biến giải thích của mô hình Tuy nhiên không thể lấy điều đó để xem xét việc đưa thêm biến giải thích vào mô hình KHông thể quyết định đưa thêm biến vào đúng hay sai Phải tính thêm 2.6
2.6 Hệ số xác định bội hiÖu chỉnh
⎯R 2 = 1 – (1 – R 2)
k n
n
−
−1
R 2 có các tính chất sau:
+ R 2 có thể nhận giá trị âm.(khi nào R2 nhận giá trị âm?)
+ Khi số biến giải thích của mô hình tăng lên thì R 2 tăng chậm hơn R 2
⎯R 2 ≤ R2 ≤ 1 Tính chất này được dùng làm căn cứ xem xét việc đưa thêm biến giải thích vào
mô hình Khi đưa thêm biến vào mô hình mà R2 còn tăng hoặc khi giá trị t của kiểm định về sự bằng không của hệ số hồi quy tương ứng với biến đưa thêm còn lớn hơn 1 thì việc đưa thêm biến còn hợp lý
2.7 Hệ số tương quan
a Hệ số tương quan bội R
b Hệ số tương quan cặp r ij (i,j = 1,k )
Các hệ số tương quan cặp thường được cho trong ma trận sau:
rij =
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
1
1
1
3 2 1
2 23 21
1 13 12
k k k
k k
r r r
r r
r
r r
r
rij = rji(i,j = 1,k)
c Hệ số tương quan riêng phần r 12,34 k r k-1k,12 k-2
r k-1k,12 k-2 : : Biểu thị sự tương quan giữa biến X k-1,Xk trong12 k-2
→ Các hệ số tương quan cặp được gọi là hệ số tương quan riêng phần bậc 0
Trang 93 Suy diễn thống kê
3.1 Ước lượng khoảng
i Khoảng tin cậy cho từng hệ số
j
βˆ – Se( )tβˆj α
2(n – k) < βj < + Se(βˆj )t
j
βˆ α
1 (n – k) (j = 1,k )
→ Khoảng tin cậy đối xứng, bên phải, bên trái
ii Khoảng tin cậy cho hai hệ số
(βˆ ±i βˆj ) – Se(βˆ ±i βˆj )tα2(n – k) < βi± βj <(βˆ ±i βˆj ) + Se(βˆ ±i βˆj )tα1 (n – k)
Se : Đ ộ l ệch chu ẩn
Với Se(βˆ ±i βˆj) = Var( βˆi± βˆj)= Var( βˆi) ± 2Cov( βˆi, βˆj) +Var( βˆj)
iii Khoảng tin cậy cho sai số ngẫu nhiờn
) ( 2 2
2( ) ˆ
k n
k n
−
− α
χ
σ
< σ2 < 2( )
1 1
2( ) ˆ
k n
k n
−
−
− α
χ σ
→ Khoảng tin cậy hai phía, bên phải, bên trái
3.2 Kiểm định giả thuyết :
a Kiểm định T:
Cặp giả thuyết Tiêu chuẩn kiểm
định
Miền bác bỏ H0
⎪⎩
⎪
⎨
⎧
≠
=
* 1
* 0
: H
: H
j j
j j
β β
β β
⏐T qs ⏐> ( )
2 /
k n
tα−
Trang 10⎪
⎨
⎧
>
=
* 1
* 0
: H
: H
j j
j j
β β
β β
T qs =
) ˆ (
j
j j
Se β
β
β −
T qs > tα(n−k)
⎪⎩
⎪
⎨
⎧
<
=
* 1
* 0
: H
: H
j j
j j
β β
β
β
T qs < – tα(n−k)
⎩
⎨
⎧
≠
±
=
±
a
a
j i
j i
β β
β β
: H
: H
1
0
T qs =
) ˆ ˆ (
ˆ ˆ
j i
j i
Se
a
β β
β β
±
−
±
⏐T qs ⏐> ( )
2 /
k n
tα−
b Kiểm định χ 2 :
Đối với σ2 việc kiểm định cũng tiến hành tương tự với tiêu chuẩn kiểm
định:
χ2 = 2
0
2
ˆ ) (
σ
σ
k
n−
4 Kiểm định sự phù hợp của hàm hồi qui
⎩
⎨
⎧
≠
=
0 :
H
0 :
H
2
1
2
0
R
R ⇔
⎩
⎨
⎧
≠
≠
∃
=
=
=
) 1 ( : 0 :
H
0
: H
1
2 0
j
j
k
β
β
β Tất cả các biến giải thích không giải thích cho Y
Ít nhất một biến giải thích có giải thích cho Y
F qs =
) /(
1
) 1 /(
) /(
) 1 /(
2
2
k n R
k R k
n RSS
k ESS
−
−
−
=
−
−
F qs > Fα(k - 1; n - k) thì bác bỏ H0 : hàm hồi qui là phù hợp
Tất cả các kiểm định trên cũng đều có thể tiến hành bằng phương pháp P-value
Ví dụ: Với tệp số liệu đã cho, hãy tìm các ước lượng bằng phương pháp ma
trận và các tham số tương ứng của mô hình Hãy tiến hành các ước lượng và kiểm
định cần thiết
βˆ
5 Kiểm định thu hẹp hồi qui (Kiểm định Wald):
5.1 Thủ tục:
Xét mô hình:
E(Y/X2, ,X k - m , ,X k ) = β1 + β2X2 + … + βk X k (UR)
Trang 11Nghi ngờ m biến giải thích X k-m+1 ,…, X k không giải thích cho Y
⎩
⎨H :∃ ≠0:( = − +1÷ )
⎧ H0 :βk−m+1 = βk−m+2 = βk = 0
Tất cả m biến giải thích không giải thích cho Y
Ít nhất một biến giải thích có giải thích cho Y
Nếu giả thuyết H0 là đúng thì mô hình trở thành:
E(Y/X2,…, X k - m ) = β1 + β2X2 + … + βk-m X k - m (R)
Tiêu chuẩn kiểm định:
F qs =
) /(n k
/ )
=
) /(
) 1
ñ ur
−
−
/ ) (R2 −R2 m
Nếu F qs > Fα(m, n – k) bác bỏ H0
- Trường hợp m = 1: F qs = (T qs)2 với T qs ứng với hệ số duy nhất cần kiểm định
- Trường hợp m = k – 1 : F qs trong kiểm định thu hẹp chính là F qs
trong kiểm định sự phù hợp
- Kiểm định thu hẹp hồi qui còn dùng cho những trường hợp khác
Ví dụ: Với tệp số liệu ch3bt5 hãy ước lượng hàm cầu về thịt lợn phụ thuộc vào giá và thu nhập theo dạng tuyến tính và tuyến tính lôga và cho nhận xét Có thể bỏ được biến nào ra khỏi mô hình hay không?
5.2 Các dạng thu hẹp hồi qui
Ví dụ Y i = β1 + β2X2i + β3X3i + u i (UR)
H0: β3 = 1; H1: β3 ≠ 1
H0 đúng ⇒ Y i = β1 + β2X2i + X3i + u i
⇔Yi – X3i = β1 + β2X2i + u i ⇔ Y i * = β1 + β2X2i + u i (R)
H0: β2 = β3; H1: β2 ≠ β3
H0 đúng ⇒ Y i = β1 + β2X2i + β2X3i + u i
⇔ Y i = β1 + β2(X2i +X3i) + u i ⇔Y i = β1 + β2X i * + u i (R)
H0: β2 + β3 = a; H1: β2 + β3 ≠ a
Trang 12H0 đúng ⇒ Y i = β1 + β2X2i + (a – β2)X3i + u i
⇔ Yi– aX3i = β1 + β2 (X 2i –X 3i ) + u i⇔ Y i * = β1 + β2 X i * + u i (R)
6 Dự báo
6.1 Dự báo giá trị trung bình
0
ˆ
Y – Se(Y )tˆ0 α2(n – k) < E(Y/X0) < Yˆ0 + Se(Y )tˆ0 α1 (n – k)
0
X ˆ
σ
ˆ
1
X)−
6.2 Dự báo giá trị cá biệt
0 – Se(Y0)tα2(n – k) < Y0 < Y + Se(Y0 0) tα1 (n – k) Với Se(Y 0) = σ ˆ 1 + X0' (X' X) − 1 X0
7 Một số mô hình Kinh tế
7.1 Hàm thu nhập – chi tiêu
Y i : Thu nhập
C i : Chi tiêu
C i = β1 + β2Y i + u i
- C là chi tiêu cho tiêu dùng : β1 > 0; 1 > β2 > 0
- C là chi tiêu cho hàng hóa thông thường
- C là chi tiêu cho hàng hóa cao cấp
- C là chi tiêu cho hàng hóa thứ cấp
7.2 Hàm cầu
Q i : cầu về hàng hóa
P i : giá cả hàng hóa
PT i : giá hàng hóa thay thế
PB i : giá hàng hóa bổ sung
Q i = β1 + β2P i + β3PT i + β4PB i + u i
Trang 137.3 Hàm tăng trưởng
r : tỷ lệ tăng trưởng
t : thời gian
Yt và Y0 là giá trị của biến Y tại thời kỳ t và thời kỳ gốc
Yt = Y0(1+ r)t
⇒ LnYt = LnY0 + t.Ln(1 + r)
⇒ Y’
t = β1 + β2.t
7.4 Hàm chi phí – sản lượng
Q i : sản lượng
TC i : tổng chi phí, MC i : chi phí cận biên, AC i : chi phí trung bình, FC i: chi phí cố định
TC i = β1 + β2Q i + β3Q2 3
2
i + β4Q i + u i
→ FC i = β1 + u i
→ MC i = β2 + 2β3Q i + 3β4Q i + u i
→ AC i =
i
Q
1
+ β2 + β3Q i + β4Q i + u i
7.5 Hàm hyperbol
Y=
X
2 1
1
β
β +
Là hàm phi tuyến đối với X song tuyến tính đối với tham số
phẩm
b Nếu β1 >0 và β2 < 0 khi đó đồ thị cong lên với mức tiệm cận trên là β1 Hàm này ding để phân tích sự phụ thuộc của chi tiêu vào thu nhập
c Nếu β1 <0 và β2 > 0 thì đó là đường cong Philips, nó cong xuống và tiệm cận
β1 ở dưới trục hoành
7.4 Hàm mũ – Hàm Loga tuyến tính
Mô hình kinh tế có dạng Y i =β0X2i β2 X3i β 3
Trang 14⇔ lnY i = lnβ0 + β2lnX2i + β3lnX3i
Xột mụ hỡnh LY i = β1 + β2 LX2i + β3LX3i + v i
⇔ E(Y / X2i , X3i) = eβ1X2i β 2X3i β3
β1 : E(Y/X 2i = X 3i = 1) = eβ1
β2 = εE(Y)/X2 : Khi X 2 thay đổi 1%, yếu tố khỏc khụng đổi, thỡ E(Y)
thay đổi β2 %
Vớ dụ mụ hỡnh : E(Q i ) = eβ1K iβ 2L iβ 3
7.5 Hàm nửa Loga
*Mụ hỡnh : Y i = β1 + β2 lnX i + u i
β1 = E(Y/X = 1)
β2: Khi X tăng 1% thỡ E(Y) thay đổi β2 đơn vị
*Mô hình : LnY i = β1 + β2 X i + u i
β2: Khi X tăng 1 đơn vị thì E(Y) thay đổi β2%
7.6 Hàm chi phớ – lợi ớch
C i : chi phớ
U i : lợi ớch
Ui = β1 + β2C i + β3C i2 + u i
β2: >0 do LI đồng biến CP
β2 <0 : LI cận biờn giảm dần