Chương 2 MÔ HÌNH HỒI QUY BỘI Chương 2 MÔ HÌNH HỒI QUY BỘI Nguyễn Phương Bộ môn Toán kinh tế Đại học Ngân hàng TPHCM Email nguyenphuong0122@gmail com Ngày 13 tháng 12 năm 2022 1 NỘI DUNG 1 Sự cần thiết[.]
Trang 1Chương 2:
MÔ HÌNH HỒI QUY BỘI
Nguyễn Phương
Bộ môn Toán kinh tế
Đại học Ngân hàng TPHCM Email: nguyenphuong0122@gmail.com
Ngày 13 tháng 12 năm 2022
Trang 2NỘI DUNG
1 Sự cần thiết của mô hình hồi quy bội
2 Mô hình hồi quy bội và Phương pháp ước lượng OLS
Mô hình và phương pháp OLS
Các giả thiết
Độ phù hợp của hàm hồi quy
Tính tốt nhất của ước lượng OLS
Mô hình hồi quy sử dụng ngôn ngữ ma trận
3 Một số dạng của mô hình hồi quy
Mô hình dạng log-log
Mô hình dạng bán loga
Mô hình dạng đa thức
4 Tính vững của ước lượng OLS
5 Mô hình hồi quy bội sử dụng ngôn ngữ ma trận
Mô hình và các giả thiết OLS
Ước lượng OLS và ma trận hiệp phương sai
Trang 3➤ Một biến phụ thuộc Y thường chịu tác động của nhiều yếu tố.
➤ Mô hình hồi quy bội thường có chất lượng dự báo tốt hơn
➤ Mô hình hồi quy bội cho phép sử dụng dạng hàm phong phú hơn
➤ Mô hình hồi quy bội thực hiện các phân tích phong phú hơn
Trang 4Hàm hồi quy tổng thể-PRF: E(Y|X) = β 1 + β 2 X 2 + · · · + β k X k
Mô hình hồi quy tổng thể-PRM: Y i = β 1 + β 2 X 2i + · · · + β k X ki + u i , i = 1; N; hoặc: Y = β 1 + β 2 X 2 + + · · · + β k X k + u
β 1 : hệ số chặn/hệ số tự do (intercept).
β j , j = 2, k : hệ số hồi quy tương ứng của X j của X.
u : sai số ngẫu nhiên.
Câu hỏi: Ý nghĩa của các hệ số β 1 , β 2 , , β k
Hàm hồi quy mẫu-SRF: Y = ˆˆ β 1 + ˆ β 2 X 2 + · · · + ˆ β k X k
Mô hình hồi quy mẫu-SRM: Y i = ˆ β 1 + ˆ β 2 X 2i + · · · + ˆ β k X ki + e i , i = 1; n; hoặc: Y = ˆ β 1 + ˆ β 2 X 2 + · · · + ˆ β k X k + e
trong đó ˆ Y là ước lượng cho Y; ˆ β 1 , ˆβ 2 , , ˆβ k tương ứng là ước lượng cho β 1 , β 2 , , ˆβ k ; e i là phần dư, ước lượng cho u i
Định nghĩa: Phương pháp OLS nhằm xác định các giá trị ˆ β j , j = 1, 2, , k sao cho tổng bình phương các phần dư là nhỏ nhất.(Tương tự như mô hình 2 biến)
Trang 5Ví dụ 2.1
Sử dụng tập số liệu ch2vd5.wf1 Hãy ước lượng hàm hồi quy tuyến tính của CT theo TN và TS, trong đó CT là chi tiêu (triệu đồng/năm), TN là thu nhập từ lao động (triệu đồng/năm) và TS là giá trị tài sản (tỷ đồng) của hộ gia đình
➤ bβ1= 18, 8601 −→ với các hộ không có thu nhập và tài sản thì mức chi tiêu trung bình của họ vào khoảng 18,8601 triệu đồng/năm
➤ bβ2= 0, 7912 −→khi thu nhập hộ gia đình tăng 1 triệu đồng/năm và giá trị tài sản không thay đổi thì mức chi tiêu trung bình tăng khoảng 0,7912 triệu đồng/năm
➤ bβ3= 0, 0158 −→khi giá trị tài sản tăng 1 tỷ đồng và thu nhập hộ gia đình không thay đổi thì mức chi tiêu trung bình tăng khoảng 0,0158 triệu đồng/năm
5
Trang 6Các giả thiết của mô hình
✓ Giả thiết 1: Mô hình được ước lượng trên cơ sở mẫu ngẫu nhiên kích thước n : {(Xi, Yi), i = 1, 2, , n}
✓ Giả thiết 2: Kỳ vọng của sai số ngẫu nhiên tại mỗi giá trị (X2i, , Xki) bằng 0, tức là
E(ui|X2i, , Xki) = 0
✓ Giả thiết 3: Phương sai của sai số ngẫu nhiên tại mỗi giá trị (X2i, , Xki) đều bằng nhau, tức là
var(u|X2i, , Xki) =σ2, ∀i
✓ Giả thiết 4: Giữa các biến độc lập X2, X3, , Xk không có đa cộng tuyến
Trang 7TSS = P n
i=1 (Y i − Y) 2 , ESS = P n
i=1 ( ˆ Y i − Y) 2 , RSS = P n
i=1 e2i Nếu hàm hồi quy tuyến tính có chứa hệ số chặn thì:
TSS = ESS + RSS
Hệ số xác định của mô hình hồi quy (tương ứng với mẫu):
R 2 = ESS TSS = 1 −
RSS TSS
Ý nghĩa:
R 2 cho biết mức độ giải thích của các biến độc lập trong mô hình với sự biến động (quanh giá trị trung bình) của biến phụ thuộc.
1 − R2cho biết phần biến động (quanh giá trị trung bình) của biến phụ thuộc gây ra bởi sai số hoặc các yếu tố chưa được đưa vào mô hình.
R 2 thể hiện tương quan tuyến tính giữa biến phụ thuộc với các biến độc lập.
Khi thêm biến mới vào mô hình sẽ làm gia tăng R2, nhưng có thể làm chất lượng của các ước lượng giảm −→ để xét xem có nên thêm biến mới vào mô hình không người ta dùng R2 hiệu chỉnh (adjusted r-square) kí hiệu R2:
R2= 1 − (1 − R2)n − 1
n − k
Trang 8Định lý Gauss - Markov
Khi các giả thiết 1-4 thỏa mãn thì các ước lượng thu được từ phương pháp OLS là các ước lượng tuyến tính,không chệch và có phương sai nhỏ nhất (BLUE)
Độ chính xác của ước lượng
var(bβj) = σ2
(1 − R2
j)P x2 ji
trong đó R2j là hệ số xác định của mô hình hồi quy Xj theo các biến độc lập còn lại và xji= Xji− Xj
ˆ
σ2=
n
P
i=1
e2
i
n − k =
RSS
n − k
se(bβj) =
s
ˆ
σ2
(1 − R2
j)P x2 ji
=
s RSS/(n − k) (1 − R2
j)P x2 ji
Trang 9Xét mô hình k biến: Y i = β 1 + β 2 X 2i + + β k X ki + u i , i = 1, 2, , n.
Đặt
Y =
Y 1
Y 2
.
Y n
, X =
1 X 21 X 31 · · · X k1
1 X 22 X 32 · · · X k2
.
1 X 2n X 3n · · · X kn
, β =
β 1
β 2
.
β n
, u =
u 1
u 2
.
u n
Khi đó mô hình hồi quy tổng thể dưới dạng ma trận như sau:
Y = X β + U.
Từ mẫu quan sát ta có ước lượng cho Y và β như sau:
ˆ
Y =
ˆ
Y 1
ˆ
Y 2
ˆ
Y n
, ˆβ =
ˆ
β 1
ˆ
β 2
ˆ
β n
Ta có hàm hồi quy mẫu
ˆ
Y = Xˆ β.
Véc tơ phần dư e = Y − ˆ Y = Y − Xˆ β.
Phương pháp OLS đi tìm ˆ β sao cho e T e → min Phương pháp này tìm được kết quả:
ˆ
β = (X T X)−1XTY , var(ˆβ) = σ 2 (XTX)−1.
Trang 10Hàm sản xuất Cobb - Douglas: Q = aKβ 2Lβ 3
trong đó Q, K, L lần lượt là sản lượng, vốn và lao động
−→ thêm yếu tố ngẫu nhiên: Q = aKβ2Lβ 3eu
Lấy logarit hai vế, ta được: ln Q =β1+β2ln K +β3ln L + u
Giả sử lý thuyết cho rằng: Y = aXβ 2
2 Xβ 3
3 Xβk
k Khi thêm yếu tố ngẫu nhiên vào ta có: Y = aXβ 2
2 Xβ 3
3 Xβk
k eu Lấy logarit hai vế, ta được: ln Y =β1+β2ln X2+β3ln X3+ + βkln Xk+ u
Ý nghĩa của hệ sốβj:
βj= ∂ ln Y
∂ ln Xj
∂Xj/Xj
−→ ∂Y
Y =βj
∂Xj
Xj
−→ nếu Xjtăng (giảm) 1% (các yếu tố khác trong mô hình không đổi) thì trung bình Y tăng (giảm)βj%
βj: hệ số co giãn của Y theo Xj−→ Sử dụng mô hình log-log dùng để mô
tả các mối quan hệ có hệ số co giãn không đổi
Ví dụ: Hàm cầu về thịt lợn: ln Q = 1, 5 − 0, 6 ln P + u
−→ Hệ số co giãn của cầu về thịt lớn theo giá là -0,6 −→ khi giá thịt lớn tăng 1% thì cầu trung bình về thịt lớn giảm 0,6%
Trang 11Mô hình log-lin có dạng
ln Y =β1+β2X + u
Ý nghĩa củaβ2: Khi X2tăng một đơn vị thì Y trung bình tăngβ2∗ 100%
Ví dụ: Giả sử quan hệ giữa thu nhập (TN) và trình độ học vấn (Ed, số năm học ở trường) như sau: ln TN = 2, 5 + 5, 6Edu + u
Mô hình lin-log có dạng
Y =β1+β2ln X + u
Ý nghĩa củaβ2: Khi X2 tăng 1% thì Y trung bình tăngβ2/100 đơn vị
Ví dụ: Giả sử quan hệ giữa số giờ mà người lao động muốn làm (L) và mức trả cho một giờ lao động (TL): L = 7 + 0, 6 ln TL + u
Sử dụng mô hình bán loga khi có lý thuyết kinh tế về mối quan hệ giữa các biến số kinh tế phù hợp
Trang 12Mô hình dạng đa thức bậc 2 (dạng parabol) có dạng:
Y =β1+β2X +β3X2+ u
Sử dụng mô hình dạng đa thức bậc 2 khi biết mối quan hệ cận biên của Y theo X : ví dụ quy luật cận biên giảm dần của năng suất lao động theo tuổi, năng suất biên giảm dần theo thời gian của lao động
Cho
∂E(Y|X)
∂X =β2+ 2β3X = 0
để ước lượng điểm ngưỡng của sự thay đổi Y theo X
Trang 13Định lý 4.1
Khi các giả thiết 1-4 thỏa mãn thì các ước lượng OLS không chỉ là các ước lượng không chệch mà còn là ước lượng vững
Định lý 4.2
Khi các giả thiết 1,3,4 thỏa mãn và
a) cov(Xj, u) = 0 với j = 2, 3, , k
b) E(u) = 0
thì ước lượng OLS vẫn là ước lượng vững
Trang 14Xét mô hình k biến:
Y =β1+β2X2+ · · · +βkXk+ u Khi đó, với mẫu ngẫu nhiên kích cỡ n, có thể biểu diễn:
Y1=β1+β2X21+ · · · +βkXk1+ u1
Y2=β1+β2X22+ · · · +βkXk2+ u2
Yn=β1+β2X2n+ · · · +βkXkn+ un
Hệ phương trình này có thể biểu diễn dưới dạng ma trận: Y = Xβ + u
Y =
Y1
Y2
Yn
, X =
1 X21 X31 Xk1
1 X22 X32 Xk2
1 X2n X3n Xkn
, β =
β1
β2
βk
, u =
u1
u2
un
Trang 15Các giả thiết của phương pháp OLS:
Giả thiết 1: Việc ước lượng dựa trên cơ sở mẫu ngẫu nhiên (X, Y)
Giả thiết 2: E (u|X) = 0n×1
Giả thiết 3: E (uu′
|X) =σ2Introng đó
uu′=
u21 u1u2 u1un
u2u1 u2
2 u2un
unu1 unu2 u2
n
, E (uu′
) =
E(u21) E(u1u2) E(u1un) E(u2u1) E(u2
2) E(u2un)
E(unu1) E(unu2) E(u2
n)
E (uu′|X) =σ2In=
σ2 0 0
0 σ2 0
0 0 σ2
Giả thiết này thực chất là giả thiết phương sai của sai số không đổi
Trang 16Giả thiết 4: Tồn tại ma trận nghịch đảo (X′X)−1
Giả thiết này cho rằng giữa các biến độc lập không có quan hệ đa cộng tuyến hoàn hảo và không có biến nào là hằng số trong tập dữ liệu
Trang 17Phương pháp OLS:
Hàm hồi quy mẫu: ˆY = X ˆβ
Y =
ˆ
Y1
ˆ
Y2
ˆ
Yn
, ˆβ =
ˆ
β1
ˆ
β2
ˆ
βk
với phần dư: e = Y − ˆY = Y − X ˆβ Khi đó,
n
P
i=1
e2
i = e′e =Y − X ˆβ′
Y − X ˆβ
= Y′Y − 2 ˆβX′
Y − ˆβ′
X′X ˆβ
Từ điều kiện cực tiểu, ta được:
ˆ
β = (X′
X)−1X′Y
var ˆβ
=σ2
(X′X)−1