HỒI QUY ĐA BIẾN GV : Đinh Công Khải – FETP Môn: Các Phương Pháp Định Lượng... Ý nghĩa của các hệ số ước lượng trong mô hình hồi qui tuyến tính đa biến k = 2-K được gọi là hệ số hồi q
Trang 1HỒI QUY ĐA BIẾN
GV : Đinh Công Khải – FETP
Môn: Các Phương Pháp Định Lượng
Trang 2Giới thiệu mô hình hồi qui tuyến tính đa biến
Hàm hồi qui tuyến tính tổng thể (PRF)
E(Y|Xk’s) = β1 + β2 X2i + β3 X3i +….+ βK XKi
E(Y|X’s) là trung bình (tổng thể) của phân phối của Y với điều kiện các biến Xki (k = 2 - K)
β1 là tung độ gốc; β2,…, βK là hệ số hồi qui riêng (hệ số góc)
Yi = β1 + β2 X2i + β3 X3i +….+ βK XKi + ui
k
i k
X
s X Y
E
Trang 3Giới thiệu mô hình hồi qui tuyến tính đa biến
Ví dụ:
Q D = f(giá, thu nhập, giá của SP thay thế, quy mô thị trường,…)
Q S = f(vốn, lao động, công nghệ)
Lương nhân viên = f(trình độ, kinh nghiệm, giới tính, độ tuổi, )
Giá nhà = f(diện tích, số phòng ngủ, số phòng tắm, …)
Trang 4Mô hình hồi qui tuyến tính đa biến
Hàm hồi qui mẫu (SRF)
trong đó:
là ước lượng của E(Yi|X’s)
là các ước lượng của β1, β2, …., βK
Ki K
i i
3 3 2
2
i
Yˆ
K
ˆ , ˆ , , ˆ
2 1
i Ki
K i
i i
i
Trang 5Phương pháp bình phương tối thiểu thông thường (OLS)
Phương pháp OLS
2 2 1
ˆ , , ˆ , ˆ
2
)
ˆ
ˆ ˆ
( ˆ
min
2 1
Ki K
i i
u
K
0 X
ˆ
ˆ
-ˆ
ˆ Y 2
ˆ
ˆ
0 X
ˆ
ˆ
-ˆ
ˆ Y 2
ˆ
ˆ
0
ˆ
ˆ
-ˆ
ˆ Y 2
ˆ
ˆ
Ki K
3 3 2
2 1
i 2
2i K
3 3 2
2 1
i 2
2
K 3
3 2
2 1
i 1
2
Ki i
i K
i
Ki i
i i
Ki i
i i
X X
X u
X X
X u
X X
X u
Trang 6Phương pháp bình phương tối thiểu thông thường (OLS)
Giả sử chúng ta có hàm hồi qui
Yi = β1 + β2 X2i + β3 X3i + ui
2
3 2i
2 3i
2 2
3 2i 3
i
2 3i 2
i 2
x
-x
x y
-x
y
ˆ
i i
i i
i
x x
x x
x
3 3 2
2
1 Y - ˆ - ˆ
2
3 2i
2 3i
2 2
3 2i 2
i
2 2i 3
i 3
x
-x
x y
-x
y
ˆ
i i
i i
i
x x
x x
x
Trang 7Ý nghĩa của các hệ số ước lượng trong mô hình hồi qui tuyến tính đa biến
(k = 2-K) được gọi là hệ số hồi qui riêng hay hệ số độ dốc riêng
Ý nghĩa: Nếu như các biến giải thích khác không đổi, khi một biến giải thích X ki thay đổi một đơn vị thì biến phụ thuộc sẽ thay đổi trung bình
là đơn vị
phản ánh sự tác động trực tiếp của biến giải thích X ki lên biến phụ
thuộc sau khi đã loại trừ ảnh hưởng các biến hồi qui khác
k
ˆ
k
ˆ
k
ˆ
Trang 8Mô hình hồi qui tuyến tính cổ điển Gauss (CLRM): Các giả thiết của OLS
Giá trị kỳ vọng của ui bằng không: E(ui X’s) = 0
Không có tương quan chuỗi: cov(ui, uj X’s ) = 0 với i ≠ j
Phương sai đồng nhất: var(ui) = 2
Nhiễu ngẫu nhiên không có tương quan với các X: cov(ui, Xki ) = 0
Không có thiên lệch đặc trưng (thiếu biến quan trọng, dạng mô hình sai)
Không có hiện tượng đa cộng tuyến
Có hiện tượng đa cộng tuyến 2X2i 3X3i KXKi 0
Trang 9Mô hình hồi qui tuyến tính cổ điển Gauss (CLRM): Các giả thiết của OLS
Định lý Gauss-Markov: Ước lượng của OLS là ước lượng tuyến tính
không thiên lệch, có tính nhất quán, và có hiệu quả nhất, BLUE
Trang 10Độ chính xác của ước lượng
trong đó
(mẫu số sẽ bằng n-K trong trường hợp tổng quát)
3
ˆ ˆ
2 2
n
u i
2 3i
2 2
2 3 2 2
23
2 2 23
2 2
2 2 3 2i
2 3i
2 2
2 3i 2
) (
) r -(1
1
)
ˆ
(
x x
x
x r
x x
x x
x
x Var
i
i i
i i
i
23
2 3i
2 2 3 2i
2 3i
2 2
2 2i 3
) r -(1
1
)
ˆ
x x
x x
x
x Var
i i
Trang 11Độ chính xác của ước lượng
được ước lượng (n>K)
Đồng phương sai giữa 2 ước lượng
2 2
3
2 2
2 23
23 3
2
) r -(1
)
ˆ ,
ˆ
i
x r Cov
Trang 1212
Độ thích hợp của mô hình
Mối liên hệ giữa TSS, ESS, và RSS
TSS = ESS + RSS
2
) (
Yi Y ( Y ˆi Y )2 ( ˆ )2
i
Y
Trang 13Độ thích hợp của mô hình (goodness of fit)
Hệ số xác định (coefficient of determination)
0 ≤ R2 ≤ 1
R2 = 1, các biến độc lập giải thích 100% sự biến thiên của biến phụ thuộc
R2 = 0, mô hình không giải thích được bất kỳ sự biến đổi nào của biến phụ thuộc
2
1 1
i
i y
u TSS
RSS TSS
ESS R
Trang 14Độ thích hợp của mô hình
Hệ số xác định có điều chỉnh
Khi so sánh 2 mô hình dựa trên tiêu chí R2 hay R2 điều chỉnh cần lưu ý rằng cỡ mẫu n và biến phụ thuộc của 2 mô hình phải giống nhau (các biến giải thích có thể ở bất kỳ dạng gì)
K n
n R
R
n y
K n
u n
TSS
K n
RSS R
i i
1 )
1 ( 1
) 1 /(
) /(
ˆ 1
) 1 /(
) /(
1
2 2
2 2 2
