Bài giảng Kinh tế lượng - Chương 2: Hồi quy đơn biến cung cấp các kiến thức giúp người học có thể: biết được phương pháp ước lượng bình phương nhỏ nhất để ước lượng hàm hồi quy tổng thể dựa trên số liệu mẫu, hiểu các cách kiểm định những giả thiết,... Mời các bạn cùng tham khảo.
Trang 1• Buổi 2: Ôn lại bài, trước khi học tiếp.
1
CHƯƠNG 2
HỒI QUY ĐƠN BIẾN
2
3
1 Biết được phương pháp ước lượng bình phương nhỏ nhất để ước lượng hàm hồi quy tổng thể dựa trên số liệu mẫu
2 Hiểu các cách kiểm định những giả thiết
3 Sử dụng mô hình hồi quy để
dự báo
MỤC
TIÊU
HỒI QUY ĐƠN BIẾN
NỘI DUNG
Mô hình
1
Phương pháp bình phương nhỏ nhất (OLS)
2
3
Kiểm định giả thiết
4
Ví dụ
5
Khoảng tin cậy
4
Ví dụ
Cho số liệu về số lượng gạo bán (tấn) hàng tháng của 6 cửa hàng gạo Nếu anh A mở một của hàng gạo thì dự báo lượng gạo bán hàng tháng.
5
Cửa hàng Số lượng
Ví dụ
• Nếu anh A muốn bán gạo mức giá 6 ngàn đ/kg thì dự báo số lượng gạo bán trong tháng
6
1
2
4
5
Trang 22.1 MÔ HÌNH
Mô hình hồi quy tuyến tính hai biến (đơn biến)
PRF dạng xác định
• E(Y/Xi) = f(Xi)= β1+ β2Xi
dạng ngẫu nhiên
• Yi= E(Y/Xi) + Ui= β1+ β2Xi+ Ui
SRF dạng xác định
7
i
Yˆ ˆ1 ˆ2
i i i
i
Y ˆ ˆ1 ˆ2
2.1 MÔ HÌNH
Trong đó
• : Ước lượng cho b1
• : Ước lượng cho b2
• : Ước lượng cho E(Y/Xi)
• Sử dụng phương pháp bình phương nhỏ
nhất thông thường (OLS) để tìm ,
8
2
ˆ
1
ˆ
2
ˆ
1
ˆ
i
Yˆ
2.1 MÔ HÌNH
Y
X
9
1
2 ˆ
1
ˆ
PRF
2
SRF
Hình 2.1: Hệ số hồi quy trong hàm hồi quy PRF và SRF
2.2 PHƯƠNG PHÁP OLS
Giả sử có n cặp quan sát (Xi, Yi) Tìm giá trị Ŷisao cho Ŷigần giá trị Yinhất, tức ei= |Yi -Ŷi| càng nhỏ càng tốt.
Tuy nhiên, eithường rất nhỏ và thậm chí bằng 0
vì chúng triệt tiêu lẫn nhau Để tránh tình trạng này,
ta dùng phương pháp bình phương nhỏ nhất (Ordinary least squares OLS).
Với n cặp quan sát, muốn
10
2
1
2 1 1
2
n
i
i i
n
i
2.2 PHƯƠNG PHÁP OLS
Điều kiện (*) có nghĩa tổng bình phương các sai lệch giữa giá trị thực tế (Yi) và giá trị tính theo hàm hồi quy mẫu là nhỏ nhất.
Bài toán thành tìm , sao cho f min Điều kiện để phương trình trên đạt cực trị là:
11
2
ˆ
1
ˆ
2 ˆ
e
n
1 i i n
1 i
i 2 1 i 1
n
1 i 2 i
b
b
b
Y ˆ ˆ X X 2 e X 0 2
ˆ
e
n 1 i i i i
n 1 i
i 2 1 i 2
n 1 i 2 i
b b
b
i
Yˆ
2.2 PHƯƠNG PHÁP OLS
12
n
i
i n
i i n
i i i
n
i
n
i i i
Y X X
X
Y X
n
2 2 1
2 1
ˆ ˆ
ˆ ˆ
Hay
7
8
10
11
Trang 32.2 PHƯƠNG PHÁP OLS
• Giải hệ ta được
13
X
n
i i
n
i i i
X n X
Y X n X Y
1
2 2
1 2
) (
ˆ
X
X
x i i
Y
Y
1 i
2 i
n
1 i i i 2
x
x y ˆ
2.2 PHƯƠNG PHÁP OLS
Với
14
n
Yi
Y
là trung bình mẫu (theo biến)
n
Xi
X
gọi là độ lệch giá trị của biến so với giá trị
trung bình mẫu
x i i
Y Y
y i i
Với số liệu của thí dụ 2 chương 2 data giáo
trình kinh tế lượng
Hãy ước lượng hàm hồi quy của Y theo X
bằng cách tính toán thông thường, nêu ý
nghĩa của các tham số
Ước lượng Y, X và vẽ đồ thị bằng Eviews,
15
2.2 PHƯƠNG PHÁP OLS
Y i 70 65 90 95 110 115 120 140 155 150
X i 80 100 120 140 160 180 200 220 240 260
Đặc điểm của đường hồi quy mẫu
Một khi thu được các ước lượng từ mẫu, ta
có thể vẽ được đường hồi quy mẫu và đường này có những đặc tính sau:
16
Đặc điểm của đường hồi quy mẫu
1 Nó đi qua giá trị trung bình mẫu của X và Y,
do
17
Hình 2.2: Đường hồi quy mẫu qua giá trị trung bình
Đặc điểm của đường hồi quy mẫu
2 Giá trị ước lượng trung bình của Y bằng với giá trị trung bình của Y quan sát
3 Giá trị trung bình của sai số ei bằng 0: ē = 0.
4 Sai số eikhông có tương quan với giá trị dự báo của Yi
5 Sai số eikhông có tương quan với Xi
18
0
1
^
i n i
e i
Y
0
1
i n
i
i e X
13
14
16
17
Trang 4CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH
19
2
^ 2
^ 2
) ( ) ( )
Y iY Y iY i Y iY
TSS = RSS + ESS
• TSS (Total Sum of Squares - Tổng bình phương sai số tổng cộng –
tổng bình phương tất cả các sai lệch giữa giá trị quan sát Y với
giá trị trung bình của chúng )
• ESS: (Explained Sum of Squares – Tổng bình phương sai số được
giải thích – Tổng bình phương của tất cả các sai lệch giữa giá trị
của biến Y tính theo hàm hồi quy mẫu với giá trị trung bình)
20
CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH
) (
)
TSS
)) ( (
* ) ˆ )
ˆ )
1
2 2 2 2 2 2 2
X
X n x
Y
Y
ESS
n
i i i
• RSS: (Residual Sum of Squares - Tổng bình phương sai số của
phần dư – tổng bình phương tất cả các sai lệch giữa giá trị quan
sát của biến Y và giá trị Y nhận được từ hàm hồi quy mẫu)
21
CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH
2 2 2
i i
i i
e
chênh lệch
22
RSS
SRF
TSS Y
X
Y i
X i
i
Yˆ
Hình 2.3: Ý nghĩa hình học của TSS, RSS và ESS
TSS = ESS + RSS →
23
HỆ SỐ XÁC ĐỊNH R 2
TSS
RSS TSS
ESS
1
Hàm SRF phù hợp tốt với các số liệu quan sát (mẫu) khi gần Yi Khi đó ESS lớn hơn RSS
Hệ số xác định R2: một thước đo mức độ phù hợp của hàm hồi quy mẫu
i
Yˆ
24
Trong mô hình 2 biến, người ta chứng minh được rằng
i i
n
i i
y
x R
1 2 1
2 2 2 2
ˆ
HỆ SỐ XÁC ĐỊNH R 2
i i
n
i i
y
e TSS
RSS TSS
ESS R
1 2 1 2
19
20
22
23
Trang 5Nhược điểm: R 2 tăng khi số biến X đưa vào mô
hình tăng, dù biến đưa vào không có ý nghĩa.
=>Sử dụng R 2 điều chỉnh (adjusted R 2 -R 2 ) để
quyết định đưa thêm biến vào mô hình.
25
0≤ R 2 ≤1
Cho biết % sự biến động của Y được giải thích
bởi các biến số X trong mô hình.
R 2 =1: đường hồi quy phù hợp hoàn hảo
R 2 =0: X và Y không có quan hệ
HỆ SỐ XÁC ĐỊNH ĐIỀU CHỈNHR2
k n
n R R
1 (1 2) 1
2
• Khi k > 1, R 2 < R 2 Do vậy, khi số biến X
tăng,R 2 sẽ tăng ít hơn R 2
• Khi đưa thêm biến vào mô hình mà làm
choR 2 tăng thì nên đưa biến vào và ngược
lại
26
Hệ số tương quan r: đo lường mức độ chặt chẽ
của quan hệ tuyến tính giữa 2 đại lượng X và Y.
n
i i n
i i
n
i i i
x y
x y r
1 2 1
2 1
HỆ SỐTƯƠNG QUAN r
28
•
• r > 0: giữa X và Y có quan hệ đồng biến r-> ± 1: X và Y có quan hệ tuyến tính chặt chẽ r-> 0: X và Y có quan hệ tuyến tính không chặt chẽ
r < 0: X và Y có quan hệ nghịch biến
• Hệ số tương quan có tính chất đối xứng: rXY= rYX
• Nếu X, Y độc lập theo quan điểm thống kê thì hệ số tương quan giữa chúng bằng 0.
• r chỉ là đại lượng đo sự kết hợp tuyến tính hay phụ thuộc tuyến tính, r không có ý nghĩa để mô tả quan hệ phi tuyến.
1
1
29
HỆ SỐTƯƠNG QUAN r
và r cùng dấu với
VD:
Với R 2 = 0,81 => r = ± 0,9 = 0,9
i
Yˆ 6,25 0,75
2
ˆ
Có thể chứng minh được
2
R
r
HIỆP TƯƠNG QUAN MẪU
30
1
) )(
( ) ,
,
n
Y Y X X Y
X Cov S
i n
i i Y
Đo lường mức độ quan hệ giữa X và Y
25
26
28
29
Trang 6Tiếp tục với ví dụ trên, tính TSS, ESS, RSS
31
R2 R2 Sxy
Buổi 3:
• Gửi bảng giá trị;
• Bài tập: với số liệu các bài tập chương 2, vẽ đồ
thị, tìm phương trình hồi quy, hệ số xác định,
hệ số tương quan giữa các biến
• Ôn lại bài, trước khi học tiếp; cách sử dụng
máy tính để tính các hệ số
32
2.3 Các giả thiết của phương pháp OLS
• Giả thiết 1: Các giá trị Xi được xác định trước và
không phải là đại lượng ngẫu nhiên VD: Mẫu 1
Mẫu 2
33
Chi tiêu Y Thu nhập X
Chi tiêu Y Thu nhập X
• Giả thiết 2: Kỳ vọng hoặc trung bình số học của các sai số là bằng 0 (zero conditional mean), nghĩa là E(U/Xi) = 0
• Giả thiết 3: Các sai số U có phương sai bằng nhau (homoscedasticity)
Var(U/Xi) = σ2
34
2.3 Các giả thiết của phương pháp OLS
Phương sai sai số đồng nhất:
Var(U/Xi)
= σ2
2.3 Các giả thiết của phương pháp OLS
35
Phương sai sai số không đồng nhất:
var(U i |X i ) = i2
36
2.3 Các giả thiết của phương pháp OLS
31
32
34
35
Trang 72.3 Các giả thiết của phương pháp OLS
• Giả thiết 4: Các sai số U không có sự tương
quan, nghĩa là
Cov(Ui, Ui’) = E(UiUi’) = 0, nếu i i’
37
Một số kiểu mẫu biến thiên của thành phần
nhiễu
38
2.3 Các giả thiết của phương pháp OLS
• Giả thiết 5: Các sai số U độc lập với biến giải
thích Cov(Ui, Xi) = 0
• Giả thiết 6: Đại lượng sai số ngẫu nhiên có
phân phối chuẩn Ui ~N(0, δ2)
39
, là ước lượng điểm của , tìm được bằng phương pháp OLS có tính chất:
• , được xác định một cách duy nhất với n cặp giá trị quan sát (Xi, Yi)
• , là các đại lượng ngẫu nhiên, với các mẫu khác nhau, giá trị của chúng sẽ khác nhau
• Ta đo lường độ chính xác các ước lượng
bằng sai số chuẩn (standard error – se).
40
2
ˆ
1
ˆ
2
ˆ
1
ˆ
2
ˆ
1
ˆ
Sai số chuẩn của các ước lượng OLS
2 : phương sai nhiễu của tổng thể
2 = Var (Ui ) -> thực tế khó biết được giá trị 2 -> dùng ước lượng không chệch
41
var: phương sai se: sai số chuẩn
2 2
ˆ
2 2
n
RSS n
e i
Sai số chuẩn của hồi quy: là
độ lệch tiêu chuẩn các giá trị
Y quanh đường hồi quy mẫu
Sai số chuẩn của các ước lượng OLS
42
2
ˆ
37
38
40
41
Trang 8Sai số chuẩn của các ước lượng OLS
43
2 ˆ 2
2 )
1
ˆ
i x n
i X
2 2
ˆ )
ˆ
var(
i
x
) ˆ var(
) ˆ
se
) ˆ var(
) ˆ
se
Sai số chuẩn của các ước lượng OLS
44
2
.
2 )
ˆ
var(
ESS n i X
2 ˆ ) ˆ
var(
ˆ2 2 2
ESS
).
ˆ var(
.
2 )
ˆ
n i X
Định lý Gauss-Markov
• Định lý:Với những giả thiết (từ 1 đến 5) của mô
hình hồi quy tuyến tính cổ điển, mô hình hồi quy
tuyến tính theo phương pháp bình phương tối
thiểu là ước lượng tuyến tính không chệch tốt
nhất , tức là, chúng là BLUE.
45
Định lý Gauss-Markov
• Một ước lượng được gọi là “ước lượng không chệch tuyến tính tốt nhất” (BLUE) nếu thỏa các điều kiện:
– Nó là tuyến tính, có nghĩa là một hàm tuyến tính của một biến ngẫu nhiên,
– Nó không chệch, –Nó có phương sai nhỏ nhất, hay còn gọi là ước lượng hiệu quả (efficient estimator).
46
j j
E( )
i n i i
j k Y
1
ˆ
min ) var( j
2.4 KHOẢNG TIN CẬY CỦA HỆ SỐ HỒI QUY
Xác suất của khoảng (bi- i, bi+ i) chứa giá trị thực của bilà 1 - hay:
P(bi- i bi bi+ i) = 1 -
với
47
) ˆ ( ) 2 , 2 /
2.4 KHOẢNG TIN CẬY CỦA HỆ SỐ HỒI QUY
– (bi- i, bi+ i) : là khoảng tin cậy, – i: độ chính xác của ước lượng – 1 - : hệ số tin cậy,
– với (0 < < 1): là mức ý nghĩa
– t (/2, n-2): giá trị tới hạn (tìm bằng cách tra bảng số t-student)
– n: số quan sát
• Ví dụ: nếu = 0,05 = 5%, ta đọc “xác suất để khoảng tin cậy chứa giá trị thực của b1 , b2là 95%
48
43
44
46
47
Trang 92.4 KHOẢNG TIN CẬY CỦA HỆ SỐ HỒI QUY
– Với ví dụ trên, hãy tìm khoảng tin cậy của b1,2
– Tính
– Tính
49
2 2 ˆ
2 2
n
RSS n
ei
2
ˆ
2 2 2
ˆ ) ˆ var(
i
x
se(ˆ2) var(ˆ2)
– Tra bảng phân phối t – student giá trị
– Tính
– Tính (bi- i, bi+ i) : là khoảng tin cậy,
50
) 2 , 2 / ( n
t
) ˆ (
) 2 , 2 /
2.4 KHOẢNG TIN CẬY CỦA HỆ SỐ HỒI QUY
2 ˆ 2
2 ) 1 ˆ
i x n i X
) ˆ var(
) ˆ
se
2.4 KHOẢNG TIN CẬY CỦA 2
, : giá trị của đại lượng ngẫu nhiên phân
phối theo quy luật với bậc tự do n-2 thỏa điều
kiện
51
2 / ) (
; 1 ) (212/2 P22/2
P
2
2
/
1
2
2
/
2
( 2 ˆ ) 1
/ 2
2 2
2
/
1
n P
1 ) ˆ 2 ( ˆ
2
(
2 2 / 1
2 2
2
/
n
P
hay
- Tính RSS – Tra bảng phân phối Chi – square giá trị
là khoảng tin cậy của 2
Lưu ý (vì Nên thay (n-2) trong công thức bằng RSS)
52
2 2 /
1
và 2/2
) /( 2 2 /
1
RSS
) /( 2/2
RSS
) 2 /(
ˆ2
RSS n
2 ˆ
2.4 KHOẢNG TIN CẬY CỦA 2
• Bài tập: với số liệu các bài tập ở chương 2, tìm khoảng tin cậy của các hệ số hồi quy
53
• Buổi 4 Ôn lại bài, trước khi học tiếp
54
49
50
52
53
Trang 102.5 KIỂM ĐỊNH GIẢ THUYẾT
• Do Uitheo phân phối chuẩn, các ước lượng
OLS của b1và b2cũng theo phân phối chuẩn
vì chúng là các hàm số tuyến tính của Ui
• Chúng ta có thể áp dụng các kiểm định t, F,
và 2để kiểm định các giả thuyết về các ước
lượng OLS
55
1 Kiểm định giả thuyết về hệ số hồi quy
56
* 1
* 0
: :
i i
i
H
* 1
* 0
: :
i
i
i i
H
H
* 1
* 0
: :
i i
i
H
Hai phía:
Phía phải:
Phía trái:
2.5 KIỂM ĐỊNH GIẢ THUYẾT
57
Cách 1: Phương pháp giá trị tới hạn
Bước 1: Tính t
Bước 2: Tra bảng t-student để có giá trị tới hạn
Bước 3: Quy tắc quyết định
Nếu bác bỏ H 0 .
Nếu chấp nhận H 0 .
)
2
/
,
2
t n
t
)
2
/
2
t n
t
* 1
* 0
: :
i i
i i
H
H
1 Kiểm định giả thuyết về hệ số hồi quy
) 2 / 2 (n
t
) ˆ (
i i i
SE
t
58
Với số liệu cho ở thí dụ trên, kiểm định t
giả thiết
- Tính
- Tra bảng giá trị t α giá trị Nếu bác bỏ H0 Nếu chấp nhận H0
) 2 / 2 (
tn t
) 2 / 2 (
tn t
0 :
0 :
2 1 2 0
H H
1 Kiểm định giả thuyết về hệ số hồi quy
) 2 / , 2 (n
t
) ˆ (
i i i
SE
t
2
59
-4 -3 -2 -1 0 1 2 3 4
t
f(t)
a/2 a/2
-t
1-a
Miền bác bỏ Ho Miền bác bỏ Ho
Miền chấp nhận Ho
60
Cách 2: Phương pháp khoảng tin cậy
Khoảng tin cậy của bi:
với mức ý nghĩa trùng với mức ý nghĩa của H0
Quy tắc quyết định
- Nếu chấp nhận H0
- Nếu bác bỏ H0
) ˆ
; ˆ
i i i i
it(n2,1/2)SE(i)
) ˆ
; ˆ
*
i i i i
) ˆ
; ˆ
*
i i i i
1 Kiểm định giả thuyết về hệ số hồi quy
55
56
58
59
Trang 11Với số liệu cho ở thí dụ trên, kiểm định
bằng phương pháp khoảng tin cậy
Khoảng tin cậy giả thiết
- Tính
- Nếu bác bỏ H0
0 :
0 :
2 1 2 0
H H
1 Kiểm định giả thuyết về hệ số hồi quy
2 2 2
2 ; ˆ
2 2 2
ˆ2 2; ˆ2 2
0
62
Cách 3: Phương pháp p-value
Bước 1: Tính
Bước 2: Tính
Bước 3: Quy tắc quyết định
- Nếu p ≤ : Bác bỏ H0
- Nếu p > : Chấp nhận H0
p t T
P( i)
1 Kiểm định giả thuyết về hệ số hồi quy
) ˆ (
i
i i i SE
t
63
Cách 3: Phương pháp p-value
Bước 1: Tính
Genr t=
) ˆ (
i
i i i SE
t
1 Kiểm định giả thuyết về hệ số hồi quy
)) ˆ / ) ˆ
((ii* SEi
64
Bước 2: Tính
-Bằng Excel: TDIST( ,bậc tự do, đuôi) VD: TDIST( ,8,2)
- Bằng Eviews: genr p=@tdist( ,bậc tự do)
Vd: genr p=@tdist(2.4469,6)
p t T
P( i )
1 Kiểm định giả thuyết về hệ số hồi quy
2 /
t
i
t
2 /
t
65
Gộp bước 1, Bước 2:
Bằng Eviews:
1 Kiểm định giả thuyết về hệ số hồi quy
) ( / )
ˆ *
i i
i SE
66
Bước 3: Quy tắc quyết định
- Nếu p ≤ : Bác bỏ H0
- Nếu p > : Chấp nhận H0
1 Kiểm định giả thuyết về hệ số hồi quy
61
62
64
65
Trang 12Với số liệu cho ở thí dụ trên, kiểm định giả
thiết
0 :
0 :
2 1 2 0
H H
1 Kiểm định giả thuyết về hệ số hồi quy
68
Quyết định
Không bác
bỏ
Quyết định đúng,
xác suất 1-α
Quyết định sai, xác suất β (Sai lầm loại 2)
Bác bỏ
Quyết định sai,
xác suất α
Quyết định đúng, xác suất 1-β (Sai lầm loại 1)
69
1 Kiểm định giả thuyết về hệ số hồi quy
Hai phía βi= βi* βi≠ βi* |t|>t/2 (n-2)
Phía phải βi≤ βi* βi> βi* t>t (n-2)
Phía trái βi≥ βi* βi< βi* t<-t (n-2)
70
f(t)
a
t
a
1-a
H0 : βi ≤ βi*
H1 : βi > βi*
Miền bác bỏ Ho
Kiểm định phía phải
71
0 t
f(t)
a
-t
1-a
H0 : βi ≥ βi*
H1 : βi < βi* Kiểm định phía trái
Miền bác bỏ Ho
72
Kiểm định giả thiết H0: R 2 = 0 (tương đương H0: β2= 0 ) với mức ý nghĩa hay độ tin cậy 1 -
Bước 1:
Tính
a Phương pháp giá trị tới hạn Bước 2: Tra bảng Fvới mức ý nghĩa và hai bậc
tự do (1, n-2)
Bước 3: Quy tắc quyết định
- Nếu F > F(1,n-2): Bác bỏ H0
- Nếu F ≤ F(1,n-2): Chấp nhận H0
2 2
1 ) 2 (
R n R F
2 Kiểm định sự phù hợp của mô hình
67
68
70
71
Trang 13b Phương pháp p-value
Bước 2: Tính p-value= p (F(1,n-2)>F)
Bước 3: Quy tắc quyết định
- Nếu p ≤ : Bác bỏ H0
- Nếu p > : Chấp nhận H0
73
2 Kiểm định sự phù hợp của mô hình
74
Với số liệu cho ở thí dụ trên, kiểm định giả
thiết
0 :
0 :
2 1
2 0
R
R H H
1 Kiểm định giả thuyết về hệ số hồi quy
Miền bác bỏ Ho Miền chấp nhận Ho
F (1,n-2 ) Thống kê F
• Buổi 5 Bài tập:
• Với số liệu bài tập 2.7 ở chương 2, cho cơ cấu đầu tư chứng khoán hiệu quả như sau:
Ei=β1+β2Ϭi Kiểm tra xem số liệu có hỗ trợ lý thuyết không
• Với số liệu bài tập 2.9 ở chương 2, Có ý kiến cho rằng trong các thời kỳ trước người ta vẫn dùng 70% thu nhập để chi tiêu cho tiêu dùng
Nhận xét ý kiến này Kiểm định giả thiết hệ số hồi quy của biến xtrong hàm hồi quy tổng thể bằng 0 và cho biết ý nghĩa
76
• Buổi 5 Ôn lại bài, trước khi học tiếp
77
Với mô hình hồi quy
Cho trước giá trị X = X0, hãy dự báo giá trị trung bình và giá trị cá biệt của Y với mức ý nghĩa hay độ tin cậy 1 - .
* Ước lượng điểm Yˆ0 ˆ1 ˆ2X0
2.6 DỰ BÁO
i
Yˆ ˆ1ˆ2
73
74
76
77