Bản chất và nguyên nhân của hiện tượng tự tương quan Ước lượng bình phương nhỏ nhất khi có tự tương quan Ước lượng tuyến tính không chệch tốt nhất khi có tự tương quan Hậu quả của việc sử dụng phương pháp OLS khi có tự tương quan Phát hiện tự tương quan Các biện pháp khắc phụ
Trang 1Chương 4: Tự tương quan
(Autocorrelation)
Bản chất và nguyên nhân của hiện
tượng tự tương quan
Ước lượng bình phương nhỏ nhất khi
có tự tương quan
Ước lượng tuyến tính không chệch tốt
nhất khi có tự tương quan
Hậu quả của việc sử dụng phương
pháp OLS khi có tự tương quan
Phát hiện tự tương quan
Trang 2Bản chất và nguyên nhân của hiện tượng tự tương quan
1. Tự tương quan là gì ?
Trong mô hình hồi qui tuyến tính cổ điển,
ta giả định rằng không có tương quan giữa các sai số ngẫu nhiên ui, nghĩa là:cov(ui, uj) = 0 (i j)
Nói một cách khác, mô hình cổ điển giả
định rằng sai số ứng với quan sát nào
Trang 3Bản chất và nguyên nhân của
hiện tượng tự tương quan
Tuy nhiên trong thực tế có thể xảy ra hiện
tượng mà sai số của các quan sát lại phụ
thuộc nhau, nghĩa là:
cov(ui, uj) 0 (i j) Khi đó xảy ra hiện tượng tự tương quan.
Sự tương quan xảy ra đối với những quan sát
“cắt ngang” đgl “tự tương quan không
gian”.
Sự tương quan xảy ra đối với những quan sát
“chuổi thời gian” đgl “tự tương quan thời
gian”.
Trang 52 Nguyên nhân của tự tương quan
Quán tính: mang tính chu kỳ, VD: các chuổi số liệu
thời gian về: GDP, chỉ số giá, sản lượng, thất
nghiệp, …
Sai lệch do lập mô hình: bỏ sót biến, dạng hàm sai.
Hiện tượng mạng nhện: phản ứng của cung của
nông sản đối với giá thường có một khoảng trễ về
thời gian: QSt = 1 + 2Pt-1 + ut
Độ trễ: một hộ chi tiêu nhiều trong khoảng thời
gian t có thể do chi tiêu ít trong giai đoạn t-1
Ct = 1 + 2It + 3Ct-1 + ut
Hiệu chỉnh số liệu: do việc “làm trơn” số liệu loại
bỏ những quan sát “gai góc”.
Trang 7Ước lượng OLS khi có tự tương
quan
Giả sử tất cả các giả định đối với mô
hình hồi qui tuyến tính cổ điển đều thoả mãn trừ giả định không tương quan giữa các sai số ngẫu nhiên ut
và không còn là ước lượng hiệu
quả nữa, do đó nó không còn là ước lượng không chệch tốt nhất
^
1
ˆ2
Trang 8Ước lượng bình phương nhỏ nhất khi có tự tương quan
Xét mô hình với số liệu chuổi thời gian:
E(et) = 0; Var(et) = 2 ; Cov(et, et+s) = 0
(*): phương trình tự hồi quy bậc nhất Markov, ký hiệu:
AR(1)
Trang 9Ước lượng bình phương nhỏ
nhất khi có tự tương quan
Với mô hình AR(1), ta có thể chứng minh được:
Nếu =0, thì phương sai sai số của AR(1) bằng phương sai sai số của OLS.
Nếu sự tương quan giữa các u t và u t-1 rất nhỏ, thì phương sai sai số của AR(1) cũng bằng phương sai sai số của OLS.
Vậy n ếu tương đối lớn , các ước lượng của vẫn không chệch nhưng không còn hiệu quả nữa nên chúng không là “BLUE”.
Trang 10Ước lượng tuyến tính không
chệch tốt nhất khi có tự tương
quan
Ước lượng bình phương tổng quát (GLS) của 1
phối hợp được tham số tự tương quan vào công thức ước lượng Đó chính là lý do vì sao ước lượng bình phương nhỏ nhất tổng quát là ước lượng tuyến tính không chệch tốt nhất
và
Trang 11Ước lượng tuyến tính không
Khi = 0, không có thông tin bổ sung
cần được xem xét và vì vậy cả hai hàm ước lượng GLS và OLS là như nhau
Trang 12Hậu quả của việc sử dụng OLS
khi có tự tương quan
1. Các ước lượng OLS vẫn là các ước
lượng tuyến tính, không chệch,
nhưng chúng không phải là ước lượng hiệu quả nữa
2. Phương sai ước lượng được của các
ước lượng OLS thường là chệch Kiểm định t và F không còn tin cậy nữa
Trang 13Ví dụ
Giả sử hãy xem xét khoảng tin cậy
95% từ các ước lượng OLS[AR(1)] và GLS, giả sử giá trị đúng của 2 = 0
Xem xét một giá trị ước lượng cụ thể
của 2, chẳng hạn b2
Chúng ta chấp nhận giả thuyết H0: 2
= 0, nếu dùng khoảng tin cậy OLS; nhưng bác bỏ H0, nếu dùng khoảng tin cậy GLS
Trang 14Ví dụ
Trang 15Hậu quả của việc sử dụng OLS khi có tự tương quan
3 = RSS/df là ước lượng chệch của 2 và
trong một số trường hợp là chệch về phía dưới (underestimate)
4 Giá trị ước lượng R 2 có thể bị ước lượng
cao hơn (overestimate) và không tin cậy khi dùng để thay thế cho giá trị thực của
R 2
5 Phương sai và sai số chuẩn của các giá trị
dự báo không được tin cậy (không hiệu
quả)
2
ˆ
Trang 16Phát hiện tự tương quan
1. Phương pháp đồ thị
2. Kiểm định d của Durbin – Watson
3. Kiểm định 2 về tính độc lập của các
phần dư
Trang 17Phương pháp đồ thị
Giả định về sự tự tương quan liên quan đến
các giá trị ut của tổng thể, tuy nhiên, các
giá trị này không thể quan sát được.
Ta quan sát et, hình ảnh của et có thể cung
cấp những gợi ý về sự tự tương quan.
Ta có thể chạy OLS cho mô hình gốc và thu
thập et từ đó Vẽ đường et theo thời gian và quan sát.
Trang 19Phát hiện tự tương quan
2 Kiểm định d của Durbin – Watson
Thống kê d Durbin – Watson được định nghĩa như
sau:
d là tỷ số giữa tổng bình phương của chênh lệch giữa
2 sai số liên tiếp với RSS
Do et2 và et-12 chỉ khác nhau có một quan sát, nên
ta có thể xem chúng bằng nhau d có thể được
1 2
2 2
t
t t t
t n
t
t
n t
t t
e
e e e
e e
) e
e
( d
e t e t 1
Trang 20Kiểm định d của Durbin –
Trang 21Kiểm định d của Durbin – Watson
Trang 22Kiểm định d của Durbin –
Watson
Giả thuyết H0 Quyết định nếu
Không có tự tương quan
dương
Không có tự tương quan
dương
Không có tự tương quan âm
Không có tự tương quan âm
Không có tự tương quan âm
hoặc dương
Bác bỏ Không qđ Bác bỏ Không qđ
Trang 23Kiểm định d của Durbin –
Watson
quyết định, => một số cải biên kiểm định d:
Trang 24Kiểm định d của Durbin –
Trang 25Kiểm định d của Durbin –
Watson
Các bước thực hiện:
Chạy mô hình OLS và thu thập phần
sai số et
Tính d theo công thức trên.
Với cở mẫu n và số biến giải thích k,
tìm giá trị tra bảng dL và dU
Dựa vào các quy tắc kiểm định trên
để ra kết luận
Trang 26Kiểm định Breusch-Godfrey (BG)
Kiểm định này cho phép các biến ước lượng
không ngẫu nhiên là các biến trễ của Yt, các mối tương quan bậc cao AR(2), AR(3), … và
những trung bình di động bậc cao của sai
số “trắng”, t trong mô hình.
Giả sử có mô hình hồi quy hai biến
Yt = 1 + 2 Xt + ut, Lưu ý: Xt có thể là biến trễ của Yt.
Giả sử ut có sự tự tương quan bậc p, AR(p):
Trang 27Kiểm định Breusch-Godfrey (BG)
Các bước thực hiện kiểm định BG:
1 Ước lượng OLS mô hình gốc và thu thập sai số et, et-1,
et-2, …, et-p.
2 Hồi quy et theo các biến Xt, và các biến et-1, et-2, …, et-p
Ví dụ, p = 3, thì ta thêm 3 biến trễ vào mô hình Lưu
ý, khi chạy mô hình này, ta chỉ có (n-p) quan sát.
e t = 1 + 2 X t + 1 e t-1 + 2 e t-2 + … + p e t-p + t,
Thu thập R 2 từ mô hình ước lượng này.
3 N ếu cở mẫu lớn, BG chứng minh rằng:
(n – p)R 2 ~ p2
Nếu (n – p)R 2 > p2 tra bảng ở một mức ý nghĩa cho
trước, ta bác bỏ giả thuyết H
Trang 28Số phần dư
dương tại t -
1
A11(E11)
A12(E12)
R2
Trang 30Kiểm định 2 về tính độc lập của
các phần dư
Để kiểm định giả thuyết về tính độc lập
của các phần dư ta có thể tiến hành kiểm định giả thuyết H0: Các hàng và cột độc lập với nhau; với giả thuyết đối: H1: Các hàng và cột không độc lập với nhau
Để kiểm định giả thuyết H0 nêu trên ta
dùng tiêu chuẩn kiểm định 2 :
Trang 31dư Nếu xảy ra trường hợp trái lại thì ta
n C
Trang 32Các biện pháp khắc phục
Những việc cần làm khi phát hiện sự tự tương
quan:
1. Hãy xem xét xem hiện tượng này có phải là tự
tương quan thuần túy (pure autocorrelation)
hay là do xác định dạng mô hình sai.
2. Nếu là tự tương quan thuần túy, ta dùng
những cách chuyển đổi mô hình thích hợp.
3 Đối với mẫu lớn, ta có thể dùng phương pháp
Newey-West để thu thập s.e của các ước
lượng OLS đã được điều chỉnh cho tự tương
quan.
Trang 33Các biện pháp khắc phục
1 Trường hợp đã biết cấu trúc của tự
tương quan: Phương pháp GLS:
Trong thực hành, người ta thường giả sử rằng ut theo mô hình tự hồi qui bậc nhất, nghĩa là:
ut = ut-1 + et (*)
Trong đó < 1 và et thoả mãn các giả định của phương pháp OLS Giả sử (*) là đúng thì vấn đề tương quan chuỗi có thể được giải quyết thoả đáng nếu hệ số
Trang 34ta xét mô hình hai biến:
Trang 35Trừ (4.23) cho (4.25) ta được:
yt - yt-1 = 1(1 - ) + 1 (xt - xt – 1) + (ut - ut – 1)
= 1(1 - ) + 1 (xt - xt – 1) + et (4.26)
Trang 36 Phương trình hồi qui (**) được gọi là phương trình sai phân tổng quát (Generalized Least Square – GLS)
Để tránh mất mát một quan sát này, quan sát đầu của y và x được biến đổi như sau:
Trang 372 Trường hợp chưa biết:
Thông thường cấu trúc của tự tương quan
là không biết nên GLS khó thực hiện
2 1 Phương pháp sai phân cấp 1
Nếu = 1 thì phương trình sai phân
tổng quát (4.27) quy về phương trình sai phân cấp 1:
y t – y t – 1 = 1 (x t – x t – 1 ) + (u t – u t – 1 ) = 1 (x t – x t – 1 ) + e t
Hay:
yt = 1 xt + et (4.28)Trong đó: là toán tử sai phân cấp 1 Để ước lượng hồi qui (4.28) ta sẽ sử dụng mô
Trang 38Giả sử mô hình ban đầu là:
Trang 39 Nếu = -1 nghĩa là có tương quan âm hoàn toàn Phương trình sai phân tổng quát bây giờ có dạng: (suy ra từ 4.27)
Trang 402 2 Ước lượng dựa trên thống kê Durbin-Watson
d-d 2(1 - ) hay
=> xấp xỉ và có thể không đúng với mẫu nhỏ Đối với các mẫu nhỏ có thể sử dụng thống kê d cải biên của Theil – Nagar
2 2
2
k n
k )
/ d (
Trang 412 3 Thủ tục lặp Cochrance – Orcutt để ước lượng
Phương pháp này sử dụng các phần dư et
đã được ước lượng để thu được thông tin
về chưa biết
Ta xét phương pháp này dựa trên mô hình hai biến sau:
yt = 1 + 1xt + ut (4.34)Giả sử ut được sinh ra từ phương trình
AR(1):
ut = ut – 1 + et (4.35) Các bước ước lượng được tiến hành như
Trang 42Các bước ước lượng được tiến hành như sau:
Bước 1: Ước lượng mô hình (4.34) bằng phương pháp OLS và thu được các phần dư e t
Bước 2: Sử dụng các phần dư để ước lượng hồi qui:
et = et – 1 + vt (4.36)
L ưu ý đây là hồi quy qua gốc Do e t là ước lượng vững của ut thực nên ước lượng c ó thể thay
cho th ực.
Bước 3: sử dụng thu được từ (4.36) để ước
lượng phương trình sai phân tổng quát (4.26)
Tức phương trình:ˆ
ˆ
Trang 43Bước 4: Vì chúng ta chưa biết trước rằng thu được từ (4.36) có phải là ước lượng tốt
nhất của hay không Ta thế giá trị ước lượng của 1* và 1* thu được từ (4.37) vào hồi qui gốc (4.34) và thu được các phần dư mới et*:
et* = yt – (1* + 1* xt) (4.38)
Ước lượng phương trình hồi qui tương tự với (4.36)
et* = e*t – 1 + wt (4.39)
là ước lượng vòng 2 của
Thủ tục này tiế tục cho đến khi các ước
lượng kế tiếp nhau của khác nhau một
lượng rất nhỏ, chẳng hạn nhỏ hơn 0,05 hoặc
ˆ
ˆ
Trang 442 4 Phương pháp Durbin – Watson 2 bước để
Bước 1: Coi (4.40) như là một mô hình hồi qui
bội, hồi qui yt theo xt, xt – 1 và yt – 1 và coi giá trị ước lượng được đối với hệ số hồi qui của yt – 1 (= ) là ước lượng của Mặc dầu là ước lượng
Trang 452 4 Phương pháp Durbin – Watson 2
bước để ước lượng
Bước 2: Sau khi thu được , hãy biến đổi
yt* = yt - yt – 1 và xt* = xt - xt –1
và ước lượng hồi qui (4.27) với các biến
đã được biến đổi như trên
Như vậy, theo phương pháp này thì bước
1 là để ước lượng còn bước 2 là để thu được các tham số
ˆ
ˆ
ˆ
Trang 46Ví dụ: Cho các số liệu về thu nhập (Y) và tiêu dùng (C) trong khoảng thời gian từ
Cˆ
Trang 47Durbin – Watson d-statistic (4,30) = 1,724628
Từ kết quả trên, ta thấy = 0,97472 Dùng
quát, ta được kết quả:
Trang 48Phương pháp Newey-West để điều
chỉnh sai số chuẩn của ước lượng OLS
Các phương pháp trước chủ yếu tiến hành qua
2 bước: 1) ước lượng giá trị , và 2) dùng giá trị vừa được ước lượng để chuyển đổi mô hình hồi quy.
Phương pháp Newey-West dựa trên các ước
lượng OLS nhưng điều chỉnh sai số chuẩn để
khắc phục sự tự tương quan
Thuật toán để điều chỉnh s.e này không được
trình bày ở đây vì rất phức tạp, các phần mềm máy tính mới đều tính được các s.e điều chỉnh