Bài giảng Nhập môn Kinh tế lượng: Chương 3 - Phạm Trí Cao

Bài giảng Nhập môn Kinh tế lượng: Chương 3 Phân tích hồi quy bội: Vấn đề ước lượng do Phạm Trí Cao biên soạn trình bày các nội dung sau: Sự cần thiết nghiên cứu hồi quy bội, cách thực hiện và diễn giải của phương pháp OLS, giá trị kỳ vọng của ước lượng OLS, phương sai của ước lượng OLS,...

Trang 1

Chương 3

Phân tích hồi quy bội:

Vấn đề ước lượng

Wooldridge: Introductory Econometrics:

A Modern Approach, 5e

PHÂN TÍCH HỒI QUY BỘI:

VẤN ĐỀ ƯỚC LƯỢNG

•Hồi quy đơn (hồi quy 2 biến)

•y = β0+β1x1+u

•β0: hệ số chặn

•β1: hệ số góc

•Hồi quy bội 3 biến

•y = β0+β1x1+β2x2+u

•Hồi quy bội 4 biến

•y = β0+β1x1+β2x2+β3x3+u

•β0: hệ số chặn

•β1, β2, β3: hệ số góc

•y: biến phụ thuộc

•x1, x2, x3: biến độc lập

•u: sai số ngẫu nhiên, nhiễu

•β0, β1, β2, β3: hệ số hồi quy

2

3.3

3.1 Sự cần thiết nghiên cứu hồi quy bội Định nghĩa mô hình hồi quy bội (k+1 biến)

Biến phụ thuộc Biến được giải thích, Biến phản ứng,… Biến độc lập,Biến giải thích,

Biến kiểm soát,…

Sai số ngẫu nhiên, Nhiễu, Phần chưa quan sát được,…

Hệ số chặn Các hệ số góc

“Giải thích biến theo các biến “

3.6

3.8

Sự cần thiết của hồi quy bội Đưa thêm nhiều biến giải thích vào mô hình Thực hiện phân tích trong điều kiện giữ các yếu tố khác không đổi, trừ các yếu tố trong

Cho phép sử dụng dạng hàm đa dạng hơn

Ví dụ: Phương trình tiền lương

Tiền lương (USD/giờ) Số năm đi học Kinh nghiệm lao động

Tất cả các yếu tố khác Cho phép đo lường tác động của trình độ học vấn lên lương trong điều kiện kinh nghiệm là không đổi

3.1

Trang 2

Ví dụ: Điểm kiểm tra trung bình và chi phí trên mỗi sinh viên

Chi phí trên mỗi sinh viên có thể tương quan với thu nhập trung bình của các gia đình do vấn đề tài chính

Nếu bỏ biến thu nhập trung bình của gia đình ra khỏi hàm hồi quy có thể dẫn tới ước lượng tác động của chi phí trên mỗi sinh viên đến điểm trung bình bị chệch

Trong hồi quy đơn, tác động của biến chi phí trên mỗi sinh viên đến điểm số

có thể đã bao gồm luôn tác động của biến thu nhập trung bình của gia đình

Điểm trung bình của bài thi chuẩn hóa

Các yếu tố khác Chi phí trên mỗi sinh

viên của trường Thu nhập trung bình của gia đình các sinh

viên trong trường

3.2

Ví dụ: Thu nhập và chi tiêu của hộ gia đình

Mô hình có hai biến giải thích: thu nhập và thu nhập bình phương Chi tiêu được giải thích bằng hàm bậc hai của thu nhập Cần cẩn thận khi diễn giải ý nghĩa của các hệ số hồi quy:

Chi tiêu của hộ

Các yếu tố khác Thu nhập của hộ Thu nhập của hộ bình phương

Mức chi tiêu tăng thêm bao nhiêu đơn vị nếu thu nhập tăng thêm một đơn vị?

Phụ thuộc vào mức chi tiêu cụ thể đang xét

3.4

Ví dụ: tiền lương của CEO, doanh thu và thâm niên của CEO

Mô hình giả định rằng hệ số co giãn của tiền lương CEO theo doanh thu của doanh nghiệp là hằng số

Mô hình giả định rằng mối quan hệ giữa tiền lương CEO và thâm niên làm CEO có dạng hàm bậc hai

Ý nghĩa của sự “tuyến tính“ trong hồi quy

Mô hình phải tuyến tính theo tham số (không phải theo biến số)

Log của thu nhập CEO Log của doanh thu Hàm bậc hai của số năm thâm niên làm CEO

3.7

3.2 Cách thực hiện và diễn giải của phương pháp OLS Ước lượng OLS của mô hình hồi quy bội:

Mẫu ngẫu nhiên

Phần dư

Cực tiểu tổng bình phương phần dư

Việc tìm giá trị cực tiểu sẽ được thực hiện bởi phần mềm

3.12’

3.11’

Trang 3

Diễn giải ý nghĩa của mô hình hồi quy bội

Mô hình hồi quy bội cho phép giữ nguyên giá trị của các biến giải thích khác không đổi, ngay cả khi trong thực tế có thể các biến giải thích này là có tương quan với nhau

Cách diễn giải này được gọi là “Các yếu tố khác không đổi“

Chúng ta vẫn cần giả định rằng các yếu tố không quan sát được u sẽ không thay đổi khi biến giải thích thay đổi

Cho biết lượng thay đổi của biến phụ thuộc khi biến độc lập thứ j thay đổi một đơn vị, trong điều kiện các biến độc lập khác và sai số không đổi

Ví dụ 3.1: Các yếu tố tác động đến điểm GPA

Diễn giải Trong điều kiện ACT không đổi, mỗi điểm GPA trung học tăng thêm có thể làm tăng 0,453 điểm GPA đại học

Hoặc: Nếu chúng ta so sánh hai sinh viên có cùng ACT nhưng điểm hsGAP của sinh viên A cao hơn 1 điểm so với sinh viên B, thì chúng ta dự đoán rằng sinh viên A sẽ có colGPA cao hơn 0,453 điểm so với sinh viên B

Trong điều kiện điểm hsGPA như nhau, mỗi 10 điểm ACT cao hơn có thể làm điểm colGAP cao hơn 0,0094*10 = 0,094 điểm

Điểm GPA trung bình của sinh viên ở đại học Điểm GPA trung bình khi học phổ thông trung học Kết quả bài kiểm tra thành tích

3.15

Cách diễn giải tác động riêng phần trong hồi quy bội:

Hệ số hồi quy của biến giải thích trong mô hình hồi quy bội có thể được ước lượng và có thể tính toán được bằng hai bước sau:

1) Hồi quy biến giải thích này theo tất cả các biến giải thích còn lại 2) Hồi quy theo phần dư của hàm hồi quy ở bước 1

Tại sao cách này có thể thực hiện được?

Phần dư của hàm hồi quy ở bước 1 đó chính là phần còn lại của biến giải thích và phần còn lại này không tương quan với các biến giải thích khác trong mô hình

Hệ số góc trong hàm hồi quy ở bước 2 chính là tác động đã tách biệt của riêng biến giải thích đó đến biến phụ thuộc

12

•Tập tin gpa1.wf1

Dependent Variable: COLGPA Method: Least Squares Included observations: 141 Variable Coefficient Std Error t-Statistic Prob

Trang 4

13

Dependent Variable: HSGPA Method: Least Squares Included observations: 141 Variable Coefficient Std Error t-Statistic Prob

SKIPPED -0.043514 0.022730 -1.914419 0.0577

R-squared 0.194848 Mean dependent var 3.402128

• HSGPA = β0 + β1 ACT + β2 SKIPPED + β3 AGE + v

• Dùng lệnh Genr: vm=resid

14

C 3.056738 0.029654 103.0787 0.0000

VM 0.433794 0.103668 4.184439 0.0001 R-squared 0.111875 Mean dependent var 3.056738

Tính chất của ước lượng OLS với một mẫu dữ liệu bất kỳ Giá trị ước lượng (Fitted values) và phần dư

Tính chất đại số của hồi quy OLS

Giá trị ước lượng/Giá trị dự đoán Phần dư

Tổng phần dư bằng 0 Tương quan giữa biến độc

lập x j và phần dư bằng 0 Trung bình mẫu của biến phụ thuộc và các biến độc lập nằm

trên đường hồi quy

3.21 3.20

Mức độ phù hợp của hàm SRF so với mẫu khảo sát

Sự phân rã của tổng mức biến động

R bình phương (R2)

Các biểu diễn khác của R bình phương

Lưu ý rằng R 2 luôn tăng khi thêm biến độc lập vào hàm hồi quy

R 2 bằng bình phương của hệ số tương quan giữa giá trị thực tế và giá trị ước lượng của biến phụ thuộc

3.27

3.28

3.29

= ( r(y,y^)2 ) Tính chất: 0  R2 1

Trang 5

Ví dụ 3.5: Hàm hồi quy giải thích cho biến số lần bị bắt giữ

Diễn giải:

Tỷ lệ số lần bị bắt giữ trước đĩ tăng 0,5 lần thì dẫn đến số lần bị bắt giữ giảm đi 0,15*0,5 = 0,075 lần (trên 1 người) hay 7,5 lần (trên 100 người)

Số tháng bị giam tăng 12 tháng thì dẫn đến số lần bị bắt giữ của người đĩ giảm 0,034*12 = 0,408 lần

Số quý làm việc trong năm tăng 1 dẫn đến số lần bị bắt giữ của người đĩ giảm 0,104 lần (trên 1 người) hay 10,4 lần (trên 100 người)

Số lần bị bắt giữ trong năm 1986

Tỷ lệ số lần bắt giữ cĩ dẫn đến bị buộc tội trước đĩ (khơng phải %)

Số tháng bị giam trong năm 1986 Số quý làm việc trong năm 1986

Ví dụ 3.5: Hàm hồi quy giải thích cho biến số lần bị bắt giữ (tt) Nếu thêm một biến giải thích khác avgsen vào mơ hình:

Diễn giải:

Mức phạt trung bình của các lần phạm tội trước cĩ làm tăngsố lần bị bắt giữ (?) Vai trị của biến giải thích mới thêm vào khá hạn chế khi R2tăng rất ít Lưu ý chung về R2

Ngay cả khi R2 khá nhỏ (như trong ví dụ), hàm hồi quy vẫn cĩ thể dùng để phân tích tác động nhân quả riêng phần theo dạng “giữ các yếu tố khác cố định“

Mức phạt trung bình của các lần phạm tội trước

R 2 chỉ tăng nhẹ

3.3 Giá trị kỳ vọng của ước lượng OLS Các giả thiết của mơ hình hồi quy bội:

Giả thiết MLR.1 (Tuyến tính theo tham số)

Giả thiết MLR.2 (Mẫu ngẫu nhiên)

Trong tổng thể, mối liên hệ giữa biến phụ thuộc y và các biến độc lập là tuyến tính theo tham số

Mẫu dữ liệu được chọn ngẫu nhiên từ tổng thể

Vì vậy, mỗi quan sát đều tuân theo hàm hồi quy tổng thể

3.31

3.32

20

Khái niệm đa cộng tuyến Xét mô hình hồi quy bội:

y = β0 + β1x1 + β2x2 + u

y y

x1 x2 x1 x2

Không có ĐCT ĐCT thấp

y y

x1 x2 x1 x2 ĐCT vừa ĐCT cao ĐCT hoàn hảo

x2

x1

Trang 6

21

Cách tiếp cận đại số của vấn đề đa cộng tuyến:

 Nếu tồn tại các số thực 1, …, k không đồng thời bằng

0 và “số thực” c sao cho:

1x1 + 2x2 + … + kxk = c thì ta nói giữa các biến xi (i =1,…, k) xảy ra hiện tượng đa cộng tuyến hoàn hảo Ta nói các biến xi (i =1,…, k) có quan hệ tuyến tính chính xác

 Nếu tồn tại các số thực 1, , k không đồng thời bằng

0 và “số thực” c sao cho:

0 + 1x1 + 2x2 + … + k1xk1 + v = c với v là sai số ngẫu nhiên

thì ta nói giữa các biến xi (i =1,…, k) xảy ra hiện tượng đa cộng tuyến không hoàn hảo Ta nói các biến xi (i =1,…, k) có quan hệ tuyến tính không chính xác

22

Xét mô hình hồi quy bội với hai biến độc lập x1, x2:

y = β0+β1x1+ β2x2+u

* Nếu có đa cộng tuyến hoàn hảo, tồn tại ít nhất một i  0 (i= 1, 2) và c sao cho:

1x1+2x2 = c

2



* Nếu có đa cộng tuyến không hoàn hảo, tồn tại ít nhất một i  0 (i= 1, 2) và c sao cho:

1x1+2x2+v = c (v là sai số ngẫu nhiên)

23

Xét mô hình hồi quy bội với hai biến độc lập x1, x2:

y = β0+β1x1+ β2x2+u Xét hệ số tương quan r = r(x1,x2), ta có: 0  |r|  1

• r = 0: x1, x2 không có đa cộng tuyến

• r ≠ 0: x1, x2 có đa cộng tuyến

– |r| càng gần 1 thì mức độ ĐCT càng cao

– |r| càng gần 0 thì mức độ ĐCT càng thấp

– |r|=1: ĐCT hoàn hảo Lưu ý:

Chỉ đúng cho mô hình có 2 biến độc lập

24

Ví dụ:

Ta có dữ liệu giả định của các biến sau:

10

15

18

24

30

50

75

90

120

150

52

75

97

129

152

2

0

7

9

2

x1, x2 có đa cộng tuyến hoàn hảo?

x1, x2* có đa cộng tuyến hoàn hảo?

Trang 7

25

Ví dụ (tt):

Ta có x2 = 5x1 nên x1 và x2 có đa cộng tuyến hoàn hảo

Ta thấy hệ số tương quan r(x1,x2) = 1

Ta có x2*= 5x1+v, nên x1 và x2* có đa cộng tuyến không hoàn hảo

Ta thấy r(x1,x2*) = 0,9959 nên x1 và x2* có đa cộng tuyến cao, gần hoàn hảo

Các giả thiết của mô hình hồi quy bội: (tt) Giả thiết MLR.3 (Không có cộng tuyến hoàn hảo)

Lưu ý về giả thiết MLR.3 Giả thiết này chỉ loại trừ trường hợp cộng tuyến/tương quan hoàn hảo giữa các biến độc lập; các tương quan không hoàn hảo vẫn có thể xảy ra

Nếu một biến độc lập là tổ hợp tuyến tính chính xác của các biến độc lập khác thì biến độc lập đó là không cần thiết và sẽ bị loại bỏ ra khỏi hàm hồi quy

Biến hằng số cũng bị loại bỏ (vì cộng tuyến hoàn hảo với hệ số chặn)

Trong mẫu (và vì vậy trong tổng thể), không có biến độc lập nào là hằng

số và không có phụ thuộc tuyến tính chính xác giữa các biến độc lập

Ví dụ về cộng tuyến hoàn hảo: trường hợp mẫu nhỏ

Ví dụ về cộng tuyến hoàn hảo: mối liên hệ giữa các biến độc lập

Trong mẫu nhỏ, biếnavginc có thể vô tình là bội số của biến expend; khi đó không thể tách bạch tác động riêng phần cho từng biến vì biến động của chúng là như nhau

Hoặc shareA hoặc shareB sẽ bị loại ra khỏi mô hình vì có mối liên hệ tuyến tính chính xác giữa chúng: shareA + shareB = 1

Các giả thiết của mô hình hồi quy bội: (tt) Giả thiết MLR.4 (Trung bình có điều kiện bằng 0)

Trong mô hình hồi quy bội, giả thiết trung bình có điều kiện bằng 0

có nhiều khả năng được thỏa mãn hơn vì có ít yếu tố được gộp vào sai số ngẫu nhiên hơn so với hồi quy đơn

Ví dụ: Điểm kiểm tra trung bình

Giá trị của các biến giải thích không chứa bất kỳ thông tin nào về giá trị trung bình của các yếu tố không quan sát được

Nếu avginc không được đưa vào mô hình, biến này sẽ nằm trong sai số; khi

đó, khó có thể khẳng định rằng biến expend không có tương quan với sai số

3.36

Trang 8

Thảo luận về giả thiết trung bình có điều kiện bằng 0 Các biến giải thích có tương quan với sai số được gọi là biến nội sinh; Sự nội sinh là trường hợp vi phạm giả thiết MLR.4

Các biến giải thích không tương quan với sai số được gọi là biến ngoại sinh; MLR.4 được thỏa mãn nếu tất cả các biến giải thích là ngoại sinh

Sự ngoại sinh là giả thiết quan trọng cho việc diễn giải quan hệ nhân quả của hồi quy bội, và cho tính không chệch của ước lượng OLS

Định lý 3.1 (Tính không chệch của OLS)

Tính không chệch là tính chất về trung bình của các mẫu; còn khi xét một mẫu cụ thể, ước lượng tính được từ mẫu đó có thể khác xa giá trị đúng

3.37

Việc thêm biến không liên quan vào mô hình hồi quy

Bỏ sót biến có liên quan: trường hợp đơn giản

= 0 trong tổng thể Không có vấn đề gì vì

Tuy nhiên, việc thêm biến không liên quan có thể làm tăng phương sai mẫu

Mô hình đúng (chứa x1và x2)

Mô hình ước lượng (x2bị bỏ sót)

3.40 3.38

Chệch do bỏ sót biến

Kết luận: Tất cả các hệ số ước lượng được đềubị chệch

Giả sử x1và x2có tương quan và mối quan

hệ giữa chúng là tuyến tính

Đây là hệ số chặn ước lượng được khi y chỉ hồi quy theo x1

Đây là hệ số góc của

x 1 khi y chỉ hồi quy theo x1

Phần sai số

Ví dụ: Bỏ sót biến năng lực khi hồi quy tiền lương

Khi nào bỏ sót biến không gây ra sự chệch cho ước lượng?

Khi biến bỏ sót không liên quan hoặc không tương quan với các biến giải thích trong mô hình

Cả hai đều có thể mang dấu dương

Suất sinh lợi giáo dục sẽ bị ước lượng cao hơn thực tế do t Kết quả hồi quy cho thấy rằng người càng có nhiều năm đi học thì tiền lương sẽ rất cao, nhưng kết quả này có thể đúng một phần, nhưng cũng có thể là do người có trình độ học vấn càng cao thì nhìn chung năng lực cũng càng cao.

3.42

Trang 9

Tính chệch do bỏ sót biến: trường hợp tổng quát hơn

Không thể xác định rõ được chiều hướng của phần chệch Phân tích như trường hợp đơn giản nếu một biến độc lập không tương quan với các biến độc lập khác

Ví dụ: Bỏ sót biến ability trong phương trình hồi quy tiền lương

Mô hình đúng (gồm x 1 , x 2 và x 3 )

Mô hình ước lượng (x3bị bỏ sót)

Nếu exper gần như không tương quan với educ và abil , thì chiều hướng của phần chệch do bỏ sót biến có thể được phân tích như trong trường hợp đơn giản chỉ có hai biến đã xét trước đó.

3.49

3.4 Phương sai của ước lượng OLS Các giả thiết của mô hình hồi quy bội: (tt) Giả thiết MLR.5 (Phương sai thuần nhất)

Ví dụ: phương trình tiền lương

Cách ký hiệu ngắn gọn

Giá trị của các biến giải thích không hàm chứa bất kỳ thông tin nào về phương sai của các yếu tố chưa quan sát được

Giả thiết này có thể sẽ khó kiểm chứng trong nhiều trường hợp

với

Tất cả các biến giải thích được ký hiệu chung dưới dạng vector

Định lý 3.2 (Phương sai mẫu của các hệ số góc ước lượng OLS) Dưới các giả thiết từ MLR.1 đến MLR.5:

Phương sai của sai số

Tổng biến động trong mẫu của biến giải thích x j : R

2 có được khi hồi quy biến độc lập xjtheo tất cả các biến độc lập khác (hồi quy có hệ số chặn)

Các thành phần của phương sai ước lượng OLS (vấn đề đa cộng tuyến):

1) Phương sai của sai số Phương sai sai số càng lớn sẽ càng làm tăng phương sai ước lượng vì có nhiều

“nhiễu“ hơn trong phương trình Phương sai sai số lớn sẽ làm cho việc ước lượng kém chính xác Phương sai sai số không giảmkhi kích thước mẫu tăng lên 2) Tổng biến động trong mẫu của biến giải thích Tổng biến động trong mẫu của biến giải thích càng nhiều thì ước lượng thu được càng chính xác (more precise)

Tổng biến động trong mẫu sẽ tự động tăngkhi kích thước mẫu tăng

Vì vậy, tăng kích thước mẫu sẽ làm tăng sự chính xác (precision) của ước lượng

Trang 10

3) Mối quan hệ tuyến tính giữa các biến độc lập

Phương sai mẫu của sẽ càng lớn khi càng được giải thích nhiều bởi các biến độc lập khác

Vấn đề các biến độc lập gần như phụ thuộc tuyến tính nhau được gọi

là vấn đề đa cộng tuyến (nghĩa là với một vài nào đó)

Hồi quy theo tất cả các biến độc lập khác (có hệ số chặn)

R 2 của phương trình này càng cao thì xjcàng được giải thích nhiều hơn bởi các biến độc lập khác

Một ví dụ về đa cộng tuyến

Điểm trung bình bài thi chuẩn hóa của trường Chi phí cho giáo viên

Các chi phí cho dạy học Các chi phí khác

Các loại chi phí sẽ có tương quan mạnh với nhau bởi vì một trường học có nguồn lực lớn sẽ chi tiêu lớn cho tất cả các khoản chi

Rất khó để ước lượng tác động riêng phần của từng loại chi phí bởi vì tất cả các khoản chi thường cùng cao hoặc cùng thấp Để ước lượng tác động một cách chính xác (precise), chúng ta cần thêm các quan sát mà các khoản chi phí này khác nhau một cách đáng kể.

Kết quả là, phương sai mẫu của các hệ số hồi quy ước lượng được sẽ lớn.

Thảo luận về vấn đề đa cộng tuyến Trong các ví dụ trên, có thể sẽ tốt hơn nếu gom tất cả các khoản chi phí vào thành một yếu tố vì không thể tách biệt tác động của từng khoản chi Trong một số trường hợp, việc loại bỏ một số biến độc lập có thể làm giảm

đa cộng tuyến (nhưng cách làm này có thể dẫn tới sự chệch do bỏ sót biến) Chỉ có phương sai mẫu của biến bị đa cộng tuyến bị “phóng đại“, ước lượng của các biến giải thích khác có thể không bị ảnh hưởng

Lưu ý rằng đa cộng tuyến không vi phạm giả thiết MLR.3

Đa cộng tuyến có thể được phát hiện thông qua “nhân tử phóng đại phương sai“ Kinh nghiệm: nhân tử phóng đại

phương sai không nên lớn hơn 10

VIF > 10: có đa cộng tuyến cao ; VIF < 10: có đa cộng tuyến thấp

40

•Tập tin gpa1.wf1

C 0.902058 0.650366 1.387001 0.1677 HSGPA 0.433794 0.097088 4.468031 0.0000 ACT 0.014486 0.010578 1.369538 0.1731 SKIPPED -0.080661 0.026173 -3.081854 0.0025 AGE 0.019904 0.022838 0.871566 0.3850 R-squared 0.237850 Mean dependent var 3.056738 Variance Inflation Factors

Included observations: 141

Coefficient Uncentered Centered Variable Variance VIF VIF

C 0.422975 548.3964 NA HSGPA 0.009426 142.6962 1.242002 ACT 0.000112 85.81015 1.165185 SKIPPED 0.000685 2.074317 1.045578 AGE 0.000522 296.0775 1.084732

VIF < 10 : các biến độc lập có đa cộng tuyến thấp

Định dạng
Số trang	12
Dung lượng	1,37 MB