Chương III: Mô hình hồi qui tuyến tính đơn

Nếu mối quan hệ giữa hai yếu tố là chính xác, các quan sát sẽ nằm trên đường thẳng và chúng ra sẽ không có vấn đề gì khi chúngta để có một ước tính chính xác về các tham số b và bX... Tr

Chương III

Mô hình hồi qui tuyến tính đơn ( mô hình hồi qui hai biến)

Giả sử rằng chúng ta có bốn quan sát với các giá trị của X được chỉ ra như trên

X

Y  1  2

b1Y

X

Nếu mối quan hệ giữa hai yếu tố là chính xác, các quan sát sẽ nằm trên đường thẳng và chúng ra sẽ không có vấn đề gì khi chúngta để có một ước tính chính xác về các tham số b và b

X

Trong thực thế, phần lớn các mối quan hệ kinh tế là không chính xác và các giá trị thực thế của Y

khác biệt so với các gia trị tương ứng ở trên đường thẳng

X

X

1 2

1  X

 

X

X

Rõ ràng, chúng ta có thể sử dụng các điểm p để về một đường thẳng mà nó có thể gần đúng với đường

thảng trong thực tế Y = b + b X Nếu ta viết đường này là Y = b + b X, b là ước lượng của b và b là

Y ˆ  1  2

b1Y

X

Đường ước lượng phù hợp được gọi là mô hình ước lượng phù hợp và các giá trị ước lượng được gọi

là giá trị ước lượng phù hợp của Y Chúng được ước lượng với các giá trị của các điểm R.

Y ˆ  1  2

b1

Yˆ (Giá trị ước lượng phù hợp)

Y (Giá trị thực tế) Y

X

Yˆ

Y  ˆ 

Y

Chú ý rằng giá trị của các sai số nó không đồng nhất với các giá trị của yếu tố ngẫu nhiên Đồ thị chỉ

ra các mối quan hệ chính xác chưa biết và đường ước lượng phù hợp.

X

X

X

Nếu giá trị ước lượng tốt, phần dư và giá trị của yếu tố ngẫu nhiên sẽ tương đối giống nhau tuy nhiên

ý nghĩa về thước đo hoàn toàn khác nhau.

X

4 2

1  X

 

X

4 2

1  X

 

X

4 2

1  X

 

X

4 2

1 b X

b 

X

Tiêu chuẩn bình phương bé nhất:

2

2 1 1

Bắt đầu, chúng ta vẽ đường ước lượng phù hợp làm sao để có thể cực tiểu tổng bình phương của các

sai số, RSS Điều này được mô tả như là tiêu chuẩn cho phương pháp bình phương bé nhất.

Tại sao lại là bình phương các sai số ? Tại sao không phải là cực tiểu tổng các sai số?

Các tiêu chuẩn cho phương pháp bình bé nhất:

Tại sao chúng ta không cự tiểu tổng các sai số

2

2 1 1

Cự tiểu RSS (tổng bình phương củacác sai số),

trong đó

Y

2 1

2 1

ˆ  





  

X

Phương pháp này chỉ ra làm thế nào để có thể tính toán hệ số hồi qui cho mô hình hồi qui đơn, Sử

dụng tiêu chí bình phương bé nhất (OLS, for ordinary least squares)

Mô hình thực tế (TT)

Mô hình ước lượng phù hợp (UL)

21

21

ˆ : hình UL Mô

: TT hình Mô

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

3 3

3

2 1

2 2

2

2 1

1 1

1

3 6

ˆ

2 5

ˆ

3 ˆ

b b

Y Y

e

b b

Y Y

e

b b

Y Y

Y

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

3 3

3

2 1

2 2

2

2 1

1 1

1

3 6

ˆ

2 5

ˆ

3 ˆ

b b

Y Y

e

b b

Y Y

e

b b

Y Y

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

12 6

RSS

0 62

28 12

RSS

Để đạt cực tiểu, điều kiện cần là đạo hàm hay vi phân riêng bậc 1 của sai sô tương ứng các tham số b1

và b2 nên bằng 0 (Bên cạnh đó phải thỏa mản điều kiện đủ về đạo hàm hay vi phân bậc hai của các

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

12 6

RSS

0 62

28 12

RSS

0 28

12 6

RSS

0 62

28 12

RSS

50 1 ,

67

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

X b b

Y

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

n n

e

X b b

Y Y

Y e

2 1

1 2 1

1 1

1 1

ˆ

Y

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

Tương tự, chúng ta có thể xác định sai số cho các quan sát còn lại Trên là sai số cho quan sát cuối

n n

e

X b b

Y Y

Y e

2 1

1 2 1

1 1

1 1

ˆ

Y

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

i i

i i

n n

n n

n n

n n

n

X b

b Y

X b

Y b

X b

nb Y

X b b Y

X b Y

b X

b b

Y

X b b Y

X b Y

b X

b b

Y

X b b

Y X

b b

Y e

e RSS

2 1 2

1

2

2 2

2 1 2

2 1 2

1

2

2 2

2 1 2

1 2 1 1

1 2 1

1

2 1

2 2

2 1

2 1

2 2

1

2 1 2 1

1

2

2 1

2 2

2

2 2

2

2 2

2

) (

) (

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

i i

i i

n n

n n

n n

n n

n

X b

b Y

X b

Y b

X b

nb Y

X b b Y

X b Y

b X

b b

Y

X b b Y

X b Y

b X

b b

Y

X b b

Y X

b b

Y e

e RSS

2 1 2

1

2

2 2

2 1 2

2 1 2

1

2

2 2

2 1 2

1 2 1 1

1 2 1

1

2 1

2 2

2 1

2 1

2 2

1

2 1 2 1

1

2

2 1

2 2

2

2 2

2

2 2

2

) (

) (

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

i i

i i

n n

n n

n n

n n

n

X b

b Y

X b

Y b

X b

nb Y

X b b Y

X b Y

b X

b b

Y

X b b Y

X b Y

b X

b b

Y

X b b

Y X

b b

Y e

e RSS

2 1 2

1

2

2 2

2 1 2

2 1 2

1

2

2 2

2 1 2

1 2 1 1

1 2 1

1

2 1

2 2

2 1

2 1

2 2

1

2 1 2 1

1

2

2 1

2 2

2

2 2

2

2 2

2

) (

) (

Khi các tham số được cộng cùng nhau.

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1 2

1

2 2

2 1

2 1

2 1

2 1

3 2

1

12 62

28 14

3 70

6 36

12 9

36

4 20

10 4

25

2 6

6 9

) 3 6

( )

2 5

( )

3 (

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b b

b b

b

b b

b b

b b

e e

e RSS

2 2

12 6

RSS

0 62

28 12

Chú ý rằng trong phương trình này các quan sát về X và Y chỉ là số liệu xác định hệ số hồi qui trong biểu thức cho tổng bình phương các sai số RSS.

2 2

12 6

RSS

0 62

28 12

Sự lựa chọn các biến trong biểu thức là b1 và b2 Điều này dường như tương đối lạ lẫm bởi vì trong các

2 2

12 6

RSS

0 62

28 12

Tuy nhiên, nếu nghi ngờ thì hãy so sánh những gì chúng ta làm trong trường hợp tổng quát với n

quan sát và những gì ta làm trong ví dụ bằng số Điều này sẽ làm rõ hơn cách tính toán hay tiếp cận

2 2

12 6

RSS

0 62

28 12

Tích phân riêng bậc 1 đối với b1

0 2

2 2

RSS

2 2

12 6

RSS

0 62

28 12

Với một số tính toán đơn giản, chúng ta có thể có được biểu thức rút gọn cho b1

0 2

2 2

Tích phân riêng bậc 1 đối với b2

1

2 2

12 6

RSS

0 62

28 12

0 2

2 2

2 2

RSS

0 2

2 2

2 2

2 2

RSS

2 2

2 2

RSS

0 2

2 2

RSS

Xi 



0 2

2 2

RSS

2 2

RSS

2 2

RSS

 X n X  X Y n X Y

Để tạo không gian, phương trình chuyển đến đầu silde.

 X n X  X Y n X Y

 X n X  X Y n X Y

Bây giờ chúng ta có thể có biểu thức cho b2

 X n X  X Y n X Y

2 2

2

X n X

Y X n Y

X b

i

i i

Trong thực tế, chúng ta nên sử dụng biểu thức thay thế này Chúng ta có thể dễ dàng chứng minh

chúng tương đương.

 X n X  X Y n X Y

2 2

2

X n X

Y X n Y

X b

i

i i

Y Y

X

X b

i

i i

Triển khai biểu thức mẫu số, chúng ta có được biểu thức như trên.

 X n X  X Y n X Y

2 2

2

X n X

Y X n Y

X b

i

i i

Y Y

X

X b

i

i i

   

Y X n Y

X

Y X n Y

n X X

n Y Y

X

Y X n Y

X X

Y Y

X

Y X Y

X Y

X Y

X Y

Y X X

i i

i i

i i

i i

i i

i i i

Trong số hạng thứ hai, giá trị trung bình của Y là thừa số chung Trong số hạng thứ ba, giá trị trung bình của X là thừa số chung Số hạn cuối cùng là giống nhau cho tất cả các i.

 X n X  X Y n X Y

2 2

2

X n X

Y X n Y

X b

i

i i

Y Y

X

X b

i

i i

   

Y X n Y

X

Y X n Y

n X X

n Y Y

X

Y X n Y

X X

Y Y

X

Y X Y

X Y

X Y

X Y

Y X X

i i

i i

i i

i i

i i

i i i

Chúng ta sử dụng định nghĩa trung bình mẫu để làm đơn giản các biểu thức.

 X n X  X Y n X Y

2 2

2

X n X

Y X n Y

X b

i

i i

Y Y

X

X b

i

i i

   

Y X n Y

X

Y X n Y

n X X

n Y Y

X

Y X n Y

X X

Y Y

X

Y X Y

X Y

X Y

X Y

Y X X

i i

i i

i i

i i

i i

i i i

Xi 



Vì thế chúng ta có thể chỉ ra rằng số hạng ở mẫu số của hai biểu thức là giống nhau.

 X n X  X Y n X Y

2 2

2

X n X

Y X n Y

X b

i

i i

Y Y

X

X b

i

i i

   

Y X n Y

X

Y X n Y

n X X

n Y Y

X

Y X n Y

X X

Y Y

X

Y X Y

X Y

X Y

X Y

Y X X

i i

i i

i i

i i

i i

i i i

Tử số theo toán học là một trường hợp đặc biệt của mẫu số khi thay thế Y bằng X Vì thế biểu thức

hoàn toàn bằng nhau.

 X n X  X Y n X Y

2 2

2

X n X

Y X n Y

X b

i

i i

Y Y

X

X b

i

i i

 Xi  X  Yi  Y    XiYi  n X Y



 Xi  X 2   Xi2  n X 2



Biểu đồ phân tán được chi ra lại Chúng ta có thể tóm tắt những gì chúng ta đã làm Chúng ta giả

thiết rằng mô hình thực tế như được chỉ ra, Chúng ta thu thập một số số liệu và chúng ta ước lựong

X b b

Y

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

Chúng ta chọn các tham số của đường ước lượng sao cho nó cực tiểu tổng bình phương của các sai số

Kết quả, chúng ta có thể rút ra biểu thức cho b1 và b2

Y Y

X

X b

i

i i

X b b

Y

u X

Y

21

21

ˆ : hình UL Mô

: TT hình Mô

Biểu đồ phân tán chỉ ra thu nhập theo giờ vào năm 2002 theo số năm đi học, được xác định là lớp học được hoàn thành cao nhất.

reg EARNINGS S

Source | SS df MS Number of obs = 540 -+ - F( 1, 538) = 112.15 Model | 19321.5589 1 19321.5589 Prob > F = 0.0000 Residual | 92688.6722 538 172.283777 R-squared = 0.1725 -+ - Adj R-squared = 0.1710 Total | 112010.231 539 207.811189 Root MSE = 13.126

EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -

S | 2.455321 .2318512 10.59 0.000 1.999876 2.910765 _cons | -13.93347 3.219851 -4.33 0.000 -20.25849 -

7.608444

-

-Đây là kết quả từ hồi qui thu nhập lên số năm đến trường sử dụng phần mền strata.

reg EARNINGS S

Source | SS df MS Number of obs = 540 -+ - F( 1, 538) = 112.15 Model | 19321.5589 1 19321.5589 Prob > F = 0.0000 Residual | 92688.6722 538 172.283777 R-squared = 0.1725 -+ - Adj R-squared = 0.1710 Total | 112010.231 539 207.811189 Root MSE = 13.126

EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -

S | 2.455321 .2318512 10.59 0.000 1.999876 2.910765 _cons | -13.93347 3.219851 -4.33 0.000 -20.25849 -7.608444 -

Chúng ta chỉ quan tâm đến các ước lượng của tham số Các biến trong hàm hồi qui được liệt kê trong cột đầu tiên và cột thứ 2 là ước lượng của các tham

reg EARNINGS S

Source | SS df MS Number of obs = 540 -+ - F( 1, 538) = 112.15 Model | 19321.5589 1 19321.5589 Prob > F = 0.0000 Residual | 92688.6722 538 172.283777 R-squared = 0.1725 -+ - Adj R-squared = 0.1710 Total | 112010.231 539 207.811189 Root MSE = 13.126

EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -

S | 2.455321 .2318512 10.59 0.000 1.999876 2.910765 _cons | -13.93347 3.219851 -4.33 0.000 -20.25849 -7.608444 -

Trong trường hợp này, chỉ có một biến , S, với hệ số hồi qui là 2.46 _cons, ở

trong strat a là hệ số chặn Ước tínhcủa hệ số chặn là -13.93

Vậy, hệ số hồi qui có ý nghĩa gì?

Để trả lời câu hỏi này, chúng ta phải chú ý đến đơn vị của các biến được đo lường

S đo lường số năm hay là số lớp mà cá nhân hoàn thành, EARNINGS là thu

nhập bằng đo la trong một giờ Vì thế hệ số góc nó có nghĩa rằng thu nhập

Chúng ta nhìn vào sơ đồ hình học về sự giải thích này Để làm điều này,

chúng ta sẽ phóng to khu vực đò thị mà chúng ta đánh dấu.

$13.07

$15.53

Chúng ta nên tự hỏi rằng các chỉ số này các chính xáckhông Nếu nó không chính xác, điều này có thể là dấu hiệu rằng mô hình của chúng ta được xác

Ở mức giáo dục thấp, các chỉ số có lẽ đúng nhưng ở mức giáo dục cao có lẽ

chúng ta ước tính hơi thấp.

Vậy hệ số cố định có ý nghĩa gì ?

Theo lý thuyết, hệ số cố định chỉ ra rằng các cá nhân không có giáo dục phải trả $13.93 giờ để được làm việc.

Giải thích trên hoàn toàn không có ý nghĩa Trong ý nghĩa những người làm thủ công,họ có thể phải trả một số chi phí ban đầu cho việc thực tập nghề,

Giải pháp an toàn cho vấn đè này là giới hạn giải thích đối với một số loạt của mẫu và tránh giải thích lên các vùng mà chúng ta không có chứng cứ về số

Với cách thức này, chỉ những hàm của các hệ số cố định cho phép chúng ta

vẽ các đường hồi qui tại các độ cao chính xác ở trên biểu đồ Tự bản thân nó

Một giải pháp khác là khám phá khả năng mà các mói quan hệ thực là phi

tuyến tính và chúng ta ước tính nó tuyến tính Chúng ta sẽ mở rộng kỹ thuật

i i

i i

e   ˆ   1  2 Y ˆi  b1  b2Xi

i i

i i

2 1

b Y

Y

X b b

Y e

Y n

e n

1 1

1

2 1

Y

Chia cho n, chúng ta có được giá trị trung bình mẫu của các sai số được thể hiện qua trung bình mẫu

các các giá trị X và Y và các hệ số hồi qui.

i i

2 1

b Y

Y

X b b

Y n

e n

1 1

1

2 1

Y

Bốn kết quả quan trọng:

i i

1 1

1

Y Y

i i

1 1

1

Y Y

Chúng ta vừa chỉ ra rằng giá trị trung bình của các sai số bằng 0, nên trung bình của giá trị ước lượng phù hợp bằng trung bình của các giá trị thực tế.

i i

 

0

2 2

1

2 1

i i

i i

i i

i

X b

X b

Y X

X b b

Y X e

2 1

i i

i i

i i

i

X b

X b

Y X

X b b

Y X e

X

2 1

i i

i i

i i

i

X b

X b

Y X

X b b

Y X e

X

Bốn kết quả quan trọng:

0



Một con đường khác chặt chẽ hơn là sử dụng đạo hàm bậc nhất có điều kiện

của b2 khi xác định hệ số hồi qui Chúng ta có thể thấy rằng nó chính xác với

0 2

2 2

RSS

0

2 2

1

2 1

i i

i i

i i

i

X b

X b

Y X

X b b

Y X e

X

 

0

ˆ

2 1

2 1

2 1

i i i

i i i

i

e X b

e n b

e X b e

b

e X b b

e Y

 

0

ˆ

2 1

2 1

2 1

i i i

i i i

i

e X b

e n b

e X b e

b

e X b b

e Y

2 1

2 1

i i i

i i i

i

e X b

e n b

e X b e

b

e X b b

e Y

             

i i

i i

Y

Bây giờ, chúng ta thảo luận về độ phù hợp của ước lượng Một thước đo về sự thay đổi của Y là tổng

ổng bình

i i

i i

i i

Y

Chúng ta tách tổng bình phương của các độ lệch thông qua con đường sử

dụng giá trị thực tế của Y trong bất kỳ quan sát nào đều bằng giá trị ước

i i

i i

i i

Y

Chúng ta thay thế cho Y i.

i i

i i

i i

i i

i i

i i

i i

i i

i i

i i

i

i i

i i

i

e Y

e Y e

Y Y

e Y Y

e Y

Y Y

Y

2 ˆ

2 ˆ

ˆ 2

ˆ

2 2

2 2

2

Chúng ta triển khai thừa số có bình phương bên phía phải của phương trình.

i i

i i

i i

i i

i

i i

i i

i

e Y

e Y e

Y Y

e Y Y

e Y

Y Y

Y

2 ˆ

2 ˆ

ˆ 2

ˆ

2 2

2 2

2

Chúng ta triển khai số hạng thứ 3 bên vế phải của phưưong trình.

i i

i i

i i

i i

i

i i

i i

i

e Y

e Y e

Y Y

e Y Y

e Y

Y Y

Y

2 ˆ

2 ˆ

ˆ 2

ˆ

2 2

2 2

i i

i i

i i

i i

i

i i

i i

i

e Y

e Y e

Y Y

e Y Y

e Y

Y Y

Y

2 ˆ

2 ˆ

ˆ 2

ˆ

2 2

2 2

2

i i

Vì thế,chúng ta đã chỉ rằng tổng bình phương của những biến đổi trong Y,

TSS, bằng tổng bình phương biến đôi của ước lượng phù hợp “ giải thích”

i i

i i

i

Từ được giải thích và không được giải thích được đặt trong ngoặc kép vì sự giải thích

có thể sai Y có thể thực tế phụ thuộc vào một biến khác Z, và X có thể hoạt động

như một biến đại diện Nó an toàn hơn để sử dụng từ rõ ràng được giải thích thay vì

             

i i

i i

i i

i

i i

i i

i

e Y

e Y e

Y Y

e Y Y

e Y

Y Y

Y

2 ˆ

2 ˆ

ˆ 2

ˆ

2 2

2 2

2

i i