Bài giảng Xác suất thông kêĐại học Bách Khoa Tp. Hồ Chí MinhChương 8: Hồi quy tuyến tính đơn

Bài giảng xác suất thống kê, bài tập xác suất thông kê được sử dụng trong trường đại học Bách Khoa Tp. Hồ Chí Minh. Bài giảng Xác suất thống kê chương 8: hồi quy tuyến tính đơn, bài tập xác suất thống kế chương 8 : hồi quy tuyến tính đơn, bài giảng hồi quy tuyến tính đơn, bài tập hồi quy tuyến tính đơn

CHƯƠNG 8 HỒI QUI TUYẾN TÍNH ĐƠN

HỒI QUI TUYẾN TÍNH ĐƠN

z Mô hồi qui tuyến tính đơn

z Phương pháp bình phương tối thiểu

z Hệ số xác định

z Hệ số xác định

z Các giả định của mô hình

z Kiểm định mức ý nghĩa

z Sử dụng mô hình hồi qui ước lượng để

ước lượng và dự đoán

Khái niệm chung

X: Biến độc lập

Y: Biến phụ thuộc

Tương quan, hồi qui

Y

Y

X

X Y

X

Hiệp tương quan (Covarian)

z X Y là hai biến

z X, Y là hai biến

z σxy = Cov(X,Y) = E [(X-μx)(Y-μy)]

) μ )(y μ (

N 1 i

Y i

X i

∑

=

−

−

x

N

1 i=

=

xy

σ

Hệ số tương quan của tập hợp chính

xy

y x Cov y

x

ρ = ( , ) = ( , ) =

z Với

Trong đó là hiệp t ơng q an (co ariance)

y x y

x

y

σ σ σ

σ

N

x

N

i

x i

x

∑

=

−

= 1

2 2

) ( μ σ

N

y

N

i

y i

y

∑

=

−

= 1

2 2

) ( μ σ

z Trong đó σxy là hiệp tương quan (covariance)

của 2 biến

Hệ số tương quan của tập hợp chính

E X Y

E X E Y

[( )( )]

[( ) ] * [(2 ) ]2

Tính chất 1 ≤ ≤ 1

ρ

=

−

=

=

∑

∑

∑

( )( ) ( ) * ( )

x i y i

N

i

N i

N

1 1

1 1

Tính chất: - 1 ≤ ρ ≤ 1

z ρ = + 1 : X, Y tương quan tuyến tính dương tuyệt đối

z ρ = - 1 : X, Y tương quan tuyến tính âm tuyệt đối

z ρ = 0 : X, Y không tương quan tuyến tính

Hệ số tương quan mẫu

z Hiệp tương quan của mẫu (Sample

Covariance))

1

) )(

( )

,

−

−

=

=

n

y y x x Y

X Cov S

i n

i i

Y

X

Hệ số tương quan mẫu

1

) )(

(

∑

=

−

−

=

n

i

i xy

y y x x S

r

2 1

2 1

) (

* )

∑

=

=

−

i i n

i i y

x

y y x

x S

S

r

x yi i nx y

i

n

−

=

∑ 1

r

i

i i

n

i i n

=

−

⎛

⎝

⎜

⎜

⎞

⎠

⎟

⎛

⎝

⎜

⎜

⎞

⎠

⎟

⎟

=

1 2 1

2

2 1

2

Hệ số tương quan mẫu

z -1 ≤ r ≤ 1

r được dùng để ước lượng hướng và độ mạnh

của mối quan hệ giữa X,Y.

z ⏐r⏐ > 0,8 tương quan mạnh

z ⏐r⏐ = 0,4 - 0,8 tương quan trung bình

z ⏐r⏐ < 0,4 tương quan yếu

⏐ ⏐

z ⏐r⏐ càng lớn thì tương quan giữa X và Y

càng chặt

Ví dụ

z Tính hệ số tương quan giữa 2 biến X Y

z Tính hệ số tương quan giữa 2 biến X, Y

cho bởi tương quan sau:

X 0 1 2 3 4

Y 6 5 7 8 4

Trường hợp 1

H0 : ρ = 0

H1: ρ ≠ 0

z R : bác bỏ H0 nếu tn-2 < - tn-2,α/2

hay tn-2 > tn-2, α/2

Với

) /(

) ( 1 r n 2

r t

2 2

r: hệ số tương quan của mẫu

n: cỡ mẫu

tn-2 : tuân theo phân phối Student t với độ tự do n-2

) /(

) ( 1 − r n − 2

Kiểm định giả thuyết về ρ

Trường hợp 2

H0 : ρ = 0

H1 : ρ > 0

z R : bác bỏ H0 nếu tn-2 > tn-2, α

Với

) /(

) ( 1 r n 2

r t

2 2

n

−

−

=

−

r: hệ số tương quan của mẫu

n: cỡ mẫu

tn-2 : tuân theo phân phối Student t với độ tự do n-2

) ( ) (

Trường hợp 3

H0 : ρ = 0

H1 : ρ < 0

z R : bác bỏ H0 nếu tn-2 < tn-2, α

Với

) /(

) ( 1 r n 2

r t

2 2

n

−

−

=

−

r: hệ số tương quan của mẫu

n: cỡ mẫu

) ( ) (

Ví dụ

Lấy mẫu ngẫu nhiên 2 biến X, Y các giá trị

(Xi,Yi ) cho bởi

1. Tìm hệ số tương quan giữa 2 biến X, Y

X 13 18 9 25 36 19

Y 70 55 100 30 15 20

2. Kiểm định giả thuyết cho rằng giữa 2 biến X, Y

không tương quan, với α = 0,05

MÔ HÌNH HỒI QUI TUYẾN TÍNH

„ Mô hìnhMô hình hồi qui tuyến tính đơnhồi qui tuyến tính đơn làlà::

„ Phương trình mô tả Phương trình mô tả yy liên hệ với liên hệ với xx như thế nào và một như thế nào và một

số hạng sai số được gọi là

số hạng sai số được gọi là mô hình hồi quimô hình hồi qui

yy = = ββ00+ ββ11xx ++εε

Với:

bb00và và bb11được gọi là được gọi là các tham số của mô hìnhcác tham số của mô hình,,

εε là biến ngẫu nhiên được gọi là là biến ngẫu nhiên được gọi là số hạng sai sốsố hạng sai số

Mô hình

Mô hình hồi qui tuyến tính đơnhồi qui tuyến tính đơn làlà::

PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN

I Phương trình hồi qui tuyến tính đơn Phương trình hồi qui tuyến tính đơn là: là:

E E((yy) = ) = ββ00+ ββ11xx

• E E((yy) ) là giá trị kỳ vọng của là giá trị kỳ vọng của yy đối với giá trị đối với giá trị xx cho trước.cho trước

• ββ11là độ dốc của đường hồi qui

• ββ00là tung độ gốc của đường hồi qui

• Đồ thị của phương trình hồi qui là đường thẳng

PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN

I Quan hệ tuyến tính đồng biến

E E((yy)) E E((yy))

Độ dốcββ11 dương

Đường hồi qui

Tung độ gốc

ββ00

xxxx

PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN

I Quan hệ tuyến tính nghịch biến

E E((yy)) E E((yy))

Độ dốcββ11 âm

Đường hồi qui

Tung độ gốc

ββ00

xxxx

âm

PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN

I Không quan hệ

E E((yy)) E E((yy))

Độ dốcββ11 Bằng 0

Đường hồi qui

Tung độ gốc

ββ00

xxxx

PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ƯỚC LƯỢNG

I Phương trình hồi qui tuyến tính đơn ước lượng

0 1

ˆy b= 0 +b x1

y b +b x

• ˆy là giá trị ước lượng của y đối với giá trị x cho trước

• bb11là độ dốc của đường

• bb00là tung độ gốc của đường

• Đồ thị được gọi là đường hồi qui ước lượng

y

QUÁ TRÌNH ƯỚC LƯỢNG

Mô hình hồi qui

yy = = ββ00+ ββ11xx ++εε

Phương trình hồi qui

E

E((yy) = ) = ββ + ββxx

Dữ liệu mẫu

x y

xx11 yy11

E

E((yy) = ) = ββ00+ ββ11xx

Tham số chưa biết

ββ00, , ββ11

.

xx nn yy nn

bb00vàbb11

Ước lượng của

ββ00vàββ11

hồi qui ước lượng

Trị thống kê mẫu

bb , , bb

0 1

ˆy b= +b x

PHƯƠNG PHÁP BÌNH PHƯƠNG

TỐI THIỂU

z Tiêu chí bình phương tối thiểu

i (∑ $ )2

min (y∑ i −y$ )i 2

Với:

yy ii= giá trị = giá trị quan sátquan sát của biến phụ thuộc của biến phụ thuộc

đối với quan sát thứ i

yy ^^=giá trịước lươngcủa biến phụ thuộc

yy ii^^= giá trị ước lươngcủa biến phụ thuộc

đối với quan sát thứ I

PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI

THIỂU

z Độ dốc của phương trình hồi qui ước lượng

( )( ) ( )

i

x x y y b

x x

=

−

∑

∑

∑

∑

=

−

−

i i

i

i i

x n x

y y

b

1

2 2

1 1

I Tung độ gốc của phương trình hồi qui ước lượng

PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU

b = −y b x

Với:

xx ii= giá trị của biến độc lập đối với quan sát thứ i

ếế

yy ii= giá trị của biến phụ thuộc đối với quan sát thứ i

nn= tổng số quan sát

yy= giá trị trung bình của biến phụ thược

xx= giá trị trung bình của biến độc lập

HỒI QUI TUYẾN TÍNH ĐƠN

I Ví dụ: Doanh số xe hơi

Quảng cáo

TV

Doanh số

h i

11

33

22

11

33

14 24 18 17 27

PHƯƠNG TRÌNH HỒI QUI ƯỚC

LƯỢNG

(x x y)( y) 20

∑

z Độ dốc của phương trình hồi qui ước

lượng

( )( ) 20

5

i

x x y y b

x x

− −

−

∑

∑

0 1 20 5(2) 10

b = −y b x = − =

z Tung độ gốc của phương trình hồi qui ước

lượng

ˆ 10 5

y= + x

z Phương trình hồi qui ước lượng

ĐỒ THỊ PHÂN TÁN ĐIỂM VÀ ĐƯỜNG

XU HƯỚNG

25

30

y = 5x + 10

0

5

10

15

20

0

Quảng cáo TV