Các tiêu chuẩn lựa chọn mô hình chuỗi thời gian

Giới thiệu một số chuỗi thời gian dừng Chương này trình bày một số khái niệm cơ bản: quá trình cấp 2, hàm trungbình và hàm tự hiệp phương sai của một quá trình ngẫu nhiên, quá trình dừng

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

-TRẦN VĂN TUÂN

CÁC TIÊU CHUẨN LỰA CHỌN

MÔ HÌNH CHUỖI THỜI GIAN

Chuyên ngành: Lí thuyết xác suất và thống kê Toán học

Mã số: 60 46 01 06

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS TRẦN MẠNH CƯỜNG

HÀ NỘI - 2015

Mục lục

Lời nói đầu 3

Chương 1 Giới thiệu một số chuỗi thời gian dừng 6

1.1 Các khái niệm cơ bản 6

1.1.1 Quá trình cấp 2 6

1.1.2 Hàm trung bình, hàm tự hiệp phương sai và hàm tự tương quan 6

1.1.3 Quá trình dừng 7

1.2 Một số quá trình dừng quan trọng 10

1.2.1 Quá trình trung bình trượt cấp 1 10

1.2.2 Quá trình trung bình trượt cấp q 11

1.2.3 Quá trình trung bình trượt cấp vô hạn 12

1.2.4 Quá trình tự hồi quy cấp 1 14

1.2.5 Quá trình tự hồi quy cấp 2 17

1.2.6 Quá trình tự hồi quy cấp p 20

1.2.7 Quá trình hỗn hợp ARMA(p,q) 21

Chương 2 Một số tiêu chuẩn lựa chọn mô hình 24

2.1 Tiêu chuẩn thông tin Akaike 24

2.1.1 Khoảng cách Kullback - Leibler 24 2.1.2 Ước lượng hợp lý cực đại và khoảng cách Kullback - Leibler 26

2.1.3 Định nghĩa AIC 32

2.1.4 AIC và khoảng cách Kullback - Leibler 34

2.2 Tiêu chuẩn thông tin Bayesian (BIC) 40

2.2.1 Nguồn gốc của BIC 40

2.2.2 Định ngĩa BIC 42

2.3 Xác định bậc của mô hình ARMA bằng ACF và PACF 47

2.3.1 AFC: Hàm tự tương quan 47

2.3.2 PACF: Hàm tự tương quan riêng 49

Chương 3 Ứng dụng 55

3.1 Dữ liệu 55

3.2 Phân tích 55

3.3 Code R 59

Tài liệu tham khảo 63

Lời nói đầu

Lựa chọn mô hình (Model selection) là bài toán cơ bản của thống kê cũngnhư nhiều nghành khoa học khác Theo R.A Fisher có 3 bài toán chính trongthống kê suy luận và dự báo gồm

- Xác định mô hình (model specification)

- Ước lượng tham số (estimation of model parameters)

- Dự báo (prediction)

Trước những năm 1970 hầu hết các nghiên cứu tập trung vào hai bài toánsau với giả thiết mô hình đã biết Sau khi xuất hiện công trình của Akaike (1973)thì bài toán lựa chọn mô hình thu hút được sự quan tâm của cồng đồng làmthống kê

Với một bộ dữ liệu đưa ra, mô hình nào là tốt nhất? Để trả lời cho câu hỏitrên, người ta đã đưa ra các tiêu chuẩn thông tin để lựa chọn mô hình phù hợpnhư tiêu chuẩn thông tin của Akaike (AIC) và tiêu chuẩn thông tin của Bayesian(BIC), Việc lựa chọn mô hình phù hợp là trung tâm cho tất cả các công tácthông kê với dữ liệu Lựa chọn các biến để sử dụng trong mô hình hồi quy làmột trong những ví dụ quan trọng Luận văn của tôi trình bày hai tiêu chuẩnthông tin quan trọng đó là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thôngtin của Bayesian Luận văn gồm ba chương

Chương 1 Giới thiệu một số chuỗi thời gian dừng

Chương này trình bày một số khái niệm cơ bản: quá trình cấp 2, hàm trungbình và hàm tự hiệp phương sai của một quá trình ngẫu nhiên, quá trình dừng

và một số quá trình dừng quan trọng như: quá trình trung bình trượt cấp 1,cấp q, cấp vô hạn; quá trình tự hồi quy cấp 1, cấp2, cấp p, quá trình hỗn hợpARMA(p,q).

Chương 2 Một số tiêu chuẩn lựa chọn mô hình

Chương này trình bày khái niệm khoảng cách Kullback - Leibler, mối liên hệgiữa ước lượng hợp lý cực đại và khoảng cách Kullback - leibler, định nghĩaAIC, mối liên hệ giữa AIC và khoảng cách Kullback - Leibler, nguồn gốc vàđịnh nghĩa BIC

mô hình ARMA(i,j) với i, j = 0,1,2,3

Do thời gian và trình độ còn hạn chế nên luận văn không tránh khỏi nhữngthiếu sót, tác giả mong nhận được nhiều ý kiến đóng góp từ các thầy cô giáo vàbạn đọc để luận văn được hoàn chỉnh hơn

LỜI CẢM ƠNSau một thời gian học tập tại khoa Toán - Cơ - Tin học, trường Đại học Khoahọc Tự Nhiên, dưới sự hướng dẫn và chỉ bảo tận tình của TS Trần Mạnh Cường,tôi đã hoàn thành luận văn thạc sỹ với đề tài ”Một số tiêu chuẩn lựa chọn môhình”.

Trong suốt quá trình học tập và triển khai nghiên cứu đề tài, tôi đã nhậnđược rất nhiều sự giúp đỡ của các thầy, cô trong bộ môn Xác suất thống kê, cácthầy cô trong khoa Toán - Cơ - Tin học trường Đại học Khoa học Tự Nhiên,Đại học Quốc gia Hà Nội, đặc biệt là thầy Trần Mạnh Cường

Tôi bày tỏ lòng biết ơn chân thành và sâu sắc đến thầy Trần Mạnh Cường,người đã tận tình chỉ bảo và giúp đỡ tôi rất nhiều trong quá trình nghiên cứu

và làm đề tài Tôi gửi lời cảm ơn đến ban giám hiệu, phòng sau đại học, cácthầy cô trong khoa Toán - Cơ - Tin học nói chung và các thầy, cô trong bộ mônXác suất thống kê nói riêng đã tạo những điều kiện thuận lợi nhất để tôi có thểhoàn thành luận văn này

Giả xử X(t), t ∈ T là một quá trình ngẫu nhiên.

Hàm trung bình, kí hiệu là m(t) được định nghĩa bởi công thức sau

m(t) =EX(t).

Hàm tự hiệp phương sai, kí hiệu là r(s, t) được định nghĩa bởi công thức sau

r(s, t) =cov(X(s), X(t)) =E(X(s)− m(s))(X(t)− m(t))

=EX(s)X(t)− m(s)m(t).

Vì V arX(t) =cov(X(t), X(t)) nên V arX(t) =r(t, t)

Định nghĩa 1.1.1 Giả sử X(t), t ∈R là một quá trình cấp 2.

X(t) được gọi là một quá trình dừng (yếu) nếu hàm trung bình m(t) là hằng số(không phụ thuộc vào t) và hàm tự hiệp phương sair(s, t) chỉ phụ thuộc vào s − t.Như vậy X(t), t ∈ T là quá trình dừng khi và chỉ khi:

a) m(t) =m =const

b) Tồn tại hàm γ(t) sao cho r(s, t) =γ(s − t), ∀s, t ∈R.

(hàm γ(t) được gọi là hàm tự hiệp phương sai của quá trình dừng)

Định nghĩa 1.1.2 Giả sử X(t), t ∈ R là một quá trình dừng với hàm tự hiệp

phương sai γ(t) Hàm tự tương quan của quá trình X(t) được định nghĩa bởi

ρ(h) = γ(h)

γ(0).

Định nghĩa 1.1.3 Quá trình X(t), t ∈R được gọi là quá trình dừng mạnh nếu

với mọi ∀h ∈R và với mọi t1 < t2 < < tn, phân phối đồng thời của

{X(t1+h), X(t2+h), , X(tn+h)}

và của {X(t1), X(t2), , X(tn)} là như nhau

Nhận xét: một quá trình dừng mạnh có moment cấp 2 là quá trình dừng yếu.Điều ngược lại nói chung không đúng

Nếu một quá trình dừng yếu là quá trình Gauss thì nó sẽ là quá trình dừngmạnh bởi phân phối hữu hạn chiều của quá trình Gauss hoàn toàn được xácđịnh bởi hàm trung bình và hàm tự hiệp phương sai

Ví dụ: Giả sử U và V là hai đại lượng ngẫu nhiên không tương quan với EU =

EV = 0, EU2 =EV2=σ2 Với λ là một số thực, xét quá trình

X(t) = Ucosλt+V sinλt.

Ta có: m(t) = cosλt.EU + sinλt.EV = 0

r(s, t) =EX(s)X(t)

=E[(Ucosλs+V sinλs)(Ucosλt+V sinλt)]

=E[U2cosλs.cosλt+V2sinλs.sinλt

+U V cosλs.sinλt+U V sinλs.cosλt]

=σ2(cosλs.cosλt+ sinλs.sinλt) =σ2.cosλ(t − s).

Vậy X(t) là quá trình dừng với hàm tự hiệp phương sai γ(t) =σ2.cosλt

Ví dụ: Tổng quát hơn, giả sử U1, U2, , Un và V1, V2, , Vn là các đại lượng ngẫunhiên có

Như vậy, nếu N(t) là số biến cố xẩy ra trong khoảng thời gian (0, t) thì X(t) là

số biến cố xẩy ra trong khoảng thời gian có độ dài L tính từ thời điểm t

Ta có:

m(t) =EX(t) =E[N(t+L)− N(t)] = (t+L)λ − tλ=λL=const.

Bây giờ ta tính hàm tự hiệp phương sai r(s, t) =cov(X(s), X(t)) của X(t)

Ta có thể giả thiết 0≤ s ≤ t và phân biệt hai trường hợp:

a) t > s+L: Trong trường hợp này hai khoảng (s, s+L) và (t, t+L) là rời nhau,

do đó N(s+L)− N(s) và N(t+L)− N(t) là độc lập, do vậy không tương quan,tức là r(s, t) = 0

b) s ≤ t ≤ s+L: Trong trường hợp này ta có

1.2.1 Quá trình trung bình trượt cấp 1

Cho {εt}∞t=−∞ là quá trình ồn trắng Xét quá trình

Tất cả các tự hiệp phương sai lớn hơn 1 đều bằng 0

Nhận xét: Giá trị trung bình và tự hiệp phương sai không phụ thuộc vào thời

gian nên MA(1) là quá trình dừng với mọi giá trị của θ.

Hệ số tương quan thứ j của quá trình, kí hiệu là ρj được định nghĩa là tự hiệpphương sai thứ j chia cho phương sai

1.2.2 Quá trình trung bình trượt cấp q

Quá trình trung bình trượt cấp q, kí hiệu là MA(q) được định nghĩa bởi

0 nếu j > q

Ta có 1 kết quả thừa nhận rằng dãy vô hạn trong (1.2) sẽ là quá trình dừng nếu

j=0 ψj2< ∞ Ta thấy điều ngược lại chưa chắc đúng.Cho ví dụ chuỗi bình phương khả tổng nhưng không suy ra tính khả tổng tuyệtđối Xét ψ j = 1

Khi đó

|γj|=σ2

1.2.4 Quá trình tự hồi quy cấp 1

Quá trình tự hồi quy cấp 1, kí hiệu là AR(1) được cho bởi phương trình hồiquy sau

Với giả sử AR(1) thì

E(Yt) =E(Yt−1) =µ

Thay vào (1.7) ta được

µ=c+φµ+ 0suy ra

Tương tự nhân 2 vế của (1.8) với (Y t−j − µ) rồi lấy kỳ vọng

E[(Yt− µ)(Yt−j − µ)] = φE[(Yt−1− µ)(Yt−j − µ)] +E[εt(Yt−j − µ)] (1.10)Nhưng số hạng (Yt−j − µ) là hàm tuyến tính của εt−j, εt−j−1, εt−j−2, sẽ khôngtương quan với εt Do đó số hạng cuối của đẳng thức trên bằng 0 Hơn nữa

Như vậy với cách thứ 2 này ta tái lập được kết quả như cách ban đầu

1.2.5 Quá trình tự hồi quy cấp 2

Quá trình tự hồi quy cấp 2, kí hiệu là AR(2) được định nghĩa bởi

Yt =c+φ1Yt−1+φ2Yt−2+εt (1.11)Hoặc kí hiệu dạng toán tử

(1− φ1L − φ2L2)Yt =c+εt (1.12)Phương trình (1.11) có nghiệm ổn định của

(1− φ 1 z − φ 2 z2) = 0

nằm ngoài vòng tròn đơn vị Khi điều kiện này được thỏa mãn AR(2) là quátrình dừng và nghịch đảo của toán tử hồi quy (1.12) cho bởi

µ=c+φ1µ+φ2µ+ 0

Ta cũng suy ra được

µ= c

1− φ1− φ2

và c=µ(1− φ1− φ2) Các moment cấp 2 tính như sau

Thay giá trị của c vào (1.11) ta được

Yt =µ(1− φ1− φ2) +φ1Yt−1+φ2Yt−2+εt

(Y t − µ) = φ 1(Y t−1 − µ) +φ 2(Y t−2 − µ) +ε t (1.14)Nhân 2 vế của (1.14) với (Yt−j − µ) rồi lấy kỳ vọng

γj =φ1γj−1+φ2γj−2 (1.15)

Ta thấy hàm tự tương quan cũng có dạng phương trình bậc 2 tự hồi quy giốngnhư quá trình AR(2) Dễ dàng suy ra hàm hệ số tự tương quan thỏa mãn

ρj =φ 1 ρj−1+φ 2 ρj−2 (1.16)Xét trường hợp j = 1 ta có

γ0=φ1γ1+φ2γ2+σ2 (1.17)Vì

1− φ 2

+ φ2φ

2 1

1.2.6 Quá trình tự hồi quy cấp p

Quá trình tự hồi quy cấp p, kí hiệu là AR(p) được định nghĩa bởi

Yt=c+φ1Yt−1+φ2Yt−2+ +φpYt−p+εt (1.18)Nếu nghiệm của đa thức đặc trưng

1− φ 1 z − φ 2 z2− − φpzp= 0nằm ngoài vòng tròn đơn vị, một cách tương tự quá trình trên có thể biểu diễndưới dạng

ρj = φ1ρj−1 +φ2ρj−2 + +φpρj−p với j = 1,2, Vì vậy hàm tự tương quan

và hàm hệ số tự tương quan có dạng giống như phương trình tự hồi quy Vớinghiệm phân biệt dạng của chúng

1− φ1z − φ2z2− − φpzp= 0 (1.24)nằm ngoài vòng tròn đơn vị Nhân cả hai vế của (1.23) với (1− φ 1 L − φ 2 L2− −

Vì vậy tính dừng của quá trìnhARM A(p, q) chỉ phụ thuộc vào tham số tự hồi quy(φ1, φ2, , φp) mà không phụ thuộc vào tham số trung bình trượt (θ1, θ2, , θp).

Ta thayc=µ(1− φ1− φ2− − φp) vào phương trình (1.22) và biến đổi như sau

θjεt−j và Yt−j Vì vậy quá trình ARMA có hàm tự tương quan với j từ 1 đến qphức tạp hơn nhiều so với AR(p) tương ứng Cho j > q và các hệ số tự hồi quyphân biệt, hàm tự hiệp phương sai cho bởi

γj =h1λj1+h2λj2+ +hpλjp (1.27)Điều này giống như cấu trúc của hàm tự hiệp phương sai của quá trình AR(p).Tuy nhiên tham số hk sẽ không giống gk Có 1 thế vị thừa dư của sự tham sốhóa cho quá trình ARMA Xét ví dụ một quá trình ồn trắng đơn giản

và θ 1 =−ρ, đó là điều quan trọng để tránh sự của tham số hóa.

Mỗi 1 sự xác định tham số hóa có thể phát sinh 1 mô hình ARM A(p, q)

Xét phân tích đa thức toán tử trong (1.23)

(1− η1L)(1− η2L) (1− ηj−1L)(1− ηj+1L) (1− ηqL)Tính dừng của quá trình ARM A(p, q) thỏa mãn (1.23) rõ ràng là đồng nhất vớitính dừng của quá trình ARM A(p −1, q −1) thỏa mãn (1.31)

là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thông tin Bayesian.

2.1.1 Khoảng cách Kullback - Leibler

Trong lý thuyết xác suất và lý thuyết thông tin, khoảng cách Kullblack Leibler là một "độ đo" không đối xứng dùng để đo sự khác nhau giữa hai phân

-bố P và Q Cụ thể hơn, độ lệch Kullback - Leibler của Q khỏi P ký hiệu là KL(P

|| Q) là độ đo lượng thông tin mất đi khi dùng Q để xấp xỉ P Chính xác hơnkhoảng cách Kullback - Leibler đo số bit trung bình dư ra để mã hóa một mẫu

khi dùng Q thay vì dùng P Khái niệm này xuất hiện trong lý thuyết thông tin

và được đưa ra bởi Solomon Kullback và Richard Leibler năm 1951

Định nghĩa 2.1.1 (i) Cho các phân phối xác suất rời rạc P và Q Khoảng cáchKullblack - Leibler của Q từ P được định nghĩa là

KL(P ||Q) =X

i

P(i) lnP(i)

Q(i)(ii) Cho các phân phối xác suất liên tục P và Q Khoảng cách Kullback - Leiblercủa Q từ P được định nghĩa là tích phân

dQ là đạo hàm Radon - Nikodym của Q theo P

Nếu µ là một độ đo nào đó trên X mà p= dP

(i) KL(P ||Q) ≥0 KL(P ||Q) = 0⇔ P =Q hầu khắp nơi

(ii) Khoảng cách Kullback - Leibler là định nghĩa tốt cho phân phối liên tục vàbất biến dưới các phép biến đổi tham số

(iii) Khoảng cách Kullback - Leibler là cộng tính đối với các phân phối độclập Nếu P1, P2 là các phân phối độc lập với P(x, y) = P1(x).P2(y) và Q(x, y) =

Q 1(x).Q 2(y) khi đó

KL(P ||Q) =KL(P1||Q1) +KL(P2||Q2)(iv) Khoảng cách Kullback - Leibler của phân phối Q từ phân phối P khôngphải là khoảng cách thông thường, mà là độ đo lượng thông tin mất đi khi dùng

Q để xấp xỉ P

2.1.2 Ước lượng hợp lý cực đại và khoảng cách Kullback

- Leibler

Mục tiêu của phần này là tìm hiểu về mối liên hệ giữa phương pháp hợp

lý cựa đại và khoảng cách Kullback - Leibler trong hai trường hợp độc lậpcùng phân bố và trường hợp truy hồi quy Trước hết, chúng ta bắt đầu với mộtminh họa đơn giản để thấy được cách hoạt động của phương pháp hợp lý cực đại,

nó sử dụng dữ liệu và một mô hình tham số để cung cấp một mô hình ước lượng

Ví dụ: Ước lượng dữ liệu trọng lượng sinh thấp

Trong bộ dữ liệu về trọng lượng thấp (Hosmer and Lemeshow, 1999) có mộttổng n = 189 phụ nữ và những đứa trẻ mới sinh ở đây chúng ta chỉ ra cách màphương pháp hợp lý cực đại sử dụng để ước lượng các tham số của mô hình đưa

ra Các biến kết quảY1, , Yn độc lập là các biến ngẫu nhiên nhị phân (0 - 1), tứccho giá trị là 1 khi đứa trẻ sinh có trọng lượng thấp và 0 trong trường hợp ngượclại Các biến khác x2,i là trọng lượng của người mẹ;x3,i là tuổi người mẹ; x4,i chỉchủng tộc đen; x5,i chỉ chủng tộc khác Chúng ta có xi = (1, x2,i, x3,i, x4,i, x5,i)t.Hầu hết mô hình thông thường cho các tình huống như vậy là mô hình hồi quylogistic, cho công thức

P(Yi = 1|xi) = pi = exp(x

t

i θ)

1 + exp(xtiθ)

với i= 1, , n;θ là một vectơ tham số 5 chiều hàm hợp lý L n(θ) là tích của các

với yobs là giá trị dữ liệu quan sát Chúng ta thường làm việc với loga hàm hợp

lý `n(θ) = logLn(θ) thay vì hàm hợp lý Ước lượng hợp lý cực đại của θ làm cựcđại Ln(θ) là

a Trường hợp độc lập và cùng phân phối

Hàm hợp lý và loga hàm hợp lý có thể được viết là

Ước lượng hợp lý cực đại ˆθ mà cực đại ` n(θ) có xu hướng hội tụ hầu chắc chắntới θ0 là giá trị cực tiểu của khoảng cách Kullback - Leibler từ mô hình thật tới

mô hình xấp xỉ Như vậy

J =−EgI(Y, θ0) và K =V argu(Y, θ0) (2.2)Các ma trận cỡ p × p là giống nhau khi g(y) bằng với f(y, θ0), ∀y Trong cáctrường hợp như vậy, ma trận

Dưới các điều kiện chính quy và cơ bản khác nhau, có thể chứng minh rằng

√

n(ˆθ − θ0)− → Jd −1U0 =Np(0, J−1KJ−1).

b Trường hợp hồi quy

Các mô hình hồi quy bao gồm các quan sát (xi, Yi) Ký hiệu g(y|x) là mật độthật cho Y |x Mô hình tham số sử dụng mật độ f(y|x, θ), khi đó loga hàm hợp

KLx(g(.|x), f(.|x, θ)) =

Z

g(y|x) log g(y|x)

f(y|x, θ)dyMột cách đầy đủ khoảng cách Kullback - Leibler đạt được bởi tích phân KLx

theo phân phối covarian

KL(g, fθ) =

Z Z

g(y|x) log g(y|x)

f(y|x, θ)dydC(x)

Ước lượng hợp lý cực đại ˆθ có xu hướng hội tụ hầu chắc chắn tới giá trị tham

Chú ý rằngJ n =K n khi mô hình giả định bằng với mô hình thật và trong trườnghợp này ˆJn và ˆKn là các ước lượng của cùng một ma trận.

Ví dụ: Hồi quy tuyến tính chuẩn

Giả sử Yi = xtiβ+σεi với β là một vectơ p - chiều của các hệ số hồi quy, ở

1 Sau khi tính toán dẫn đến

n =n−1Pni=1x i xti, k 3=Eε3i và k 4=Eε4i −3

Ví dụ: Hồi quy Poisson

Xem xét mô hình hồi quy Poisson cho dữ liệu độc lập Y 1 , , Y n trong các

số hạng của các vectơ covarian p - chiều x1, , xn mà Yi là Poisson với tham số

ξi = exp(xtiβ) Ta có

f(Y i |x i , β) = e

−ξ i (ξi)Y i

Yi!

là tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian.

2.1.1 Khoảng cách Kullback - Leibler

Trong lý thuyết xác suất lý thuyết thông tin, khoảng cách Kullblack... Khoảng cách Kullback - Leibler phân phối Q từ phân phối P khôngphải khoảng cách thông thường, mà độ đo lượng thông tin dùng

Q để xấp xỉ P

2.1.2 Ước lượng hợp lý cực đại khoảng cách... Trước hết, bắt đầu với mộtminh họa đơn giản để thấy cách hoạt động phương pháp hợp lý cực đại,

nó sử dụng liệu mơ hình tham số để cung cấp mơ hình ước lượng

Ví dụ: Ước lượng liệu trọng