Kỹ thuật dự báo dựa theo hồi quy Vector hỗ trợ và thử nghiệm áp dụng dự báo thành tích vận động viên

Yêu cầu chung của bài toán dự báo thành tích thể thao là làm cách nào để có thể phân tích và sử dụng chuỗi dữ liệu trong quá khứ để dự đoán được thành tích trong tương lai.. Luận văn này

ĐẠI HỌC QUỐC GIA HÀ NỘI

Ngành: Công nghệ thông tin

Chuyên ngành: Hệ thống thông tin

Mã số: 60 48 05

TÓM TẮT LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội - 2012

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 2

MỤC LỤC 3

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT 5

DANH MỤC BẢNG BIỂU 6

DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ 7

MỞ ĐẦU 8

CHƯƠNG 1 PHƯƠNG PHÁP HỒI QUY VECTOR HỖ TRỢ 10

1.1.Một số kiến thức cơ sở cho hồi quy vector hỗ trợ 10

1.1.1 Sơ bộ về lý thuyết học thống kê 10

1.1.2 Nguyên tắc tối thiểu hóa rủi ro thực nghiệm 11

1.1.3 Nguyên tắc tối thiểu hóa rủi ro cấu trúc 12

1.1.4 Lý thuyết đối ngẫu 14

1.1.5 Điều kiện Karush – Kuhn – Tucker 15

1.2.Khái niệm về hồi quy vector hỗ trợ 16

1.2.1 Hồi quy 16

1.2.2 Hồi quy vector hỗ trợ 18

1.3.Ứng dụng của phương pháp hồi quy vector hỗ trợ 22

1.4.Kết luận chương 1 25

CHƯƠNG 2 DỰ BÁO DỰA TRÊN HỒI QUY VECTOR HỖ TRỢ 26

2.1 Giới thiệu sơ bộ về dự báo 26

2.2 Dự báo hồi quy vector hỗ trợ với hàm nhân 29

2.3 Dự báo dựa trên hồi quy vector hỗ trợ và thuật toán di truyền 32

2.3.1 Giải thuật di truyền 32

2.3.2 Ứng dụng giải thuật di truyền tối ưu hóa tham số của SVR 36

2.4 Kết luận chương 2 41

CHƯƠNG 3 THỬ NGHIỆM ÁP DỤNG HỒI QUY VECTOR HỖ TRỢ DỰ BÁO THÀNH TÍCH VẬN ĐỘNG VIÊN 42

3.1 Bài toán dự báo dãy thành tích vận động viên 42

3.1.1 Dự báo thành tích thành tích chạy 100m 42

3.1.2 Dữ liệu 43

3.1.3 Phân tích dữ liệu 43

3.2 Áp dụng phương pháp hồi quy vector hỗ trợ dự báo thành tích vận động viên 46

3.2.1 Môi trường thực nghiệm 46

3.2.2 Quy trình thực nghiệm 46

3.2.3 Kết quả thực nghiệm 47

3.2.4 Đánh giá kết quả 50

3.3 Kết luận chương 3 51

KẾT LUẬN 52 TÀI LIỆU THAM KHẢO 54

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

DANH MỤC BẢNG BIỂU

Bảng 1: kết quả thử nghiệm mô hình đề xuất mạng SVR [11] 23 Bảng 2: so sánh phương pháp đề xuất với phương pháp khác [33] 24 Bảng 3: kết quả thực nghiệm sử dụng SVR trong dự báo thời gian du lịch [12] 25 Bảng 4: mối tương quan giữa thành tích các test chuyên môn với thành tích chạy 100m 45 Bảng 5: lựa chọn giá trị các tham số cho mô hình thực nghiệm 47 Bảng 6: kết quả thực nghiệm với mô hình SVR 50 Bảng 7: đối sánh phương pháp của luận văn với phương pháp hiện thời tại Việt Nam

…… ………….51

DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ

Hình 1: tối thiểu hóa rủi ro cấu trúc (SRM) 14

Hình 2: tổn thất lề mềm thiết đặt cho SVM tuyến tính [10] 20

Hình 3: các bước thực hiện dự báo [18] 29

Hình 4: lưu đồ thuật toán giải thuật di truyền 36

Hình 5: lưu đồ thuật toán tối ưu mô hình SVR dựa trên giải thuật GA 40

Hình 6: sự ảnh hưởng của thành tích các test chuyên môn tới thành tích chạy 100m 45

Hình 7: kết quả thực nghiệm mô hình SVR với nhân RBF 48

Hình 8: kết quả thực nghiệm mô hình SVR với nhân Polynomial 48

Hình 9: kết quả thực nghiệm mô hình với nhân RBF 49

Hình 10: kết quả thử nghiệm mô hình hồi quy vector hỗ trợ với nhân Polynomial 49

MỞ ĐẦU

Đạt thành tích cao ở trình độ Đông Nam Á, Châu Á, khu vực và quốc tế của thể thao Việt Nam nói chung và của Điền kinh Việt Nam nói riêng là mục tiêu cần vươn tới của thể dục thể thao Việt Nam [3] Chính vì vậy, các nhà khoa học thể dục thể thao luôn cố gắng tìm tòi và xây dựng quy trình đào tạo vận động viên (VĐV) ở tất cả các môn thể thao Trong đó, hệ thống tuyển chọn tài năng thể thao đóng một vai trò quan trọng

Bài toán dự báo thành tích thể thao nói chung và bài toán dự báo thành tích chạy ngắn cự ly 100m của VĐV nói riêng có ý nghĩa quan trọng trong lĩnh vực tuyển chọn tài năng thể thao Dự báo chính xác thành tích của VĐV cho phép nâng cao chất lượng và hiệu quả của quá trình đào tạo VĐV

Yêu cầu chung của bài toán dự báo thành tích thể thao là làm cách nào để

có thể phân tích và sử dụng chuỗi dữ liệu trong quá khứ để dự đoán được thành tích trong tương lai

Ở Việt Nam, nghiên cứu về tuyển chọn và dự báo thể thao còn nhiều hạn chế Cho đến nay, mới chỉ có một vài nghiên cứu của tác giả: Đàm Công Chính (2000) [3] và Bùi Quang Hải (2008) [4] Cả hai tác giả trên đều sử dụng mô hình hồi quy tuyến tính cho mô hình dự báo trong nghiên cứu của mình

Trên thế giới, thời gian gần đây, có một số công trình nghiên cứu [20, 24]

đã sử dụng kỹ thuật khai phá dữ liệu trong lĩnh vự dự báo thể thao Tuy nhiên, các nghiên cứu này chủ yếu tập trung vào dự đoán xếp hạng của các đội tuyển thể thao ở môn Bóng đá, Bóng rổ

Dự báo thành tích thể thao thuộc lớp bài toán dự báo hồi quy Trên thế giới,

xu hướng nghiên cứu nổi bật về dự báo hồi quy và dự báo chuỗi thời gian trong thời gian gần đây là sử dụng kỹ thuật dự báo dựa vào hồi quy vector hỗ trợ (Support Vector Regression (SVR))

Từ những lý do trên và được sự giúp đỡ, đồng ý của giáo viên hướng dẫn

PGS.TS Hà Quang Thụy, tác giả quyết định lựa chọn nghiên cứu đề tài: “Kỹ thuật dự báo dựa theo hồi quy vectơ hỗ trợ và áp dụng thử nghiệm dự báo thành tích vận động viên”

Luận văn này tập trung vào nghiên cứu thực hiện kết hợp SVR với giải thuật di truyền để tối ưu hóa các tham số của SVR và ứng dụng vào bài toán dự

báo thành tích chạy ngắn cự ly 100m của vận động viên (VĐV) nữ nhằm tăng

độ chính xác dự báo

Nội dung của luận văn được tổ chức thành ba chương, được mô tả sơ bộ như sau:

Chương 1: phương pháp hồi quy vector hỗ trợ Chương này trình bày

một số kiến thức cơ sở cho SVR, lý thuyết về SVR và một số ứng dụng của SVR

Chương 2: dự báo dựa trên hồi quy vector hỗ trợ Chương này trình bày

lý thuyết về dự báo, dự báo dựa trên SVR và kỹ thuật sử dụng giải thuật di truyền để tối ưu hóa tham số cho SVR

Chương 3: thử nghiệm áp dụng SVR dự báo thành tích VĐV Chương

này trình bày về bài toán dự báo thành tích chạy cự ly 100m của VĐV nữ, các phương pháp đánh giá kết quả dự báo thành tích chạy 100m của VĐV Từ đó đánh giá khả năng ứng dụng phương pháp vào dự báo thành tích chạy 100m của VĐV

CHƯƠNG 1 PHƯƠNG PHÁP HỒI QUY VECTOR HỖ TRỢ

1.1.1 Sơ bộ về lý thuyết học thống kê

Theo Alexander J Smola và Bernhard Schölkopf, 2004 [10], hồi quy vector hỗ trợ dựa trên lý thuyết học thống kê Lý thuyết học thống kê cung cấp một khuôn khổ nghiên cứu các vấn đề về khám phá tri thức, dự báo và đưa ra các quyết định [29]

Theo Theodoros Evgeniou và Massimiliano Pontil [29], trong lý thuyết thống kê, bài toán học giám sát được thực hiện như sau

Cho một tập dữ liệu huấn luyện: (x1, y1), …, (xl, yl)  RnR, trong đó các mẫu, xi  Rn, các giá trị yi  R là giá trị của một hàm f(x) tại giá trị tương ứng xi; tập {(x1, y1)i=1, ,l}được lấy theo một phân bố xác suất P(x,y) Hàm f(x) trên toàn bộ không gian Rn

là chưa biết mà chỉ biết giá trị của nó tại các điểm P={xi}i=1, ,l Cần biết giá trị của f(x) tại các điểm x  Rn \ P và giá trị này được xấp xỉ bằng f(x, ), trong đó f(., ) với    (: không gian tham số mà  có thể nhận) là một hàm xấp xỉ f(x) Tương ứng với mỗi hàm xấp xỉ f(x, ) là một hàm tổn thất do xấp xỉ L(y, f(x, )) thể hiện độ sai khác của f(x) và f(x, ) Mục đích của vấn đề học giám sát là tìm hàm một f(x, ) sao cho f(., ) tối thiểu hóa

lỗi trung bình (còn được gọi là rủi ro kỳ vọng) Nghĩa là học giám sát có mục

tiêu tìm một hàm f để tối thiểu hóa lỗi trung bình:

R (  )   L(y, f( x )) dP( x , y) (1)

Ở đây, P(x,y) = P(x)P(y|x)

Cũng theo Theodoros Evgeniou và Massimilian Pontil, giả sử rằng rủi ro

kỳ vọng đã được xác định trên một lớp hàm F và hàm f(x, 0) là tối thiểu hóa rủi

ro kỳ vọng trong F Khi đó, f(x, 0) được ước lượng một cách lý tưởng và được gọi là hàm mục tiêu Tuy nhiên trên thực tế, hàm này không thể tìm được vì phân bố xác suất P(x,y) dùng để định nghĩa rủi ro kỳ vọng là chưa biết mà chỉ biết tập dữ liệu huấn luyện Để giải quyết vấn đề này, cần có một nguyên tắc để

có thể “học” từ một tập dữ liệu hữu hạn Đó chính là nguyên tắc tối thiểu hóa rủi

ro thực nghiệm (Empirical Risk Minimization)

1.1.2 Nguyên tắc tối thiểu hóa rủi ro thực nghiệm

Nguyên tắc tối thiểu hóa rủi ro thực nghiệm là cơ sở của lý thuyết học

thống kê do V.N.Vapnik phát triển [30]

Với giá trị đầu ra y là giá trị thực và tập hàm thực {f(x, ),  } với ràng buộc hồi quy:

f(x,0) ydP(y|x) (2) Biêt rằng, nếu f(x, )  L2 thì hàm hồi quy là một trong những hàm tối thiểu hóa (1) với hàm tổn thất

R (4)

Nguyên tắc tối thiểu hóa rủi ro thực nghiệm được sử dụng để tối thiểu hóa rủi ro của hàm (3) trong trường hợp phân bố xác suất P(z) chưa biết Thay thế hàm rủi ro kỳ vọng R() bởi hàm rủi ro thực nghiệm:

1 ) (  (5) Với hàm tổn thất (3), (5) được viết lại:

1 ) (  (6)

Remp() được gọi là sai số thực nghiệm Việc tìm ra i ứng với Remp() nhỏ

nhất được gọi là nguyên tắc tối tiểu hóa rủi ro thực nghiệm (còn gọi là phương

pháp bình phương cực tiểu)

Theo V.N Vapnik [31], để tối thiểu hóa rủi ro thực nghiệm hội tụ thì điều

kiện cần và đủ là Remp() hội tụ theo xác suất về R(0) khi l 

Lý thuyết hội tụ rủi ro thực nghiệm là lý thuyết tiệm cận [31] Nó mô tả các điều kiện cần và đủ để các giải pháp hội tụ bằng việc sử dụng phương pháp đề xuất tốt nhất có thể, ví dụ như tăng số lượng mẫu học

Định lý hội tụ [31]

Cho Q(z, ),    là một tập các hàm có tổn thất bị chặn với xác suất P(z)

AQ(z,)dP(z) B ,     (7) Khi đó, điều kiện cần và đủ để sai số thực nghiệm R emp () hội tụ đều về sai

số thật R() là:

0 ))

( )

( ( sup

Hơn nữa, nguyên tắc cực thiểu hóa rủi ro thực nghiệm chỉ làm việc với tập

dữ liệu học lớn [29, 31] Vậy trong trường hợp, tập dữ liệu học nhỏ thì phải làm như thế nào? Nguyên tắc tối thiểu hóa rủi ro cấu trúc (Structural risk minimization: SRM) [29-31] sẽ giải quyết vấn đề này

1.1.3 Nguyên tắc tối thiểu hóa rủi ro cấu trúc

Theo V.N Vanik [30], nguyên tắc tối thiểu hóa rủi ro cấu trúc cho phép chúng ta tìm lời giải "xấp xỉ" của bài toán khi số lượng mẫu học là nhỏ

Tối thiểu hóa rủi ro cấu trúc là một nguyên tắc cảm ứng để lựa chọn mô hình cho việc học từ tập dữ liệu học hữu hạn Nó mô tả một mô hình chung kiểm soát và cung cấp khả năng cân bằng giữa sự phức tạp của không gian giả thuyết (Chiều VC của hàm xấp xỉ) và lỗi thực nghiệm

Định nghĩa chiều VC [30]

 Chiều VC của hàm nhận dạng (hàm chỉ số): Chiều VC của một tập

hàm Q(z, ),    là con số lớn nhất h sao cho có thể chọn được h phần tử z1, …, zh mà chúng có thể được đánh số là 0 hoặc 1 theo tất

cả 2h

phương án

 Chiều VC của hàm giá trị thực (hàm hồi quy): Cho tập a ≤ Q(z,  ) ≤

0 )

(u



Nhƣ vậy, chiều VC của tập hàm giá trị thực đƣợc định nghĩa là chiều VC của tập hàm chỉ số ( Q(z,  ) - )

Các thủ tục của nguyên tắc tối thiểu hóa rủi ro cấu trúc [30]:

1 Sử dụng tiền tri thức miền, chọn một lớp hàm S, ví dụ: hàm đa thức

bậc n, mạng neuron có n nút, mô hình logic mờ với n quy tắc, …

2 Chia lớp hàm thành n tập con lồng nhau với độ phức tạp tăng dần

S1  S2  …  Sn … (9)

Với S k = {Q(z,),   k } và 

k k

z EQ

S* là trù mật khắp nơi trong tập S trong không gian metric Ll(F)

Vì các Sk lồng nhau nên

h1  h2  … hn  … B1  B2  … Bn  …

1  2  … n  …

3 Thực hiện tối thiểu hóa rủi ro thực nghiệm trên mỗi tập con Sk

4 Chọn mô hình có tổng rủi ro thực nghiệm và độ tin cậy VC( VC

confidence) nhỏ nhất

Nếu u < 0 Nếu u ≥ 0

S* Sn

Hình 1: Tối thiểu hóa rủi ro cấu trúc (SRM)

1.1.4 Lý thuyết đối ngẫu

Tương ứng với mỗi bài toán tối ưu (gọi là bài toán gốc) có một bài toán tối

ưu khác liên quan chặt chẽ với bài toán đó (gọi là bài toán đối ngẫu) [8] Bài toán gốc và bài toán đỗi ngẫu của nó lập thành một cặp bài toán tối ưu, tính chất của bài toán này có thể được khảo sát thông qua bài toán kia Với một vài giả thiết về tính lồi, bài toán gốc và bài toán đối ngẫu có cùng tập nghiệm (cực tiểu của bài toán gốc bằng với cực đại của bài toán đối ngẫu) Vì vậy, từ nghiệm của bài toán đối ngẫu, ta có thể suy ra nghiệm của bài toán gốc và ngược lại

Vấn đề đối ngẫu rất có ích Trong nhiều trường hợp, để giải bài toán gốc là quá phức tạp nên người ta chuyển qua giải bài toán đối ngẫu để đơn giản hơn SVR sử dụng phương pháp đối ngẫu này

Để đơn giản, ở đây chỉ trình bày bài toán gốc là bài toán quy hoạch tuyến tính

Phát biểu bài toán đối ngẫu:[8]

Cho bài toán gốc:

Min f(x) = cx c R n

Với điều kiện: g(x) = ax ≤ b, i = 1, , m

x  0

Rủi ro ràng buộc Khoảng tin cậy Rủi ro thực nghiệm

S1

Các u i là các các biến đối ngẫu Bài toán gốc có m ràng buộc nên bài toán

đối ngẫu có m biến đối ngẫu Biến đối ngẫu ui ứng với ràng buộc thứ i của bài toán gốc

1.1.5 Điều kiện Karush – Kuhn – Tucker

Điều kiện Karush – Kuhn – Tucker đƣợc phát biểu nhƣ sau [8, 23]

Xét vấn đề sau:

Cho một tập mở khác rỗng X  R n , và các hàm f, g i : R n  R, , i = 1 m Xét bài toán P:

) (

min f x

S

x , S = {x X: g i (x) 0, i = 1 m}

Với điều kiện: g i (x)  0 với i = 1 m

Nếu f(x) là hàm lồi, khả vi tại x 0 và S là tập lồi với g i (x),  i  I, I = {i:

g i (x 0 ) = 0} là các hàm liên tục, khả vi tại x 0 thì điều kiện cần và đủ để f(x 0 ) là cực tiểu của f(x) là:

Tồn tại u 1 , , u n sao cho:

m i x

g

u

x g u x

0 ) ( )

(

0

0 0

f(x 0 ),g i (x 0 ) là đạo hàm riêng của f(x) và g i (x) tại x 0

Ngược lại, cho x 0  S và các điều kiện sau được thỏa mãn:

-  u i 0,  i  I sao chof(x0) u ig i(x0)  0

- Các hàm f, gi,  i  I là các hàm lồi và khả vi tại x 0

Lúc đó, x 0 là điểm cực tiểu của bài toán P

1.2.1 Hồi quy

 Định nghĩa hồi quy

Có rất nhiều tác giả đƣa ra định nghĩa về hồi quy Có thể kể đến một số định nghĩa của các tác giả sau

Theo J Han và cộng sự, 2006 [19], hồi qui là kỹ thuật thống kê cho phép

Tuy có những phát biểu định nghĩa không thông nhất nhƣng các tác giả trong [9, 14, 19] đều đƣa ra một nhận xét chung: mục đích của phân tích hồi quy

là có thể xây dựng đƣợc mô hình (hàm số) biểu diễn đƣợc mối quan hệ giữa biến phụ thuộc với các biến độc lập Mô hình hồi quy có dạng:

Sự phù hợp và chính xác của mô hình này phụ thuộc vào tập dữ liệu sử dụng Vì vậy, nếu tập dữ liệu quá nhỏ, không có tính đại diện thì không thể đƣa

ra được kết luận tốt [14] Do đó, muốn phân tích hồi quy đạt hiệu quả thì cần phải xác định các công việc sau thật tốt

 Điều tra quá trình thu thập dữ liệu

 Khám phá ra bất kỳ hạn chế nào trong dữ liệu thu thập

 Hạn chế các kết luận phù hợp

Khi thu được mối quan hệ thông qua phân tích hồi quy, nó có thể được sử dụng để dự đoán giá trị của biến phụ thuộc, xác định các biến độc lập mà có ảnh hưởng nhiều đến việc dự báo, hoặc xác minh giả thuyết các mô hình nhân quả của dự báo Giá trị của mỗi biến độc lập có thể được đánh giá thông qua kiểm tra thống kê về các hệ số của các biến này

Mô hình hồi quy được phân loại thành nhiều loại Ví dụ như [1]:

Hồi qui tuyến tính (linear) và phi tuyến (nonlinear)

Hồi qui đơn biến (single) và đa biến (multiple)

Hồi qui có tham số (parametric), phi tham số (nonparametric), và tham số kết hợp (semiparametric)

Hồi quy tuyến tính [1] là mô hình hồi quy với sự kết hợp tuyến tính của các biến độc lập để thu được biến phụ thuộc Dạng của mô hình hồi quy tuyến tính như sau:

Hồi quy đơn biến là mô hình hồi quy với một biến giải thích (biến độc lập)

Mô hình hồi đơn biến có dạng như sau:

Hồi quy đa biến là mô hình hồi quy với nhiều biến giải thích (biến độc lập) Dạng mô hình hồi quy đa biến như sau:

y = β0 + β1*x1 + β2x2 + … + βnxn (15)

Hồi quy có tham số là mô hình hồi quy với hữu hạn các tham số [1 ] Mô hình hồi quy có tham số có dạng như sau:

Hồi quy phi tham số là mô hình hồi quy với vô hạn các tham số Dạng của

mô hình hồi quy phi tham số như sau [1]:

Hồi quy tham số kết hợp là mô hình hồi quy với với hữu hạn tham số được quan tâm [29] Dạng của mô hình:

1.2.2 Hồi quy vector hỗ trợ

Máy vector hỗ trợ (Support Vector Machine) được Cortes và Vapnik giới thiệu [10] và được phân thành hai mô hình chính là phân lớp vector hỗ trợ (Support Vector Classification) và hồi quy vector hỗ trợ (Support Vector Regression - SVR) SVR là một trong số hình thức ứng dụng phổ biến nhất của máy vector hỗ trợ [10] Mô hình tạo bởi SVR chỉ phụ thuộc tập con dữ liệu huấn luyện, vì hàm chi phí cho việc xây dựng các mô hình sẽ bỏ qua bất kỳ dữ liệu huấn luyện nào mà gần với mô hình dự báo (nằm trong ngưỡng ε)

Theo Alexander J Smola và Bernhard Schölkopf [10], hồi quy vector hỗ trợ là một trong những kỹ thuật hiệu quả khai phá dữ liệu cả về phương diện học thuật lẫn phương diện công nghiệp, đặc biệt đối với các bài toán nhận dạng ký tự quang học, dự báo hồi quy và dự báo chuỗi thời gian

Ý tưởng của SVR được dựa trên các tính toán của một hàm hồi quy tuyến tính trong một không gian nhiều chiều mà các dữ liệu đầu vào được ánh xạ qua một hàm phi tuyến Một trong những đặc điểm chính của SVR là thay vì giảm thiểu sai số huấn luyện quan sát, SVR giảm thiểu ràng buộc sai số tổng quát để đạt được hiệu suất tổng quát Ràng buộc sai số tổng quát này là sự kết hợp của các sai số huấn luyện với một số hạng chuẩn để kiểm soát sự phức tạp của không gian giả thuyết

Ý tưởng cơ bản của máy vector hỗ trợ cho hàm hồi quy và dự đoán như sau [10]:

Giả sử có tập dữ liệu huấn luyện {(x1, y1), …, (xl, yl)}  X x R, trong đó, X

là không gian đầu vào (ví dụ X=Rd) Trong hồi quy ε – SV, mục đích là tìm một

hàm f(x) có sai số nhỏ nhất ε so với mục tiêu thực sự thu được yi Alexander J Smola và Bernhard Schölkopf tiến hành xét một hàm f(x) tuyến tính có dạng sau:

i i

y b x w

b x w y

, ,

Ở đây, Alexander J Smola và Bernhard Schölkopf ngầm định rằng vấn đề tối ưu lồi là khả thi Trong trường hợp điều kiện trên không được thỏa mãn, Cortes và Vapnik giải quyết bằng cách đưa vào hai biến bù là i, i* Khi đó phương trình (20) được viết lại như sau:

C w Min

1

* 2

) (

*

*

i i

i i

i

i i

i

y b x w

b x w y

* *

* * *

* * * *

* * * *

* * * * *

* *

Hình 2: tổn thất lề mềm thiết đặt cho SVM tuyến tính [10] Để giải quyết bài toán (21), Alexander J Smola và Bernhard Schölkopf chuyển qua bài toán đối ngẫu tương ứng Bài toán đối ngẫu sẽ là: Tìm cực đại của (u) với u  Rl, u  0, trong đó                                           b x w y b x w y C w u i i i i l i i i i i l i i i i i l i i i , , 2 1 ) ( * * 1 1 * * 1 * 2              (23) Để giải bài toán đối ngẫu trên, trước tiên phải tìm cực tiểu của hàm

(24) theo w, b, i, i* Với i, i* , i, i* là các hệ số Lagrange và thỏa mãn điều kiện: i, i* , i, i*  0 (25)

Theo định lý Fermat, cực tiểu của L xảy ra tại w, b, i(*) sao cho:

(26)

(27)

(28) (*) * 1 * w 1 (*) (*) ( ) 0 w ( ) 0 l b i i i l i i i i i i L L x L C                                                       b x w y b x w y C w L i i i i l i i i i i l i i i i i l i i i , , 2 1 * * 1 1 * * 1 * 2             +  0 -    +  - 

Thay thế (26), (27), (28) vào (24) được bài toán đối ngẫu:

* 1

l

i i i i

i) *

i = 0

Từ đó, Alexander J Smola và Bernhard Schölkopf rút ra một số kết luận hữu ích:

 Chỉ tập mẫu (xi, yi) với (*)

i = C nằm ngoài ống không nhạy 

 i *

i = 0

Vì vậy, có:

 –yi + <w, xi> + b  0 và i = 0 nếu i < C (34)

 –yi + <w, xi> + b  0 nếu i > 0 (35) Kết hợp với một phân tích tương tự với *

1.3 Ứng dụng của phương pháp hồi quy vector hỗ trợ

Phương pháp hồi quy vector hỗ trợ có nhiều ứng dụng cho các bài toán về

dự báo hồi quy và dự báo dòng dữ liệu [10] Dưới đây là một số ví dụ ứng dụng phương pháp hồi quy vector hỗ trợ

− Dự báo chuỗi thời gian tài chính sử dụng mạng hồi quy vector hỗ trợ

Trong [11], Boyang Li và cộng sự (2010) đã giới thiệu mạng SVR để giải quyết vấn đề dự báo tỷ giá ngoại hối Các tác giả sử dụng phương thức: phân vùng miền giá của dữ liệu như là quá trình tiền xử lý của quá trình huấn luyện Các mô hình SVR khác nhau được sử dụng để mô tả đặc điểm của dữ liệu và mối quan hệ giữa các biến đầu vào với từng mục tiêu con trong mỗi vùng giá Đầu ra của các mô hình SVR được coi là đầu vào của mỗi lớp dự đoán, sau đó đưa ra kết quả cuối cùng Các phương pháp được thử nghiệm với tập dữ liệu về

tỷ giá ngoại hối giữa đồng Yên Nhật và và đồng Đô la Mỹ Kết quả của nghiên cứu cho thấy phương pháp tiếp cận mạng SVR cho kết quả tốt hơn các phương pháp khác Nghiên cứu cũng chỉ ra hạn chế: miền giá mới chỉ được phân thành

ba phần Nghiên cứu chưa tìm được cơ chế phân vùng hợp lý nhất Bảng 1 hiển thị kết quả thử nghiệm mô hình đề xuất của Boyang Li và cộng sự

Bảng 1: kết quả thử nghiệm mô hình đề xuất mạng SVR [11]

Dự báo

tương lai

Chỉ số dự báo

Tỷ giá hối đoái (Currency exchange rate (USD/JPY))

Trung bình trượt dữ liệu của tỷ giá hối đoái (Moving average data of exchange rate)

SVR Network

CP

CD

47.3925 0.6172 76.8116 79.4118

36.2098 0.1471 77.8468 79.8039

42.5252 0.1586 76.8116 78.4736

35.1087 0.1451 77.2257 80.4305

CP

CD

60.5918 0.1877 76.7635 78.3465

38.4611 0.1520 79.6680 79.3307

56.3304 0.1820 77.8468 77.9528

37.6336 0.1498 79.5031 79.3307

CP

CD

71.5295 0.2052 77.4530 78.9370

39.7972 0.1544 80.1670 79.9213

67.7718 0.1998 77.0833 78.3465

40.3541 0.1548 80.4167 80.1181

− Dự báo phụ tải điện hàng năm sử dụng máy hồi quy vector hỗ trợ

Zhiyong Li và cộng sự, 2010 [33] đã đề xuất một phương pháp tiếp cận sử dụng giải thuật SVR với sự kết hợp của 3 hàm nhân để giải quyết vấn đề dự báo phụ tải điện Thử nghiệm giải thuật trên tập dữ liệu tiêu thụ điện thực tế của tỉnh Quảng Đông – Trung Quốc từ năm 1985 – 2008, các tác giả chỉ ra rằng mô hình kết hợp các nhân cho kết quả dự báo tốt hơn mô hình sử dụng nhân đơn Trong nghiên cứu này, các tác giả còn so sánh giải thuật đề xuất với các phương pháp

dự báo hiện có trên cùng tập dữ liệu như: Back Propagation (BP) neural network

và Radial Basis Function (RBF) neutral network Kết quả cho thấy, phương pháp mà các tác giả đề xuất cho kết quả dự báo tốt hơn Bảng 2 hiển thị kết quả thử nghiệm giải pháp của tác giả Zhiyong Li và cộng sự

Bảng 2: so sánh phương pháp đề xuất với phương pháp khác [33]

điện thực

Phương pháp phù hợp đường Conic (Conic fitting method)

Phương pháp đề xuất

Giá trị dự báo

− Dự báo thời gian du lịch

Chun-Hsin Wu và cộng sự [12] đã đề xuất một số thông số cho mô hình SVR để dự đoán chính xác thời gian du lịch Từ đó, hỗ trợ khách du lịch và các trung tâm kiểm soát giao thông điều chỉnh lịch trình du lịch và kiểm soát lưu lượng giao thông Nghiên cứu chỉ ra rằng, sử dụng mô hình SVR cho kết quả dự báo tốt hơn các phương pháp khác Bảng 3 thể hiện kết quả thực nghiệm sử dụng SVR trong dự báo thời gian du lịch

Bảng 3: kết quả thực nghiệm sử dụng SVR trong dự báo thời gian du lịch [12]

dự báo hiện tại

Phương pháp

dự báo trước đây

Phương pháp

dự báo với SVR

Phương pháp

dự báo với SVR

CHƯƠNG 2

DỰ BÁO DỰA TRÊN HỒI QUY VECTOR HỖ TRỢ

2.1 Giới thiệu sơ bộ về dự báo

Theo J Scott Armstrong, 2001 [18], dự báo có vai trò quan trọng trong rất nhiều lĩnh vực của đời sống Những người ra quyết định cần tới dự báo chỉ khi

có sự không chắc chắn về tương lai Dự báo thường bị nhầm lẫn với lập kế hoạch Lập kế hoạch quan tâm tới “cái gì như thế nào” còn dự báo quan tâm tới

“cái gì sẽ như thế nào” Các nhà hoạch định có thể sử dụng các phương thức dự báo để dự đoán kết quả của các kế hoạch Nếu kết quả dự báo là không thỏa đáng thì họ có thể điều chỉnh kế hoạch từ đó có những dự báo mới Quá trình đó được lặp đi lặp lại cho đến khi các kết quả dự báo đạt yêu cầu

Dự báo phục vụ nhiều nhu cầu Nó giúp mọi người và các tổ chức lập kế hoạch cho tương lai và đưa ra các quyết định hợp lý [7, 18]

Dự báo bao gồm một tập các nguyên tắc dự báo Cần phải hiểu các nguyên tắc dự báo thì mới có thể áp dụng các nguyên tắc này một cách hiệu quả cho việc dự báo

Cũng theo J Scott Armstrong [18], có rất nhiều nguyên tắc dự báo và ông cho rằng một số nguyên tắc dự báo sau là thông dụng

 Nguyên tắc Role paying (“cùng nhập vai")

 Nguyên tắc Intentions (dự định)

 Nguyên tắc Expert Opinions (ý kiến chuyên gia)

 Nguyên tắc Conjoint Analysis (phân tích liên kết)

 Nguyên tắc Judgmental Bootstrapping (tự nâng phán đoán)

 Nguyên tắc Analogies (tương tự)

 Nguyên tắc Extrapolation (ngoại suy)

 Nguyên tắc Rule – Based (dựa trên quy tắc)

 Nguyên tắc System Expert (hệ thống chuyên gia)

 Nguyên tắc Econometric (kinh tế học)

Nguyên tắc Role paying

Nguyên tắc Role paying là nguyên tắc dự đoán các quyết định trùng khớp của những người hoặc nhóm người tham gia có những ý kiến xung đột Nguyên tắc này đặc biệt hữu ích đối với những vấn đề xung đột quan trong Ví dụ, một đất nước sẽ phản ứng như thế nào trước sự đe dọa của nước khác, hay các nhà quản lý phải làm thế nào để phản ứng lại những cuộc đình công của công nhân

Nguyên tắc Intentions

Nguyên tắc Intentions là nguyên tắc dự đoán những việc mọi người sẽ làm

gì trong tương lai Nguyên tắc này thường được vận dụng để dự đoán nhu cầu hay dự đoán hành vi Ví dụ, một công ty chuẩn bị tung ra một sản phẩm mới, tuy nhiên, họ không biết chắc chắn phải tung ra thị trường bao nhiêu sản phẩm thì đáp ứng đủ nhu cầu của người tiêu dùng về sản phẩm này Khi đó, công ty sẽ thiết kế các phiếu thăm dò về phản ứng của người tiêu dùng về sản phẩm để từ

đó dự đoán được nhu cầu của người tiêu dùng

Nguyên tắc Expert Opinions

Nguyên tắc Expert Opinions là nguyên tắc được xây dựng dựa trên cấu trúc thi hành và phân tích dự báo của một nhóm chuyên gia

Nguyên tắc Conjoint Analysis

Một trong số cách tìm hiểu nhu cầu của người tiêu dùng về sản phẩm mà công ty chuẩn bị tung ra thị trường là hỏi người tiêu dùng về những điều mà họ mong muốn đối với sản phẩm đó Như vậy, tất nhiên mọi người sẽ mong muốn có được sản phẩm chất lượng nhất với giá rẻ nhất (ví dụ như mong muốn một chiếc xe Mercedes với giá 1000$) Điều này là khó có được Vì vậy, trong nguyên tắc Conjoint Analysis, những người dự báo sẽ đưa ra câu hỏi với người tiêu dùng để cố gắng làm “cân bằng” những

ý kiến trái ngược về các điều đang xem xét Nguyên tắc này bao gồm việc thiết kế các câu hỏi, phân tích và quản lý câu trả lời để đưa ra được mức cân bằng phù hợp Như vậy, gốc rễ của nguyên tắc Conjoint Analysis là cố gắng cân bằng giữa lý thuyết và thực tế

Nguyên tắc Judgmental Bootstrapping

J Scott Armstrong cho biết chúng ta có thể dự đoán những gì một chuyên gia dự đoán Bằng cách xây dựng một mô hình xử lý các dự đoán của chuyên

gia Nguyên tắc Judgmental Bootstrapping là một loại của hệ thống chuyên gia

được suy luận từ mô hình chuyên gia bằng cách kiểm tra các dự báo của họ Thủ

tục rất đơn giản Người dự báo cung cấp một tập các vấn đề cần dự báo cho chuyên gia Sau đó, sử dụng dự báo của chuyên gia và đầu vào mà chuyên gia sử dụng để phát triển mô hình chuyên gia bằng việc sử dụng mô hình hồi quy

Nguyên tắc Judgmental Bootstrapping phù hợp với những dự báo sử dụng các

quy tắc của một người hơn là sử dụng quy tắc của nhiều người Ví dụ, dự báo về chất lượng của một giống cây nào đó trong mùa vụ tới Tuy nhiên, trong dự báo thời tiết, thì quy tắc này thường không sử dụng

Nguyên tắc Rule – Based

Phương pháp Extrapolation truyền thống có hai hạn chế chính [18] Thứ nhất, nguyên tắc này không tích hợp kiến thức hiện có để có được dự báo tốt nhất trong những điều kiện khác nhau Thứ hai, nguyên tắc này bỏ qua tri thức của nhà quản lý về những tình huống Dự báo dựa trên nguyên tắc Rule - Based

là một loại của hệ thống chuyên gia để giải quyết những các vấn đề cần dự báo bằng cách chuyển chuyên môn dự báo thành một bộ các quy tắc Những quy tắc này sử dụng tri thức miền của nhà quản lý và đặc điểm của dữ liệu để đưa ra một

dự báo từ sự kết hợp đơn giản các phương pháp Extrapolation

Nguyên tắc System Expert

Trong nguyên tắc System Expert, các nhà phân tích cố gắng mở rộng các thủ tục mà một chuyên gia sử dụng để đưa ra dự báo Nguyên tắc này có đặc điểm tương tự như nguyên tắc Judgmental Bootstrapping, Rule - Based và Econometric Đó là, các nguyên tắc này cùng sử dụng tri thức về quan hệ nhân quả và đều có một cấu trúc tốt Tuy nhiên, vẫn có một số khác biệt Nguyên tắc