Cải tiến 1: M hình mạng neural và b sung một số chỉ báo kỹ thuật.. Trong đó, nhu cầu dự báo cho thị trường chứng khoán để hạn chế rủi ro và thua lỗ được các t chức cũng như các nhà đầu t
Trang 1ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
TR N T NGỌ
NG N U P ỆU V NG NG
P N T U T T TRƯỜNG NG O N
LUẬN VĂN T Ạ SĨ HỆ THỐNG THÔNG TIN
HÀ NỘI – 2015
Trang 2ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
TR N T NGỌ
NG N U P ỆU V NG NG
P N T U T T TRƯỜNG NG O N
Ngành: H thống th ng tin
Chuyên ngành: H thống thông tin
Mã số: 60 48 01 04
LUẬN VĂN T Ạ SĨ HỆ THỐNG THÔNG TIN
NGƯỜ ƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM
HÀ NỘI – 2015
Trang 3Ờ M ĐO N
T i xin cam đoan luận văn “Nghiên cứu khai phá dữ li u và ứng dụng phân tích
xu thế thị trường chứng khoán" là c ng trình nghiên cứu của riêng t i Các số li u, kết quả được trình bày trong luận văn là hoàn toàn trung thực và chưa được c ng bố trên bất cứ c ng trình nào khác T i đã trích dẫn đầy đủ các tài li u tham khảo, c ng trình nghiên cứu liên quan Ngoại trừ các tài li u tham khảo này, luận văn hoàn toàn là nghiên cứu của riêng t i
Luận văn được hoàn thành trong thời gian t i là học viên tại Khoa C ng ngh
th ng tin, Trường Đại học C ng ngh , Đại học Quốc gia Hà Nội
Hà Nội, ngày 18 tháng 10 năm 2015
ọc viên
Tr n T c N ọc
Trang 4Ờ ẢM ƠN
Lời đầu tiên, t i xin gửi lời cảm ơn và lòng biết ơn sâu sắc nhất tới PGS.TS Nguyễn Hà Nam đã tận tình hướng dẫn t i trong suốt quá trình thực hi n luận văn tốt nghi p
T i xin trân trọng cảm ơn các Thầy, C giáo đã tận tình chỉ dạy, cung cấp cho t i những kiến thức quý báu và lu n nhi t tình giúp đỡ, tạo điều ki n thuận lợi nhất trong suốt quá trình t i học tập tại Trường Đại học C ng ngh
T i xin gửi lời cảm ơn tới các bạn trong nhóm do thầy Nguyễn Hà Nam hướng dẫn đã lu n sát cánh và hỗ trợ cho t i trong suốt quá trình học tập cũng như quá trình làm luận văn
Cuối cùng, t i muốn được gửi lời cảm ơn tới gia đình, đồng nghi p và bạn bè, những người lu n bên cạnh, động viên và tạo điều ki n tốt nhất cho t i trong suốt quá trình học tập và thực hi n luận văn tốt nghi p
T i xin chân thành cảm ơn!
Trang 5M
LỜI CAM ĐOAN 1
LỜI CẢM ƠN 2
MỤC LỤC 3
AN MỤC N 5
AN MỤC ẢN I 6
MỞ Đ 7
1 Đ t v n 7
2 M c tiêu n iên c u .7
3 Đối tượng nghiên c u .7
4 P ươn p áp n iên c u .7
5 u tr c uận văn .8
Ch g N Q AN R ỜN C N O N C C Ỹ THUẬT TRUY N THỐNG 9
1.1 T trườn c n oán .9
1.2 Một số kỹ thuật cơ bản dùng trong th trường ch ng khoán .10
1.2.1 Phân tích kỹ thuật (Technical Analysis) 10
1.2.1.1 Biểu đồ dạng đường (Line chart) 11
1.2.1.2 Biểu đồ dạng then chắn (Bar chart) 11
1.2.1.3 Biểu đồ cây nến (Candlestick chart) 11
1.2.2 Một số chỉ báo kỹ thuật cơ bản Technical Indicator 12
1.2.2.1 Tính hội tụ và phân k của đường trung bình động MACD (Moving Average Convergence Divergence) 12
1.2.2.2 MACD – Histogram 12
1.2.2.3 Dải băng Bollinger 13
1.2.2.4 Chỉ số sức mạnh tương đối RSI (Relative Strength Index) 13
1.2.2.5 Aroon 14
1.3 Kỹ thuật dự báo nâng cao .14
1.3.1 Phân tích hồi quy (Regression Analysis) 14
1.3.1.1 H số tương quan coefficient correlation 14
1.3.1.2 H số xác định coefficient of determination 15
1.3.2 Mô hình RIM utoRegressive Integrated Moving verage 15
1.3.2.1 Quá trình AR(p) 16
1.3.2.2 Quá trình MA(q) 16
1.3.2.3 Mô hình ARMA 16
1.3.2.4 Quá trình tích hợp I(d) 17
1.3.2.5 M hình RIM p,d,q t ng quát 17
1.4 t uận .18
Ch g AI P I C C Ỹ THUẬT PHÂN TÍCH DỰ BÁO 19
2.1 Khai phá tri th c và khai phá dữ liệu .19
2.1.1 Khai phá tri thức 19
2.1.2 Khai phá dữ li u 20
Trang 62.1.2.1 Phân lớp 20
2.1.2.2 Đánh giá m hình phân lớp 21
2.2 Mạng Neural nhân tạo (Artificial Neural Network) .22
2.2.1 Kiến trúc mạng Neural 22
2.2.2 Mạng Perceptron 23
2.2.3 Mạng MLP 24
2.2.4 Huấn luy n mạng Neural 25
2.2.5 Thuật toán lan truyền ngược (Back Propagation) 26
2.3 P ươn p áp ensemb e .28
2.3.1 Giới thi u phương pháp ensemble 28
2.3.2 Kỹ thuật Bagging 29
2.3.3 Kỹ thuật Boosting 29
2.4 t uận 31
Ch g P ƠN P P IẢI Q ỰC N I M Đ N I C O I O N Ự O R ỜN C N O N 32
3.1 Xây dựn b i toán dự báo t trườn c n oán .32
3.1.1 Mô tả bài toán 32
3.1.1.1 Tính khả thi của bài toán 32
3.1.1.2 C ng cụ hỗ trợ giải quyết bài toán 32
3.1.2 Quy trình giải quyết bài toán 32
3.1.2.1 Thu thập dữ li u 33
3.1.2.2 Tiền xử lý dữ li u 34
3.1.2.3 T chức dữ li u 34
3.1.2.4 Huấn luy n m hình 35
3.1.2.5 Đánh giá m hình và nhận x t kết quả 35
3.2 M n xu t .35
3.3 Thực nghiệm .36
3.3.1 Mô hình ARIMA 36
3.3.2 M hình mạng neural truyền thống 37
3.3.2.1 Thực hi n dự đoán theo chu k T+1 37
3.3.2.2 Thực hi n dự đoán theo chu k T+4 39
3.3.3 Cải tiến 1: M hình mạng neural và b sung một số chỉ báo kỹ thuật 42
3.3.3.1 Phân lớp 42
3.3.3.2 Hồi quy 43
3.3.4 Cải tiến 2: Mạng neural có thêm các chỉ báo và sử dụng phương pháp ensemble 47
3.3.4.1 Phân lớp 47
3.3.4.2 Hồi quy 47
3.4 P n t c .49
3.5 K t luận .51
K T LUẬN 52
I I AM ẢO 53
Trang 7N M N V
Hình 1.1: Biểu đồ dạng đường .11
Hình 1.2: Biểu đồ dạng then chắn .11
Hình 1.3 Biểu đồ dạng cây nến .11
Hình 2.1: Phương pháp Holdout trong bài toán phân lớp .22
Hình 2.2: Mạng truyền thẳng .22
Hình 2.3: Mạng phản hồi 23
Hình 2.4: M hình một Perceptron .23
Hình 2.5: M hình mạng MLP .25
Hình 2.6: M hình quá trình huấn luy n mạng MLP b ng thuật toán lan truyền ngược .26
Hình 2.7: Giải thuật thuật toán lan truyền ngược .27
Hình 2.8: Phương pháp Ensemble .28
Hình 3.1: Quy trình giải quyết bài toán .32
Hình 3.2: M hình mạng Neural trong giải quyết bài toán dự báo chứng khoán .33
Hình 3.3: M hình đề xuất: Mạng Neural có b sung thêm các chỉ báo kỹ thuật .35
Hình 3.4: M hình đề xuất: Mạng neural có thêm các chỉ báo và sử dụng phương pháp ensemble .36
Hình 3.5: Luồng công vi c thực nghi m .36
Hình 3.6: T l lỗi qua các lần Epoch của m hình mạng Neural .38
Hình 3.7: T l lỗi MSE .38
Hình 3.8: H số tương quan R .38
Hình 3.9: T l lỗi qua các lần Epoch của m hình mạng Neural .39
Hình 3.10: Biểu đồ thống kê kết quả dự báo của mô hình mạng neural theo tiếp cận phân lớp .40
Hình 3.11: T l lỗi MSE .40
Hình 3.12: H số tương quan R .40
Hình 3.13: Biểu đồ thể hi n giá trị MSE và h số tương quan qua 20 lần kiểm nghi m .41
Hình 3.14: T l lỗi qua các Epoch của m hình mạng Neural .42
Hình 3.15: Biểu đồ thống kê kết quả dự báo theo hướng tiếp cận phân lớp sau cải tiến 1 .43
Hình 3.16: T l lỗi MSE .44
Hình 3.17: H số tương quan R .44
Hình 3.18: Biểu đồ thể hi n giá trị MSE và h số tương quan qua 20 lần kiểm nghi m .44
Hình 3.19: H số tương quan R b ng phương pháp Ensemble cho mạng neural .48
Hình 3.20: Đồ thị giá đóng cửa thực tế và giá dự đoán .49
Trang 8N M ẢNG U
Bảng 3.1: Dữ li u c phiếu MSFT .33
Bảng 3.2: So sánh các kết quả thực nghi m b ng m hình rima .37
Bảng 3.3: Kết quả dự đoán b ng m hình rima .37
Bảng 3.4: Kết quả phân lớp b ng mạng Neural .39
Bảng 3.5: Kết quả dự đoán khi phân tích hồi quy b ng mạng Neural truyền thống .41
Bảng 3.6: So sánh giá trị MAPE trung bình của nhiều mô hình .42
Bảng 3.7: Kết quả phân lớp b ng mạng Neural .43
Bảng 3.8: Kết quả dự đoán khi phân tích hồi quy b ng mạng Neural cải tiến 1 .45
Bảng 3.9: Kết quả sử dụng mạng neural để phân lớp dữ li u .46
Bảng 3.10: Kết quả sử dụng mạng neural để phân tích hồi quy dữ li u .46
Bảng 3.11: Kết quả dự đoán của mạng Neural truyền thống và mạng Neural cải tiến 1 .46
Bảng 3.12: Kết quả phân lớp b ng phương pháp Ensemble cho mạng neural .47
Bảng 3.13: T ng hợp các kết quả dự đoán của nhiều mô hình thực nghi m .48
Bảng 3.14: Lời khuyên cho các nhà đầu tư chứng khoán .51
Trang 9MỞ Đ U
Sự phát triển của công ngh thông tin và những ứng dụng công ngh thông tin trong nhiều lĩnh vực của đời sống, kinh tế xã hội đã sản sinh ra một lượng dữ li u
kh ng lồ Các phương pháp quản trị và khai thác dữ li u thủ công, truyền thống tỏ ra kém hi u quả trước nhu cầu khai thác và phát hi n th ng tin có giá trị ẩn chứa trong lượng lớn dữ li u này Sự ra đời của các kỹ thuật mới như là khai phá tri thức (Knowledge Discovery in Databases) và khai phá dữ li u Data Mining đã đem lại
hi u quả cao trong vấn đề khai thác và phát hi n tri thức, áp dụng trên nhiều lĩnh vực khác nhau Đặc bi t trong m i trường kinh doanh, người ta mong muốn có thật nhiều thông tin hữu ích để hỗ trợ kinh doanh hi u quả Trong đó, nhu cầu dự báo cho thị trường chứng khoán để hạn chế rủi ro và thua lỗ được các t chức cũng như các nhà đầu tư cá nhân đặt làm mối quan tâm hàng đầu
Dự đoán xu thế của thị trường chứng khoán là một c ng vi c kh ng đơn giản
Sự không tuyến tính của thị trường kèm theo sự tác động của nhiều yếu tố bên ngoài cũng làm ảnh hưởng tới giá cả của thị trường chứng khoán Do đó, vi c xây dựng một
h thống phân tích dự báo với các tiêu chí đầy đủ, khách quan và khoa học cả về định tính và định lượng, cả về góc độ tài chính và phi tài chính là cần thiết
2 M c tiêu n iên c u
Luận văn của tôi tập trung nghiên cứu cả hai phương pháp định tính và định lượng với mong muốn có được một h thống dự đoán xu thế thị trường chứng khoán
đủ mạnh hỗ trợ đắc lực cho các nhà đầu tư chứng khoán
Đối tượng mà luận văn của tôi nghiên cứu chính là xu thế thị trường chứng khoán Cụ thể, t i sử dụng giá c phiếu MSFT của công ty Microsoft Corporation thu thập từ trang finance.yahoo.com niêm yết trên sàn NASDAQ (National Association of Securities Dealers Automated Quotations) để tiến hành dự đoán
Luận văn tập trung vào vi c tìm hiểu m hình khai phá dữ li u và các phân tích
kỹ thuật cơ bản dùng trong lĩnh vực chứng khoán theo cả hai phương pháp định tính và định lượng Luận văn thực hi n vi c kết hợp mô hình khai phá dữ li u: mạng neural và các phân tích kỹ thuật cơ bản, sử dụng phương pháp ensemble giúp gia tăng độ chính xác cho mạng neural để đưa ra đánh giá nh m hỗ trợ các nhà đầu tư trong vi c ra quyết định mua bán c phiếu
Trang 105 u tr c uận văn
Bố cục của bài luận văn được trình bày trong 3 chương
ươn 1: Tổng quan v th trườn c n oán v các kỹ thuật truy n thống
Chương này trình bày một số kiến thức nền tảng về thị trường chứng khoán, các phương pháp nghiên cứu cơ bản và những đặc trưng của thị trường chứng khoán thông qua các biểu đồ, các chỉ báo như M CD, dải băng Bollinger, RSI, roon Và tìm hiểu mô hình hồi quy ARIMA chuyên dụng trong vi c dự đoán giá cả thị trường chứng khoán
ươn 2: K ai p á dữ iệu v các ỹ t uật p n t c dự báo
T i tìm hiểu các đặc trưng cơ bản của lĩnh vực khai phá tri thức, khai phá dữ
li u và các bài toán đặc trưng trong lĩnh vực này M hình mạng neural là một trong những m hình khai phá dữ li u điển hình, có khả năng áp dụng cao cho bài toán phân tích xu thế thị trường chứng khoán Ngoài ra để gia tăng độ chính xác cho m hình khai phá dữ li u, phương pháp ensemble được coi là một trong những giải pháp tối ưu Chương này chủ yếu xây dựng kiến thức nền tảng để t i tiến hành những thực nghi m
ở chương sau
ươn 3: P ươn p áp iải quy t, thực nghiệm v án iá c o b i toán
dự báo th trường ch ng khoán
Nội dung chủ yếu của chương 3 là áp dụng các m hình đã tìm hiểu vào vi c dự báo thị trường chứng khoán Đầu tiên, t i tiến hành thực nghi m bài toán với mô hình truyền thống: RIM và mạng neural Tiếp đó t i cải tiến độ chính xác cho mạng neural, b ng cách sử dụng bộ dữ li u chứng khoán và b sung thêm một số chỉ báo kỹ thuật cơ bản như M CD, RSI, roon Nh m gia tăng độ chính xác cho m hình mạng neural tôi tiếp tục cải tiến lần 2 với kỹ thuật ensemble Cuối cùng, tôi tiến hành đánh giá kết quả dự đoán của từng mô hình để tìm ra lời khuyên tin cậy nhất cho các nhà đầu tư, nhà kinh doanh chứng khoán
Trang 11T ỆU T M ẢO
Ti n việt:
1 Nguyễn Trọng Hoài, Phùng Thanh Bình, Nguyễn Khánh Duy, (2009), Dự Báo và
Phân Tích Dữ Liệu trong Kinh Tế và Tài Chính, NXB Thống Kê
2 Nguyễn Minh Phong, 2007 , "Nhận di n rủi ro trong đầu tư chứng khoán," ạp h
ài h nh 5 511
3 Hà Quang Thụy, 2013 , ài giảng nhập m n h i phá dữ liệu, Đại học C ng Ngh
-ĐHQG Hà Nội
Ti n an :
4 E Barnard, L Wessels, (1992), "Avoiding False Local Minima by Proper
Initialization of Connections", IEEE Trans on Neural Networks, vol 3, no 6, pp
809-905
5 E Bauer, R Kohavi, 1999 , “ n empirical comparison of voting classification
algorithms: Bagging, Boosting and variants”, Machine Learning 36 (1-2) (1999), pp
105-139
6 G Box, G Jenkins, (1970), Time series analysis: Forecasting and control, Wiley,
San Francisco
7 Samprit A Chattefuee, Ali S Hadi, (2006), Regression Analysis by Example, Fourth
Edition, Wiley Interscience, Canada, pp 1, 21-44
8 H Demuth, M Beale, (1998), Neural network toolbox for use with MATLAB, The
MathWorks Inc., Massachusetts, USA
9 H Drucker, R Schapire, P Simard, 1993 , “Improving performance in neural
networks using a boosting algorithm”, Advances in Neural Information Processing
Systems 5, California, pp 42-49
10 B Efron, R Tibshirani, (1993), An Introduction to the Bootstrap, Chapman &
Hall, New York
11 David Hand, Heikki Mannila, Padhraic Smyth, (2001), Principles of Data Mining,
MIT Press, Massachusetts
12 L.K Hansen, P Salamon, “Neural network ensembles”, 1990 , IEEE Trans
Pattern Analysis and Machine Intelligence 12 (10) 993-1001
13 Rob J Hyndman, George Athanasopoulos, (2014), Forecasting: principles and
practice, OTexts, Australia, pp 63-77
14 Kiyoshi Kawaguchi, (2000), A multithreaded software model for backpropagation
neural network applications, MSc Thesis, The University of Texas at El Paso
Trang 1215 Zabir Haider Khan, Tasnim Sharmin Alin, Md Akter Hussain, (2011), "Price
prediction of share market using Artificial Neural Network (ANN)", International
Journal of Computer Applications (0975 – 8887), Volume 22, No.2
16 Rushi Longadge, (2013), "Class Imbalance Problem in Data Mining: Review",
International Journal of Computer Science and Network, vol 2, no 1
17 Jian Pei, Jiawei Han, Micheline Kamber, (2006), Data Mining: Concepts and
Techniques, 2rd edition, Morgan Kaufmann, pp 327-337
18 Jian Pei, Jiawei Han, Micheline Kamber, (2011), Data Mining: Concepts and
Techniques, 3rd edition, Morgan Kaufmann, pp 377-38
19 Mariela Qirici, Sebastian Franco, Jonathan Baiden, Craig Nesbitt, (2013), Forex
Trading and Investment, Project Report, Worcester Polytechnic Insitute, pp 38-55
20 Saed Sayad, (2015), artificial neural network,
http://www.saedsayad.com/artificial_neural_network.htm
21 Neural Network Toolbox (version 8.2.1 – R2014b),
http://www.mathworks.com/help/stats/
22 Joaquín Torres Sospedra, 2011 , Ensembles of Artificial Neural Network and
development of design methods, Ph.D Thesis, The Universitat Jaume in Spanish
23 Dave Touretzky and Kornel Laskowski, 2006 , “Neural Networks for Time Series
Prediction”, 15-486/782: Artificial Neural Network, School of Computer Science,
Carnagie Mellon
24 Kuo-Cheng Tseng, Ojoung Kwon, Luna C Tjung, (2012), "Time series and neural
network forecast of daily stock prices", Investment Management and Financial
Innovations, vol 9, no 1
25 Zhi-Hua Zhou, Jianzin u, ei Tang, 2002 , “Ensembling neural networks:
Many could be better than all”, Artificial Intelligence 137(1-2), pp 239-263