Tìm hiểu một số mô hình khai phá dữ liệu thời gian thực áp dụng vào bài toán dự báo ứng dụng trong phân tích số liệu tài chính

TRƯỜNG ĐẠI HỌC CÔNG NGHỆPHẠM THỊ THẢO TÌM HIỂU MỘT SỐ MÔ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TOÁN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH LUẬN VĂN THẠC SĨ CÔNG

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

PHẠM THỊ THẢO

TÌM HIỂU MỘT SỐ MÔ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TOÁN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

HÀ NỘI - 2015

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

PHẠM THỊ THẢO

TÌM HIỂU MỘT SỐ MÔ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TOÁN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH

Ngành: Công nghệ thông tin

Chuyên ngành: Hệ thống thông tin

Mã số: 60480104

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM

HÀ NỘI – 2015

LỜI CAM ĐOANTôi xin cam đoan luận văn “Tìm hiểu một số mô hình khai phá dữ liệu thời gianthực áp dụng vào bài toán dự báo ứng dụng trong phân tích số liệu tài chính" là côngtrình nghiên cứu của riêng tôi Các số liệu, kết quả được trình bày trong luận văn là hoàntoàn trung thực và chưa được công bố trên bất cứ công trình nào khác Tôi đã trích dẫnđầy đủ các tài liệu tham khảo, công trình nghiên cứu liên quan Ngoại trừ các tài liệutham khảo này, luận văn hoàn toàn là nghiên cứu của riêng tôi.

Luận văn được hoàn thành trong thời gian tôi là học viên tại Khoa Công nghệThông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội

Hà Nội, ngày 25 tháng 05 năm 2015

Học viên

Phạm Thị Thảo

LỜI CẢM ƠNLời đầu tiên, tôi xin gửi lời cảm ơn và lòng biết ơn sâu sắc nhất tới PGS.TS.Nguyễn Hà Nam đã tận tình hướng dẫn tôi trong suốt quá trình thực hiện luận văn tốtnghiệp.

Tôi xin trân trọng cảm ơn các Thầy, Cô giáo đã tận tình chỉ dạy, cung cấp cho tôinhững kiến thức quý báu và luôn nhiệt tình giúp đỡ, tạo điều kiện thuận lợi nhất trongsuốt quá trình tôi học tập tại trường Đại học Công nghệ

Tôi xin gửi lời cảm ơn tới các bạn trong nhóm do thầy Nguyễn Hà Nam hướng dẫn

đã luôn sát cánh và hỗ trợ cho tôi trong suốt quá trình học tập cũng như quá trình làmluận văn

Cuối cùng, tôi muốn được gửi lời cảm ơn tới gia đình, đồng nghiệp và bạn bè,những người luôn bên cạnh, động viên và tạo điều kiện tốt nhất cho tôi trong suốt quátrình học tập và thực hiện luận văn tốt nghiệp

Tôi xin chân thành cảm ơn!

MỤC LỤC

LỜI CAM ĐOAN 5

LỜI CẢM ƠN 2

MỤC LỤC 3

BẢNG CÁC TỪ VIẾT TẮT 5

DANH MỤC BẢNG BIỂU 6

DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ 7

MỞ ĐẦU 8

Chương 1 MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH 10

1.1 Một số khái niệm về tài chính 10

1.1.1 Phân tích tài chính 10

1.1.2 Phương pháp phân tích tài chính 10

1.1.3 Dự báo tình hình tài chính 12

1.2 Phân tích kỹ thuật trong dự báo thị trường chứng khoán 12

1.2.1 Thị trường chứng khoán 12

1.2.2 Phân tích kỹ thuật 13

1.3 Kết luận 16

Chương 2 MỘT SỐ MÔ HÌNH TRONG BÀI TOÁN DỰ BÁO 17

2.1 Tổng quan về khai phá dữ liệu thời gian thực 17

2.2 Phân lớp dữ liệu 19

2.3 Một số mô hình dùng trong khai phá dữ liệu thời gian thực 20

2.3.1 Mô hình mạng nơ-ron nhân tạo (ANN – Artificial Neural Network) 20

2.3.2 Mô hình máy vector hỗ trợ (SVM) 34

2.4 Mô hình ARIMA 38

2.4.1 Hàm tự tương quan ACF 38

2.4.2 Hàm tự tương quan từng phần PACF 39

2.4.3 Quá trình tự hồi quy AR(p) 42

2.4.4 Quá trình trung bình trượt MA(q) 42

2.5 Kết luận 43

Chương 3 PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN 44

3.1 Giới thiệu bài toán 44

3.2 Xây dựng mô hình 44

3.3 Thu thập và tiền xử lý dữ liệu 46

3.3.1 Thu thập dữ liệu 46

3.3.2 Tiền xử lý dữ liệu 47

3.4 Tổ chức dữ liệu 49

3.5 Huấn luyện mạng 49

3.6 Đánh giá mô hình và dự báo kết quả 51

3.7 Kết luận 52

Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ 53

4.1 Môi trường thực nghiệm 53

4.2 Dữ liệu dùng trong thực nghiệm 53

4.3 Kết quả thực nghiệm 57

4.3.1 Kết quả chạy với mô hình ANN 57

4.3.2 Kết quả chạy với mô hình máy vector hỗ trợ (SVM) 60

4.3.3 Kết quả chạy với mô hình ARIMA 65

4.4 So sánh và đánh giá kết quả 66

4.5 Kết luận 69

KẾT LUẬN 70

TÀI LIỆU THAM KHẢO 71

BẢNG CÁC TỪ VIẾT TẮT

MA Moving Average

EMA Exponential Moving Average

RSI Relative Strength Index

NN Neural Network

ANN Artificial Neural Network

SVM Support Vector Machine

KDD Knowledge Discorvery and Data MiningPTKT Phân tích kỹ thuật

DANH MỤC BẢNG BIỂU

Bảng 2.1 Các hàm chuyển 25

Bảng 3.1 Tổ chức dữ liệu IBM 46

Bảng 3.2 Tổ chức dữ liệu của mô hình 48

Bảng 4.1 Các trường hợp của tham số đầu vào mạng nơ-ron 59

Bảng 4.2 Kết quả độ chính xác đối với mô hình ANN 67

Bảng 4.3 Kết quả độ chính xác đối với mô hình SVM 68

Bảng 4.4 So sánh kết quả trung bình giữa mô hình ANN và SVM 68

Bảng 4.5 Kết quả đưa ra lời khuyên cho người dùng 68

DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ

Hình 1.1 Biểu đồ dạng đường 14

Hình 1.2 Biểu đồ dạng then chắn 15

Hình 1.3 Kí tự trong biểu đồ dạng then chắn 15

Hình 1.4 Biểu đồ dạng cây nến 16

Hình 2.1 Mô hình khai phá dữ liệu 17

Hình 2.2 Mô hình nơ-ron sinh học 20

Hình 2.3 Cấu trúc của một nơ-ron 22

Hình 2.4 Cách tính hàm tổng 23

Hình 2.5 Cấu trúc của mạng nơ-ron 24

Hình 2.6 Hàm sigmoid 32

Hình 2.7 Siêu phẳng phân chia dữ liệu theo phương pháp SVM 35

Hình 2.8 Minh họa bài toán phân lớp nhị phân bằng phương pháp SVM 36

Hình 2.9 Ví dụ về chiều hướng giảm đều khác nhau [2] 41

Hình 3.1 Mô hình dự báo đề xuất 45

Hình 3.2 Tạo tập huấn luyện trong mạng nơ-ron 50

Hình 3.3 Quá trình dự đoán trong mô hình mạng nơ-ron 52

Hình 4.1 Giá đóng cửa và số lượng giao dịch 54

Hình 4.2 Biểu đồ thể hiện tính mùa vụ của close và volume 54

Hình 4.3 Đồ thị giá đóng cửa và MA10, MA20 55

Hình 4.4 Đồ thị biểu diễn giá đóng cửa, MA10 và EMA 55

Hình 4.5 Kết quả dự đoán của mô hình mạng nơ-ron 58

Hình 4.6 Kết quả dự đoán mô hình mạng nơ-ron với bộ tham số tối ưu 59

Hình 4.7 Mô hình mạng nơ-ron với bộ tham số tối ưu theo phương pháp vét cạn 60

Hình 4.8 Kết quả dự đoán của mô hình SVM 61

Hình 4.9 Mô hình dự đoán SVM tối ưu theo phương pháp vét cạn 62

Hình 4.10 Sơ đồ quá trình kết hợp giải thuật GA –SVM 63

Hình 4.11 Kết quả mô hình dự đoán SVM tối ưu theo phương pháp GA 64

Hình 4.12 Kết quả dự đoán bằng mô hình ARIMA kết hợp phương pháp vét cạn 66

MỞ ĐẦU

Dữ liệu tài chính luôn là nguồn dữ liệu vô cùng phong phú trong giai đoạn hiệnnay Đặc biệt, sự phát triển mạnh mẽ của công nghệ thông tin cùng mạng internet đãgiúp con người có thể dễ dàng tiếp cận với kho dữ liệu khổng lồ đó Tuy nhiên, trênthực tế, con người cần phải biết chắt lọc, chọn lựa những thông tin có ích nhằm phântích, khai thác, phát hiện tri thức bên trong dữ liệu đó một cách hiệu quả Các phươngpháp quản trị và khai thác dữ liệu thủ công, truyền thống tỏ ra kém hiệu quả trước nhucầu khai thác và phát hiện thông tin trong giai đoạn hiện nay Từ đó, kỹ thuật phát hiệntri thức và khai phá dữ liệu (KDD – Knowledge Discorvery and Data Mining) ra đời đãđem lại hiệu quả cao trong vấn đề khai thác và phát hiện tri thức, áp dụng trên nhiều lĩnhvực khác nhau, đặc biệt là trong quản lý vĩ mô và kinh doanh mà cụ thể hơn nữa là trongthị trường chứng khoán

Việc dự đoán thị trường chứng khoán là một bài toán đang được nhiều người quantâm Sự không tuyến tính của thị trường kèm theo đó là tác động của nhiều yếu tố bênngoài cũng làm ảnh hưởng tới quá trình thay đổi của thị trường chứng khoán Vì vậy,làm thế nào để dự đoán chính xác được sự lên xuống của thị trường là một bài toán màmọi nhà đầu tư đều quan tâm, tìm hiểu, nghiên cứu và phân tích

Đã có rất nhiều nghiên cứu trên thế giới (trong đó có Việt Nam) về bài toán dự báothị trường chứng khoán sử dụng các mô hình khai phá dữ liệu khác nhau Năm 2001,Efstathios Kalyvas đã phân tích thị trường chứng khoán sử dụng mô hình mạng nơ-ron

và đạt được những kết quả nhất định Và mới đây, năm 2007 trong luận văn thạc sĩ củahọc viên Phạm Thị Hoàng Nhung (ĐHQGHN) cũng đã nghiên cứu về mạng nơ-ron ứngdụng vào dự báo lưu lượng nước đến hồ Hòa Bình với kết quả dự báo chính xác lớn trên80%

Trong khuôn khổ của luận văn, tác giả tập trung tìm hiểu nghiên cứu về một số môhình khai phá dữ liệu thời gian thực áp dụng cho bài toán phân tích thị trường chứngkhoán, cụ thể là mô hình mạng nơ-ron nhân tạo, mô hình máy vector hỗ trợ và mô hìnharima Mục tiêu của luận văn là áp dụng giải thuật gen di truyền để tối ưu mô hình mạngnơ-ron và mô hình máy vector hỗ trợ, từ đó so sánh, đánh giá để tìm ra mô hình phù hợphơn với bộ dữ liệu ban đầu Sau đó, luận văn sẽ đưa ra lời khuyên cho người chơi là nênmua, bán hay giữ nguyên cổ phiếu trong phiên tiếp theo

Luận văn được trình bày trong 4 chương như sau:

Chương 1: Một số khái niệm cơ bản về tài chính

Trong chương này, tác giả sẽ giới thiệu một số khái niệm cơ bản về tài chính và thịtrường chứng khoán Chương 1 của luận văn tập trung đi nghiên cứu về các chỉ số cơbản trong chứng khoán và phân tích kỹ thuật ứng dụng trong dự báo chứng khoán.Chương 2: Tổng quan về khai phá dữ liệu thời gian thực

Chương này giới thiệu tổng quan về khai phá dữ liệu thời gian thực và một số môhình dùng trong khai phá dữ liệu như mô hình mạng nơ-ron nhân tạo (ANN), mô hìnhmáy vector hỗ trợ (SVM) và mô hình Arima.

Chương 3: Mô hình dự báo thị trường chứng khoán

Chương 3 tập trung vào tìm hiểu về mô hình dự báo trong thị trường chứng khoán.Nội dung chủ yếu là lý thuyết tìm hiểu về quy trình trong bài toán khai phá dữ liệu ápdụng cho dự báo thị trường chứng khoán như: giới thiệu về bài toán, xây dựng mô hình,thu thập và tiền xử lý dữ liệu, đánh giá mô hình

Chương 4: Thực nghiệm và đánh giá

Nội dung chủ yếu của chương 4 là ứng dụng 3 mô hình đã nghiên cứu để dự báothị trường chứng khoán Mỗi mô hình lần lượt được chạy trên bộ tham số ngẫu nhiên, bộtham số tối ưu sử dụng phương pháp vét cạn và bộ tham số sau khi đã tối ưu sử dụngphương pháp học máy (cụ thể là phương pháp gen di truyền) Từ đó so sánh, đánh giákết quả và đưa ra lựa chọn mô hình phù hợp với bộ dữ liệu cũng như lời khuyên chongười dùng

Chương 1 MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH

1.1 Một số khái niệm về tài chính

1.1.1 Phân tích tài chính

Các hệ thống tài chính chứa đựng một kho dữ liệu khổng lồ, phức tạp Việc phântích tài chính là một nghiệp vụ cần thiết nhằm đánh giá tình hình kinh tế của đất nước,của từng ngành, từng địa phương và trên cơ sở đó xác định được nhu cầu cần thiết của

xã hội và có những định hướng thỏa đáng Đối với doanh nghiệp và các nhà đầu tư thìviệc đánh giá, phân tích hoạt động kinh doanh nhằm nắm bắt tình hình tài chính, kinhdoanh của doanh nghiệp, giúp họ đưa ra những phương hướng, quyết định đúng đắntrong hoạt động kinh doanh, giúp doanh nghiệp tồn tại và phát triển theo một hướng đitốt

Vậy Phân tích hoạt động tài chính doanh nghiệp là quá trình thu thập, xử lý cácthông tin kế toán, nhằm xem xét, kiểm tra, đối chiếu, so sánh tài chính hiện hành với quákhứ, giúp người sử dụng thông tin có thể đánh giá tình hình tài chính DN, đánh giá vềtiềm năng, hiệu quả kinh doanh cũng như rủi ro trong tương lai

Ý nghĩa của việc phân tích tài chính có giá trị khác nhau tùy thuộc vào mục đích,nhu cầu của người sử dụng Đối với chủ doanh nghiệp và các nhà quản trị doanh nghiệp, mốiquan tâm hàng đầu của họ là tìm kiếm lợi nhuận và khả năng tài trợ Đối với các nhà đầu tư thìmối quan tâm của họ là các yếu tố rủi ro, thời gian hoàn vốn, mức sinh lãi và khả năng thanhtoán vốn Một điều chung ở đây ta nhận ra là họ đều quan tâm đến khả năng tạo ra dòng tiền, khảnăng sinh lời, khả năng thanh toán và mức sinh lời tối đa

Tuy nhiên, để phân tích được chính xác thì cần có một thông tin đầy đủ, chính xác

để giúp họ có quyết định đúng đắn khi ra quyết định đầu tư, cho vay, sản xuất

Đây là ý nghĩa quan trọng nhất của việc phân tích tài chính doanh nghiệp nói riêng vàphân tích tình hình tài chính của một quốc gia nói chung

1.1.2 Phương pháp phân tích tài chính

Để tiến hành phân tích tài chính, thông thường người ta sử dụng kết hợp nhiềuphương pháp phân tích để đánh giá tình hình doanh nghiệp một cách xác thực và tối ưu

Phương pháp chủ yếu hiện nay là phương pháp so sánh và phân tích tỉ lệ [1]

Phương pháp so sánh:

So sánh là phương pháp được sử dụng phổ biến trong phân tích để xác định xuhướng, mức độ biến động của chỉ tiêu phân tích Vì vậy để tiến hành so sánh phải giảiquyết những vấn đề cơ bản, cần phải đảm bảo các điều kiện đồng bộ để có thể so sánh

được các chỉ tiêu tài chính Như sự thống nhất về không gian, thời gian, nội dung, tínhchất và đơn vị tính toán Đồng thời theo mục đích phân tích mà xác định gốc so sánh.Khi nghiên cứu nhịp độ biến động, tốc độ tăng trưởng của các chỉ tiêu số gốc để sosánh là trị số của chỉ tiêu kỳ trước (nghĩa là năm nay so với năm trước ) và có thể đượclựa chọn bằng số tuyệt đối, số tương đối hoặc số bình quân.

Kỳ phân tích được lựa chọn là kỳ báo cáo, kỳ kế hoạch

Gốc so sánh được chọn là gốc về thời gian hoặc không gian Trên cơ sở đó, nộidung của phương pháp so sánh bao gồm:

- So sánh kỳ thực hiện này với kỳ thực hiện trước để đánh giá sự tăng hay giảm tronghoạt động kinh doanh của doanh nghiệp và từ đó có nhận xét về xu hướng thay đổi về tài chínhcủa doanh nghiệp

- So sánh số liệu thực hiện với số liệu kế hoạch, số liệu của doanh nghiệp với số liệutrung bình của ngành, của doanh nghiệp khác để thấy mức độ phấn đấu của doanh nghiệp đượchay chưa được

- So sánh theo chiều dọc để xem tỷ trọng của từng chỉ tiêu so với tổng thể, so sánhtheo chiều ngang của nhiều kỳ để thấy được sự thay đổi về lượng và về tỷ lệ của các khoản mụctheo thời gian

- Tỷ lệ về khả năng thanh toán: Được sử dụng để đánh giá khả năng đáp ứng các khoản nợ ngắn hạn của doanh nghiệp

- Tỷ lệ và khả năng cân đối vốn, cơ cấu vốn và nguồn vốn: Qua chỉ tiêu này phản ánh mức độ ổn định và tự chủ tài chính

- Tỷ lệ về khả năng hoạt động kinh doanh: Đây là nhóm chỉ tiêu đặc trưng cho việc

sử dụng nguồn lực của doanh nghiệp

- Tỷ lệ về khả năng sinh lời: Phản ánh hiệu quả sản xuất kinh doanh tổng hợp nhất của doanh nghiệp

Kết luận: Các phương pháp trên nhằm tăng hiệu quả phân tích Chúng ta sẽ sử dụng kết hợp và sử dụng thêm một số phương pháp bổ trợ khác như phương pháp liên

hệ, phương pháp loại trừ nhằm tận dụng đầy đủ các ưu điểm của chúng để thực hiệnmục đích nghiên cứu một cách tốt nhất.

Nội dung dự kiến bao gồm:

- Phân tích các lựa chọn về tài trợ và đầu tư của DN

- Dự tính các hiệu ứng tương lai của của các quyết định hiện tại

- Quyết định thực hiện phương án nào

- So sánh các kết quả hoạt động và các mục tiêu lập ra ban đầu

Để làm được điều này, cần phải sử dụng các nhóm chỉ tiêu tài chính đặc trưng của

DN trong quá khứ để làm căn cứ, cơ sở khoa học cho việc xây dựng một hệ thống cácbáo cáo tài chính dự kiến

Các dự báo tổng hợp có tính nhất quán về doanh thu, luồng tiền, thu nhập và các

dự báo khác là rất phức tạp và tốn nhiều thời gian Tuy nhiên, nhiều tính toán cần thiết

có thể được thực hiện một cách tự động bởi mô hình kế hoạch Bằng cách đó, sản phẩmcủa nhà phân tích tài chính trong hoạch định tài chính sẽ là một hệ thống các bảng cânđối tài sản, báo cáo thu nhập và báo cáo luồng tiền dự tính Số liệu trong dự báo có thể

là con số trung gian nào đó giữa số dự báo thực và số thực tế kỳ vọng đạt tới

1.2 Phân tích kỹ thuật trong dự báo thị trường chứng khoán

1.2.1 Thị trường chứng khoán

Thị trường chứng khoán là một bộ phận quan trọng của Thị trường vốn, hoạt động

của nó nhằm huy động những nguồn vốn tiết kiệm nhỏ trong xã hội tập trung thànhnguồn vốn lớn tài trợ cho doanh nghiệp, các tổ chức kinh tế và Chính phủ để phát triểnsản xuất, tăng trưởng kinh tế hay cho các dự án đầu tư

Thị trường chứng khoán là nơi diễn ra các hoạt động giao dịch mua bán các loại

chứng khoán Việc mua bán được tiến hành ở hai thị trường sơ cấp và thứ cấp, do vậy

thị trường chứng khoán là nơi chứng khoán được phát hành và trao đổi

Các hình thức của thị trường chứng khoán bao gồm: thị trường tập trung, thị

trường phi tập trung và thị trường chợ đen.

Với mỗi một mã chứng khoán trên sàn giao dịch đều bao gồm các chỉ số cơ bảnnhư:

- Cột giá tham chiếu: Là giá đóng cửa của ngày giao dịch trước đó và là cơ sở để xácđịnh giá trần, giá sàn của ngày giao dịch hiện tại

- Cột giá trần: Là mức giá cao nhất mà nhà đầu tư có thể đặt lệnh mua, lệnh bán chứng khoán

- Cột giá mở cửa: Là mức giá thực hiện đầu tiên trong ngày giao dịch

- Cột giá đóng cửa: Là mức giá thực hiện cuối cùng trong ngày giao dịch

- Cột giá khớp lệnh: Là mức giá tại đó khối lượng CK được giao dịch nhiều nhất

- Cột khối lượng khớp lệnh: Là khối lượng CK được thực hiện tại giá khớp lệnh

- Cột chênh lệch (+/-): Là thay đổi của mức giá hiện tại so với giá tham chiếu trong ngày giao dịch (= giá hiện tại – giá tham chiếu)

- Cột mua: Gồm 6 cột biểu thị cho 3 mức giá đặt mua cao nhất tương ứng với cáckhối lượng đặt mua tại các mức giá cao nhất đó Khi kết thúc phiên giao dịch Bảng điện tử sẽhiện thị các thông tin về khối lượng CK tương ứng với các mức giá chưa được khớp lệnh (dưmua)

- Cột bán: Gồm 6 cột biểu thị cho 3 mức giá đặt bán thấp nhất tương ứng với các khốilượng đặt bán tại các mức giá thấp nhất đó Khi kết thúc phiên giao dịch Bảng điện tử sẽ hiện thịcác thông tin về khối lượng CK tương ứng với các mức giá chưa được khớp lệnh (dư bán và dưmua)

1.2.2 Phân tích kỹ thuật

Khái niệm:

Phân tích kỹ thuật (PTKT) là việc nghiên cứu giá, với công cụ cơ bản là biểu đồ,nhằm nâng cao hiệu quả của hoạt động đầu tư PTKT nghiên cứu các hành vi của cácbên tham gia thị trường thông qua sự biến động của giá, khối lượng chứng khoán giaodịch nhằm xác định được xu thế biến động giá và thời điểm đầu tư

Phân tích kỹ thuật dựa trên giả định rằng lịch sử lặp lại và hướng thị trường trongtương lai có thể được xác định bằng cách kiểm tra giá vừa qua Do đó, phân tích kỹthuật là chủ quan và mâu thuẫn với giả thuyết thị trường hiệu quả Tuy nhiên, nó vẫnđược sử dụng khoảng 90% khi thực hiện đánh giá để giao dịch các cổ phiếu [8]

PTKT sử dụng ba giả thiết sau:

Giá trị thị trường của bất kỳ sản phẩm hay dịch vụ nào đều được xác lập thông quacung cầu của thị trường

- Cung cầu của thị trường được xác lập dựa trên một hệ thống các yếu tố hợp nhấthoặc đôi khi phi hợp nhất và thị trường sẽ cân đối các trọng số này liên tục và tự động.

- Loại bỏ những dao động bất thường, giá cả của một chứng khoán đơn lẻ hay toàn

bộ giá cả của thị trường có xu thế thay đổi theo một khuynh hướng (trend), và nó tồn tại trongmột khoảng thời gian nhất định

- Sự thay đổi trong khuynh hướng đang thịnh hành là do sự thay đổi trong mối quan

hệ cung cầu Và sự thay đổi của quan hệ cung cầu sẽ được nhận diện sớm hay muộn thông quacác phản ứng của chính thị trường

Các công cụ cơ bản sử dụng trong phân tích kỹ thuật:

Phân tích kỹ thuật trong thị trường chứng khoán người ta sử dụng biểu đồ làmcông cụ để giúp cho việc quan sát, phân tích và nhận định một cách trực quan Có nhiềuloại biểu đồ khác nhau, tuy nhiên có ba loại biểu đồ chính được dùng phổ biến đó là:biểu đồ dạng đường (Line chart), biểu đồ dạng then chắn (Bar chart), biểu đồ dạng câynến (Candlestick chart)

Biểu đồ dạng đường (Line chart)

Đây là loại biểu đồ thường được dùng phổ biến dùng để mô phỏng các hiện tượngkinh tế và xã hội Nhưng hiện nay do khoa học kỹ thuật phát triển, diễn biến của thịtrường chứng khoán ngày càng phức tạp cho nên loại biểu đồ này ngày càng ít được sửdụng nhất là trên các thị trường chứng khoán hiện đại Hiện nay nó chủ yếu được sửdụng trên các Thị trường chứng khoán mới đi vào hoạt động trong thời gian ngắn, khớplệnh theo phương pháp khớp lệnh định kỳ theo từng phiên hoặc nhiều lần trong mộtphiên nhưng mức độ giao dịch chưa thể đạt được như Thị trường chứng khoán dùngphương pháp khớp lệnh liên tục Ưu điểm của loại biểu đồ này là dễ sử dụng, lý dochính là vì nó được sử dụng trên tất cả các Thị trường chứng khoán trên khắp thế giới từtrước tới nay

Hình 1.1 Biểu đồ dạng đường

Biểu đồ dạng then chắn (Bar chart)

Các Thị trường chứng khoán hiện đại trên thế giới hiện nay chuyên viên phân tíchthường dùng loại biểu đồ này trong phân tích là chủ yếu lý do chính Do tính ưu việt của

nó đó là sự phản ánh rõ nét sự biến động của giá chứng khoán

Hình 1.2 Biểu đồ dạng then chắn

Hai kí tự mà dạng biểu đồ này sử dụng đó là:

Hình 1.3 Kí tự trong biểu đồ dạng then chắn

Loại biểu đồ này thường được áp dụng để phân tích trên các Thị trường chứngkhoán hiện đại khớp lệnh theo hình thức khớp lệnh liên tục, độ dao động của giá chứngkhoán trong một phiên giao dịch là tương đối lớn

Biểu đồ cây nến (Candlestick chart)

Đây là dạng biểu đồ cải tiến của biểu đồ dạng then chắn (Bar chart), nó đượcngười Nhật Bản khám phá và áp dụng trên thị trường chứng khoán của họ đầu tiên Giờđây nó đang dần được phổ biến hầu hết trên các thị trường chứng khoán hiện

đại trên toàn thế giới Dạng biểu đồ này phản ánh rõ nét nhất về sự biến động của giáchứng khoán trên thị trường chứng khoán khớp lệnh theo hình thức khớp lệnh định kỳ.

Chương 2 MỘT SỐ MÔ HÌNH TRONG BÀI TOÁN DỰ BÁO

2.1 Tổng quan về khai phá dữ liệu thời gian thực

Cùng với sự bùng nổ của công nghệ thông tin làm cho kho dữ liệu của chúng tangày càng tăng lên một cách nhanh chóng Hàng ngày, chúng ta tiếp nhận nhiều thôngtin từ nhiều nguồn khác nhau Vậy làm sao để người dùng có thể chắt lọc ra nhữngthông tin hữu ích, hiệu quả nhất trong kho dữ liệu khổng lồ đó? Khai phá tri thức từ cơ

sở dữ liệu (Knowledge Discovery in Database - KDD) và khai phá dữ liệu (DataMining- DM) được xem như một cách tiếp cận mới trong việc tìm kiếm tri thức từ cácnguồn dữ liệu có sẵn Nhờ nó mà từ những tập dữ liệu khổng lồ và hỗn tạp có thể tìm ranhững tri thức hữu ích

Ngày nay, khai phá dữ liệu đang được áp dụng một cách rộng rãi trong nhiều lĩnhvực kinh doanh và đời sống khác nhau [12]: marketing, tài chính, ngân hàng và bảohiểm, khoa học, y tế, an ninh, internet… Rất nhiều tổ chức và công ty lớn trên thế giới

đã áp dụng kỹ thuật khai phá dữ liệu vào các hoạt động sản xuất kinh doanh của mình

và thu được những lợi ích to lớn

Hình 2.1 Mô hình khai phá dữ liệu

Khai phá dữ liệu là một công nghệ mạnh mẽ có tiềm năng rất lớn để giúp ngườidùng tập trung vào các thông tin quan trọng nhất trong kho dữ liệu của họ Nhờ việckhai phá dữ liệu dự đoán xu hướng và hành vi trong tương lai, cho phép các doanhnghiệp đưa ra những quyết định trong tương lai theo huđể thực hiện, quyết định kiếnthức theo hướng chủ động Việc phân tích, đưa ra những quyết định nhờ quá trình khaiphá dữ liệu dựa vào phân tích dữ liệu trong quá khứ của hệ thống hỗ trợ ra quyết định.Khai phá dữ liệu giúp cho người dùng tiết kiệm thời gian trong quá trình đưa ra quyếtđịnh của mình

Vậy, Khai phá dữ liệu là một tập hợp các kỹ thuật được sử dụng để tự động khai

thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập hợp dữ liệu khổng lồ

và phức tạp, đồng thời cũng tìm ra các mẫu tiềm ẩn trong tập dữ liệu đó.

Khai phá dữ liệu là một bước trong bảy bước của quá trình khai phá tri thức từCSDL Quá trình này bao gồm [3]:

1 Làm sạch dữ liệu (data cleaning): Loại bỏ nhiễu và các dữ liệu không cần

thiết

2 Tích hợp dữ liệu: (data integration): Tích hợp dữ liệu từ các nguồn khác nhau

như: CSDL, Kho dữ liệu, file text…

3 Trích chọn dữ liệu (data selection): trích chọn dữ liệu từ những kho dữ liệu và

sau đó chuyển đổi về dạng thích hợp cho quá trình khai thác tri thức Quá trình này bao gồm cảviệc xử lý với dữ liệu nhiễu (noisy data), dữ liệu không đầy đủ (incomplete data) v.v

4 Chuyển đổi dữ liệu (data transformation): Các dữ liệu được chuyển đổi sang các

dạng phù hợp cho quá trình xử lý

5 Khai phá dữ liệu(data mining): Là một trong các bước quan trọng nhất, trong đó

sử dụng những phương pháp thông minh để chắt lọc ra những mẫu dữ liệu

6 Ước lượng mẫu (knowledge evaluation): Quá trình đánh giá các kết quả tìm được

thông qua các độ đo nào đó

7 Biểu diễn tri thức (knowledge presentation): Quá trình này sử dụng các kỹ thuật

để biểu diễn và thể hiện trực quan cho người dùng

Khai phá dữ liệu thường có 2 nhiệm vụ chính:

 Mô tả (Descriptive): có nhiệm vụ mô tả về các tính chất hoặc các đặc tính chung

của dữ liệu trong CSDL hiện có

 Dự đoán (Predictive): có nhiệm vụ đưa ra các dự đoán dựa vào các suy diễn trên

dữ liệu hiện thời

Để thực hiện nhiệm vụ trên, trong khai phá dữ liệu ta có các phương pháp thông dụng là: Phân cụm dữ liệu, Phân lớp dữ liệu, Hồi quy và Khai phá luật kết hợp

 Phân cụm (Clustering): Nhằm nhóm các đối tượng tương tự nhau trong tập dữ

liệu vào các cụm sao cho các đối tượng thuộc cùng một lớp là tương đồng còn các đối tượngthuộc các cụm khác nhau sẽ không tương đồng

 Phân lớp dữ liệu và hồi quy ( Classification &Regression): Nhằm dự báo nhãn

lớp cho các mẫu dữ liệu trong tương lai thông qua các thuộc tính của lớp

 Khai phá luật kết hợp (Association Rule Discovery): Phương pháp này nhằm phát

hiện và đưa ra các mối liên hệ giữa các giá trị dữ liệu trong CSDL Mẫu đầu ra của giải thuậtkhai phá dữ liệu là tập luật kết hợp tìm được

Một chuỗi thời gian (Time Series) là một chuỗi các quan sát theo trật tự thời gian.Chủ yếu những quan sát này được thu thập ở những khoảng thời gian rời rạc, cách đềunhau Các mô hình chuỗi thời gian được đặc biệt áp dụng trong dự báo ngắn hạn Trongcác bài toán dự báo nói chung và các bài toán dự báo tài chính và chứng khoán nóiriêng, dữ liệu thường được biểu diễn dưới dạng chuỗi thời gian Trong các dạng dữ liệuđược phân tích thì dữ liệu chuỗi thời gian luôn thuộc tốp đầu về tính phổ biến

Khai phá dữ liệu thời gian thực ở đây được hiểu là việc khai phá dữ liệu dựa trên

dữ liệu chuỗi thời gian

2.2 Phân lớp dữ liệu

Phân lớp (Classification) là việc phân loại các mẫu thành một tập rời rạc của cácnhóm có thể

Phân lớp là một quá trình gồm hai bước

Bước thứ nhất (huấn luyện - learning)Quá trình học nhằm xây dựng một mô hình mô tả một tập các lớp dữ liệu hay cáckhái niệm định trước Mô hình này được xây dựng bằng cách phân tích các thuộc tínhcủa dữ liệu Mỗi dữ liệu được giả thiết rằng thuộc một lớp đã định nghĩa trước, và đượcxác định bởi nhãn của lớp (class lable) Trong phân lớp, dữ liệu được phân tích để xâydựng một mô hình tập hợp từ tập dữ liệu huấn luyện (training data set) Dữ liệu riêng lẻtạo ra tập huấn luyện còn được gọi là mẫu huấn luyện (training examples) và được chọnngẫu nhiên Nếu các mẫu huấn luyện được đánh nhãn, bước này còn được gọi là học cógiám sát (Supervised learning) Nó đối lập với học không giám sát (unsupervisedlearning), thường được gọi là phân cụm, trong đó nhãn cho mẫu huấn luyện là khôngbiết và số lượng tập hợp của các lớp được học có thể không biết Một số mô hình họcthông dụng được sử dụng nhiều trong thực tế là luật kết hợp, cây quyết định (Decisiontree), mạng nơ-ron, SVM…

Bước thứ hai (phân lớp - classification)Bước thứ hai là sử dụng mô hình đã được xây dựng ở bước một để phân loại cácmẫu dữ liệu chưa có nhãn vào lớp tương ứng Đầu tiên sẽ đánh giá sự chính xác khi dựđoán Có một số cách để đánh giá sự chính xác Cách thường được dùng là phương pháptiếp cận holdout, nó đánh giá sự chính xác dự báo của mô hình bằng việc đo độ chínhxác trên một tập các mẫu mà tập này không được phép dùng khi xây dựng mô hình Tậpnhư vậy được gọi là tập thử (test data set) Những mẫu này được chọn ngẫu nhiên vàđộc lập với tập huấn luyện Sự chính xác của mô hình dựa trên tập dữ liệu kiểm tra làphần trăm của tập mẫu test mà phân loại chính xác bởi mô hình Với

mỗi mẫu thử, nhãn đã biết của lớp được so sánh với sự dự đốn của mơ hình học củalớp Để mơ hình cho kết quả phân lớp tốt thì quá trình huấn luyện cũng phải đạt kết quảtốt và điều quan trọng là tập huấn luyện phải đủ lớn để dữ liệu cĩ thể phân bổ tốt nhất cĩthể.

Một số phương pháp phân lớp cơ bản

- Phương pháp cây quyết định

- Phương pháp Nạve Bayes

- Phương pháp k láng giềng

- Phương pháp mạng nơ-ron

- Phương pháp máy vector hỗ trợ

2.3 Một số mơ hình dùng trong khai phá dữ liệu thời gian thực

2.3.1 Mơ hình mạng nơ-ron nhân tạo (ANN – Artificial Neural Network) a

Giới thiệu sơ lược về mơ hình mạng nơ-ron

- Đầu dây thần kinh ra được gọi là sợi trục axon Khác với dendrites, axon cĩ khảnăng phát các xung điện thế, chúng là các dây dẫn tín hiệu từ nơ-ron đi các nơi khác Chỉ khi nàođiện thế trong soma vượt quá một giá trị ngưỡng nào đĩ (threshold) thì axon mới phát một xungđiện thế, cịn nếu khơng thì nĩ ở trạng thái nghỉ

- Synapse là các mối nối đặc biệt để liên kết axon với các dendrites hoặc trực tiếpvới nhân của các nơ-ron khác Thơng thường mỗi nơ-ron cĩ thể cĩ từ vài chục cho tới hàng trămngàn khớp nối để nối với các nơ-ron khác Người ta ước tính mỗi nơ-ron trong bộ não của conngười cĩ khoảng 104 khớp nối

Hình 2.2 Mơ hình nơ-ron sinh học

Chức năng cơ bản của các tế bào nơ-ron là liên kết với nhau để tạo nên hệ thốngthần kinh điều khiển hoạt động của cơ thể sống Các tế bào nơ-ron truyền tín hiệu chonhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và đượctạo ra từ các quá trình phản ứng hoá học phức tạp Tại nhân tế bào, khi điện thế của tínhiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới trục dây thầnkinh ra Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục truyền tới các nơ-ronkhác.

 Mạng nơ-ron nhân tạo

Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) ra đời xuất phát từ ý tưởng

mô phỏng hoạt động của hệ thần kinh con người[13]

Mạng nơ-ron nhân tạo là mạng các phần tử (gọi là nơ-ron) kết nối với nhau thông

qua các liên kết (gọi là trọng số liên kết) để thực hiện một công việc cụ thể nào đó Khảnăng xử lý của mạng nơ-ron được hình thành thông qua quá trình hiệu chỉnh trọng số

liên kết giữa các nơ-ron, nói cách khác là học từ tập hợp các mẫu huấn luyện.

Mạng nơ-ron nhân tạo là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinhcon người với vô số các nơ-ron được liên kết với nhau tạo thành hệ thống mạng Giốngnhư bộ não con người, ANN được học bởi kinh nghiệm, lưu giữ những kinh nghiệm đó

và sau đó áp dụng những kinh nghiệm đó để giải quyết các bài toán cụ thể

Mô hình mạng nơ-ron nhân tạo hiện nay đã được nhiều người quan tâm và đã ápdụng rộng rãi trong nhiều lĩnh vực khác nhau như tài chính, y tế, địa chất và vật lý Thậtvậy, bất cứ ở đâu có vấn đề về dự báo, phân loại và điều khiển, mạng nơ-ron đều có thểứng dụng được Ví dụ như khả năng nhận dạng mặt người trong các hệ thống quản lýthông tin liên quan đến con người (quản lý nhân sự ở các công sở, doanh nghiệp; quản

lý học sinh, sinh viên trong các trường trung học, đại học và cao đẳng;… ); các ngànhkhoa học hình sự, tội phạm; khoa học tướng số, tử vi,…

Kết hợp với giải thuật di truyền, mạng nơ-ron nhân tạo đã đem lại hiệu quả cao trongbài toán dự báo, đặc biệt là trong bài toán dự báo tài chính

b Cấu trúc và hoạt động của mạng nơ-ron

 Cấu trúc và hoạt động của một nơ-ron

Từ khái niệm về mạng nơ-ron ta thấy đơn vị hình thành lên mạng nơ-ron là từ cácnơ-ron Chức năng của mạng nơ-ron nhân tạo tương tự như chức năng đơn giản nhất củacác nơ-ron sinh học đó là tích luỹ (ghi nhớ) những tri thức đã được học về các sự vật đểnhận biết, phân biệt chúng mỗi khi gặp lại Chức năng này được hình thành thông quamột chuỗi liên tiếp các quá trình xử lý thông tin của các nơ-ron trong mạng

Về cơ bản, mỗi nơ-ron sinh học thực hiện nhiệm vụ của mình thông qua các bước:nhận đầu vào, xử lý đầu vào đó, đưa dữ liệu đã được xử lý ra output và liên lạc

với các nơ-ron khác để gửi output này đi Với bản chất là mô hình mô phỏng đơn giảncủa nơ-ron sinh học, nơ-ron nhân tạo cũng thực hiện nhiệm vụ của mình thông qua cácthao tác: nhận đầu vào từ các nơ-ron trước nó, xử lý đầu vào bằng cách nhân mỗi đầuvào này với trọng số liên kết tương ứng và tính tổng các tích thu được rồi đưa qua mộthàm truyền, sau đó gửi kết quả cuối cùng cho các nơ-ron tiếp theo hoặc đưa ra output.

Cứ như vậy các nơ-ron này hoạt động phối hợp với nhau tạo thành hoạt động chính củamạng nơ-ron

Quá trình xử lý thông tin của một nơ-ron được thể hiện rất rõ trong cấu trúc củamột nơ-ron trong hình 2.3 như sau:

Hình 2.3 Cấu trúc của một nơ-ron

Trong đó:

 (x1, x2, …, xp), với p 1: là các tín hiệu đầu vào của nơ-ron Các tín hiệu này cóthể là đầu ra của các nơ-ron trước nó hoặc đầu vào ban đầu của mạng và thường được đưa vàodưới dạng một vector p chiều

 (wk1, wk2, …, wkp) là tập các trọng số liên kết của nơ-ron k với p đầu vàotương ứng (x1, x2, …, xp) Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ởthời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học của mạng Đây là thànhphần rất quan trọng của nơ-ron, nó thể hiện mức độ quan trọng (độ mạnh) của dữ liệu đầu vàođối với quá trình xử lý thông tin (quá trình chuyển đổi dữ liệu từ Layer này sang layer khác).Quá trình học của một mạng nơ-ron thực ra là quá trình điều chỉnh các trọng số (weight) của dữliệu đầu vào để được kết quả như mong muốn

 ∑ là hàm tổng trên một ron, dùng để tính tổng các giá trị kích hoạt lên ron đó Thông thường, đây là tổng của các tích giữa đầu vào với trọng số liên kết tương ứng củanơ-ron

nơ-Hình 2.4 Cách tính hàm tổng

 Hình 2.4a: Hàm tổng của một nơ-ron đối với n input được tính theo công thức:

 Hình 2.4b: Hàm tổng đối với nhiều nơ-ron trong cùng một Layer được tính theo công thức:

 uk là tổng các giá trị kích hoạt lên nơ-ron thứ k, giá trị này chính là đầu ra của hàm tổng

 bk là ngưỡng (còn gọi là hệ số bias) của nơ-ron thứ k, giá trị này được dùng

như một thành phần phân ngưỡng trên hàm truyền và cũng được cập nhật liên tục trong quá trìnhhọc của mạng

 (.) là hàm chuyển, còn gọi là hàm kích hoạt (activation function) Hàm

chuyển được dùng để giới hạn phạm vi đầu ra của mỗi nơ-ron Đối số của hàm là giá trị hàmtổng và ngưỡng bk Thông thường, phạm vi đầu ra của mỗi nơ-ron được giới hạn trong đoạn[0,1] hoặc [-1,1] Như vậy miền giá trị của các hàm kích hoạt cũng là một trong hai đoạn trên Córất nhiều hàm chuyển thường được dùng, việc lựa chọn hàm chuyển nào cho phù hợp tuỳ thuộcvào từng bài toán

 yk là tín hiệu đầu ra của nơ-ron thứ k, mỗi nơ-ron thường có một đầu ra và tối

đa là một đầu ra Giá trị yk được tính theo công thức:

 Cấu trúc và hoạt động của mạng nơ-ron

Một mạng nơ-ron bao gồm các nơ-ron được tổ chức thành các layer Lớp đầu tiên

được gọi là lớp đầu vào (input layer) bao gồm các nơ-ron đầu vào của mạng Lớp cuối cùng (lớp đầu ra – output layer) của mạng chứa các nơ-ron đầu ra là các dự đoán của

mạng tương ứng với nơ-ron đầu vào

Một mạng nơ-ron có thể có một hoặc nhiều lớp, trong đó ít nhất phải có lớp đầu ra.Mỗi lớp có thể có một hoặc nhiều nơ-ron Cấu trúc tổng quát của mạng nơ-ron được thểhiện trong hình vẽ sau:

Hình 2.5 Cấu trúc của mạng nơ-ron

Trong mạng nơ-ron trên, lớp đầu vào bao gồm n phần tử: x1, x2, , xn. Các lớp

ẩn và lớp đầu ra tương ứng Các nơ-ron trong lớp ẩn có cấu trúc như trong hình 2.3.Liên kết giữa các lớp có thể là liên kết đầy đủ (mỗi nơ-ron thuộc lớp sau liên kết với tất

cả các nơ-ron ở lớp trước đó) hoặc liên kết chọn lọc (mỗi nơ-ron thuộc lớp sau chỉ liênkết với một vài nơ-ron ở lớp trước đó)

Đầu ra của lớp trước chính là đầu vào của lớp ngay sau nó Mỗi nơ-ron trong lớpinput được xử lý và chuyển

 Hàm chuyển

Việc xử lý thông tin tại mỗi nơ-ron có thể xem là gồm hai phần: xử lý tín hiệu vào

(input) và đưa tín hiệu ra (output) Tương ứng với phần vào của mỗi nơ-ron là một hàm

tương tác u, hàm này kết hợp với các thông tin truyền tới nơ-ron và tạo thành thông tin

đầu vào tổng hợp của nơ-ron đó

Thao tác thứ hai trong mỗi nơ-ron là tính giá trị đầu ra tương ứng với giá trị đầu

vào u thông qua hàm kích hoạt hay còn gọi là hàm chuyển f(u) Một số hàm chuyển

f(u) =

với u≥1

1

của mạng nơ-ronHard limit

trong các bài toán(hardlim)

phân loại hai lớp

 Phương pháp học của mạng nơ-ron

Mạng nơ-ron nhân tạo phỏng theo việc xử lý thông tin của bộ não người, do vậy đặctrưng cơ bản của mạng là có khả năng học, khả năng tái tạo các hình ảnh và dữ liệu khi

đã học Trong trạng thái học thông tin được lan truyền theo hai chiều nhiều lần để họccác trọng số Có 3 kiểu học chính, mỗi kiểu học tương ứng với một nhiệm vụ học trừu

tượng Các kiểu học đó là học có giám sát (có mẫu - supervised learning), học không giám sát (unsupervised learning) và học tăng cường.

Huấn luyện mạng: là quá trình đào tạo mạng sao cho khả năng học và tổng quát hoá

mà nó đạt được là cao nhất Bản chất của việc làm này là hiệu chỉnh trọng số liên kết

giữa các nơ-ron và ngưỡng tại các nơ-ron trong mạng để từ các tín hiệu vào ban đầu, sauquá trình tính toán mạng đưa ra kết quả là giá trị mà chúng ta mong muốn

Học có giám sát

Một thành phần không thể thiếu của phương pháp này là sự có mặt của một ngườithầy (ở bên ngoài hệ thống) Người thầy này có kiến thức về môi trường thể hiện quamột tập hợp các cặp đầu vào - đầu ra đã được biết trước Hệ thống học (ở đây là mạngnơ-ron) sẽ phải tìm cách thay đổi các tham số bên trong của mình (các trọng số và cácngưỡng) để tạo nên một ánh xạ có khả năng ánh xạ các đầu vào thành các đầu ra mongmuốn Sự thay đổi này được tiến hành nhờ việc so sánh giữa đầu ra thực sự và đầu ramong muốn

Một số thuật toán điển hình trong phương pháp học có giám sát là: thuật toán LMS

(Least Mean Square error), thuật toán lan truyền ngược sai số (Back Propagation), …

Học không giám sát

Trong học không có giám sát, ta được cho trước một số dữ liệu x và hàm chi phícần được cực tiểu hóa có thể là một hàm bất kỳ của dữ liệu x và đầu ra của mạng, f –hàm chi phí được quyết định bởi phát biểu của bài toán Phần lớn các ứng dụng nằmtrong vùng của các bài toán ước lượng như mô hình hóa thống kê, nén, lọc, phân cụm.Các nghiên cứu và thực nghiệm cho thấy rằng: phương pháp học có giám sát làphương pháp huấn luyện phổ biến và hiệu quả đối với mạng nơ-ron nhiều tầng truyềnthẳng MLP

Học tăng cường

Dữ liệu x thường không được tạo trước mà được tạo ra trong quá trình một agenttương tác với môi trường Tại mỗi thời điểm t, agent thực hiện hành động yt và môitrường tạo một quan sát xt với một chi phí tức thời Ct, theo một quy trình động nào đó(thường là không được biết) Mục tiêu là một sách lược lựa chọn hành động để cực tiểuhóa một chi phí dài hạn nào đó, nghĩa là chi phí tích lũy mong đợi Quy trình hoạt

động của môi trường và chi phí dài hạn cho mỗi sách lược thường không được biết,nhưng có thể ước lượng được Mạng nơ-ron nhân tạo thường được dùng trong học tăngcường như một phần của thuật toán toàn cục Các bài toán thường được giải quyết bằnghọc tăng cường là các bài toán điều khiển, trò chơi và các nhiệm vụ quyết định tuần tự(sequential decision making) khác.

 Thuật toán huấn luyện mạng nơ-ron

Thuật toán lan truyền ngược sai sốThuật toán học theo phương pháp lan truyền ngược sai số do Rumelhart và cáccộng sự đề xuất là một trong những nghiên cứu quan trọng nhất đối với sự phát triển củamạng nơ-ron nhân tạo Thuật toán này được áp dụng cho mạng nơ-ron truyền thẳngnhiều lớp

Việc huấn luyện mạng với thuật toán lan truyền ngược sai số gồm hai pha ngượcchiều nhau: quá trình truyền thẳng (lan truyền xuôi) và quá trình lan truyền ngược Tưtưởng của thuật toán có thể diễn đạt như sau:

- Chuẩn bị tập mẫu đầu vào dưới dạng {xi, ti} trong đó xi là đầu vào cho mạng và ti

là giá trị đầu ra mong muốn tương ứng với xi (còn gọi là giá trị mục tiêu)

- Lựa chọn hàm đánh giá sai số của mạng (sai số giữa đầu ra thực tế và giá trị mụctiêu) Chúng ta có thể dùng hàm sai số trung bình bình phương, hàm tuyến tính,…

- Lan truyền xuôi tín hiệu đầu vào qua mạng: cung cấp vector đầu vào cho lớp thứnhất của mạng, sau đó tín hiệu sẽ được lan truyền lần lượt trên từng lớp mạng Cuối cùng ta sẽthu được vector đầu ra thực sự của mạng

- Tính sai số của mạng rồi lan truyền ngược sai số lần lượt từ lớp đầu ra cho tới lớpđầu vào để hiệu chỉnh tham số mạng tại các nơ-ron ở các lớp (trọng số liên kết, ngưỡng) theo cácluật hiệu chỉnh trọng số tương ứng với hàm đánh giá sai số

- Lặp lại hai quá trình trên sao cho đầu ra thực sự của mạng càng gần với giá trị mụctiêu càng tốt (sai số của mạng càng nhỏ càng tốt)

Để cài đặt được thuật toán này, trước hết chúng ta cùng tìm hiểu cơ sở toán học của thuật toán và những công thức phục vụ cho việc tính toán [1]

Giả sử ta có mạng nơ-ron nhiều tầng truyền thẳng với các kí hiệu sau:

M: số tầng của mạng(x1, x2, …, xp): vector đầu vào của mạng

wk: ma trận trọng số của lớp thứ i

w k

ij : trọng số nối nơ-ron thứ i của lớp k với nơ-ron thứ j của lớp k-1

n k

i: giá trị sau khi tính hàm tổng tại nơ-ron thứ i của lớp k

a i k: giá trị đầu ra của nơ-ron thứ i của lớp k

ti: giá trị đầu ra mong muốn tại nơ-ron thứ i của lớp ra: hệ số học của mạng (0< <1), hệ số này giúp cho thuật toán học mạng hội tụ nhanh hơn

E: hàm giá (hàm đánh giá sai số của mạng)

Ở dạng vector ta viết:

ak = a1 a2 aSkM với k = M thì đây là đầu ra thực sự của mạng

t = t1t2 t s M đây là đầu ra mong muốn hay còn gọi là vector mục tiêu

Ta có công thức để tính đầu ra của tại nơ-ron như sau:

số E càng nhỏ càng tốt Có nghĩa là phải tìm bộ tham số mạng sao cho E đạt giá trị cực

tiểu Phương pháp tìm cực tiểu thông dụng nhất là tính đạo hàm của hàm số và dịch

chuyển vector tham số lại gần điểm đạo hàm triệt tiêu theo chiều ngược với vector

gradient của hàm số Do đó chúng ta cần tính đạo hàm riêng của hàm giá E trên

từng tham số của mạng (trọng số và ngưỡng) Tức là ta cần phải tính các giá trị: E

(2.3)

(2.4)

Vậy ta chỉ cần tính giá trị của E

một lượng như sau:

Trong đó là hệ số học ( 0 ), i k là các tín hiệu sai số như đã nói ở trên.

Các công thức (2.7) (2.8) (2.9) (2.10) và (2.11) chính là cơ sở của thủ tục lan truyền ngược sai số

Tuy nhiên ở lớp đầu ra (có số hiệu M) ta không thể dùng công thức (2.7) để tính

i k Ở lớp nơ-ron này ta phải tính ik dựa vào dạng hàm cụ thể của hàm giá E Ví dụ: với

E là bình phương độ lệch của đầu ra thực sự và đầu ra mong muốn

Trên cơ sở đó thuật toán lan truyền ngược sai số để huấn luyện mạng MLP được

mô tả chi tiết hơn như sau:

INPUT: tập mẫu học được cung cấp dưới dạng {x =(x1,x2, ,xp),t = (t1,t2, ,tq)} với số lượng mẫu là N

OUTPUT: các ma trận trọng số w1,w2, ,wM và các vectorngưỡng tại các nơ-ron ở các lớp b1,b2, ,bM

PROCESS:

Bước 1: Khởi tạo các tham số mạng (trọng số và ngưỡng), hệ

số học , sai số tối đa cho phép Emax và số lần huấn luyệntối đa I

Khởi tạo k = 1 (mẫu học thứ k), i = 1 (lần huấn luyện thứi)

Bước 2: Đưa mẫu huấn luyện thứ k vào mạng

Bước 3: Lan truyền xuôi tín hiệu đầu vào lần lượt qua cáclớp nơ-ron (từ lớp ẩn thứ nhất, qua lớp ẩn thứ hai, , đếnlớp đầu ra) để tính đầu ra tương ứng tại mỗi lớp theo côngthức (2.0)

Bước 4: Tính sai số E và tín hiệu sai số ở lớp đầu ra củamạng theo công thức (2.12) và (2.13) nếu E được chọn là hàmtrung bình bình phương

Bước 5: Lan truyền ngược tín hiệu sai số (từ lớp đầu ra,qua lớp ẩn cuối cùng, , đến lớp ẩn đầu tiên) để cập nhậttrọng số và ngưỡng tại các lớp nơ-ron cũng như tính tínhiệu sai số cho lớp trước nó theo các công thức (2.10)(2.11) và (2.7)

Bước 6: Nếu k<N (chưa hết số mẫu học) thì k:=k+1 và quaylại bước 2, ngược lại chuyển tới bước 7

Bước 7: Tính sai số trung bình sau lần huấn luyện thứ i

Thuật toán lan truyền ngược sai số

Ta thấy:

Trong quá trình truyền thẳng các tham số mạng là cố định, ngược lại trong quátrình lan truyền ngược các tham số này được hiệu chỉnh và cập nhật để mạng có thểnhận dạng các mẫu đã được học một cách chính xác

Có nhiều yếu tố ảnh hưởng đến quá trình huấn luyện mạng, đó là: hàm truyền

f, hàm giá E, hệ số học và các tham số khởi tạo Do đó ta cần lưu ý trong việc lựa chọn

các yếu tố này sao cho phù hợp

 Một số yếu tố ảnh hưởng đến quá trình học của mạng nơ-ron theo phương pháp lan truyền ngược sai số

Mạng nơ-ron được sử dụng nhiều trong thực tế Tuy nhiên để mạng có thể đưa rakết quả tốt, chúng ta cần quan tâm đến một số vấn đề có ảnh hưởng khá quan trọng đếnhiệu quả làm việc của nó bao gồm: vấn đề chuẩn hóa dữ liệu đầu vào, khởi tạo trọng sốcủa mạng, tốc độ học, vấn đề lựa chọn một cấu trúc mạng phù hợp với bài toán

Chuẩn hóa dữ liệu đầu vào

Mạng nơ-ron lan truyền ngược thường sử dụng hàm chuyển là hàm sigmoid códạng như sau:

Hình 2.6 Hàm sigmoid

Với dạng hàm này, giá trị ở đầu ra của mỗi nơ-ron nằm trong phạm vi hoảng(0,1) và nó đạt các giá trị bão hoà ( xấp xỉ 0 hay 1 ) khi x lớn Do đó, khi đầu vào củamạng có giá trị tuyệt đối lớn thì ta cần chuẩn hoá nó về khoảng có giá trị nhỏ, nếu khôngthì các nơ-ron tại các lớp ẩn ngay ban đầu đã có thể đạt giá trị bão hoà và quá trình họccủa mạng không đạt kết quả mong muốn Với dạng hàm như trên thì giá trị đầu vào củamạng thường được chuẩn hoá về khoảng thuộc đoạn [-3, 3] Mặt khác, do tín hiệu đầu racủa nơ-ron nằm trong khoảng giá trị (0,1) nên các giá trị đầu ra thực tế trong các mẫuhọc cũng cần chuẩn hoá về khoảng giá trị này để có thể dùng cho quá trình luyện mạng

Do vậy trong quá trình tính toán, để có các giá trị thực tế ở đầu ra của mạng chúng tacần phải chuyển các giá trị trong khoảng (0,1) về miền các giá trị thực tế [2]

Khởi tạo trọng số

Các giá trị được khởi tạo ban đầu cho các trọng số trong mạng lan truyền ngượcsai số ảnh hưởng rất lớn đến kết quả học cuối cùng của mạng Các giá trị này thườngđược khởi tạo ngẫu nhiên trong phạm vi giá trị tương đối nhỏ Thông thường hàmchuyển sử dụng cho mạng MLP là hàm sigmoid, do vậy nếu ta chọn các giá trị trọng sốkhởi tạo lớn thì các hàm này có thể bão hoà ngay từ đầu và dẫn tới hệ thống có thể bị tắcngay tại một cực tiểu địa phương hoặc tại một vùng bằng phẳng nào đó gần điểm xuấtphát Theo nghiên cứu của Wessels và Barnard, năm 1992 [18], thì việc khởi tạo các

trọng số liên kết wij nên trong phạm vi 3/, 3/ i i − k k với ki là số liên kết của các nơ-ron

j tới nơ-ron i.

Tốc độ học

Tốc độ học η cũng là một yếu tố quan trọng ảnh hưởng đến hiệu quả và độ hội tụcủa giải thuật lan truyền ngược sai số Không có hằng số η phù hợp cho tất cả các bàitoán khác nhau Tốc độ học này thường được chọn bằng thực nghiệm cho mỗi bài toánứng dụng cụ thể bằng phương pháp thử sai Trong nhiều ứng dụng thực tế cho thấy mộttốc độ học có thể phù hợp ở thời điểm bắt đầu của quá trình học nhưng lại không phùhợp với giai đoạn sau của quá trình học Do đó, có một phương pháp hiệu quả hơn đó là

sử dụng tốc độ học thích nghi Một cách xử lý đơn giản cho vấn đề này đó là

kiểm tra xem các trọng số mới có làm giảm hàm giá hay không, nếu không thì có thểcác trọng số đã vượt quá xa vùng cực tiểu và như vậy hằng số η cần phải giảm Trái lại,nếu sau vài vòng lặp hàm giá liên tục giảm thì ta có thể thử tăng hằng số η để đẩy nhanhhơn tốc độ hội tụ đến giá trị cực tiểu Năm 1991, trong nghiên cứu của mình Hertz vàcác cộng sự [9] đã đề xuất luật điều chỉnh hằng số học như sau:

trong đó ΔE là thay đổi của hàm giá, a và b là các hằng số dương, việc ΔE luôn nhỏ hơn

0 được đánh giá dựa trên k bước lặp liên tiếp

Nhận dạng chữ: Chữ ở đây có thể là chữ đánh máy hoặc viết tay Với chữ đánh máy (sách, báo,….) ta có các ứng dụng như số hoá các tài liệu giấy trong thư viện, phân loại tài liệu, … Với chữ viết tay, các ứng dụng có vẻ đa dạng hơn như nhập liệu tự động các phiếu ghi thông tin, phân loại tự động địa chỉ thư ở bưu điện, kiểm tra tài khoản ở ngân hàng,…Ngày càng có nhiều nghiên cứu về mạng nơ-ron trong lĩnh vực này đặc biệt là trong nhận dạng chữ viết tay

Dự báo (Forecasting): Mạng nơ-ron được sử dụng để đưa ra những tiên đoán khoa học mang tính xác suất và tính phương án trong khoảng thời gian hữu hạn của đối tượng nghiên cứu Ngày nay, việc sử dụng mô hình mạng nơ-ron trong bài toán dự báo rất phổ biến, có thể kể đến như: dự báo trị trường cổ phiếu, quản

lý rủi ro cá nhân,…

Nén ảnh (dữ liệu): Có thể nói, ứng dụng của mạng nơ-ron trong lĩnh vực nàychưa nhiều Tuy nhiên, các nghiên cứu cũng cho thấy rằng mạng nơ-ron có thểnén/giải nén dữ liệu và ảnh Các mạng kết hợp có thể giảm số bit biểu diễn dữliệu từ 8 bits xuống còn 3 bits sau đó mạng có thể thực hiện quá trình ngược lại