Ứng dụng khai phá dữ liệu vào dự báo giá mặt hàng trên sang giao dịch

Giao dịch hàng hóa tương lai được thực hiện trên các sàn giao dịch trên thế giới bằng hợp đồng giao dịch.. Trong nội dung luận văn này tác giả sẽ trình bày khái quát về giao dịch hàng hó

ĐẠI HỌC QUỐC GIA HÀ NỘI

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LÊ KHẢ CHUNG

ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ

MẶT HÀNG TRÊN SÀN GIAO DỊCH

Ngành: Công Nghệ Thông tin

Chuyên ngành: Hệ thống Thông tin

Mã số: 60.48.05

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGUYỄN TRÍ THÀNH

HÀ NỘI - 2015

1

Lời cảm ơn

Em xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Nguyễn Trí Thành, thầy đã hướng dẫn, chỉ dạy tận tình để em hoàn thành luận văn này Em xin chân thành cảm ơn các thầy, cô giáo khoa Công nghệ thông tin - Trường Đại học Công nghệ - Đại học Quốc gia Hà nội đã truyền thụ kiến thức cho em trong suốt quá trình học tập vừa qua

Tác giả cũng xin cảm ơn cơ quan, bạn bè đồng nghiệp, gia đình và những người thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi để tác giả hoàn thành nhiệm vụ học tập và luận văn này

Hà Nội, ngày 06 tháng 12 năm 2015

Lê Khả Chung

2

Mục lục

Mục lục 2

Danh mục các bảng 5

Danh mục các hình ảnh 6

MỞ ĐẦU 8

Chương 1 TỔNG QUAN VỀ GIAO DỊCH HÀNG HÓA TƯƠNG LAI 10

1.1 Hàng hóa tương lai 10

1.2 Sàn giao dịch hàng hóa tương lai 11

1.3 Các chủ thể trong thị trường tương lai 12

1.4 Phân tích kỹ thuật 13

1.4.1 Phân tích điểm kháng cự, hỗ trợ 13

1.4.2 Phân tích xu hướng giá 14

1.4.3 Phân tích đường trung bình giá 14

1.5 Đặt vấn đề dự báo giá hàng hóa trên sàn giao dịch 15

Chương 2 CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON 17

2.1 Lịch sử phát triển của mạng nơ ron 17

2.2 Cơ sở sinh học 17

2.3 Cấu tạo nơ ron nhân tạo 18

2.3.1 Cấu tạo một nơ ron nhân tạo 18

2.3.2 Hàm truyền 20

2.4 Mô hình của mạng nơ ron 22

2.4.1 Mạng truyền thẳng 22

2.4.2 Mạng hồi quy 23

2.5 Huấn luyện mạng 23

2.5.1 Học có giám sát 24

2.5.2 Học không giám sát 24

2.6 Hàm mục tiêu 24

2.7 Thuật toán lan truyền ngược 25

3

2.8 Lĩnh vực áp dụng 28

Chương 3 MÔ HÌNH XỬ LÝ 30

3.1 Mạng nơ ron trong bài toán dự báo 30

3.2 Mô hình xử lý 31

3.3 Lựa chọn các biến số 31

3.4 Thu thập dữ liệu 32

3.5 Tiền xử lý và phân tích dữ liệu 33

3.5.1 Tiền xử lý dữ liệu 33

3.5.2 Phân tích dữ liệu 34

3.6 Phân chia tập dữ liệu 35

3.7 Cấu trúc mạng 36

3.7.1 Số lớp ẩn 36

3.7.2 Số nơ ron trong mỗi lớp ẩn 36

3.7.3 Số nơ ron đầu ra 37

3.7.4 Hàm truyền 37

3.8 Xác định tiêu trí đánh giá 37

3.9 Huấn luyện mạng 38

3.10 Triển khai 39

Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ 41

4.1 Giới thiệu về thư viện cài đặt nơ ron 41

4.2 Mô hình mạng 41

4.2.1 Các biến số sử dụng cho bài toán 41

4.2.3 Thu thập dữ liệu 42

4.2.4 Mô hình mạng 44

4.3 Huấn luyện mạng 46

4.4 Đánh giá mô hình mạng 47

4.4.1 So sánh kết quả của mạng với mô hình tương đương 47

4.4.2 Đánh giá kết quả dự đoán 50

4.5 Giới thiệu ứng dụng dự đoán giá 52

4

4.5.1 Huấn luyện mạng 53

4.5.2 Dự đoán giá 54

KẾT LUẬN 56

TÀI LIỆU THAM KHẢO 57

PHỤ LỤC 59

5

Danh mục các bảng

Bảng 1.1: Sự khác nhau giữa hợp đồng kỳ hạn và hợp đồng tương lai 11

Bảng 1.2: Sàn giao dịch hàng hóa tương lai 12

Bảng 2.1: Sơ đồ thuật toán lan truyền ngược 28

Bảng 4.1: Bảng các biến số sử dụng trong mạng 42

Bảng 4.2: Bảng dữ liệu mẫu tổng hợp từ nguồn trong tháng 5-KCN13 43

Bảng 4.3: Bảng dữ liệu mẫu giá đóng cửa của các biến số được sử dụng trong tháng 05/2013 43

Bảng 4.4: Kết quả chạy mạng 1 lớp ẩn 44

Bảng 4.5: Kết quả chạy mạng 2 lớp ẩn 45

Bảng 4.6: Kết quả chạy mạng 3 lớp ẩn 45

Bảng 4.7: So sánh mạng 1 point và 5 point 50

Bảng 4.8: Bảng so sánh mạng 1 point và 5 point trên các mã giao dịch 50

Bảng 4.9: Kết quả dự đoán mã giao dịch KCZ13 51

6

Danh mục các hình ảnh

Hình 1.1: Biểu đồ OHLC – xác định điểm hỗ trợ, điểm kháng cự 14

Hình 1 2: Biểu đồ đường trung bình giá CCZ15 [finance.yahoo.com] 15

Hình 2.1: Cấu tạo 1 nơ ron sinh học 18

Hình 2.2: Cấu tạo một nơ ron trong mạng 19

Hình 2.3: Đồ thị hàm ngưỡng 20

Hình 2.4: Đồ thị hàm vùng tuyến tính 21

Hình 2.5: Đồ thị hàm Sigmoid với hệ số 𝑎 tăng dần 22

Hình 2.6: Mô hình mạng nơ ron một lớp truyền thẳng 22

Hình 2.7: Mô hình mạng nơ ron truyền thẳng nhiều lớp 23

Hình 2.8: Ví dụ về mô hình mạng hồi quy truyền thắng 23

Hình 2.9 Mô hình học có thầy 24

Hình 3.1: Các bước để xây dựng mạng nơ ron trong bài toán dự báo 30

Hình 3.2: Các bước xử lý mạng nơ ron trong bài toán dự báo 31

Hình 3.3: Biểu đồ giá đóng cửa của mã giao dịch KCZ13 33

Hình 3.4: Sử dụng 5 điểm lịch sử liên tiếp để dự đoán 35

Hình 3.5: Mô hình tổ chức dữ liệu 36

Hình 3.6: Múc độ tương quan 38

Hình 4.1: Dữ liệu của mã giao dịch KCN13 từ nguồn 42

Hình 4.2: Mô hình mạng nơ ron dự báo giá mặt hàng trên sàn giao dịch 46

Hình 4.3: Đồ thị của hàm truyền 46

Hình 4.4: Đồ thị lỗi trong qua trình huấn luyện 47

Hình 4.5: Kết quả dự báo và giá trị thực mạng 1 point 48

Hình 4.6: Kết quả dự báo và giá trị thực mạng 5 point 48

Hình 4.7: Biểu đồ tương quan KCZ 13- 1 point 49

Hình 4.8: Biểu đồ tương quan KCZ13- 5 point 49

Hình 4.9: Dự đoán giá close của giao dịch KCN13 52

Hình 4.10: Biểu đồ tương quan dự đoán mã giao dịch KCN13 52

7

Hình 4.11: Giao diện ứng dụng dụ đoán 53

Hình 4.12: Giao diện hiển thị biểu đồ lỗi trong quá trình huấn luyện 54

Hình 4.13: Giao diện ứng dụng kiểm tra dự đoán 54

Hình 4.14: Giao diện tab Graph 55

8

MỞ ĐẦU

Thị trường giao dịch hàng hóa tương lai là một thị trường non trẻ ở Việt Nam hiện nay Các mặt hàng thuộc lĩnh vực nông sản, kim loại đang đóng vai trò chủ đạo trong các giao dịch ở Việt Nam hiện nay như: cafe, cacao, đường, sắt thép Giao dịch hàng hóa tương lai được thực hiện trên các sàn giao dịch trên thế giới bằng hợp đồng giao dịch Các hợp đồng giao dịch này được chuẩn hóa về loại tài sản, số lượng đơn vị tài sản, thể thức thanh toán, kỳ hạn giao dịch, chỉ có giá được thỏa thuận Mỗi hợp đồng giao dịch là một lệnh mua hoặc bán được đặt trên sàn Hai lệnh mua và bán khớp với nhau làm cho giá thị trường của mặt hàng đó thay đổi

Dự đoán, dự báo giá đang là một nhu cần cần thiết cho các nhà đầu tư trên thị trường hiện nay Để đưa ra quyết định mua hoặc bán một mặt hàng các nhà đầu tư thường tiến hành phân tích theo các cách riêng Một trong những phương pháp được

áp dụng phổ biến là sử dụng phân tích kỹ thuật Với giả định nền tảng là giá phản ánh tất cả các hành động của thị trường, khi có bất kỳ một thông tin gì mới được đưa ra thì

nó được phản ánh ngay trong giá Bởi vậy các nhà đâu tư này họ thường xuyên quan sát đồ thị giá và khối lượng trong quá khứ để dự đoán xu hướng biến động sắp tới của thị trường Việc phân tích trên gặp nhiều hạn chế như mang tính chủ quan của người phân tích, tốn nhiều thời gian, hoặc khi phát hiện ra xu hướng thì giá đã biến động mạnh Yêu cầu đặt ra là cần có một gợi ý chính xác trên cơ sở khoa học thực tiễn cho các nhà đầu tư

Mạng nơ ron được ứng dụng nhiều vào các bài toán dự báo hiện nay Hoạt động theo mô phỏng của bộ não con người Bằng việc tính toán sự tương quan giữa dữ liệu đầu vào với kết quả mong muốn đầu ra, mạng nơ ron đã và đang mang lại hiệu quả cao trong các bài toán yêu cầu sự phúc tạp và tính toán cao Lĩnh vực dự đoán, dự báo là một mảng mạnh của mạng rơ ron Việc sử dụng mạng nơ ron trong bài toán khai phá

dữ liệu lịch sử để dự đoán giá trong tương lai mang lại nhiều lợi ích và giá trị dự báo

Trong nội dung luận văn này tác giả sẽ trình bày khái quát về giao dịch hàng hóa tương lai trên sàn giao dịch, tổng quan về mạng nơ ron, ứng dụng mạng nơ ron vào bài toán dự báo giá một mặt hàng trên sàn giao dịch Luận văn gồm các chương sau:

Chương 1 Tổng quan về giao dịch hàng hóa tương lai: Trong chương này tác giả sẽ trình bày khái quát về giao dịch hàng hoá tương lai, sàn giao dịch hàng hoá tương lai Một số kỹ thuật thông dụng được dùng trong phân tích kỹ thuật, thông qua

đó đặt vấn đề cấp thiết cho bài toán dự báo giá trên sàn giao dịch hành hóa tương lai

9

Chương 2: Cơ sở lý thuyết về mạng nơ ron: Trong chương này tác giả sẽ trình bày lịch sử về mạng nơ ron, cũng như cơ sở sinh học về mạng, các mô hình của mạng

nơ ron hiện nay, huấn luyện mạng, các ứng dụng của mạng nơ ron hiện nay

Chương 3: Mô hình xử lý: Trong chương này chúng ta sẽ cùng đi sâu vào bài toán dự đoán giá theo mô hình xây dựng bài toán dự báo, qua đó áp dụng vào bài toán

dự báo giá qua từng bước của mô hình

Chương 4: Thực nghiệm và đánh giá: Trong chương này chúng tác giả trình bày

về các bước thực nghiệm xác định các thông số và mô hình mạng dự đoán So sánh mô hình mạng học thêm và mạng không học thêm trên bộ dữ liệu 2013 của các mã giao địch, kết quả đánh giá dựa trên hệ số lỗi quân phương và hệ số tương quan trên đồ thị tương quan

10

Chương 1 TỔNG QUAN VỀ GIAO DỊCH HÀNG HÓA TƯƠNG LAI

1.1 Hàng hóa tương lai

Hàng hóa tương lai là hàng hóa được sử dụng trong giao dịch của tương lai Các giao dịch trong tương lai được ký kết qua hợp đồng tương lai, mà ở đó các thông tin về loại hàng hóa, khối lượng, ngày giao nhận, hình thức giao nhận, thành toán đã được quy định trước từ bên thứ 3 là sở giao dịch hàng hóa tương lai Các bên mua, bán chỉ cần thỏa thuận giá để thực hiện giao dịch Khác với hợp đồng kỳ hạn thông thường, các bên mua bán tự thỏa thuận, thống nhất giữa các điều khoản và được ghi nhận trong mỗi hợp đồng kỳ hạn Các bên giao dịch trên sàn hàng hóa tương lai có thể kết thúc trạng thái của mình một cách nhanh gọn Khác với hợp đồng kỳ hạn khi muốn tất toán trạng thái thì rất khó vì liên quan tới điều kiện rằng buộc giữa các bên tham gia Sau đây là bảng so sánh sự khác nhau giữ hợp đồng tương lai và hợp đồng kỳ hạn:

số của 30 ngày

Chỉ có một vài thời hạn nhất định

Trị giá hợp đồng Nói chung rất lớn, trung

bình trên 1 triệu USD

Nhỏ đủ để thu hút nhiều người tham gia

Thỏa thuận an toàn Khách hàng phải duy trì số

dư tối thiểu ở ngân hàng để bảo đảm cho hợp đồng

Tất cả các nhà giao dịch phải duy trì tiền ký quỹ theo tỷ lệ phần trăm trị giá hợp đồng

Thanh toán tiền tệ Không có thanh toán tiền tệ

trước ngày hợp đồng đến hạn

Thanh toán hàng ngày bằng cách ghi nợ tài khoản bên thua và ghi có vào tài khoản bên được

thanh toán khi đến hạn

11

chưa tới, 2% hợp đồng được thanh toán thông qua việc chuyển giao ngoại tệ, thường thường thông qua đảo hợp đồng

Rủi ro Bởi vì không có thanh toán

hàng ngày nên rủi ro rất lớn

có thể xảy ra nếu như một bên tham gia hợp đồng thất bại trong việc thực hiện hợp đồng

Nhờ có thanh toán hàng ngày thông qua phòng giao hoán nên ít rủi ro Tuy nhiên rủi ro cũng có thể xảy

ra giữa nhà môi giới và khách hàng

Yết giá -Các ngân hàng yết giá mua

và giá bán với một mức độ chênh lệch giữa giá mua và giá bán

- Kiểu châu Âu: số ngoại tệ trên một đơn vị USD

- Chênh lệch giá mua và giá bán được niêm yết ở sàn giao dịch

- Kiểu Mỹ: số USD trên đơn vị ngoại tệ

Ngoại tệ giao dịch Tất cả các ngoại tệ Chỉ giới hạn cho một số

ngoại tệ

suốt thời hạn hợp đồng

Tỷ giá thay đổi hàng ngày

Hoa hồng Trên cơ sở chênh lệch giữa

giá bán và giá mua

- Khách hàng trả hoa hồng cho nhà môi giới

- Nhà môi giới và nhà giao dịch trả phí cho Sở giao dịch

Qui chế Các bên tham gia tự thỏa

thuận

Được qui định bởi Sở giao dịch

Bảng 1.1: Sự khác nhau giữa hợp đồng kỳ hạn và hợp đồng tương lai

1.2 Sàn giao dịch hàng hóa tương lai

Các sàn giao dịch hàng hóa tương lai hoạt động tạo nên thị trường tương lai Sàn giao dịch hàng hóa tương lai giúp cho các giao dịch xuyên thời gian dễ dàng hơn

12

Sản xuất tiêu dùng trở nên tối ưu hơn khi có thị trường tương lai Nó cho phép các nhà đầu tư, thực hiện các hợp đồng với chi phí thấp một cách nhanh chóng để trao đổi tiền-hàng trong tương lai Thị trường tương lai còn cho phép các cá nhân/tổ chức phòng ngừa rủi ro do biến động giá trên thị trường, thông qua đó sẽ có những tác động, kế hoạch kinh doanh phù hợp với giá mới

Các sàn giao dịch hàng hóa tương lai

4 New York Mercantile Exchange (NYMEX) www.nymex.com

6 Commodity Futures Trading Commission

(CFTC)

www.cftc.com

Bảng 1.2: Sàn giao dịch hàng hóa tương lai

1.3 Các chủ thể trong thị trường tương lai

Những nhà đầu cơ dài hạn: Là những người chấp nhận rủi ro cao để tìm kiếm

lợi nhuận cao từ sự giao động giá Họ có thể giữ trạng thái mua hoặc trạng thái bán hay cả hai trạng thái cho cùng một hàng hóa Các nhà đầu cơ thường giữ trạng thái trong vài ngày, vài tuần, hay vài tháng Họ thường sử dụng các phân tích kỹ thuật để

dự đoán sự biến động giá và xu hướng giá cả trong tương lai, từ đó sẽ vào các vị thế thích hợp để tìm kiếm lợi nhuận Hoặc những nhà đầu cơ khác lại sử dụng các phân tích cơ bản để đưa ra nhận định về giá, họ thường dựa vào các dữ liệu kinh tế vĩ mô để đưa ra các dự đoán về sự biến động giá

Nhà đầu cơ ngày: Các nhà đầu cơ chỉ đầu cơ dựa vào sự biến động giá trong

một ngày giao dịch Họ không bao giờ trở về nhà khi đang nắm một trạng thái trong tay Giao dịch ngày thường tốn kém chi phí vì họ phải theo thông tin, biến động giá cả thường xuyên, và tốn các chi phí cho những giao dịch trong suốt một ngày, với mục đích kiếm được lợi nhuận nhỏ trong một giao dịch

13

Những người đầu cơ hưởng chênh lệch: Là những người tìm kiếm lợi nhuận

bằng cách xem xét một loại hàng hóa nào đó cùng những hàng hóa tương đương để bán hai giá khác nhau ở hai thị tường khác nhau Họ là những người dựa vào mối quan

hệ giữa giá giao ngày và giá tương lai, hay những biến động cung cầu nhất thời làm rối loạn giá để kiếm lợi nhuận từ chênh lệch giữa giá giao ngay và giá tương lai

Các cá nhân/tổ chức giao dịch trên sàn: Họ là những cá nhân, tổ chức, nhà

cung cấp, nhà môi giới, thực hiện các giao dịch hàng hóa tương lai trên sàn Họ có sản phẩm, hàng hóa và thực hiện giao dịch mua bán trên sàn Các cá nhân tổ chức này thường quan tâm tới giá để có quyết định đúng đán thực hiện mua bán hàng hóa trong tương lai

Các đối tượng khác tham gia vào hoạt động vận hành của sàn giao dịch như: những người cộng tác hoạt động như một nhà môi giới, nhà tư vấn họ phân tích và đưa

ra những nhận định về thị trường cho khách hàng Các nhà môi giới giới thiệu hoạt động trên sàn Các nhà huy động quỹ cho hàng hóa…

1.4 Phân tích kỹ thuật

Các nhà môi giới, tư vấn cũng như các nhà đầu tư hiện nay sử dụng các thông tin biến động giá trong lịch sử như một căn cứ để phân tích xu hướng, định hướng giá của hàng hóa trong thời gian sắp tới Hoạt động trên được gọi là phân tích kỹ thuật[10] Hoạt động này bao gồm một số kỹ thuật phân tích trên biểu đồ giá trong lịch

sử Sau đây là một số kỹ thuật trong phân tích kỹ thuật

1.4.1 Phân tích điểm kháng cự, hỗ trợ

Từ biểu đồ giá trong lịch sử, bằng việc xác định các điểm giá tại điểm đảo chiều, các điểm đảo chiều xuống cung cấp mức tăng của giá, các điểm đảo chiều lên cung cấp mức giảm của giá Nối các điểm đảo chiều lên trên trục thời gian ta xác định được điểm kháng cự tiềm năng Tương tụ, nối các điểm đảo chiều xuống ta có điểm hỗ trợ tại thời điểm giao dịch Điểm kháng cự và điểm hỗ trợ cung cấp cho các nhà đầu tư một giới hạn an toàn trong đầu tư

Sử dụng đường trung bình là một trong những cách phân tích kỹ thuật thông dụng nhất được sử dụng Ý tưởng của cách phân tích này là sử dụng lấy giá trung bình của n điểm trong quá khứ gần nhất Sau đây là 2 cách thông dụng nhất:

 Đường trung bình đơn giản (Simple Moving Average): Đường trung bình đơn

giản (SMA) được tạo thành bằng cách tính giá trung bình trong một khoảng thời gian gần nhất Đường SMA có thể được tính toán bằng giá cao, giá thấp hoặc giá mở cửa nhưng hầu hết đường trung bình được tính toán bằng giá đóng của Công thức của đường SMA như sau:

𝑆𝑀𝐴𝑛(𝑡) = 1

𝑛 𝑝(𝑡 − 𝑖)

𝑛−1

𝑖=0

Trong đó: 𝑆𝑀𝐴𝑛(𝑡) : Giá trị trung bình đơn giản tại thời điểm 𝑡 với 𝑛 điểm

𝑛: Số điểm được lấy để tính giá trung bình

15

𝑡: Thời điểm tính giá trung bình

𝑝(𝑡 − 𝑖): Giá tại điểm (𝑡 − 𝑖)

 Đường trung bình lũy thừa (Exponential Moving Average): Đường trung bình

lũy thừa (EMA) được tính với công thức sau:

𝐸𝑀𝐴𝑛 𝑡 = 1

𝑛𝑝 𝑡 + (1 −

1

𝑛)𝐸𝑀𝐴𝑛 𝑡 − 1 Trong đó: 𝐸𝑀𝐴𝑛(𝑡) : Giá trị trung bình đơn giản tại thời điểm 𝑡 với 𝑛 điểm

𝑛: Số điểm được lấy để tính giá trung bình

𝑡: Thời điểm tính giá trung bình

𝑝(𝑡): Giá tại điểm 𝑡

Đựa vào đường trung bình các nhà đầu tư có thể nhận biết được xu hướng của thị trường Khi giá đang trên đà tăng hoặc giảm thì đường trung bình cung cấp chính xác xu hướng Tại các điểm đảo chiều của thị trường thì đường trung bình tỏ ra không hiệu quả

Hình 1.2: Biểu đồ đường trung bình giá CCZ15 [finance.yahoo.com]

1.5 Đặt vấn đề dự báo giá hàng hóa trên sàn giao dịch

Qua phân tích kỹ thuật cho ta thấy các vấn đề sau:

1 Các nhà đầu tư, phân tích thị trường dự vào giá trong lịch sử để phân tích Giá được sử dụng chính là giá đóng của

2 Các nhà đầu tư, phân tích thị trường bằng nhiều cách phân tích kỹ thuật

để nhận định xu hướng giá trong tương lai

Kết luận

Trong chương này chúng ta đã tìm hiểu về hàng hóa tương lai, hợp đồng hàng hóa tương lai, sàn giao dịch hàng hóa tương lai Luận văn đã so sánh sự khác nhau giữa hợp đồng hàng hóa tương lai và hợp đồng kỳ hạn thông thường Luận văn đã trình bày về các thành phần tham gia vào sàn giao dịch hàng hóa tương lai, là các tác nhân chính đóng góp vào hoạt động của thị trường hàng hóa tương lai Một số kỹ thuật phân tích kỹ thuật trên sàn giao dịch, thông qua đó đặt vấn đề cấp thiết về bài toán dự báo giá trên sàn giao dịch hàng hóa tương lai

17

Chương 2 CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON

2.1 Lịch sử phát triển của mạng nơ ron

Mạng nơ ron được phát triển vào những năm 1940 với công trình đầu tiên của Warren McCulloch và Walter Pitts (1943) Công trình đã chỉ ra khả năng liên kết mà một số liên kết cơ bản của mạng nơ ron nhân tạo, mạng có thể tính toán như một hàm

số học hay logic Ứng dụng thực nghiệm đầu tiên của các nơ ron nhân tạo có được vào cuối những năm 50 cùng với phát minh của mạng Perceptron (Perceptron network) và luật học tương ứng bởi Frank Rosenblatt (1958) Mạng có khả năng nhận dạng các mẫu Năm 1969, Minsky và Papert đã phân tích sự đứng đắn của mạng Perceptron, họ đã chứng minh các tính chất và chỉ rõ giới hạn của một số mô hình Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một số cấu trúc của hệ động học phi tuyến và các tính chất mới của nó Năm 1982, Hoppfield đã đưa ra mạng học phi tuyến Năm 1982, Rumelhart đưa ra mô hình song song (Parallel Distributer Processing-PDS) và một số kết quả và thuật toán Năm 1986, nhóm tác giả Rummelhart, Hinton, Williams đã đề xuất luyện mạng nhiều lớp, với thuật toán lan truyền ngược (Back Propagation learning rule) Những năm gần đây nhiều tác giả đã

đề xuất nhiều mô hình mạng mới theo từng bài toán cụ thể Theo đó mạng nơ ron được ứng dụng rộng rãi trong nhiều lĩnh vực kinh tế, kỹ thuật, khoa học

Mỗi nơ ron sinh học gồm có 3 thành phần: Thân nơ ron có nhân ở bên trong (soma), đầu dây thần kinh ra (axon) và một hệ thống phân nhánh hình cây (Dendrite)

để nhận các thông tin vào Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0,25mm2) Đầu dây thần kinh ra được rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ ron này tới nơ ron khác Các nhánh của đầu dây thần kinh được nối với các khớp thần kinh (synapse) Các khớp thần kinh này được nối với được liên kết và là đầu vào của nơ ron khác Các nơ ron có thể sửa đổi tiến hiệu tại các khớp

18

Hình 2.1: Cấu tạo 1 nơ ron sinh học

Hoạt động của nơ ron sinh học như sau:

Thông tin được tiếp nhận từ các giác quan và chuyển tới bộ não để xử lý Các

nơ ron thần kinh nhận được các tín hiệu từ các tế bào thần kinh Các tín hiệu vào được tích hợp và kiểm tra với một ngưỡng, nếu vượt ngưỡng này nơ ron sẽ sinh ra một tín hiệu mới và gửi tới một nơ ron khác thông qua dây thần kinh Các nơ ron trong não được liên kết với nhau thành mạng lưới các nơ ron Sự liên kết giữa các nơ ron có độ bền vững xác định gọi là trọng số liên kết

2.3 Cấu tạo nơ ron nhân tạo

2.3.1 Cấu tạo một nơ ron nhân tạo

Dựa vào cấu tạo và cách thức hoạt động của một nơ ron để xây dựng một nơ ron nhận tạo gần giống với một nơ ron sinh học Năm 1943, các tác giả McCulloch và Pitts đã đề xuất một mô hình toán cho một nơ ron

Một nơ ron nhân tạo là đơn vị xử lý nhỏ nhất trong mô hình mạng nơ ron nhân tạo Như một nơ ron sinh học, nơ ron nhân tạo có chức năng nhận dữ liệu đầu vào, xử

lý và đưa dữ liệu đã được xử lý ra ở đầu ra Cấu tạo một nơ ron nhân tạo được mô tả như Hình 2.2:

19

Hình 2.2: Cấu tạo một nơ ron trong mạng

Trong mỗi nơ ron nhân tạo có 3 thành phần chính như đầu vào, ra, bộ tổng hợp tuyến tính đóng vai trò nhân xử lý, hàm kích hoạt đóng vai trò như các khớp thần kinh (synapse) Chi tiết thành phần của một nơ ron như sau:

o 𝑥1, 𝑥2, … 𝑥𝑚: Là các tín hiệu đầu vào Các tín hiệu này có thể là đầu ra của các nơ ron trước đó hoặc đầu vào ban đầu của mạng

o 𝑤𝑘1, 𝑤𝑘2, … 𝑤𝑘𝑚: Các trọng số liên kết, Mỗi tín hiệu đầu vào sẽ được liên kết với nơ ron qua trọng số wkj Với mỗi đầu vào 𝑥𝑚 sẽ có trọng số

𝑤𝑘𝑚 tương ứng Trong số 𝑤𝑘𝑚 thể hiện mức độ liên kết của đầu vào

𝑥𝑚 với nơ ron xử lý

o Bộ xử lý tuyến tính: Bộ xử lý tuyến tính thực hiện xử lý các tín hiệu đầu vào bằng cách tính tổng các tín hiệu đầu vào đã được nhân với trọng số liên kết tương ứng

o Hệ số ngưỡng bias 𝑏𝑘: Là giá trị ngưỡng của nơ ron k, là một hằng số nhận giá trị dương hoặc ân, giá trị sẽ làm cho bộ công ∑ tăng hoặc giảm

đi giá trị của ngưỡng

o 𝑢𝑘: Giá trị thu được sau khi xử lý qua bộ xử lý tuyến tính Ta có công thức cho 𝑢𝑘 theo công thức (2.1)

𝑢𝑘 =

𝑚

𝑗 =1

𝑤𝑘𝑗 𝑥𝑗 + 𝑏𝑘 (2.1) Với 𝑥0= 1 và 𝑤0= 𝑏𝑘 thì ta có công thức mới

Hệ số ngưỡng bias 𝑏𝑘

Trọng số liên kết

u𝑘

𝜑(𝑥)

Hàm kích hoạt

Đầu ra y𝑘

o Đầu ra 𝑦𝑘: Kết quả của quá trình xử lý trong nơ ron k Giá trị này chính

là giá trị của hàm kích hoạt φk, ta có công thức tính của 𝑦𝑘 như sau:

𝑦𝑘 = 𝜑(𝑢𝑘) 2.3.2 Hàm truyền

Hàm truyền quyết định giá trị đầu ra của một nơ ron, có nhiều loại hàm truyền được sử dụng Sau đây là một số hàm cơ bản

Hàm ngưỡng: Hàm ngưỡng được định nghĩa dưới dạng công thức (2.3) sau:

φ𝑣 = 1, 𝑣 ≥ 0

0, 𝑣 < 0 (2.3) Khi đó giá trị đầu ra yk nhận giá trị sau:

0 , 𝑣 ≤ −1

2 (2.4)

Khi đó giá trị đầu ra 𝑦𝑘 nhận giá trị sau:

0 , φ𝑣 ≤ −1

2

Đồ thị hàm số của hàm kích hoạt trên như sau:

Hình 2.4: Đồ thị hàm vùng tuyến tính

Hàm Sigmoid: Hàm được định nghĩa dưới dạng công thức:

φ𝑣 = 1

1 + 𝑒−𝑎𝑣 (2.5) Khi đó giá trị đầu ra yk nhận giá trị sau:

y𝑘 = 1

1 + 𝑒−𝑎φ 𝑣Trong công thức trên 𝛼 là hằng số Bằng việc thay đổi giá trị của 𝛼, chúng ta sẽ thu được những hàm truyền khác nhau với độ dốc khác nhau Ta có đồ thị hàm số của Sigmoid có các dạng như Hình 2.5 Độ dốc trên đồ thị tăng dần theo hằng số 𝛼

22

Hình 2.5: Đồ thị hàm Sigmoid với hệ số 𝑎 tăng dần

2.4 Mô hình của mạng nơ ron

Giống như các nơ ron thần kinh sinh học, Các nơ ron nhân tạo kết nối với nhau tạo thành một mạng nơ ron Các mô hình mạng được Nelson và Illingworth đưa ra vào năm (1991) Theo tính chất hướng chuyền mạng nơ ron được chia làm hai mô hình là mạng truyền thẳng (feed forward network) và mạng hồi quy (recurrent network)

2.4.1 Mạng truyền thẳng

Mạng truyền thẳng là mạng mà trong nó có cấu trúc truyền thẳng từ đầu vào tới đấu ra.Tín hiệu từ đầu vào tới đầu ra được xử lý qua một hoặc nhiều lớp mạng, trong mỗi lớp mạng có thể chứ một hoặc nhiều nơ ron xử lý

Mạng xử lý tín hiệu đầu vào và trả ra kết quả luôn ở đầu ra gọi là mạng nơ ron một lớn

Hình 2.6: Mô hình mạng nơ ron một lớp truyền thẳng

Với mỗi giá trị đầu vào 𝑥 = [𝑥1, 𝑥2, … 𝑥𝑛]𝑡qua quá trình xử lí của mạng sẽ thu được một bộ đầu ra tương ứng 𝑦 = [𝑦1, 𝑦2, … 𝑦𝑛]𝑡

Mạng xử lý qua nhiều nơ ron bên trong mạng được gọi là mạng nhiều lớp Lớp nhận tín hiệu ban đầu gọi là lớp đầu vào Lớp trả kết quả đầu ra gọi là lớp đầu ra Các lớp bên trong xử lý mạng gọi là lớp ẩn Lớp ẩn có thể có một hoặc nhiều lớp ẩn Số nơ

Hình 2.8: Ví dụ về mô hình mạng hồi quy truyền thắng

2.5 Huấn luyện mạng

Một mạng rơ ron hiệu quả đƣợc quyết định bởi hai nhân tố chính một là mô hình mạng: Là số lớp ẩn, đầu vào, đầu ra, các nốt mạng trong lớp, liên kết giữa các nốt mạng Hai là các trọng số liên kết giữa các nốt mạng Các trọng số liên kết này đƣợc quyết định qua thuật toán huấn luyện Quá trình điều chỉnh các trọng số trong mạng để mạng nhận biết mối quan hệ giữa đầu vào và đích mong muốn gọi là tiến trình huấn luyện mạng Có nhiều thuật toán huấn luyện đã đƣợc đề xuất cho các bài toán cụ thể, các thuật toán này đƣợc chia làm hai loại chính: Học có giám sát và học không giám sát

24

2.5.1 Học có giám sát

Mạng học bằng cách cung cấp cho mạng thông tin các cặp đầu vào và đầu ra mong muốn Sử dụng sự khác biệt giữa đầu ra thực và đầu ra mong muốn được thuật toán nhận biết để điều chỉnh các trọng số trong mạng Qua trình học có giám sát nhằm mục đích tìm ra một hàm f(x) tương ứng thỏa mản tất cả các mẫu học đầu vào

Hình 2.9 Mô hình học có giám sát

2.5.2 Học không giám sát

Với cách học không giám sát thì không có giá trị đầu ra mong muốn, vì vậy sẽ không biết được đầu ra của mạng là đúng hay sai Mạng sẽ phải khám phá các đặc trưng, các điều chỉnh, các mối tương quan giữa các nốt trong mạng một cách tự động Trong thực tế đối với mạng này người ta hay lấy các giá trị mong muốn trùng với đầu vào

2.6 Hàm mục tiêu

Để xác định kết quả của mạng nơ ron tốt hay không thì cần xây dựng hàm mực tiêu cho mạng Hàm mực tiêu cung cấp cách đánh giá khả năng của mạng có thỏa mãn điều kiện không Lựa chọn hàm mục tiêu phù hợp với bài toán rất quan trọng vì hàm này thể hiện các mục tiêu thiết kế và quyết định thuật toán huấn luyện có hiệu quả hay không Sau đây là một số hàm mục tiêu tiêu biểu hay được áp dụng

Sai số quân phương MSE (Mean Square Error): Là hàm mục tiêu tiêu biểu, hay được sử dụng nhất Hàm được xác định bởi công thức (2.7):

Dữ liệu huấn luyện

𝑄𝑖: là giá trị tính toán tại thời điểm 𝑖

𝑄𝑖𝑝: giá trị mong muốn tại thời điểm 𝑖

2.7 Thuật toán lan truyền ngược

Để tìm hiểu về thuật toán chúng ta xét mạng với tập dữ liệu huấn luyện p bao gồm giá trị vào là 𝑥𝑝 và giá trị đầu ra mong muốn là 𝑑𝑝 Với mỗi đầu vào cung cấp sẵn, đầu ra của mạng 𝑦𝑝 có sự sai khác với đầu ra mong muốn một lượng (𝑑𝑝 − 𝑦𝑝) Hàm lỗi tại nơ ron k dựa trên sự sai khác này là:

𝐸𝑗𝑝 = 1

2(𝑑𝑗

𝑝 − 𝑦𝑗𝑝)2 (2.10) Khi đó ta có hàm lỗi tổng cộng 𝐸𝑝 được xác định bằng tổng lỗi trong mẫu dữ liệu 𝑝 đối với các nơ ron đầu ra là:

Trong đó 𝑁0là tổng số nơ ron đầu ra

Chúng ta cùng xét nơ ron 𝑘 với đầu vào là đầu ra của các nơ ron trước đó Khi

dó ta có biểu thức tại nơ ron 𝑘:

𝑦𝑘𝑝 = 𝜑 𝑢𝑘𝑝 (2.12)

𝑢𝑘𝑝 = 𝑤𝑘𝑗 ∗ 𝑦𝑗𝑝

𝑗

(2.13) Trong đó 𝑦𝑘𝑝: Tín hiệu đầu ra của nơ ron k trên mẫu dữ liệu 𝑝

∆𝑝𝑤𝑘𝑗 = −𝛾 𝜕𝐸

𝑝

𝜕𝑤𝑘𝑗 (2.14) Trong đó: 𝛾 là hằng số tỷ lệ, chính là tốc độ học của mạng

Để tính 𝜕𝐸𝑝

𝜕𝑦𝑘𝑝 ta xét 2 trường hợp sau

Trường hợp thứ nhất: nơ ron 𝑘 đang xét là nơ ron đầu ra của mạng (𝑘 =𝑜) Trong trường hợp này ta có:

tế như trường hợp thứ nhất Tuy nhiên chúng ta có thể tính toán thông qua các nơ ron thuộc lớp đầu ra như sau:

Thuật toán lan truyền ngược được sử dụng trong mạng nơ ron truyền thằng được mô tả theo sơ đồ thuật toán sau:

(𝑥 = 𝑥1, 𝑥2, … 𝑥𝑝 , 𝑦 = (𝑦1, 𝑦2, … 𝑦𝑝)) với N mẫu Trong đó 𝑥 là biến

số, 𝑦 là giá trị mong muốn

Đầu ra Ma trận trong số của mạng 𝑤1, 𝑤2, … 𝑤𝑚 và vector ngưỡng tại các nơ

ron 𝑏1, 𝑏2, … 𝑏𝑚

Sơ đồ thực hiện

28

Bước 1 Khởi tạo các tham số mạng, trọng số và ngưỡng, hệ số học, sai số tối đa

cho phép 𝐸𝑚𝑎𝑥 và số lần huấn luyện tối đa 𝐼

Khởi tạo 𝑘 = 1 (mẫu học thứ 1), 𝑖 = 1 (lần huấn luyện thứ 1)

Bước 2 Đưa mẫu huấn luyện thứ 𝑘 vào mạng

Bước 3 Lan truyền xuôi tín hiệu đầu vào lần lượt qua các lớp nơ ron (từ lớp đầu

vào đến lớp ra) để tính đầu ra tương ứng của mạng tại mỗi lớp

Bước 4 Tính sai số E và tín hiệu sai số tại đầu ra của mạng theo công thức (2.21)

và (2.22)

Bước 5 Lan truyền ngược tín hiệu sai số (từ lớp ra, lớp ẩn, đến lớp đầu vào) để

cập nhật trong số và ngưỡng tại các lớp nơ ron cũng như tính tín hiệu sai

số cho lớp trước nó theo công thức (2.19) (2.20) và (2.16)

Bước 6 Kiểm tra nếu 𝑘 < 𝑁 (Chưa hết số mẫu học) thì 𝑘 = 𝑘 + 1 và quay lại

bước 2, Ngược lại sang bước 7

Bước 7 Tính sai số trung bình sau lần huấn luyện thứ I với tập mẫu gồm 𝑁 mẫu

𝐸 = 𝐸𝑘

𝑁 𝑘=1

𝑁Nếu 𝐸 < 𝐸𝑚𝑎𝑥 và 𝑖 > 𝐼 thì trả về ma trận trong số và vector ngưỡng, kết thúc quá trình huấn luyện Ngược lại thì gán 𝑖 = 𝑖 + 1và 𝑘 = 1, thực

 Xử lý tín hiệu: Phân tích tín hiệu địa chấn và hình thái học…

 Nhận dạng mẫu: nhận dạng chữ viết, ký tự, khuôn mặt, phân loại và phân tích tín hiệu của rada, nhận dạng và hiểu tiếng nói,

 Y học: Phân tích và hiểu tín hiệu điện tâm đồ, chuẩn đoán bệnh, xử lý ảnh y học…

 Quân sự: Các hệ phát hiện thuỷ lôi, phân loại luồng rada, nhận dạng nguời nói…

29

 Các hệ tài chính: Phân tích thị trường chứng khoán, định giá bất động sản, cấp phát thẻ tín dụng và thương mại an toàn…

 Trí tuệ nhân tạo: Các hệ chuyên gia,

 Dự đoán: Dự đoán các trạng thái của hệ thống, dự báo rủi ro, xu hướng…

Quy hoạch, kiểm tra và tìm kiếm: Gồm cài đặt song song các bài toán thoả mãn ràng buộc, tìm nghiệm bài toán người du lịch, điều khiển và robot…

Kết luận

Trong chương này chúng ta đã cùng nhìn lại lịch sử phát triển của mạng nơ ron Được phát triển từ những năm 1940 với công trình đầu tiên của Warren McCulloch và Walter Pitts và tiếp tục phát triển cho tới hiện nay Mạng nơ ron đang được ứng dụng mạnh mẽ trên nhiều lĩnh vực như y tế, tài chính, ngân hàng, tự động hóa… Xuất phát

từ nguồn gốc sinh học là bắt trước bộ não con người Mạng nơ ron được xây dựng từ các nơ ron hoạt động như một nơ ron thần kinh Có đầy đủ các tín hiệu vào, ra, bộ tổng hợp xử lý, hàm truyền Mạng sử dụng phương pháp học có giám sát hoặc không giám sát Tác giả có trình bày giải thuật lan truyền ngược để xác định các trọng số, ngưỡng của mạng thông qua quá trình huấn luyện mạng truyền thẳng nhiều lớp

30

Chương 3 MÔ HÌNH XỬ LÝ

3.1 Mạng nơ ron trong bài toán dự báo

Tổng hợp kiến thức chương 2 và áp dụng mạng nơ ron vào bài toán dự báo chúng ta có sơ đồ áp dụng mạng nơ ron như hình 3.1 Sơ đồ thể hiện các bước để xây dựng mạng nơ ron trong bài toán dự báo

Hình 3.1: Các bước để xây dựng mạng nơ ron trong bài toán dự báo

Mạng nơ ron sau khi xác định được cấu trức mạng, mạng sẽ được huấn luyện trên tập dữ liệu huấn luyện Sau khi huấn luyện mạng chúng ta cần kiểm tra đánh giá mạng trên tập dữ liệu đánh giá Sử dụng một trong các hàm mực tiêu [tham khảo mục 2.6] làm tiêu chuẩn đánh giá mạng Nếu mạng chưa đạt yêu cầu, mạng sẽ được điều chỉnh và thực hiện học lại trên bộ dữ liệu học Quá trình trên được lặp lại để tìm ra mạng nơ ron tối ưu cho bài toán Mạng tối ưu sẽ đươc ứng dụng trên tập dự đoán để tìm ra kết quả dự đoán Thông thường chúng ta hay tìm tới mạng gần tối ưu nhất, sao cho đủ để đáp ứng nhu cầu bài toán cụ thể đặt ra

Tập đánh giá

Huấn luyện mạng

Mạng đã huấn luyện Khởi tạo mạng

Đánh giá mạng

Tập dự

Tập huấn luyện

Không đạt

Đạt

Kết quả dự đoán