Một số quy trình tính toán mờ và ứng dụng

Mạng nơ-ron nhân tạo, với khả năng xử lý các hàm phi tuyến, linh hoạt trong việc áp dụng và khả năng tự học cao có thể nói là một phương pháp hiệu quả để áp dụng vào hệ thống phức tạp củ

Trường đại học bách khoa hà nội

2

Lời cam đoan

Kính gửi: Trung tâm Đào tạo và Bồi dưỡng sau Đại học

- Trường Đại học Bách Khoa Hà Nội

Tên tôi là: Vũ Việt Dũng

Sinh ngày: 09-07-1984

Học viên cao học khóa 2008-2010

Tôi xin cam đoan, toàn bộ kiến thức và nội dung trong bài luận văn của mình

là các kiến thức tự nghiên cứu từ các tài liệu tham khảo trong và ngoài nước, không

có sự sao chép hay vay mượn dưới bất kỳ hình thức nào để hoàn thành luận văn tốt nghiệp cao học chuyên ngành Đảm bảo toán học cho máy tính và hệ thống tính toán

Tôi xin chịu hoàn toàn trách nhiệm về nội dung của luận văn này trước Trung tâm Đào tạo và Bồi dưỡng sau Đại học – Trường Đại học Bách khoa Hà Nội

3

mục lục

Lời cam đoan 2

mục lục 3

Từ viết tắt 5

Danh mục các bảng 6

Danh mục hình vẽ, đồ thị 7

Mở đầu 8

I Cơ sở lý thuyết 10

1 Một số khái niệm cơ bản và hệ mờ Takagi - Sugeno 10

1.1 Một số khái niệm cơ bản 10

1.2 Suy diễn mờ và hệ mờ 11

1.3 Luật mờ Takagi - Sugeno 13

2 Mạng nơ - ron nhân tạo (Artificial neural network) 13

2.1 Cấu trúc mạng nơ - ron 14

2.2 Phân loại cấu trúc mạng nơ - ron 16

2.3 Hàm hoạt động 17

2.4 Tiến trình học 18

3 Mạng thích nghi(Adaptive network) 19

3.1 Mạng thích nghi 19

3.2 Phương pháp luyện mạng bằng thuật toán lan truyền ngược 20

3.3 Phương pháp luyện lai (hybrid learning) 22

4 Hệ thống suy diễn mờ dựa trên mạng thích nghi( Adaptive network based fuzzy inference system: ANFIS) 25

4.1 Cấu trúc mạng ANFIS 25

4.2 Phương pháp luyện lai 27

II Mô hình mạng ANFIS để dự báo giá cổ phiếu 28

4

1 Thị trường chứng khoán 28

1.1 Thị trường chứng khoán thế giới 28

1.2 Thị trường chứng khoán Việt Nam 29

1.3 Các nghiên cứu dự báo về thị trường chứng khoán 30

1.4 Các chỉ số cơ bản của thị trường chứng khoán Việt Nam 31

2 Mô hình mạng nơ - ron kết hợp suy diễn mờ để dự báo giá chứng khoán 33

2.1 Lựa chọn đầu vào và tiền xử lý dữ liệu 33

2.2 Mờ hóa dữ liệu đầu vào 34

3 ứng dụng mô hình mạng ANFIS trong thực tế TTCK Việt Nam 34

4 Các hạn chế của mô hình 42

III Hướng phát triển mô hình mạng nơ ron dự báo tình trạng cổ phiếu 43

1 Hệ thống dự báo chỉ số chứng khoán dựa trên luật mờ dạng Takagi - Sugeno 43

2 Phương pháp phân cụm K-Means 46

2.1 Đặt vấn đề 46

2.2 Thuật toán gần đúng giải bài toán K - Means 46

3 Luyện tham số bằng phương pháp SA 47

Kết luận 50

Tài liệu tham khảo 51

5

Từ viết tắt

ANN Artificial neural network Mạng nơ -ron nhân tạo

LSE Least squares estimate Ước lượng bình phương tối thiểu ANFIS Adaptive network based fuzzy

inference system

Hệ thống suy diễn mờ dựa trên mạng thích nghi

TTCK Thị trường chứng khoán

TTGDCK Trung tâm giao dịch chứng khoán

HOSE Trung tâm giao dịch chứng khoán Tp Hồ Chí Minh

HASTC,

HNX

Trung tâm giao dịch chứng khoán Hà Nội

UpCom Trung tâm giao dịch chứng khoán của các công ty đại chúng chưa

niêm yết OTC Cổ phiếu chưa niêm yết trên thị trường

VN - Index Chỉ số chứng khoán đại diện cho TTGDCK Tp Hồ Chí Minh

HNX - Index Chỉ số chứng khoán đại diện cho TTGDCK Hà Nội

MA Six days moving average Đường trung bình trong 06 ngày BIAS Six days bias Độ chênh giá trung bình trong 06

ngày RSI Six days relative strength

PSY 13 days psychological line Chỉ số tâm lý trong 13 ngày

SA Simulated annealing Thuật toán mô phỏng quá trình

luyện kim MAPE Mean absolutely percentage

error

Trung bình phần trăm sai số tuyệt

đối

6

Danh môc c¸c b¶ng Ch−¬ng I

Ch−¬ng II

B¶ng 1 - HÖ sè ®iÒu chØnh 35 B¶ng 2 - Tham sè cña hµm liªn thuéc 38

Ch−¬ng III

7

Danh mục hình vẽ, đồ thị

Chương I:

Hình 1: Cấu trúc một nơ - ron 15

Hình 2 : Mạng dẫn tiến một lớp 16

Hình 3 : Mạng dẫn tiến nhiều lớp 17

Hình 4: Tiến trình học 19

Hình 5: Mạng thích nghi 20

Hình 6 : Hệ suy diễn mờ Takagi-Sugeno 25

Hình 7 : Cấu trúc mạng ANFIS đơn giản 25

Chương II: Hình 8: File dữ liệu luyện 35

Hình 9: File dữ liệu kiểm tra 36

Hình 10: Khởi tạo mạng ANFIS 36

Hình 11: Cấu trúc mạng ANFIS 37

Hình 12: Luyện mạng ANFIS 37

Hình 13: Đồ thị của hàm liên thuộc của các biến đầu vào 39

Hình 14: Kết quả kiểm tra mạng 41

Chương III: Hình 15: Cấu trúc hệ thống dự đoán chứng khoán 45

Hình 16: Luyện tham số bằng phương pháp SA 49

8

Mở đầu

Trong những năm gần đây, lý thuyết tập mờ và mạng nơ-ron nhân tạo đã và

đang phát triển rất nhanh và đa dạng Công nghệ mờ và công nghệ mạng nơ-ron đã góp phần tạo ra những bộ điều khiển linh hoạt, thông minh, những công cụ phân tích, dự báo có khả năng làm việc với những bài toán khó, phức tạp, phải xử lý nhiều loại thông tin mập mờ, chưa đầy đủ và thiếu chính xác Hai công nghệ này là hai trụ cột chính tạo nên công nghệ tính toán mềm

Hiện nay, việc áp dụng tính toán mềm vào phân tích dự báo biến động của thị trường chứng khoán đang thu hút rất nhiều sự quan tâm nghiên cứu Để có được một quyết định đầu tư đúng đắn thì việc phân tích, xác định mức giá của cổ phiếu để lựa chọn tỉ lệ mua, bán tối ưu là hết sức quan trọng Trước đây, đã có rất nhiều các phương pháp phân tích kỹ thuật cho thị trường chứng khoán được phát triển như K-line hay trung bình động … Những phương pháp này chủ yếu dựa trên thống kê số liệu Tuy nhiên, thị trường chứng khoán là một hệ thống phi tuyến chịu nhiều tác

động của các yếu tố chính trị, kinh tế, tâm lý, xã hội Do đó, việc sử dụng các công

cụ truyền thống để trợ giúp ra quyết định trong giao dịch chứng khoán là hết sức khó khăn

Mạng nơ-ron nhân tạo, với khả năng xử lý các hàm phi tuyến, linh hoạt trong việc áp dụng và khả năng tự học cao có thể nói là một phương pháp hiệu quả để áp dụng vào hệ thống phức tạp của thị trường chứng khoán Trong các mô hình mạng nơ -ron thì mô hình mạng nơ-ron lan truyền ngược được sử dụng rộng rãi nhất và có tính chính xác hơn cả Không như các mô hình toán học cổ điển, mô hình mạng nơ -ron lan truyền ngược giúp ta xây dựng các hàm xấp xỉ dựa trên quan hệ của các đầu vào và đầu ra xác định mà không cần một mô hình cụ thể Tuy nhiên, mô hình mạng nơ-ron lan truyền ngược truyền thống cũng có một số điểm yếu như kết quả tìm được rất có thể rơi vào điểm tối ưu địa phương hay trong một số trường hợp tốc

độ tính toán rất chậm ảnh hưởng đến độ chính xác và đảm bảo của mô hình dự đoán

Để cải thiện mô hình dự đoán này, ta có thể kết hợp một số phương pháp suy diễn

mờ với mạng nơ-ron mà điển hình là mô hình mạng thích nghi kết hợp hệ suy luận

mờ ANFIS

9

Luận văn “Một số quy trình tính toán mờ và ứng dụng” đã nghiên cứu những kiến thức về mạng ANFIS và ứng dụng mạng ANFIS vào việc dự đoán giá cổ phiếu, kiểm nghiệm mô hình khi áp dụng vào thực tế thị trường chứng khoán Việt Nam, từ

đó đánh giá các hạn chế của phương pháp, đưa ra hướng cải tiến

Luận văn gồm 03 chương:

Chương 1: Cơ sở lý thuyết - Trình bày các khái niệm cơ bản về tập mờ, suy

diễn mờ, hệ mờ, luật mờ Takagi – Sugeno, mạng nơ ron nhân tạo, mạng thích nghi

và hệ thống suy diễn mờ dựa trên mạng thích nghi ANFIS;

Chương 2: Mô hình mạng ANFIS để dự báo giá cổ phiếu – Trình bày sơ

lược vể thị trường chứng khoán thế giới, thị trường chứng khoán Việt Nam, các nghiên cứu dự báo về thị trường chứng khoán và các chỉ số cơ bản của thị trường chứng khoán Việt Nam Trên cơ sở đó, xây dựng mạng nơ -ron kết hợp suy diễn mờ

để dự báo giá chứng khoán, lựa chọn đầu vào và kiểm nghiệm mô hình với thực tế thị trường chứng khoán Việt Nam đồng thời đánh giá các hạn chế của mô hình;

Chương 3: Hướng phát triển mô hình mạng nơ -ron dự báo tình trạng cổ phiếu – Trình bày hướng phát triển hệ thống dự báo chỉ số chứng khoán dựa trên

luật mờ Takagi – Sugeno, phương pháp phân cụm K-Means và phương pháp luyện tham số dựa trên thuật toán mô phỏng quá trình luyện kim

Cuối cùng, để có bản luận văn này, tôi xin bày tỏ lòng biết ơn sâu sắc tới gia

đình, bạn bè, thầy cô giáo của Trung tâm đào tạo và bồi dưỡng sau Đại học, Khoa Toán – Tin ứng dụng, Ban Giám hiệu trường Đại học Bách Khoa Hà Nội đã hết sức tạo điều kiện, động viên và truyền thụ các kiến thức bổ ích Đặc biệt, tôi xin gửi lời cám ơn chân thành đến thầy giáo – PGS.TSKH Bùi Công Cường cùng các bạn trong nhóm nghiên cứu lý thuyết mờ đã tận tình giúp đỡ để tôi có thể hoàn thành tốt bản luận văn này

10

I C¬ së lý thuyÕt

Tr−íc khi ®i vµo t×m hiÓu t− t−ëng thuËt to¸n dù b¸o gi¸ cæ phiÕu b»ng m« h×nh m¹ng n¬-ron kÕt hîp suy diÔn mê, ta cÇn t×m hiÓu mét sè kh¸i niÖm c¬ b¶n vÒ m¹ng n¬-ron, m¹ng n¬-ron lan truyÒn ng−îc vµ luËt mê Takagi-Sugeno

1 Mét sè kh¸i niÖm c¬ b¶n vµ hÖ mê Takagi - Sugeno

11

Cho X, Y là hai không gian nền R gọi là quan hệ mờ trên nếu R là một tập mờ trên , tức là có một hàm thuộc: , ở đây

là độ liên thuộc của (x,y) vào quan hệ R

Quan hệ mờ trên các tập mờ Cho tập mờ A với hàm liên thuộc trên X, tập mờ B với hàm liên thuộc trên Y Quan hệ mờ trên các tập mờ A và B là quan hệ mờ R trên thỏa mãn điều kiện:

1.2 Suy diễn mờ và hệ mờ

Suy luận xấp xỉ, hay còn gọi là suy luận mờ, là quá trình suy ra những kết luận dưới dạng mệnh đề mờ trong điều kiện các quy tắc, các luật, các dữ liệu đầu vào cho trước cũng không hoàn toàn xác định

Ví dụ: Xét một suy diễn mờ như sau:

Luật mờ Nếu góc tay quay ga lớn thì xe đi nhanh

Sự kiện mờ Góc tay ga quay khá lớn

Hệ quả Xe đi khá nhanh

Trong suy diễn mờ này, ta đã sử dụng biến ngôn ngữ x = “góc tay quay” trên không gian nền (góc cho phép quay tay ga của xe máy), A = “góc lớn” là một tập mờ trên U, với hàm thuộc

Tương tự, biến ngôn ngữ y = “tốc độ xe” trên không gian nền

Q = “xe đi nhanh” là một tập mờ B trên không gian nền V với hàm thuộc

Khi đó, đặt

P =”góc tay quay lớn” = {x=A},

Q = “xe đi nhanh” = “y=B”, và luật mờ sẽ có dạng

Như vậy, một luật mờ dạng “Nếu P thì Q” sẽ được biểu diễn thành một quan

hệ mờ R của phép kéo theo với hàm thuộc của R trên không gian nền

được cho bởi phép kéo theo dự định sử dụng:

12

Ta có thể viết lại suy diễn mờ như sau:

Luật mờ (tri thức) , với quan hệ cho bởi

Sự kiện mờ (đầu vào) , xác định bởi tập mờ trên U

Sau khi đã chọn phép kéo theo I xác định quan hệ mờ , là một tập mờ trên V với hàm thuộc của được tính bằng phép hợp thành , cho bởi công thức:

với mỗi Một dạng suy rộng khác trong cơ sở tri thức của nhiều hệ mờ thực tiễn, ví dụ

điển hình là trong các hệ điều khiển mờ, có thể phát biểu dưới dạng sau:

Cho là các biến vào của hệ thống, y là biến ra Các tập

với là các tập mờ trong không gian nền tương ứng của biến vào và biến ra đạng sử dụng của hệ thống, là các suy diễn mờ (luật mờ) dạng

13

1.3 Luật mờ Takagi - Sugeno

Các dạng hệ mờ xét ở trên được gọi là hệ mờ Mamdami Đặc điểm của hệ mờ Mamđami là cả đầu vào và đầu ra đều là các mệnh đề mờ, do đó hệ mờ Mamđami

có tính thông dịch cao nhưng tính chính xác kém Để cải thiện mô hình này, Takagi – Sugeno đã thay đổi phần kết luận của mỗi luật mờ, thay bởi hàm rõ của các biến

f(.) : làm hàm của các tín hiệu vào(hàm rõ)

Nhận xét : trong luật mờ Takagi - Sugeno điều kiện là mệnh đề mờ còn kết luận là hàm rõ

Một hệ mờ Takagi – Sugeno tổng quát có thể được mô tả như sau :

: Nếu là và … và là thì

: Nếu là và … và là thì

…

: Nếu là và … và là thì

Hệ mờ Takagi – Sugeno được xây dựng hệ mờ hệ các hàm rõ

sẽ cho kết quả chính xác hơn hệ mờ Mamdami Các hàm thường được sử dụng là các hàm dạng tuyến tính đối với các biến vào :

Các tham số sẽ được xác định qua các thủ tục luyện mạng (các thuật toán học)

2 Mạng nơ - ron nhân tạo (Artificial neural network)

Mạng nơ - ron nhân tạo (ANN) là một mô phỏng xử lý thông tin, được nghiên cứu ra từ hệ thống thần kinh của sinh vật, giống như bộ não để xử lý thông

14

tin ANN bao gồm số lượng lớn các mối gắn kết cấp cao để xử lý các yếu tố làm việc trong mối liên hệ giải quyết vấn đề rõ ràng ANN giống như con người, được học bởi kinh nghiệm, lưu những kinh nghiệm hiểu biết và sử dụng trong những tình huống phù hợp

ANN được giới thiệu lần đầu tiên vào năm 1943 bởi nhà thần kinh học Warren McCulloch và nhà logic học Walter Pits Tuy nhiên, các hạn chế về kỹ thuật trong thời gian này không cho phép họ nghiên cứu phát triển Những năm gần đây, các mô phỏng ANN bắt đầu xuất hiện và được nghiên cứu ứng dụng trong nhiều lĩnh vực Các ứng dụng của ANN trong các ngành: điện, điện tử, kỹ thuật chế tạo, y học, quân sự, và đặc biệt là kinh tế và thị trường chứng khoán đã mang lại một số kết quả nhất định

2.1 Cấu trúc mạng nơ - ron

Mạng nơ - ron là một mạng liên kết gồm nhiều đơn vị xử lý thông tin được gọi là nơ - ron (neural) hay nút mạng Mỗi nơ-ron nhận tạo này có nhiều đầu vào và một đầu ra Các đầu vào tiếp nhận kích thích từ đầu ra của các nơ- ron khác trong mạng hoặc từ môi trường Mỗi đầu vào có một trọng số tương ứng nhằm khuyếch

đại tín hiệu kích thích Tất cả các tín hiệu kích thích này sau khi được khuyếch đại

sẽ đi vào thân nơ-ron bắt đầu từ bộ cộng Bộ cộng sẽ thực hiện việc tổng hợp các kích thích theo công thức:

trong đó : đầu vào thứ i ; : trọng số của đầu vào thứ i

Tín hiệu sau khi được tổng hợp lại tiếp tục được biến đổi nhờ một hàm phi tuyến, thường được gọi là hàm hoạt động Và cuối cùng tín hiệu sẽ được đưa ra đầu

ra của nơ-ron để trở thành đầu vào của các nơ-ron khác hoặc trở thành tín hiệu ra của toàn bộ mạng

15

Hình 1: Cấu trúc một nơ -ron Trong đó:

Xi: Các tín hiệu đầu vào;

Wki: trọng số tương ứng của các tín hiệu đầu vào;

Bộ cộng;

F(.): hàm hoạt động;

Yk: Đầu ra của nơ -ron;

b: Thông số ảnh hưởng đến ngưỡng ra của đầu ra

Khi kết hợp các nơ-ron lại với nhau thành một mạng nơ-ron nhân tạo, ta có thể xem như mạng này là một mô hình tính toán với X là vectơ số liệu vào và Y là vectơ số liệu ra Ưu điểm của mạng nơ-ron nhân tạo là cho phép xây dựng một mô hình tính toán có khả năng học dữ liệu rất cao Chỉ cần đưa vào mạng một tập mẫu dữ liệu trong quá trình học là mạng có khả năng phát hiện những ràng buộc dữ liệu và áp dụng những ràng buộc này trong quá trình sử dụng mà không cần phải có thêm các tri thức về miền ứng dụng Khả năng này cho phép ta xây dựng mô hình dữ liệu một cách dễ dàng Một ưu điểm khác của mạng nơ-ron là khả năng dung thứ lỗi cao Mạng có thể chấp nhận những dữ liệu mẫu không hoàn toàn chính xác mà vẫn đảm bảo được phần nhiều tính đúng đắn của bài toán Điều này làm giảm nhẹ quá trình sàng lọc, làm mịn dữ liệu trong khai thác đồng thời cho phép xây

Đây là cấu trúc mạng nơ - ron đơn giản nhất Mạng nơ - ron này chỉ bao gồm

01 lớp dẫn xuất, không có lớp ẩn trung gian

nơ-ron nơ-ron nơ-ron

nơ-ron

17

Hình 3 : Mạng dẫn tiến nhiều lớp Mạng nơ-ron nhiều lớp được đặc tả bởi tập các thông tin cấu trúc S bao gồm

số lớp của mạng, số lượng nơ-ron trên mỗi lớp và một tập thông tin tham số P là tập các trọng số của từng nơ-ron trong mạng Khi xây dựng mạng ta cần xác định cả hai tập S và P này Thông thường, quá trình xác định S và P phụ thuộc vào tập dữ liệu mẫu đã được lưu trữ lại từ những tình huống sử dụng thực tế của hệ thống Mạng sẽ được học nhằm xây dựng một cặp S và P tốt nhất từ đó mạng có khả năng

dự đoán một kết quả Y khi đầu vào X nào đó trong bộ (X, Y) này đảm bảo được tính quy luật như trong tập dữ liệu mẫu

Một vấn đề khi xây dựng mạng nơ-ron là xác định số lớp ẩn tối ưu cho mạng vì càng nhiều lớp ẩn thì cấu trúc mạng sẽ trở nên phức tạp và thời gian luyện mạng quá lớn sẽ không đáp ứng được các yêu cầu thực tế Việc xác định này thường được thực hiện dựa trên kinh nghiệm hoặc phép thử và sai Thông thường, người ta lựa chọn số lớp ẩn cho mạng nơ-ron chỉ dừng ở 01 hoặc 02 lớp ẩn

Ngoài các mạng trên, còn có mạng hồi quy và mạng nơ - ron dạng lưới

18

- Hàm có tính đơn điệu ;

- Hàm phải có tính liên tục và trơn

Trong thực tế thông thường người ta chọn các hàm sau:

19

Hình 4: Tiến trình học Trong quá trình học, giá trị đầu vào được đưa vào mạng và theo dòng chảy trọng mạng tạo thành giá trị ở đầu ra Tiếp đó, ta thực hiện quá trình so sánh giữa giá trị tạo ra bởi mạng nơ - ron với giá trị ra mong muốn Nếu hai giá trị này giống nhau thì không thay đổi các giá trị trong mạng Ngược lại, nếu có một sai lệch giữa hai giá trị này vượt quá giá trị sai số mong muốn thì đi ngược mạng từ đầu ra về đầu vào để thay đổi một số kết nối

Đây là quá trình lặp liên tục và có thể không dừng khi không tìm được các giá trị W sao cho đầu ra tạo bởi mạng nơ - ron đúng với đầu ra mong muốn Do đó, trong thực tế người ta phải thiết lập tiêu chuẩn dựa trên một giá trị sai số nào đó của hai giá trị này, hay dựa trên một số lần lặp xác định

3 Mạng thích nghi(Adaptive network)

3.1 Mạng thích nghi

Mạng thích nghi là một khái niệm được Jyh-Shing Roger Jang phát triển từ năm 1993 Mạng thích nghi được phát triển dựa trên mạng nơ-ron lan truyền thẳng với khả năng học có thầy Cấu trúc mạng thích nghi cũng bao gồm các nút mạng và các liên kết trực tiếp giữa các nút mạng, tuy nhiên, sự khác biệt nằm ở chỗ một số hoặc tất cả các nút mạng có khả năng thích nghi, tức là đầu ra của chúng có khả năng thay đổi tùy theo các tham số của nút đó, trong khi các nút mạng khác không

có tham số Tiến trình học của mạng sẽ xác định các tham số của các nút thích nghi sao cho sai số của mạng là nhỏ nhất

20

Mạng thích nghi là một mạng đa lớp lan truyền thẳng, bao gồm các nút cố

định (hình tròn) và các nút thích nghi (hình vuông) như hình 5:

Hình 5: Mạng thích nghi Mỗi nút của mạng thích nghi đặc trưng bởi một hàm đối với các tín hiệu đầu vào (hàm nút) và một tập các tham số của nút Hàm nút có thể khác nhau đối với mỗi nút và phụ thuộc vào hàm đầu vào và hàm đầu ra được xác định cho từng mạng Liên kết trong mạng thích nghi là liên kết trực tiếp giữa các nút, không có trọng số

đối với các liên kết

3.2 Phương pháp luyện mạng bằng thuật toán lan truyền ngược

Cũng như các mạng nơ-ron, mạng thích nghi có thể thực hiện tiến trình học bằng thuật toán lan truyền ngược dựa trên phương pháp gradient

Xét một mạng thích nghi gồm L lớp, lớp thứ k có nút Gọi nút thứ i trong lớp thứ k là (k, i) và hàm nút của nó là Do hàm nút phụ thuộc vào tín hiệu đầu vào và các tham số của nó nên ta có :

Trong đó: a,b,c, … là các tham số của nút

Giả sử cho một bộ dữ liệu luyện gồm P bộ dữ liệu Gọi là hàm giá (hay hàm đánh giá sai số) cho thành phần thứ p của bộ dữ liệu luyện được tính theo công thức :

21

Trong đó:

- : thành phần thứ m của vectơ đầu ra mong muốn thứ p của mạng ;

- : thành phần thứ m của vectơ đầu ra qua tính toán thứ p của mạng; Như vậy, tổng hàm đánh giá sai số

Để thực hiện các thủ tục luyện mạng theo phương pháp tụt gradient của E trên không gian các tham số, ta tính toán tỉ lệ sai số đối với dữ liệu luyện thứ p và từng hàm nút O Tỉ lệ lỗi của nút thứ i trong lớp thứ L (L, i) có thể được tính trực tiếp từ công thức (2) :

Đối với nút (k,i) tỉ lệ sai số có thể tính toán bằng luật lan truyền ngược, cụ thể :

Với Theo đó, tỉ lệ lỗi của một nút bất kỳ thuộc các lớp giữa của mạng sẽ được tính thông qua một tổ hợp tuyến tính của tỉ lệ lỗi các nút trong lớp kế tiếp

Gọi là tham số của mạng thích nghi đang xét, ta có :

Trong đó S là tập các nút có đầu ra phụ thuộc vào

Ta có mối quan hệ giữa tổng sai số của mạng và tham số được biểu diễn như sau :

Theo đó, việc cập nhật tham số sẽ theo công thức sau :

Đối với phương pháp luyện theo mẫu, tham số được cập nhật theo công thức (5) sau khi một bộ dữ liệu luyện được chạy

3.3 Phương pháp luyện lai (hybrid learning)

Phương pháp luyện dựa trên gradient trình bày ở trên có thể dùng để xác định các tham số của mạng thích nghi Tuy nhiên, phương pháp gradient thường có tốc độ hội tụ chậm và dễ dừng ở các cực tiểu địa phương Phương pháp luyện lai kết hợp giữa phương pháp gradient và ước lượng bình phương tối thiểu (LSE) sẽ cải thiện các điểm yếu của phương pháp cổ điển trên

a Phương pháp luyện lai theo lượt

Để đơn giản, xét mạng thích nghi chỉ có một đầu ra (output)

Trong đó là tập các biến đầu vào và S là tập các tham số Giả sử tồn tại một hàm H sao cho hàm hợp là hàm tuyến tính đối với một số thành phần của S, khi đó các thành phần này có thể xác định bằng phương pháp bình phương tối thiểu Bên cạnh đó, nếu tập S có thể phân hoạch thành hai tập

23

(trong đó là phép cộng trực tiếp) sao cho tuyến tính với các thành phần của , áp dụng vào (9) ta có :

là tuyến tính đối với các thành phần của Khi đó, với tập được khởi tạo giá trị,

áp dụng tập dữ liệu luyện P vào (11), ta thu được phương trình :

Với X là vectơ chứa các thành phần của tập tham số Đặt , khi đó số chiều của A, X và B lần lượt là Thông thường, số lượng bộ dữ liệu luyện P thường lớn hơn số tham số tuyến tính M, do đó, phương trình (12) trở nên quá xác định và không tìm được nghiệm chính xác Vì vậy, ta sử dụng phương pháp ước lượng bình phương tối thiểu với để tối thiểu hóa bình phương sai số

Đây là bài toán quen thuộc trong hồi quy tuyến tính, lọc thích nghi và

và dễ dàng sửa đổi để áp dụng cho phương pháp luyện mẫu

Gọi là dòng thứ i của ma trận A, là thành phần thứ i của B Khi đó, X

có thể được tính qua chuỗi sau :

24

Trong đó là ma trận hiệp phương sai và Khởi tạo chuỗi (14) với

và , với I là ma trận đơn vị kích thước Trong trường hợp hệ mạng thích nghi nhiều đầu ra ( output trong công thức (9) là một vectơ cột), công thức (14) vẫn có thể áp dụng với là dòng thức i của ma trận B

Như vậy, ta có thể kết hợp phương pháp gradient và phương pháp ước lượng bình phương tối thiểu để cập nhật các tham số cho mạng thích nghi Mỗi vòng lặp của quá trình luyện lai sẽ gồm hai pha : pha tiến và pha lùi Trong pha tiến, ta sử dụng các dữ liệu luyện đầu vào, tính toán đầu ra của từng nút cho đến khi thu được

ma trận A và B tại công thức (12) và các giá trị tham số trong được tính toán theo công thức (14) Trong pha lùi, ta thực hiện quay lui trên mạng, sử dụng thuật toán gradient để tính toán cá giá trị của theo công thức (7)

b Phương pháp luyện theo mẫu

Phương pháp luyện theo mẫu hay luyện online rất cần thiết cho các mạng có tính thay đổi cao Để chuyển từ phương pháp luyện theo lượt sang luyện theo mẫu,

đòi hỏi thủ tục tụt theo gradient phải dựa trên (công thức(5)) thay vì E Như vậy, thực chất không phải dùng thủ tục gradient thực sự để cực tiểu hóa E, tuy nhiên ta có thể xấp xỉ thủ tục gradient bằng cách sử dụng tỷ lệ học nhỏ

Đối với công thức chuỗi bình phương tối thiểu trong trường hợp mạng thay

đổi liên tục, ta cần giảm ảnh hưởng của bộ dữ liệu cũ trước khi áp dụng bộ dữ liệu mới Một phương pháp được áp dụng là thêm vào công thức (14) một hệ số quên :

với

Rõ ràng, càng nhỏ thì ảnh hưởng của dữ liệu cũ càng được giảm Tuy nhiên, việc lựa chọn quá nhỏ có thể dẫn đến tính bất ổn định của công thức và nên

được hạn chế

25

4 Hệ thống suy diễn mờ dựa trên mạng thích nghi( Adaptive network based fuzzy inference system: ANFIS)

ANFIS là một lớp mạng riêng của các mạng thích nghi, có chức năng tương

đương với một hệ suy diễn mờ Mạng ANFIS thường được sử dụng để mô hình hóa các hệ suy diễn mờ dạng Takagi-Sugeno

4.1 Cấu trúc mạng ANFIS

Xét một hệ mờ dạng Takagi –Sugeno gồm hai luật mờ:

: Nếu là và là thì

: Nếu là và là thì

Hình 6 : Hệ suy diễn mờ Takagi-Sugeno

Dễ thấy, ta có một mạng thích nghi 5 lớp tương ứng với hệ suy diễn mờ trên với cấu trúc như hình 7 Một mạng thích nghi như vậy được gọi là một hệ suy diễn

mờ dựa trên mạng thích nghi

Hình 7 : Cấu trúc mạng ANFIS đơn giản