Mô hình hóa hệ thức hợp ứng dụng mạng nơron

Có vai trò như các tham số trong các mô hình đa thức, là nơi mà mạng nơron lưu giữ thông tin về mối liên hệ giữa đầu vào và đầu ra của hệ thống mà nó học được trong quá trình luyện.. Tro

LUẬN VĂN THẠC SỸ KỸ THUẬT

NGÀNH: TỰ ĐỘNG HÓA

MÔ HÌNH HÓA HỆ PHỨC HỢP ỨNG DỤNG MẠNG NƠRON

TÔ THẾ DIỆN

LUẬN VĂN THẠC SỸ KỸ THUẬT

MÔ HÌNH HÓA HỆ PHỨC HỢP ỨNG DỤNG MẠNG NƠRON

HD Khoa học: TS NGUYỄN ĐỨC THĂNG

THUYẾT MINH LUẬN VĂN THẠC SỸ KỸ THUẬT

ĐỀ TÀI

MÔ HÌNH HÓA HỆ PHỨC HỢP ỨNG DỤNG MẠNG NƠRON

Ngày giao đề tài :

Ngày hoàn thành đề tài :

Người hướng dẫn khoa học Học viên

TS Nguyễn Đức Thăng Tô Thế Diện

Duyệt Ban Giám Hiệu Khoa Sau Đại học

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn này là công trình nghiên cứu do tôi tổng hợp và thực hiện

Tác giả luận văn

Tô Thế Diện

LỜI CẢM ƠN

Trong thời gian được học tập tại Trường Đại học Kỹ thuật Công nghiệp Thái Nguyên và hoàn thành khóa học bằng luận văn Thạc sĩ này, tôi luôn nhận được sự dạy bảo, quan tâm cùng với những lời góp ý chân thành từ các Thầy Cô, đồng nghiệp, gia đình và bạn bè

Xin chân thành biết ơn:

Tiến sỹ Nguyễn Đức Thăng, Thầy giáo hướng dẫn, đã hỗ trợ em rất nhiều về mặt chuyên môn và tạo mọi điều kiện cho em hoàn thành luận văn này

Anh Nguyễn Khoa Việt Trường đã giúp đỡ tôi rất nhiều trong kỹ thuật lập trình trên ngôn ngữ Matlab

Tất cả các Thầy Cô giáo Trường Đại học Kỹ thuật Công nghiệp Thái Nguyên

đã tận tình hướng dẫn, truyền đạt kiến thức trong suốt thời gian tôi học tập tại đây Tất cả bạn bè, đồng nghiệp xung quanh tôi đã giúp đỡ tôi rất nhiều trong quá trình tìm kiếm số liệu để hoàn thành tốt luận văn

Cuối cùng tôi không thể không nhắc đến gia đình thân yêu của tôi, gia đình là nguồn động viên tinh thần lớn nhất cho tôi trong suốt thời gian học tập

Xin chân thành cảm ơn!

Thái Nguyên, ngày 15 tháng 09 năm 2011

Học viên

Tô Thế Diện

MỤC LỤC

Trang

Mục lục 3

Danh mục các ký hiệu, các chữ viết tắt 7

Danh mục các hình vẽ - đồ thị 8

Danh mục các bảng, biểu 10

Bảng giải thích tóm tắt một số thuật ngữ 11

Chương 1 Giới thiệu chung 13

1.1 Tính cấp thiết của đề tài 13

1.2 Ý nghĩa khoa học và thực tiễn của đề tài 14

1.3 Mục đích của đề tài 14

1.4 Nội dung thực hiện 15

1.5 Phương pháp nghiên cứu 15

Chương 2 Tổng quan về hệ phức hợp 16

2.1 Định nghĩa 16

2.2 Các tính năng của hệ phức hợp 18

2.3 Phân loại hệ thống phức hợp 19

2.3.1 Hệ thống hỗn loạn 19

2.3.2 Hệ thống thích nghi phức hợp 20

2.3.3 Hệ thống phi tuyến 20

2.4 Mô hình hóa hệ phức hợp 20

2.4.1 Mô hình hóa là gì 20

2.4.2 Mô hình hóa hệ phức hợp 21

Chương 3 Tổng quan về mạng nơron nhân tạo 24

3.1 Lịch sử phát triển của mạng nơron nhân tạo 24

3.2 Các tính chất của mạng nơron nhân tạo 25

3.3 Mô hình mạng nơron 25

3.3.1 Mô hình mạng nơron sinh học 25

3.3.1.1 Chức năng, tổ chức và hoạt động của bộ não con người 25

3.3.1.2 Mạng nơron sinh học 27

3.3.2 Mạng nơron nhân tạo 28

3.3.2.1 Khái niệm 28

3.3.2.2 Phân loại mạng nơron nhân tạo 32

3.3.2.3 Phương thức làm việc của mạng nơron nhân tạo 34

3.3.2.4 Các luật học 35

3.3.3 Mô hình toán học mạng nơron truyền thẳng và mạng nơron hồi quy 39

3.3.3.1 Mạng nơron truyền thẳng 39

3.3.3.2 Mạng nơron hồi quy 41

3.4 Phạm vi ứng dụng của mạng nơron 43

3.4.1 Những bài toán thích hợp 43

3.4.1.1 Mô hình hóa 43

3.4.1.2 Phân loại 44

3.4.1.3 Liên kết và kỹ thuật dịch chuyển cửa sổ 44

3.4.2 Các lĩnh vực ứng dụng của mạng nơron 45

3.4.3 Ưu nhược điểm của mạng nơron 46

3.5 Quá trình huấn luyện mạng nơron nhiều lớp 47

3.5.1 Quá trình thực hiện 47

3.5.2 Quy tắc chuỗi 48

3.5.3 Độ chính xác của lan truyền ngược 49

3.6 So sánh khả năng của mạng nơron với mạch logic 50

Chương 4 Hệ thống xử lý nước thải 52

4.1 Các thông số đánh giá ô nhiễm và yêu cầu xử lý 53

4.1.1 Các thông số đánh giá ô nhiễm nước thải 53

4.1.2 Yêu cầu xử lý 54

4.2 Quy trình của một hệ thống xử lý nước thải 55

4.2.1 Xử lý sơ cấp 56

4.2.2 Xử lý sinh học trong điều kiện kỵ khí 57

4.2.3 Xử lý bằng phân hủy Ozon 58

4.2.4 Tuyển nổi thứ cấp và lắng thứ cấp 60

4.2.5 Xử lý và tái sử dụng bùn 60

4.3 Công nghệ xử lý nước thải công nghiệp 61

4.3.1 Đặc trưng của nước thải công nghiệp 61

4.3.2 Thuyết minh quy trình công nghệ 62

Chương 5 Mô hình hóa hệ thống xử lý nước thải sử dụng mạng nơron 64

5.1 Mô hình hóa quá trình xử lý nước thải 64

5.2 Mạng nơ ron nhân tạo và mô hình thống kê kinh điển 67

5.2.1 Sự tương đồng 67

5.2.2 Sự khác nhau 68

5.2.2.1 Về mục tiêu 68

5.2.2.2 Phương pháp tiếp cận mô hình 68

5.3 Ứng dụng trong kỹ thuật môi trường 69

5.4 Phát triển mô hình 70

5.4.1 Phương pháp luận 70

5.4.1.1 Thu thập dữ liệu và xử lý dữ liệu 70

5.4.1.2 Xây dựng mô hình 71

5.4.1.3 Luyện mạng 72

5.4.1.4 Kiểm chứng mạng 73

5.4.1.5 Khai thác mô hình 73

5.4.2 Xây dựng chương trình máy tính 74

5.5 Ứng dụng mô hình cho trạm xử lý nước thải 77

5.5.1 Tổng quát chung 78

5.5.2 Trạm xử lý nước thải của nhà máy NatSteelVina.Thái Nguyên 81

5.5.2.1 Giới thiệu về hệ thống xử lý nước thải 81

5.5.2.2 Thu thập số liệu 82

5.5.2.3 Xử lý số liệu 82

5.5.2.4 Luyện và mô phỏng 83

5.6 Một số vấn đề về tự động hóa xử lý nước thải 88

5.6.1 Mục đích áp dụng tự động hóa xử lý nước thải 88

5.6.2 Yêu cầu và cơ sở xây dựng hệ thống tự động hoá 89

Kết luận và kiến nghị 93

Tài liệu tham khảo 94

Phụ lục 97

Số liệu đầu vào đầu ra của trạm xử lý nước thải nhà máy NatSteelVina 97

Hướng dẫn chương trình NeuralSim 103

DANH MỤC CÁC KÝ HIỆU VIẾT TẮT

DANH MỤC CÁC HÌNH VẼ - ĐỒ THỊ

Hình 2.1 Bản đồ trực quan tổ chức khoa học hệ thống phức hợp 16

Hình 3.1 Não bộ người 25

Hình 3.2 Mô hình mạng nơron sinh học 27

Hình 3.3 Mô hình nơron nhân tạo 29

Hình 3.4 Hàm Ramp 31

Hình 3.5 Hàm bước nhảy 31

Hình 3.6 Hàm giới hạn cứng 32

Hình 3.7 Hàm Sigmid hai cực 32

Hình 3.8 Mạng truyền thẳng một lớp 33

Hình 3.9 Mạng truyền thẳng nhiều lớp 33

Hình 3.10 Nơron tự phản hồi 33

Hình 3.11 Mạng phản hồi một lớp 34

Hình 3.12 Mạng phản hồi nhiều lớp 34

Hình 3.13 Cấu trúc huấn luyện mạng nơron 35

Hình 3.14 Mô hình học có giám sát và học củng cố 36

Hình 3.15 Học không có giám sát 37

Hình 3.16 Sơ đồ cấu trúc chung của quá trình học 38

Hình 3.17 Mô hình mạng truyền thẳng 1 lớp 39

Hình 3.18 Mạng nơron nhiều lớp truyền thẳng 40

Hình 3.19 Mạng nơron hồi quy một lớp 41

Hinh 3.20 Mạng nơron hồi quy nhiều lớp 41

Hình 4.1 Quy trình của một hệ thống xử lý nước thải 55

Hình 4.2 Quy trình công nghệ xử lý nước thải 61

Hình 5.1 Sơ đồ hóa của 1 khâu đại diện trong hệ thống xử lý nước thải 64

Hình 5.2 Phân loại các công cụ mô hình hóa 65

Hình 5.3 Hướng lựa chọn các kỹ thuật mô hình hóa cho các hệ thống 66

Hình 5.4 Các bước phát triển mô hình 70

Hình 5.5 Giao diện ứng dụng mạng nơron 75

Hình 5.6 Phân chia số liệu đã thu thập được 76

Hình 5.7 Sơ đồ mạng nơron 3 lớp 79

Hình 5.8 Sơ đồ công nghệ hệ thống xử lý nước thải 82

Hình 5.9 Diễn biến sai số MAE cực tiểu theo số lần lặp của NatSteel Vina 83

Hình 5.10 Tối ưu hóa quá trình luyện mạng của NatSteel Vina 84

Hình 5.11 Tối ưu hóa quá trình kiểm chứng mạng của NatSteel Vina 85

Hình 5.12 Quá trình luyện mạng của “LM15Trained” của NatSteel Vina 86

Hình 5.13 Quá trình kiểm chứng mạng của “LM15Sim” của NatSteel Vina 87

Hình 5.14 Lưu đồ điều chỉnh DO 90

DANH MỤC CÁC BẢNG

Trang

Bảng 4.1 Phân bố và dạng của nước trên trái đất 52

Bảng 5.1 Các thuật ngữ của mạng nơron và mô hình thống kê 67

Bảng 5.2 Số liệu dùng để luyện mạng của nhà máy NatSteel Vina 97

Bảng 5.3 Số liệu dùng để kiểm chứng mạng của nhà máy NatSteel Vina 101

Có vai trò như các tham số trong các mô hình đa thức, là nơi

mà mạng nơron lưu giữ thông tin về mối liên hệ giữa đầu vào

và đầu ra của hệ thống mà nó học được trong quá trình luyện Luyện mạng

Là quá trình điều chỉnh các trọng số sao cho nó có thể mô tả được tốt nhất mối quan hệ giữa đầu vào và đầu ra với một sai

Hàm sai số Là cách tính cộng gộp lỗi của các đơn vị trong mạng, đây cũng

là tiêu chí của quá trình luyện mạng

trong thực tế

Mô phỏng

Là cách gọi khác của kiểm chứng mạng, là quá trình tính toán các giá trị đầu ra bằng các thông số đầu vào với mạng đã luyện được

Tối ưu hóa

mạng

Là quá trình lặp liên tục để chọn được mạng có cấu trúc và chứa các trọng số tốt nhất để mô phỏng các tập số liệu kiểm chứng

CHƯƠNG I GIỚI THIỆU CHUNG

1.1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI

Sự phát triển không ngừng của khoa học công nghệ làm xuất hiện các đối tượng điều khiển có độ phức tạp ngày càng tăng Khoa học phức hợp (Complexity science) là môn khoa học nghiên cứu về các hệ thống phức hợp Nói đơn giản, một

hệ thống là phức hợp nếu nó chứa nhiều thành phần con tương tác với nhau và nếu

hệ thống đó lại biểu hiện những tính chất, những lối hành xử (behavior) mà chúng

ta không thể suy ra một cách hiển nhiên từ tương tác của những thành phần cấu thành nó Yêu cầu thực tế đặt ra là phải điều khiển các hệ thống động ngày càng phức tạp trong điều kiện ngày càng quan tâm tới các yếu tố bất định cũng như đòi hỏi chất lượng điều khiển ngày càng cao Các vấn đề trên không thể được đáp ứng một cách trọn vẹn và đồng thời nếu chỉ dùng các lý thuyết điều khiển kinh điển sẵn

có Đây chính là động lực cho sự ra đời của hàng loạt các lý thuyết điều khiển hiện đại, hứa hẹn một hướng giải quyết triệt để các bài toán điều khiển phi tuyến phức tạp[3]

Trong thời gian gần đây, mạng nơron đã thâm nhập vào nhiều lĩnh vực khác nhau chẳng hạn như: trong y học phân tích và phát hiện tế bào ung thư, phân tích và hiển thị điện tâm đồ, chuẩn đoán bệnh, xử lý hình ảnh y học; trong công tác dự báo

mô phỏng các hệ thống vĩ mô; các bài toán nhận dạng {[7],[9],[2]}; trong phân tích

dự báo tài chính[23], kinh tế, thị trường chứng khoán,…Các nghiên cứu về mạng nơron được bắt đầu từ những năm 40 nhưng mãi đến những năm 80 thì mới được

nghiên cứu với quy mô rộng rãi và trở thành công cụ hữu ích Mạng nơron bắt

chước cơ chế “học” của bộ não người, mạng nơron “học” các hành vi của hệ thống

từ các dữ liệu đầu vào và đầu ra của hệ thống đó Mạng nơron có khả năng tổng quát hóa tốt Chính khả năng “học” và khả năng tổng quát hóa tốt này cho phép mạng nơron mô tả có hiệu quả các mối quan hệ phi tuyến phức tạp, các vấn đề thay đổi theo thời gian và đặc biệt là trong điều kiện nhiễu Các hệ thống phức hợp

tuyến Do đó mạng nơron sẽ giải quyết được những hạn chế còn tồn tại trong các lý

thuyết điều khiển kinh điển

Hiện nay, vấn đề xử lý nước thải đã xây dựng một số lý thuyết tính toán song còn ở mức độ đơn giản, điều kiện tính toán thường là lý tưởng hóa và kết quả thu được chỉ mang tính chất gần đúng, ước lượng mà chưa sát với kết quả thực Lý do

là bản chất của quá trình rất phức tạp, hiệu quả của mỗi khâu xử lý phụ thuộc vào rất nhiều yếu tố mà không thể xét hết được Thêm vào đó là chất lượng nước thải và điều kiện môi trường chứa đựng những thông số rất khó kiểm soát Hay nói cách khác, bài toán xử lý nước thải được xem là một hàm phức hợp của các thông số đầu

ra với các thông số đầu vào và các thông số vận hành, chưa có một mô hình toán học mô tả đầy đủ các mối liên hệ đó[11] Trong trường hợp này, ứng dụng nơron nhân tạo mô hình hóa hệ thống xử lý nước thải là một (trong những khả năng) hướng đi cần thiết

Đây cũng là lý do tác giả lựa chọn đề tài nghiên cứu này với hy vọng bước đầu đưa ứng dụng mạng nơron nhân tạo vào mô hình hóa hệ phức hợp và cụ thể là bài toán xử lý nước thải Nghiên cứu cũng hy vọng phát triển một hướng đi mới cho mô hình hóa trong kỹ thuật ứng dụng tại Việt Nam

1.2 Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN CỦA ĐỀ TÀI

 Ý nghĩa khoa học: Kết quả nghiên cứu của đề tài sẽ góp phần bổ sung phương pháp giải quyết cũng như cách tiếp cận bài toán mô hình hóa và điều khiển

hệ phức hợp

 Ý nghĩa thực tiễn: Kết quả nghiên cứu của đề tài là cơ sở để giải quyết một

số bài toán điều khiển hệ phức hợp cụ thể ứng dụng mạng nơron Các mô hình ứng dụng để dự báo đầu ra cho các hệ thống xử lý nước thải hiện nay hầu hết là của nước ngoài với giá thành rất cao Do đó, việc sử dụng công cụ này thành công sẽ

giảm bớt chi phí rất đáng kể

1.3 MỤC ĐÍCH CỦA ĐỀ TÀI

Đề tài được thực hiện với các mục tiêu xác định như sau:

 Tìm hiểu và tiếp cận về hệ phức hợp

 Nghiên cứu khả năng ứng dụng của mạng nơron nhân tạo xây dựng mô hình

và mô phỏng hệ phức hợp và cụ thể ở đây là bài toán xử lý nước thải

1.4 NỘI DUNG THỰC HIỆN

Với các mục tiêu trên, luận văn thực hiện những nội dung sau:

 Chương 1 Giới thiệu chung

 Chương 2 Tổng quan về hệ phức hợp: Chương này sẽ giới thiệu một cách tổng quát hệ phức hợp, qua đó nêu được vị trí và tầm quan trọng của mạng nơron nhân tạo

 Chương 3 Tổng quan về mạng nơron nhân tạo: Trong phạm vi có hạn, luận văn sẽ trình bày một cách cô đọng nhất phần lý thuyết cơ bản cũng như các thuật toán của mạng nơron

 Chương 4 Giới thiệu về hệ thống xử lý nước thải: Trong chương này, tác giả sẽ đề cập đến quy trình cũng như công nghệ xử lý nước thải hiện nay

 Chương 5 Giải bài toán phức hợp cụ thể đó là ứng dụng mạng nơron mô hình hóa hệ thống xử lý nước thải: Chương này trình bày quá trình xây dựng chương trình ứng dụng mạng nơron trên nền ngôn ngữ Matlab để tính toán đầu ra cho hệ thống xử lý nước thải

 Cuối cùng là kết luận và kiến nghị

1.5 Phương pháp nghiên cứu

 Nghiên cứu lý thuyết: Nghiên cứu sách, giáo trình, bài báo, báo cáo khoa học, luận văn và các tài liệu liên quan

 Tìm hiểu các công cụ mô phỏng

 Kiểm nghiệm và đánh giá kết quả dựa trên mô hình mô phỏng

CHƯƠNG II TỔNG QUAN VỀ HỆ PHỨC HỢP

2.1 ĐỊNH NGHĨA

Khoa học phức hợp (Complexity science) là môn khoa học nghiên cứu về các

hệ thống phức hợp Nói đơn giản, một hệ thống phức hợp là hệ thống chứa nhiều thành phần con tương tác với nhau và nó biểu hiện những tính chất, những lối hành

xử mà chúng ta không thể suy ra một cách hiển nhiên từ tương tác của những thành phần cấu thành nó[3]

có một lý thuyết đơn giản cho các hệ thống phức hợp Tuy nhiên, chúng ta có thể

phân loại chúng và xếp chúng thành nhóm để nghiên cứu.(nhờ những công cụ tương tự)

Việc nghiên cứu các hệ thống phức hợp đòi hỏi một sự tổng hợp liên ngành Những công cụ vật lý sẽ hữu ích cho việc nghiên cứu các hệ sinh học, xã hội và ngược lại

Đặc trƣng quan trọng nhất của hệ phức hợp là gì?

Đó là hiện tượng đột sinh Hiện tượng đột sinh là hiện tượng xuất hiện những quy luật, những hình thái, những trật tự mới từ hiệu ứng tập thể của các tương tác giữa các thành phần trong hệ thống Như vậy, các hiện tượng đột sinh không phải là một tính chất nội tại của các thành phần con mà là những tính chất của hệ thống được xét một cách toàn cục

- Minh họa thứ nhất là nhiệt độ và các định luật về chất khí - các khái niệm này vô nghĩa nếu ta chỉ xét một phần tử, chúng chỉ có ý nghĩa đối với một hệ nhiều phần tử

- Minh họa thứ hai là tổ chức quần thể loài kiến Mỗi con kiến chỉ hành động theo những quy tắc nhất định nhưng toàn thể xã hội loài kiến lại hành động theo những quy tắc đột sinh biểu hiện một trật tự cao Hiện nay, các nhà khoa học xã hội

và tin học đang nghiên cứu hiện tượng tự tổ chức của xã hội loài kiến mong tìm ra những áp dụng khả dĩ cho xã hội chúng ta

- Một minh họa thứ ba là hiện tượng ùn tắc giao thông Mỗi cá nhân tham gia giao thông có một kế hoạch riêng cho hành trình của mình, song nhiều cá nhân tham gia giao thông lại dẫn đến ùn tắc là một hiện tượng đột sinh không phụ thuộc vào kế hoạch của từng cá nhân

Những ví dụ tinh tế hơn là “ý thức”, “sáng tạo”, hiện tượng đột sinh của hệ tế bào thần kinh Người ta thường nói: toàn cục lớn hơn tổng cơ học các thành phần để biểu diễn hiện tượng đột sinh Vũ trụ chứa nhiều tầng lớp phức hợp liên quan đến nhau: thiên hà, thái dương hệ, các hành tinh, hệ sinh thái, sinh vật, tế bào, nguyên

tử Ta có những định luật riêng cho các tầng lớp phức hợp, các định luật đó là phổ quát đối với mỗi tầng phức hợp

Tất cả các ví dụ về hệ thống phức hợp ở trên thể hiện một số đặc điểm chung:

1 Chúng bao gồm một số lượng lớn các đại lượng tương tác

2 Hệ phức hợp thường là hệ phân cấp, hơn nữa thường có nhiều cấp

3 Hệ phức hợp thường là hệ động, nghĩa là thay đổi theo thời gian t theo nghĩa tổng quát nhất, không chỉ là thay đổi trạng thái mà thay đổi cả phần tử, cấu trúc, hành vi và mục tiêu của nó

4 Hành vi của chúng không nổi lên kết quả từ sự tồn tại của một trung tâm điều khiển

2.2 CÁC TÍNH NĂNG CỦA HỆ THỐNG PHỨC HỢP

Hệ thống phức hợp có thể có những tính năng sau:

Xác định ranh giới của một hệ thống phức hợp có thể gặp khó khăn Người

quan sát sẽ đưa ra quyết định cuối cùng

Hệ thống phức hợp có thể có bộ nhớ:

Lịch sử của một hệ thống phức hợp có thể rất quan trọng Bởi vì hệ thống phức hợp là những hệ thống động học, chúng thay đổi theo thời gian và trạng thái trước có thể có ảnh hưởng đến trạng thái hiện tại Thông thường, các hệ thống phức hợp thường biểu hiện hiện tượng trễ

Có thể tạo ra những hiện tƣợng nổi:

Hệ thống phức hợp có thể biểu hiện những hành vi đặc trưng, điều này nhằm

để khẳng định rằng: trong khi các kết quả có thể được xác định đầy đủ bằng hoạt động của các thành phần cơ bản trong hệ thống thì chúng có thể có các thuộc tính

mà chỉ được nghiên cứu ở một mức độ cao hơn Ví dụ, đàn mối trong một gò đất có sinh lý học, hóa sinh và phát triển sinh học, chúng luôn ở trong một mức độ phân tích nhưng hành vi xã hội của chúng và việc xây dựng gò đất là một sản phẩm được

tạo ra từ sự tích lũy của mối và cần được phân tích ở một mức độ khác nhau

Mối quan hệ không tuyến tính:

Trên thực tế, điều này có nghĩa là một sự thay đổi nhỏ có thể gây ra ảnh hưởng lớn, tác động có tỷ lệ tương ứng hoặc thậm chí không có tác động nào Trong các hệ

thống tuyến tính, hiệu ứng luôn luôn tỷ lệ thuận với nguyên nhân

Mối quan hệ có chứa vòng lặp thông tin phản hồi:

Cả hai ý kiến phản hồi âm và khuếch đại luôn luôn được tìm thấy trong các hệ thống phức hợp Những tác động từ hành vi của một phần tử được phản hồi theo cách mà các yếu tố chính nó thay đổi

c Tập quỹ đạo mang tính chu kỳ của nó nhất định (phải) dày đặc

Thích nghi với các điều kiện đầu có nghĩa là mỗi điểm trong 1 hệ thống như vậy được xấp xỉ một cách tùy ý bởi các điểm sát cạnh nó sẽ cho các quỹ đạo trong tương lai có sự khác nhau đáng kể Như vậy, một nhiễu nhỏ bất kỳ của quỹ đạo hiện tại cũng có thể dẫn tới một hành vi khác biệt đáng kể trong tương lai

2.3.2 Hệ thống thích nghi phức hợp

Hệ thống thích nghi phức hợp (CAS – Complex Adaptive Systems) là trường hợp đặc biệt của các hệ thống phức tạp Chúng rất phức tạp ở chỗ chúng đa dạng và được tạo thành từ nhiều yếu tố liên kết nội bộ và thích nghi ở chỗ chúng có khả năng thay đổi và học hỏi từ những kinh nghiệm Ví dụ: Hệ thống thích nghi phức hợp bao gồm: thị trường chứng khoán, xã hội, sinh quyển và hệ sinh thái, não và hệ thống miễn dịch, tế bào và phát triển phôi thai, các doanh nghiệp sản xuất và bất kỳ nhóm xã hội của con người dựa trên sự nỗ lực về văn hóa và hệ thống xã hội như các đảng phái chính trị hoặc cộng đồng

2.3.3 Hệ thống phi tuyến

Các hành vi của các hệ thống phi tuyến là không tùy thuộc vào nguyên tắc của

sự chồng chất trong khi các hệ thống tuyến tính phụ thuộc vào sự chồng chất Như vậy, một hệ thống phi tuyến là nó có hành vi không thể được thực hiện như một tổng hợp của các hành vi bộ phận (hoặc bội số của chúng)

2.4 MÔ HÌNH HÓA HỆ THỐNG PHỨC HỢP

2.4.1 Mô hình hóa là gì?

Một trong những phương pháp quan trọng nhất để nghiên cứu hệ thống là phương pháp mô hình hóa, nhất là đối với những hệ thống mà người ta không thể tiến hành thực nghiệm trên chúng Phương pháp mô hình hóa là không nghiên cứu trực tiếp đối tượng mà thông qua việc nghiên cứu một đối tượng khác “tương tự” hay là “hình ảnh” của nó mà có thể sử dụng được các công cụ khoa học Kết quả nghiên cứu trên mô hình được áp dụng vào cho đối tượng thực tế [3]

Mô hình là sự mô tả toán học đơn giản của hệ thống Trong thực tế hệ thống, nhiều tính năng có thể là quan trọng Tuy nhiên, không phải tất cả trong số chúng đều được thể hiện trong mô hình Chỉ có vài tính năng có liên quan được cho là đóng một vai trò thiết yếu trong việc giải thích các quan sát hiện tượng nên được giữ lại Cần phân biệt được đâu là mô hình đâu là mô phỏng Một mô hình đơn giản, nếu nó bắt các yếu tố chính của một hệ thống phức hợp thì có thể gợi ra những câu hỏi có liên quan cao

thống thực tế trên toàn bộ phổ tần số Do đó, mô hình hóa không chỉ là áp dụng toán

học mà liên quan đến một sự hiểu biết về hệ thống và chức năng của nó Mô hình có thể được phát triển bằng cách sử dụng quy luật vật lý cũng như các thí nghiệm và

xử lý dữ liệu Một mô hình được phát triển thì nó phải được sử dụng dữ liệu thực tế

về phổ tần số quan tâm.[21]

Các mô hình phức hợp có thể được phát triển trong sự nỗ lực nhằm để hiểu về

hệ thống, cho các mục đích chuẩn đoán hoặc sẽ được sử dụng để thiết kế hệ thống điều khiển Chúng ta thường thấy mô hình của hệ thống là rất phức tạp bởi vì nếu sử dụng các công cụ điều khiển kinh điển để thiết kế một chương trình điều khiển đáp ứng yêu cầu đề ra là điều khó có thể thực hiện Những lựa chọn trong trường hợp này nhằm để phát triển các mô hình đơn giản mô tả đặc tính động của hệ thống trên phạm vi tần số quan tâm được xây dựng trên công cụ điều khiển sẵn có hoặc để phát

triển những công cụ điều khiển mới áp dụng cho hệ thống phức hợp được xem xét

Sự lựa chọn đầu tiên là dựa trên đặc tính của các phương pháp tiếp cận truyền thống

để thiết kế hệ thống điều khiển khi điện tử và công cụ tính toán không được tiên tiến như ngày nay Ví dụ: Một mô hình bậc cao có thể dẫn đến một bộ điều khiển phức tạp, nó không thể thực hiện được do thiếu bộ nhớ máy tính thích hợp và tốc độ tính toán Trong trường hợp này, mô hình này sẽ được đơn giản hóa bằng cách giảm bậc của nó nhằm để có một thiết kế điều khiển đơn giản có thể được phát triển và triển khai thực hiện bằng cách sử dụng công cụ tính toán sẵn có.[21]

Sự phát triển mạnh mẽ của máy tính và vi điện tử đồng thời với việc giảm chi phí thực hiện điều này sẽ mở đường cho việc thiết kế hệ thống điều khiển phức tạp

dựa trên mô hình hệ thống phức tạp hơn nhiều Ngoài ra, việc thực hiện không còn

bị giới hạn bởi các hạn chế tính toán trong quá khứ, những vấn đề điều khiển và các phạm vi mới nổi lên, mang lại những thách thức mới và nhu cầu mới, kỹ thuật điều khiển phi truyền thống Các mô hình truyền thống của một hệ thống thực tế là một

hệ thống tuyến tính bất biến theo thời gian như hình thức sau:

Du Cx Y

Bu Ax X







. (2.1)

Hoặc hàm truyền dưới dạng đầu vào/đầu ra:

Y G(s)u (2.2)

Các mô hình này thỏa mãn nhu cầu của một lớp rộng các vấn đề điều khiển

Lý do là nhiều hệ thống điện được thiết kế để hoạt động như tuyến tính, bất biến theo thời gian trong dải tần số quan tâm

Mô hình hóa và hệ thống điều khiển phức hợp đã trở thành một lĩnh vực mới được quan tâm nghiên cứu, giảng dạy và ứng dụng Các hệ thống phức hợp bao gồm các hệ thống trong đó có nhiều hệ thống con và các yếu tố cấu thành tương tác với nhau cũng như môi trường của chúng trong sự hiện diện của hiện tượng không

ổn định và không thể dự đoán Nhưng từ nay, sự xuất hiện của mô hình sẽ biểu diễn mối tương tác trong hệ thống một cách thỏa đáng và phát triển theo thời gian Hệ thống rơi vào thể loại này bao gồm: hệ thống sinh học, giao thông và mạng máy tính, các hệ thống robot, xe máy không người lái, cảm biến mạng, các hệ thống nhúng, hệ thống sản xuất Hầu hết các vấn đề điều khiển phát sinh trong các ứng dụng phi truyền thống như hệ phức hợp không thể giảm nhiều như các hệ thống cơ

khí hoặc điện truyền thống Vì vậy, đó là một nhu cầu mạnh mẽ cho các kỹ thuật

mô hình mới và thiết kế hệ thống điều khiển để xử lý với nhiều đầu vào đầu ra liên quan đến các hệ thống phức hợp, cũng như để đáp ứng những thách thức của hệ thống mới và yêu cầu thực hiện bằng cách tận dụng những tiến bộ đáng kể trong các cảm biến, công nghệ thông tin, máy tính và tốc độ tính toán Tính sẵn có của các công nghệ mở ra con đường để áp dụng lý thuyết hệ thống, trong đó bao gồm việc

mô hình hóa và điều khiển nhiều hệ thống phi truyền thống phức tạp hơn trong quá khứ[21]

Điều khiển các hệ thống phức hợp sử dụng mạng nơron

Trong thời gian gần đây, mạng nơron đã thâm nhập vào nhiều lĩnh vực khác nhau chẳng hạn như: trong y học phân tích và phát hiện tế bào ung thư, phân tích và hiển thị điện tâm đồ, chuẩn đoán bệnh, xử lý hình ảnh y học; trong công tác dự báo

mô phỏng các hệ thống vĩ mô; các hệ thống nhận dạng tiếng nói, chữ viết, dấu vân tay, trong phân tích dự báo tài chính, kinh tế, thị trường chứng khoán,…Mạng nơron bắt chước cơ chế “học” của bộ não người, chúng “học” các hành vi của hệ thống từ các dữ liệu đầu vào và đầu ra của hệ thống đó Đặc biệt, chúng có khả năng tổng quát hóa tốt Chính khả năng “học” và khả năng tổng quát hóa tốt này cho phép mạng nơron mô tả có hiệu quả các mối quan hệ phi tuyến phức tạp, các vấn đề thay đổi theo thời gian và đặc biệt là trong điều kiện nhiễu Do đó, mạng nơron sẽ giải quyết được những hạn chế còn tồn tại trong các lý thuyết điều khiển kinh điển Mạng nơron đã được thúc đẩy từ các hệ thống sinh học như cách

xử lý các hệ thống phức hợp phi tuyến Mục đích của việc sử dụng mạng thần kinh hoặc mạng lưới thần kinh nhân tạo để xây dựng hệ thống với khả năng tìm hiểu và điều khiển theo một cách rất giống với hệ thống sinh học vẫn chưa đạt được cách thức như yêu cầu bản thân chúng đặt ra Thay vào đó, mạng nơron đã được sử dụng như chức năng phi tuyến xấp xỉ hoặc sử dụng các kỹ thuật trực tuyến điều khiển thích nghi để cập nhật các trọng số của mạng Một lượng lớn các kết quả và ứng dụng các kỹ thuật mạng nơron đã xuất hiện trong các lĩnh vực kỹ thuật thể hiện trong chức năng mô hình hóa hoặc nhận dạng bản đồ, cũng như kiểm soát các hệ thống quá phức tạp để được xử lý với các kỹ thuật truyền thống

Trong đề tài này, tác giả ứng dụng mạng nơron để mô hình hóa hệ phức hợp, với bài toán cụ thể là mô hình hóa hệ thống xử lý nước thải Chính vì thế nên trong chương tiếp theo, tác giả sẽ đi tìm hiểu về mạng nơron nhân tạo

CHƯƠNG III TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO

3.1 LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠRON NHÂN TẠO

Quá trình nghiên cứu và phát triển nơron nhân tạo có thể chia thành 4 giai đoạn như sau:

Giai đoạn 1: Có thể tính từ cuối TK 19, đầu TK 20 với các công trình nghiên cứu của các nhà khoa học như Hermann von Hemholtz, Ernst Mach, Ivan Pavlov Các công trình nghiên cứu của họ chỉ mới dừng lại ở lý thuyết tổng quát về: Học (Learning), Nhìn (vision) và Lập luận (conditioning), và không hề đưa ra những

mô hình toán học cụ thể mô tả hoạt động của các nơron, đến những năm 1940 Mc Culloch và Pitts đã cho biết nơron có thể mô hình hoá như thiết bị ngưỡng (giới hạn) để thực hiện các phép tính logic và mô hình mạng nơron của Mc Culloch - Pitts cùng với giải thuật huấn luyện mạng của Hebb ra đời năm 1943

Giai đoạn 2: Vào những năm 1960, một số mô hình nơron hoàn thiện hơn đã được đưa ra như: Mô hình Perceptron của Rosenblatt (1958), Adalile của Widrow (1962) Trong đó mô hình Perceptron rất được quan tâm vì nguyên lý đơn giản, nhưng nó cũng có hạn chế vì nó không dùng được cho các hàm logic phức Còn Adaline là mô hình tuyến tính, tự chỉnh, được dùng rộng rãi trong điều khiển thích nghi, tách nhiễu và phát triển cho đến nay

Giai đoạn 3: Có thể tính vào khoảng đầu thập niên 80 Những đóng góp lớn cho mạng nơron trong giai đoạn này phải kể đến Grossberg, Kohonen, Rumelhart

và Hopfield Trong đó đóng góp lớn của Hopfield gồm hai mạng phản hồi: mạng rời rạc năm 1982 và mạng liên tục năm 1984 Đặc biệt, ông đã dự kiến nhiều khả năng tính toán lớn của mạng mà một nơron không có khả năng đó

Giai đoạn 4: Tính từ năm 1987 đến nay, hàng năm thế giới đều mở hội nghị toàn cầu chuyên ngành nơron IJCNN (International Joit Conference on Neural Networks) Rất nhiều công trình được nghiên cứu để ứng dụng mạng nơron vào các lĩnh vực như: kỹ thuật tính [10], điều khiển {[6],[1]}, bài toán nhận dạng {[7]; [9];

[2]}, y học, sinh học, thống kê [8], giao thông, hoá học, Cho đến nay mạng nơron

đã tìm và khẳng định được vị trí của mình trong rất nhiều ứng dụng khác nhau

3.2 CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO

- Là hệ phi tuyến: Mạng nơron có khả năng to lớn trong lĩnh vực nhận dạng

và điều khiển các đối tượng phi tuyến

- Là hệ xử lý song song: Mạng nơron có cấu trúc song song, do đó tốc độ tính

toán rất cao, rất phù hợp với lĩnh vực nhận dạng và điều khiển

- Là hệ học và thích nghi: Mạng được luyện từ số liệu quá khứ, có khả năng

tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on-line

- Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO): rất tiện dụng khi

điều khiển đối tượng có nhiều biến số

3.3 MÔ HÌNH MẠNG NƠRON

3.3.1 Mô hình mạng nơron sinh học

3.3.1.1 Chức năng, tổ chức và hoạt động của bộ não con người

Bộ não người có chức năng hết sức quan trọng trong đời sống của con người

Nó hầu như kiểm soát hết hành vi của con người từ hoạt động cơ bắp đơn giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng tạo,…

Hình 3.1 Bộ não người

Bộ não người được hình thành từ sự liên kết của khoảng 11

chúng có nhiệm vụ cũng như hỗ trợ cho các nơron Bộ não có cấu trúc nhiều lớp, lớp bên ngoài thường thấy như các nếp nhăn, là lớp có cấu tạo phức tạp nhất Đây là nơi kiểm soát và phát sinh các hành động như nghe, nhìn, tư duy,…[6]

Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con người quan tâm, nghiên cứu từ lâu nhưng cho đến nay người ta vẫn chưa thực sự hiểu rõ về hoạt động của bộ não và hệ thần kinh Đặc biệt là trong các hoạt động liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo,…tuy thế, người ta đã có những hiểu biết căn bản về hoạt động cấp thấp của não

não hoạt động một cách tổng lực và đạt hiệu quả cao Nói cách khác, các phần tử của não hoạt động một cách song song và tương tác hết sức tinh vi, phức tạp, hiệu quả hoạt động thường rất cao, nhất là trong các vấn đề phức tạp Về tốc độ xử lý của

bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi nơron là rất chậm so với xử lý

để xử lý Trong thực tế, não bộ liên tục nhận thông tin xử lý, đánh giá và so sánh với thông tin lưu trữ để đưa ra các quyết định thích đáng

Những mệnh lệnh cần thiết được phát sinh và gửi đến những bộ phận thi hành thích hợp như tay, chân,…Những bộ phận thi hành biến những xung điện thành dữ liệu xuất hiện hệ thống

Bộ não người có chức năng hết sức quan trọng đối với đời sống của con người Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ hàng chục tỉ tế bào nơron với mức độ liên kết giữa các nơron là rất cao Hơn nữa, nó còn được chia thành các

vùng và các lớp khác nhau Bộ não hoạt động dựa trên cơ chế hoạt động song song của các nơron tạo nên nó

3.3.1.2 Mạng nơron sinh học

 Cấu tạo

Hình 3.2 Mô hình mạng nơron sinh học

Một nơron điển hình có 3 phần tử chính:

- Thân nơron (soma): nhân của nơron được đặt ở đây

- Các nhánh (dendrite): Đây chính là các mạng cây của các dây thần kinh để

nối các soma với nhau

- Sợi trục (Axon): đây là một kết nối, hình trụ dài và mang các tín hiệu từ đó ra

ngoài Phần cuối của sợi trục được chia thành nhiều nhánh nhỏ Mỗi nhánh nhỏ (cả các nhánh và sợi trục) kết thúc trong một cơ quan nhỏ hình củ hành được gọi là nơi tiếp giáp hai tế bào thần kinh (synapse) mà tại đây các nơron đưa các tín hiệu của nó vào các nơron khác Những điểm tiếp nhận với các khớp thần kinh trên các nơron khác có thể ở các nhánh hay chính thân nơron

Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0,25mm2) Đầu dây thần kinh ra được rẽ nhánh nhằm chuyển giao tín hiệu

từ thân nơron tới nơron khác Các nhánh của đầu dây thần kinh được nối với các khớp thần kinh Các khớp thần kinh này được nối với thần kinh vào của các nơron khác Các nơron có thể sửa đổi tín hiệu tại các khớp Hình ảnh đơn giản của một nơron thể hiện trong hình 3.2

 Hoạt động

Các tín hiệu đưa ra bởi các khớp thần kinh và được nhận bởi các nhánh là các kích thích điện tử Việc truyền tín hiệu như trên liên quan đến một quá trình hóa học phức tạp mà trong đó các chất truyền đặc trưng được giải phóng từ phía gửi của nơi tiếp nối Điều này làm tăng hay giảm điện thế bên trong thân của nơron nhận Nơron nhận tín hiệu sẽ kích hoạt nếu điện thế vượt khỏi một ngưỡng nào đó và một xung (hoặc điện thế hoạt động) với độ mạnh (cường độ) và thời gian tồn tại cố định được gửi ra ngoài thông qua sợi trục tới phần nhánh của nó rồi tới các chỗ nối giữa các khớp với các nơron khác Sau khi kích hoạt, nơron sẽ chờ trong một khoảng thời gian được gọi là chu kỳ, trước khi nó có thể được kích hoạt lại Các khớp thần kinh là hưng phấn nếu chúng cho phép các kích thích truyền qua gây ra tình trạng kích hoạt đối với nơron nhận Ngược lại, chúng bị ức chế nếu các kích thích truyền qua làm cản trở trạng thái kích hoạt của nơron nhận

3.3.2 Mạng nơron nhân tạo

3.3.2.1 Khái niệm

Mạng nơron nhân tạo là một mô phỏng xử lý thông tin được xây dựng trên mô hình một số tính chất của mạng nơron sinh học, tuy nhiên, khác với mô hình nhận thức, phần lớn các ứng dụng lại có bản chất kỹ thuật Mạng nơron nhân tạo là máy

mô phỏng cách hoạt động của bộ não thực hiện nhiệm vụ của nó Một mạng nơron nhân tạo là bộ xử lý song song phân tán lớn, nó giống bộ não người về 2 mặt:

- Tri thức được nắm bắt bởi nơron thông qua quá trình học

- Độ lớn của trọng số kết nối nơron đóng vai trò khớp nối cất giữ thông tin

Thông thường một nơron có 3 phần chính như hình 3.3

Hình 3.3 Mô hình nơron nhân tạo

quyết định một giá trị của đầu ra thông qua hàm chuyển Có nhiều kiểu hàm chuyển

khác nhau Tương tự như nơron sinh học của con người, nơron sẽ được kích hoạt

nếu tổng giá trị vào vượt quá ngưỡng và không được kích hoạt nếu tổng giá trị vào

thấp hơn ngưỡng Sự làm việc như vậy của nơron gọi là sự kích hoạt nhảy bậc

Các trọng số này tương tự như các tế bào cảm giác của mạng nơron sinh học

jk N

j

j ij i

(.)

()

Với V i (t)là tổng trọng của nơron thứ i, y i (t)là các đầu ra của các nơron thứ j

và u k (t) là đầu vào từ bên ngoài tương ứng với các trọng số W ijvà W*jk, θ là hằng

số gọi là ngưỡng của nơron thứ i

Hệ động học tuyến tính SISO: Đầu vào là v i, đầu ra là x i ở dạng toán tử laplace ta có:

) ( ).

( ) (s H s V s



) ( ) (t w t

Hàm chuyển đổi: Để tìm được giá trị đầu ra của nơron ta phải tiến hành qua

hai bước như sau:

- Tìm các giá trị tổng trọng lượng đầu vào net i (t)

- Căn cứ vào net i (t) để tìm ra y i bằng các hàm chuyển đổi vào rạ

Hàm chuyển đổi ặ) xem nơron như một hộp đen, chuyển đổi một tín hiệu vào thành tín hiệu rạ Các dạng hàm chuyển đổi thường được sử dụng có dạng như sau: + Hàm Ramp (Ramp function) là hàm có biểu diễn toán học như (3.4) và biểu diễn hình học như hình 3.4

1 nếu f > 1

0 nếu f < 0

+ Hàm giới hạn cứng (threshold function) có hàm biểu diễn toán học như (3.6)

và biểu diễn hình học như hình 3.6

1 nếu f ≥ 0

-1 nếu f < 0

e n

Hình 3.7 Hàm Sigmid hai cực

3.3.2.2 Phân loại mạng nơron

Cũng như các nơron sinh học, nơron nhân tạo có thể liên kết với nhau để tạo thành mạng nơron nhân tạo

- Mạng một lớp: là tập hợp các phần tử nơron có đầu vào và đầu ra trên mỗi

một phần tử

- Mạng nhiều lớp: Gồm một lớp đầu vào và một lớp đầu ra riêng biệt, Các lớp

nằm giữa lớp đầu vào và lớp đầu ra gọi là các lớp ẩn (hidden layers)

- Mạng truyền thẳng: Là mạng hai hay nhiều lớp mà quá trình truyền tín hiệu

từ đầu ra của lớp này đến đầu vào lớp kia theo một hướng

- Mạng phản hồi: Là mạng trong đó có một hoặc nhiều đầu ra của phần tử lớp

sau truyền ngược tới đầu vào lớp trước

- Mạng tự tổ chức: Là mạng có khả năng sử dụng những kinh nghiệm quá khứ

để thích ứng với những biến đổi của môi trường (không dự báo trước) Loại mạng này thuộc nhóm tự học, thích nghi không cần có tín hiệu chỉ đạo bên ngoài

Một số mô hình mạng nơron cơ bản được mô tả trong các hình sau

Hình 3.8 Mạng truyền thẳng một lớp

Hình 3.9 Mạng truyền thẳng nhiều lớp

Hình 3.11 Mạng phản hồi một lớp

Hình 3.12 Mạng phản hồi nhiều lớp

3.3.2.3 Phương thức làm việc của mạng nơron

Phương thức làm việc của mạng nơron nhân tạo có thể chia làm hai giai đoạn:

- Tự tái tạo (Reproduction)

- Giai đoạn học (Learning Phase)

Ở một mạng nơron có cấu trúc bền vững có nghĩa là véctơ hàm trọng lượng đầu vào, khâu tạo đáp ứng và khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi

về mặt cấu trúc cũng như tham số thì mạng có một quá trình truyền đạt chắc chắn, tĩnh hoặc động phụ thuộc vào cấu tạo các nơron trong mạng Ở đầu vào của mạng xuất hiện thông tin thì đầu ra cũng xuất hiện một đáp ứng tương ứng Đối với mạng nơron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau khi đầu vào xuất hiện thông tin, còn đối với mạng có hàm truyền đạt động thì phải sau một thời gian quá độ ở đầu ra của mạng nơron mới xuất hiện đáp ứng

Mạng nơron khi mới hình thành chưa có tri thức, tri thức của mạng hình thành dần sau một quá trình học Mạng nơron được dạy bằng cách dựa vào những đầu vào kích thích và hình thành những đáp ứng tương ứng, những đáp ứng phù hợp với từng loại kích thích sẽ được lưu giữ, giai đoạn này được gọi là giai đoạn học của mạng Khi đã hình thành tri thức mạng có thể giải quyết các vấn đề cụ thể một cách đúng đắn Đó có thể là những vấn đề áp dụng khác nhau, được giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vào của mạng và đáp ứng đầu

ra

3.3.2.4.Các luật học

Như đã trình bày, học là vấn đề quan trọng trong mạng nơron

Cấu trúc huấn luyện mạng được chỉ ra trong hình 3.13 Ở đây hàm trọng của mạng được điều chỉnh trên cơ sở so sánh đầu ra với đích mong muốn cho tới khi đầu ra mạng phù hợp với đích Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng

Hình 3.13 Cấu trúc huấn luyện mạng nơron

Có hai kiểu học:

- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số

về trọng số, cập nhật kết nối giữa các nơron

- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của mạng nơron gồm nhiều mạng nút (node) và các mẫu liên kết

Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơron có sẵn

Để làm được việc đó, mạng nơron sử dụng các trọng số điều chỉnh, với nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng Có ba phương pháp học:

- Học có giám sát (Supervised Learning):

3.14) Hay, trong quá trình học có giám sát, mạng nơron được cung cấp liên tục các cặp số liệu mong muốn vào/ra ở từng thời điểm (x1,d1), (x2,d2),…,(x k,d k),…khi

hộp đen có đầu vào là véctơ tín hiệu vào x sẽ đưa ra được câu trả lời đúng là d

Để đạt được kết quả mong muốn nói trên khi đưa tín hiệu vào x k, thông thường sẽ có sai lệch e kgiữa tín hiệu đầu ra y kvà tín hiệu đầu ra mong muốn d k Sai lệch đó sẽ được truyền ngược tới đầu vào để điều chỉnh thông số mạng nơron là

ma trận trọng số W…Quá trình cứ tiếp diễn sao cho sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi cho phép, kết quả ta nhận được ma

đối tượng hay hàm số mạng nơron cần học

Hình 3.14 Mô hình học có giám sát và học củng cố

- Học củng cố (Reinforcement Learning):

Tín hiệu d có thể được đưa từ bên ngoài môi trường (hình 3.14), tín hiệu này

có thể không được đưa đầy đủ mà chỉ đưa đại diện 1bit có tính chất kiểm tra quá

trình đúng hay sai Tín hiệu đó được gọi là tín hiệu củng cố (Reinforcement signal)

Phương pháp học củng cố thực chất chỉ là 1 trường hợp của phương pháp học có giám sát, bởi vì nó cũng nhận tín hiệu chủ đạo (giáo viên) phản hồi từ môi trường Chỉ khác là tín hiệu củng cố có tính ước lượng hơn là để dạy Có nghĩa là chỉ đưa ra kết quả tốt hay xấu cho một số tín hiệu đầu ra cá biệt

- Học không có giám sát (Unsupervised Learning):

Học không có giám sát hoàn toàn không có tín hiệu từ bên ngoài (hình 3.15) Giá trị mục tiêu điều khiển không được cung cấp và không được tăng cường Mạng phải khám phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan,…trong khi

tự khám phá các đặc trưng mạng tự thay đổi thông số, vấn đề đó còn gọi là tự tổ

chức (Self - Organizing)

Hình 3.15 Học không có giám sát