ĐỀ TÀI NGUYÊN CỨU KHOA HỌC SINH VIÊN : ỨNG DỤNG MẠNG NEURAL NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN ĐỂ DỰ BÁO CHỈ SỐ GRDP TỈNH BÌNH DƯƠNG

Với khả năng học và tổng quát dữ liệu học của kỹ thuật khoa học máy tính về mạng nơron nhân tạo và giải thuật di truyền có thể mô phỏng những mô hình phi tuyến như các chỉ số kinh tế để

UBND TỈNH BÌNH DƯƠNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI

1 Thông tin chung:

- Tên đề tài: Ứng dụng mạng neural nhân tạo và giải thuật di truyền để dự báo chỉ số

GRDP tỉnh Bình Dương

- Sinh viên/ nhóm sinh viên thực hiện:

năm đào tạo

1 Nguyễn Văn Trọng 1324801040029 D13HT01

Công nghệ thông tin – Điện – Điện

tử

Năm 4/ 4 năm

2 Nguyễn Thái Sơn 1324801040015 D13HT01

Công nghệ thông tin – Điện – Điện tử

Năm 4/ 4 năm

3 Nguyễn Hoàng Thịnh 1324801040058 D13HT01

Công nghệ thông tin – Điện – Điện tử

Năm 4/ 4 năm

2 Mục tiêu đề tài:

Tỉnh Bình Dương có tốc độ phát triển công nghiệp cao, giá trị sản lượng công nghiệp, tổng sản phẩm trên địa bàn, tiêu dùng khu vực dân cư và chính quyền lớn Việc thống kê, phân tích và dự báo số liệu chỉ số GRDP là hoạt động thường xuyên nhằm đánh giá tình hình kinh tế - xa hội, xem xét hiệu quả tác động của các chính sách Từ đó có cơ sở khoa học định lượng để điều chỉnh, dự báo, định hướng và ra những quyết sách phù hợp để đưa nền kinh tế của tỉnh đi lên

Phân tích và dự báo các chỉ số kinh tế như: công nghiệp và xây dựng, thương mại

và dịch vụ, nông-lâm nghiệp và thủy sản là yêu cầu cần thiết của các tỉnh/thành phố và cả nước trong điều kiện kinh tế trong nước có những biến đổi nhanh và khó lường, chịu tác động từ ảnh hưởng của nền kinh tế khu vực và thế giới

Với khả năng học và tổng quát dữ liệu học của kỹ thuật khoa học máy tính về mạng nơron nhân tạo và giải thuật di truyền có thể mô phỏng những mô hình phi tuyến như các chỉ số kinh tế để có một dự báo phù hợp

3 Tính mới và sáng tạo:

Tìm hiểu và nắm vững cơ sở lý thuyết về kỹ thuật Mạng Nơron nhân tạo, thuật giải

di truyền, kinh tế học, phân tích tác động chính sách kinh tế

Vận dụng xây dựng chương trình: Dự báo một số chỉ số kinh tế Tỉnh Bình Dương, làm công cụ nhằm phân tích, dự báo hỗ trợ cho những người quan tâm và cơ quan có chức năng

4 Kết quả nghiên cứu:

Đề tài tập trung nghiên cứu kĩ thuật sử dụng mạng nơron và giải thuật di truyền trong khai phá dữ liệu Kết hợp với tính chất tìm kiếm toàn cục của GA với tính hội tụ của giải thuật BP Với ứng dụng dự đoán chỉ số GRDP của tỉnh Bình Dương là một bước tiến quan

trọng để tận dụng thời cơ phát triển cũng như phòng tránh rủi ro trong tình hình kinh tế đầy

để điều chỉnh, dự báo, định hướng và ra những quyết sách phù hợp

6 Công bố khoa học của sinh viên từ kết quả nghiên cứu của đề tài (ghi rõ họ tên tác

giả, nhan đề và các yếu tố về xuất bản nếu có) hoặc nhận xét, đánh giá của cơ sở đã áp dụng các kết quả nghiên cứu (nếu có):

Ngày 03 tháng 04 năm 2017

Sinh viên chịu trách nhiệm chính

thực hiện đề tài

(ký, họ và tên)

Nhận xét của người hướng dẫn về những đóng góp khoa học của sinh viên thực hiện

đề tài (phần này do người hướng dẫn ghi):

Xác nhận của lãnh đạo khoa

(ký, họ và tên)

Người hướng dẫn

(ký, họ và tên)

UBND TỈNH BÌNH DƯƠNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Độc lập – Tự do – Hạnh phúc

THÔNG TIN VỀ SINH VIÊN CHỊU TRÁCH NHIỆM CHÍNH THỰC HIỆN ĐỀ TÀI

I SƠ LƯỢC VỀ SINH VIÊN:

Họ và tên: Nguyễn Văn Trọng

Sinh ngày: 11 tháng 02 năm 1994

Nơi sinh: Bình Dương

Khoa: Công Nghệ Thông Tin

Địa chỉ liên hệ: 701 Khu 8, phường Tương Bình Hiệp, TP Thủ Dầu Một, Tỉnh Bình Dương

II QUÁ TRÌNH HỌC TẬP (kê khai thành tích của sinh viên từ năm thứ 1 đến năm đang

UBND TỈNH BÌNH DƯƠNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Độc lập – Tự do – Hạnh phúc

THÔNG TIN VỀ SINH VIÊN THAM GIA NGHIÊN CÚU

I SƠ LƯỢC VỀ SINH VIÊN:

Họ và tên: Nguyễn Hoàng Thịnh

Sinh ngày: 19 tháng 04 năm 1995

Nơi sinh: Bình Dương

Khoa: Công Nghệ Thông Tin

Địa chỉ liên hệ: 33/31 Khu 8, phường Tân An, TP Thủ Dầu Một, Tỉnh Bình Dương

Điện thoại: 01665 727 537 Email: hoangthinh1904@gmail.com

II QUÁ TRÌNH HỌC TẬP (kê khai thành tích của sinh viên từ năm thứ 1 đến năm đang

Ngành học: Hệ Thống Thông Tin Khoa: Công Nghệ Thông Tin

Kết quả xếp loại học tập: Trung Bình - Khá

Sơ lược thành tích:

* Năm thứ 3:

Ngành học: Hệ Thống Thông Tin Khoa: Công Nghệ Thông Tin

Kết quả xếp loại học tập: Trung bình - Khá

Sơ lược thành tích:

Ảnh 4x6

UBND TỈNH BÌNH DƯƠNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Độc lập – Tự do – Hạnh phúc

THÔNG TIN VỀ SINH VIÊN THAM GIA ĐỀ TÀI

I SƠ LƯỢC VỀ SINH VIÊN:

Họ và tên: Nguyễn Thái Sơn

Sinh ngày: 11 tháng 02 năm 1995

Nơi sinh: Bình Dương

Khoa: Công Nghệ Thông Tin

Địa chỉ liên hệ: Khu phố 3B, Thới Hòa, Bến Cát, tỉnh Bình Dương

II QUÁ TRÌNH HỌC TẬP (kê khai thành tích của sinh viên từ năm thứ 1 đến năm đang

LỜI NÓI ĐẦU

Trong những năm qua, tầm quan trọng của máy tính trong việc lưu trữ và xử lý thông tin ngày càng được quan tâm Các thiết bị thu thập dữ liệu tự động cũng không ngừng phát triển góp phần tạo ra cơ sở dữ liệu khổng lồ Nhưng để có những thông tin bổ ích cho việc

ra quyết định cũng như dự báo các chỉ số trong tương lai góp phần phát huy tối đa nguồn

Sau gần 6 tháng tìm hiểu đề tài “Ứng dụng mạng neural nhân tạo và giải thuật di truyền để dự báo chỉ số GRDP tỉnh Bình Dương”, nhóm đã hoàn thành đúng tiến độ dự kiến Để đạt được kết quả này, nhóm đã nổ lực thực hiện và đồng thời cũng nhận được rất nhiều sự giúp đỡ, quan tâm, ủng hộ của thầy cô và bạn bè

Nhóm chân thành cảm ơn thầy Hồ Nhật Tiến đã chỉ dẫn cho nhóm hướng phát triển ứng dụng cũng như cách thức để dễ dàng hơn Chị Kim Hồ - Trưởng phòng Cục Thống kê Bình Dương đã giúp nhóm có số liệu cụ thể về tình hình kinh tế - xã hội tỉnh Bình Dương

Vì thời gian có hạn nên không thể tránh những sai sót, nhóm mong được sự đóng góp

ý kiến từ Thầy, Cô và bạn bè Một lần nữa xin chân thành cảm ơn Thầy đã chỉ dẫn cho nhóm hoàn thành đề tài nghiên cứu khoa học!

MỤC LỤC

LỜI NÓI ĐẦU

MỤC LỤC

DANH MỤC HÌNH

PHẦN MỞ ĐẦU 1

I Lý do chọn đề tài 1

II Mục đích nghiên cứu 1

III Đối tượng và khách thể nghiên cứu 1

III.1 Đối tượng nghiên cứu 1

III.2 Khách thể nghiên cứu 2

IV Giả thuyết nghiên cứu 2

V Nhiệm vụ nghiên cứu 2

VI Phương pháp nghiên cứu 2

VII Phạm vi nghiên cứu 3

Phần 1: CƠ SỞ LÝ THUYẾT 4

I Kỹ thuật mạng Nơron nhân tạo và giải thuật di truyền 4

I.1 Các loại mô hình dự báo 4

I.1.1 Mô hình phương pháp ngoại suy 4

I.1.2 Mô hình ứng dụng mạng nơron 4

I.1.3 Mô hình phương pháp chuyên gia 4

I.1.4 Mô hình tương tự 5

I.2.1 Khái quát về mạng nơron sinh học 6

I.2.2 Quá trình phát triển, mô hình và quá trình xử lý trong mạng nơron nhân tạo 7 I.2.2.1 Quá trình phát triển 7

I.2.2.2 Mô hình và quá trình xử lý trong mạng nơron nhân tạo 8

I.2.3 Cấu trúc và phân loại mạng nơron nhân tạo 9

I.2.3.1 Cấu trúc của mạng nơron nhân tạo 9

I.2.3.2 Phân loại mạng nơron 10

I.2.4 Học và lan truyền trong mạng nơron nhân tạo 11

I.2.4.1 Học và tổng quát hóa 12

I.2.4.2 Lan truyền trong mạng nơron nhân tạo 14

I.2.4.2.1 Các định nghĩa và công thức 14

I.2.4.2.2 Giải thuật Back Propagaton 20

I.2.4.2.3 Ví dụ điển hình 31

I.3 Giải thuật di truyền 34

I.3.1 Cơ bản về giải thuật di truyền 34

I.3.2 Một số cách biểu diễn lời giải của giải thuật di truyền 34

I.3.2.1 Biểu diễn nhị phân 34

I.3.2.2 Biểu diễn hóa vị 35

I.3.2.3 Biểu diễn dạng cây 35

I.3.3 Các toán tử di truyền 35

I.4 Kết hợp giải thuật di truyền huấn luyện mạng nơron 36

I.4.1 Giải thuật di truyền trong việc huấn luyện mạng nơron truyền thẳng nhiều lớp.36

I.4.1.1 Xây dựng hàm giá 36

I.4.1.2 Mã hóa và giải mã các trọng số 37

I.4.2 Ghép nối với giải thuật lan truyền ngược sai số 38

II Bài toán dự báo GRDP tỉnh Bình Dương 40

II.1 Giới thiệu chung 40

II.2 Các định nghĩa cơ bản 40

II.2.1 Định nghĩa GDP 40

II.2.2 Định nghĩa GRDP 41

II.3 So sánh giữa GRDP và GDP 41

II.4 Phương pháp tính GRDP 42

II.4.1 Nội dung 42

II.4.2 Phương pháp tính 42

II.4.2.1 Phương pháp sản xuất 42

II.4.2.2 Phương pháp thu nhập 42

II.4.2.3 Phương pháp sử dụng 43

Phần 2: ỨNG DỤNG DỰ BÁO CHỈ SỐ GRDP TỈNH BÌNH DƯƠNG 43

I Giới thiệu bài toán 43

II Mô hình hóa bài toán, thiết kế dữ liệu và giải thuật 43

II.1 Mô hình hóa bài toán 43

II.2 Thiết kế dữ liệu 44

III Chương trình dự báo 46

III.1.1 Chương trình chính 46

III.1.2 Màn hình thiết lập các thông số 47

III.1.3 Màn hình huấn luyện 47

III.2 Một số thuật toán 48

III.2.1 Hàm sigmoid 48

III.2.2 Cal_out 48

III.2.3 Cal_error 48

III.2.4 Update weight 49

III.2.5 Cal_mid_error 49

III.2.6 Train 50

Phần 3: ĐÁNH GIÁ VÀ KẾT LUẬN 52

I Ưu điểm 52

II Nhược điểm 53

III Hướng phát triển của ứng dụng 53

IV Kết luận 53

TÀI LIỆU THAM KHẢO 54

DANH MỤC HÌNH

Hình 1: Mô hình mạng nơron sinh học 6

Hình 2: Mô hình của một mạng nơron nhân tạo 8

Hình 3: Mô hình cấu trúc của mạng nơron nhân tạo 9

Hình 4: Mạng nơron truyền thẳng 10

Hình 5: Mạng nơron hồi quy 11

Hình 6: Học có giám sát 12

Hình 7: Học tăng cường 13

Hình 8: Học không giám sát 13

Hình 9: Mô hình mạng nơron nhân tạo 14

Hình 10: Mô hình phi tuyến thứ hai của một nơron 16

Hình 11: (a): Hàm ngưỡng, (b): Hàm vùng tuyến tính, (c): Hàm sigma với tham số độ dốc a thay đổi18 Hình 12: Ví dụ về sơ đồ mã hóa các trọng số của mạng nơron 37

Hình 13: Sơ đồ của giải thuật kết hợp giữa GA và BP 39

Hình 14: Hình dữ liệu của ứng dụng 45

PHẦN MỞ ĐẦU

I Lý do chọn đề tài

Tỉnh Bình Dương có tốc độ phát triển công nghiệp cao, giá trị sản lượng công nghiệp, tổng sản phẩm trên địa bàn, tiêu dùng khu vực dân cư và chính quyền lớn Việc thống kê, phân tích và dự báo số liệu chỉ số GRDP là hoạt động thường xuyên nhằm đánh giá tình hình kinh tế - xa hội, xem xét hiệu quả tác động của các chính sách Từ đó có cơ sở khoa học định lượng để điều chỉnh, dự báo, định hướng và ra những quyết sách phù hợp để đưa nền kinh tế của tỉnh đi lên

Phân tích và dự báo các chỉ số kinh tế như: công nghiệp và xây dựng, thương mại

và dịch vụ, nông-lâm nghiệp và thủy sản là yêu cầu cần thiết của các tỉnh/thành phố và cả nước trong điều kiện kinh tế trong nước có những biến đổi nhanh và khó lường, chịu tác động từ ảnh hưởng của nền kinh tế khu vực và thế giới

Với khả năng học và tổng quát dữ liệu học của kỹ thuật khoa học máy tính về mạng nơron nhân tạo và giải thuật di truyền có thể mô phỏng những mô hình phi tuyến như các chỉ số kinh tế để có một dự báo phù hợp

II Mục đích nghiên cứu

Tìm hiểu và nắm vững cơ sở lý thuyết về kỹ thuật mạng Nơron nhân tạo, thuật giải

di truyền, kinh tế học, phân tích tác động chính sách kinh tế

Vận dụng xây dựng chương trình “Dự báo một số chỉ số kinh tế tỉnh Bình Dương” Công cụ nhằm phân tích, dự báo, hỗ trợ cho những người quan tâm và cơ quan có chức năng

III.Đối tượng và khách thể nghiên cứu

III.1 Đối tượng nghiên cứu

• Kỹ thuật khoa học máy tính: Mạng nơron nhân tạo, thuật giải di truyền

• Kinh tế học: Cơ sở và phương pháp tính các chỉ số kinh tế

2

• Công cụ và ngôn ngữ lập trình: Phần mềm lập trình “Visual Studio” – Ngôn ngữ

lập trình “Visual Basic.Net”

• Thu thập và phân tích số liệu tình hình kinh tế - xã hội: công nghiệp và xây dựng;

thương mại - dịch vụ; sản xuất nông - lâm nghiệp và thủy hải sản của tỉnh Bình Dương

III.2 Khách thể nghiên cứu

Thiết kế và xây dựng mô hình, ánh xạ các chỉ số cho mô hình chương trình dự báo các chỉ số kinh tế tỉnh Bình Dương

IV.Giả thuyết nghiên cứu

• Nghiên cứu tổng quan về các phương pháp dự báo với dư liệu vào không đầy đủ, không chính xác

• Nghiên cứu các mạng nơron nhân tạo

• Nghiên cứu xây dựng mô hình dự báo chỉ số GRDP với ứng dụng mạng nơron nhân tạo

• Ứng dụng dự báo chỉ số GRDP tỉnh Bình Dương

V Nhiệm vụ nghiên cứu

• Giới thiệu tổng quan về tình hình kinh tế xã hội của tỉnh Bình Dương, bài toán dự báo chỉ số GRDP tỉnh Bình Dương

• Trình bày Mạng nơron, các mô hình dự báo

• Cài đặt thử nghiệm chương trình dự báo chỉ số GRDP tỉnh Bình Dương

VI.Phương pháp nghiên cứu

• Phương pháp nghiên cứu lý luận: dựa vào các tài liệu đã tập hợp nghiên cứu và

định hướng cho quá trình xây dựng đề tài

• Phương pháp thực nghiệm: thông qua khảo sát, phân tích số liệu, sử dụng các phần

mềm làm cơ sở đánh giá, thực hiện ứng dụng đề tài

• Phương pháp chuyên gia: dưới sự cộng tác của các chuyên gia có kinh nghiệm,

xác định hướng nghiên cứu và thực hiện của đề tài

• Phương pháp thống kê: thống kế và xử lý các ý kiến qua việc tham khảo

• Phương pháp so sánh và nhận xét đánh giá: dựa trên các ưu nhược điểm, thực

hiện so sánh các kỹ thuật và công cụ khác nhau Từ đó rút ra nhận xét đánh giá

VII.Phạm vi nghiên cứu

• Bài toán dự báo chỉ số GRDP tỉnh Bình Dương

• Mạng nơron nhân tạo và ứng dụng của mạng nơron nhân tạo

• Mô hình dự báo

• Dự báo chỉ số GRDP của tỉnh Bình Dương

4

Phần 1: CƠ SỞ LÝ THUYẾT

I Kỹ thuật mạng Nơron nhân tạo và giải thuật di truyền

I.1 Các loại mô hình dự báo

I.1.1 Mô hình phương pháp ngoại suy

Phương pháp ngoài suy là một trong những phương pháp đơn giản để dự báo Phương pháp này sử dụng các số liệu thống kê trong quá khứ làm đầu vào Trong phương pháp ngoại suy chỉ có số liệu quá khứ của đối tượng cần dự báo là cần thiết Các số liệu quá khứ này sẽ được khớp theo một hàm nào đó hoặc sử dụng mạng nơron thông minh với một trục x là trục thời gian, một trục y là số liệu quá khứ Các giá trị trong tương lai sẽ được dự báo bằng cách tính giá trị của hàm tại các thời điểm trong tương lai Tùy theo hàm được lựa chọn để khớp số liệu mà ta có các mô hình dự báo khác nhau Các hàm dự báo tiêu biểu nhất là hàm tuyến tính, mô hình dự báo hàm mũ và hàm Logistic tương ứng với các mô hình dự báo tuyến tính, mô hình dự báo hàm mũ và mô hình dự báo hàm Logistic

I.1.2 Mô hình ứng dụng mạng nơron

Là mô hình có khả năng “học” từ các dữ liệu quá khứ, có thể cập nhật các tham số Nếu lựa chọn được các tham số tối ưu thì đó là mô hình xấp xỉ rất tốt đường cong dịch chuyển của đối tượng cần dự báo Kết quả cũng có độ lệch chính xác cao Đây là mô hình được lựa chọn cho bài toán dự báo GRDP tỉnh Bình Dương của đề tài

I.1.3 Mô hình phương pháp chuyên gia

Khi các số liệu quá khứ không có hoặc không thu thập được thì mô hình đánh giá thường được sử dụng Mô hình đánh giá dựa trên các ý kiến đánh giá của các chuyên gia lĩnh vực này Một mô hình tiêu biểu cho loại này là mô hình ý kiến chuyên gia Mô hình chuyên gia là mô hình dựa trên đánh giá của các chuyên gia trong lĩnh vực cần dự báo hoặc

có liên quan Các số liệu dự báo của các chuyên gia đưa ra sẽ được xem xét, đánh giá, tổng hợp để đưa ra kết quả dự báo cuối cùng

Một trong các phương pháp dự báo này là để các chuyên gia tranh luận và đưa ra kết quả dự báo Phương pháp này dễ thất bại vì mỗi chuyên gia đều muốn bảo vệ ý kiến của mình một cách thuyết phục

I.1.4 Mô hình tương tự

Không có kỹ thuật dự báo nào là thích hợp cho mọi tình huống Dự báo kết hợp cung cấp cho chúng ta cách thức để bù đắp những thiếu sót của một phương pháp dự báo cụ thể nào đó Bằng cách chọn những phương pháp bổ sung, sự thiếu sót của một kỹ thuật có thể được đền bù bằng ưu điểm của những kỹ thuật khác Một mô hình kết hợp giữa ngoại suy

và các ý kiến chuyên gia là mô hình tương quan Mô hình này cho phép so sánh, đánh giá theo phương pháp ngoại suy đối với các đại lượng dự báo được kiểm chứng là có xu hướng phát triển theo đường ngoại suy

Phương pháp này khác với phương pháp ngoại suy ở chỗ: ở phương pháp ngoại suy, các hệ số sẽ được tính toán dựa trên các số liệu quá khứ, trong khi đó các hệ số của phương pháp này có được hoàn toàn là do đánh giá, so sánh tương quan của một đối tượng khác

6

I.2 Mạng nơron nhân tạo

I.2.1 Khái quát về mạng nơron sinh học

Hình 1: Mô hình mạng nơron sinh học

Mạng nơ-ron sinh học là một mạng lưới (plexus) các nơ-ron có kết nối hoặc có liên quan về mặt chức năng trực thuộc hệ thần kinh ngoại biên (peripheral nervous system) hay

hệ thần kinh trung ương (central nervous system) Trong ngành thần kinh học (neuroscience), nó thường được dùng để chỉ một nhóm nơ-ron thuộc hệ thần kinh là đối tượng của một nghiên cứu khoa học nhất định

Hệ thần kinh con người có khoảng 1010 tế bào thần kinh được gọi là các nơron, mỗi nơron có thể liên kết với 104 nơron khác thông qua khớp nối

Mỗi nơron gồm có 3 phần: thân nơron có nhiệm vụ tiếp nhận hay phát ra các xung thần kinh, bên trong có nhân (Soma), hệ thống dây thần kinh vào (dendrites – còn gọi là các nhánh thụ giác) và một đầu dây thần kinh ra (sợi trục axon – nhánh trực giác) để dẫn truyền các xung thần kinh Các đầu dây thần kinh vào nhận tín hiệu từ các nơron khác, nhân nơron sẽ sinh ra tín hiệu ở đầu ra của nơron và truyền tới các nơron khác được kết nối với đầu ra qua trục

I.2.2 Quá trình phát triển, mô hình và quá trình xử lý trong mạng nơron nhân tạo

I.2.2.1 Quá trình phát triển

Sự phát triển của mạng nơron trải qua cả quá trình đưa ra các khái niệm mới lẫn thực thi khái niệm này Dưới đây là các mốc đáng chú ý trong lịch sử phát triên mạng nơron:

Cuối thế kỉ 19, đầu thế kỉ 20, sự phát triển chủ yếu chỉ là các công việc có sự tham gia của cả ba ngành Vật lý học, Tâm lý học, và Thần kinh học bởi các nhà khoa học như Hemholtz, Ernst Mach, Ivan Pavlov Các công trình nghiên cứu của họ chủ yếu đi sâu vào các lý thuyết tổng quát về HỌC (learning), NHÌN (vision), và LẬP LUẬN (conditioning);

và không hề đưa ra những mô hình toán học cụ thể mô tả hoạt động của các nơron

Đầu những năm 1940, hai nhà khoa học Warren McCulloch và Walter Pitts đã chỉ

ra rằng về nguyên tắc, mạng của các nơron nhân tạo có thể tính toán bất kì một hàm số học hay logic nào

Đến cuối những năm 1950, ứng dụng thực nghiệm đầu tiên của mạng nơron nhân tạo được ra đời với phát minh của mạng nhận thức (perceptron network) và luật học tương ứng bởi Frank Rosenblatt MẠng này có khả năng nhận thức các mẫu điều này mở ra hy vọng cho việc nghiên cứu mạng nơron nhân tạo

Cùng thời gian đó, Bernard Widrow và Ted Hoff đã đưa ra một thuật toán mới và được sử dụng nó huấn luyện mạng nơron tuyến tính thích nghi Luật học này vẫn được sử dụng cho đến ngày nay

Tuy nhiên cả Bernard Widrow và Ted Hoff đều gặp phải trở ngại do Marvin Minsky

và Seymour phát hiện ra Đó là các mạng nhận thức chỉ có khả năng giải quyết được các bài toán khả phân tuyến tính Họ đã cố gắng cải tiến nhưng không thành công do không có được các máy tinh đủ mạnh để có thể thực nghiệm

Cho đến nhăng năm 1980 việc nghiên cứu mạng nơron phát triển mạnh mẽ cùng với

sự phát triển vượt bậc của PC Có hai khái niệm mới liên quan tới sự hồi sinh này:

8

• Việc sử dụng các phương pháp thống kê để giải thích hoạt động của một lớp các mạng hồi quy (recurrent network) có thể được dùng như bộ nhớ liên hợp (associative memory) trong công trình nghiên cứu nhà vật lý học Johh Hopfield

• Sự ra đời của thuật toán lan truyền ngược (back - propagation) để luyện các mạng nhiều lớp

I.2.2.2 Mô hình và quá trình xử lý trong mạng nơron nhân tạo

Để mô phỏng các tế bào thần kinh và các khớp nối thần kinh của bộ não con người, trong mạng nơ-ron nhân tạo củng có các thành phần có vai trò tương tự là các nơ-ron nhân tạo và kết nối giữa chúng( kết nối này gọi là weights)

Nơron là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một syanpse Đặc trưng của nơron là một hàm kích hoạt phi tuyến chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra

Hình 2: Mô hình của một mạng nơron nhân tạo

- Đầu vào của nơron gồm n tín hiệu x = (𝑥1, 𝑥2, …, 𝑥𝑛), đầu ra tín hiệu

y = (𝑦1, 𝑦2, …, 𝑦𝑚)

- Một tập hợp các khớp nối và trọng số tương ứng với 𝑤𝑖

- Một bộ cộng ∑ thực hiện trên các trọng số các khớp nối thường được gọi là bộ kết hợp tính tuyến

- Một hàm chuẩn khống chế giá trị đầu ra của mạng nơron được gọi là hàm truyền hay hàm kích hoạt Thông thường, tín hiệu đầu ra của một nơron trong khoảng [0,1] hoặc [-1, 1]

- Trang thái bên trong của nơron được xác định qua bộ tổng các đầu vào có trọng số

w (i = 1, 2, …, n) Đầu ra y được xác định qua hàm phi tuyến f

I.2.3 Cấu trúc và phân loại mạng nơron nhân tạo

I.2.3.1 Cấu trúc của mạng nơron nhân tạo

Trong mô hình mạng nơron nhân tạo, các nơron được nối với nhau bằng các liên kết nơron, mỗi lien kết có một trọng số đặc trưng cho đặc tính kích hoạt hay ức chế giữa các nơron Đồng thời, các nơron được nhóm lại với nhau theo cấu trúc phân lớp, bao gồm: lớp vào (input layer), lớp ra (output layer) và lớp ẩn (hidden layer)

Hình 3: Mô hình cấu trúc của mạng nơron nhân tạo

❖ Lớp vào: Các nút trong lớp vào được gọi là các nút vào, chúng sẽ được mà hóa để đưa vào mạng xử lý Các nơron vào không xử lý thông tin mà chỉ phán tán thông tin cho các nút khác

❖ Lớp ẩn: Các nơron trong lớp ẩn chúng tạo thành các mô hình toán học phi tuyến cho mạng và chúng không thể nhìn thấy trực tiếp

10

❖ Lớp ra: Các nơron này được gọi là các nút ra, nhiệm vụ của chúng là đưa thông tin

ra thích nghi mẫu mã nguồn sử dụng cần

I.2.3.2 Phân loại mạng nơron

Phân loại theo liên kết:

➢ Mạng nơron truyền thẳng (feed – forward Neural Network): Trong mạng nơron này, các liên kết nơron chỉ truyền theo một hướng từ lớp vào cho tới lớp ra, không tạo thành các chu trình với các đỉnh là các nút nơron, các cung là các liên kết giữa chúng

Hình 4: Mạng nơron truyền thẳng

➢ Mạng nơron hồi quy: Cho phép các liên kết nơron tạo thành chu trình, có thông tin

xử lý hai chiều Mạng hồi quy có khả năng lưu trữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết nơron vì các thông tin ra của các nơron được truyền lại cho các nơron đã góp phần kích hoạt chúng

Hình 5: Mạng nơron hồi quy

➢ Mạng nơron đối xứng và bất đối xứng: Nếu thỏa mãn yêu cầu có một đường nối từ nút i đến nút j thì cũng có một đường nối từ nút j đến nút I và trọng số tương ứng với hai đường nối này bằng nhau: 𝑤𝑗𝑖 = 𝑤𝑖𝑗 Mạng không thỏa mảng điều kiện trên

là mạng bất đối xứng

Phân loại theo số lớp:

➢ Mạng chỉ gồm một lớp vào và một lớp ra được gọi là mạng đơn hay mạng một lớp

➢ Mạng có từ một lớp ẩn trở lên được gọi là mạng đa lớp hay mạng nhiều lớp

Trong mô hình mạng đa lớp, đầu ra của các phần tử tính toán tại một lớp là đầu vào của lớp tiếp theo Không cho phép các liên kết giữa các nơron trong cùng một lớp và các liên kết nơron nhảy qua một lớp trở lên

I.2.4 Học và lan truyền trong mạng nơron nhân tạo

Mạng nơron thực hiện hai chức chính là học và tổng quát hóa Học là quá trình hiệu chỉnh các tham số và trọng số liên kết trong mạng để tối thiểu hóa sai số với vector đầu cho trước Quá trình học dừng lại khi thỏa mãn một điều kiện nào đó ví dụ như khi các trọng số của mạng tạo ra lỗi đủ nhỏ giữa đầu ra mong đợi và kết quả đầu ra của mạng với đầu vào

12

cho trước Tổng quát hóa là quá trình đưa vào một vector đầu vào mới và sản sinh ra quyết định dựa trên vector đầu ra tính được từ mạng

Có hai kiểu học đó là: Học có tham số và Học cấu trúc

➢ Học có tham số: là các tham số về trọng số cập nhật kết nối giữa các nơron

➢ Học cấu trúc: trọng tâm là sự biến đổi cấu trúc của các mạng nơron gồm số

lượng nút và các loại liên kết

I.2.4.1 Học và tổng quát hóa

❖ Học có giám sát

Học có giám sát là mạng được cung cấp một tập mẫu học {(𝑋𝑠, 𝑌𝑠)} theo đó 𝑋𝑠

là tập tín hiệu đầu vào và kết quả đúng của hệ phải là 𝑌𝑠 Ở mỗi lần học vector tín hiệu

𝑋𝑠 được đưa vào mạng sao đó so sánh sự sai khác giữa các kết quả ra đúng 𝑌𝑠 với két

ủa tính toán qua mạng Quá trình tiếp tục cho đến khi thảo mãn một yêu cầu nào đó

Hình 6: Học có giám sát

❖ Học tăng cường

Cũng như kĩ thuật học giám sát, các vector đầu ra được biết chính xác Nhưng trong trường hợp ít thông tin như output quá lớn hoặc chỉ đúng khoảng 40% Khi đó một tín hiệu đánh giá là “True” hay “False” quay lại mạng

Hình 7: Học tăng cường

❖ Học không giám sát

Trong mô hình học này, đầu ra mong muốn của mạng sẽ không được cho trước và mạng được trang bị khả năng tự tổ chức Mạng không sử dụng mối quan hệ lớp của các mẫu học mà dùng thông tin kết hợp với nhóm các nơron để thay đổi các tham số cục bộ

sao cho hợp nhất

Hình 8: Học không giám sát

14

I.2.4.2 Lan truyền trong mạng nơron nhân tạo

I.2.4.2.1 Các định nghĩa và công thức

Hình 9: Mô hình mạng nơron nhân tạo

Ở đây, chúng ta xác định ba thành phần cơ bản của một mô hình nơron:

Một tập hợp các weights hay các kết nối, mà mỗi một trong chúng được đặc trưng bởi

một trọng số của riêng nó Tức là một tín hiệu 𝑥𝑗 tại đầu vào của weights j nối với nơron k

sẽ được nhân với trọng số weights 𝑤𝑘𝑗 Ở đó k là chỉ số của nơron tại đầu ra của weights đang xét, còn j chỉ điểm đầu vào của weights Các trọng số weights cuả một nơron nhân tạo

có thể nhận cả các giá trị âm và các giá trị dương

Một bộ cộng để tính tổng các tín hiệu đầu vào của nơron, đã được nhân với các trọng

số weights tương ứng; phép toán được mô tả ở đây tạo nên một bộ tổ hợp tuyến tính

Một hàm kích hoạt (activation function) để giới hạn biên độ đầu ra của nơron Hàm

kích hoạt cũng được xem xét như là một hàm nén; nó nén (giới hạn) phạm vi biên độ cho

phép của tín hiệu đầu ra trong một khoảng giá trị hữu hạn Mô hình nơron trong hình 9 còn

bao gồm một hệ số hiệu chỉnh tác động từ bên ngoài, 𝑏𝑘 Hệ số hiệu chỉnh 𝑏𝑘 có tác dụng tăng lên hoặc giảm đi đầu vào thực của hàm kích hoạt, tuỳ theo nó dương hay âm.Có nhiều loại hàm kích hoạt

Dưới dạng công thức toán học, chúng ta có thể mô tả một nơron k bằng cặp công thức

ở đó 𝑥1, 𝑥2, , 𝑥𝑚 là các tín hiệu đầu vào; 𝑤𝑘1, 𝑤𝑘2, , 𝑤𝑘𝑚là các trọng số weights của

nơron k; 𝑢𝑘là đầu ra bộ tổ hợp tuyến tính tương ứng; 𝑏𝑘 là hệ số hiệu chỉnh

Hệ số hiệu chỉnh 𝑏𝑘 là một tham số ngoài của nơron nhân tạo k Chúng ta có thể thấy

được sự có mặt của nó trong công thức (1.2) Một cách tương đương, chúng ta có thể tổ hợp các công thức (1.1) và (1.2) như sau:

y =

(1.4)

Như vậy chúng ta vẽ lại mô hình của nơron k như trong hình (1.3) Trong hình này,

nhiệm vụ của hệ số hiệu chỉnh là thực hiện hai việc: (1) thêm một tín hiệu đầu vào cố định

là 1, và (2) thêm một trọng số weights mới bằng giá trị của hệ số 𝑏𝑘 Mặc dầu các mô hình trong hình (1.2) và (1.3) là khác nhau về hình thức nhưng tương tự về bản chất toán học

Hình 10: Mô hình phi tuyến thứ hai của một nơron

Các kiểu hàm kích hoạt

Hàm kích hoạt, ký hiệu bởi f(v), xác định đầu ra của nơron Dưới đây là các kiểu hàm kích hoạt cơ bản:

1 Hàm ngưỡng: Đối với loại hàm này, chúng ta có:

k k

(1.8)

ở đó 𝑣𝑘 là đầu ra của bộ tổ hợp tuyến tính, có nghĩa là:

k m

j

j kj

v =  +

18

Một nơron như vậy thường được gọi là mô hình McCulloch-Pitts

Hình 11: (a): Hàm ngưỡng, (b): Hàm vùng tuyến tính,

(c): Hàm sigma với tham số độ dốc a thay đổi

2 Hàm vùng tuyến tính: Đối với loại hàm này (Hình 11.b)

(1.10)

Dạng hàm này có thể được xem như một xấp xỉ của một bộ khuếch đại phi tuyến