Ứng dụng mạng nơron nhân tạo vào xây dựng hàm băm và chữ kí số

Hàm băm một chiều không những được sử dụng rộng rãi trong các khía cạnh của chữ ký số, chứng thực và kiểm tra,… mà còn là điểm nóng nghiên cứu trong lĩnh vực mật mã học hiện đại.. Để thự

BỘ GIÁO DỤC VÀ ĐÀO TẠO

BỘ GIÁO DỤC VÀ ĐÀO TẠO

CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI

Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ Luận văn Thạc sĩ)

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Trần Hữu Trương Giới tính: Nam

Ngày, tháng, năm sinh: 27/09/1982 Nơi sinh: Bình Định

Chuyên ngành: Công nghệ thông tin MSHV: 1341860028

I- Tên đề tài:

Ứng dụng mạng nơron nhân tạo vào xây dựng hàm băm và chữ ký số

II- Nhiệm vụ và nội dung:

o Nghiên cứu lý thuyết cơ bản về mạng nơron nhân tạo, tập trung nghiên cứu mô hình mạng nơron RBF

o Ứng dụng mạng nơron RBF vào thuật toán xây dựng hàm băm mật mã

o Xây dựng mô hình chữ kí số dựa trên hàm băm RBFNN

III- Ngày giao nhiệm vụ: 18/08/2014

IV- Ngày hoàn thành nhiệm vụ: 15/03/2015

V- Cán bộ hướng dẫn: TS Lư Nhật Vinh

CÁN BỘ HƯỚNG DẪN KHOA QUẢN LÝ CHUYÊN NGÀNH

(Họ tên và chữ ký) (Họ tên và chữ ký)

TS Lư Nhật Vinh

LỜI CAM ĐOAN

Tôi xin cam đoan rằng nội dung của luận văn là kết quả của công trình nghiên cứu của chính cá nhân tôi Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác Tất cả những tài liệu tham khảo, các nghiên cứu liên quan điều có ghi rõ ràng từ danh mục tài liệu tham khảo trong luận văn

Tôi xin cam đoan mọi sự giúp đỡ cho việc thực hiện Luận văn này đã được cảm

ơn và các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc

Học viên thực hiện Luận văn

(Ký và ghi rõ họ tên)

Trần Hữu Trương

LỜI CẢM ƠN

Trong quá trình hoàn thành luận văn này, tôi xin được cảm ơn thầy cô đã tận tình hướng dẫn, cơ quan nơi tôi công tác tạo mọi điều kiện thuận lợi nhất và gia đình cùng bạn

bè đã động viên khích lệ là nguồn động lực để tôi hoàn thiện luận văn

Luận văn này không thể hoàn thành tốt nếu không có sự tận tình giúp đỡ quí báu của TS Lư Nhật Vinh, giáo viên hướng dẫn mà tôi tôn kính và muốn được bày tỏ lòng biết

ơn sâu sắc nhất

Tôi cũng bày tỏ lòng biết ơn đối với tập thể các thầy cô khoa Công nghệ thông tin Trường Đại học Công nghệ TP HCM đã giúp đỡ và tạo điều kiện cho tôi rất nhiều trong quá trình học tập và nghiên cứu ở Trường; cảm ơn Phòng quản lý Sau Đại học về sự hổ trợ các thủ tục hoàn thành luận văn

Cuối cùng tôi cảm ơn gia đình, cùng tất cả bạn bè đã có nhiều ý kiến đóng góp thiết thực và có những lời động viên khích lệ quý báu giúp tôi hoàn thành luận văn

Học viên thực hiện Luận văn

(Ký và ghi rõ họ tên)

Trần Hữu Trương

TÓM TẮT

Ngày nay, nhiều tổ chức, cá nhân đã sử dụng nhiều giải pháp để trao đổi thông tin một cách nhanh chóng, hiệu quả Trong đó, việc trao đổi thông tin trên mạng máy tính ngày càng trở nên phổ biến Do đó, thông tin trao đổi phải được an toàn, tránh mọi nguy cơ bị thay đổi, sao chép hoặc mất mát dữ liệu trong các ứng dụng trên mạng luôn

là vấn đề được nhiều người quan tâm Luận văn này trình bày những vấn đề liên quan

về mã hóa thông tin, mạng nơron nhân tạo, thuật toán hàm băm, thuật toán mã hóa RSA và chữ ký số

Hàm băm một chiều không những được sử dụng rộng rãi trong các khía cạnh của chữ ký số, chứng thực và kiểm tra,… mà còn là điểm nóng nghiên cứu trong lĩnh vực mật mã học hiện đại Trước hết, luận văn sử dụng mạng nơron hàm cơ sở bán kính RBFNN (Radial Basic Function Neural Network) và thực hiện các chuỗi hỗn loạn được tạo ra bởi ánh xạ phi tuyến một chiều Và sau đó, xây dựng hàm băm với khoá bằng cách thay đổi các chuổi Một trong những ưu điểm của thuật toán này là mạng nơron giấu các mối quan hệ ánh xạ tuyến tính Thuật toán có tính va chạm yếu và bảo mật mạnh mẽ hơn hàm băm truyền thống, cũng như dễ dàng để thực hiện

Luận văn này đề xuất phương pháp xây dựng chữ kí số dựa trên cơ sở hàm băm RBFNN Để thực hiện mục tiêu trên, luận văn phải thực hiện các vấn đề chính: (1) Tìm hiểu cơ sở lý thuyết về mạng nơron nhân tạo và mô hình mạng mạng nơron RBF; (2) Giới thiệu hàm băm mật mã và đề xuất sử dụng hàm băm dựa trên thuật toán RBFNN; (3) Thuật toán chữ ký số sử dụng chữ ký theo thuật toán RSA, hàm băm tạo ra một giá trị băm dựa trên thuật toán RBFNN rồi được mã hoá bằng khoá bí mật để tạo thành một chữ ký số

ABSTRACT

Today, many organizations and individual shave used many ways to exchange information quickly and efficiently In which, the exchange of information on computer networks become increasingly popular Therefore, the information exchange must be safe

to avoid any risk of change, copy or loss of data in the applications on the network problem in which many people are interested This thesis presents the issues related to encrypted information, artificial neural network, hashing algorithm, RSA encryption algorithm and digital signature

One-way hash function is not only widely used in the aspects of digital signatures, authentication and checks, .but also is the essential research in the field of modern cryptography First, thethesis uses neural network RBFNN radius basis function and performs the chaotic sequences generated by one-dimensional nonlinear mapping And then, build hash function by changing the course of the string One of the advantages of neural network algorithms is hidden relationships linear mapping The algorithm has collision weak and gets stronger security than traditional hash function, as well as easy to implement

This thesis proposed the method of building digital signature based on the hash function RBFNN To accomplish this goal, the thesis must perform the main problems: (1)

To understand the basis of the theory of artificial neural network and RBF neural network model network;(2) To introduction cryptographic hash function and propose the use of hashing algorithm based on RBFNN; (3) The algorithm used digital signature algorithm RSA signature to hash function creates a hash value based on RBFNN algorithm is then encrypted by using the secret key to generate a digital signature

MỤC LỤC

CHƯƠNG 1 – TỔNG QUAN VỀ MẠNG NƠRON TRONG MẬT MÃ HỌC VÀ

HÀM BĂM MẬT MÃ 3

1.1 Giới thiệu chung 3

1.2 Các nghiên cứu về mạng nơron nhân tạo 4

1.2.1 Các nghiên cứu về cấu trúc liên kết mạng nơron 6

1.2.2 Các nghiên cứu về ứng dụng mạng nơron trong mã hoá 7

1.2.3 Các nghiên cứu trong nước về ứng dụng mạng nơron 9

1.3 Các nghiên cứu liên quan về hàm băm mật mã và chữ kí số 10

1.3.1 Tổng quan về hàm băm 10

1.3.2 Tổng quan chữ ký số 11

CHƯƠNG 2 – MẠNG NƠRON NHÂN TẠO, MẠNG NƠRON RBF VÀ NGHIÊN CỨU MẠNG NƠRON RBF ĐỐI VỚI CHUỖI HỖN LOẠN 13

2.1 Giới thiệu về mạng nơron 13

2.1.1 Khái niệm cơ bản 13

2.1.2 Các kiểu mô hình mạng nơron 15

2.2 Mạng nơron RBF 22

2.2.1 Hàm cơ sở bán kính 22

2.2.2 Kiến trúc mạng nơron RBF 23

2.3 Huấn luyện mạng nơron RBF 25

2.3.1 Phương pháp huấn luyện một pha 25

2.3.2 Phương pháp huấn luyện hai pha 28

2.3.3 Phương pháp huấn luyện đầy đủ 29

2.4 Nghiên cứu mạng nơron RBF đối với chuỗi hỗn loạn 32

2.4.2 Đặc điểm của ánh xạ phi tuyến tính 33

2.4.3 Mô hình mạng RBF tạo ra chuỗi hỗn loạn 35

CHƯƠNG 3 – HÀM BĂM MẬT MÃ VÀ THUẬT TOÁN CHO CHỮ KÝ SỐ 36

3.1 Hệ mật mã 36

3.1.1 Giới thiệu hệ mật mã 36

3.1.2 Hệ mật mã khóa công khai 37

3.2 Hàm băm mật mã 41

3.2.1 Khái niệm hàm băm mật mã 41

3.2.2 Cấu trúc chung của hàm băm 43

3.2.3 Một số hàm băm cơ bản 44

3.3 Hàm băm mật mã RBFNN 46

3.4 Mô hình chữ kí số với hàm băm RBFNN 47

CHƯƠNG 4 – ỨNG DỤNG MẠNG RBF VÀO XÂY DỰNG HÀM BĂM VÀ CHỮ KÍ SỐ 50

4.1 Giới thiệu 50

4.1.1 Mô tả tổng quát quy trình 50

4.1.2 Giải thuật huấn luyện mạng RBFNN 51

4.2 Cài đặt thử nghiệm 54

4.2.1 Phần mềm xây dựng 54

4.2.3 Các tham số mạng nơron RBF 55

4.2.4 Kí và kiểm tra chữ kí trên phần mềm 56

4.3 Nhận xét 58

KẾT LUẬN 59

TÀI LIỆU THAM KHẢO 60

DANH MỤC CÁC TỪ VIẾT TẮT

8 NIST National Institute of Standards and Technology

11 RSA RSA Algorithm (R.Rivets, A.Shamil, L.Adleman)

12 RBFNN Radial Basic Function Neural Network

DANH MỤC BẢNG

Bảng 2.1 : Bảng tóm tắt mô hình mạng Hopfield……….19

Bảng 2.2 : Bảng tóm tắt mô hình mạng Perceptron……… 19

Bảng 3.1 : Bảng tóm tắt các hàm băm MD2, MD4, MD5………45

Bảng 3.2 : Bảng tóm tắt các hàm băm SHA……….46

DANH MỤC CÁC HÌNH

Hình 1.1 : Phân loại chữ ký số 12

Hình 2.1: Cấu tạo tế bào nơron sinh học 13

Hình 2.2: Mô hình mạng Noron nhân tạo đơn giản 14

Hình 2.3: Cấu trúc mạng Hopfield 15

Hình 2.4: Mạng kết hợp khác kiểu 16

Hình 2.5: Mạng truyền thẳng 17

Hình 2.6: Mô hình mạng Hopfield có bốn nút 18

Hình 2.7: Mô hình mạng MLP tổng quát 20

Hình 2.8: Kiến trúc mạng nơron RBF tổng quát 24

Hình 2.9 Thuật toán huấn luyện nhanh (Quick Training) 28

Hình 2.10 Thuật toán huấn luyện đầy đủ Full Training 31

Hình 2.11 Thủ tục Update(k) của thuật toán huấn luyện đầy đủ 31

Hình 2.12: Kiến trúc mạng nơron RBF đơn giản 32

Hình 2.13: Mô hình mạng nơron RBF tạo ra chuỗi hỗn loạn 35

Hình 3.1: Quá trình mã hoá và giải mã 37

Hình 3.2: Mã hoá thông điệp sử dụng khoá công khai P 38

Hình 3.3: Giải mã thông điệp sử dụng khoá riêng của người nhận 38

Hình 3.4: Sơ đồ hệ mật mã RSA 39

Hình 3.5: Mã hoá thông điệp sử dụng khoá bí mật S để mã thông điệp và khoá công khai P để mã khoá bí mật S 40

Hình 3.6: Giải mã thông điệp sử dụng khoá bí mật S để giải mã thông điệp và khoá riêng P để giải mã khoá bí mật S 40

Hình 3.7: Ví dụ về giá trị băm 42

Hình 3.8: Cấu trúc thuật toán hàm băm RBFNN 46

Hình 3.9: Sơ đồ mô tả quá trình ký và gửi các tệp văn bản 48

Hình 4.1: Thủ tục ký và kiểm tra chữ ký 50

Hình 4.2: Giải thuật hàm băm mật mã RBFNN 51

Hình 4.3: Thuật toán tìm trọng số kết nối của mạng nơron RBF 53

Hình 4.4 Giao diện của phần mềm thử nghiệm 54

Hình 4.5: Dữ liệu huấn luyện mạng RBF 55

Hình 4.6: Kết quả huấn luyện mạng RBF 56

Hình 4.7: Tạo chữ kí số 57

Hình 4.8: Kiểm tra chữ kí số 57

MỞ ĐẦU

Ngày nay, Công nghệ thông tin được ứng dụng nhiều trong nhiều lĩnh vực như kinh doanh, giáo dục, y tế, nông nghiệp, công nghiệp…và ngày càng ảnh hưởng rất lớn đến đời sống, kinh tế, xã hội Mọi công việc hàng ngày của chúng ta đều có thể thực hiện được từ xa với sự hỗ trợ của máy vi tính và mạng Internet Tất cả thông tin liên quan đến những công việc này đều do máy vi tính quản lý và truyền đi trên hệ thống mạng Đối với những thông tin mang tính chất sống còn đối với một số cá nhân, tổ chức thì vấn đề bảo mật thật sự rất quan trọng, vấn đề khó khăn đặt ra là làm sao thông tin được bảo mật và nó được gửi đến đúng địa chỉ cần đến Cho nên, việc tìm kiếm và đưa ra nhiều giải pháp bảo mật để tránh mọi nguy cơ bị thay đổi, sao chép hoặc mất mát dữ liệu được nhiều người quan tâm

Việc trao đổi thông tin, giao dịch của các cá nhân, tổ chức qua mạng máy tính ngày càng phổ biến với yêu cầu độ an toàn và tính xác thực cao Do đó việc nghiên cứu

và đưa ra giải pháp hiệu quả hơn, an toàn thông tin và tính xác thực cao là nhiệm vụ quan trọng trong ngành mật mã học Vì vậy việc nghiên cứu đề tài: “Ứng dụng mạng nơron nhân tạo vào xây dựng hàm băm và chữ ký số” là rất cần thiết

Các phương pháp sử dụng thuật toán để xây dựng một hàm băm mật mã, cụ thể

là hàm băm một chiều (one-way Hash methods) Tất cả các hàm băm cơ bản đã biết, bao gồm MD2, MD5, SHA,…phần lớn nó có được kết quả băm dựa trên phương pháp của phép toán XOR và EQV [5] Vì vậy, nó có độ an toàn chưa cao, tính toán phức tạp

và rất khó để tìm phương pháp mã hóa nhanh chóng và đáng tin cậy

Mạng nơron nhân tạo đã được ứng dụng nhiều trong lĩnh vực nhận dạng tiếng nói, xử lý ảnh, điều khiển, tối ưu hóa, và ước lượng thống kê Mạng nơron sử dụng hàm cơ sở bán kính RBF được nghiên cứu và thu được những kết quả lý thuyết nhất định Sự tích hợp mạng nơron nhân tạo vào phương pháp phân tích mật mã của thuật toán hàm băm (Hash) trở nên đơn giản, an toàn và hiệu quả hơn Giả sử một thông điệp

M là một chuỗi nhị phân, M chia thành nhiều chuỗi nhị phân với chiều dài N, ta được:

M = M 1 ,M 2 ,··· ,M k Trong đó chiều dài của giá trị băm của hàm băm là N (N  128 * i,

i  1,2, …), nếu chiều dài của M không phải là bội số của N, nó có thể kết nối các chuỗi ngẫu nhiên thích hợp để đáp ứng yêu cầu Ta sử dụng thuật toán hàm băm bằng hàm RBFNN, kết quả giá trị băm là một thông điệp rút gọn MD rồi được mã hoá bằng thuật toán RSA tạo ra chữ ký số

Nội dung chính của luận văn được tổ chức thành 4 chương có nội dung được mô

tả như dưới đây

Chương 1: Tổng quan về mạng nơron nhân tạo và hàm băm mật mã

Chương này giới thiệu những nghiên cứu về cơ sở lý thuyết của mạng nơron nhân tạo,

và ứng dụng mạng nơron trong mã hoá Giới thiệu một số hàm băm đã được sử dụng

và kỹ thuật mật mã sử dụng cho chữ kí số

Chương 2: Mạng nơron nhân tạo, mạng nơron RBF và nghiên cứu mạng nơron RBF đối với chuỗi hỗn loạn Chương này trình bày những lý thuyết cơ bản về mạng nơron nhân tạo, tập trung nghiên cứu mô hình mạng nơron RBF

Chương 3: Hàm băm mật mã và thuật toán cho chữ kí số Chương này có

hai phần, trong đó phần một trình bày những lý thuyết cơ bản về hàm băm mật mã và

sử dụng hàm RBFNN để xây dựng hàm băm Phần hai trình bày khái niệm về chữ kí số

và thuật toán chữ kí số được xây dựng trên hàm băm RBFNN

Chương 4: Ứng dụng mạng RBF vào xây dựng hàm băm và chữ kí số

Chương này mô tả tổng quát quy trình xây dựng hàm băm và phần mềm chữ kí số Cài

đặt thử nghiệm và đánh giá mô hình

Kết luận Phần kết luận trình bày những kết quả đạt được của luận văn và

hướng nghiên cứu tiếp theo

CHƯƠNG 1 – TỔNG QUAN VỀ MẠNG NƠRON TRONG MẬT MÃ HỌC

VÀ HÀM BĂM MẬT MÃ

1.1 Giới thiệu chung

Mạng nơron nhân tạo (Artificial Neural Networks) trong những năm gần đây đã được nhiều người quan tâm và áp dụng thành công trong nhiều lĩnh vực khác nhau, như tài chính ngân hàng, địa chất và sinh trắc nghiệm Thật vậy, những vấn đề cần giải quyết liên quan đến dự báo, phân loại và điều khiển, mạng nơron nhân tạo đều có thể ứng dụng được Sự ứng dụng thành công của mạng nơron có thể là do một số nhân tố Trong đó, mạng nơron nhân tạo là những kỹ thuật mô phỏng rất tinh vi, khả năng mô phỏng các hàm cực kì phức tạp Đặc biệt, mạng nơron nhân tạo hoạt động theo mô hình tuyến tính được sử dụng rộng rãi trong hầu hết các lĩnh vực Người sử dụng mạng nơron nhân tạo thu thập dữ liệu đặc trưng, và sau đó gọi các thuật toán huấn luyện để

có thể tự học cấu trúc của dữ liệu Tuy nhiên, những người sử dụng loại mạng nơron phù hợp và biết cách áp dụng thành công vẫn thấp hơn nhiều những người sử dụng các phương pháp thống kê truyền thống

Mật mã hóa là quá trình chuyển đổi các thông tin thông thường (văn bản thường hay văn bản rõ) thành dạng không đọc trực tiếp được, là văn bản mã hóa Ý tưởng quan trọng của mật mã là khả năng gửi thông tin giữa những người tham gia và có thể ngăn chặn người khác đọc nó Phương pháp mã hóa nhiều có sẵn mà là dựa trên lý thuyết số, nhưng nó có nhược điểm là yêu cầu tính toán lớn, phức tạp và tốn thời gian Để khắc phục những hạn chế, mạng nơron nhân tạo (ANN) đã được áp dụng để giải quyết nhiều vấn đề Các ANN có nhiều đặc điểm như học tập, khái quát, yêu cầu dữ liệu ít hơn, tính toán nhanh chóng, dễ thực hiện trên các phần mềm và phần cứng có sẵn Bài viết tổng quan của Adel A El-Zoghabi1, Amr H Yassin2, Hany H Hussien (2013) về việc sử dụng các mạng nơron nhân tạo trong mật mã học và nghiên cứu hoạt động của nó về các vấn đề liên quan đến mật mã

1.2 Các nghiên cứu về mạng nơron nhân tạo

Mô hình đầu tiên về mạng nơron nhân tạo diễn ra vào năm 1943 khi nhà thần kinh học Warren McCulloch và nhà toán học Walter Pitts viết bài báo mô tả cách thức các nơron hoạt động Họ cũng đã tiến hành xây dựng một mạng nơron đơn giản bằng các mạch điện Các nơron của họ được xem như là các thiết bị nhị phân với ngưỡng cố định Kết quả của các mô hình này là các hàm logic đơn giản chẳng hạn như “a OR b” hay “a AND b” Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản

cuốn sách Organization of Behavior Cuốn sách đã chỉ ra rằng các nơron nhân tạo sẽ

trở lên hiệu quả hơn sau mỗi lần chúng được sử dụng

Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hình hóa các nguyên lý của những lý thuyết liên quan tới cách thức con người suy nghĩ đã trở thành hiện thực Nathanial Rochester sau nhiều năm làm việc tại các phòng thí nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để mô phỏng một mạng nơron Trong thời kì này tính toán truyền thống đã đạt được những thành công rực rỡ trong khi đó những nghiên cứu về nơron còn ở giai đoạn sơ khai Mặc dù vậy những người ủng hộ triết lý “thinking machines” (các máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trường của mình

Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial Intelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng nơron Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm của các nhà khoa học

về trí tuệ nhân tạo và quá trình xử lý ở mức đơn giản của mạng nơron trong bộ não con người

Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề xuất việc

mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặc đèn chân không Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblatt cũng bắt đầu nghiên cứu

về Perceptron Sau thời gian nghiên cứu này Perceptron đã được cài đặt trong phần

cứng máy tính và được xem như là mạng nơron lâu đời nhất còn được sử dụng đến

ngày nay Perceptron một tầng rất hữu ích trong việc phân loại một tập các đầu vào có giá trị liên tục vào một trong hai lớp Perceptron tính tổng có trọng số các đầu vào, rồi trừ tổng này cho một ngưỡng và cho ra một trong hai giá trị mong muốn có thể Việc nghiên cứu bị chững lại gần một thập niên do nhận xét của Minsky và Papett(1969) về các nhược điểm của perceptron một tầng

Đến giữa những năm 1980 mạng MLP (Multi Layer Perceptron) được nghiên cứu và ứng dụng lại nhờ thuật toán lan truyền ngược sai số (Rumelhart và McCelland 1986; Parker 1985) và trở thành công cụ mạnh để xấp xỉ hàm nhiều biến Tuy vậy, mạng MLP có thời gian huấn luyện lâu, chất lượng mạng tùy thuộc vào hiệu quả giải bài toán cực trị và chưa có phương pháp tốt nào để xác định kiến trúc đủ tốt cho mạng

Đến năm 1987, Powell đề xuất dùng hàm cơ sở xuyên tâm RBF để giải quyết bài toán nội suy nhiều biến [9] Kỹ thuật này được Broomhead và Low (1988) giới thiệu như là mạng nơron [10] Mạng RBF với hàm cơ sở bán kính có thể xem là dạng

lai của các phương pháp học dựa trên mẫu (k-lân cận gần nhất và hồi quy trọng số địa

1.2.1 Các nghiên cứu về cấu trúc liên kết mạng nơron

Những cấu trúc liên kết mạng nơron được sử dụng thường xuyên nhất được mô

tả dưới đây: [11]

- Mạng nơron phản hồi (Recurrent Neural Networks): Là một mạng lưới tế bào

nơron gửi tín hiệu phản hồi với nhau, chẳng hạn như mạng Hopfield(1980), mạng Elman(1990) và mạng Jordan Điều này cho phép mô hình hóa các hành vi năng động với những hạn chế là tiêu tốn bộ nhớ nhiều hơn so với các mạng trực tiếp

- Mạng nơron hồi quy nói chung (General regression neural networks): Một

mạng dựa trên bộ nhớ cung cấp các ước lượng của các biến liên tục và hội tụ là cơ sở (tuyến tính hoặc phi tuyến) hồi quy được mô tả Mạng nơron hồi quy nói chung là một thuật toán học với một cấu trúc đánh giá song song Nó được chỉ ra rằng, ngay cả với

dữ liệu thưa thớt trong một không gian đo đa chiều, các thuật toán cung cấp cho quá trình chuyển đổi trơn tru từ một giá trị quan sát khác Các hình thức thuật toán có thể được sử dụng cho bất kỳ vấn đề hồi quy trong đó giả thiết tuyến tính là không hợp lý

- Mạng nơron hỗn loạn (Chaotic neural networks): Mạng nơron hỗn loạn cần

tăng đáng kể dung lượng bộ nhớ Mỗi bộ nhớ được mã hóa bởi một quỹ đạo tuần hoàn không ổn định (Unstable Periodic Orbit Một chuỗi nhị phân được tạo ra từ một hệ thống hỗn loạn, độ lệch và trọng lượng của tế bào nơron được thiết lập

- Mạng nơron nhiều lớp (Multilayer neural networks): MLP bao gồm nhiều lớp

của các đơn vị tính toán, kết nối với nhau theo một cách của mạng Feedforward MLP

sử dụng một loạt các kỹ thuật học tập, phổ biến nhất là lan truyền ngược

- Mật mã nơron (Neural cryptography): Là một nhánh của mật mã dành riêng

cho việc phân tích các ứng dụng của các thuật toán ngẫu nhiên, đặc biệt là các thuật toán mạng lưới nơron , để sử dụng trong mã hóa và giải mã Mạng nơron được biết đến với khả năng của mình để khám phá lựa chọn không gian giải pháp của một vấn đề nhất định Tính năng này tìm thấy một thích hợp tự nhiên của các ứng dụng trong lĩnh vực giải mã Những ý tưởng của học hỏi lẫn nhau, tự học, và hành vi ngẫu nhiên của

mạng lưới nơron và các thuật toán tương tự có thể được sử dụng cho các khía cạnh khác nhau của mật mã, giống như mật mã khóa công khai, giải quyết vấn đề phân phối khóa sử dụng đồng bộ hóa mạng nơron lẫn nhau

1.2.2 Các nghiên cứu về ứng dụng mạng nơron trong mã hoá

Gần đây các tài liệu chỉ ra rằng đã có sự quan tâm ngày càng tăng trong việc áp dụng các lớp khác nhau của mạng lưới nơron đến các vấn đề liên quan đến mật mã trong những năm qua Công trình gần đây đã xem xét việc sử dụng các mạng nơron trong hệ thống mã hóa [11] Điều này có thể được phân loại thành ba phần:

- Đồng bộ hoá mạng nơron (Synchronization neural networks ): Năm 2003,

Wolfgang Kinzel đề xuất một khóa bí mật sử dụng mạng nơron nhân tạo qua kênh công cộng Đồng bộ hoá mạng nơron và ứng dụng của nó đến mã hoá, được Einat Klein (2004) trình bày về mật mã bí mật quan trọng dựa trên mạng nơron trong một khoá công cộng Mạng nơron với mã hoá truy vấn được N Prabakaran (2010) đề xuất một khóa bí mật sử dụng mật mã nơron, dựa trên đồng bộ hóa của Tree Parity Machines (TPMS) bằng cách học hỏi lẫn nhau Năm 2011, RM Jogdand đề xuất một khóa bí mật dựa trên các mạng nơron, mật mã nơron có hai mạng thông tin liên lạc tiếp nhận một vectơ đầu vào, tạo ra một bit đầu ra và được huấn luyện dựa trên bit đầu ra Mật mã trong cấu trúc mạng nơron kỹ thuật số được Pratap Singh (2012) tạo ra một khóa bí mật trên một khoá công cộng dựa trên mạng lưới thần kinh Mật mã nơron cho Secret Key Exchange và mã hóa AES, 2013 Ajit Singh trình bày thuật toán trao đổi khoá cho mã hoá, mô hình này có nhiều lớp feed-forward mạng lưới nơron trong đó có hai Tree Parity Machines (TPM) để đồng bộ hóa với trọng lượng ban đầu ngẫu nhiên đóng vai trò như khóa bí mật chung cho quá trình mã hóa và giải mã

- Mạng nơron hỗn loạn (Chaotic neural networks): Mật mã dựa trên sự trễ mạng

nơron hỗn loạn, 2006, Wenwu Yu đề xuất một kỹ thuật mã hóa dựa trên mạng nơron Hopfield hỗn loạn với thay đổi độ trễ thời gian Năm 2009, Jiyun Yang phân tích mô hình đề xuất của Wenwu Yu, rất khó để lấy được khóa của hệ thống mã hoá thông qua

các cuộc tấn công cổ điển vì không gian khóa lớn Tuy nhiên, các khóa tương tự được

sử dụng trong tất cả các quá trình mã hóa, nó có thể dễ dàng lấy được bởi các cuộc tấn công bản rõ được chọn, chỉ sử dụng hai cặp bản rõ và bản mã Kết quả mô phỏng cho thấy mã hoá hỗn loạn đề xuất là không an toàn Năm 2012, Rajender trình bày mạng nơron hỗn loạn cho mật mã, mạng nơron hỗn loạn được sử dụng để tạo ra một chuỗi nhị phân che dấu bản rõ Một thực nghiệm khảo sát của Using ANN Based N-State Sequential Machine và Chaotic Neural Network trong lĩnh vực mật mã, 2012 Nitin Shukla đề xuất hai mạng nơron nhân tạo cho mật mã Mạng đầu tiên là mạng nơron

dựa trên tuần tự n trạng thái và một mạng nơron hỗn loạn Năm 2012, Tarip A đề xuất

mô hình hệ thống thích nghi có chứa MPEG-2 nén và một mạng nơron hỗn loạn cho mật mã Các thuật toán hỗ trợ kiểm soát chất lượng và tốc độ bit được yêu cầu của nhiều ứng dụng truyền video, được coi là một lĩnh vực đầy hy vọng mới liên quan đến bảo vệ video và nén Năm 2013, Navita A đề nghị hai mạng nơron nhân tạo cho lĩnh vực an ninh mật mã Mô hình này giống hệt với mô hình được trình bày bởi Nitin Shukla Kết quả thực nghiệm cho thấy hai mạng này được an toàn và hiệu quả Năm

2013, Geetha Vani đề xuất một mô hình lai cho truyền dữ liệu an toàn trong tín hiệu

âm thanh bằng cách sử dụng HCNN (Hopfield Chaotic Neural Network ) và DD DWT (Double Density Discrete Wavelet Transform)

- Mạng nơron nhiều lớp (Multi-layer Neural networks): Bảo mật dữ liệu dựa trên mạng nơron, 2005, Khaled M đã trình bày mô hình mật mã dựa trên các mạng nơron hồi quy Năm 2006, Khalil Shihab cung cấp một cơ chế mã hóa bất đối xứng mới dựa trên các mạng thần kinh nhân tạo Các chương trình giải mã và quá trình tạo

hệ thống khóa công khai dựa trên nhiều lớp mạng thần kinh Giải pháp nơron cho an ninh thông tin, 2007 Seref S đã trình bày phương pháp bảo mật dữ liệu mới trong truyền thông điện tử dựa trên các mạng nơron nhân tạo Các mô hình mạng nơron chuyển thông điệp đơn giản thành dạng nhị phân và ứng dụng mô hình mạng nơron vào nó để có được mật mã khác nhau Năm 2012, Eva Volna đề xuất mạng nơron nhiều

lớp trong mật mã học Các mạng nơron nhiều lớp được thay đổi bởi lan truyền ngược

Mô hình dự kiến chuyển đổi các chuỗi kí tự mã ASCII thành chuỗi các bit và chia thành 6 khối bit được sử dụng làm đầu vào cho quá trình mã hóa Khoá mật mã là cấu trúc mạng lưới nơron có chứa lớp đầu vào, lớp ẩn, lớp ra, và trọng lượng cập nhật Kết quả thực nghiệm cho thấy rằng hệ thống này là an toàn

1.2.3 Các nghiên cứu trong nước về ứng dụng mạng nơron

Ở Việt Nam, từ những năm 90, cũng đã có rất nhiều nhà khoa học quan tâm đến

lý thuyết về mạng nơron và những ứng dụng của nó trong nhiều lĩnh vực khác nhau Tiên phong trong việc đưa kiến thức về mạng nơron phổ biến đến độc giả là quyển

sách “Trí tuệ nhân tạo, Mạng nơron phương pháp và ứng dụng” của Nguyễn Đình Thúc, NXB Giáo dục năm 2000 Tiếp đó phải kể đến quyển “Hệ mờ, mạng nơron và ứng dụng” của Bùi Công Cường, Nguyễn Doãn Phước, NXB Khoa học và Kỹ thuật Hà nội, 2001; quyển “Hệ mờ & nơron trong kỹ thuật điều khiển” của Nguyễn Như Hiển,

Lại Khắc Lãi, NXB Khoa học tự nhiên và công nghệ Còn những công trình nghiên cứu về mạng nơron có thể kể đến như:

 Nguyễn Kỳ Phùng, Nguyễn Khoa Việt Trường, “Mô hình hoá các quá trình xử

lý nước thải bằng mạng nơron nhân tạo”, Trường Đại học Khoa học Tự nhiên Đại học

Quốc gia Thành phố Hồ Chí Minh

+ Đối tượng là mô hình bể xử lý nước thải, các tác giả đã xây dựng mô hình, tối ưu hoá quá trình luyện mạng và đã kiểm chứng kết quả với sai số nhỏ

+ Đã xây dựng được chương trình ứng dụng mạng nơron cho dự báo chất lượng đầu ra của hệ thống xử lý nước thải Cùng với thuật toán tối ưu hoá mạng nơron khi cho số nút ẩn thay đổi để tìm ra cấu trúc mạng tối ưu nhất Chương trình đã thể hiện rõ ưu việt so với chương trình mạng nơron của Matlab

+ Thuật toán tối ưu hoá quá trình luyện mạng là một bước cải tiến so với các chương trình ứng dụng mạng nơron thông thường, chẳng hạn như Matlab Với

quá trình lặp lại nhiều lần và ghi nhận những mạng cho kết quả tốt nhất sau mỗi lần lặp, ta có thể chọn được mạng cho kết quả tốt hơn và sai số ổn định hơn

 Đỗ Trung Hải (2008) “Ứng dụng lý thuyết mờ và mạng nơron để điều khiển hệ chuyển động”, Luận án tiến sỹ, Trường Đại học Bách khoa Hà Nội

+ Nghiên cứu và đề xuất cấu trúc hệ mờ - nơron với số lớp và số nơron thích ứng (5 lớp và số nơron lớp 2 tối thiểu là 2 nơron) nhằm đảm bảo độ chính xác và tốc độ tính toán cho hệ điều khiển thời gian thực

+ Xây dựng thuật toán nhận dạng trực tuyến, cập nhật thích nghi thông số nhằm đảm bảo tối thiểu hoá sai lệch phục vụ cho việc nhận dạng và điều khiển

hệ Việc ứng dụng đại số Lie và điều khiển theo phương pháp tuyến tính hoá chính xác thích nghi có khả năng ứng dụng tổng quát cho một lớp hệ điều khiển chuyển động

+ Với hệ chuyển động cụ thể và phức tạp là hệ khớp nối mềm công trình đã đưa ra thuật toán mô phỏng hệ Các kết quả mô phỏng đã chứng tỏ tính đúng đắn của luật nhận dạng và điều khiển, cấu trúc cũng như mô hình điều khiển hệ chuyển động

1.3 Các nghiên cứu liên quan về hàm băm mật mã và chữ kí số

1.3.1 Tổng quan về hàm băm

Các hàm băm dựa trên mật mã khối đã được nghiên cứu khá mạnh trên thế giới, các nhóm nghiên cứu tập trung chủ yếu vào hướng xây dựng các hệ mật mã khối và đưa chúng vào lược đồ xây dựng hàm băm Hiện nay trên thế giới có khá nhiều hệ mật

mã khối khóa bí mật đã được nghiên cứu sử dụng cho các lược đồ xây dựng hàm băm như trên, điển hình là các hệ mật sau: DES, IDEA, RD.5, TDEA, AES, CAST,… Những nghiên cứu về các hệ mật mã này và phương pháp sử dụng chúng cho lược đồ hàm băm đã xuất hiện trong rất nhiều công trình từ rất nhiều năm qua

Hàm băm MD4 được Riverst đề xuất năm 1990 và một phiên bản cải tiến là MD5 cũng được đưa ra năm 1991 Vì kết quả của Dobbertin [7,6] người ta không còn

sử dụng MD4 để băm (một cách an toàn) nữa Các hàm băm khác bao gồm

RIPEMD-128, và RIPEMD-160 SHA được công bố như chuẩn FIPS năm 1993 SHA được giới thiệu bởi Viện Tiêu chuẩn và Công nghệ Quốc gia Mỹ (NIST) năm 1993, với tên gọi là SHA-0 Năm 1995 có một thay đổi nhỏ với SHA-0, dẫn tới SHA-1 được giới thiệu SHA-1, MD5, và RIPEMD-160 nằm trong số các thuật toán tóm tắt thông điệp được dùng rộng rãi nhất của năm 2005 Tháng 8 năm 2004, các nhà nghiên cứu đã tìm được các điểm yếu của một loạt hàm băm, trong đó có MD5, SHA-0 và RIPEMD Tháng 2 năm 2005, người ta ghi nhận một tấn công đối với SHA-1 Tháng 8 năm 2005, người ta lại ghi nhận một tấn công khác đối với SHA-1[20] Sau sự kiện trên, mặc dù chưa phát hiện một tấn công thực tế nào lên SHA- 1 nhưng NIST vẫn khuyến cáo chuyển sang sử dụng họ hàm băm an toàn hơn là SHA- 2 (bao gồm SHA- 224, SHA- 256, SHA- 384, SHA- 512) và đã dự kiến không sử dụng SHA- 1 trong chữ ký số Trong những năm gần đây Viện NIST đã tổ chức nhiều cuộc hội thảo về hàm băm nhằm lựa chọn những thuật toán với chuẩn mã dữ liệu mới Trong đó có các thuật toán Blake, Grost, JH, Keccak, Skein là những thuật toán được cải tiến rất quan trọng, có thể vận dụng các thành tựu nghiên cứu độ an toàn lý thuyết đã có cho các cấu trúc mà các hàm băm được thiết kế trước đó

Chữ ký số khóa công khai dựa trên nền tảng mật mã hóa khóa công khai Để có thể trao đổi thông tin trong môi trường này, mỗi người sử dụng có một cặp khóa: một

công khai và một bí mật Khóa công khai được công bố rộng rãi còn khóa bí mật phải được giữ kín và không thể tìm được khóa bí mật nếu chỉ biết khóa công khai

1.3.2.2 Phân loại chữ ký số

Chúng ta có thể chia chữ ký số ra 2 loại: Kỹ thuật ký mà chữ ký số là một phần đính vào thông điệp gửi đi, cả 2 đều là đầu vào cho quá trình xác minh tính đúng đắn của chữ ký và loại chữ ký mà từ nó có thể phục hồi lại thông điệp ban đầu trước khi ký, thông điệp ban đầu này không phải là đầu vào cho quá trình xác minh chữ ký

Hình 1.1 : Phân loại chữ ký số Những đặc điểm cơ bản của chữ ký số như một phần đính kém thêm cho quá trình xác minh thông điệp là :

- Chữ ký điện tử đi kèm với thông điệp gốc

- Cần có thông điệp (gốc) cho quá trình kiểm tra chữ ký điện tử

CHƯƠNG 2 – MẠNG NƠRON NHÂN TẠO, MẠNG NƠRON RBF VÀ NGHIÊN CỨU MẠNG NƠRON RBF ĐỐI VỚI CHUỖI HỖN LOẠN

2.1 Giới thiệu về mạng nơron

2.1.1 Khái niệm cơ bản

Theo các nhà nghiên cứu sinh học về bộ não, hệ thống nơron của con người bao gồm khoảng 100 tỷ tế bào nơron Mỗi tế bào nơron gồm ba phần (hình 2.1):

♦ Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơron Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân nơron

♦ Thân nơron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các xung động thần kinh

♦ Đầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể dài từ một cm đến hàng mét Chúng nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào của các nơron khác thông qua các khớp nối (gọi là synapse)

Hình 2.1: Cấu tạo tế bào nơron sinh học

Mạng nơron nhân tạo (ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, giống như bộ não để xử lý thông tin Nó bao gồm số lượng lớn các mối gắn kết để xử lý các yếu tố làm việc trong mối liên hệ giải quyết vấn đề rõ ràng Mạng nơron nhân tạo giống như con người, được học bởi kinh nghiệm, lưu những kinh nghiệm hiểu biết và sử dụng trong những tình huống phù hợp Kinh nghiệm ở đây chính là các tập mẫu huấn luyện, là những dữ liệu thu thập được về những vấn đề cụ thể nào đó Thông qua tập mẫu, ANN sẽ tìm được mối quan hệ phức tạp giữa các biến đầu vào và đầu ra của mô hình Giai đoạn này được gọi

là giai đoạn học, hay giai đoạn huấn luyện mạng Kết thúc giai đoạn học, mô hình ANN sẽ được kiểm tra, bằng cách nhập vào giá trị và xem kết quả trả về có đúng như

dữ liệu kiểm tra hay không, từ đó có thể đánh giá hiệu quả của mô hình.Từ những cơ

sở nghiên cứu về nơron sinh học, chúng ta có thể xây dựng mô hình mạng nơron nhân tạo đơn giản (hình 2.2) được xây dựng từ ba thành phần chính: các nút đầu vào(Input)

là các nút nhận giá trị từ môi trường ngoài gọi là nút nhập, các nút ẩn (Hidden) là các nút chỉ nhận và truyền giá trị cho các nút khác trong mạng , các nút đầu ra (Output) là các nút trả về kết quả tính được

Hình 2.2: Mô hình mạng Noron nhân tạo đơn giản

2.1.2 Các kiểu mô hình mạng nơron

Cách thức kết nối các nơron trong mạng xác định kiến trúc (topology) của mạng Các nơron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi nơron đều được kết nối với tất cả các nơron khác, hoặc kết nối cục bộ (partially connected) chẳng

hạn chỉ kết nối giữa các nơron trong các tầng khác nhau Người ta chia ra hai loại kiến trúc mạng chính:

♦ Tự kết hợp (autoassociative): là mạng có các nơron đầu vào cũng là các nơron

đầu ra Mạng Hopfield là một kiểu mạng tự kết hợp Về mặt cấu trúc thì mạng Hopfield là mạng chỉ có một lớp nơron, trong đó mỗi nơron đều nối với tất cả các nơron còn lại Mạng Hopfield được xây dựng dưới dạng mạng một lớp, mỗi nơron được truyền ngược lại làm tín hiệu đầu vào cho các nơron khác nhưng bản thân các nơron không tự liên kết với chính nó

Hình 2.3: Cấu trúc mạng Hopfield Mạng Hopfield không có lớp input và output như các mạng nơron khác Lớp nơron duy nhất của mạng cũng chính là nơi nhận input và phát output Như vậy số nơron trong mạng phải bằng số thành phần input cũng như số thành phần output Ngoài ra mạng Hopfield chỉ nhận các inputs là -1 hay 1 Hàm truyền vào của mạng là hàm satlins:

1

1

i i k j n

j ij k

- Wij là độ lớn trọng số kết nối từ nút j đến nút i (trọng số của liên kết)

- xi là tín hiệu vào tại nơron i

- yj là trạng thái của nút j

- θi là ngƣỡng của nút i

- b là độ lệch

♦ Kết hợp khác kiểu (heteroassociative): là mạng có tập nơron đầu vào và đầu ra

riêng biệt Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer Perceptron), mạng Kohonen, … thuộc loại này

Hình 2.4: Mạng kết hợp khác kiểu

nếu n > 1 nếu -1< n < 1 nếu n < -1

Ngoài ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ

các nơron đầu ra tới các nơron đầu vào hay không, người ta chia ra làm 2 loại kiến trúc mạng:

♦ Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng

không có các kết nối ngược trở lại từ các nơron đầu ra về các nơron đầu vào; mạng không lưu lại các giá trị output trước và các trạng thái kích hoạt của nơron Các mạng nơron truyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất; từ đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó Các mạng kiểu Perceptron là mạng truyền thẳng, là kiểu mạng nơron đầu tiên và được xem là mạng đơn giản nhất

Hình 2.5: Mạng truyền thẳng

♦ Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng có các kết

nối từ nơron đầu ra tới nơron đầu vào Mạng lưu lại các trạng thái trước đó, và trạng thái tiếp theo không chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc vào các trạng thái trước đó của mạng Mạng Hopfield thuộc loại này

Hình 2.6: Mô hình mạng Hopfield có bốn nút Các nút trong mạng Hopfield là những nút ngƣỡng có dạng nhị phân, tức là các nút này chỉ có hai giá trị khác nhau biểu hiện trạng thái và giá trị này đƣợc xác định nhờ vào một ngƣỡng mà ngõ nhập của nút có vƣợt quá hay không Các nút trong mạng Hopfield có thể có giá trị 1 hoặc -1, hoặc các giá trị 1 hoặc 0 Do đó, có thể có hai cách

định nghĩa cho việc xác định phần tử i, ai nhƣ sau: [23]

 wij = 0, i (không có nút nào liên kết với chính nó)

 wij = wji, i, j (các liên kết là đối xứng)

Bảng 2.1 : Bảng tóm tắt mô hình mạng Hopfield

Hàm truyền Hàm sign/ Hàm sigmoid

Quy tắc học Quy tắc delta, mô phỏng

Ứng dụng Kết hợp mẫu, các bài toán tối ưu

a) Mạng truyền thẳng Perceptron

Perceptron là mạng nơron truyền thẳng đầu tiên Ở mạng này, các nút được tổ chức dưới dạng các tầng và thông tin chỉ duy chuyển theo một hướng duy nhất, từ các nút nhập, qua các nút trong tầng ần (nếu có) và đến các nút xuất Một điều quan trọng

là giữa các nút trong một tầng không có kết nối với nhau Cách tổ chức này không những giúp nâng cao khả năng xử lý song song của mạng mà còn giúp cho mô hình dễ hiểu và dễ quản lý hơn

Perceptron cho phép phân loại chính xác trong trường hợp dữ liệu có thể phân chia tuyến tính (các mẫu nằm trên hai mặt đối diện của một siêu phẳng) Nó cũng phân loại đúng đầu ra các hàm AND, OR và các hàm có dạng đúng khi n trong m đầu vào của nó đúng (n ≤ m) Nó không thể phân loại được đầu ra của hàm XOR

Hàm truyền Hàm sign / Hard-limit

Ứng dụng Phân loại trên tập dữ liệu có khả năng tuyến tính

b) Mạng nhiều tầng truyền thẳng (MLP)

Mô hình mạng nơron được sử dụng rộng rãi nhất là mô hình mạng nhiều tầng truyền thẳng (MLP: Multi Layer Perceptron) Một mạng MLP tổng quát là mạng có n (n≥2) tầng (thông thường tầng đầu vào không được tính đến): trong đó gồm một tầng đầu ra (tầng thứ n) và (n-1) tầng ẩn

Hình 2.7: Mô hình mạng MLP tổng quát Kiến trúc của một mạng MLP tổng quát có thể mô tả như sau:

- Đầu vào là các vector (x1, x2, ., xp) trong không gian p chiều, đầu ra là các vector (y1, y2, , yq) trong không gian q chiều Đối với các bài toán phân loại, p chính

là kích thước của mẫu đầu vào, q chính là số lớp cần phân loại

- Mỗi nơron thuộc tầng sau liên kết với tất cả các nơron thuộc tầng liền trước

nó

- Đầu ra của nơron tầng trước là đầu vào của nơron thuộc tầng liền sau nó

Hoạt động của mạng MLP nhƣ sau: tại tầng đầu vào các nơron nhận tín hiệu vào

xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của hàm truyền); kết quả này sẽ đƣợc truyền tới các nơron thuộc tầng ẩn thứ nhất; các nơron tại đây tiếp nhận nhƣ là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn thứ 2;…; quá trình tiếp tục cho đến khi các nơron thuộc tầng ra cho kết quả

- Mọi hàm bất kỳ đều có thể xấp xỉ bởi một mạng MLP 3 tầng sử dụng hàm truyền sigmoid cho các nơron tầng ẩn và hàm truyền tuyến tính cho các nơron tầng ra

Bảng 2.3 : Bảng tóm tắt mô hình mạng MLP

Số tầng 1 tầng nhập, 1 tầng xuất, 1 hay nhiều tầng ẩn

Quy tắc học Lan truyền ngƣợc theo quy tắc delta

Ứng dụng Hàm luận lý phức tạp, phân loại mẫu

2.2 Mạng nơron RBF

2.2.1 Hàm cơ sở bán kính

Năm 1988, Powell đề xuất dùng hàm nội suy dưới dạng tổ hợp tuyến tính của các hàm cơ sở bán kính [12] Với cách tiếp cận này, bài toán nội suy được phát biểu lại như sau

Xét hàm nhiều biến n m

R R

)

||, (||

x 1là tập vectơ trong không gian n-chiều và y k  f(x k) là giá trị đo được

của hàm f cần nội suy; hàm thực h(||xv k ||,k) được gọi là hàm cơ sở bán kính với tâm là v k và M(N) là số hàm bán kính sử dụng để xấp xỉ hàm f ; w k và σ k là các giá trị tham số cần tìm

Trong không gian tổng quát , ta xét bài toán nội suy với m =1, và hàm  có dạng sau :

0 1

) ( )

(x w k x w M

- v k gọi là tâm của hàm cơ sở bán kính k

- Các tham số w kvà kcần tìm để  cực tiểu tổng bình phương sai số hoặc thoả mãn các điều kiện:

k N

k k i

y w x w

) ( )

 i1, N (2.4)

Với mỗi k, tham số k được gọi là tham số độ rộng của hàm cơ sở bán kính vì

nó dùng để điều khiển độ rộng miền ảnh hưởng của hàm cơ sở k, khi k k

v

||   thì giá trị hàm k (x) là rất nhỏ, không có ý nghĩa vì nó gần triệt tiêu Chính vì vậy ta nói hàm bán kính này chỉ có ảnh hưởng địa phương Trường hợp số hàm bán kính bằng

mốc nội suy (N=M) ta lấy tâm của chúng trùng với mốc tương ứng Xét ma trận vuông

cấp N:

N N i

và các tham số k đã chọn Micchelli đã chứng minh rằng nếu các mốc xk khác nhau thì Φ là ma trận khả nghịch Vì vậy, với w0 cho trước tuỳ ý hệ phương trình (2.4) luôn tồn tại duy nhất nghiệm w1, ,wN Trường hợp M < N, tổng bình phương sai số được xác định theo công thức:

2 1

) ) ( ( k i t

N

k

y x

Cấu trúc của mạng hàm cơ sở bán kính này thường gồm có ba tầng: một tầng