Mạng Neural và ứng dụng của mạng Neural trong lĩnh vực Công nghệ thông tin

Thuật toán của mạng Neural nhiều lớp – Thuật toán lan truyền ngược...23 III Ứng dụng mạng Neural trong hệ thống phát hiện xâm nhập Intrusion Detection System - IDS...27 III.1.. Hiện nay

Mục Lục

Lời mở đầu 3

I) Sơ lược về mạng Neural: 5

I.1 Nguồn gốc mạng Neural nhân tạo: 5

I.2 Neural Sinh học : 5

I.3 Neural nhân tạo 7

I.4 Triển vọng phát triển của mạng Neural 8

II) Mô hình Neural và các kiến trúc mạng 9

II.1 Mô hình mạng Neural 9

II.2 Đặc trưng của mạng Neural 13

II.2.1 Tính phi tuyến 13

II.2.2 Tính chất tương ướng đầu vào đầu ra 13

II.2.3 Tính chất thích nghi 14

II.2.4 Tính chất đưa ra lời giải có bằng chứng 14

II.2.5 Tính chất chấp nhận sai xót 14

II.2.6 Khả năng cài đặt VLSI(Very-large-scale-intergrated) 14

II.2.7 Tính chất đồng dạng trong phân tích và thiết kế 15

II.3 Phân loại mạng Neural 15

II.3.1 Theo kiểu liên kết Neural 15

II.3.2 Theo phương pháp huấn luyện mạng 15

II.3.3 Theo số lớp Neural 16

II.3.3.1 Mạng Neural một lớp 16

II.3.3.2 Mạng Neural nhiều lớp 17

II.3.3.3 Mạng Neural quy hồi 18

II.4 Xây dựng mạng Neural 19

II.5 Huấn luyện mạng Neural 20

II.5.1 Các quy tắc học 20

II.5.1.1 Học giám sát: 20

II.5.1.2 Học không có giám sát: 21

II.5.1.3 Học tăng cường: 21

II.5.2 Các thuật toán huấn luyện 22

II.5.2.1 Thuật toán mạng Neural một lớp 22

II.5.2.2 Thuật toán của mạng Neural nhiều lớp – Thuật toán lan truyền ngược 23

III) Ứng dụng mạng Neural trong hệ thống phát hiện xâm nhập ( Intrusion Detection System - IDS) 27

III.1 Tổng quan về IDS và những nghiên cứu IDS ứng dụng mạng Neural 27

III.1.1 Định Nghĩa 27

III.1.2 Phân loại 28

III.1.3 Chức năng của IDS 29

III.1.4 Hạn chế và hướng cải tiến ứng dụng mạng Neural 30

III.2 ứng dụng mạng Neural trong IDS 31

III.2.1 Kiểm tra dữ liệu và xử lý 32

III.2.1.1 Kiểm tra dữ liệu 32

III.2.1.2 Quyết định của tổng số nút lớp ẩn 33

III.2.1.3 Kiểm tra mô phỏng 35

Kết Luận 37

Tài liệu tham khảo 38

Nó thực sự được chú ý và nhanh chóng trở thành một hướng nghiên cứu đầy triển vọngtrong mục đích xây dựng các máy thông minh tiến gần tới trí tuệ con người

Hiện nay mạng Neural đang được ứng dụng trong rất nhiều các lĩnh vực khác nhaunhư trong lĩnh vực nhận dạng ( hình ảnh, giọng nói, chứ viết…) hay trong lĩnh vực anninh ( hệ thống phát hiện xâm nhập) Như chúng ta đã biết, Thông tin ngày càng trở lênquan trọng, là chìa khóa thành công cho nhiều vấn đề Chính vì thế mà bài toán bảo mậtcho hệ thống thông tin là một bài toán khó tìm lời giải triệt để nhất Làm thế nào để tăngcường an toàn cho dữ liệu, cho toàn hệ thống tránh khỏi việc mất mát dữ liệu do các lỗhổng bảo mật hay sự tấn công từ hacker, virus, Trojan Một cách tổng quát, hệ thốngphát hiện xâm nhập - Intrusion detection system ( IDS) là một loại mới của công nghệ antoàn mạng mà có thể bảo vệ tích cực máy tính của bạn từ những tấn công của người xâmnhập Khi phát hiện bất kỳ nỗ lực xâm nhập hoặc sự xâm nhập, nó có thể báo cáo kịp thờichúng cho người quản trị mạng, cho phép người quản trị biện pháp ngăn cản hoặc khắcphục như là ngắt kết nối mạng để ngăn cản sự mở rộng của dữ liệu không chính xác, vàgửi cảnh báo đến kẻ xâm nhập Tuy nhiên, làm thế nào để phát hiện liệu có sự xâm nhậphay không là một vấn đề cần giải quyết đầu tiên Phát hiện xâm nhập phụ thuộc vào sựphân loại và nhận dạng các vấn đề với một số lớn các điều kiện phi tuyến làm cho nó cầnthiết phải học các cách tiếp cận đã tích hợp các điều kiện phi tuyến để giải quyết vấn đề Công nghệ thông tin phát triển không ngừng và công nghệ phát hiện xâm nhập cũngluôn cần đổi mới Mạng Neural là bước tiến cho sự đổi mới về công nghệ phát hiện xâmnhập, khắc phục được nhiều điểm thiếu sót của IDS truyền thống, cho thấy rằng côngnghệ này sẽ không lạc hậu, hướng tiếp cận hệ thống an ninh an toàn có ứng dụng công

nghệ này hứa hẹn nhiều điểm sáng Do đó trong phần bài thu hoạch này, em xin trình bày

về mạng Neural và ứng dụng của mạng Neural thông minh trong việc phát hiện các cuộctấn công trong hệ thống phát hiện xâm nhập - Intrusion detection system ( IDS)

Trong phạm vi của bài thu hoạch, em xin trình bày các vấn đề chính sau đây:

Phần I: Sơ lược về mạng Neural: Phần này sẽ đưa ra khái niệm cơ bản về mạng

Neural cũng như nguồn gốc và triển vọng phát triển

Phần II: Mô hình Neural và các kiến trúc mạng: Trình bày mô hình, việc phân loại

mạng và một số thuật toán huấn luyện mạng

Phần III: Ứng dụng của mạng Neural trong hệ thống phát hiện xâm nhập trái phép

(IDS)

I) Sơ lược về mạng Neural:

I.1 Nguồn gốc mạng Neural nhân tạo:

Nguồn gốc của mạng Neural nhân tạo bắt nguồn từ nhiều ngành học thuật bao gồmvật lý, tâm lý học thần kinh Những nghiên cứu này hoàn toàn về các lý thuyết của việchọc, sự nhìn, phản xạ có điều kiện,v.v và hoàn toàn chưa có các mô hình toán học vềcác hoạt động của mạng Neural Vào những năm thập niên 1940, Werren McCulloch vàWalter Pitts chỉ ra rằng các mạng nơnron nhân tạo có thể tính toán được một số hàm logic

và số học Tiếp đó là Rosebatt, Windrow, Hoff đã có các mạng và các quy tắc học đầutiên Thập niên 1960 Minsky và Papert đã đưa ra các hạn chế của mạng Neural và cácnghiên cứu gần như dừng lại Những năm 1970 có Amari, Anderson, Kohonen tiếp tụcnghiên cứu nhưng tốc độ chậm Từ thập niên 80 với những phát triển mới quan trọng vềthuật toán học như truyền ngược lỗi, mạng Neural đã hồi sinh và phát triển mạnh Càngngày chúng càng chứng tỏ vai trò và triển vọng của nó trong các ứng dụng thực tiễn vàkhông còn chỉ nằm trong các phòng thí nghiệm mà đã xuất hiện nhiều ứng dụng quantrọng

Người ta thấy rằng tất cả các chức năng thần kinh sinh học được thực hiện nhờ vàocác liên kết giữa các Neural sinh học Quá trình học tập của não là việc hình thành cácliên kết mới giữa các Neural hoặc thay đổi các liên kết đang có Từ những hiểu biết này,người ta xây dựng và phát triển mạng Neural nhân tạo dựa trên mô hình của Neural sinhhọc với mục đích là có thể huấn luyện các mạng Neural nhân tạo này để chúng có thể giảiquyết một số bài toán theo cách của bộ não sinh học thực hiện đồng thời thông qua đó tìmhiểu các cơ chế nhớ và cách tính toán của bộ não

I.2 Neural Sinh học :

Một Neural được cấu gồm những thành phần chính sau: Dendrite, Soma, Synapse,Axon như hình 1

Hình 1: Mô hình Neural sinh họcSoma là thân của Neural

Các dendrites là các dãy mảnh, dài, gắn liền với soma, chúng truyền dữ liệu (dướidạng xung điện thế) đến cho soma xử lý Bên trong soma các dữ liệu đó được tổng hợplại, có thể xem gần đúng sự tổng hợp ấy như là một phép lấy tổng tất cả các dữ liệu màNeural nhận được

Một loại dây dẫn tín hiệu khác cũng gắn với soma là các axon Khác với dendrites,axons có khả năng phát các xung điện thế, chúng là các dây dẫn tín hiệu từ Neural đi cácnơi khác Chỉ khi nào điện thế trong soma vượt quá một giá trị ngưỡng nào đó thì axonmới phát một xung điện thế, còn nếu không thì nó ở trạng thái nghỉ

Axon nối với các dendrites của các Neural khác thông qua những mối nối đặc biệt gọi

là synapse Khi điện thế của synapse tăng lên do các xung phát ra từ axon thì synapse sẽnhả ra một số chất hoá học (neurotransmitters); các chất này mở "cửa" trên dendrites đểcho các ions truyền qua Chính những ions này làm thay đổi điện thế trên dendrites, tạo racác xung dữ liệu lan truyền tới các Neural khác

Bộ não con người có khoảng 1011 Neural được nối với nhau bởi 104 liên kết Sự sắpđặt các Neural và độ mạnh của các khớp thần kinh riêng biệt được quyết định bởi mộtquá trình hoá học phức tạp, tạo nên chức năng của mạng Neural

Một số cấu trúc thần kinh được các định ngay từ lúc sinh ra Còn lại chúng phát triểnqua quá trình học, các liên kết mới được tạo ra, một số khác mất đi Các cấu trúc thầnkinh liên tục thay đổi trong suốt cuộc sống Giai đoạn đầu của cuộc sống là quá trình phát

Các khả năng cơ bản của bộ não là:

+ Có thể tổng quát hoá, liên hệ các thuộc tính của đối tượng với nhau

+ Có thể tiếp tục thực hiện ngay cả khi thông tin bị thiếu hoặc không chính xác

+ Có thể phát hiện và phục hồi thông tin bị mất

+ Có khả năng xuống cấp và có khả năng thay thế dần dần

+ Có khả năng học

I.3 Neural nhân tạo

Neural nhân tạo là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu

vào đến từ một liên kết Đặc trưng của Neural là một hàm kích hoạt phi tuyến chuyểnđổi tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra Hàm kíchhoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng Neural

Hình 2: Mô hình một Neural nhân tạo

Liên kết Neural là một thành phần của mạng Neural nhận tạo để liên kết giữa cácNeural, nó nối đầu ra của Neural lớp này với đầu vào của một Neural trong lớp khác Đặctrưng của thành phần liên kết là một trọng số mà mỗi tín hiệu đi qua đều được nhân với

trọng số này Các trọng số liên kết chính là các tham số tự do cơ bản của mạng neuron, có

thể thay đổi được nhằm thích nghi với môi trường xung quanh

I.4 Triển vọng phát triển của mạng Neural

Mạng Neural đã được ứng dụng trong nhiều lĩnh vực Chất lượng và số lượng củachúng tăng lên rất nhanh và hứa hẹn giải quyêt nhiều bài toán mà thực hiện bằng cácphương pháp truyền thống là rất khó khăn Dưới đây liệt kê ra một số ứng dụng chính củamạng Neural:

 Aerospace: Phi công tự động, giả lập đường bay, các hệ thống điều khiển lái máybay, bộ phát hiện lỗi

 Automotive: Các hệ thống dẫn đường tự động cho ô tô, các bộ phận tích hoạt độngcủa xe

 Banking: Bộ đọc séc và các tài liệu, tính tiền của thẻ tín dụng

 Defense: Định vị - phát hiện vũ khí, dò mục tiêu, phát hiện đối tượng, nhận dạngnét mặt, các bộ cảm biến thế hệ mới, xử lý ảnh radar,…

 Electronics: Dự đoán mã tuần tự, sơ đồ chíp IC, điều khiển tiến trình, phân tíchnguyên nhân hỏng chip, nhận dạng tiếng nói, mô hình phi tuyến

 Entertainment: Hoạt hình, các hiệu ứng đặc biệt, dự báo thị trường

 Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá mức

độ hợp tác, phân tích đường tín dụng, chương trình thương mại qua giấy tờ, phân tích tàichính liên doanh, dự báo tỷ giá tiền tệ

 Insurance: Đánh giá việc áp dụng chính sách, tối ưu hoá sản phẩm

 Bài toán lọc nhiễu

 Xử lý ảnh, xử lý tính hiệu

Tuy có nhiều hứa hẹn nhưng mạng Neural cũng còn nhiều vấn đề như: Đánh giá cácgiới hạn của mạng Neural, đánh giá khả năng tổng quát của mạng Neural, kết hợp với cáccông nghệ khác như giải thuật gen hoặc tiếp cận mờ Một số vấn đề mở đang đặt ra hiệnnay bao gồm: độ phức tạp của tổng thể của mạng là gì? Độ phức tạp của thuật toán huấnluyện là gì? Giải pháp mạng Neural nhân tạo có tổng quát quá không? Mạng học cái gì?Giải pháp mạng Neural nhân tạo tỷ lệ với số chiều của bài toán như thế nào? Ngoài racòn nhiều yếu tố ảnh hưởng đến sự phát triển của mạng Neural Không chỉ các cơ sở toánhọc, các phương pháp thiết kế mạng, các thuật toán huấn luyện, mà còn có cả các khámphá trong lĩnh vực sinh học, tâm lý học, sẽ là những yếu tố quan trọng đối với sự pháttriển của mạng Neural nhân tạo

II) Mô hình Neural và các kiến trúc mạng

II.1 Mô hình mạng Neural

Mạng Neural nhân tạo (Artificial Neural Network) bao gồm các Neural ( còn gọi làmột đơn vị xử lý hay một node) được nối với nhau bởi các liên kết Neural Mỗi liên kếtkèm theo một trọng số nào đó, đặc trưng cho tính kích hoạt/ ức chế giữa các Neural Cóthể xem các trọng số là các phương tiện để lưu trữ thông tin dài hạn trong mạng Neural.Nhiệm vụ chung của quá trình huấn luyện mạng là cập nhật các trọng số khi có thêm cácthông tin về mẫu học

Thông thường các Neural có nhiều đầu vào Một Neural có R đầu vào p1,p2 ,pR sẽ cócác trọng số tương ứng w1,w2, ,wR tạo thành một ma trận W và được gọi là ma trận trọngsố

Hình 3: Mô hình một Neural nhân tạo

Đầu vào pi: Đặc trưng cho các tín hiệu điện kích thích trên các dây thần kinh củamạng Neural sinh học Các đầu vào này có thể có giá trị nhị phân là +1/-1 hoặc +1/0.Trọng số wi: Mỗi đầu vào có một trọng số wi Trọng số có giá trị là số thực dươnghoặc âm

Tổng trọng số n( Net): là hàm tổng hợp các tín hiệu vào của Neural Các hàm Netthường dùng là:

Tín hiệu đầu ra a: Tín hiệu đầu ra a là giá trị của hàm chuyển:

II.2 Đặc trưng của mạng Neural

II.2.1 Tính phi tuyến.

Một Neural có thể tính toán một cách tuyến tính hay phi tuyến Một mạng Neural,cấu thành bởi sự kết nối các Neural phi tuyến thì tự nó sẽ có tính phi tuyến Hơn nữa,điều đặc biệt là tính phi tuyến này được phân tán trên toàn mạng Tính phi tuyến là mộtthuộc tính rất quan trọng, nhất là khi các cơ chế vật lý sinh ra các tín hiệu đầu vào (ví dụtín hiệu tiếng nói) vốn là phi tuyến

II.2.2 Tính chất tương ướng đầu vào đầu ra.

Mặc dù khái niệm “học” hay “huấn luyện” chưa được bàn đến nhưng để hiểu đượcmối quan hệ đầu vào-đầu ra của mạng Neural, chúng ta sẽ đề cập sơ qua về khái niệmnày Một mô hình học phổ biến được gọi là học với một người dạy hay học có giám sátliên quan đến việc thay đổi các trọng số liên kết của mạng Neural bằng việc áp dụng mộttập hợp các mẫu tích luỹ hay các ví dụ tích luỹ Mỗi một ví dụ bao gồm một tín hiệu đầuvào và một đầu ra mong muốn tương ứng Mạng Neural nhận một ví dụ lấy một cáchngẫu nhiên từ tập hợp nói trên tại đầu vào của nó, và các trọng số liên kết của mạng đượcbiến đổi sao cho có thể cực tiểu hoá sự sai khác giữa đầu ra mong muốn và đầu ra thực sựcủa mạng theo một tiêu chuẩn thống kê thích hợp Sự tích luỹ của mạng được lặp lại vớinhiều ví dụ trong tập hợp cho tới khi mạng đạt tới một trạng thái ổn định mà ở đó không

có một sự thay đổi đáng kể nào của các trọng số liên kết Các ví dụ tích luỹ được áp dụngtrước có thể được áp dụng lại trong thời gian của phiờn tớch luỹ nhưng theo một thứ tựkhác Như vậy mạng Neural học từ các ví dụ bằng cách xây dựng nên một tương ứng đầuvào-đầu ra cho vấn đề cần giải quyết

II.2.3 Tính chất thích nghi.

Các mạng Neural có một khả năng mặc định là biến đổi các trọng số liên kết tuỳtheo sự thay đổi của môi trường xung quanh Đặc biệt, một mạng Neural đã được tích luỹ

để hoạt động trong một môi trường xác định có thể được tích luỹ lại một cách dễ dàng khi

có những thay đổi nhỏ của các điều kiện môi trường hoạt động

II.2.4 Tính chất đưa ra lời giải có bằng chứng.

Trong ngữ cảnh phân loại mẫu, một mạng Neural có thể được thiết kế để đưa rathông tin không chỉ về mẫu được phân loại, mà còn về sự tin cậy của quyết định đã đượcthực hiện Thông tin này có thể được sử dụng để loại bỏ các mẫu mơ hồ hay nhập nhằng

II.2.5 Tính chất chấp nhận sai xót.

Một mạng Neural, được cài đặt dưới dạng phần cứng, vốn có khả năng chấp nhậnlỗi, hay khả năng tính toán thô, với ý nghĩa là tính năng của nó chỉ thoỏi hoá khi cónhững điều kiện hoạt động bất lợi Ví dụ, nếu một Neural hay các liên kết kết nối của nó

bị hỏng, việc nhận dạng lại một mẫu được lưu trữ sẽ suy giảm về chất lượng

II.2.6 Khả năng cài đặt VLSI(Very-large-scale-intergrated).

Bản chất song song đồ sộ của một mạng Neural làm cho nó rất nhanh trong tínhtoán đối với một số công việc Đặc tính này cũng tạo ra cho một mạng Neural khả năngphù hợp cho việc cài đặt sử dụng kỹ thuật Very-large-scale-intergrated (VLSI) Kỹ thuậtnày cho phép xây dựng những mạch cứng tính toán song song quy mô lớn Chính vì vậy

mà ưu điểm nổi bật của VLSI là mang lại những phương tiện hữu hiệu để có thể xử lýđược những hành vi có độ phức tạp cao

II.2.7 Tính chất đồng dạng trong phân tích và thiết kế.

Về cơ bản, các mạng Neural có tính chất chung như là các bộ xử lý thông tin.Chúng ta nêu ra điều này với cùng ý nghĩa cho tất cả các lĩnh vực có liên quan tới việcứng dụng mạng Neural Đặc tính này thể hiện ở một số điểm như sau:

 Các Neural, dưới dạng này hoặc dạng khác, biểu diễn một thành phần chungcho tất cả các mạng Neural

 Tính thống nhất này đem lại khả năng chia sẻ các lý thuyết và các thuật toánhọc trong nhiều ứng dụng khác nhau của mạng Neural.

 Các mạng tổ hợp (modular) có thể được xây dựng thông qua một sự tích hợpcác mô hình khác nhau

II.3 Phân loại mạng Neural

Mạng Neural là hệ thống bao gồm nhiều phần tử xử lý đơn giản( Neural) hoạtđộng song song Tính năng của hệ thống này tuỳ thuộc vào cấu trúc của hệ, các trọng sốliên kết và quá trình tính toán tại các Neural đơn lẻ Có nhiều cách phân loại mạngNeural, chủ yếu là dựa trên các cơ sở sau:

II.3.1 Theo kiểu liên kết Neural

 Mạng Neural truyền thẳng(Feed Forward Neural Network): Các liên kếtNeural đi theo một hướng nhất định, không tạo thành đồ thị có chu trình

 Mạng Neural hồi quy( Recurrent Neural Network) : cho phép các liên kếtNeural tạo thành chu trình

II.3.2 Theo phương pháp huấn luyện mạng

 Học giám sát( supervised learning)

 Học không có giám sát( unsupervised learning)

 Học tăng cường( reinforcement learning)

I.1.1 Theo số lớp Neural

Các Neural có thể tổ chức lại thành các lớp Tùy theo vấn đề cần giải quyết mà sửdụng mạng một lớp hay mạng đa lớp, các liên kết là nối đầy đủ hay không đầy đủ Sauđây chúng ta sẽ tìm hiểu phương phân loại dựa vào số lớp Neural trong mạng

I.1.1.1 Mạng Neural một lớp

Thông thường một Neural với nhiều đầu vào thường không đủ khả năng để giảiquyết các bài toán Người tao thường phải dùng nhiều Neural hoạt động song song gọi làmột lớp( hay còn gọi là một tầng) Neural

Một lớp của S Neural được mô tả trong hình 6 Các liên kết trong mạng này là nốiđầy đủ, tức là R đầu vào được nối đầy đủ với các Neural và ma trận trọng số bây giờ có Shàng

Hình 6: Mạng Neural một lớp có S-Neural

Số đầu vào và số đầu ra là độc lập với nhau, chúng không cần phải bằngnhau( R<>S) Hơn nữa, các hàm chuyển f của mỗi Neural trong cùng một lớp cũng khôngnhất thiết phải giống nhau

I.1.1.2 Mạng Neural nhiều lớp

Bây giờ ta xem xét mạng phức tạp hơn với một số lớp Neural nối tiếp nhau Mỗilớp có ma trận trọng số W riêng của nó, vectorr lệch b riêng, vectorr đầu vào tổng n riêng

và vectorr đầu ra riêng Chúng ta sẽ ký hiệu chỉ số trên của mỗi biến là số thứ tự củalớp(W1, W2, a1, a2, )

Đầu ra của lớp j-1 là đầu vào của lớp j, đầu ra của lớp j ;à đầu vào của lớp j+1 Dovậy với lớp thứ j có Sj-1 đầu vào, Sj Neural đầu ra và Sj-1.Sj trọng số trong ma trận Wj Đầuvào của mạng thứ j là aj-1 và đầu ra là aj

Lớp cuối cùng của mạng Neural gọi là lớp ra Các lớp khác gọi là lớp ẩn

Hình 7: Mạng Neural đa tầngMạng nhiều lớp có nhiều khả năng hơn mạng một lớp Một mạng hai lớp có hàmsigmoid ở lớp thứ nhất và hàm tuyến tính của lớp thứ hai có thể huấn luyện để xấp xỉ hầuhết mọi hàm tùy ý Mạng một lớp không thể thực hiện được việc này

I.1.1.3 Mạng Neural quy hồi

Mạng hồi quy là mạng có các phản hồi Một số đầu ra của mạng được đưa quay lại

Trong mạng đặc biệt này, tại thời điểm ban đầu t= 0, đầu ra của mạng được khởitạo giá trị a(0)=p Các đầu ra về sau được tính từ đầu ra trước đó

a (t+1) = f(Wa(t)+ b)

Các mạng hồi quy có tiềm năng mạnh hơn các mạng chuyển tiếp và có thể biểu diễncác cư xử theo thời gian

II.4 Xây dựng mạng Neural

Về cơ bản ta có thể hiểu mạng Neural là một đồ thị có hướng như hình 1.8 Trong

đó các đỉnh của đồ thị là các Neural và các cạnh của đồ thị là các liên kết giữa cácNeural

Hình 9: Sơ đồ đồ thị có hướng đơn giản

Vì vậy để xây dựng một mạng Neural ta xây dựng một đồ thị có hướng: số đỉnh của

đồ thị bằng số Neural trong mạng, giá trị của các cạnh chính là trọng số liên kết Neural

Ví dụ xây dựng một mạng Neural đơn giản:

Đầu vào: Cho :

Mạng Neural có số lớp (với số lớp>=1)

Mỗi lớp có số Neural trong một lớp (số Neural>=1)

Trọng số w liên kiết Neural ngẫu nhiên trong khoảng (-a,a)

Đầu ra: Mạng Neural nhân tạo

Kiểu dữ liệu: chọn lưu dữ kiểu mảng :

int số_lớp;

int số_Neural[số_lớp];

float w[i][j][k]; với 1<=i<=số lớp, 1<=j,k<=số Neural

Thuật toán

Bước 1: Chọn lớp i=1 là lớp bắt đầu

Bước 2: Chọn lớp i là lớp hiện thời

Bước 3 : Tại lớp đang xét i , xét Neural thứ j

Bước 4: Thực hiện khởi tạo ngẫu nhiên trọng số kết nối với Neural k của lớp i-1trong khoảng (-a,a)

w(i,j,k)=random(-a,a)

Bước 5: Nếu k <= số Neural[i-1] quay lại “Bước 4”, ngược lại thực hiện “Bước 6”