Tổng quan về mạng nơ-ron và giới thiệu một số ứng dụng của mạng nơ-ron

Mạng nơ-ron nhân tạo là một sản phẩmphần mềm ra đời nhằm kết hợp khả năng xử lý thông tin cực nhanh của máy tính với khả năng xử lý thông tin song song gần như cùng lúc của bộ não con ng

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH CHƯƠNG TRÌNH ĐẠO TẠO THẠC SĨ CNTT QUA MẠNG

Lời mở đầu

Ngày nay, không ai có thể phủ nhận vai trò cực kỳ quan trọng của máy tính trong hầu hết mọi lĩnh vực của đời sống Tuy nhiên, máy tính sẽ chỉ là một cỗ máy đơn thuần như bao cỗ máy khác nếu như nó không được sự hỗ trợ từ các phần mềm Mạng nơ-ron nhân tạo là một sản phẩmphần mềm ra đời nhằm kết hợp khả năng xử lý thông tin cực nhanh của máy tính với khả năng

xử lý thông tin song song gần như cùng lúc của bộ não con người Từ đó đã tạo nên sự kỳ diệu cho máy tính

Trong phạm vi bài thu hoạch này, em sẽ trình bày “Tổng quan về mạng nơ-ron và giới thiệu một số ứng dụng của mạng nơ-ron” Nội dung bài thu hoạch gồm các chương sau:

Chương 1: Tổng quan về mạng nơ-ron

Chương 2: Giới thiệu một số ứng dụng của mạng nơ-ronMong rằng bài viết có thể giúp cho người đọc có được những khái niệm cơ bản về mạng nơ-ron và định hình được hướng xây dựng đề tài nghiên cứu dựa trên mạng nơ-ron

Cảm ơn Thầy Hoàng Kiếm và các anh chị đã cung cấp những tài liệu liên quan đến đề tài

Mục Lụ

CHƯƠNG 1 : TỔNG QUAN VỀ MẠNG NƠ-RON (NEURAL) 1

1.1 Khái niệm 1

1.1.1 Nơ-ron sinh học 1

1.1.2 Nơ-ron nhân tạo 3

1.1.3 Mạng nơ-ron nhân tạo 4

1.2 Đặc trưng của mạng nơ-ron 5

1.2.1 Tính phi tuyến 5

1.2.2 Tính chất tương ứng đầu vào, đầu ra 5

1.2.3 Tính chất thích nghi 6

1.2.4 Tính chất đưa ra lời giải có bằng chứng 6

1.2.5 Tính chất chấp nhận sai sót 6

1.2.6 Tính chất đồng dạng trong phân tích và thiết kế 6

1.2.7 Khả năng cài đặt VLSI (very large scale intergrated 6

1.3 Phân loại mạng nơ-ron nhân tạo 6

1.3.1 Phân loại theo kiểu liên kết nơ-ron 6

1.3.2 Một số loại mạng noron 7

1.4 Huấn luyện mạng nơ-ron 9

1.4.1 Phương pháp học 9

1.4.2 Thuật toán học 10

1.5 Thu thập dữ liệu cho mạng nơ-ron 18

1.6 Một số vần đề của mạng nơ-ron 19

1.7 Một số hướng dẫn khi sử dụng mạng nơ-ron 19

CHƯƠNG 2 : GIỚI THIỆU MỘT SỐ ỨNG DỤNG CỦA MẠNG NƠ-RON 20

2.1 Giới thiệu 20

2.2 Một số đề tài nghiên cứu ứng dụng mạng nơ-ron hiện nay 20

Tài liệu tham khảo: 20

1 TỔNG QUAN VỀ MẠNG NƠ-RON (NEURAL)

1 Khái niệm

Các nhà khoa học đã cho ta thấy rằng nơ-ron hay tế bào thần kinh là đơn vị cơ sở đảm nhiệm những chức năng xử lý nhất định hệ thần kinh, bao gồm não, tủy sống và các dây thần kinh Mỗi nơ-ron gồm một thân(soma) chứa nhân, hình sao nhiều cạnh hoặc bầu dục và các sợi

Từ thân phát đi nhiều tua ngắn phân nhánh gọi là sợi nhánh (dendrite-dây thần kinh vào) và mộttua dài, mảnh gọi là sợi trục (axon-dây thần kinh ra) Doc sợi trục có thể có những tế bào

xchoan bao bọc tạo nên bao mi-ê-lin(myelin sheath) Sợi trục nối giữa trung ương thần kinh với các cơ quan, chúng đi chung với nhau tạo thành từng bó gọi là dây thần kinh Khoảng cách giữacác bao này có những đoạn ngắn gọi là eo răng-vi-ê(node of ranvier), còn diện tích tiếp xúc giữanhững nhánh nhỏ phân từ tận cùng sợi trục của nơ-ron này với sợi nhánh của nơ-ron khác hoặc

cơ quan thụ cảm gọi là khớp nối(synapse) Mỗi nơ-ron có thể có từ vài chục tới vài trăm nghìn khớp nối để nối với các nơ-ron khác Người ta ước lượng rằng mạng các dây thần kinh ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt nơ-ron

Các tín hiệu truyền trong các dây thần kinh vào và dây thần kinh ra của các nơ-ron là các tín hiệu điện, được thực hiện thông qua quá trình phản ứng và giải phóng các chất hữu cơ Các chất này được phát ra từ các khớp nối dẫn tới các dây thần kinh vào sẽ làm tăng hay giảm diện thế của nhân tế bào Khi điện thế này đạt tới một ngưỡng nào đó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra Xung này được truyền theo trục tới các nhánh rẽ, khi chạm tới các khớp nối với các nơ-ron khác sẽ giải phóng các chất truyền điện Các liên kết khớp thần kinh khá mềm dẻo, có thể biến động và chuyển đổi theo thời gian tùy thuôc vào các dạng kích thích Các nơ-ron có thể tự sản sinh các liên kết mới với các nơ-ron khác và đôi khi mạng các nơ-ron có thể di trú từ vùng này sang vùng khác trong não bộ Đây chình là cơ sở quan trọng để giải thích

cơ chế học của bộ não con người

Các chức năng cơ bản của bộ não:

-Tổ chức theo các bó thông tin và truy cập theo nội dung-Có khả năng tổng quát hóa, có thể truy xuất các tri thức hay các mối liên kết chung của các đối tượng tương ứng với một khái niệm chung nào đó

-Có thể tự điều chỉnh hoặc tiếp tục thực hiện ngay khi có những sai lệch do thông tin bị thiếu hay không chính xác

-Có thể phát hiện và hồi phục các thông tin bị mất dựa trên sự tương đồng giữa các đối tượng

-Có khả năng xuống cấp và thay thế dần dần Khi có những trục trặc tại các vùng não (bệnh,chấn thương) hoặc bắt gặp các thông tin hoàn toàn mới lạ thì bộ não vẫn có thể tiếp tục làm việc

-Về tốc độ tính toán thì các bộ xử lý có thể tính toán hàng triệu lệnh trong 1 giây, trong khi đó bộ não cần vài mili giây để kích hoạt

-Về khả năng xử lý song song thì máy tính vẫn còn nhiều hạn chế trong xử lý song song trong khi đó bộ não lại có khả năng kích hoạt gần như cùng một lúc tại nhiều nơ-ron

và các khớp nối Chính điều này đã tạo nên sự kỳ diệu trong khả năng tính toán và xử lý thông tin của bộ nảo chúng ta mà các máy tính hiện đại nhất cũng không thể so sánh được

Mạng nơ-ron nhân tạo ra đời có ý nghĩa to lớn nhằm tạo cho các thiết bị có thể kết hợp khả năng xử lý song song như bộ não và khả năng tính toán cao của máy tính Tuy nhiên cần một thời gian dài nữa để các mạng nơ-ron nhân tạo có thể mô phỏng các hành vi sáng tạo như

bộ não.Chẳng hạn như bộ não có thể nhận ra khuôn mặt người quen trong vòng vài giây trong khi đó máy tính cần thực hiện rất nhiều phép toán để nhận dạng và trong trường hợp thông tin khuôn mặt như trên không chính xác hay có sự thay đổi đôi chút thì đó là cả vấn đề đối với máytính

Một nơ-ron sinh học và cấu tạo của nó : sợi nhánh (dendrite), thân nơ-ron (soma), sợi trục (axon), bao mi-ê-lin

(myelin sheath), eo răng-vi-ê (node of ranvier), khớp nối (synapse)

1.1.2.Nơ-ron nhân tạo

Mô hình nơ-ron nhân tạo

Nơ-ron là một đơn vị xử lý thông tin cơ bản cho sự vận hành của mạng ron Một ron được cấu tạo gồm 3 thành phần chính: liên kết nơ-ron, bộ cộng, hàm kích hoạt

nơ Liên kết nơ-ron là một thánh phần của mạng nơ-ron nhân tạo, liên kết giữa các nơ-ron, nó nối đầu ra của nơ-ron lớp này với đầu vào của nơ-ron lớp khác Đặc trưng của thành phần liên kết là một trọng số mà mỗi tín hiệu đi qua đều nhân với trọng số này Cáctrọng số liên kết chính là các tham số tự do cơ bản của mạng nơ-ron, có thể thay đổi đượcsao cho thích nghi với môi trường xung quanh

-Bộ cộng dùng để tính tổng các tín hiệu đầu vào của nơ-ron, đã được nhân vớicác trọng số liên kết tương ứng Phép toán này được gọi là phép tổ hợp tuyến tính “linear combiner”

-Hàm kích hoạt hay còn gọi là hàm kích hoạt phi tuyến, có nhiệm vụ chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra Hàm kích hoạtnày đảm bảo tính chất phi tuyến cho tính toán mạng nơ-ron Nó được xem như một hàm giới hạn, nó giới hạn phạm vi biên độ cho phép của tín hiệu đầu ra trong một khoảng giá

trị hữu hạn Trị số ngưỡng θ k có tác dụng tăng hay giảm đi đầu vào thực của hàm kích hoạt

Một nơ-ron k được diễn tả như sau:

xi : tín hiệu vào

wki : trọng lượng tín hiệu vào xi của nơ-ron k

uk : kết hợp tuyến tính xuất

θ k : trị số ngưỡng kích hoạt của nơ-ron

yk : tín hiệu ra của nơ-ron k

f : hàm điều chỉnh biên độ tín hiệu ngõ ra của nơ-ronHàm f được gọi là hàm truyền khi thỏa các tính chất sau:

f(u) là hàm bị chặn, nghĩa là các giá trị của f(u) không bao giờ được vượt quá chặn trên cũng như thấp hơn chặn dưới với mọi giá trị của u

f(u) là hàm đơn điệu tăng, nghĩa là giá trị của f(u) luôn tăng khi giá trị của u tăng

f(u) là hàm liên tục tăng

Một số hàm kích hoạt cơ bản trong mạng nơ-ron:

-Hàm logistic:

f (u )= 11+e−u

Đồ thị hàm logistic:

Hàm logistic thường dùng khi muốn kết xuất có giá trị trong khoảng [0,1]

Khi muốn kết xuất có giá trị trong khoảng [-1,1], ta có thể sử dụng một trong hai hàm sau:

Hàm tang-hyperbol tiến đến giới hạn của nó nhanh hơn hàm hyperbol

Là một hệ thống gồm nhiều nơ-ron hoạt động song song và nối với nhau bởi các liên kết nơ-ron Mỗi liên kết kèm theo một trọng số nào đó, đặc trưng cho tính kích hoạt hay ức chế giữacác nơ-ron

Có thể xem các trọng số là phương tiện để lưu trữ thông tin dài hạn trong mạng nơ-ron vànhiệm vụ của quá trình huấn luyện của mạng là cập nhật các trọng số khi có thêm thông tin về mẫu học nhằm điều chỉnh sao cho đầu ra của mạng phù hợp với môi trường đang xem xét

Sơ đồ một mạng nơ-ron nhân tạo

Mô hình mạng nơ-ron trên gồm 3 lớp: lớp nhập, lớp ẩn, lớp xuất Mỗi nút trong lớp nhận giá trị của một biến độc lập và chuyển vào mạng

Dữ liệu từ tất cả các nút trong lớp nhập được tích hợp lại(tổng trọng số) và chuyển kết quả cho các nút trong lớp ẩn(các nút trong lớp này chỉ liên lạc giữa lớp nhập và lớp xuất, chỉ có người thiết kế biết đến lớp này, người sử dụng không biết đến lớp này)

Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút trong lớp ẩn Mỗi nút trong lớp xuất tương ứng với một biến phụ thuộc

2 Đặc trưng của mạng nơ-ron

2 Tính chất tương ứng đầu vào, đầu ra

Mặc dù khái niệm “học” hay “huấn luyện” chưa được bàn đến nhưng để hiểu được mối quan hệ đầu vào-đầu ra của mạng nơ-ron, chúng ta sẽ đề cập sơ qua về khái niệm này Một mô hình học phổ biến được gọi là học với một người dạy hay học có giám sát liên quan đến việc thay đổi các trọng số liên kết của mạng nơ-ron bằng việc áp dụng một tập hợp các mẫu tích luỹ hay các ví dụ tích luỹ Mỗi một ví dụ bao gồm một tín hiệu đầu vào và một đầu ra mong muốn tương ứng Mạng nơ-ron nhận một ví dụ lấy một cách ngẫu nhiên từ tập hợp nói trên tại đầu vàocủa nó, và các trọng số liên kết của mạng được biến đổi sao cho có thể cực tiểu hoá sự sai khác giữa đầu ra mong muốn và đầu ra thực sự của mạng theo một tiêu chuẩn thống kê thích hợp Sự tích luỹ của mạng được lặp lại với nhiều ví dụ trong tập hợp cho tới khi mạng đạt tới một trạng thái ổn định mà ở đó không có một sự thay đổi đáng kể nào của các trọng số liên kết Các ví dụ tích luỹ được áp dụng trước có thể được áp dụng lại trong thời gian của phiên tích luỹ nhưng

theo một thứ tự khác Như vậy mạng nơ-ron học từ các ví dụ bằng cách xây dựng nên một tương ứng đầu vào-đầu ra cho vấn đề cần giải quyết.

3 Tính chất thích nghi

Các mạng nơ-ron có một khả năng mặc định là biến đổi các trọng số liên kết tuỳ theo sự thay đổi của môi trường xung quanh Đặc biệt, một mạng nơ-ron đã được tích luỹ để hoạt động trong một môi trường xác định có thể được tích luỹ lại một cách dễ dàng khi có những thay đổi nhỏ của các điều kiện môi trường hoạt động

4 Tính chất đưa ra lời giải có bằng chứng

Trong ngữ cảnh phân loại mẫu, một mạng nơ-ron có thể được thiết kế để đưa ra thông tin không chỉ về mẫu được phân loại, mà còn về sự tin cậy của quyết định đã được thực hiện Thông tin này có thể được sử dụng để loại bỏ các mẫu mơ hồ hay nhập nhằng

5 Tính chất chấp nhận sai sót

Một mạng nơ-ron, được cài đặt dưới dạng phần cứng, vốn có khả năng chấp nhận lỗi, haykhả năng tính toán thô, với ý nghĩa là tính năng của nó chỉ thoái hoá khi có những điều kiện hoạt động bất lợi Ví dụ, nếu một nơ-ron hay các liên kết kết nối của nó bị hỏng, việc nhận dạng lại một mẫu được lưu trữ sẽ suy giảm về chất lượng

6 Tính chất đồng dạng trong phân tích và thiết kế

Về cơ bản, các mạng nơ-ron có tính chất chung như là các bộ xử lý thông tin Chúng ta nêu ra điều này với cùng ý nghĩa cho tất cả các lĩnh vực có liên quan tới việc ứng dụng mạng nơ-ron Đặc tính này thể hiện ở một số điểm như sau:

Các nơ-ron, dưới dạng này hoặc dạng khác, biểu diễn một thành phần chung cho tất cả các mạng nơ-ron

Tính thống nhất này đem lại khả năng chia sẻ các lý thuyết và các thuật toán học trong nhiều ứng dụng khác nhau của mạng nơ-ron

Các mạng tổ hợp (modular) có thể được xây dựng thông qua một sự tích hợp các mô hìnhkhác nhau

7 Khả năng cài đặt VLSI (very large scale intergrated

Bản chất song song đồ sộ của một mạng nơ-ron làm cho nó rất nhanh trong tính toán đối với một số công việc Đặc tính này cũng tạo ra cho một mạng nơ-ron khả năng phù hợp cho việccài đặt sử dụng kỹ thuật Very-large-scale-intergrated (VLSI) Kỹ thuật này cho phép xây dựng những mạch cứng tính toán song song quy mô lớn Chính vì vậy mà ưu điểm nổi bật của VLSI

là mang lại những phương tiện hữu hiệu để có thể xử lý được những hành vi có độ phức tạp cao

3 Phân loại mạng nơ-ron nhân tạo

1 Phân loại theo kiểu liên kết nơ-ron

Ta có mạng dẫn tiến (hay còn gọi là mạng truyền thẳng) và mạng hồi quy (hay còn gọi là mạng quy hồi)

Trong mạng dẫn tiến các nơ-ron đi theo một hướng nhất định tạo thành đồ thị không có chu trình, các đỉnh là các nơ-ron còn các cạnh là các liên kết giữa chúng

Các mạng hồi quy cho phép các liên kết nơ-ron tạo thành chu trình, các thông tin ra của các nơ-ron được truyền lại cho các nơ-ron đã góp phần kích hoạt chúng, nên mạng hồi quy còn

có khả năng lưu giữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết nơ-ron.

1.3.2 Một số loại mạng noron

1.3.2.1 Mạng dẫn tiến

Có thể nói mạng nơ-ron dẫn tiến là một kiểu mạng đơn giản trong việc sắp đặt mạng Trong mạng này thông tin chỉ truyền trên một hướng duy nhất từ lớp đầu vào xuyên qua lớp ẩn (nếu có) và kết thúc tại lớp đầu ra Không có chu trình hoặc vòng trong mạng

1.3.2.1.1 Mạng dẫn tiến đơn mức

Trong một mạng nơ-ron phân mức, các nơ-ron được tổ chức dưới dạng các mức Với dạng đơn giản nhất của mạng phân mức, chúng ta có một mức đầu vào gồm các nút nguồn chiếutrực tiếp tới mức đầu ra gồm các nơ-ron

Như vậy, mạng thực sự là không có chu trình Hình trên minh họa cho trường hợp ba nút đối với cả mức đầu ra và đầu vào Một mạng như vậy được gọi là một mạng đơn mức “Đơn mức” tức là chỉ có một mức, chính là mức đầu ra gồm các nút tính toán (các nơ-ron) Chúng ta không tính mức đầu vào của các nút nguồn vì không có tính toán nào được thực hiện ở đây

1.3.2.1.2 Mạng dẫn tiến đa mức

Lớp thứ hai của một mạng nơ-ron dẫn tiến được phân biệt bởi sự có mặt của một hay nhiều mức ẩn, mà các nút tính toán của chúng được gọi là các nơ-ron ẩn hay các đơn vị ẩn (thuật ngữ “ẩn” ở đây mang ý nghĩa là không tiếp xúc với môi trường) Chức năng của các nơ-ron ẩn là can thiệp vào giữa đầu vào và đầu ra của mạng một cách hữu hiệu Bằng việc thêm một vài mức ẩn, mạng có khả năng rút ra được các thống kê bậc cao của tín hiệu đầu vào Khả năng các nơ-ron ẩn rút ra được các thống kê bậc cao đặc biệt có giá trị khi mức đầu vào có kích thước lớn

Mạng nơ-ron trong hình bên dưới được gọi là kết nối đầy đủ với ý nghĩa là tất cả các nút trong mỗi mức của mạng được nối với tất cả các nút trong mức tiếp sau Nếu một số kết nối không tồn tại trong mạng, chúng ta nói rằng mạng là kết nối không đầy đủ

1.3.2.2 Mạng hồi quy

Trái với mạng nơ-ron dẫn tiến , mạng hồi quy là những mô hình với hai luồng dữ liệu có hướng Trong khi mạng dẫn tiến truyền dữ liệu theo một đường thẳng thì những mạng nơ-ron hồi quy có ít nhất một phản hồi từ những nơ-ron xử lý sau quay trở lại các nơ-ron xử lý trước đó