NHẬN DẠNG ẢNH MẶT NGƯỜI SỬ DỤNG MẠNG NƠRON

NHẬN DẠNG ẢNH MẶT NGƯỜI SỬ DỤNG MẠNG NƠRON

BỘ MÔN ĐIỆN TỬ - VIỄN THÔNG

LỜI CẢM ƠN

Sinh viên thực hiện xin gửi lời cảm ơn chân thành đến Cô Huỳnh Thị Thu Hiền

đã tận tình hướng dẫn giúp đỡ trong quá trình thực hiện đồ án

Sinh viên thực hiện cũng xin bày tỏ lòng biết ơn đến các thầy cô trường Đại học

Sư phạm kỹ thuật TPHCM đã tận tình giảng dạy trong thời gian qua để giúp sinh viên có được những kiến thức để hoàn thành đồ án

Cuối cùng sinh viên thực hiện xin chân thành cảm ơn sự đóng góp ý kiến của các bạn sinh viên

Sinh viên thực hiện Nguyễn Thanh Việt

MỤC LỤC

LỊCH TRÌNH ĐỒ ÁN MÔN HỌC……….ii

LỜI CẢM ƠN iiii

MỤC LỤC ………iv

LIỆT KÊ HÌNH……….……vi

CHƯƠNG 1: MỞ ĐẦU 1

1.1.Đặt vấn đề 1

1.2.Lý do chọn đề tài 1

1.3.Mục tiêu đề tài 1

1.4.Giới hạn đề tài 2

1.5.Bố cục của đồ án 2

CHƯƠNG 2:CƠ SỞ LÝ THUYẾT 3

2.1 Giới thiệu về hệ thống xử lí ảnh 3

2.1.1 Phần thu nhận ảnh (Image Acquisition) 3

2.1.2.Tiền xử lý (Image Processing) 3

2.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh 4

2.1.4.Biểu diễn ảnh (Image Representation) 4

2.1.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation) 4

2.1.6 Cơ sở tri thức (Knowledge Base) 5

2.2 Những vấn đề cơ bản trong hệ thống xử lí ảnh 5

2.2.1 Điểm ảnh (Picture Element) 5

2.2.2 Độ phân giải của ảnh 5

2.2.3 Mức xám của ảnh 6

2.2.4 Định nghĩa ảnh số 6

2.3 Trích chọn đặc trưng ảnh 7

2.3.1 Thuật toán biến đổi hình thái(Morphological Operations) 7

2.3.2 Thuật toán his-and-miss 8

2.4 Phương pháp hạ Gradient 9

2.5 Mạng nơron 10

2.5.1 Giới thiệu sơ nét về mạng nơron 10

2.5.2 Phân loại mạng nơ-ron nhân tạo 12

2.5.3 Học tham số(Parameter Learning) 12

2.5.4 Mạng lan truyền ngược 13

2.5.5 Luật học lan truyền ngược(Backpropagation Learning Rule) 14

CHƯƠNG 3: NỘI DUNG NGHIÊN CỨU 16

3.1 Thiết kế chương trình nhận dạng 16

3.1.1 Đọc ảnh dữ liệu và ảnh kiểm tra 16

3.1.2 Huấn luyện ảnh dữ liệu và ảnh kiểm tra 17

3.1.3 Chọn ảnh cần kiểm tra 20

3.1.4 So sánh ngưỡng 21

CHƯƠNG 4: KẾT QUẢ NGHIÊN CỨU 22

4.1 Phần lý thuyết 22

4.2 Phần mô phỏng 22

CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 25

5.1 Kết luận 25

5.2.Hướng phát triển 25

PHỤ LỤC 26

Phụ lục A: Code của chương trình 26

Giao diện 1 26

Giao diện 2 26

Chương trình msnn1 30

Giao diện 3………32

Phụ lục B: Tài liệu tham khào……… 34

LIỆT KÊ HÌNH

Hình 2.1: Các bước cơ bản trong xử lý ảnh 3

Hình 2.2 Ảnh sau khi biến đổi hình thái 8

Hình 2.3 Kết quả của thuật toán hit-and-miss 9

Hình 2.4 Cấu trúc của nơ-ron sinh hoc 10

Hình 2.5 Nơ-ron nhân tạo 11

Hình 2.6 Đồ thị hàm ngưỡng 12

Hình 2.7 Mạng lan truyền ngược dùng n lớp ẩn 14

Hình 3.1 Lưu đồ chương trình nhận dạng 16

Hình 3.2 Lưu đồ đọc ảnh 17

Hình 3.3 Lưu đồ giải thuật cho mạng lan truyền ngược 19

Hình 3.4 Ảnh kiểm tra 20

Hình 3.5 So sánh ngưỡng và chọn ảnh phù hợp 21

Hình 3.6 Ảnh thông báo lỗi 21

Hình 4.1 Chương trình chính 22

Hình 4.2 Chương trình nhận dạng 23

Hình 4.3 Chỉ số ảnh 23

Hình 4.3 Command window trong quá trình huấn luyện 24

Hình 4.4 Kết quả nhận dạng 24

CHƯƠNG 1: MỞ ĐẦU

1.1.Đặt vấn đề

Những năm gần đây, các bài toán nhận dạng đã có những bước tiến khá quan trọng Đối tượng nhận dạng ngày càng phong phú và đa dạng hơn, việc nhận dạng bây giờ không còn là nhận dạng offline nữa và các góc độ của mặt người không phải cố định mà nó liên tục thay đổi Để thực hiện các bài toán nhận dạng này đòi hỏi phải có những thuật toán hiệu quả để giải quyết công việc nhận dạng chính xác và trong thời gian chấp nhận được

1.2.Lý do chọn đề tài

Ngày nay, công việc nhận dạng khuôn mặt có nhiều ứng dụng quan trọng trong hệ thống bảo mật như khóa bằng vân tay, giọng nói, giác mạc mắt đến các thiết bị an ninh, truy tìm tội phạm…Ngoài ra nó còn được sử dụng trong thiết kế robot nhận dạng

Xuất phát từ những yêu cầu thực tế trên người thực hiện tiến hành tìm hiểu và nghiên cứu đề tài :“NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON”

1.3.Mục tiêu đề tài

Người thực hiện nghiên cứu với các mục tiêu sau:

- Tìm hiểu sơ lược về lý thuyết xử lý ảnh

- Tìm hiểu về cấu trúc của nơron nhân tạo, mạng nơron

- Tìm hiểu về thuật toán biến đổi hình thái

- Tìm hiểu các thuật toán nhận dạng và xử lý ảnh

- Nâng cao kỹ năng thiết kế và lập trình bằng ngôn ngữ matlab

- Rèn luyện kỹ năng nghiên cứu, đọc hiểu tài liệu tiếng anh

- Nghiên cứu trích đặc trưng dùng phương pháp biến đổi hình thái

- Nghiên cứu giải thuật và thực hiện phần mền nhận dạng trên matlab

1.5.Bố cục của đồ án

Chương 1: Giới thiệu

Chương 2: Cơ sở lý thuyết

Chương 3: Nội dung nghiên cứu

Chương 4: Kết quả nghiên cứu và thực hiện

Chương 5: Kết luận và hướng phát triển

CHƯƠNG 2:CƠ SỞ LÝ THUYẾT

2.1 Giới thiệu về hệ thống xử lí ảnh

Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ Nó là một ngành khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên dụng riêng cho nó

Đối với một hệ thống xử lý ảnh, các công việc của nó bao gồm các bước như hình 2.1

Hình 2.1: Các bước cơ bản trong xử lý ảnh

2.1.1 Phần thu nhận ảnh (Image Acquisition)

Ảnh có thể nhận qua camera màu hoặc đen trắng Thường ảnh nhận qua camera

là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng

có loại camera đã số hoá (như loại CCD – Change Coupled Device) là loại photodiot

tạo cường độ sáng tại mỗi điểm ảnh

Camera thường dùng là loại quét dòng ; ảnh tạo ra có dạng hai chiều Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh)

2.1.2.Tiền xử lý (Image Processing)

Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền

xử lý để nâng cao chất lượng Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ

Phân đoạn ảnh

Biểu diễn

và mô tả

Nhận dạng và nội suy

Thu nhận

ảnh

Tiền xử lý ảnh

Cơ sở trí thức

2.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh

Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này

2.1.4.Biểu diễn ảnh (Image Representation)

Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác

2.1.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation)

Nhận dạng ảnh là quá trình xác định ảnh Quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thư có thể được nội suy thành mã điện thoại Có nhiều cách phân loai ảnh khác nhau về ảnh Theo lý thuyết về nhận dạng, các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản:

o Nhận dạng theo tham số

o Nhận dạng theo cấu trúc Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người…

2.1.6 Cơ sở tri thức (Knowledge Base)

Ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho

xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người Vì vậy, ở đây các cơ sở tri thức được phát huy

2.2 Những vấn đề cơ bản trong hệ thống xử lí ảnh

2.2.1 Điểm ảnh (Picture Element)

Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính (số), ảnh cần phải được số hoá Số hoá ảnh là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (không gian) và độ sáng (mức xám) Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt được ranh giới giữa chúng Mỗi một điểm như vậy gọi là điểm ảnh (PEL: Picture Element) hay gọi tắt là Pixel Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa độ (x, y)

Định nghĩa:

Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất định Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như ảnh thật Mỗi phần tử trong ma trận được gọi là một phần tử ảnh

2.2.2 Độ phân giải của ảnh

Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh

số được hiển thị Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x

và y trong không gian hai chiều

Ví dụ: Độ phân giải của ảnh trên màn hình CGA (Color Graphic Adaptor) là một lưới điểm theo chiều ngang màn hình: 320 điểm chiều dọc * 200 điểm ảnh (320*200)

Rõ ràng, cùng màn hình CGA 12” ta nhận thấy mịn hơn màn hình CGA 17” độ phân giải 320*200 Lý do: cùng một mật độ (độ phân giải) nhưng diện tích màn hình rộng hơn thì độ mịn (liên tục của các điểm) kém hơn

+ Các thang giá trị mức xám thông thường: 16, 32, 64, 128, 256 (Mức 256

là mức phổ dụng Lý do: từ kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn mức xám: Mức xám dùng 1 byte biểu diễn: 28=256 mức, tức là từ 0 đến 255) + Ảnh đen trắng: là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở các điểm ảnh có thể khác nhau

+ Ảnh nhị phân: ảnh chỉ có 2 mức đen trắng phân biệt tức dùng 1 bit mô tả 2 mức khác nhau Nói cách khác: mỗi điểm ảnh của ảnh nhị phân chỉ có thể

là 0 hoặc 1 Ảnh màu: trong khuôn khổ lý thuyết ba màu (Red, Blue, Green) để tạo nên thế giới màu, người ta thường dùng 3 byte để mô tả mức màu, khi đó các giá trị màu: 28*3=224≈ 16,7 triệu màu

2.2.4 Định nghĩa ảnh số

Ảnh số là tập hợp các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật Ảnh là một sự vật đại diện cho con người,sinh vật hay sự vật nào đó v.v… ảnh động như ta thấy trên truyền hình thực chất là tập hợp của rất nhiều ảnh tĩnh liên tiếp.khi một ảnh được số hóa thì nó trở thành ảnh số và ảnh số này lại là một tập hợp của rất nhiều phần tử ảnh được gọi là điểm ảnh hay là “pixel”.mỗi điểm ảnh lại được biểu diễn dưới dạng một số hữu hạn các bit

Chúng ta có thể chia ảnh ra làm ba loại khác nhau :

+ Ảnh đen trắng :mỗi điểm ảnh được biểu diễn bởi một bit

+ Ảnh Gray – scale :mỗi điểm ảnh được biểu diễn bằng các mức chói khác

nhau,thường thì ảnh này được biểu diễn bằng 256 mức chói hay là 8 bit cho mỗi điểm ảnh

+ Ảnh màu : mỗi điểm ảnh chia ra thành tín hiệu chói và tín hiệu màu

2.3 Trích chọn đặc trưng ảnh

Có nhiều phương pháp trích đặc trưng như phương pháp phân tích thành phần

chính(PCA-Principal Component Analysis), phương pháp phân tách tuyến tính(LDA

– Linear Discriminant Analysis) và phương pháp biến đổi hình thái, do những ưu

điểm và sự hiệu quả trong quá trình trích đặc trưng của phương pháp biến đổi hình

thái nên chúng ta chọn phương pháp này trong quá trình trích chọn đặc trưng

2.3.1 Thuật toán biến đổi hình thái(Morphological Operations)

Hai phương pháp PCA và LDA cho phép phân tích dựa trên các đặc điểm

mang tính thống kê của ảnh Tuy nhiên, các phương pháp này chưa xét đến

những đặc điểm về hình thái của mặt nguời Đó chính là những đặc phận trên

khuôn mặt như mắt, mũi, miệng Phương pháp biến trưng về đường nét của các

bộ đổi hình thái sẽ bổ sung cho những thiếu sót này của hai phương pháp trên

Xử lý ảnh về hình thái là một phép xử lý trong đó dạng không gian hoặc cấu trúc

của các đối tượng trong ảnh được chỉnh sửa

Thuật toán hình thái là một thuật toán mặc nạ phi tuyến mà có thể dò được khuôn

mặt Về mặt toán học thuật toán này dựa trên lý thuyết tập hợp Nó thêm vào hoặc xóa

đi các điểm ảnh từ ảnh nhị phân theo các luật đã biết phụ thuộc vào các mẫu lân cận

Phép dãn ảnh và phép co ảnh là hai thao tác xử lý hình thái cơ bản Với phép dãn

ảnh, một đối tượng sẽ nổi đều lên trong không gian, còn với phép co ảnh đối tượng sẽ

co đều xuống

Xét một ảnh đa mức xám F(j,k) được lượng tử hóa với một thang mức xám nào

đó Khi đó, phép dãn ảnh đối với ảnh đa mức xám được định nghĩa như sau:

( , ), ( , 1)( , ) AX ( 1, 1), ,

trong đó MAX{S1, ,S9} trả về giá trị lớn nhất trong các giá trị của chín điểm ảnh của

lân cận 3×3 Tương tự, phép co ảnh đối với ảnh đa mức xám được định nghĩa như sau:

( , ), ( , 1)( , ) ( 1, 1), ,

Hình sau là một số ảnh mặt người đã được biến đổi qua phép xử lý hình thái

Hình 2.2 Ảnh sau khi biến đổi hình thái

2.3.2 Thuật toán his-and-miss

Thuật toán hit-and-mis là một phép nhân chập dựa trên giản ảnh-co erosion-based) Nó là một bộ dò dạng hình thái mà có thể được sử dụng để tìm ra những đặc trưng của điểm ảnh trong một bức ảnh Thuật toán này có phương trình như sau:

c c

Hình 2.3 Kết quả của thuật toán hit-and-miss

2.4 Phương pháp hạ Gradient

Phương pháp giảm gradient gồm các bước chính sau:

 Chọn ngẫu nhiên một điểm x0 trong không gian trọng số

 Tính độ dốc của hàm lỗi tại x0

 Di chuyển điểm x0 theo hướng dốc nhất của hàm lỗi

Quá trình tính độ dốc và di chuyển này sẽ được lặp lại cho đến khi x0 tiến tới giá trị làm cho hàm lỗi đạt giá trị nhỏ nhất

Cập nhật trọng số theo phương pháp giảm gradient và sự hội tụ

Phương pháp này sẽ dựa trên đạo hàm riêng của hàm lỗi E đối với các trọng số đang xét theo công thức sau:

- t là chỉ số của lần cập nhật trọng số hiện tại

-  là hệ số học

- w là một trong những trọng bất kỳ trong mạng

Theo công thức trên,ta thấy chúng ta cập nhật trọng số ngược hướng với sai số trung bình bình phương và hệ số học  Tuy nhiên, đối với mạng MLP (MultiLayer Perceptron) thì hàm sai số bình phương thường phức tạp và có nhiều trị cục bộ, vì thế phép lặp huấn luyện mạng có thể chỉ đạt tới giá trị cục bộ của hàm sai số trung bình bình phương mà không đạt tới giá trị tổng thể Vấn đề quá trình huấn luyện sẽ hội tụ

như thế nào sẽ phụ thuộc vào điều kiện ban đầu của quá trình huấn luyện mạng Đặt biệt là quá trình chọn hệ số học  như thế nào để tăng khả năng hội tụ của mạng Vì thế, với mỗi bài toán khác nhau ta sẽ lựa chọn hệ số học khác nhau

Như thế, khi một quá trình huấn luyện theo thuật toán lan truyền ngược hội tụ, ta chưa có thể khẳng định được nó hội tụ có tối ưu hay không Ta cần phải thử một số điều kiện ban đầu để đảm bảo thu được phương án tối ưu

2.5 Mạng nơron

2.5.1 Giới thiệu sơ nét về mạng nơron

Mạng nơron nhân tạo được thiết kế dựa trên mô hình mạng nơron thần kinh với các phần tử nơron nhân tạo của nó là sự mô phỏng nơron sinh học

Đầu tiên, ta tìm hiểu sơ nét về mạng nơ ron sinh học

Cấu trúc nơron sinh học

Một tế bào nơron gồm bốn phần cơ bản:

- Các nhánh và rễ:Các nhánh và

rễ là các bộ phận nhận thông tin, các đầu nhạy hoặc các đầu ra của các nơron khác bám vào rễ hoặc nhánh của một nơron

- Thân thần kinh (Soma):Thân thần kinh chứa các nhân và cơ quan tổng hợp protein Các ion vào được tổng hợp và biến đổi Khi nồng độ các ion đạt đến một giá trị nhất định, xảy ra quá trình phát xung (hay kích thích) Xung đó được phát ở các đầu

ra của nơron Dây dẫn đầu ra xung được gọi là dây thần kinh

Hình 2.4 Cấu trúc của nơ-ron sinh hoc

- Dây thần kinh (Axon):Dây thần kinh là đầu ra Đó là phương tiện truyền dẫn tín hiệu Dây thần kinh được cấu tạo gồm các đốt và có thể dài từ micro mét đến vài mét tuỳ từng kết cấu cụ thể Đầu ra này có thể truyền tín hiệu đến các nơron khác

- Khớp thần kinh là bộ phận tiếp xúc của đầu ra nơron với rễ, nhánh của các nơron khác

Chúng có cấu trúc màng đặc biệt để tiếp nhận các tín hiệu khi có sự chênh lệch về nồng độ ion giữa bên trong và bên ngoài Nếu độ lệch về nồng độ càng lớn thì việc truyền các ion càng nhiều và ngược lại Mức độ thẩm thấu của các ion có thể coi là một đại lượng thay đổi tuỳ thuộc vào nồng độ như một giá trị đo thay đổi được gọi là trọng

Cấu trúc nơron nhân tạo

Dựa vào cấu trúc trên chúng ta cũng có thể tạo ra một tế bào nơ-ron cơ bản có các thành phần tương tự như trên đó là perceptron

Hình 2.5 Nơ-ron nhân tạo Một perceptron được mô tả như hình sau:

Nơron này sẽ hoạt động như sau: giả sử có n inputs, nơron sẽ có n weights(trọng số) tương ứng với n đường truyền inputs Nơron sẽ lấy tổng có trọng số của tất cả các inputs Sau đó lấy tổng của tất cả các kết quả thu được Đường truyền nào có weight càng lớn thì tín hiệu truyền qua đó càng lớn, như vậy có thể xem weight

là đại lượng tương đương với synapse trong nơron sinh học Có thể viết kết quả lấy tổng của nơron như sau:

Dạng này có phương trình tổng

quát như sau:

1 ( )

2.5.2 Phân loại mạng nơ-ron nhân tạo

Có nhiều cách để phân loại mạng nơ-ron nhân tạo, tùy theo tiêu chí đề ra: Dựa vào số lượng lớp có trong mạng, ta phân thành:

+ Mạng một lớp + Mạng nhiều lớp Dựa vào đường truyền tín hiệu trong mạng, ta phân thành:

+ Mạng truyền thẳng + Mạng phản hồi + Mạng tự tổ chức

2.5.3 Học tham số(Parameter Learning)

Mục tiêu của việc học tham số là thay đổi, cập nhật các trọng liên kết Hầu hết các luật học tồn tại thuộc kiểu học tham số Các kiểu học điển hình mà chúng ta sẽ nghiên cứu trong phần sau Thông thường, luật học tham số được chia thành ba dạng chính,

đó là: Học giám sát, học không giám sát và học củng cố

Học có thầy (Học giám sát: Supervised Learning): Với kiểu học này, tại mỗi thời điểm có đầu vào mạng nơron thì đầu ra mong muốn của hệ sẽ được cho sẵn

Học không có thầy (Học không giám sát: Unsupervised Learning): Với kiểu học này, không có bất kì một thông tin phản hồi từ môi trường nào Mạng phải tự tìm ra các mẫu, đặc tính, tính quy tắc, sự tương quan trong dữ liệu đầu vào và tập hợp lại để

tạo đầu ra Khi tự tìm ra các đặc điểm này, mạng đã trải qua các thay đổi về tham số của nó Quá trình này được gọi là tự tổ chức

2.5.4 Mạng lan truyền ngược

Thuật học lan truyền ngược là một trong những phát triển quan trọng trong mạng nơron Thuật toán này được áp dụng cho các mạng nhiều lớp truyền thẳng (FeedForward) gồm các phần tử xử lý với hàm kích hoạt liên tục Các mạng như vậy kết hợp với thuật toán học lan truyền ngược được gọi là mạng lan truyền Về mặt lý thuyết đã chứng minh được rằng: mạng ba lớp trở lên có thể nhận biết được mọi hàm bất kỳ Chính vì vậy, luật học truyền ngược có ý nghĩa rất quan trọng trong việc cập nhật trọng của mạng nhiều lớp truyền thẳng Nền tảng của thuật toán cập nhật trọng này cũng là phương pháp hạ Gradient Thật vậy, cho cặp mẫu đầu vào - đầu ra

ra thực sự y( )k Sau đó, tín hiệu lỗi tạo từ sai khác giữa ( )k

d và y( )k sẽ được lan truyền ngược từ lớp ra quay trở lại các lớp trước đó để chúng cập nhật trọng Để minh hoạ chi tiết thuật toán lan truyền ngược, xét một mạng 3 lớp:lớp vào có m nơron, lớp ẩn có

trong đó f(.) là hàm tương tác đầu ra

+ Lớp ra: giả thiết hàm tương tác đầu ra của lớp ra giống các lớp khác, tức là f(.)Khi đó tổng đầu vào của nơron thứ i có thể xác định

2.5.5 Luật học lan truyền ngược(Backpropagation Learning Rule)

Cơ sở của luật học lan truyền ngược được xây dựng trên phương pháp hạ Gradient Đầu tiên, xây dựng hàm chi phí (hay còn gọi là hàm sai số giữa đầu ra mong muốn di với đầu ra thực tế yi)