Phân lớp các mẫu với ứng dụng của mạng nơron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vnChương 1 Bài toán phân lớp 1.1 Khái niệm phân lớp 1.1.1 Khái niệm phân lớp Phân lớp dữ liệu là kĩ thuật dự

Trang 1

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG

Trang 2

có cho vay hay không hoặc cho vay nhiều hay cho vay ít

Các nhà quản lý cần xếp cán bộ, nhân viên dưới quyền vào các lớp để qui hoạch xây dựng đội ngũ Mỗi cán bộ, nhân viên với những giá trị của những thông số khác nhau cần phải được đưa vào những lớp khác nhau

Các nhà giáo dục cần phân lớp các em học sinh theo những tiêu chí khác nhau Khi biết đối tượng dạy học của mình thuộc lớp nào ta sẽ có những phương pháp giáo dục thích hợp

Các trường chuyên nghiệp cần phân lớp các học sinh theo các tham số khác nhau tương ứng với những mức học bổng khác nhau

Với những kho dữ liệu khổng lồ, phân lớp là thao tác giúp ta khai phá dữ liệu, tìm kiếm tri thức được nhanh chóng và hiệu quả hơn

Các đối tượng cần phân lớp thường được biểu diễn bởi một vectơ, trong đó mỗi thuộc tính có thể có những thứ nguyên khác nhau vì thế việc phân lớp rất khó khăn Ví dụ cần phân lớp cán bộ theo các tiêu chí tài và đức Thật khó đánh giá xem ai ở lớp trên, ai ở lớp dưới khi giá trị trung bình của hai tiêu chí này của

họ là xấp xỉ như nhau Nếu việc phân lớp không chính xác, cũng giống như đánh giá không chính xác tất yếu sẽ dẫn đến những hậu quả tai hại

Đã có nhiều người quan tâm đến vấn đề phân lớp Nhưng các phương pháp

đã có thường chịu ảnh hưởng nhiều của cảm tính, hoặc chịu ảnh hưởng nhiều của yếu tố tâm lý, của chủ thể phân lớp Ngay cả với những phương pháp toán học, do ranh giới phân lớp nhiều trường hợp không phải là tuyến tính nên bài toán phân lớp thường có độ phức tạp tính toán lớn và độ chính xác không cao

Trang 3

Mạng nơron nhân tạo là mô hình tính toán mô phỏng hoạt động của não người Do có tính mềm dẻo, linh hoạt và khả năng dung thứ lỗi, mạng nơron có thể xấp xỉ mọi hàm với độ chính xác cao nên việc phân lớp bằng mạng nơron sẽ đưa đến kết quả không những khách quan mà còn đảm bảo kết quả tốt

Về mặt lý thuyết, phân lớp nhờ mạng nơron nhân tạo đã được nghiên cứu và khẳng định là một khả năng tiềm tàng của mô hình tính toán này Những khảo nghiệm sâu về các giải thuật với mạng phân lớp và nghiên cứu thử nghiệm mô hình này còn chưa nhiều Vì thế, trong khuôn khổ của một luận văn thạc sĩ tôi

chọn đề tài: “Phân lớp các mẫu với ứng dụng của mạng nơron nhân tạo”

nhằm tìm hiểu thêm về mạng nơron nhân tạo với việc phân lớp các con số Từ

đó rút ra những kết luận cần thiết cho việc xây dựng các ứng dụng cụ thể về sau

Em xin cảm ơn sự giúp đỡ nhiệt tình của các thầy, đặc biệt là TS Nguyễn Tân Ân

Luận văn không thể tránh khỏi sai xót, em mong nhận được sự đóng góp ý kiến của các thầy và các bạn để luận văn được hoàn thiện hơn

Trang 4

Trang 5

Chương 1 Bài toán phân lớp

1.1 Khái niệm phân lớp

1.1.1 Khái niệm phân lớp

Phân lớp dữ liệu là kĩ thuật dựa trên tập huấn luyện và những giá trị hay nhãn của lớp trong một thuộc tính phân lớp và sử dụng nó trong việc phân lớp

dữ liệu mới Phân lớp cũng là tiên đoán loại lớp của nhãn

1.1.2 Bài toán phân lớp

• Mục đích: để dự đoán những nhãn phân lớp cho các bộ dữ liệu/mẫu mới

• Đầu vào: một tập các mẫu dữ liệu huấn luyện, với một nhãn phân lớp cho mỗi mẫu dữ liệu

• Đầu ra: mô hình (bộ phân lớp) dựa trên tập huấn luyện và những nhãn

Bao gồm 2 bước: Xây dựng mô hình và sử dụng mô hình

- Bước 1 Xây dựng mô hình: là mô tả một tập những lớp được định nghĩa trước Trong đó, mỗi bộ hoặc mẫu được gán thuộc về một lớp được định nghĩa trước như là được xác định bởi thuộc tính nhãn lớp, tập hợp của những bộ được

sử dụng trong việc sử dụng mô hình được gọi là tập huấn luyện Mô hình được biểu diễn là những luật phân lớp, cây quyết định và những công thức toán học

- Bước 2 Sử dụng mô hình: Việc sử dụng mô hình phục vụ cho mục đích phân lớp dữ liệu trong tương lai hoặc phân lớp cho những đối tượng chưa biết đến Trước khi sử dụng mô hình người ta thường phải đánh giá tính chính xác của mô hình, trong đó nhãn được biết của mẫu kiểm tra được so sánh với kết quả

Trang 6

phân lớp của mô hình, độ chính xác là phần trăm của tập hợp mẫu kiểm tra mà phân loại đúng bởi mô hình, tập kiểm tra là độc lập với tập huấn luyện

1.4 Các kỹ thuật phân lớp

1.4.1 Phân lớp bằng phương pháp qui nạp cây quyết định

1.4.1.1 Khái niệm cây quyết định

Cây quyết định là một flow-chart giống cấu trúc cây, nút bên trong biểu thị một kiểm tra trên một thuộc tính, nhánh biểu diễn đầu ra của kiểm tra, nút lá biểu diễn nhãn lớp hoặc sự phân bố của lớp

Việc tạo cây quyết định bao gồm 2 giai đoạn: Tạo cây và tỉa cây

Để tạo cây ở thời điểm bắt đầu tất cả những ví dụ huấn luyện ở gốc sau đó phân chia ví dụ huấn luyện theo cách đệ qui dựa trên thuộc tính được chọn

Việc tỉa cây là xác định và xóa những nhánh mà có phần tử hỗn loạn hoặc những phần tử nằm ngoài (những phần tử không thể phân vào một lớp nào đó)

Việc sử dụng cây quyết định như sau: Kiểm tra những giá trị thuộc tính

của mẫu đối với cây quyết định

1.4.1.2 Thuật toán qui nạp cây quyết định

Giải thuật cơ bản (giải thuật tham lam) được chia thành các bước như sau:

1 Cây được xây dựng đệ qui từ trên xuống dưới (top-down) và theo cách thức chia để trị (divide-conquer)

2 Ở thời điểm bắt đầu, tất cả những ví dụ huấn luyện ở gốc

3 Thuộc tính được phân loại (nếu là giá trị liên tục chúng được rời rạc hóa)

4 Những ví dụ huấn luyện được phân chia đệ qui dựa trên thuộc tính mà

nó chọn lựa

5 Kiểm tra những thuộc tính được chọn dựa trên nền tảng của heristic hoặc của một định lượng thống kê

Điều kiện để dừng việc phân chia:

1 Tất cả những mẫu huấn luyện đối với một nút cho trước thuộc về cùng một lớp

Trang 7

2 Không còn thuộc tính còn lại nào để phân chia tiếp

3 Không còn lại mẫu nào

1.4.1.3 Nội dung giải thuật học cây quyết định cơ bản ID3

ID3 là một giải thuật học cây quyết định được phát triển bởi Ross Quinlan (1983) Ý tưởng cơ bản của giải thuật ID3 là để xây dựng cây quyết định bằng việc sử dụng một cách tìm kiếm từ trên xuống trên những tập hợp cho trước để kiểm tra mỗi thuộc tính tại mỗi nút của cây Để chọn ra thuộc tính hữu ích nhất cho sự phân loại trên những tập hợp cho trước, chúng ta sẽ đưa ra một hệ đo độ lợi thông tin

Để tìm ra một cách tối ưu để phân loại một tập hợp thông tin, vấn đề đặt

ra là chúng ta cần phải làm tối thiểu hóa (chẳng hạn, tối thiểu chiều cao của cây) Như vậy chúng ta cần một số chức năng có thể đánh giá trường hợp nào cho ra một sự phân chia cân bằng nhất Hệ đo độ lợi thông tin sẽ là hàm như vậy

1.4.1.4 Những thiếu sót của giải thuật ID3

Trường hợp thiếu sót thứ nhất:

Một thiếu sót quan trọng của ID3 là không gian phân chia hợp lệ tại một nút là cạn kiệt Một sự phân chia là sự phân hoạch của mỗi trường hợp của không gian mà kết quả đạt được từ việc thử nghiệm tại một nút quyết định ID3

và con cháu của nó cho phép sự kiểm tra tại một thuộc tính đơn và nhánh trong kết quả cho ra từ sự kiểm tra này

Trường hợp thiếu sót thứ hai:

ID3 dựa rất nhiều vào số lượng của những tập hợp dữ liệu đưa vào Quản

lý sự tạp nhiễu của tập dữ liệu vào vô cùng quan trọng khi chúng ta ứng dụng giải thuật học cây quyết định vào thế giới thực Ví dụ, khi có sự lẫn tạp trong tập

dữ liệu đưa vào hoặc khi số lượng ví dụ đưa vào quá nhỏ để tạo ra một ví dụ điển hình của hàm mục tiêu đúng ID3 có thể dẫn đến việc tạo quyết định sai

Có rất nhiều những mở rộng từ giải thuật ID3 cơ bản đã phát triển để áp dụng những luật học cây quyết định vào thế giới thực, như những post-pruning

Trang 8

tree, quản lý những thuộc tính giá trị thực, liên quan đến việc thiếu những thuộc tính, sử dụng những tiêu chuẩn chọn lựa thuộc tính khác hơn thu thập thông tin

1.4.1.5 Sự phân lớp cây quyết định trong cơ sở dữ liệu lớn

Sự phân lớp là một vấn đề cổ điển được nguyên cứu một cách mở rộng bởi những nhà thống kê và những nhà nguyên cứu máy học Hướng phát triển hiện nay của việc phân lớp là phân lớp những tập dữ liệu với hàng tỉ những mẫu thử và hàng trăm thuộc tính với tốc độ vừa phải

Qui nạp cây quyết định được đánh giá cao trong khai phá dữ liệu lớn vì:

 Tốc độ học tương đối nhanh hơn so với những phương pháp phân loại khác

 Có thể hoán chuyển được thành những luật phân lớp đơn giản và dễ hiểu

 Có thể sử dụng truy vấn SQL để truy xuất cơ sở dữ liệu

 Sự chính xác phân lớp có thể so sánh được với những phương pháp khác

1.4.2 Phương pháp phân lớp Bayesian (Bayesian classifier)

1.4.2.1 Đặc điểm

Lý thuyết Bayesian cung cấp một tiếp cận theo xác xuất để suy diễn Nó dựa trên giả thuyết rằng số lượng của khuynh hướng bị chi phối bởi phân bố xác suất và quyết định tối ưu có thể được tạo bởi sự suy luận về những xác suất đi liền với dữ liệu được quan sát Đây là vấn đề quan trọng của máy học bởi vì nó cung cấp một tiếp cận định lượng cho việc xem xét cẩn thận bằng chứng hỗ trợ những giả thuyết thay đổi

Lý thuyết Bayesian cung cấp giải thuật học cơ bản mà vận dụng những xác suất như là một khung làm việc cho sự phân tích sự hoạt động của những giải thuật mà không thể vận dụng rõ ràng

Học theo xác suất: Tính xác suất xuất hiện cho giả thuyết, trong số những tiếp cận thực dụng nhất cho các kiểu chắc chắn của những vấn đề học

Trang 9

Tính tăng dần: mỗi ví dụ huấn luyện có thể gia tăng việc tăng hoặc giảm

mà không gian giả thuyết đúng Kiến thức trước có thể kết hợp với dữ liệu được quan sát

Tiên đoán xác suất: Tiên đoán nhiều không gian giả thuyết, được đo bởi xác suất của nó

Tiêu chuẩn: Thậm chí khi phương thức Bayesian khó tính toán, chúng cũng cung cấp một tiêu chuẩn tốt nhất cho việc tạo quyết định

1.4.2.2 Khó khăn của phương pháp phân lớp Bayesian

Khó khăn thực tế của phương pháp phân lớp Bayesian ở chỗ:

- Đòi hỏi kiến thức khởi tạo của nhiều khả năng có thể xảy ra, và

- Chi phí tính toán đáng kể

1.4.2.3 Sự độc lập của giả thuyết:

Những giả thuyết độc lập nhau sẽ giúp cho việc tính toán trở nên dễ dàng

Độ lợi phân lớp tốt nhất đạt được rất ít trong thực tế vì những thuộc tính (biến) thường liên quan với nhau

Để vượt qua những giới hạn này người ta giải quyết bằng 2 cách:

 Dùng mạng Bayesian, đây chính là sự kết hợp của lý luận và quan

hệ nhân quả giữa những thuộc tính

 Cây quyết định mà suy luận trên một thuộc tính ở thời điểm xem xét những thuộc tính quan trọng đầu tiên

1.4.2.4 Mạng Bayesian Tin cậy ( Bayesian belief network ) :

Bayesian belief network cho phép một tập con của những biến độc lập theo điều kiện

Trong Bayesian belief người ta sử dụng mô hình đồ thị của quan hệ nhân quả Có nhiều cách học của Bayesian belief networks như sau:

 Cho trước cả cấu trúc mạng và những biến: đây là cách dễ dàng

 Cho trước cấu trúc mạng nhưng chỉ có một vài biến chứ không phải

là tất cả

Trang 10

Hìn 1 - Cấu rúc của một Nơro

 Cấu trúc mạng hoàn toàn không được biết

1.4.3 Phương pháp phân lớp bằng mạng lan truyền ngược (mạng Nơron)

1.4.3.1 Cấu trúc của một neural như sau:

Vector x n chiều được ánh xạ vào biến y dựa trên tích vô hướng và một hàm ánh xạ phi tuyến

1.4.3.2 Mạng huấn luyện:

a) Mục tiêu cơ bản của việc huấn luyện

Đạt được một tập hợp của những trọng số mà có thể làm cho hầu hết tất cả những bộ trong tập huấn luyện được phân lớp đúng

b) Những bước của quá trình huấn luyện

 Khởi tạo trọng số với những giá trị ngẫu nhiên

 Lần lượt đưa mỗi bộ vào trong mạng

 Đối với mỗi đơn vị:

- Tính toán mạng input cho mỗi đơn vị như một sự kết hợp tuyến tính của tất cả những input đối với đơn vị

- Tính toán giá trị output sử dụng hàm kích hoạt

- Tính toán lỗi

- Cập nhật trọng số và khuynh hướng

1.4.3.3 Mạng thu giảm và rút trích luật

Mạng thu giảm:

Trang 11

 Mạng kết nối hoàn toàn sẽ khó nối khớp với nhau

 Với n node input, n hidden node và m output node dẫn đến h(m+N) trọng số

 Thu giảm ở điểm: loại một số liên kết mà không ảnh hưởng phân lớp chính xác của mạng

1.4.3.4 Những ích lợi của mạng nơron

1 Ưu điểm:

 Tiên đoán chính xác cao

 Hoạt động mạnh làm việc được ngay khi các mẫu chứa lỗi

 Output có thể là giá trị rời rạc, giá trị thực hoặc vector của nhiều thuộc tính rời rạc hoặc giá trị thực

 Đánh giá nhanh hàm mục tiêu được học

2 Nhược điểm:

 Thời gian huấn luyện lâu

 Khó có thể hiểu được hàm học (trọng số)

 Khó có thể kết hợp tri thức lĩnh vực

1.4.4 Phân lớp dựa trên nguyên lý khai phá luật kết hợp

Có nhiều phương thức đối với sự phân lớp dựa trên luật kết hợp

 ARCS: Khai phá sự kết hợp số lượng và gom cụm của những luật kết hợp

 Phân loại kết hợp: Khai phá độ hỗ trợ cao và độ tin cậy cao trong công thức “cond_set =>y” trong đó y là một nhãn lớp

 CAEP (Phân lớp bằng cách tập hợp lại những mẫu nổi bật): trong

đó những mẫu nổi bật (Emerging patterns): những tập thành phần itemset hỗ trợ gia tăng quan trọng từ một lớp sang lớp khác Khai phá những mẫu nổi bật dựa trên độ hỗ trợ tối thiểu và tốc độ phát triển

1.4.5 Các phương pháp phân lớp khác

1.4.5.1 Các phương pháp dựa trên khoảng cách

Trang 12

Chứa những ví dụ huấn luyện và trì hoãn xử lý cho đến khi một thực thể mới được phân lớp

Những cách tiếp cận thông thường:

 Tiếp cận người láng giềng gần nhất k-nearest neighbor

 Hồi qui trọng lượng cục bộ: bằng cách xây dựng những xấp xỉ cục

bộ

 Lập luận dựa trên trường hợp: Người ta sử dụng biểu diễn kí hiệu

và tri thức dựa trên suy diễn

Giải thuật K-Nearest Neighbor (K-NN):

Tất cả những thực thể tương ứng với những điểm trên không gian n-D Người láng giềng gần nhất được định nghĩa trong biểu thức của khoảng cách Euclidean

Hàm mục tiêu có thể được rời rạc hóa hoặc giá trị thực

Đối với những giá trị rời rạc, k-NN trả về hầu hết giá trị thông thường giữa k ví dụ huấn luyện gần nhất với xq

Biểu đồ Vonoroi: bề mặt quyết định được qui vào bởi 1-NN đối với một tập điển hình của những ví dụ huấn luyện

Giải thuật k-NN đối với giá trị liên tục đối với những hàm mục tiêu giá trị liên tục

Tính toán giá trị trung bình của k láng giềng gần nhất

Giải thuật khoảng cách trọng lượng người láng giềng gần nhất Trọng lượng đóng góp của mỗi láng giềng theo khoảng cách của chúng đến điểm truy vấn xq , gán trọng lượng lớn hơn cho láng giềng gần hơn

2 ) (

1

i

q x x d

w





Trang 13

Tương tự, đối với những hàm mục tiêu giá trị thực

Mạnh đối với dữ liệu hỗn loạn bởi trung bình k-nearest neighbor

Trở ngại của chiều: Khoảng cách giữa những láng giềng có thể bị chi phối bởi những thuộc tính quan trọng Để vượt qua điều này, kéo dãn trục hoặc loại trừ những thuộc tính ít quan trọng nhất

1.4.5.2 Giải thuật Di truyền (Genetic Algorithms)

Giải thuật di truyền dựa trên sự tiến bộ sinh học Mỗi luật được biểu diễn bởi một chuỗi dữ liệu bit Một mẫu khởi tạo được tạo ra bao hàm những luật được tạo một cách ngẫu nhiên

Dựa trên khái niệm của cái thích hợp nhất tồn tại Những qui luật phù hợp nhất sẽ được biểu diễn bởi sự phân lớp chính xác của nó trên một tập hợp của những ví dụ huấn luyện

Sự thích hợp của một luật được biểu diễn bởi độ chính xác sự phân lớp của nó trên tập hợp những ví dụ huấn luyện

Kết quả được tạo ra bởi sự giao nhau và sự biến đổi

1.4.5.3 Tiếp cận tập thô

Tập thô được sử dụng để xấp xỉ hoặc định nghĩa “thô” những lớp tương đương Một tập thô cho một lớp C được xấp xỉ bởi 2 tập hợp: một xấp xỉ dưới (chắc chắn ở trong C) và một xấp xỉ trên

Tìm kiếm tập rút gọn của những thuộc tính (đối với đặc tính rút gọn) là

NP khó nhưng ma trận phân biệt được sử dụng để thu giảm cường độ tính toán

1.4.5.4 Tiếp cận tập mờ

Logic mờ sử dụng những giá trị thực giữa 0.0 và 1.0 để biểu diễn độ của quan hệ thành viên (ví dụ sử dụng đồ thị thành viên mờ)

Những giá trị thuộc tính được chuyển sang những giá trị mờ Đối với một

ví dụ mới cho trước, nhiều hơn một giá trị mờ có thể được áp dụng

Mỗi luật có thể áp dụng đóng góp một đề cử cho thành viên theo thể loại Thông thường, những giá trị thực đối với thể loại được tiên đoán được tổng kết

Trang 14

1.4.5.5 Phân lớp bằng suy luận dựa trên trường hợp (case-based reasoning)

Những thực thể được biểu diễn bởi sự mô tả giàu tính tượng trưng (ví dụ hàm đồ thị) Kết hợp nhiều trường hợp nhận được, suy luận dựa trên tri thức và vấn đề giải quyết

1.5 Kết luận chương 1

Với bài toán phân lớp mẫu tổng quát có nhiều hướng tiếp cận để giải quyết Hiện nay, các hướng tiếp cận phổ biến cho việc giải quyết bài toán phân lớp mẫu là: sử dụng K-NN và K-Mean với các độ đo khác nhau, Support Vector Machine (SVM) và mạng Nơron nhân tạo (ANN) …

Phương pháp phân lớp bằng K-NN và K-Mean rất phổ cập hiện nay thích hợp với lớp bài toán, trong đó không gian biểu diễn mẫu nhỏ Tuy nhiên, trong trường hợp không gian biểu diễn mẫu có kích thước lớn thì chi phí tính toán của hai phương pháp này cao

Phương pháp SVM áp dụng khá tốt cho các bài toán phân lớp mẫu ngay

cả khi không gian biểu diễn mẫu lớn Với các tiếp cận của phương pháp này, cần thiết phải xác định các siêu phẳng để phân lớp mẫu

Một cách tiếp cận khá phổ biến hiện nay là dùng mạng Nơron nhân tạo cho bài toán phân lớp mẫu Với cách tiếp cận này, một mạng Nơron nhân tạo sẽ được huấn luyện với tập mẫu để tìm ra bộ trọng số phục vụ cho quá trình phân lớp Cách tiếp cận này khắc phục được nhược điểm của SVM nhờ sử dụng hệ số ngưỡng trong quá trình phân loại mẫu Cụ thể, nếu mẫu cần phân loại không thuộc L lớp cho trước, mạng Nơron nhân tạo xác định được và thông báo kết quả đối tượng đó nằm ngoài cơ sở dữ liệu các lớp đã có

Nhờ những ưu điểm trên của mạng Nơron, phương pháp phân lớp nhờ mạng Nơron nhân tạo sẽ ngày càng được phát triển và có nhiều ứng dụng hơn Chương 2 sẽ trình bày cụ thể phương pháp phân lớp này

Trang 15

Chương 2

Phân lớp các mẫu với ứng dụng của mạng Nơron nhân tạo

2.1 Mạng Nơron nhân tạo

Mạng nơron nhân tạo là một mô hình tính toán được xây dựng dựa trên sự

mô phỏng bộ não người Để tìm hiểu về mạng nơron nhân tạo trước hết ta hãy điểm qua vài nét về mạng nơron sinh học

2.1.1 Mạng nơron sinh học

Kết quả các nghiên cứu về sinh học cho thấy bộ não người là một hệ thống có cấu trúc cực kỳ phức tạp Nó có thể xử lý phi tuyến, song song và giải quyết cùng một lúc nhiều công việc khác nhau Não còn có khả năng tự tổ chức hoặc tái tổ chức các bộ phận cấu thành của chính nó như các tế bào thần kinh hay các khớp nối thần kinh nhằm thực hiện hiệu quả nhất các nhiệm vụ đặt ra

Trung tâm của bộ não con người là một mạng lưới các tế bào thần kinh Mạng lưới này thu nhận thông tin, xử lý thông tin, đưa ra các quyết định và điều khiển việc thực hiện các quyết định đó một cách phù hợp Ngoài cùng của mạng lưới thần kinh là các bộ tiếp nhận làm nhiệm vụ nhận và chuyển đổi các kích thích từ các cơ quan khác trong cơ thể người hay từ môi trường bên ngoài thành các xung điện Tiếp đó các xung điện này được lan truyền trong mạng và được biến đổi thành các xung điện điều khiển Các xung điều khiển sẽ điều khiển con người hành động đáp ứng lại các kích thích mà bộ não nhận được Cấu trúc của não là giống nhau cho tất cả mọi người, nhưng chỉ có khác ở các mức nơron và các nhóm nơron, những kinh nghiệm của con người có được là do não đã thay đổi các mối nối giữa các nơron của nó

Ba yếu tố chính quyết định khả năng xử lý của bộ não là các tế bào thần kinh (nơron), các khớp nối thần kinh và cấu trúc của các mối nối liên hợp thần kinh Nơron là đơn vị cơ bản của thần kinh Mỗi nơron gồm một nhân tế bào nhỏ với những sợi kéo dài gọi là trục của đuôi gai Điểm cuối của các sợi trục của một nơron gặp điểm cuối của các đuôi gai của nhiều nơron khác Trong não

bộ con người có một mạng lưới các nơron rất phức tạp và luôn thay đổi Các

Trang 16

nơron mà các sợi trục của chúng gặp nhau thường xuyên để trao đổi các tín hiệu điện Người ta ước có khoảng 100 tỷ nơron trong não và khoảng 10 nghìn tỷ mối nối giữa chúng với nhau Khả năng học tập và ghi nhớ của con người là kết quả của cách mà các nơron kết nối với nhau, và các tín hiệu do nơron phát ra tạo nên

cơ sở cho tất cả mọi cảm nhận, ý nghĩ và hành động của chúng ta

Các nơron có thể tồn tại ở hai dạng: “đốt cháy” hay “không đốt cháy” Khi một nơron được “đốt cháy”, nó phát ra khoảng từ 50 đến 100 xung điện mỗi giây, nếu nó không được “đốt cháy”, nó chỉ phát ra vài xung điện Một nơron trở thành “đốt cháy” khi nó nhận được đủ mức kích thích từ những nơron mà nó kết nối Có một màng bao quanh mỗi nơron mà bề mặt của màng có một “điện áp” hay điện thế, những thay đổi về điện áp này tạo cơ sở cho các tín hiệu thần kinh Một nơron phát ra các xung điện đi từ nhân tế bào dọc theo các sợi trục, ở điểm cuối của nhiều nhánh của sợi trục, các xung điện được đuôi gai của nơron khác bắt lấy qua những khe mảnh mà ta gọi là khớp thần kinh Mỗi xung đưa tới khớp thần kinh làm khớp thần kinh nhả ra những hóa chất gọi là vật truyền thần kinh, vật này đi qua khớp thần kinh và qua màng đuôi gai Đến lượt nó, vật truyền thần kinh lại tác động tạo ra điện thế của nơron nhận Nơron sẽ trở thành bị “đốt cháy” nếu điện thế của nó vượt quá một ngưỡng nào đó

Hình 2.1 - Mạng nơron sinh học

Trang 17

Một số nơron có đuôi gai tạo nên các giác quan nhận sự kích thích từ thế giới bên ngoài Đuôi gai ở da nhạy cảm đối với áp suất và nhiệt độ, đuôi gai ở mắt lại nhạy cảm với ánh sáng Các sản phẩm của não người được các nơron thần kinh vận động mang đi, từ não bộ đến các cơ Khi một xung điện đi tới một

cơ, nó làm cơ này co lại Như vậy tất cả các cảm nhận của chúng ta về thế giới,

từ nghe thấy tiếng chim hót cho tới cảm thấy đau khi kim châm - đều bắt đầu với

tư cách là những xung điện ở điểm cuối các nơron cảm giác của chúng ta Và xung điện ở các nơron dây thần kinh vận động của chúng ta chịu trách nhiệm về tất cả mọi thứ từ đơn giản như cái nháy mắt cho tới những hành động phức tạp khác Khi chúng ta trải nghiệm và phản ứng với thế giới xung quanh chúng ta thì những nơron mới và những khớp thần kinh mới lại được hình thành, một số cũ biến mất và bản chất của một lớp thần kinh riêng biệt có thể thay đổi Nhận thức của chúng ta về thế giới có được là nhờ sự đốt cháy các nơron trong não và khả năng học tập của chúng ta là kết quả của sự thay đổi kết nối giữa các nơron

2.1.2 Mạng nơron nhân tạo

2.1.2.1 Những bộ phận của mạng nơron nhân tạo:

Mỗi nơron là một bộ vi xử lý đơn giản Các nơron được nối với nhau tạo nên mạng Có thể chia các nơron trong mạng ra làm ba loại:

- Các nơron vào: Đó là các nơron nhận tín hiệu vào

Hình 2.2 Sơ đồ mạng nơron sinh học

Trang 18

- Các nơron ẩn: Đó là các nơron chỉ truyền nhận tín hiệu trong nội bộ mạng

- Các nơron ra: Đó là các nơron làm nhiệm vụ đưa tín hiệu ra

Các nơron vào chỉ làm nhiệm vụ nhận tín hiệu ngoài mạng đưa vào mạng

Nó chỉ như một bộ cảm ứng mà không xử lý thông tin giống với cách xử lý thông tin của các nơron bên trong

2.1.2.2 Sự liên hệ giữa các phần tử trong mạng nơron nhân tạo:

Các nơron được nối với nhau theo các mối liên hệ giữa chúng Cấu trúc của các mối liên hệ cho thấy các phần tử của mạng được nối với nhau như thế nào Có trường hợp mỗi phần tử được nối với các phần tử khác của mạng Có trường hợp các nơron được tổ chức theo các lớp phân cấp, lớp trước mới có thể truyền tín hiệu cho lớp sau Và lại có trường hợp cho phép các nơron có thể liên

hệ ngược trong đó các nơron lớp sau cũng có thể truyền tín hiệu cho lớp trước hoặc các nơron trong một lớp các nơron cũng có thể gửi tín hiệu cho nhau Thực

tế các kiểu liên hệ với nhau là vô hạn, nhưng thông thường đối với mỗi mô hình mạng người ta chỉ dùng một loại liên hệ Như sau này ta sẽ thấy, có mạng truyền thẳng, mạng lan truyền ngược …

Mỗi mối liên hệ được xác định bởi ba đặc trưng:

- Phần tử từ đó mối liên hệ đi ra

- Phần tử mà mối liên hệ hướng vào nó

- Trọng số của mối liên hệ: đây là một số thực Trọng số âm tương ứng với trường hợp tính tích cực của phần tử bị ép lại (tương ứng với trường hợp tín hiệu vào làm nơron nhận bị ức chế) Trọng số dương tương ứng với trường hợp tính tích cực của phần tử tương ứng được tăng lên (tương ứng với trường hợp tín hiệu vào làm nơron nhận được làm cho hưng phấn) Giá trị tuyệt đối của trọng

số đặc trưng cho cường độ của mối liên hệ

2.1.2.3 Biểu diễn nơron nhân tạo trong mối liên hệ với các nơron khác:

Hình dưới đây mô tả một nơron nhân tạo trong mối liên hệ với các nơron khác

Trang 19

i

ixwS

Ví dụ với nơron j sau đây:

Trang 20

1 3

3 0

= 0.25 Thường thì với mỗi nơron có một độ lệch b Khi đó

là w0j Tổng trở thành:

S = 

 n 0 i

ij w

x trong đó x0 luôn luôn được coi bằng một hằng số ví dụ bằng 1 như hình dưới đây

Cấu trúc và cường độ của các mối liên hệ thường được biểu diễn dưới dạng ma trận trọng số W, trong đó mỗi phần tử wij là trọng số của mối liên hệ đi

từ phần tử i đến phần tử j (chú ý rằng có thể qui ước wij là trọng số của mối liên

hệ đi từ phần tử j đến phần tử i) Để biểu diễn cấu trúc và cường độ của các mối liên hệ người ta dùng các ma trận trọng số Trên hình 2.6 và 2.7 là các ví dụ về cách biểu diễn này

Trang 21

0.9 0.4 - 0.0 0.8 -

0.5 0.0 0.0 1.2

0.0 4.3 2.6 - 0.0 W

.

0.1

.

1.7 - 1.2 0.6

0.8 - 1.3

-1.7 -0.1

1.3 -0.8

Hình 2.7 Ma trận biểu diễn cấu trúc và cường độ liên hệ giữa các nơron trong

mạng 2 lớp, mỗi lớp đều có ma trận riêng của mình

1.2 0.7 -1.0

-0.8

2.3

-0.4

Hình 2.6 Ma trận biểu diễn cấu trúc và cường độ

liên hệ giữa các nơron

Trang 22

0 , 1 ) (

S

S S

0 , 1

S

S y

0 ), (

0 , 1

S

S t y

S y

S P

S P y

,

- Hàm Sigmoid

e1

Trang 23

Hình 2.10 - Mạng noron 1 lớp

- Hàm tang Hyperbolic

e

ee)S(th

CS CS

Lớp này thường không được coi là lớp với các nơron điển hình của mạng + Mạng 1 lớp: đây là mạng có cấu trúc đơn giản nhất Mạng nơron này chỉ gồm 1 lớp xử lý tín hiệu và đưa kết quả ra, không có lớp ẩn

+ Mạng nhiều lớp: có lớp vào, lớp ra và các lớp ẩn Trong đó, lớp nhận tín hiệu đầu vào (vectơ đầu vào X) được gọi là lớp vào Các tín hiệu đầu ra của mạng được sản sinh bởi lớp ra của mạng Các lớp nằm giữa lớp vào và lớp ra được gọi là lớp ẩn và nó là thành phần nội tại của mạng và không có bất kỳ tiếp xúc nào với môi trường bên ngoài Số lượng lớp ẩn có thể dao động từ 0 đến một vài lớp Càng nhiều lớp ẩn thì khả năng mở rộng thông tin càng cao và xử lý tốt mạng có nhiều input và output Tuy nhiên, thực tế cho thấy chỉ cần một lớp

ẩn là mạng đã đủ để giải quyết được một lớp các bài toán khá phức tạp

Trang 24

có tín hiệu ra nào của một nơron lại được truyền cho một nơron khác cùng lớp

+ Mạng nối ngược (feedback): là mạng có các tín hiệu ra được gửi trở lại như là các tín hiệu vào cho các nơron của cùng một lớp hay lớp trước đó Mạng kiểu này còn được gọi là mạng hồi qui

Mạng nơron truyền thẳng chỉ đơn thuần tính toán các tín hiệu ra dựa trên các tín hiệu vào và các trọng số liên kết nơron đã xác định sẵn trong mạng Do

đó chúng không có trạng thái bên trong nào khác ngoài vectơ trọng số W Đối với mạng hồi qui, trạng thái trong của mạng được lưu giữ tại các ngưỡng của các nơron Điều này có nghĩa là quá trình tính toán trên mạng truyền thẳng có lớp lớn hơn trong mạng qui hồi Nói chung, các mạng hồi qui có thể không ổn định, thậm chí rối loạn theo nghĩa, khi cho vectơ giá trị đầu vào X nào đó, mạng cần phải tính toán rất lâu, thậm chí có thể bị lặp vô hạn trước khi đưa ra được kết quả mong muốn Quá trình học của mạng hồi qui cũng phức tạp hơn rất nhiều Tuy vậy, các mạng qui hồi có thể cho phép mô phỏng các hệ thống tương đối phức tạp trong thực tế

Tóm lại cấu trúc của mạng nơron có các đặc trưng sau:

+ Số tín hiệu vào và tín hiệu ra của mạng Đây cũng là số nơron vào và số nơron ra

+ Số lớp nơron trong mạng

+ Số nơron của mỗi lớp

+ Số trọng số của mỗi nơron Đây cũng là số các mối liên hệ của nơron đang xét với các nơron truyền tín hiệu đến cho nó

+ Cách thức và cường độ liên hệ với nhau giữa các nơron

Trang 25

+ Những nơron nào nhận tín hiệu hiệu chỉnh Có trường hợp không phải nơron nào cũng nhận được tín hiệu điều khiển sự hiệu chỉnh (như tín hiệu phản hồi) mà chỉ có một số ít nơron được nhận tín hiệu này

+ Số lượng liên kết của mỗi nơron (liên kết đầy đủ, liên kết bộ phận và liên kết ngẫu nhiên)

2.1.2.6 Vấn đề học của mạng

- Học tham số: Dựa vào các yêu cầu cho trước, mạng phải biến đổi các tham số

Các thủ tục học tham số nhằm tìm kiếm ma trận trọng số W sao cho mạng

có khả năng đưa ra các kết quả với thực tế Các thủ tục học tham số có thể chia thành 3 lớp nhỏ hơn là: học có chỉ đạo (hay còn được gọi là học có thầy, học có giám sát), học tăng cường, học không chỉ đạo (hay còn được gọi là học không có thầy, học không có giám sát)

+ Học có chỉ đạo (học có thầy, học có giám sát): Mỗi lần vectơ tín hiệu vào X được cấp cho mạng, người ta đồng thời cấp luôn cho mạng vectơ đầu ra mong muốn Y Và mạng phải sản sinh ra tín hiệu ra Out sao cho nó gần với Y nhất Cụ thể, nếu ta cấp 1 tập ngẫu nhiên M = (Xi, Yi) tức là khi vecto Xi đi vào mạng, vectơ đầu ra Yi cũng được cung cấp Độ lệch giữa tín hiệu đầu ra thực tế Out và vectơ đầu ra mong muốn Yi sẽ được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai số Tín hiệu này sẽ được truyền ngược vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu ra Out ngày càng gần với tín hiệu ra mong muốn Yi

Trang 26

+ Học tăng cường: cũng là một dạng học có chỉ đạo vì mạng noron vẫn nhận tín hiệu ngoài môi trường Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê phán, chứ không phải là những chỉ dẫn cụ thể như trong học có chỉ đạo

Nghĩa là, tín hiệu tăng cường chỉ có thể nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai chứ không chỉ cho mạng biết tín hiệu đúng phải như thế nào Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường nhằm mục đích giúp cho mạng hiệu chỉnh các trọng số với hi vọng nhận được tín hiệu tăng cường tốt hơn trong tương lai Các thủ tục học tăng cường thường được biết đến như các thủ tục học với nhà phê bình chứ không phải là học với thầy như các thủ tục học có chỉ đạo

+ Học không chỉ đạo (học không có thầy, học không có giám sát): Trong thủ tục này, không có thông tin nào từ ngoài môi trường chỉ ra tín hiệu đầu ra Out phải như thế nào hoặc đúng hay sai Mạng nơron phải tự khám phá các đặc điểm, các mối quan hệ đang quan tâm như: dạng đường nét, có chuẩn - có bình thường hay không, các hệ số tương quan, tính cân xứng, tính chạy… của các mẫu học và sau đó chuyển những quan hệ tìm thấy qua đầu ra Trong quá trình học, các trọng số của mạng sẽ thay đổi để thể hiện các đặc tính được phát hiện

Do đó các thủ tục này còn được gọi là tự tổ chức

Vectơ vào

Sản sinh tín hiệu tăng cường

Tín hiệu tăng cường

Hình 2.13 - Sơ đồ học tăng cường

Trang 27

Để dễ hình dung công việc này, chúng ta hãy nhớ tới công việc của các nhà thống kê, nhất là các nhà thống kê dùng máy tính hiện đại

- Học cấu trúc: Học cấu trúc là tìm ra các cấu trúc hợp lý Trong thực tế, học cấu trúc là tìm ra số lớp ẩn và số nơron trên mỗi lớp đó Các kĩ thuật như giải thuật di truyền hay lập trình tiến hoá thường được sử dụng trong các thủ tục học cấu trúc Các kĩ thuật này thường chạy rất lâu ngay cả đối với các mạng có kích thước trung bình Ngoài ra với các mạng có kích thước nhỏ người ta còn áp dụng ký thuật cắt tỉa hay kỹ thuật tăng dần Kĩ thuật cắt tỉa mạng, tức là xuất phát từ mạng lớn thủ tục bỏ dần các nút để tiến tới có được mạng đạt yêu cầu

Kỹ thuật tăng dần, tức là từ mạng nhỏ thủ tục bổ sung dần các nút để tiến tới mạng đạt yêu cầu

Lựa chọn sai cấu trúc mạng có thể dẫn tới hoạt động của mạng trở nên kém hiệu quả Nếu ta chọn mạng quá nhỏ có thể chúng không biểu diễn được sự phụ thuộc dữ liệu mong muốn Nếu chọn mạng quá lớn để có thể nhớ được tất

cả các mẫu học dưới dạng bảng tra, nhưng hoàn toàn không thể tổng quát hoá được cho những tín hiệu vào chưa biết trước Nói cách khác, cũng giống như trong các mô hình thống kê, các mạng nơron có thể đưa tới tình trạng quá thừa tham số

Bài toán xác định cấu trúc mạng tốt có thể có hai cách làm:

Hoặc bắt đầu với một mạng lớn, sau đó giảm nhỏ xuống

Hoặc bắt đầu với một mạng nhỏ, sau đó tăng dần lên

Một kỹ thuật khác có thể áp dụng gọi là “Tổn thương tối ưu” nhằm loại

bỏ một số liên kết trọng số trong mạng dựa trên cách tiếp cận lý thuyết thông tin

Hình 2.14 - Sơ đồ học không chỉ đạo

Trang 28

Đơn giản nhất là các liên kết có trọng số bằng 0 Quá trình cứ tiếp tục như vậy Thực nghiệm chỉ ra rằng, kỹ thuật này có thể loại trừ tới ¾ các liên kết, do đó nâng cao đáng kể hiệu quả của mạng

Ngoài việc loại trừ các liên kết nơron thừa, người ta có thể vứt bỏ những nơron không đóng góp nhiều vào quá trình thực hiện của mạng

Giải thuật “Lợp ngói” là một biến thể của kỹ thuật tăng trưởng mạnh xuất phát từ cấu hình ban đầu tương đối nhỏ Ý tưởng ở đây là xác định một cấu hình mạng cho phép tính đúng các mẫu học đã biết Sau đó mỗi khi thêm dần mẫu học mới, mạng được phép thêm một số nơron cho phép đoán đúng kết quả học hiện tại và quá trình cứ tiếp tục như vậy

Cả hai loại học trên có thể được thực hiện đồng thời với nhau hay tách biệt

2.2 Phân lớp các mẫu nhờ ứng dụng của mạng Nơron nhân tạo

2.2.1 Một số mạng nơron nhân tạo có liên quan tới việc phân lớp các mẫu 1.Mạng Hebb

Hebb, trong cuốn The organization of Behavior (1949), cho rằng

- Lặp đi lặp lại một hành vi sẽ làm tăng cường độ liên kết giữa các nơron (wij)

- wij tăng chỉ khi cả nơron i và nơron j đều hưng phấn

Theo tinh thần đó luật học của Heb như sau:

- wij tăng chỉ khi các giá trị ra của cả hai nơron xi và yj cùng dấu

Ví dụ với một nơron ra và n nơron vào trong mạng một lớp

Giải thuật học của Hebb

Bước 0 khởi tạo: b = 0, wi = 0, i = 1 … n

Bước 1 Với từng mẫu huấn luyện s:t làm các bước từ 2 - 4

/* s là mẫu vào, t đầu ra ứng với mẫu vào s */

y x old w

new w

wij  ij  ij  i

y x old

w new w

wij ij( ) ij( ) i

Trang 29

Bước 2 xi := si, i = 1 … n /* Đưa s vào nơron vào */

Bước 3 y := t /* Gán cho y giá trị ra ra mong muốn */

Bước 4 wi := wi + xi * y, i = 1 … n /* Cập nhật trọng số */

b := b + xi * y /* Cập nhật độ dịch */

Chú ý: 1) a = 1,

2) Mỗi mẫu học chỉ được dùng một lần

Ví dụ: Hàm AND: Giá trị vào là (1, 0)

– Giá trị vào là (1, -1)

- Sẽ cho kết quả sai nếu học x1 ^ x2 ^ x3, cho dù hàm này được phân chia tuyến tính

- Như vậy cần có một luật học mạnh hơn

• Làm giảm lỗi: Với mỗi mẫu s:t, tính y từ s theo W và b hiện tại, sau đó

so sánh y và t

• Lặp lại với các mẫu học, và mỗi lần trọng số chỉ thay đổi nhẹ (a << 1)

• Các phương pháp Perceptron và Adaline là các ví dụ tốt cho tư tưởng trên

2 Perceptrons

• Do Rosenblatt đề nghị (1962) :

(x1, x2, 1) y=t w1 w2 b (1, 1, 1) 1 1 1 1 (1, 0, 1) 0 1 1 1 (0, 1, 1) 0 1 1 1 (0, 0, 1) 0 1 1 1

Biên chưa chính xác:

1 + x1 + x2 = 0 được thay đổi sau mỗi lần mẫu học được đưa vào

is successfully learned

Trang 30

Giải thuật học Perceptron:

Bước 0 Khởi tạo: b = 0, wi = 0, i = 1 … n

Bước 1 Khi điều kiện dừng chưa thỏa thực hiện các bước từ 2 đến 5 Bước 2 Với mỗi mẫu học s:t thực hiện các bước từ 3 đến5

- Quá trình học chỉ diễn ra với các mẫu mà y ≠ t

- Khi hoàn thành một lượt đưa bộ mẫu học vào (mỗi mẫu chỉ được dùng một lần) ta bước sang một giai đoạn mới

Điều kiện dừng

- Tới một giai đoạn mà không có trọng số nào được thay đổi Hoặc

- Đạt đến số giai đoạn đã được qui ước từ trước

Chứng minh phi hình thức: Với y = 1 và t = -1

- Để làm cho y dần đạt tới t, w1 cần phải làm giảm net_y

- Nếu xi = 1, xi * t < 0, cần giảm w1 (xi*w1 giảm)

- Nếu xi = -1, xi * t >0 cần tăng w1 (xi*w1 giảm)

• Định lý hội tụ cho giải thuật học Perceptron

Trang 31

Phi hình thức: Bất kỳ bài toán nào có thể biểu diễn bởi mạng perceptron đều có thể học theo giải thuật học Perceptron

- Định lý: Nếu có W1 sao cho với tất cả P các

mẫu học {x(p), t(p)}, thì với bất kỳ véc tơ trọng số khởi tạo W0

nào, qui tắc học perceptron đều hội tụ tới một vectơ trọng số W* sao cho

với toàn bộ p (W*

và W1 có thể không như nhau)

3 Adaline (Adaptive Linear )

• Do Widrow và Hoff đề nghị (1960)

- Mạng dùng để xử lý tín hiệu

- Có cấu trúc như mạng đơn giản đã trình bày phần đầu

- Phương pháp học: Luật delta hay qui tắc delta (delta rule), còn được gọi

là qui tắc học Widrow-Hoff

- Delta là t – y_in

- Không phải t – y vì y = f( y_in )

- Thuật toán học: Giống như qui tắc Perceptron trừ bước 5:

b := b + a * (t – y_in)

wi := wi + a * xi * (t – y_in)

• Bản chất của qui tắc delta

Lỗi của tất cả các mẫu trong P: Được đặc trưng bởi bình phương lỗi

)())((x p W* t p

p t P

E

1

2

))(_)

((1

)

, (

E w

E E

p in y p t w p in y p t P w E

]))(_)((

2[

)(_)(())]

(_)((

2[

Trang 32

Vì thế

Các phương pháp áp dụng qui tắc delta:

Phương pháp 1 (sequential mode): thay đổi wi sau mỗi mẫu học theo công thức

Phương pháp 2 (batch mode): Thay đổi wi tại mỗi giai đoạn ứng với

mỗi giai đoạn (sau mỗi lượt toàn bộ mẫu học được đưa vào) Trong mỗi giai đoạn, tích tụ lỗi

với mỗi mẫu (x(p), t(p))

Phương pháp 2 chậm hơn nhưng có thể cho phép kết quả thay đổi từ từ (vì phương pháp 1 có thể quá nhạy cảm với các mẫu học)

w

E w

t( ) _ ( ))



i x p in y p



i w

E  i  

 / 0

Hình 2.23 Sự biến thiên của Gradien

Trang 33

Vài kết luận

- Các mạng đơn giản như vừa trình bày còn có nhiều hạn chế: Chúng chỉ

có thể giải quyết được việc phân chia tuyến tính

- Việc thay đổi lỗi tỏ ra rất tốt khi huấn luyện mạng

- Mạng nhiều lớp (mạng có thêm lớp ẩn gồm các phần tử phi tuyến) có thể giải quyết được vấn đề phân chia phi tuyến

- Ngưỡng/ bước với hàm ra của các nơron lớp ẩn có ảnh hưởng lớn tới phương pháp học của mạng nhiều lớp

Với các mạng nhiều lớp các phần tử ẩn là các phần tử phi tuyến

Tất nhiên các mạng trên không chỉ có thể làm nhiệm vụ phân lớp

Mạng nhiều lớp với lớp ẩn gồm các phần tử tuyến tính chỉ tương đương với mạng một lớp

z1 x1



Y z2

z1 x1



Hình 2.24 Nếu lớp ẩn gồm các phần tử tuyến tính thì mạng nhiều lớp cũng chỉ là mạng tuyến tính

Định dạng
Số trang	67
Dung lượng	849,97 KB