Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề

Ngoài ra, việc phâncụm cũng có thể giúp thấy được khả năng học tập của mỗi Học sinh, Sinh viênvới từng môn học, từ đó có biện pháp áp dụng phương pháp dạy học cá biệthóa thích họp, dựa t

>

•o

o

tôi trong suốt quá trình tôi làm luận văn.

Tôi cũng xin gửi lời cảm ơn đến các thầy cô trường Đại học sư phạm Hà Nội

2, các thầy cô Viện Công nghệ thông tin - Viện khoa học và công nghệ Việt Nam đãtruyền đạt những kiến thức và giúp đỡ tôi trong suốt quá trình học của mình

Tôi cũng xin gửi lời cảm ơn tới các đồng nghiệp, gia đình và bạn

bè những người đã động viên tạo mọi điều kiện giúp đỡ tôi trong suốt hai năm học

LỜI CAM ĐOANTôi xin cam đoan toàn bộ nội dung trong luận văn này do tôi tự nghiên cứu, đọc, dịch tàiliệu, tổng hợp và thực hiện, đây là công trình nghiên cứu của tôi dưới sự hướng dẫn khoahọc của thầy PGS.TS Lê Bá Dũng Các số liệu, kết quả trong luận văn là trung thực, rõràng Trong luận văn tôi có sử dụng một số tài liệu tham khảo như đã trình bày trong phầntài liệu tham khảo Tôi xin chịu trách nhiệm với những nội dung được viết trong luận vănnày

Hà Nội, ngày 16 tháng 12 năm 2014 Người viết luận văn

Lê Sơn Thảo

2

HÀ NỘI, 2014

• SOM (Self Organizing Maps) • Mang noron tu t6 chuc

• U-matrix (unified distance matrix) • Ma tran thong nhat khoang cach

• EM (Expectation maximization) • Thuat toan toi da hoa

• MST (Minimum spanning tree) • Thuat toan t6i thilu cay ma rong

• BMU (Best - Matching unit) • Dan vi phu hgfp nhat

• DBSCAN (Density Based Spatial

Clustering of Applications with Noise)

• Phan cum dir lieu dua tren khong gian mat do ling dung vai nhilu

• Phân cụm dữ liệu là quá trình nhóm một tập các đối tượng tương

tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng mộtcụm là tương đồng còn các đối tượng thuộc các cụm khác nhau sẽ không

tương đồng Phân cụm dữ liệu là một ví dụ của phương pháp học không cóthầy.

• Hiện nay, có rất nhiều các phương pháp phân cụm dữ liệu đã vàđang được phát triển và áp dụng trong các lĩnh vực khác nhau, bao gồm: nhậndạng, phân tích dữ liệu, nghiên cứu thị trường, xử lý ảnh, Các phương phápphân cụm đó như phương pháp phân cụ thống kê, phân cụm khái niệm, phâncụm mờ, phân cụm sử dụng mạng Kohonen Trong số này, mạng Kohonen(hay còn gọi là Self-Organizing Maps viết tắt là: SOMs) là một giải thuật đượcphát triển bởi Giáo sư Teuvo Kohonen, nó có thể được áp dụng cho nhiều lớpbài toán khác nhau như dự báo thông tin thị trường, thòi tiết, phụ tải điện nógiúp giảm số chiều (kích thước) của dữ liệu, qua đó giúp chúng ta hiểu được

dữ liệu có kích thuớc lớn đó Một trong những khía cạnh thú vị nhất đó là:Kohonen là một dạng của thuật toán học để phân loại dữ liệu huấn luyện màkhông cần bất cứ sự giám sát bên ngoài nào - học không giám sát và rất hiệuquả trong việc phân cụm và rút gọn kích thước dữ liệu

• Trong nhiều biện pháp để cải cách, nâng cao chất lượng giáo dụcphải kể đến vai trò của công nghệ thông tin Công nghệ thông tin đã được ứngdụng để hỗ trợ các công tác giảng dạy, kiểm tra đánh giá, quản lý dữ liệu họctập, thống kê, báo cáo,

• Việc phân tích, đánh giá, phân loại kết quả học tập của học sinh,sinh viên có ý nghĩa quan trọng trong công tác quản lý, giúp ta có thể thấyđược toàn cảnh về các môn học trong chương trình, từ đó có sự đánh giá đúngđắn về tính chất môn học và khả năng nhận thức của người học, từ đó có biệnpháp tác động phù họp để cải thiện chất lượng dạy và học Ngoài ra, việc phâncụm cũng có thể giúp thấy được khả năng học tập của mỗi Học sinh, Sinh viênvới từng môn học, từ đó có biện pháp áp dụng phương pháp dạy học cá biệthóa thích họp, dựa trên kết quả phân cụm này cũng có thể giúp người học cóđịnh hướng phù họp cho quá trình học tập tiếp theo

• Chính vì lý do đó tác giả chọn đề tài “Mạng Nơ ron ứng dụng

cho phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên trong trường Cao đẳng nghề”.

3 Nhiệm vụ nghiên cứu

- Nghiên cứu lý thuyết về mạng nơron Kohonen, các giải pháp kết hợpgiữa mạng nơron Kohonen SOM với logic mờ, giải thuật di truyền đểnâng cao hiệu quả và tốc độ hội tụ của mạng

- Thiết kế mô hình mạng nơron Kohonen’s SOM phục vụ cho việc phântích, đánh giá kết quả học tập của Học sinh, Sinh viên trong trường Caođẳng nghề Từ đó đưa ra những nhận xét, biện pháp dựa trên nhữngphân tích từ việc phân cụm môn học, phân nhóm các Học sinh, Sinhviên theo kết quả học tập và khả năng học để từ đó có những địnhhướng và các biện pháp tác động phù họp để cải thiện chất lượng dạy

và học

4 Đối tượng và phạm vỉ nghiên cứu

- Đối tượng nghiên cứu là lớp bài toán phân tích, đánh giá kết quả họctập của Học sinh, Sinh viên sử dụng mạng nơron nhân tạo truyền thẳnghuấn luyện bằng thuật toán lan truyền ngược

- Phạm vi nghiên cứu là lý thuyết ứng dụng mạng Nơ ron nhân tạo chobài toán phân tích, đánh giá kết quả học tập của Học sinh, Sinh viêntrong trường Cao đẳng nghề.

5 Giả thuyết khoa học

- Phát hiện những yêu cầu và thách thức trong thực tế đối với vấn đềphân tích, đánh giá được kết quả học tập của học sinh, sinh viên

- Cài đặt và thử nghiệm đánh giá kết quả học tập của Học sinh, Sinh viên

sử dụng mạng nơron nhân tạo truyền thẳng huấn luyện bằng thuật toánlan truyền ngược

6 Phương pháp nghiên cứu

- Phương pháp nghiên cứu chính là tìm hiểu các tài liệu bài báo viết vềmạng SOM và sử dụng công cụ SOM Toolbox để huấn luyện mạngSOM phân cụm các trường đại học, cao đẳng của Việt Nam từ đó đưa

ra những nhận xét, đánh giá, tư vấn cho học sinh đăng kí dự thi vào cáctrường

- Tìm hiểu và phát hiện các vấn đề ừong thực tế, từ đó đưa ra so sánh,đánh giá và các giải pháp khắc phục

• Phân loại: Có hai loại phương pháp học máy chính

- Phương pháp quy nap: Máy học/phân biệt các khái niệm dựa trên dữliệu đã thu thập được trước đó Phương pháp này cho phép tận dụngđược nguồn dữ liệu rất nhiều và sẵn có

- Phương pháp suy diễn: Máy học/phân biệt các khái niệm dựa vào cácluật Phương pháp này cho phép tận dụng được các kiến thức chuyênngành để hỗ trợ máy tính

• Hiện nay, các thuật toán đều cố gắng tận dụng được ưu điểm củahai phương pháp này.

• Các ngành khoa học liên quan:

- LỶ thuyết thống kê: các kết quả ừong xác suất thống kê là tiền đề chorất nhiều phương pháp học máy Đặc biệt, lý thuyết thống kê cho phépước lượng sai số của các phương pháp học máy

- Các phương pháp tính: các thuật toán học máy thường sử dụng các tínhtoán số thực/số nguyên trên dữ liệu rất lớn Trong đó, các bài toán như:tối ưu có/không ràng buộc, giải phương trình tuyến tính v.v được sửdụng rất phổ biến

- Khoa hoc máv tính: là cơ sở để thiết kế các thuật toán, đồng thời đánhgiá thời gian chạy, bộ nhớ của các thuật toán học máy

• ứng dụng: H ỌC MÁY có ứng dụng rộng khắp trong các ngànhkhoa học/sản xuất, đặc biệt những ngành cần phân tích khối lượng dữ liệukhổng lồ Một số ứng dụng thường thấy như:

- Xử lý ngôn ngữ tự nhiên: xử lý văn bản, giao tiếp người - máy,

- Nhận dạng: nhận dạng tiếng nói, chữ viết tay, vân tay, thị giác máy

• (Computer Vision)

- Tìm kiếm

- Chẩn đoán trong y tế: phân tích ảnh X-quang, các hệ chuyên gia chầnđoán tự động

- Tin sinh học: phân loại chuỗi gene, quá trình hình thành gene/protein

- Vật lý: phân tích ảnh thiên văn, tác động giữa các hạt

- Phát hiện gian lận tài chính (financial fraud): gian lận thẻ tỉn dụng

- Phân tích thị trường chứng khoán (stock market analysis)

- Chơi trò chơi: tự động chơi cờ, hành động của các nhân vật ảo

- Rôbốt: là tổng họp của rất nhiều ngành khoa học, trong đó HỌC MÁYtạonên hệ thần kinh/bộ não của người máy

- Các nhóm giải thuật học máy: Học có giám sát, học không giám sát,

học nửa giám sát, học tăng cường,

1.1 Cấu trúc và mô hình mạng noron

1.1.1 Mô hình môt nơron sinh hoc

• ■ •

• Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron,phần tử này có thể chia làm bốn thành phần cơ bản như sau: dendrites, soma,axon, và synapses

- Dendrites: Là phần nhận tín hiệu đầu vào

- Soma: Là hạt nhân

- Axon: Là phần dẫn ra tín hiệu xử lý

- Synapses: Là đường tín hiệu điện hóa giao tiếp giữa các nơron

• Kiến trúc cơ sở này của bộ não con người có một vài đặc tínhchung

• Một cách tổng quát, thì một nơron sinh học nhận đầu vào từ các nguồnkhác nhau, kết họp chúng tại với nhau, thực thi tổ họp phi tuyến chúng để cho

ra kết quả cuối cùng ở đầu ra Hình 1.1 chỉ ra mối quan hệ giữa bốn phần tửcủa một nơron sinh học

• thông tin hoàn hảo như bộ não con người, thì các nơron phải kết hợp và

• Mô hình toán học của mạng nơron sinh học được đề xuất bởi

• McCulloch và Pitts, thường được gọi là nơron M-P, ngoài ra nó còn

được gọi

• là phần tử xử lý và được ký hiệu là PE (Processing Element)

• Mô hình nơron có m đầu vào Xi, X2, X m , và một đầu ra yinhư sau:

• Hình 1.3 Mô hình một nơron nhân tạo

- Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vàovới trọng số liên kết của nó

- Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của

hàm truyền

- Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗinơron Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thôngthường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1,1] Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến.Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm củangười thiết kế mạng

- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đamột đầu ra

• về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp

biểu thức sau:

• У Г =/( NETỊ-ới) và neti= Ỵ 1 J _ 1 W IJ X JTrong đó: Xi, x2, xm là các

tín hiệu đầu vào, còn Wib Wi2v,Wún là các trọng số kết nối của nơron thứ i,

neti là hàm tổng, f là hàm truyền, 6 I là một ngưỡng, Ỵi là tín hiệu đầu ra của

nơron

• Như vậy, tương tự như nơron sinh học, nơron nhân tạo cũng

nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết,

tính tổng các tích thu được rồi gửi kết quả đến hàm truyền), và cho một tín

hiệu đầu ra (là kết quả của hàm truyền)

-о -(b) Hàm gioi hạn chặt

Xо

(а) Hàm bước

У

- 1(e) Hàm ngưỡng hai С Щ

X

О

1

(Ф Hàm ngưỡag đon cực

• Dựa trên những phương pháp xây dựng nơron đã trình bày ởmục trên, ta có thể hình dung mạng nơron như là một hệ truyền đạt và xử lý tínhiệu Đặc tính truyền đạt của nơron phần lớn là đặc tính truyền đạt tĩnh.

• Khi liên kết các đầu vào/га của nhiều nơron với nhau, ta thuđược một mạng nơron, việc ghép nối các nơron trong mạng với nhau có thể làtheo một nguyên tắc bất kỳ Vì mạng nơron là một hệ truyền đạt và xử lý tínhiệu, nên có thể phân biệt các loại noron khác nhau, các noron có đầu vàonhạn thông tín từ môi trường bên ngoài khác với các nơron có đầu vào đượcnối với các nơron khác trong mạng, chúng được phân biệt với nhau qua vectorhàm trọng số ở đầu vào w

• Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớpbao gồm nhiều nơron có cùng chức năng ừong mạng Hỉnh 1.5 là mô hình hoạtđộng của một mạng nơron 3 lớp với 8 phần tử nơron Mạng có ba đầu vào là

Xi, X2, Хз và hai đầu ra Уь У2 Các tín hiệu đầu vào được đưa đến 3 noron đầuvào, 3 nơron này làm thành lớp đầu vào của mạng Các nơron trong lóp nàyđược gọi là nơron đầu vào Đầu ra của các nơron này được đưa đến đầu vàocủa 3 nơron tiếp theo, 3 nơron này không trực tiếp tiếp xúc với môi trường bênngoài mà làm thành lớp ần, hay còn gọi là lớp trung gian Các nơrontrong lớpnày có tên là nơron nội hay nơron ản Đầu ra của các nơron này được đưa đến

2 nơron đưa tín hiệu ra môi trường bên ngoài Các nơron trong lớp đầu ra nàyđược gọi là nơron đầu ra

•

• Hình 1.5 Mạng nơron ba lớp

• Mạng nơron được xây dựng như trên là mạng gồm 3 lớp mắc nốitiếp nhau đi từ đầu vào đến đầu ra Trong mạng không tồn tại bất kỳ một mạchhồi tiếp nào Một mạng nơron có cấu trúc như vậy gọi là mạng một hướng hay mạng truyền thẳng một hướng (Feed forward network), và có cấu trúc mạng ghép nối hoàn toàn (vì bất cứ một nơron nào trong mạng cũng được nối với một hoặc vài nơron khác) Mạng noron bao gồm một hay nhiều lóp trung gian được gọi là mạng Multilayer Perceptions) (MLP-Network)

• Mạng nơron khi mới được hình thành thì chưa có tri thức, trithức của mạng sẽ được hình thành dần dần sau một quá trình học Mạng nơron

• Lóp vào Lơp ẩn

• Lớp ra

•

được học bằng cách đưa vào những kích thích, và mạng hìũh thành những đápứng tương ứng, nhũng đáp ứng tương ứng phủ hợp với tùng loại kích thích sẽđược ỉưu trữ Giai đoạn này được gọi là giai đoạn học của mạng Khi đã hìnhthành tri thức mạng, mạng có thể giải quyết các vấn đề một cách đủng đắn Đó

có thể là vấn đề ứng dụng rất khác nhau, được giải quyết chủ yếu dựa trên sự

tổ chức hợp nhất giữa các thông tin đầu vào của mạng và các đáp ứng đầu ra

• •Nếu nhiệm vụ của một mạng là hoàn chỉnh hoặc hiệu chỉnh các thông tin thu được không đầy đủ hoặc bị tác động của nhiễu Mạng nơron

• kiểu này được ứng dụng ừong lĩnh vực hoàn thiện mẫu, trong đó có mộtứng dụng cụ thể là nhận dạng chữ viết

• Nhiệm vụ tổng quát của một mạng nơron là lưu giữ động các thông tin.Dạng thông tin lưu giữ này chính là quan hệ giữa các thông tin đầu vào

và các đáp ứng đàu ra tương ứng, để khi có một kích thích bất kỳ tácđộng vào mạng, mạng có khả năng suy diễn và đưa ra một đáp ứng phùhọp Đây chính là chức năng nhận dạng theo mẫu của mạng nơron Đểthực hiện chức năng này, mạng nơron đóng vai trò như một bộ phận tổchức các nhóm thông tin đầu vào, và tương ứng với mỗi nhóm là mộtđáp ứng đầu ra phù hợp Như vậy, một nhóm bao gồm một loại thôngtin đàu vào và một đáp ứng đầu ra Các nhóm có thể được hình thànhtrong quá trình học, và cũng có thể không hình thành trong quá trìnhhọc

• Hình 1.6 là một số liên kết đặc thù của mạng nơron Nơron được

vẽ là các vòng tròn xem như một tế bào thần kỉnh, chúng có các mối liên hệđến các nơron khác nhờ các ừọng số liên kết Tập hợp các trọng số liên kết này

sẽ lập thành các ma trận trọng số tương ứng

1.2.1Mạng потоп một lớp

• Mỗi một nơron có thể phối hợp với các nơron khác tạo thànhmột lớp các trọng số Mạng một lớp truyền thẳng như hình 1.6a Một lớp

nơron là một nhóm các nơron mà chúng đều có cùng ừọng số, nhận cùng mộttín hiệu đầu vào đồng thời.

• Trong ma trận ừọng số, các hàng là thể hiện nơron, hàng thứ j cóthể đặt nhãn như một vector Wj của nơron thứ j gồm m ừọng số Wji Cáctrọng số trong cùng một cột thứ j (j=l,2, ,n) đồng thời cùng nhận một tín hiệuđầu vào

• Wj = [Wjb Wj2, Wjm]

• Tại cùng một thời điểm, vector đàu vào X = [xi, X2, , xn] có thể

là một nguồn bên ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng

(b) Mạng hôi tiêp một lớp

• Lớp ẩn là lớp nơron sau lớp vào, chúng không trực tiếp liên hệ với thếgiới bên ngoài như các lớp nơron vào/ra.

•Lớp ra là lớp nơron tạo ra các tín hiệu ra cuối cùng

1.2.3Mạng nơron phản hồi

• Mạng nơron phản hồi là mạng mà đàu ra của mỗi nơron đượcquay trở lại nối với đầu vào của các nơron cùng lớp được gọi là mạng Laeralnhư hình 1.6b

1.2.4Mạng nơron hồi quy

• Mạng nơron phản hồi có thể thực hiện đóng vòng được gọi làmạng nơron hồi quy như hình 1.6d Mạng nơron hồi quy có trọng số liên kếtđối xứng như mạng Hopfield, mạng luôn hội tụ về ừạng thái ổn định (Hình1.6.b) Mạng ВАМ thuộc nhóm mạng nơron hồi quy, gồm 2 lớp liên kết 2chiều, không được gắn với tín hiệu vào/ra Nghiên cứu mạng nơron hồi quy

mà có trọng số liên kết không đối xứng, thì sẽ gặp phải vấn đề phức tạp nhiềuhơn so với mạng truyền thẳng và mạng hồi quy có trọng số liên kết đối xứng

1.2.5Mạng Hop field

• Mạng Hopfield là mạng phản hồi một lớp, được chỉ ra trong hình1.6.b Cấu trúc chi tiết của nó được thể hiện ừong hình 1.7 Khi hoạt động vớitín hiệu rời rạc, nó được gọi là mạng Hopfield rời rạc, và cấu trúc của nó cũngđược gọi là mạng hồi quy

mạng Hopfield đã vẽ ở trên, ta thấy nút có một đầu vào bên ngoài Xj và một giá trị ngưỡng 9j (j = l,2, n) Một điều quan trọng cần nói ở đây là mỗi nút không có đường phản hồi về chính nổ Nút đầu ra thứ j được nối tới mỗi đầu vào của nút khác qua trọng số Wịj, với (i = 1 , 2 , h a y nói cách khác Wü =

0, (với i = l,2, ,n)

• Một điều quan trọng nữa là ừọng số của mạng Hopfìeld là đốixứng, tức là Wịj = Wji, (với ij = 1 , 2 , K h i đó, luật cập nhật cho mỗi nútmạng là như sau:

• Luật cập nhật ừên được tính toán ừong cách thức không đồng bộ.Điều này có nghĩa là, với một thời gian cho trước, chỉ có một nút mạng cậpnhật được đầu ra của nó Sự cập nhật tiếp theo ừên một nút sẽ sử dụng chínhnhững đầu ĩã đã được cập nhật Nói cách khác, dưới hình thức hoạt độngkhông đồng bộ của mạng, mỗi đầu ra được cập nhật độc ỉập

•

(fc+i) _

y> = sgn

• Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhậtkhông đồng bộ Với luật cập nhật không đồng bộ thì sẽ chỉ có một trạng tháicân bằng của hệ (với giá tri đầu đã được xác định trước) Trong khi đó, vớiluậtcập nhật đồng bộ thì có thể làm mạng hội tụ ở mỗi điểm cố định hoặc mộtvòng giới hạn.

• cho đầu vào của lớp nơron ỵ

• Đầu vào được xử lý và truyền tới đầu ra của lớp у như sau: y’ = ăwx) ; y[ = ăx iVjjXj); vói i = 1,2, ,n (1.12)

• ở đó ặ) là hàm truyền, vector y’ bây giờ lại nuôi trở lại

lớp потоп X

• và tạo nên đầu ra như sau:

•

• x’ = a(w Ty’); x J= a(ỵ,ĩ =1 w tJ iị); vóij =

(1.13)

• Sau đó x’ nuôi trở lại đầu vào của lớp у và tạo ra hàm у ’ ’ theo phươngtrình (1.12) Quá trìiứi này cứ tiếp tục, bao gồm các bước như sau: y(l)

= a(wx(0)) (truyền thẳng lần thứ nhất) x(2) = a(w(T)y(l)) (truyền ngược

lần thứ nhất) y(3) = a(wx(2)) (truyền thẳng lần thứ hai)

(1-14)

• y(k-l) = a(wx(k-2)) (truyền thẳng lần thứ

k/2) x(k) = a(w(T)y(k-l)) (truyền ngược làn tìiứ

k/2)

• Chú ý rằng trạng thái cập nhật trong phương trình (1.14) là đồng

bộ theo phương trình (1.12) và (1.13) Trạng thái cập nhật cũng có thể khôngđồng bộ theo phương trình (1.12) và (1.13) với các nút i, j được chọn tự do.Người ta đã chỉ ra rằng, hệ thống ổn định cho cả hai chế độ đồng bộ và khôngđồng bộ Tuy nhiên, chế độ đồng bộ sẽ làm cho hệ thống hội tụ nhanh hơnnhiều

1.3Các luât hoc

• Thông thường, mạng nơron được điều chỉnh hoặc được huấnluyện để hướng các đàu vào riêng biệt đến đích ở đầu ra cấu trúc huấn luyệnmạng được chỉ ra ở hình dưới Ở đây, hàm trọng số của mạng được điều chỉnhtrên cơ sở so sánh đầu ra với đích mong muốn (taget), cho tới khi đầu ra củamạng phù hợp với đích Những cặp vào/đích (input/taget) được dùng để giámsát cho sự huấn luyện mạng

• Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đếnmạng và giá trị ra tương ứng được thực hiện bằng mạng là sự xem xét và sosánh với giá tri mong muốn Bình thường, nó sẽ tồn tại một sai số vì giá trimong muốn không hoàn toàn phù họp với giá trị thực Sau mỗi lần chạy, ta cótổng bình phương của tất cả các sai số Sai số này được sử dụng để xác địnhcác hàm trọng số mới

• Sau mỗi lần chạy, hàm trọng số của mạng được sửa đổi với đặctính tốt hơn tương ứng với đặc tính mong muốn Từng cặp giá trị vào/ra phảiđược kiểm ừa và trọng số được điều chỉnh một vài lần Sự thay đổi các hàmtrọng số của mạng sẽ được dừng lại, nếu tổng các bình phương sai số nhỏ hơnmột giá trị đặt trước, hoặc đã chạy đủ một số lần chạy xác định (trong trườnghợp này, mạng có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao) Cóhai kiểu học:

- Học tham số: Là các tham số về trọng số cập nhật kết nối giữa các

Để làm được điều này thì mạng nơron phải sử dụng các trọng số điều chỉnh,

•

với nhiều phương pháp học khác nhau để có thể tính toán gần đúng ma trận w

cần tìm đặc trưng cho mạng Sau đây là 3 phương pháp học:

• Học có giám sát: là quá trình học có tín hiệu chỉ đạo bên ngoài d (Hình 1.10) Trong học có giám sát, thì tại mỗi thời điểm khi đầu vào được cung cấp tới mạng nơron, phản ứng đầu ra mong muốn d tương ứng của hệ thống được đưa ra Ở hình (1.10), khi mỗi đầuvào X® được đặt vào mạng, đầu ra mong muốn tương ứng

d(k) cũng được cung cấp tới mạng Hiệu giữa đầu ra thực y(k) và đầu ra mong muốn d(k) được đo trong máy phát tín hiệu lỗi Máy này sẽ tạo ra tín hiệu lỗi cho mạng để hiệu chỉnh các trọng số của mạng, và vớicác hiệu chỉnh này thì đầu ra thực sẽ tiến sát với đầu ra mong muốn

• y Baurathucte

•

1.10 Hoc cogidm sat 1.3.2H

oc cung co

n hieu chu dao d

co the liy tu moi

ngoai, nhimg tinhieu nay khongdugc day du, machi co mot vaibit dai dien cotinh chat kiemtra qua trinh tothay xau Hoccung co cung lamot dang cuahoc co giam sat,boi vi mang vinnhan mot s6 tinANN

Tin hieu loi

hieu tu benngoai Nhungtin hieu phanh6i chi mangtinh ch4t danhgia hon la mangtinh chit chi din.

No cho bi<kmiic do tot hayxau cua mot dau

ra dac biet Tinhieu cung co

thuang dugc xu

ly bang mayphat tin hieudanh gia de tao

ra nhieu hornnua cac thongtin tin hieu danhgia, sau do dungd§ dilu chinhcac trong s6 vaimuc dich datdugc tin hieudanh gia tothom

co 2iam sat

•

• Du lieu dau vao

• Trong phan hgckhong co giamsat, se khong cothay huong dan,tuc la khong cotin hieu d cungcap toi machphan hoi Bieunay cho thay, ta

se khong bietdau ra dat gia tri

gi Vai loai nay,thi cac naron tuxoay xa vai cac

du lieu mlu ma

no co dugc, chukhong co “tMy”ggi y cin luyentheo huong nao.Mang phai tukham pha mau,dac tinh, sutuong quan hayloai dau vao.Trong khi khampha nhung dactinh nay, tham

so cua mang se

bi thay doi Quatrinh nay dugcggi la tu t6chuc Mot vi dudiln hinh la quatrinh phanloạiđối tượng không

có thầy, nhữnglớp thích hợpđược hình thànhbằng cách khámphá sự tương tự

và không tương

tự trong số cácđối tượng

•

(1.12) mô tảcấu trúc chungcủa quá trìnhhọc của baphương pháphọc đã nêu ởtrên Trong tínhiệu vào Xj (j =

thể

của các nơronkhác hoặc có

thể được lấy ra

từ bên ngoài.Trọng số củanơron thứ iđược thay đổitùy theo tínhiệu ở đầu vào

mà nó thu nhậngiá trị đầu racủa nó Dạngtổng quát củaluật học trọng

số của mạngnơron cho biết

số gia củavector Wi là

Ầ W I

tỉ lệ với tínhiệu học r vàtín hiệu đầuvào x(t)

• ầWi (t)

= ĩỊrjc(t) (1.15)

• TỊ làmột số dương

và được gọi làhằng số họcdùng để xácđịnh tốc độhọc, r là tín

hiệu học và phụthuộc: R = FR (W I

Y X, DỊ) (1-16)

•

*1

•

•

H ình 1.12 Sơ

đề cấu trúc chum của auá trình hoc

Từ hình (1.12)

ta thấy, vector trọng số Wi = [Wii, Wi2, , Wim]T có số gia tỷ lệ với tín hiệu vào X và tín hiệu học r Vector trọng số

ở thời điểm

•

củng cố là tín hiệu học r Như vậy, đối với tín hỉệu học r thì nólàm thế nào để thay đổi hoặc cập nhật trọng

số trong mạng потоп

ạng потоп nhân tạo có các tính chất sau:

- Là hệphi tuyến

- Là hệ

xử lý song song

- Là hệ học và thích nghi: Mạng được luyện từ

số liệu quá khứ,

có khả năng tự chinh

đầu vào khỉ số liệu đầu vào bị mất.

- Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MISO), rất tiện đùng khi điều khiển đốỉtượng có nhiều biến số

1.4 Thu

ật toán lan truyền ngược

huật toán lantruyền ngượcđược úng dụng

để giải các bàitoán điều khiển

các hệ phi tuyếnphức tạp và bất

ổn định Lantruyền ngược làmột phươngpháp cho phépxác định tậptrọng số tốt nhấtcủa mạng đểgiải một bàitoán đã cho.Việc áp đụngphương pháp

ngược là mộtquá trình lặp đilặp lại nhiều lầnhai tiến trình

truyền tiến đểthực hiện ánh xạ

và lan truyềnngược sai số đểcập nhật cáctrọng số Cáctrọng số củamạng là các hệ

số của mô hình.Phương pháp

giảm gradient

được dùng để

cập nhật những

hệ số này sao

cho giảm tìiiểu

được sai số của

huật toán: Đầu

tiên ta cho lan

kích hoạt củaphần tử nơron.Các mạng đượcnghiên cứucùng với thuậttoán học lantruyền ngượcđược gọi làmạng lan truyềnngược.

uấn luyện cáccặp vào/ra

x®,d®)}, k =1,2, ,p

huật toán cungcấp một thủ tụccho việc thayđổi các vectortrọng số ừongmạng, đầu racủa mạng được

ngược trở lạilớp đầu vào chođúng các mẫu

Cơ sở cho việccập nhật các

ừọng số làphương pháp độdốc Gradient.

ới cặp vào ra(x(k), d(k)), thuậttoán lan truyềnngược thực hiệncác bước nhưsau:

ầu tiên, mẫu x(k)được lan truyền

từ lớp đầu vàoqua các lớp ẩn

ngược Kết quả

1 phần tử nơron

ở lớp ẩn, và nphần tử nơron ởlớp đầu ra.Đường nét liềndiễn tả lantruyền thẳngcủa các tín hiệu,đường nét đứtdiên tả lantruyền ngượccủa các sai số.Đầu tiên huấnluyện vào cặpvào/ra ký hiệu(x,d) để cho đơngiản ta bỏ chỉ số

k Khi một mẫuđầu vào X đượcđưa vào thì cácphần tử trongmạng sẽ được

) = a(EJli

v q j X j )

• = k-y.l|,(He(i)IzJ =Jĩ5erfl