sử dụng mạng neural trong việc dự đoán kết quả đậu đại học

Mỗi một neural nhân tạo được tạo ra sẽ có nhiệm vụ tổng hợp các thông tin đầu vào và chuyển đổi thành thông tin một tín hiệu ở đầu ra... Mô hình cấu trúc một Neural với đầu vào là đại lư

GVHD: TS Phạm Trần Vũ

HVTH: Thái Trung Hải

TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN

 - -

Sử dụng mạng neural trong việc

dự đoán kết quả đậu đại học

NỘI DUNG CHÍNH

Phần I: Tổng quan về mạng neural

Phần II: Giới thiệu về mạng neural đa lớp truyền thẳng và giải thuật lan truyền ngược

Phần III: Ứng dụng mạng neural xây dựng chương trình

dự đoán điểm và khối thi đại học

Tổng quan về mạng neural

Định nghĩa Neural nhân tạo

sự mô phỏng lại một cách đơn giản nhất của neural sinh học Mỗi một neural nhân tạo được tạo ra sẽ có nhiệm vụ tổng hợp các thông tin đầu vào và chuyển đổi thành thông tin một tín hiệu ở đầu ra

Mô hình cấu trúc một Neural với đầu

vào là đại lượng vô hướng

Đầu vào một neural có thể là các đại lượng vô hướng (p) hoặc có hướng, các đại lượng này được nhân với các trọng số (w) tương ứng của nó mà trên từng

neural có sẵn và có thể cộng thêm một ngưỡng (b)

(bias) (thường b=1)

a = F(wp)

Neural không ngưỡng

F(x )

a = F(wp+b)

Neural có ngưỡng

F(x )

b

Hình 1.2 Cấu trúc một Neural với ngõ vào vô hướng

Cấu trúc một Neural với vectơ nhập

b p

Định nghĩa Mạng Neural nhân tạo

Mạng neural nhân tạo là sự liên kết giữa các neural nhân tạo với nhau Mỗi liên kết giữa các neural đi kèm theo một trọng số nào đó mang một tính đặc trưng là tính kích thích hay ức chế giữa các neural Các neural còn được gọi là các nút (node) Các nút này được sắp xếp theo một thứ tự nhất định trong mạng và được chia thành ba lớp Lớp đầu vào (input player), lớp đầu ra (output player) và lớp ẩn (hiden layer)

Mô hình mạng nhiều lớp Neural

Hình 1.5 Mô hình mạng nhiều lớp neural

 Chức năng phân loại mẫu: Phân loại mẫu là sự phân

chia các mẫu ra thành các nhóm khác nhau, các

nhóm này sẽ có chung một số đặc điểm nhất định nào

đó

 Học và tổng quát hóa: Học là việc mạng neural thu

thập được các thông tin, các mẫu, các tri thức ở đầu vào và các thông tin, các mẫu, các tri thức tương ứng

ở đầu ra và mạng có thể học để phân loại được

chúng cho thật là chính xác

Một số chức năng của mạng neural nhân tạo

Kiến trúc mạng neural nhân tạo

Kiến trúc mạng neural nhân tạo được xác định bởi:

 Số lượng các tín hiệu đầu vào/ đầu ra

 Số lượng tầng trong mạng

 Số lượng các neural trong mỗi tầng

 Số lượng các trọng số (các liên kết) đối với mỗi

neural

 Cách liên kết giữa các neural (trong một tầng hoặc

giữ các tầng) với nhau

 Những neural nhận các tín hiệu điều chỉnh lỗi

Các tầng của ANN

Input Hidden layer

Các dạng mạng neural của một ANN

 Mạng liên kết đầy đủ (fully connected): nếu mọi đầu ra từ

một tầng liên kết với mọi neural của tầng kế tiếp

 Mạng lan truyền tiến (feedforward network): nếu không có

bất kỳ đầu ra của một nút là đầu vào của một nút khác

thuộc cùng tầng (hoặc thuộc một tầng phía trước)

 Mạng phản hồi (feedback network): nếu có đầu ra của một

nút liên kết ngược lại làm các đầu vào của một nút thuộc cùng tầng (hoặc thuộc một tầng phía trước)

 Mạng hồi quy (recurrent network): nếu các mạng phản hồi

có các vòng lặp kín (closed loops)

Hoạt động của một mạng neural

Hình 1.7 Cấu tạo 1 neural

Các phương pháp học trong ANN

 Học có giám sát (Supervised Learning)

 Học không có giám sát (Unsupervised Learning)

 Học tăng cường (Hydrid Learning)

Chương II GIỚI THIỆU MẠNG

NEURAL ĐA LỚP TRUYỀN THẲNG

VÀ GIẢI THUẬT LAN TRUYỀN

NGƯỢC

Tổng quan về mạng neural đa lớp truyền

thẳng(Multilayer Perceptrons - MLP)

ANN là mô hình học từ dữ liệu có trước dựa trên cơ chế

tổ chức và xử lý thông tin giống trong bộ não người

Thông qua quá trình học các mẫu dữ liệu trong tập dữ liệu cho trước thu thập được, ANN tự thay đổi chính minh và càng lúc càng tích lũy thêm nhiều kinh nghiệm để giải

quyết tất cả các vấn đề

Kiến trúc mạng

 Mạng Perceptron là mạng neural có kiến trúc truyền thẳng và đa lớp: có thể có một hoặc nhiều lớp ẩn Mỗi

lớp trong mạng có một ma trận trọng số W, vectơ bias

b, vectơ net input n và vectơ đầu ra a

Mạng lan truyền ngƣợc

(Neural Backpropagation)

 Năm 1986, Rumelhart và McClelland giới thiệu thuật toán lan truyền ngược (BP) cho mô hình mạng nhiều lớp Mô hình mạng lan truyền ngược thường dùng có dạng: một lớp nhập – một lớp ẩn – một lớp xuất Giả

sử cho một tập luyện K mẫu {(xi,yi),…, (xk,yk) }, thuật

toán lan truyền ngược cung cấp kỹ thuật hiệu chỉnh

các trọng số Wij trong mạng nhằm phân lớp các giá trị

đầu vào một cách chính xác, hay nói cách khác: mạng

có thể “học” và “hiểu” được dữ liệu đưa vào

Lan truyền tiến

zN} dựa trên những trọng số có sẵn Giả sử tại một nút

mạng, giá trị xuất Zj được tính:

Lan truyền ngược: là quá trình cập nhật lại các trọng số

mạng W dựa trên sai số trung bình bình phương Gọi

wt là trọng số tại bước thứ t, công thức cập nhật trọng

t w w

w  1  

w

u w

u u

E w

Với mạng đang xét là mạng 3 lớp, tại nút xuất z theo quy

E u





) 1

z u

Vậy giá trị tại nút xuất z được tính: 

) 1

( )

u

z z

E u

trong công thức (9) giá trị (theo công thức 3)

diễn tả sự thay đổi của u vào sự thay đổi của trọng số w

i

x w

u 





(13)

t z

z z

t z w

E

) 1

( ) (

) 1

( ) (

j

x pb

pb w

với p = (z-t)z(1-z); bj là trọng số cung nối từ nút ẩn thứ j

đến nút xuất

Nói tóm lại, khi quá trình lan truyền ngược thực hiện, các trọng số sẽ được cập nhật sao cho sai số trung bình bình phương có xu hướng giảm dần Quá trình lan truyền tiến

và lan truyền ngược được thực hiện xen kẽ nhiều lần cho

đến khi đạt được giá trị sai số trung bình bình phương E

mong muốn

Các kỹ thuật cải tiến thuật toán lan truyền ngƣợc

 Khởi tạo và cố định tốc độ học (Fixed calculation of the learning rate)

 Giảm tốc độ học theo quá trình học (Decreasing learning rate)

 Điều chỉnh tốc độ học theo mỗi mẫu luyện (Learning rate adaptation for each training pattern)

 Tiến hóa tốc độ học (Evolutionary adapted learning rate)

 Điều chỉnh tốc độ học bằng thay đổi tín hiệu gradient

(Learning rate adaptation by sign changes)

 Ngăn lỗi bão hòa (Error Saturation Prevention)

Chương III: ỨNG DỤNG MẠNG NEURAL XÂY DỰNG CHƯƠNG TRÌNH DỰ ĐOÁN ĐIỂM VÀ KHỐI

THI ĐẠI HỌC

Thông tin về trường THPT Long Khánh

 Trường THPT Long Khánh được thành lập năm 1967 Từ

ngày thành lập đến nay trường không ngừng phát triển và đã trở thành một trong những trường trọng điểm của tỉnh Đồng Nai Năm học 2009 – 2010 và 2011 – 2012 trường đã lọt vào top 200 trường có điểm trung bình thi vào đại học và cao

đẳng cao nhất (theo thống kê của bộ giáo dục)

 Trường có trên 80% học sinh thi vào đại học là khối A, A1; 70% học sinh thi vào các khối thi B, D1 Có 99% học sinh lựa chọn các môn Toán, Lý, Hóa, Sinh, Anh văn, Ngữ văn để thi vào các trường đại học

Xây dựng neural

Dựa vào các nhân tố ảnh hưởng đến kết quả thi đại học như điểm Văn, Toán, Lý, Hóa, Sinh, Anh ta xây dựng neural gồm có 13 đầu vào và 1 đầu ra như sau:

Hình 3.1 Neural nhân tạo

Xây dựng mạng neural

Hình 3.2 Mạng neural nhân tạo

Xây dựng chương trình

Chương trình gồm hai phần chính:

+ Xây dựng hàm huấn luyện

+ Xây dựng hàm dự đoán

Hàm huấn luyện

Đầu vào

Đầu ra Mạng neural Đọc file dữ liệu đã có

Tính sai số, hiệu chỉnh

i<= số lần huấn luyện

Mẫu Input đầu vào của file huấn luyện

Điểm thi tốt nghiệp

Điểm thi đại học

Trường đậu

Hàm dự báo

liệu data.txt có được từ quá trình huấn luyện

đoán từ người dùng), sau đó cho vào mạng neural để

tính toán

neural (điểm thi tốt nghiệp, điểm thi đại học và nhóm trường sẽ đậu)

Mẫu Input dùng để dự đoán

… … … …

,

n n

n A B A

B A

A

B A

2 1

2

1 1

1

n n

A A

A A

n

i

i n







A E

E

Giả sử ta có n mẫu học sinh cần dự đoán với kết quả thật lần lượt là

Kết quả dự đoán lần lượt là

Đại lượng sai số mỗi lần dự đoán kết quả theo mẫu:

Sai số trung bình của n mẫu dự đoán được tính là :

Trung bình các mẫu được dự đoán:

Độ lệch trung bình tương đối của tập dự đoán so với tập mẫu:

Độ chuẩn xác của kết quả dự đoán:

Tính độ chuẩn xác của chương trình

Trung bình sai số điểm tốt nghiệp

Trung bình sai số điểm đại học

Độ chính xác điểm tốt nghiệp

Độ Chính xác điểm đại học

Độ chính xác trường

sẽ đậu

Kết quả tính độ chuẩn xác của chương trình

CHƯƠNG TRÌNH DEMO

KẾT QUẢ ĐẠT ĐƢỢC

- Thu thập một số dữ liệu về tình hình học tập và kết quả thi đại học của học sinh ở trường THPT Long Khánh, từ đó phân tích, phát hiện được các yếu tố ảnh hưởng trực tiếp đến các

kết quả thi tốt nghiệp, thi đại học của học sinh

- Nghiên cứu, tìm hiểu một số kiến thức nhất định về neural nhân tạo và mạng neural đa lớp truyền thẳng Đồng thời kết hợp mạng neural và thuật toán lan truyền ngược để xây dựng chương trình thử nghiệm

- Xây dựng được chương trình dự đoán kết quả thi tốt nghiệp, kết quả thi đại học, và nhóm trường học sinh có khả năng đậu

Cảm ơn quý Thầy Cô, các anh chị

và các bạn đã lắng nghe