Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron

Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron Nhóm 12 1 Vũ Đức Hải – tin học 1 2 Trương Cẩm Vân – tin học 1 Nội dung Giới thiệu.Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron

Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron

Nhóm 12

 1 Vũ Đức Hải – tin học 1

 2 Trương Cẩm Vân – tin học 1

Nội dung

 Giới thiệu bài toán

 Sơ đồ khối thuật toán EPNet

 Chi tiết các bước chính của thuật toán EPNet

Giới thiệu bài toán

 Tại sao phải tối ưu cấu trúc mạng nơron

Khả năng xử lý thông tin của mạng nơron phụ thuộc nhiều vào cấu trúc mạng

 Thuật toán gen được dùng để tìm cấu trúc tối ưu cho mạng nơron

Sơ đồ khối thuật toán EPNet

Chi tiết các bước chính của EPNet

 Mã hóa

 Hàm finess và phương pháp chọn

 Phương pháp huấn luyện lai

 Đột biến trong cấu trúc của mạng

 Xóa node ẩn

 Xóa kết nối

 Thêm kết nối và node

 Huấn luyện sau khi tiến hóa

 Các vấn đề liên quan khác

Mã hóa

Mã hóa

 Tín hiệu vào và ra

 Hàm kích hoạt

Mã hóa

Đột biến trong cấu trúc

 Xóa node ẩn

Xóa node ẩn ngẫu nhiên, số lượng node ẩn lớn nhất do người dùng định nghĩa.

 Xóa kết nối

Đột biến trong cấu trúc

 Thêm kết nối và node

Huấn luyện sau khi tiến hóa

 Sau khi trải qua quá trình đột biến trên ta thu được một quần thể mạng nơron, chọn ra cá thể tốt nhất trong quần thể này và huấn luyện với tập xác thực thứ hai

 Việc này chắc chắn rằng cá thể tốt nhất không học vẹt với tập xác thực thứ nhất

Các vấn đề liên quan

Permutation problem(vấn đề đổi vị trí các node )

1 Replacement Strategy and

Generation Gap

 Chiến lược thay thế trong EPNet nhấn mạnh đến việc cải thiện behaviours và giữ lại nhưng behaviours giữa ANN cha mẹ và con cái

1.1 Replacement Strategy

 MBP : thay thế trực tiếp cho cha mẹ

 SA: thay thế trực tiếp cho cha mẹ nếu sai số giảm 1 cách đáng kể

 Deletion nodes, connections: thay thế lại cá thể “tồi nhất ” trong quần thể nếu nó tốt hơn

 Adding nodes, connections: luôn thay thế lại cá thể “tồi nhất ” trong quần thể vì mạng có nhiều node hơn thì sẽ

“mạnh hơn” mặc dù nó chưa được huấn luyện xong

1.2 Generation Gap

 Khoảng cách thế hệ trong EPNet là nhỏ nhất

2 Hybrid Training

 Thuật toán BP có những khuyết điểm sau:

 Chậm hội tụ

 Hội tụ đến các giá trị cực tiểu địa phương

 Để giải quyết trường hợp chậm hội tụ sử dụng thuật toán MBP

 Trong trường hợp hội tụ đến các giá trị cực đại địa

phương sử dụng thuật toán SA

2.1 Modified Back Propagation(MBP)

 Giống thuật toán BP tuy nhiên vận tốc học có thể thay đổi được qua từng vòng lặp (epochs)

 Nếu E giảm tăng vận tốc học với 1 giá trị cho trước và

ngược lại

2.2 Simulated annealing(SA)

 - Là một phương pháp tìm kiếm xấp xỉ nghiệm tối ưu trong một không gian tìm kiếm rộng

 Tránh được rủi ro khi tìm kiếm bằng phương pháp

heuristic thông thường Simulated Annealing là phương pháp tìm kiếm metaheuristic

Vị trí của SA trong EPNet

 Sử dụng khi MBP không thể cải thiện ANN thêm nữa

 Khi SA cũng không cải thiện được ANN thì sử dụng 4 đột biến để thay đổi cấu trúc của ANN

 Sử dụng SA và BMP để huấn luyện mạng neural