Bài giảng Tính toán tiến hóa - Bài 5: Evolution strategy

Bài giảng Tính toán tiến hóa - Bài 5: Evolution strategy. Bài này cung cấp cho học viên những nội dung về: tổng quan Evolution Strategy (ES); các loại ES; chiến lược chọn lọc sinh tồn; chiến lược tiến hóa Gaussian đơn giản;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

PGS.TS Huỳnh Thị Thanh Bình Email: binhht@soict.hust.edu.vn

Evolution Strategy

Tổng quan về Evolution Strategy

 Evolution Strategy (Chiến lược tiến hóa – ES)

 Thuộc lớp các thuật toán tiến hóa EAs, dựa trên quần thể

 Lấy cảm hứng từ chiến lược chọn lọc tự nhiên

 Rất hiệu quả cho việc tối ưu số thực

Tổng quan về Evolution Strategy

 Cho hộp đen với hàm mục tiêu cần tối ưu f(x)

 Không thể tính được đạo hàm, không lồi….

 f(x) là tất định

 Gọi 𝑝𝜃(𝑥) là phân phối của các lời giải tốt cho việc tối ưu f(x)

 Nếu dạng phân phối là xác định (giả sử gauss) thì

 𝜃 là tham số mang thông tin về lời giải tốt nhất

 𝜃 được cập nhật qua mỗi thế hệ trong EAs

Tổng quan về Evolution Strategy

 Bắt đầu với giá trị khởi tạo 𝜃, Các thuật toán ES cập nhật 𝜃 theo 3 bước như sau:

 Bước 1: Sinh một quần thể ban đầu P(t) , với N mẫu

𝑃 𝑡 = { 𝑥𝑖, 𝑓 𝑥𝑖 , 𝑥𝑖~𝑝𝜃(𝑥)

 Bước 2: Đánh giá các cá thể trong P(t)

 Bước 3: Chọn một tập con cá thể có độ thích nghi tốtnhất trong P(t) và cập nhật lại 𝜃

 Bước 4: t = t+1 và lặp lại bước 1 cho đến khi thỏa mã

ĐK dừng

 Dựa theo chiến lược chọn lọc sinh tồn

 (𝜇, 𝜆) − 𝐸𝑆 : Chọn 𝜇 cá thể tốt nhất từ 𝜆 cá thể con để sinh tồn ở thế hệ tiếp theo

 (𝜇 + 𝜆) − 𝐸𝑆 : Chọn 𝜇 cá thể tốt nhất từ tập hợp của

 𝜆 cá thể con và

 𝜇 cá thể cha trước đó

 Các thuật toán ES phổ biến:

 Simple Gaussian Evolution Strategies

 Covariance Matrix Adaptation Evolution Strategies ES)

Simple Gaussian Evolution Strategies

 Là chiến lược tiến hóa đơn giản và cổ điển nhất của ES

 Phân phối 𝑝𝜃của các cá thể là phân phối Gauss n-chiều

 𝜃 lưu trữ thông tin của giá trị trung bình μ và độ lệch chuẩn 𝜎

𝜃 = 𝜇, 𝜎 , 𝑝𝜃 𝑥 ~ 𝑁 𝜇, 𝜎2𝐼 = 𝜇 + 𝜎 ∗ 𝑁(0, 𝐼)

 Các bước của thuật toán

 Bước 1: Khởi tạo 𝜃 = 𝜃0, 𝑡 = 0

 Bước 2: Sinh ngẫu nhiên 𝜆 cá thể từ phân phối 𝑝𝜃

Simple Gaussian Evolution Strategies – Ví dụ

Bước 1: Khởi tạo

1- Initial Solution

Simple Gaussian Evolution Strategies – Ví dụ

Bước 2: Sinh ra 𝜆 cá thể con

Simple Gaussian Evolution Strategies – Ví dụ

Bước 3: Chọn ra 𝜇 cá thể con tốt nhất

Simple Gaussian Evolution Strategies – Ví dụ

Bước 4: Cập nhật giá trị trung bình của phân phối và lặp lại bước 2 và 3

Simple Gaussian Evolution Strategies

 𝜎 càng cao: Mức độ khám phá của thuật toán càng lớn

 Tuy nhiên giá trị 𝜎(𝑡+1) khá tương đồng với 𝜎(𝑡)

 Khả năng hội tụ kém khi 𝜎 cao

 Hình dạng của phân phối trong SGES là giống nhau ở mọi thởi điểm

Covariance Matrix Adaptation Evolution Strategies (CMA-ES)

Covarianc e

Covariance Matrix Adaptation Evolution Strategies (CMA-ES)

Covariance Matrix Adaptation Evolution Strategies (CMA-ES)

Covariance Matrix Adaptation Evolution Strategies (CMA-ES)

Covariance Matrix Adaptation Evolution Strategies (CMA-ES)

Covariance Matrix Adaptation Evolution

Strategies (CMA-ES)

 Các bước của CMA-ES:

 Bước 1: Khởi tạo:

 Ma trận hiệp phương sai C = I (ma trận đơn vị)

 m : vector nx1 chứa giá trị NST trung bình ban đầu của quần thể

 𝜎: Step size ( vector nx1 chứa độ lệch chuẩn của các biển trong NST)

 Bước 2: Sinh ra 𝜆 cá thể con thông qua cơ chế đột biến vectortrung bình

𝑥𝑖 = 𝑁 𝑚, 𝜎2𝐶 = 𝑚 + 𝑁 0, 𝜎2𝐶 = 𝑚 + 𝜎 ∗ 𝑁(0, 𝐶)

Covariance Matrix Adaptation Evolution

Strategies (CMA-ES)

 Bước 3: Đánh giá độ thích nghi các cá thể con vừa sinh ra

 Bước 4: Sắp xếp các cá thể con theo thứ tự giảm dần độ thíchnghi:

𝑋 = 𝑋12 + 𝑋22 + ⋯ + 𝑋𝑛2

Covariance Matrix Adaptation Evolution

Strategies (CMA-ES)

 Hội tụ nhanh sau một số lượng thế hệ nhỏ

 Giải quyết được các bài toán số chiều cao, không giantìm kiếm rộng lớn, hoặc có hàm mục tiêu không tínhđược đạo hàm

 Điểm yếu: Tốc độ tính toán, nhiều kiến thức toán học, lý thuyết

Thanks for your attention