Một số kỹ thuật chỉ dẫn cho giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện cho các bài toán chi phí lớn TT

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ --- NGUYỄN ĐỨC ĐỊNH MỘT SỐ KỸ THUẬT CHỈ DẪN CHO GIẢI THUẬT TIẾN HÓA ĐA MỤC TIÊU SỬ DỤNG MÔ HÌNH ĐẠI DIỆN CHO CÁ

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

-

NGUYỄN ĐỨC ĐỊNH

MỘT SỐ KỸ THUẬT CHỈ DẪN CHO GIẢI THUẬT TIẾN HÓA ĐA MỤC TIÊU SỬ DỤNG MÔ HÌNH ĐẠI DIỆN

CHO CÁC BÀI TOÁN CHI PHÍ LỚN

Chuyên ngành: Cơ sở toán học cho tin học

TÓM TẮT LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội - 2021

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

BỘ QUỐC PHÒNG

Người hướng dẫn khoa học:

1 PGS.TS Nguyễn Xuân Hoài

2 TS Thái Trung Kiên

Phản biện 1:

PGS.TS Nguyễn Linh Giang

Trường Đại học Bách khoa Hà Nội

Phản biện 2:

PGS.TS Nguyễn Long Giang

Viện Hàn lâm Khoa học và Công nghệ Việt Nam

Phản biện 3:

TS Nguyễn Mạnh Linh

Viện Khoa học và Công nghệ quân sự

Luận án được bảo vệ tại Hội đồng đánh giá luận án tiến sĩ cấp Viện, họp tại Viện Khoa học và Công nghệ quân sự vào hồi …… giờ…… ngày …… tháng …… năm 2021

Có thể tìm hiểu luận án tại:

- Thư viện Viện Khoa học và Công nghệ quân sự

- Thư viện Quốc gia Việt Nam

Các giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện là một công cụ hiệu quả để giải bài toán chi phí lớn và được ứng dụng rộng rãi trong thực tế Cho đến nay, các kỹ thuật chỉ dẫn đã được sử dụng khá nhiều trong giải thuật tiến hóa đa mục tiêu, nhưng hầu như chưa được áp dụng cho các giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện Việc thiếu chỉ dẫn tự động để điều chỉnh thích ứng cũng như thiếu chỉ dẫn tương tác trong giải thuật sử dụng mô hình đại diện để giải bài toán chi phí lớn, làm cho quá trình tiến hóa thiếu linh hoạt, dẫn tới hạn chế về độ hội tụ và độ đa dạng, gây ảnh hưởng tới chất lượng, hiệu quả của giải thuật Ngoài ra, vấn đề nhiễu gây ra bởi sai số khi sử dụng mô hình đại diện cũng chưa có phương pháp để xử lý Vì vậy, việc nghiên cứu, giải quyết các vấn đề nêu trên là cần thiết, có ý nghĩa khoa học và thực tiễn cao

2 Mục tiêu của luận án

Nghiên cứu, phát triển một số kỹ thuật chỉ dẫn cho giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện để nâng cao chất lượng, hiệu quả của giải thuật cho bài toán chi phí lớn, tập trung vào

độ hội tụ và độ đa dạng Từ đó, luận án đề xuất cải tiến hai giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện tiêu biểu gần đây, là K-RVEA và CSEA với các kỹ thuật chỉ dẫn

3 Đối tượng, phạm vi nghiên cứu

Giải thuật tiến hóa đa mục tiêu, giải thuật tiến hóa đa mục tiêu

sử dụng mô hình đại diện, kỹ thuật chỉ dẫn, bài toán đa mục tiêu, bài toán chi phí lớn, bài toán mẫu, bài toán thực tế, độ đo

Tối ưu đa mục tiêu, nguyên lý tiến hóa, mô hình đại diện, kỹ thuật chỉ dẫn, bài toán chi phí lớn, các bài toán mẫu DTLZ

4 Nội dung nghiên cứu

(i) Tổng quan bài toán chi phí lớn, giải thuật tiến hóa đa mục tiêu

sử dụng mô hình đại diện;

(ii) Đề xuất phát triển K-RVEA sử dụng các kỹ thuật chỉ dẫn để nâng cao chất lượng, hiệu quả của giải thuật cho bài toán chi phí lớn; (iii) Đề xuất phát triển CSEA sử dụng các kỹ thuật chỉ dẫn để nâng cao chất lượng, hiệu quả của giải thuật cho bài toán chi phí lớn; (iv) Đề xuất mô hình hóa bài toán thực tế trong quân sự

5 Ý nghĩa khoa học và thực tiễn

Luận án đề xuất các kỹ thuật chỉ dẫn nhằm nâng cao chất lượng, hiệu quả của các giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện cho bài toán chi phí lớn Trên cơ sở đó, luận án đề xuất các cải tiến của K-RVEA, CSEA Các giải thuật cải tiến ứng dụng giải quyết bài toán chi phí lớn trong lĩnh vực quân sự

6 Bố cục luận án

Toàn bộ luận án dài 137 trang, ngoài các phần mở đầu, kết luận, danh mục các công trình khoa học đã công bố, tài liệu tham khảo và phụ lục, nội dung được trình bày trong 4 chương:

- Chương 1 Tổng quan giải thuật tiến hóa đa mục tiêu sử dụng

mô hình đại diện cho bài toán chi phí lớn

- Chương 2 Đề xuất kỹ thuật chỉ dẫn cho giải thuật K-RVEA

- Chương 3 Đề xuất kỹ thuật chỉ dẫn cho giải thuật CSEA

- Chương 4 Ứng dụng cho bài toán lập kế hoạch tác chiến

Chương 1 TỔNG QUAN GIẢI THUẬT TIẾN HÓA

ĐA MỤC TIÊU SỬ DỤNG MÔ HÌNH ĐẠI DIỆN CHO

BÀI TOÁN CHI PHÍ LỚN 1.1 Tổng quan bài toán chi phí lớn

1.1.1 Các khái niệm

1.1.2 Bài toán chi phí lớn

1.2 Kỹ thuật chỉ dẫn cho giải thuật tiến hóa đa mục tiêu

1.2.1 Giải thuật tiến hóa đa mục tiêu

1.2.2 Một số kỹ thuật chỉ dẫn cho giải thuật tiến hóa đa mục tiêu

Có hai loại chính là: chỉ dẫn tự động và chỉ dẫn tương tác

1.3 Giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện

1.3.1 Mô hình đại diện

Mô hình đại diện được dùng để xấp xỉ hàm mục tiêu của giải

pháp hoặc phân lớp giải pháp Mô hình tiêu biểu: Kriging, SVM, RBF, PRS, ANN

f'(x) = f(x) + e(x) (1.1)

1.3.2 Sơ đồ giải thuật SAEA

Giải thuật tiến hóa đa mục tiêu sử dụng mô hình đại diện (SAEA) kết hợp ưu điểm của nguyên lý tiến hóa và hiệu quả tính toán của mô hình đại diện nên phù hợp để giải bài toán chi phí lớn

1.3.3 Các giải thuật SAEA điển hình

1.3.3.1 Phân loại giải thuật SAEA

- Các giải thuật sử dụng mô hình xấp xỉ hàm gốc, tiêu biểu như K-RVEA, ParEGO, SMS-EGO, MOEAD/D-EGO

- Các giải thuật sử dụng mô hình phân lớp giải pháp, tiêu biểu như CSEA, CPS-MOEA

1.3.3.2 Giải thuật K-RVEA

K-RVEA là giải thuật tiến hóa sử dụng mô hình Kriging cùng với véc-tơ tham chiếu Giải thuật sử dụng mô hình để xấp xỉ hàm gốc

1.3.3.3 Giải thuật CSEA

CSEA là giải thuật tiến hóa sử dụng mô hình đại diện phân lớp Giải thuật sử dụng mạng nơ-ron truyền thẳng FNN để phân lớp giải pháp

1.4 Một số vấn đề tồn tại

1.4.1 Một số vấn đề tồn tại của giải thuật SAEA

(1) Thiếu chỉ dẫn tự động quá trình tiến hóa trong giải thuật sử dụng mô hình đại diện (khi lựa chọn mẫu huấn luyện, thời điểm huấn luyện mô hình, điều chỉnh tham số điều khiển)

(2) Thiếu chỉ dẫn tương tác trong quá trình tiến hóa để đạt được mong muốn của người quyết định

(3) Thiếu phương pháp để xử lý vấn đề nhiễu gây ra bởi sai số khi sử dụng mô hình đại diện

1.4.2 Nội dung dự kiến nghiên cứu của luận án

Mục tiêu của luận án là khắc phục các vấn đề tồn tại nêu trên của giải thuật SAEA, tập trung vào các vấn đề nghiên cứu là:

(1) Phát triển K-RVEA bằng các kỹ thuật chỉ dẫn (chỉ dẫn tự động và chỉ dẫn tương tác) để nâng cao chất lượng, hiệu quả của giải thuật cho bài toán chi phí lớn

(2) Phát triển CSEA bằng các kỹ thuật chỉ dẫn (chỉ dẫn tự động và chỉ dẫn tương tác) để nâng cao chất lượng, hiệu quả của giải thuật cho bài toán chi phí lớn

(3) Nghiên cứu, mô hình hóa bài toán trong thực tế và ứng dụng các giải thuật trên để giải quyết

1.5 Kết luận Chương 1

Chương 1 tổng quan về bài toán chi phí lớn, giải thuật SAEA Thông qua phân tích, đánh giá hai giải thuật tiêu biểu K-RVEA, CSEA, đưa ra một số vấn đề tồn tại Từ đó, luận án xác định bài toán nghiên cứu, phát triển các kỹ thuật chỉ dẫn để nâng cao chất lượng, hiệu quả của các giải thuật K-RVEA và CSEA Một số nội dung về

kỹ thuật chỉ dẫn tương tác làm căn cứ xác định nội dung nghiên cứu

đã được công bố trong công trình số [CT1]

Chương 2 ĐỀ XUẤT KỸ THUẬT CHỈ DẪN CHO

GIẢI THUẬT K-RVEA

Chương 2 trình bày đề xuất giải thuật M-K-RVEA chỉ dẫn tự động và iK-RVEA chỉ dẫn tương tác Kết quả nghiên cứu nội dung này được công bố trong công trình số [CT2], [CT3], [CT5]

2.1 Giải thuật M-K-RVEA chỉ dẫn tự động

2.1.1 Xác định tương quan giữa thông tin tham chiếu và thông tin điều khiển

Luận án đề xuất sử dụng kỹ thuật chỉ dẫn tự động cho giải thuật SAEA để điều khiển quá trình tiến hóa hướng tới tăng cường

sự cân bằng giữa khả năng khai thác và thăm dò, nâng cao độ hội tụ

và độ đa dạng của giải thuật Việc chỉ dẫn thông qua điều chỉnh tự động tham số điều khiển giúp giải thuật có khả năng thích ứng tốt hơn Để chỉ dẫn quá trình tiến hóa, cần xác định các thông tin tham chiếu làm căn cứ tính toán tham số điều khiển Luận án đề xuất tính

tham số điều khiển theo tham số tiến trình thời gian như sau:

- Tham số tiến trình thời gian Q t tại thời điểm t được tính

Trong đó: FE là số lần đánh giá độ thích nghi; FE max là số lần đánh

giá độ thích nghi tối đa (trong trường hợp cụ thể K-RVEA và CSEA, FE

là số lần tính toán hàm gốc, FE max là số lần tính toán hàm gốc tối đa);

n non là số giải pháp không bị trội Pareto; N P là kích thước quần thể;

C prb là tham số biểu thị mức độ phức tạp của bài toán, C prb [0.8, 1.0]

Q t cũng có thể được tính theo công thức (2.2):

Giải thuật tính toán tham số tiến trình thời gian Q t như sau:

Giải thuật 2.1 CalculateQt(P)

n FE

C

- Tham số điều khiển pt chỉ dẫn quá trình tiến hóa, được tính

toán theo công thức (2.3):

( )

Trong đó Q p = Q t * p 0 là giá trị đầu vào để chuẩn hóa và nhận

được p t , với p 0 là điểm gieo Hàm Normalize chuẩn hóa, đảm bảo p t

được điều chỉnh thích ứng theo sự biến đổi giá trị của tham số Q t và

luôn nằm trong miền giá trị [p start , p end] Các tham số điểm gieo và miền giá trị được xác định trong từng giải thuật cụ thể

Giải thuật tính toán tham số điều khiển p t như sau:

Giải thuật 2.2 Normalize(Q p)

Input: Q p.

Output: p t

1: p 0  điểm gieo; [p start, p end]  miền của p t

2: C prb  mức độ phức tạp của bài toán

- Bước 1: Tính toán tham số tiến trình thời gian Q t

- Bước 2: Tính toán tham số điều khiển p t

2.1.2 Giải thuật M-K-RVEA

Giải thuật M-K-RVEA được đề xuất trong luận án là cải tiến của K-RVEA, sử dụng kỹ thuật chỉ dẫn tự động với tham số điều

khiển w t max (là số thế hệ sử dụng mô hình Kriging)

( *60)

t

Giá trị 60 của p 0 được gọi là điểm gieo để đảm bảo w t max 

[10, 50], vùng lân cận của w max = 30 (trong giải thuật K-RVEA)

Giải thuật 2.3 M-K-RVEA [CT5]

Input: FE max ; u; N I

Output: các giải pháp tốt trong A 2

1: Khởi tạo quần thể; FE 0, w 1, t 0; A 1  , A 2  

2: Sử dụng hàm gốc đánh giá các cá thể và thêm vào A 1 , A 2;

FE  FE + N I , |A 1|  |A 1 | + N I , |A 2|  |A 2 | + N I

3: Huấn luyện mô hình Kriging sử dụng các cá thể trong A 1

4: Thiết lập: C prb  1.0, p 0  60, [p start , p end ]  [10, 50] 5: while FE  FE max do

/* Tính toán tham số tiến trình thời gian Q t */

/* Huấn luyện mô hình */

11: Lựa chọn u cá thể để huấn luyện mô hình và sử dụng

2.2 Giải thuật iK-RVEA chỉ dẫn tương tác

2.2.1 Xác định thông tin tham chiếu

Luận án đề xuất sử dụng kỹ thuật chỉ dẫn tương tác cho giải thuật SAEA để điều khiển quá trình tiến hóa hướng tới tăng cường

sự cân bằng giữa khả năng khai thác và thăm dò, nâng cao độ hội tụ

và độ đa dạng của giải thuật Người quyết định sẽ chỉ dẫn quá trình

tiến hóa thông qua việc điều chỉnh tham số điều khiển tại một hoặc nhiều thời điểm

Để chỉ dẫn tương tác với quá trình tiến hóa trong giải thuật, cần xác định các thông tin tham chiếu từ quá trình tiến hóa theo tiến trình thời gian để làm căn cứ cho người quyết định phân tích, dự đoán xu hướng tìm kiếm và xu hướng biến đổi quẩn thể để điều chỉnh tham số điều khiển Luận án đề xuất các bước để điều chỉnh tham số điều khiển theo tham số tiến trình thời gian như sau:

- Bước 1: Tại thời điểm người quyết định muốn tương tác với

quá trình tiến hóa, giải thuật tính toán tham số tiến trình thời gian Q t

- Bước 2: Hiển thị các giá trị của Q t , p t cùng với các thông tin

tham chiếu và người quyết định sẽ điều chỉnh p t theo mong muốn

2.2.2 Giải thuật iK-RVEA

Giải thuật iK-RVEA được đề xuất trong luận án là cải tiến của K-RVEA, sử dụng kỹ thuật chỉ dẫn tương tác với tham số điều khiển

là w nd max Trong giải thuật, sẽ có một thủ tục tương tác với người quyết định gồm hai bước được thêm vào vòng lặp chính Trên cơ sở phân tích, dự đoán xu hướng tìm kiếm và xu thế biến đổi của quần

thể dựa trên sự biến đổi của Q t và các thông tin tham chiếu, người

quyết định sẽ điều chỉnh giá trị w nd max để định hướng cho lần tiếp

theo của quá trình tiến hóa Giá trị w nd max nên được điều chỉnh trong

khoảng [10, 50] và tăng giảm theo chiều tăng giảm của Q t

Giải thuật 2.4 iK-RVEA [CT3]

Input: FE max ; u; N I

Output: các giải pháp tốt trong A 2

1: Khởi tạo quần thể; FE 0, w 1, t 0; A 1  , A 2  

2: Sử dụng hàm gốc đánh giá các cá thể và thêm vào A 1 , A 2;

2.3.2 Kết quả thử nghiệm

a) Đối với M-K-RVEA và K-RVEA:

So sánh kết quả độ đo GD, IGD giữa K-RVEA và RVEA thấy rằng giải thuật cải tiến có độ hội tụ và độ đa dạng tốt hơn M-K-RVEA tốt hơn trong các bài toán DTLZ1, DTLZ3, DTLZ4, DTLZ5, DTLZ6, DTLZ8, DTLZ9, đây là các bài toán với lớp POF có tính chất lồi, phân bố đều, có nhiều điểm hoặc nhiều vùng tối ưu cục bộ Trong một số ít trường hợp khác, M-K-RVEA có kết quả tương tự hoặc kém không đáng kể so với K-RVEA, ví dụ DTLZ2, DTLZ7, các bài toán này có lớp POF gồm các vùng rời nhau hoặc phân bố quá rộng

M-K-Hình 2.2 Quá trình tối ưu của K-RVEA, M-K-RVEA với DTLZ1 Kết quả các phép đo GD, IGD của M-K-RVEA phần lớn là tốt hơn, ổn định hơn, luôn duy trì ở mức thấp trong suốt quá trình tiến hóa Các giải pháp luôn tiệm cận và trải đều trên lớp POF qua các thế

hệ Điều này cho thấy, M-K-RVEA đã giảm được nhiễu do sai số khi

sử dụng mô hình, làm cho tính bền vững của giải thuật tốt hơn

b) Đối với iK-RVEA và K-RVEA:

So sánh kết quả trên độ đo GD, IGD giữa K-RVEA và RVEA thấy rằng giải thuật cải tiến cũng có độ hội tụ và độ đa dạng

iK-tốt hơn iK-RVEA iK-tốt hơn trong các bài toán DTLZ1, DTLZ3, DTLZ4, DTLZ5, DTLZ6, DTLZ8, DTLZ9, đây là các bài toán với lớp POF có tính chất lồi, phân bố đều, có nhiều điểm hoặc nhiều vùng tối ưu cục bộ Trong một số ít trường hợp khác, iK-RVEA có kết quả tương tự hoặc kém không đáng kể so với K-RVEA, ví dụ DTLZ2, DTLZ7 Các bài toán này có POF gồm các vùng rời nhau hoặc phân

bố quá rộng

Hình 2.8 Quá trình tối ưu của K-RVEA, iK-RVEA với DTLZ5

2.3.3 So sánh với một số giải thuật khác

Luận án cũng thử nghiệm và so sánh hai giải thuật cải tiến cùng với giải thuật gốc và một số giải thuật SAEA khác: ParEGO, SMS-EGO, MOEA/D-EGO, CPS-MOEA Qua các kết quả thử nghiệm trên độ đo GD, IGD với các bài toán DTLZ1DTLZ7 cho thấy: với độ đo GD, M-K-RVEA cho kết quả GD tốt hơn với bài toán DTLZ5 và iK-RVEA tốt hơn với bài toán DTLZ6; với độ đo IGD, M-K-RVEA cho kết quả tốt hơn với các bài toán DTLZ1, DTLZ5 và iK-RVEA tốt hơn với bài toán DTLZ6

2.3.4 Đánh giá chung

Luận án đánh giá về một số yếu tố của chất lượng, hiệu quả của các giải thuật cải tiến so với giải thuật gốc như sau:

(i) Về độ hội tụ và độ đa dạng của giải thuật: Trong đa số

trường hợp, M-K-RVEA và iK-RVEA có độ hội tụ và độ đa dạng tốt hơn so với K-RVEA Kết quả thực nghiệm đã minh chứng cho giả thuyết việc xác định thời điểm huấn luyện mô hình và điều chỉnh tham số điều khiển phù hợp đã cân bằng hơn khả năng khai thác và thăm dò trong quá trình tiến hóa, nâng cao độ hội tụ và độ đa dạng của các giải thuật cải tiến Mặc dù vậy, trong một số ít trường hợp, các giải thuật cải tiến có độ hội tụ và độ đa dạng không bằng giải thuật gốc Các trường hợp này là các bài toán DTLZ có lớp POF phân bố quá rộng hoặc có các vùng rời nhau

(ii) Về tính bền vững của giải thuật: Các giải thuật cải tiến ổn

định hơn với tác động của nhiễu gây ra bởi sai số từ mô hình đại diện

Vì vậy, tính bền vững của giải thuật cải tiến tốt hơn giải thuật gốc

(iii) Về độ phức tạp tính toán của giải thuật: Các giải thuật cải

tiến và giải thuật gốc có độ phức tạp tính toán tương đương nhau

2.4 Kết luận Chương 2

Chương này đã trình bày đề xuất các cải tiến của giải thuật RVEA sử dụng các kỹ thuật chỉ dẫn Giải thuật M-K-RVEA chỉ dẫn

K-tự động để điều chỉnh tham số điều khiển w t max và giải thuật iK-RVEA

chỉ dẫn tương tác để điều chỉnh tham số điều khiển w nd max Nhờ vậy, quá trình tiến hóa của giải thuật đã cân bằng hơn giữa khả năng khai thác và thăm dò, giúp nâng cao độ hội tụ và độ đa dạng Kỹ thuật chỉ dẫn giúp cho việc xác định thời điểm huấn luyện mô hình hợp lý hơn, làm cho tính bền vững của giải thuật tốt hơn Luận án đã thử nghiệm

và so sánh kết quả của các giải thuật cải tiến với giải thuật gốc Kết quả thử nghiệm đã minh chứng giải thuật cải tiến sử dụng kỹ thuật chỉ dẫn đã được nâng cao về chất lượng, hiệu quả