Ngoài nước (phân tích, đánh giá được những công trình nghiên cứu có liên quan đến đề tài, những kết quả nghiên cứu mới nhất trong lĩnh vực nghiên cứu đề tài; nêu được những khác biệt về trình độ KHCN trong nước và thế giới): ...................................................................................................................................................... Hiện nay, có rất nhiều phương pháp dự báo dòng chảy đã được đưa ra dựa trên các mô hình vật lý và toán học. Trong nhiều trường hợp, kết quả dự báo theo các mô hình nói trên đã đạt được một số thành công đáng ghi nhận. Tuy nhiên, vấn đề tìm kiếm phương pháp đủ tốt để giải quyết bài toán dự báo vẫn là nội dung nghiên cứu thời sự hiện nay. Trong những năm gần đây việc nghiên cứu, sử dụng các phương pháp học máy tiên tiến như: mạng nơron nhân tạo (Artificial Neural Network ANN), giải thuật di truyền (Genetic Algorithm GA),... trong bài toán dự báo chuỗi thời gian nói chung và dự báo dòng chảy nói riêng 57,1214, 19 là một hướng tiếp cận được sự quan tâm đặc biệt của một số nhóm nghiên cứu trên thế giới. Đây được coi là những công cụ rất mạnh để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt trong các trường hợp mà mối quan hệ giữa các quá trình không dễ thiết lập một cách tường minh. Demetris F. Lekkas 12 cung cấp một khung nhìn phương pháp luận về các phương pháp dự báo dòng chảy. Ibrahim Can cùng các cộng sự 5 và Cristiane Medina Finzi Quintao và các cộng sự 19 công bố một số kết quả nghiên cứu cập nhật về dự báo dòng chảy của một số dòng sông tại Thổ Nhĩ Kỳ và Brazin. Đặc biệt, các công trình này đã cung cấp cách thức đánh giá kết quả thực nghiệm các phương pháp dự báo thủy văn được đề cập. Các công trình nghiên cứu khác về mạng nơron nhân tạo, giải thuật di truyền và kết hợp chúng đã khẳng định rằng đây là một hướng nghiên cứu có thể giải quyết các bài toán dự báo nói chung trong đó có dự báo dòng chảy.
Xây dựng hàm giá
Hàm giá sẽ được áp dụng để xác định độ phù hợp của các cá thể và quần thể trong thuật toán di truyền (GA) Nghiên cứu này sử dụng hàm sai số căn quân phương (RMSE) để đánh giá tập mẫu học.
- y ij , d ij là đầu ra của mạng và đầu ra mong muốn của đầu ra thứ j tại mẫu học thứ i
- n là số đầu ra của mạng
Trong quá trình tiến hoá của toàn bộ quần thể, hàm giá này sẽ dần dần đạt tới cực tiểu toàn cục.
Mã hoá nhiễm sắc thể
Mỗi cá thể trong Thuật toán Di truyền (GA) đại diện cho một bộ trọng số của mạng nơ-ron, trong đó không cần phân biệt trọng số theo lớp mà chỉ cần trải đều chúng lên sơ đồ gen của nhiễm sắc thể Phương pháp mã hóa nhị phân được áp dụng để thể hiện các trọng số này.
Một phương pháp mã hoá nhiễm sắc thể khá nổi tiếng do Whitley cùng các đồng tác giả
GENITOR là một đề xuất với nhiều phiên bản khác nhau, trong đó mỗi trọng số của mạng được mã hóa thành chuỗi bit Bit chỉ số (index-bit) xác định sự tồn tại của kết nối (1 - có kết nối, 0 - không có kết nối), trong khi các bit còn lại biểu diễn giá trị trọng số Whitley áp dụng mã hóa 8-bit cho dải giá trị từ -127 đến +127, trong đó số 0 được mã hóa hai lần Mặc dù phương pháp mã hóa này giúp đơn giản hóa các toán tử đột biến và lai ghép, nhưng để nâng cao độ chính xác, cần tăng số bit mã hóa cho mỗi trọng số, dẫn đến chiều dài nhiễm sắc thể tăng và làm chậm quá trình thực thi thuật toán.
Hình 2.3 Mã hoá nhị phân trọng số theo phương pháp GENITOR b Mã hoá số thực
Montana D và Davis L đã mã hoá trực tiếp các trọng số bằng các số thực, điều này không chỉ tăng độ chính xác của phép mã hoá mà còn giảm kích thước của nhiễm sắc thể Trong nghiên cứu của chúng tôi, chúng tôi cũng áp dụng phương pháp này để mã hoá trọng số của mạng, với các gen (trọng số) được khởi tạo ngẫu nhiên trong khoảng từ -3 đến +3 Tuy nhiên, kỹ thuật mã hoá này yêu cầu chúng tôi điều chỉnh các toán tử lai ghép và đột biến cho phù hợp.
Hình 2.4 Ví dụ về phương pháp mã hoá trọng số bằng số thực
Lai ghép
Có một số cách tiếp cận trong lai ghép giữa các nhiễm sắc thể [3] a Lai ghép trọng số (crossover-weights)
Toán tử lai ghép nút (crossover-nodes) cho phép đưa một giá trị vào mỗi vị trí của nhiễm sắc thể con bằng cách ngẫu nhiên chọn giá trị từ nhiễm sắc thể cha hoặc mẹ tại cùng vị trí.
Lai ghép được thực hiện giữa các nút cùng vị trí của cha và mẹ, trong đó trọng số của tất cả các liên kết đầu vào tới các nút sẽ được hoán vị cho nhau mỗi khi hai nút tại một lớp nào đó được lai ghép.
Hình 2.5 Lai ghép nút (crossover-nodes)
Đột biến
a Đột biến trọng số (mutate weights)
Một gen (trọng số) được lựa chọn ngẫu nhiên với một xác suất p mutation để tiến hành đột biến Có hai phương pháp đột biến trọng số [3] là:
UNBIASED: với mỗi gen được chọn đột biến nó sẽ được thay thế bằng một giá trị ngẫu nhiên xung quanh 0
Phương pháp BIASED trong đột biến gen, khi mỗi gen được chọn sẽ cộng thêm một giá trị ngẫu nhiên, đã cho kết quả tốt hơn so với phương pháp UNBIASED, theo nghiên cứu của Montana [3] Điều này có thể giải thích bởi việc trọng số trong quá trình chạy bộ có xu hướng cải thiện, do đó, việc thay thế giá trị gốc bằng các giá trị ngẫu nhiên xung quanh giá trị gốc (BIASED) mang lại hiệu quả cao hơn so với việc thay thế bằng các giá trị ngẫu nhiên xung quanh 0 (UNBIASED).
Toán tử đột biến nút lựa chọn n nút không phải là nút đầu vào, sau đó tất cả các liên kết tới những nút này sẽ được cộng thêm một giá trị ngẫu nhiên.
Thử nghiệm
a Thử nghiệm giải thuật di truyền với các phương pháp đột biến khác nhau
Bài viết so sánh hai phương pháp đột biến là 'đột biến trọng số BIASED' và 'đột biến nút', cả hai đều áp dụng phương pháp 'lai ghép trọng số' Thử nghiệm được thực hiện với mẫu học dạng hình sin gồm 30 mẫu, chi tiết có trong phụ lục B Các tham số được giữ nguyên cho cả hai phương án.
Trong quá trình thử nghiệm, chúng tôi đã thực hiện 100 lần chạy cho mỗi phương án Dưới đây là bảng thống kê số lần chạy và số thế hệ cần thiết để đạt được yêu cầu về sai số.
(1) – phương án ‘đột biến trọng số BIASED’
(2) – phương án ‘đột biến nút’
Bảng 2.2 So sánh các phương pháp đột biến
Kết quả trung bình sau 112.65 thế hệ của phương pháp ‘đột biến nút’ cho thấy hiệu suất vượt trội, thấp hơn đáng kể so với phương pháp ‘đột biến trọng số BIASED’ với 152.67 thế hệ Thử nghiệm thuật toán di truyền đã được thực hiện với nhiều phương pháp lai ghép khác nhau.
Trong bài viết này, chúng ta sẽ so sánh hai phương pháp lai ghép là ‘lai ghép trọng số’ và ‘lai ghép nút’, cả hai đều áp dụng phương pháp ‘đột biến nút’ Cả hai phương pháp này sử dụng các tham số giống nhau, tạo ra sự tương đồng trong cách thức hoạt động và hiệu quả của chúng.
Trong quá trình thử nghiệm, 100 lần chạy đã được thực hiện cho mỗi phương án Bảng thống kê dưới đây trình bày số thế hệ cần thiết trong từng lần chạy để đạt được yêu cầu về sai số là 0.05.
(1) – phương án ‘lai ghép nút’
(2) – phương án ‘lai ghép trọng số’
Bảng 2.3 So sánh các phương pháp lai ghép
Kết quả trung bình sau 99.13 thế hệ của phương pháp ‘lai ghép nút’ thấp hơn một chút so với phương pháp ‘lai ghép trọng số’, đạt 112.65 thế hệ Bài thử nghiệm này so sánh hiệu quả giữa giải thuật di truyền và giải thuật lan truyền ngược sai số.
Thử nghiệm hai phương pháp với bài toán nổi tiếng XOR Có 4 mẫu học như sau:
Tham số chung cho cả hai phương pháp:
- Mạng nơ - ron sử dụng là mạng có một lớp ẩn
- Số nơ-ron trong lớp ẩn: 2
- Ngưỡng sai số dừng lặp: 0.05 hoặc quá 10000 vòng lặp
Tham số của giải thuật lan truyền ngược sai số:
Tham số của giải thuật di truyền:
- Sử dụng phương pháp lai ghép nút và đột biến nút
Sau đây là bảng thống kê số bước lặp để mạng hội tụ với mỗi phương án trong 100 lần thử nghiệm khác nhau
GA: giải thuật di truyền
BP: giải thuật lan truyền ngược sai số
- : mạng không hội tụ (số lần lặp lớn hơn 10000)
Bảng 2.4 Kết quả thử nghiệm so sánh GA và BP với ngưỡng sai số 0.0005
STT GA BP STT GA BP STT GA BP
32 791 1150 67 209 1347 Số lần mạng hội tụ
Kết quả trong 100 lần chạy:
- Giải thuật di truyền chạy thành công được 70 lần trung bình 1228.59 vòng lặp một lần chạy
- Giải thuật lan truyền ngược sai số chạy thành công được 58 lần trung bình 2152.53 vòng lặp
Giải thuật di truyền (GA) cho thấy khả năng đạt yêu cầu hội tụ với sai số ≤ 0.05, giúp tìm kiếm cực trị toàn cục dễ dàng hơn so với giải thuật lan truyền ngược sai số (BP) Điều này có nghĩa là GA ít gặp phải tình trạng rơi vào cực tiểu cục bộ hơn so với BP Trong 100 lần chạy, GA chỉ có 30 lần không tìm được cực trị toàn cục, trong khi BP có tới 42 lần không thành công.
Giải thuật đề xuất
Trong thử nghiệm so sánh giữa GA và BP, mặc dù GA có khả năng tìm kiếm cực tiểu toàn cục tốt hơn, nhưng vẫn có nhiều trường hợp mạng không hội tụ, cụ thể là 30/100 lần thử nghiệm không đạt được hội tụ với GA Nguyên nhân chính dẫn đến tình trạng này là do một số trọng số trong mạng đã trở nên quá lớn, chủ yếu do phương pháp đột biến BIASED được sử dụng Phương pháp này chỉ điều chỉnh trọng số bằng cách cộng vào một giá trị ngẫu nhiên xung quanh 0, giúp duy trì tính "tốt" của thế hệ trước, nhưng cũng có thể khiến một số trọng số ngày càng xa gốc 0 và dẫn đến việc rơi vào cực tiểu cục bộ Để khai thác ưu điểm của phương pháp đột biến BIASED mà không làm tăng nguy cơ rơi vào cực tiểu cục bộ, chúng tôi đề xuất một phương pháp đột biến mới.
Kết hợp giữa đột biến BIASED và UNBIASED, trong đó đột biến BIASED chiếm ưu thế với xác suất cao hơn, giúp tạo ra sự điều chỉnh hiệu quả Đột biến UNBIASED được bổ sung nhằm giảm thiểu các trọng số quá lớn, đưa chúng về các giá trị nhỏ hơn, tạo ra sự cân bằng trong quá trình tối ưu hóa.
0) Do đó, có thể giúp mạng thoát khỏi cực tiểu cục bộ
Việc thử nghiệm giải thuật cải tiến được tiến hành với các tham số giống như thuật toán
Trong thử nghiệm 2.3.5, GA được áp dụng với sự kết hợp của đột biến UNBIASED có xác suất nhỏ là 0.03 Dưới đây là số lần lặp cần thiết để mạng hội tụ khi sử dụng phương pháp đột biến đề xuất.
Bảng 2.5 Kết quả thử nghiệm với giải thuật đề xuất
STT Số lần lặp STT Số lần lặp STT Số lần lặp
Có thể rút ra một số nhận xét sau thử nghiệm này:
- Số lần mạng hội tụ tăng lên rất nhiều so với đột biến chỉ dùng phương pháp BIASED (89 so với 70)
- Số lần lặp để mạng hội tụ của phương pháp cải tiến cao hơn nhiều so với đột biến chỉ dùng phương pháp BIASED (2135.61 so với 1228.59)
Phương pháp cải tiến có khả năng đưa mạng về trạng thái hội tụ tốt hơn, tuy nhiên thời gian hội tụ trung bình lại dài hơn so với phương pháp đột biến chỉ sử dụng BIASED.
Kết hợp giải thuật di truyền với giải thuật lan truyền ngược sai số để tối ưu hoá trọng số mạng nơ-ron nhân tạo
Đặt vấn đề
Mặc dù thuật toán di truyền (GA) có khả năng tìm kiếm cực trị toàn cục, nhưng tốc độ tìm kiếm chậm do yếu tố ngẫu nhiên GA chỉ có thể cung cấp kết quả gần với cực trị, không đạt được cực trị toàn cục hoàn toàn Ngược lại, thuật toán lan truyền ngược sai số (BP) có khả năng đạt cực trị nếu điểm khởi đầu nằm trong vùng cực trị toàn cục Để minh chứng cho nhận định này, chúng ta sẽ thực hiện một thử nghiệm.
Thử nghiệm với bài toán XOR đã được thực hiện theo các tham số trong thử nghiệm 2.2.5c, với giá trị sai số dừng lặp giảm xuống 100 lần, đạt 0.0005 Khi đạt được sai số rất nhỏ này, mạng có thể được coi là gần chính xác với vị trí cực tiểu toàn cục Thử nghiệm cũng so sánh hai giải thuật.
GA’ - giải thuật di truyền sử dụng phương pháp đột biến đề xuất (2.2.6)
BP - giải thuật lan truyền ngược sai số
Sau đây là bảng thống kê số bước lặp để mạng hội tụ với mỗi phương án trong 100 lần thử nghiệm khác nhau
Bảng 2.6 Kết quả thử nghiệm so sánh GA’ và BP với ngưỡng sai số 0.0005
STT GA’ BP STT GA’ BP STT GA’ BP
32 - 8349 67 - - Số lần mạng hội tụ 6
Kết quả thử nghiệm cho thấy chỉ một số ít trường hợp GA’ đạt được giá trị sai số mong muốn Từ bảng 2.4 và 2.5, chúng ta có thể tóm tắt khả năng hội tụ của mạng khi áp dụng hai phương pháp học: giải thuật di truyền và giải thuật lan truyền ngược sai số, tùy thuộc vào ngưỡng sai số dừng lặp khác nhau.
Bảng 2.7 So sánh khả năng hội tụ của mạng khi sử dụng hai phương pháp học GA’ và BP với sai số dừng lặp khác nhau
Sai số dừng lặp Số lần hội tụ trong 100 lần thử nghiệm
Theo bảng 2.7, GA dễ dàng đạt được vùng chứa cực tiểu toàn cục với sai số 0.05 hơn BP (89 lần so với 58 lần) Tuy nhiên, GA gặp khó khăn khi cần đạt chính xác vị trí cực tiểu toàn cục với sai số 0.0005, chỉ đạt được 6 lần Ngược lại, khi BP đã đạt được vùng chứa cực tiểu toàn cục với sai số 0.05, nó thường đưa mạng đến chính xác cực tiểu toàn cục với sai số 0.0005 Vì vậy, việc kết hợp GA và BP có khả năng cao hơn trong việc đạt chính xác cực tiểu toàn cục.
Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số
Có thể kết hợp cả Genetic Algorithm (GA) và Backpropagation (BP) để tối ưu hóa trọng số trong mạng nơ-ron nhân tạo Trong phương pháp kết hợp này, GA đóng vai trò là bộ khởi tạo cho BP Các trọng số được mã hóa thành nhiễm sắc thể và tiến hóa thông qua GA, sau đó được sử dụng làm trọng số khởi tạo cho thuật toán BP Điều này giúp xác định điểm gần cực trị nhất của hàm giá, mang lại kết quả tối ưu hơn cho bài toán.
Với sự kết hợp này, giải thuật BP sẽ cần phải được thay đổi một vài yếu tố :
- Giải thuật không tự khởi tạo trọng số mà nhận các trọng số từ GA.
- Thành phần quán tính được loại bỏ để làm tăng tốc độ của quá trình hội tụ và loại bỏ dao động.
Hình 2.6 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số
Việc thử nghiệm giải thuật kết hợp cho bài toán XOR được thực hiện với ngưỡng sai số mong muốn là 0.0005 Giải thuật di truyền áp dụng phương pháp đột biến đề xuất (2.2.6), cùng với các tham số tương tự như các phần trước Quy trình giải thuật bao gồm hai bước chính.
- (1) GA sẽ đưa mạng đạt đến sai số 0.05
- (2) BP sẽ nhận bộ trọng số tốt nhất của GA đóng vai trò là trọng số khởi tạo (có sai số 0.05) để đưa mạng đến sai số mong muốn 0.0005.
Bảng 2.8 Kết quả thử nghiệm giải thuật kết hợp GA’ và BP với ngưỡng sai sô 0.0005
Khởi tạo tập trọng số
Giữ lại nhiễm sắc thể tốt nhất
Học bằng giải thuật lan truyền ngược sai số có thay đổi
32 6097 2084 67 460 958 Số lần mạng hội tụ 90 87
- Cũng giống như lần thử nghiệm trước giải thuật di truyền sử dụng đột biến kết hợp (2.2.6), kết quả mạng hội tụ với sai số 0.05 rất cao (90/100)
Trong 90 lần nhận trọng số khởi tạo từ GA, phương pháp BP đã thành công trong 87 lần giảm sai số từ 0.05 xuống 0.0005 Chỉ có 3 lần, cụ thể là các lần thử nghiệm thứ 36, 38 và 63, BP không đạt được yêu cầu về sai số mong muốn.
- So sánh với việc sử dụng GA và BP riêng rẽ thì giải thuật kết hợp này cho kết quả tốt hơn rất nhiều.
