Nghiên cứu, xây dựng phần mềm dự báo dòng chảy dựa trên các phương pháp học máy tiên tiế

Trong những năm gần đây việc nghiên cứu, sử dụng các phương pháp học máy tiên tiến như: mạng nơron nhân tạo Artificial Neural Network - ANN, giải thuật di truyền Genetic Algorithm - GA,.

BỘ NễNG NGHIỆP VÀ PHÁT TRIỂN NễNG THễN

TRường đại học thủy lợi

THUYẾT MINH ĐỀ TÀI NGHIấN CỨU

KHOA HỌC VÀ PHÁT TRIỂN CễNG NGHỆ

Tờn đề tài: Nghiờn cứu, xõy dựng phần mềm dự bỏo dũng chảy dựa trờn cỏc phương phỏp học

mỏy tiờn tiến

Chủ nhiệm đề tài: ThS Phạm Thị Hoàng Nhung

B1-2-TMKHCN THUYẾT MINH ĐỀ TÀI NGHIÊN CỨU

I THÔNG TIN CHUNG VỀ ĐỀ TÀI

Nghiên cứu, xây dựng phần mềm dự báo dòng chảy

dựa trên các phương pháp học máy tiên tiến

(Từ tháng 1/2010 đến tháng 12/2010) Nhà nước Bộ Cơ sở

Tỉnh

5 Kinh phí 9 0 triệu đồng, trong đó:

- Từ Ngân sách sự nghiệp khoa học 90

Tự nhiên; Nông, lâm, ngư nghiệp;

Kỹ thuật (Công nghiệp, XD, GT, ); Y dược

Học hàm: Năm được phong học hàm:

Học vị: Thạc sỹ Năm đạt học vị: 2007

Chức danh khoa học: ThS, GV Chức vụ:

Điện thoại:

Cơ quan: 04 35637021 Nhà riêng: 04.36414138 Mobile: 0988.133.655

Fax: E-mail: phamhoangnhung@wru.edu.vn

Tên cơ quan đang công tác: Khoa CNTT, Trường Đại học Thủy Lợi

Địa chỉ cơ quan: 175 Tây Sơn, Đống Đa, Hà Nội

Địa chỉ nhà riêng: P1102, OCT2, ĐN1, Bắc Linh Đàm- Hà Nội

9 Cơ quan chủ trì đề tài

Tên cơ quan chủ trì đề tài: Trường Đại học Thủy Lợi

Điện thoại: 04.38522201 Fax: 04.35633315

E-mail: Website: http://www.wru.edu.vn

Địa chỉ: 175 Tây Sơn, Đống Đa, Hà Nội

Họ và tên thủ trưởng cơ quan: Nguyễn Quang Kim

Số tài khoản: Ngân hàng: Tên cơ quan chủ quản đề tài: Bộ NN & PTNT, Vụ KHCN

II NỘI DUNG KHOA HỌC VÀ CÔNG NGHỆ CỦA ĐỀ TÀI

10 Mục tiêu của đề tài (bám sát và cụ thể hoá mục tiêu đặt hàng - nếu có đặt hàng)

- Nghiên cứu các phương pháp học máy tiên tiến, so sánh, đánh giá để tìm ra phương pháp phù hợp giải quyết bài toán dự báo dòng chảy

- Xây dựng phần mềm dự báo

11 Tổng quan tình hình nghiên cứu và luận giải sự cần thiết phải nghiên cứu đề tài

(Trên cơ sở đánh giá tổng quan tình hình nghiên cứu trong và ngoài nước, phân tích những công trình nghiên cứu có liên quan đến đề tài, những kết quả nghiên cứu mới nhất trong lĩnh vực

được hướng giải quyết - luận giải, cụ thể hoá được tính cấp thiết của đề tài và những vấn đề mới

về KH&CN mà đề tài đặt ra nghiên cứu)

11.1 Tình trạng đề tài

Mới Kế tiếp (tiếp tục hướng nghiên cứu của chính

nhóm tác giả)

11.2 Đánh giá tổng quan tình hình nghiên cứu thuộc lĩnh vực của đề tài

Ngoài nước (phân tích, đánh giá được những công trình nghiên cứu có liên quan đến đề tài,

những kết quả nghiên cứu mới nhất trong lĩnh vực nghiên cứu đề tài; nêu được những khác biệt

về trình độ KH&CN trong nước và thế giới):

Hiện nay, có rất nhiều phương pháp dự báo dòng chảy đã được đưa ra dựa trên các mô hình vật lý và toán học Trong nhiều trường hợp, kết quả dự báo theo các mô hình nói trên đã đạt được một số thành công đáng ghi nhận Tuy nhiên, vấn đề tìm kiếm phương pháp đủ tốt để giải quyết bài toán dự báo vẫn là nội dung nghiên cứu thời sự hiện nay Trong những năm gần đây việc nghiên cứu, sử dụng các phương pháp học máy tiên tiến như: mạng nơron nhân tạo (Artificial Neural Network - ANN), giải thuật di truyền (Genetic Algorithm - GA), trong bài toán dự báo chuỗi thời gian nói chung và dự báo dòng chảy nói riêng [5-7,12-14, 19] là một hướng tiếp cận được sự quan tâm đặc biệt của một số nhóm nghiên cứu trên thế giới Đây được coi là những công cụ rất mạnh để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt trong các trường hợp mà mối quan hệ giữa các quá trình không dễ thiết lập một cách tường minh

Demetris F Lekkas [12] cung cấp một khung nhìn phương pháp luận về các phương pháp

dự báo dòng chảy Ibrahim Can cùng các cộng sự [5] và Cristiane Medina Finzi Quintao và các cộng sự [19] công bố một số kết quả nghiên cứu cập nhật về dự báo dòng chảy của một số dòng sông tại Thổ Nhĩ Kỳ và Brazin Đặc biệt, các công trình này đã cung cấp cách thức đánh giá kết quả thực nghiệm các phương pháp dự báo thủy văn được đề cập Các công trình nghiên cứu khác về mạng nơ-ron nhân tạo, giải thuật di truyền và kết hợp chúng đã khẳng định rằng đây là một hướng nghiên cứu có thể giải quyết các bài toán dự báo nói chung trong đó có dự báo dòng chảy

Trong nước: (Phân tích, đánh giá tình hình nghiên cứu trong nước thuộc lĩnh vực nghiên

cứu của đề tài, đặc biệt phải nêu cụ thể được những kết quả KH&CN liên quan đến đề tài mà các cán bộ tham gia đề tài đã thực hiện; nếu có các đề tài cùng bản chất đang thực hiện hoặc đăng ký

nghiên cứu ở cấp khác, nơi khác của nhóm nghiên cứu phải giải trình rõ các nội dung kỹ thuật liên quan đến đề tài này; nếu phát hiện có đề tài đang tiến hành mà đề tài này có thể phối hợp nghiên cứu được thì cần ghi cụ thể Tên đề tài, tên Chủ nhiệm đề tài và Cơ quan chủ trì đề tài đó) Tác giả Lê Xuân Cầu và Nguyễn Văn Chương [1] đã sử dụng mạng thần kinh nhân tạo để xây dựng dự báo lũ sông Cầu, sông Trà Khúc và sông Vệ đã đạt được những kết quả rất khả quan

Năm 2003, GS Huỳnh Ngọc Phiên (Viện Công nghệ châu Á – AIT) [2] đã ứng dụng mạng

nơ ron nhân tạo để dự báo mực nước tại các trạm Tạ Bú trên sông Đà, Yên Bái trên sông Thao

và Gềnh Gà trên sông Lô với thời gian dự báo 6h cho kết quả tốt, tuy nhiên nếu thời gian dự báo tăng lên 18h thì hiệu quả của mô hình giảm

Vệ bằng mạng thần kinh nhân tạo, Hội nghị khoa học và công nghệ dự báo khí tượng thủy văn, 202-210

[2] Huynh Ngoc Phien and Nguyen Duc Anh Kha (2003), Flood forecasting for the upper reach of the Red river basin, North Vietnam, Water SA, vol 29, no3, p.267-272

[3] Viện Khí tượng Thủy văn Danh sách các đề tài, dự án nghiên cứu khoa học công nghệ http://www.imh.ac.vn/c_tt_chuyen_nganh/ce_detai_duan/

[4] Thomas Back (1996), Evolutionary Algorithm in Theory and Practice, Oxford University Press

[5] Ibrahim Can, Cahit Yerdelen, Ercan Kahya1 (2007), Stochastic modeling of Karasu River (Turkey) using the methods of Artificial Neural Networks, Proceeding of the AGU Hydrology Days 2007, March 19 - March 21, 2007, Colorado State University, Fort Collins, Colorado, USA, 138-144

[6] Paulin Coulibaly, Francois Anctil, and Bernard Bobee (2001), Multivariate Reservoir Inflow Forecasting Using Temporal Neural Networks, Journal of Hydrologic Engineering, 6(5), 367-376

[7] Oscar R Dolling, Eduardo A Varas (2002), Artificial neural networks for stream flow

[8] D.E Goldberg (1989), Genetic Algorithm in Search, Optimization and Machine Learning, Addison Wesley, Reading, MA

[9] J Hertz, A Krogh, and R.G Palmer (1991), Introduction to the Theory of Neural Computation, New York: Addison-Wesley

[10] Ismail Kilinş, Kerem Ciğizouğlu (2005), Reservoir Management Using Artificial Neural Networks, 14th Reg Directorate of DSI (State Hydraulic Works), Istanbul, Turkey

[11] Steve Lawrence and C Lee Giles (2000), Overfitting and Neural Networks: Conjugate Gradient and Backpropagation, International Joint onference on Neural Networks, Como, Italy, July 24–27, 114–119, 2000

[12] D.R Legates, G.J McCabe Jr (1998), Evaluating the Use of "Goodness-of-Fit" Measures in Hydrologic and Hydroclimatic Model Validation; Water Resour Res 1998WR900018, 35(1): 233

[13] Demetris F Lekkas (2002), Development and Comparison of Data-Based Flow Forecasting Methods, PhD Thesis, Department of Civil and Environmental Engineering, Imperial College of Science, Technology and Medicine, London

[14] Lekkas D.F., Onof C (2005), Improved flow forecasting using artificial neural networks, 9th International Conference on Environmental and Technology, Rhodes Island, Greece, 1-3 September 2005, 877-884

[15] Chin-Teng Lin, C.S George Lee (1996), Neural fuzzy systems: a neuro-fuzzy synergism to intelligent systems, Prentice-Hall Inc

[16] D Montana and L Davis (1989), Training feedforward neural networks using genetic algorithms, In Proceedings of the Eleventh International Joint Conference on Artificial Intelligence, 762-767, Morgan Kaufmann, San Mateo, CA

[17] Nelson, M.C and Illingworth, W.T (1991), A Practical Guide to Neural Nets, Reading, MA: Addison-Wesley

[18] L.Wessels, E.Barnard (1992), Avoiding False Local Minima by Proper Initialization of Connections, IEEE Trans on Neural Networks

[19] Cristiane Medina Finzi Quintao, Walmir Matos Caminhas, Selenio Rocha Silva, Bruno Rabelo Versiani (2004), Neo Fuzzy Neuron and its applications to Prediction flood and wind in Brazil, Workshop on Modelling and Control for Participatory Planning and Managing Water Systems, September 29-October 1, 2004 (Poster), Venice, Italia

11.4 Phân tích, đánh giá cụ thể những vấn đề KH&CN còn tồn tại, hạn chế của sản phẩm, côn g nghệ nghiên cứu trong nước và các yếu tố, các nội dung cần đặt ra nghiên cứu, giải quyết ở đề tài này (nêu rõ, nếu thành công thì đạt được những vần đề gì)

Tại Việt Nam cũng có một số nghiên cứu thử nghiệm khá thành công dự báo dòng chảy sử dụng mạng nơron nhân tạo Tuy nhiên các tác giả chỉ sử dụng mạng nơ ron nhân tạo như một công cụ để thực hiện nghiên cứu, chưa có những thay đổi về bản chất của mạng giúp chúng có thể thực thi hiệu quả hơn Ví dụ các tác giả thường sử dụng mạng nơ ron nhiều lớp truyền thẳng (Multilayer Perceptron) với thuật toán học lan truyền ngược sai số (error back propagation) Đây

là một phương pháp học của mạng nơ-ron nhân tạo, nó cho phép điều chỉnh trọng số của mạng

để tối thiểu hoá hàm sai số Giải thuật này hoạt động dựa trên cơ chế giảm gradient, với những hàm đơn giản có một cực trị thì phương pháp giảm gradient đưa ta đến cực trị toàn cục Tuy nhiên, chúng ta biết rằng hàm sai số trong mạng nơ-ron nhiều lớp là một hàm có bề mặt rất phức tạp với rất nhiều cực trị địa phương, do đó phương pháp này không thể đảm bảo cho ta tìm thấy được một cực trị toàn cục trên bề mặt hàm giá này Chính vì vậy, để cải thiện giải thuật, người ta thường tìm cách thay đổi hằng số học hoặc thêm vào đó thành phần quán tính để cho phép có thể vượt qua những cực trị địa phương trong quá trình tìm kiếm Việc lựa chọn hằng số học và hằng số quán tính cũng là một vấn đề rất khó khăn, bởi vì nếu chúng quá lớn đôi khi dẫn đến tình trạng không ổn định của quá trình tìm kiếm, còn nếu chọn quá nhỏ thì lại dẫn đến tốc độ học chậm và khả năng vượt qua các cực trị địa phương thấp Quá trình tìm kiếm trên những hàm giá như thế này đã được chứng minh là một bài toán NP đầy đủ nghĩa là ta không thể sử dụng được một giải pháp tổng quát có độ phức tạp đa thức để đạt đến kết quả Đề tài này đi sâu vào nghiên cứu bản chất của mạng nơ ron nhân tạo, cải tiến thuật toán học giúp việc áp dụng chúng vào bài toán dự báo dòng chảy hiệu quả hơn

Ngoài ra, những công trình nghiên cứu trong nước thường sử dụng các phần mềm của nước ngoài, ví dụ như WinNN Việc sử dụng phần mềm của nước ngoài có một số nhược điểm như: thiếu linh động, không thể thay đổi hoặc thêm các thuật toán mới Ngoài ra, chúng ta còn phải trả tiền bản quyền khi sử dụng

12 Cách tiếp cận

(Luận cứ rõ việc lựa chọn cách tiếp cận phù hợp đối tượng nghiên cứu để đạt mục tiêu đặt ra)

1 Tiếp cận một số giải pháp đã có Phân tích những ưu nhược điểm của mỗi phương pháp

2 Tham khảo tài liệu về các giải pháp trên thế giới

3 Tập hợp và tranh thủ các góp ý của cá nhân, tổ chức trong lĩnh vực thuỷ văn và công nghệ thông tin

13 Nội dung nghiên cứu ứng dụng và triển khai thực nghiệm

(Liệt kê và mô tả những nội dung nghiên cứu ứng dụng và triển khai thực nghiệm cần tiến

hành để đạt được mục tiêu đặt ra, trong đó, chỉ rõ những nội dung mới, nội dung quan

trọng nhất để tạo ra sản phẩm, công nghệ chủ yếu; những hoạt động để chuyển giao kết

quả nghiên cứu đến người sử dụng; dự kiến những nội dung có tính rủi ro và giải pháp khắc phục - nếu có)

Nội dung 1: Thu thập tài liệu

- Báo cáo thu thập các số liệu đo đạc thủy văn của một số trạm đo trên lưu vực sông Đà Nội dung 2: Tài liệu nghiên cứu các công nghệ liên quan

- Tài liệu về mạng nơ ron nhân tạo

- Tài liệu về giải thuật di truyền

Nội dung 3: Tài liệu về phương pháp đề xuất

- Tài liệu nghiên cứu về việc kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai

số để luyện mạng nơ ron nhân tạo

Nội dung 4: Xây dựng phần mềm

- Xây dựng môđun mạng nơ ron nhân tạo với giải thuật lan truyền ngược sai số

- Xây dựng môđun giải thuật di truyền

- Xây dựng môđun kết hợp giải thuật di truyền với giải thuật lan truyền ngược sai số

Nội dung 5: Thử nghiệm

- Tài liệu về việc sử dụng phương pháp đề xuất trong dự báo dòng chảy

Nội dung 6: Viết tài liệu hướng dẫn sử dụng

- Viết tài liệu hướng dẫn sử dụng

Nội dung 7: Tổng kết báo cáo đề tài

14 Phương pháp nghiên cứu, kỹ thuật sử dụng

(Luận cứ rõ việc lựa chọn các phương pháp nghiên cứu, kỹ thuật sử dụng phù hợp với từng nội dung của đề tài; làm rõ tính mới, sáng tạo, độc đáo của các phương pháp nghiên cứu và kỹ thuật sử dụng)

Phương pháp nghiên cứu:

- Sử dụng những kỹ thuật mới nhất của ngành Khoa học máy tính về trí tuệ nhân tạo, tính toán thông minh

- Dựa vào tài liệu, kết quả thử nghiệm để đề xuất xây dựng phần mềm phù hợp

Kĩ thuật sử dụng:

- Mạng nơ ron nhân tạo

- Giải thuật di truyền

- Kỹ thuật lập trình trên Windows

nghệ)

Nội dung hợp tác

(Ghi rõ nội dung, lý do, hình thức hợp tác, kết quả thực hiện hỗ trợ cho đề tài này)

Dự kiến

hợp tác

Tên đối tác

(Người và tổ chức khoa học và công

16 Tiến độ thực hiện (phù hợp với những nội dung đã nêu tại mục 13)

Các nội dung, công việc

kết thúc)

Người,

c ơ quan thực hiện

1 Thu thập tài liệu - Báo cáo thu thập các số liệu đo

đạc thủy văn của một số trạm

đo trên lưu vực sông Đà

T1/2010 đến T2/2010

Khoa CNTT

2 Nghiên cứu các công

nghệ liên quan - Tài liệu về mạng nơ ron nhân tạo

- Tài liệu về giải thuật di truyền

T3/2010 đến T4/2010

Khoa CNTT

3 Nghiên cứu giải pháp đề

xuất cho việc luyện mạng

nơ ron nhân tạo

- Tài liệu nghiên cứu về việc kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số để luyện mạng nơ ron nhân tạo

T5/2010 đến T6/2010

Khoa CNTT

4 Xây dựng phần mềm - Phần mềm có khả năng xây mô

phỏng mạng nơ ron nhân tạo với các giải thuật học: lan truyền ngược sai số, giải thuật

di truyền và giải thuật đề xuất

T7/2010 đến T10/2010

Khoa CNTT

5 Thử nghiệm - Thử nghiệm phần mềm trong

việc dự báo dòng chảy tại lưu vực sông Đà Đánh giá, so sánh các chỉ tiêu dự báo

T10/2010 đến T11/2010

Khoa CNTT

6 Viết tài liệu sử dụng - Giúp người sử dụng có thể dễ

dàng cài đặt, vận hành, khai thác phần mềm một cách hiệu quả

T11/2010 Khoa

CNTT

CNTT

III DỰ KIẾN KẾT QUẢ CỦA ĐỀ TÀI

17 Dạng kết quả dự kiến của đề tài

Dạng kết quả I Dạng kết quả II Dạng kết quả III Dạng kết quả IV

Mẫu (model,

maket)

Nguyên lý ứng dụng Sơ đồ, bản đồ Bài báo

Sản phẩm (có thể

trở thành hàng hoá,

để thương mại hoá)

Phương pháp Số liệu, Cơ sở dữ

liệu khảo Sách chuyên

Vật liệu Tiêu chuẩn Báo cáo phân tích Kết quả tham gia

đào tạo sau đại học Thiết bị, máy móc Quy phạm Tài liệu dự báo

(phương pháp, quy trình, mô hình, )

Sản phẩm đăng

ký bảo hộ sở hữu trí tuệ

Dây chuyền công

nghệ tính Phần mềm máy

Đề án, qui hoạch

Giống cây trồng Bản vẽ thiết kế Luận chứng kinh

tế-kỹ thuật, báo cáo nghiên cứu khả thi Giống vật nuôi Quy trình công

nghệ

18 Yêu cầu chất lượng và số lượng về kết quả, sản phẩm KH&CN dự kiến tạo ra

(Kê khai đầy đủ, phù hợp với những dạng kết quả đã nêu tại mục 17)

18.1 Yêu cầu kỹ thuật, chỉ tiêu chất lượng đối với sản phẩm dự kiến tạo ra (dạng kết quả

Cần đạt

Mẫu tương tự

(theo các tiêu chuẩn mới nhất)

Trong nước Thế giới

18.2 Yêu cầu khoa học đối với sản phẩm dự kiến tạo ra (dạng kết quả II, III)

Tên sản phẩm Yêu cầu khoa học dự kiến đạt được Ghi chú

1 Sản phẩm phần mềm - Có khả năng mô phỏng hoạt động của

mạng nơ ron nhân tạo

- Có thể thực hiện các thuật toán luyện mạng khác nhau

- Có khả năng hiển thị trực tiếp các chỉ tiêu về dự báo dòng chảy trong quá trình chạy

2 Tài liệu hướng dẫn - Giúp người sử dụng có thể dễ dàng cài

đặt, vận hành, khai thác phần mềm một cách hiệu quả

3 Báo cáo phân tích - Báo cáo thu thập các số liệu đo đạc thủy

văn của một số trạm đo trên lưu vực sông

Đà

- Tài liệu về mạng nơ ron nhân tạo, tài liệu

về giải thuật di truyền, tài liệu về phương pháp đề xuất

- Tài liệu về quá trình thiết kế phần mềm

- Tài liệu về việc sử dụng phương pháp đề xuất trong dự báo dòng chảy

4

5

18.3 Dự kiến công bố kết quả tạo ra (dạng kết quả IV)

1 1 Bài báo khoa học Tạp chí Khoa học Thuỷ lợi và Môi trường

18.4 Đánh giá một số chỉ tiêu kinh tế-kỹ thuật của các sản phẩm, công nghệ nghiên cứu, đặc biệt là của sản phẩm, công nghệ chủ yếu dự kiến tạo ra của đề tài so với các sản phẩm tương tự trong và ngoài nước; so sánh với các phương án nhập công nghệ hoặc mua sản phẩm tương tự để đánh giá hiệu quả của đề tài (trình độ KH&CN, tính phù hợp, hiệu quả

19 Khả năng và phương thức chuyển giao kết quả nghiên cứu

19.1 Khả năng về thị trường (nhu cầu thị trường trong và ngoài nước, nêu tên và nhu cầu

của khách hàng cụ thể nếu có; khi nào có thể đưa sản phẩm của đề tài ra thị trường?);

Khả năng thị trường là rất lớn vì nước ta có mạng lưới sông ngòi dày đặc, nhu cầu về dự báo dòng chảy chính xác là rất lớn

19.2 Khả năng về kinh tế (khả năng cạnh tranh về giá thành và chất lượng của sản phẩm)

Sản phẩm nếu thành công sẽ có lợi thế lớn về giá thành, tính năng so với các sản phẩm cạnh tranh

trả dần theo tỷ lệ % của doanh thu, liên kết với doanh nghiệp để sản xuất hoặc góp vốn (với đơn

vị phối hợp nghiên cứu hoặc với cơ sở sẽ áp dụng kết quả nghiên cứu) theo tỷ lệ đã thoả thuận

để cùng triển khai sản xuất, tự thành lập doanh nghiệp trên cơ sở kết quả nghiên cứu tạo ra, )

Mô hình thích hợp nhất đối với các kết quả của đề tài là chuyển giao công nghệ có đào tạo

20 Các lợi ích mang lại và các tác động của kết quả nghiên cứu

20.1 Đối với lĩnh vực KH&CN có liên quan

(Ghi những dự kiến đóng góp vào các thành tựu nổi bật trong khoa học quốc tế, đóng góp vào tiêu chuẩn quốc tế; triển vọng phát triển theo hướng nghiên cứu của đề tài; ảnh hưởng về lý luận đến phát triển ngành khoa học, đến sáng tạo trường phái khoa học mới; )

Là một trong những đề tài khởi đầu trong việc cải tiến bản chất của mạng nơ ron nhân tạo

áp dụng trong việc dự báo dòng chảy Xây dựng được phần mềm linh hoạt, khả năng tùy biến cao, có giao diện thân thiện

Sản phẩm của đề tài là tài liệu giảng dạy, hướng dẫn Nghiên cứu khoa học và Đồ án tốt nghiệp cho sinh viên các ngành công nghệ thông tin, thủy văn tài nguyên nước

20.2 Đối với nơi ứng dụng kết quả nghiên cứu

Xây dựng được phần mềm dự báo có độ chính xác cao Nếu ứng dụng thành công sẽ có thể nhân rộng trên toàn quốc

20.3 Đối với kinh tế - xã hội và môi trường

(Nêu những tác động dự kiến của kết quả nghiên cứu đối với sự phát triển kinh tế - xã hội: những luận cứ khoa học của đề tài có khả năng ảnh hưởng đến chủ trương chính sách, cơ chế quản lý cụ thể của Đảng và Nhà nước; khả năng nâng cao tiêu chuẩn văn hoá của xã hội; ảnh hưởng đến môi trường; khả năng ảnh hưởng đến sự nghiệp chăm sóc sức khoẻ cộng đồng, hoặc tạo ra sản phẩm hàng hoá đáp ứng nhu cầu thị trường, góp phần tạo công ăn việc làm, nâng cao hiệu quả sản xuất, v.v )

Việc xây dựng thành công sản phẩm là bước khởi đầu trong việc nội địa hóa phần mềm

trong lĩnh vực tài nguyên nước

IV CÁC TỔ CHỨC, CÁ NHÂN THAM GIA THỰC HIỆN ĐỀ TÀI

21 Hoạt động của các tổ chức phối hợp chính tham gia thực hiện đề tài

(Ghi các tổ chức phối hợp chính tham gia thực hiện đề tài và nhiệm vụ được giao thực hiện trong đề tài, kể cả các đơn vị sản xuất hoặc những người sử dụng kết quả nghiên cứu - Những dự kiến phân công này sẽ được thể hiện bằng các hợp đồng thực hiện giữa chủ nhiệm đề tài và cơ quan chủ trì đề tài với các đơn vị, tổ chức nói trên - khi được giao nhiệm vụ chính thức hoặc sau khi trúng tuyển)

thủ trưởng của tổ chức thực hiện trong đề tài kinh phí

1 Khoa CNTT 175 Tây Sơn –Đống Đa

– Hà Nội

- Nghiên cứu thuật toán

- Xây dựng phần mềm

22 Cán bộ thực hiện đề tài

(Ghi những người dự kiến đóng góp khoa học chính thuộc tổ chức chủ trì

và cơ quan phối hợp tham gia thực hiện đề tài, không quá 10 người kể cả chủ

nhiệm đề tài - mỗi người có tên trong danh sách này cần khai báo lý lịch khoa

học theo Biểu B1-4-LLCN.SĐ)

Họ và tên Cơ quan công tác

Thời gian làm việc cho đề tài

(Số tháng quy đổi3

ThS Dương Đức Toàn Thủy văn, ĐHTL Khoa CNTT, 10 Thu thập tài liệu Nghiên cứu về

mạng nơ ron nhân tạo

4 KS Nguyễn Thị Ngọc Hà Khoa CNTT,

ĐHTL 8 Nghiên cứu về giải thuật di truyền

5 ThS Trần Thị Minh Hoàn Khoa CNTT,

ĐHTL 6 Nghiên cứu về giải thuật di truyền áp

dụng vào bài toán luyện mạng nơ ron nhân tạo

6 ThS Đỗ Văn Hải Khoa CNTT,

ĐHTL 3 Nghiên cứu giải thuật cải tiến tăng

hiệu quả luyện mạng nơ ron nhân tạo

ĐHTL mềm

10 ThS Dương Đức Toàn Khoa Thủy văn

Tài nguyên nước, ĐHTL

8 Thử nghiệm

V KINH PHÍ THỰC HIỆN ĐỀ TÀI VÀ NGUỒN KINH PHÍ

(Giải trình chi tiết xem phụ lục kèm theo)

4 Mục 6650: Hội thảo, hội nghị 3.500.000 3.500.000 0

5 Mục 7000: Chi phí nghiệp vụ chuyên

6 Kinh phí quản lý (cơ quan chủ quản) 9.000.000 9.000.000 0

Bằng chữ: Chín mươi triệu đồng chẵn

Hà N ội, ngày 24 tháng 12 năm 2009

Chủ nhiệm đề tài Phòng Khoa học Công nghệ Phòng Tài vụ

Hiệu trưởng Trường Đại học Thuỷ Lợi

BỘ NÔNG NGHIỆP VÀ PHÁT TRIỂN NÔNG THÔN

TRƯỜNG ĐẠI HỌC THỦY LỢI

THUYẾT MINH ĐỀ TÀI NGHIÊN CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ

Tên đề tài: Nghiên cứu, xây dựng phần mềm dự báo dòng chảy dựa trên các phương pháp học

(Phần Giải thuật đề xuất)

MỤC LỤC

Chương 1 Ứng dụng giải thuật di truyền vào bài toán tối ưu hoá trọng số của mạng nơ-ron

nhân tạo 3

1.2 Xây dựng hàm giá 3

1.2 Mã hoá nhiễm sắc thể 3

1.2 Lai ghép 5

1.2 Đột biến 6

1.2 Thử nghiệm 6

1.2 Giải thuật đề xuất 11

Chương 2 Kết hợp giải thuật di truyền với giải thuật lan truyền ngược sai số để tối ưu hoá trọng số mạng nơ-ron nhân tạo 13

2.1 Đặt vấn đề 13

2.2 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số 14

Kết luận 16

Tài liệu tham khảo 18

Chương 1 Ứng dụng giải thuật di truyền vào bài toán tối ưu hoá trọng

số của mạng nơ-ron nhân tạo

Như chúng ta đã biết sử dụng giải thuật lan truyền ngược sai số để tối ưu hoá trọng số của mạng nơ-ron nhân tạo đang được sử dụng rộng rãi hiện nay Tuy nhiên, giải thuật này hoạt động theo cơ chế giảm gradient nên nó khó có thể tìm ra được cực trị toàn cục Trong nghiên cứu của mình tôi sử dụng giải thuật di truyền để tối ưu hoá trọng số của mạng giúp quá trình học của mạng được tốt hơn

Để có thể sử dụng được giải thuật di truyền vào việc học của mạng nơ-ron cần phải thực hiện một số bước như sau:

a Mã hoá nhị phân

Một phương pháp mã hoá nhiễm sắc thể khá nổi tiếng do Whitley cùng các đồng tác giả [1] đề xuất gọi là GENITOR Có một số phiên bản của GENITOR, về cơ bản mỗi trọng số của mạng được mã hoá thành một chuỗi bit như trên hình dưới Index-bit để chỉ ra rằng kết nối có tồn tại hay không (bằng 1 - có kết nối, bằng 0 – không có kết nối) Chuỗi bit nhị phân còn lại sẽ biểu diễn giá trị của trọng số Whitley sử dụng 8-bit để mã hoá dải giá trị từ -127 đến +127 số 0 được

mã hoá 2 lần Với cách mã hoá này các toán tử đột biến, lai ghép thực hiện khá đơn giản Tuy nhiên, muốn tăng độ chính xác của việc mã hoá cần phải tăng số bit mã hoá trên một trọng số Do

đó, chiều dài của nhiễm sắc thể sẽ tăng theo dẫn đến việc thực thi thuật toán sẽ chậm

Hình 2.3 Mã hoá nhị phân trọng số theo phương pháp GENITOR

b Mã hoá số thực

Montana D và Davis L [2] mã hoá trực tiếp các trọng số bằng các số thực là các giá trị của các trọng số Điều này làm tăng độ chính xác của phép mã hoá cũng như giảm được kích thước của nhiễm sắc thể Trong nghiên cứu của mình chúng tôi cũng sử dụng phương pháp này để thực hiện việc mã hoá trọng số của mạng Các gen (trọng số) được khởi tạo ngẫu nhiên trong khoảng (-3, +3) Tuy nhiên với kỹ thuật mã hoá này ta cần thay đổi các toán tử lai ghép, đột biến cho phù hợp

Hình 2.5 Lai ghép nút (crossover-nodes)

1 2 Đột biến

a Đột biến trọng số (mutate weights)

Một gen (trọng số) được lựa chọn ngẫu nhiên với một xác suất pmutation để tiến hành đột biến Có hai phương pháp đột biến trọng số [3] là:

UNBIASED: với mỗi gen được chọn đột biến nó sẽ được thay thế bằng một giá trị ngẫu

nhiên xung quanh 0

BIASED: với mỗi gen được chọn đột biến nó sẽ được cộng thêm một giá trị ngẫu nhiên

Montana [3] đã thử nghiệm hai phương pháp đột biến trọng số này Kết quả phương pháp BIASED chạy tốt hơn Điều này có thể được giải thích là do khi chạy bộ giá trị các trọng số có xu hướng tốt hơn Do đó, việc đột biến thay thế giá trị gốc bằng các giá trị ngẫu nhiên xung quanh giá trị gốc (BIASED) sẽ cho kết quả tốt hơn là thay thế bằng các giá trị ngẫu nhiên xung quanh 0 (UNBIASED)

b Đột biến nút (mutate nodes)

Toán tử đột biến nút sẽ chọn ra n nút không phải là các nút đầu vào Tất cả các liên kết tới các nút này sẽ lần lượt được cộng thêm một giá trị ngẫu nhiên

1 2 Thử nghiệm

a Thử nghiệm giải thuật di truyền với các phương pháp đột biến khác nhau

So sánh hai phương pháp đột biến ‘đột biến trọng số BIASED’ và ‘đột biến nút’, cả hai phương pháp này đều sử dụng phương pháp ‘lai ghép trọng số’ Thử nghiệm với mẫu học dạng hình sin gồm 30 mẫu, chi tiết trong phụ lục B Các tham số giống nhau với cả hai phương án:

- Số lượng quần thể: 100

- Xác suất đột biến: 0.1

- Ngưỡng dừng lặp: 0.05

Việc thử nghiệm được tiến hành với 100 lần chạy mỗi phương án Dưới đây là bảng thống

kê các lần chạy và số thế hệ cần thiết để đạt được yêu cầu về sai số

(1) – phương án ‘đột biến trọng số BIASED’

35 67 5 70 99 101

Nhận xét: Kết quả trung bình sau 112.65 thế hệ phương pháp ‘đột biến nút’ đã đạt yêu

cầu, nhỏ hơn nhiều so với phương pháp ‘đột biến trọng số BIASED’ là 152.67 thế hệ

b Thử nghiệm giải thuật di truyền với các phương pháp lai ghép khác nhau

So sánh hai phương pháp lai ghép là ‘lai ghép trọng số’ và ‘lai ghép nút’ cả hai phương pháp này đều sử dụng phương pháp ‘đột biến nút’ Các tham số giống nhau với cả hai phương án:

- Số lượng quần thể: 100

- Xác suất lai: 0.3

- Xác suất đột biến: 0.1

- Ngưỡng dừng lặp: 0.05

Việc thử nghiệm được tiến hành với 100 lần chạy mỗi phương án Dưới đây là bảng thống

kê số thế hệ cần thiết trong từng lần chạy để đạt được yêu cầu về sai số là 0.05

Nhận xét: Kết quả trung bình sau 99.13 thế hệ phương pháp ‘lai ghép nút’ đã đạt yêu cầu

thấp hơn một chút so với phương pháp ‘lai ghép trọng số’ là 112.65 thế hệ

c Thử nghiệm so sánh giải thuật di truyền và giải thuật lan truyền ngược sai số

Thử nghiệm hai phương pháp với bài toán nổi tiếng XOR Có 4 mẫu học như sau:

- Ngưỡng sai số dừng lặp: 0.05 hoặc quá 10000 vòng lặp

Tham số của giải thuật lan truyền ngược sai số:

- Sử dụng phương pháp lai ghép nút và đột biến nút

Sau đây là bảng thống kê số bước lặp để mạng hội tụ với mỗi phương án trong 100 lần thử nghiệm khác nhau

GA: giải thuật di truyền

BP: giải thuật lan truyền ngược sai số

- : mạng không hội tụ (số lần lặp lớn hơn 10000)

Bảng 2.4 Kết quả thử nghiệm so sánh GA và BP với ngưỡng sai số 0.0005

Kết quả trong 100 lần chạy:

- Giải thuật di truyền chạy thành công được 70 lần trung bình 1228.59 vòng lặp một lần chạy

- Giải thuật lan truyền ngược sai số chạy thành công được 58 lần trung bình 2152.53 vòng lặp

Ta có thể thấy rằng giải thuật di truyền có khả năng đạt được yêu cầu về hội tụ (sai số ≤ 0.05) tức tìm vùng chứa cực trị toàn cục dễ dàng hơn so với giải thuật lan truyền ngược sai số Hay nói cách khác giải thuật lan truyền ngược sai số dễ rơi vào vùng chứa cực tiểu cục bộ hơn giải thuật di truyền Trong 100 lần chạy, GA chỉ có 30 lần không tìm được cực trị toàn cục trong khi đó BP là 42 lần

1 2 Giải thuật đề xuất

Trong thử nghiệm so sánh GA với BP ở trên ta thấy: tuy GA có khả năng đưa mạng vùng chứa cực tiểu toàn cục dễ dàng hơn so với BP tuy nhiên vẫn còn nhiều trường hợp GA không làm mạng hội tụ được (trong thử nghiệm trên 30/100 lần mạng không hội tụ với GA) Nguyên nhân nào đã làm cho mạng rơi vào cực tiểu địa phương mà không thoát ra được? Sau nhiều lần thử nghiệm, chúng tôi nhận thấy rất nhiều trường hợp mạng không thể hội tụ vì một số giá trị trọng số của mạng đã quá lớn Có thể giải thích điều này là do phương pháp đột biến sử dụng là chỉ đột biến kiểu BIASED (phần 2.2.4) Phương pháp đột biến này sẽ cộng vào trọng số được đột biến một giá trị ngẫu nhiên xung quanh 0 Như Montana D và Davis L [3] đã thử nghiệm và nhận xét rằng phương pháp đột biến này là hiệu quả hơn UNBIASED (trọng số được đột biến sẽ được thay thế bằng một giá trị ngẫu nhiên xung quanh 0) do kế thừa được tính "tốt" của thế hệ trước Tuy nhiên một số trường hợp đột biến kiểu BIASED sẽ đẩy một số trọng số ngày càng rời xa gốc 0 và

có thể mạng sẽ rơi vào cực tiểu cục bộ mà không thoát ra được Làm sao có thể tận dụng được những ưu điểm của đột biến dạng BIASED nhưng lại giúp mạng không rơi vào cực tiểu cục bộ chúng tôi đề xuất một phương pháp đột biến như sau:

Kết hợp đột biến BIASED với đột biến UNBIASED trong đó đột biến BIASED sẽ đóng vai trò chủ đạo (xác suất đột biến lớn hơn) Đột biến UNBIASED được đưa thêm vào với mục đích giúp cho các trọng số có giá trị quá lớn chuyển về các giá trị nhỏ (giá trị ngẫu nhiên xung quanh 0) Do đó, có thể giúp mạng thoát khỏi cực tiểu cục bộ

Việc thử nghiệm giải thuật cải tiến được tiến hành với các tham số giống như thuật toán

GA trong thử nghiệm 2.3.5 nhưng có kết hợp thêm đột biến UNBIASED với xác suất đột biến nhỏ: 0.03 Sau đây là số lần lặp để mạng hội tụ với phương pháp đột biến đề xuất :

Bảng 2.5 Kết quả thử nghiệm với giải thuật đề xuất

Có thể rút ra một số nhận xét sau thử nghiệm này:

- Số lần mạng hội tụ tăng lên rất nhiều so với đột biến chỉ dùng phương pháp BIASED (89 so với 70)

- Số lần lặp để mạng hội tụ của phương pháp cải tiến cao hơn nhiều so với đột biến chỉ dùng phương pháp BIASED (2135.61 so với 1228.59)

Có nghĩa là phương pháp cải tiến có nhiều khả năng đưa mạng về trạng thái hội tụ tuy nhiên thời gian hội tụ trung bình dài hơn so với phương pháp đột biến chỉ dùng BIASED

Chương 2 Kết hợp giải thuật di

mạng nơ-ron nhân tạo

2 1 Đặt vấn đề

Mặc dù GA có khả năng đạt tới cực trị toàn cục cho quá trình tìm kiếm nhưng do có kết hợp những yếu tố ngẫu nhiên nên tốc độ tìm kiếm nói chung là rất chậm Mặt khác nó không thể hoàn toàn đạt được tới cực trị toàn cục mà chỉ cho những kết quả xung quanh đó Đối lập với GA, giải thuật lan truyền ngược sai số (BP) lại cho phép đạt được những cực trị nếu như điểm xuất phát của quá trình tìm kiếm nằm trong vùng cực trị toàn cục Để chứng minh nhận xét này chúng

ta sẽ xem xét thử nghiệm sau:

Thử nghiệm được tiến hành với bài toán XOR có các tham số như trong thử nghiệm 2.2.5c Riêng giá trị sai số dừng lặp giảm đi 100 lần là: 0.0005 Khi đạt được giá trị sai số rất nhỏ như vậy có thể coi mạng đã đạt được gần chính xác vị trí cực tiểu toàn cục Thử nghiệm so sánh hai giải thuật:

GA’ - giải thuật di truyền sử dụng phương pháp đột biến đề xuất (2.2.6)

BP - giải thuật lan truyền ngược sai số

Sau đây là bảng thống kê số bước lặp để mạng hội tụ với mỗi phương án trong 100 lần thử nghiệm khác nhau

Bảng 2.6 Kết quả thử nghiệm so sánh GA’ và BP với ngưỡng sai số 0.0005

Bảng 2.7 So sánh khả năng hội tụ của mạng khi sử dụng hai phương pháp học GA’

và BP với sai số dừng lặp khác nhau

Sai số dừng lặp Số lần hội tụ trong 100 lần thử nghiệm GA’ BP

Từ bảng 2.7 ta có nhận xét: GA có thể đạt đến vùng chứa cực tiểu toàn cục (sai số 0.05)

dễ dàng hơn so với BP (89 lần so với 58 lần) Tuy nhiên, để đạt đến chính xác vị trí cực tiểu toàn cục (sai số 0.0005) thì GA lại rất kém (chỉ có 6 lần) Trong khi đó, hầu hết các trường hợp BP khi

đã đưa mạng đến được vùng chứa cực tiểu toàn cục (sai số 0.05) thì BP sẽ đưa mạng đến chính xác cực tiểu toàn cục (sai số 0.0005) Do đó, việc kết hợp GA và BP có nhiều cơ hội đưa mạng đến được chính xác cực tiểu toàn cục

2 2 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai

số

Có thể kết hợp cả GA và BP nhằm đạt tới một kết quả trọn vẹn của bài toán tối ưu trọng

số mạng nơ-ron nhân tạo Trong giải thuật kết hợp này, GA được sử dụng như một bộ khởi tạo cho BP Tập trọng số được mã hoá thành các nhiễm sắc thể và được tiến hoá nhờ GA Kết thúc quá trình tiến hoá, bộ trọng số tốt nhất tương ứng với cá thể ưu việt nhất trong quần thể được lựa

chọn làm những trọng số khởi tạo cho giải thuật BP Nó chính là bộ tham số cho phép xác định điểm gần cực trị nhất của hàm giá

Với sự kết hợp này, giải thuật BP sẽ cần phải được thay đổi một vài yếu tố :

- Giải thuật không tự khởi tạo trọng số mà nhận các trọng số từ GA

- Thành phần quán tính được loại bỏ để làm tăng tốc độ của quá trình hội tụ và loại bỏ dao động

Hình 2.6 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số

Việc thử nghiệm giải thuật kết hợp này được tiến hành với bài toán XOR ngưỡng sai số mong muốn là 0.0005 Giải thuật di truyền sử dụng phương pháp đột biến đề xuất (2.2.6) Các tham số cũng như các phần trước Giải thuật gồm hai bước chính :

- (1) GA sẽ đưa mạng đạt đến sai số 0.05

- (2) BP sẽ nhận bộ trọng số tốt nhất của GA đóng vai trò là trọng số khởi tạo (có sai

số 0.05) để đưa mạng đến sai số mong muốn 0.0005

Bảng 2.8 Kết quả thử nghiệm giải thuật kết hợp GA’ và BP với ngưỡng sai sô 0.0005

Giải thuật di truyền

Giữ lại nhiễm sắc thể tốt nhất

Tập các trọng số

Học bằng giải thuật lan truyền ngược sai số có thay đổi

- Trong 90 lần nhận trọng số khởi tạo từ GA, BP có 87 lần đưa mạng từ sai số 0.05

về sai số 0.0005 Chỉ có 3 lần BP không đưa mạng đến yêu cầu sai số mong muốn (lần thử nghiệm thứ 36, 38, 63)

- So sánh với việc sử dụng GA và BP riêng rẽ thì giải thuật kết hợp này cho kết quả tốt hơn rất nhiều

Kết luận

Trong phần này chúng ta đã nghiên cứu các khái niệm và khả năng ứng dụng của giải thuật di truyền cũng như cách thức để tiến hành thực hiện một bài toán bằng giải thuật di truyền Giải thuật di truyền được biết đến như một giải thuật tìm kiếm dựa trên học thuyết về chọn lọc tự nhiên và nó cho phép ta đạt được tới cực trị toàn cục Do đó, áp dụng giải thuật di truyền vào bài

toán tối ưu hoá trọng số mạng nơ-ron nhân tạo là một cách tiếp cận tiềm năng Trong phần này chúng tôi đã nghiên cứu và thử nghiệm một số phương án và đưa ra một số cải tiến về phương pháp đột biến giúp cho quá trình học của mạng nơ-ron được tốt hơn Ngoài ra chúng tôi cũng kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số nhằm đạt tới một kết quả trọn vẹn của bài toán tối ưu trọng số mạng nơ-ron nhân tạo Trong phần tiếp theo chúng ta sẽ nghiên cứu việc ứng dụng mạng nơ-ron nhân tạo với các phương pháp học kết hợp đã đề cập trong phầnnày vào việc dự báo lưu lượng nước đến hồ Hoà Bình

Tài liệu tham khảo

[1] D Whitley, T Starkweather et C Bogart (1990), Genetic algorithms and neural

networks: optimizing connections and connectivity, in: Parallel Computing 14,

347-361, North-Holland

[2] D Montana and L Davis (1989), Training feedforward neural networks using genetic

algorithms, In Proceedings of the Eleventh International Joint Conference on

Artificial Intelligence, 762-767, Morgan Kaufmann, San Mateo, CA

[3] D Montana and L Davis (1989), Training feedforward neural networks using genetic

algorithms, In Proceedings of the Eleventh International Joint Conference on

Artificial Intelligence, 762-767, Morgan Kaufmann, San Mateo, CA

BỘ NÔNG NGHIỆP VÀ PHÁT TRIỂN NÔNG THÔN

TRƯỜNG ĐẠI HỌC THỦY LỢI

THUYẾT MINH ĐỀ TÀI NGHIÊN CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ

Tên đề tài: Nghiên cứu, xây dựng phần mềm

dự báo dòng chảy dựa trên các phương pháp

học máy tiên tiến

2 Mẫu học thử nghiệm so sánh các phương pháp lai ghép và đột biến 11

3 Số liệu học và kiểm tra trong bài toán dự báo lưu lượng nước đến hồ Hoà Bình 12

3.1 Dữ liệu học 12 3.2 Dữ liệu kiểm tra 22

HƯỚNG DẪN SỬ DỤNG

1 Hướng dẫn sử dụng phần mềm dự báo

1.1 Cấu trúc file dữ liệu học và kiểm tra

Các file dữ liệu học có phần mở rộng là pat, các file dữ liệu kiểm tra là tst Hai loại file này được lưu dưới dạng text, có cấu trúc như hình dưới Trong đó dòng đầu tiên là

3 tham số của dữ liệu theo thứ tự:

- Số đầu tiên là số lượng mẫu học (p)

- Số thứ hai là số đầu vào của mạng (i)

- Số thứ ba là số đầu ra của mạng (o)

Các dòng tiếp theo là các số liệu học, trên mỗi dòng có i số liệu đầu vào và o số liệu đầu ra được phân cách nhau bởi dấu cách hoặc tab

1.2 Module chuẩn hoá số liệu

Như đã đề cập trong chương 1, nếu dữ liệu học quá lớn ta cần chuẩn hoá số liệu về khoảng nằm trong phạm vi biểu diễn của mạng Trong phần mềm này chúng tôi sử dụng phương pháp chuẩn hoá tuyến tính

1.3 Lựa chọn các tham số

Giao diện chính của chương trình như hình dưới

Sau khi nhập số liệu học và chuẩn hoá (nếu cần) ta có thể nhập thêm file kiểm tra Sau đó ta sẽ thiết lập các tham số chung:

- Số lượng nơ-ron trong lớp ẩn

- Ngưỡng sai số để dừng học

- Khoảng giá trị để khởi tạo các trọng số

Nếu sử dụng phương pháp học lan truyền ngược sai số cần chọn:

- Hằng số học

- Hằng số quán tính

Nếu sử dụng phương pháp học dựa trên giải thuật di truyền cần chọn các tham số:

- Số lượng nhiễm sắc thể