Tính cấp thiết của đề tài
Trong bối cảnh công nghệ thông tin ngày càng phát triển, lượng dữ liệu từ hoạt động quản lý, kinh doanh và sản xuất của các công ty đang gia tăng đáng kể Để đưa ra quyết định nhanh chóng và chính xác, các tổ chức cần xử lý nhiều yếu tố với quy mô và độ phức tạp ngày càng cao Người quản lý thường thực hiện dự đoán và phân loại vấn đề trước khi quyết định, dựa vào các yếu tố liên quan và kinh nghiệm cá nhân, cũng như thông tin từ các hoạt động trước đó.
Trong thực tế, chúng ta thường gặp các bài toán như đánh giá cảm quan thực phẩm, dự đoán thị trường chứng khoán, định giá tài sản và đánh giá nhân viên, thuộc lớp bài toán dự đoán và phân loại Nhiều phương pháp đã được phát triển để giải quyết các bài toán này, bao gồm phương pháp thống kê, hồi quy, cây quyết định và mạng nơron nhân tạo.
Mạng nơron nhân tạo, với khả năng đọc, nhớ và khái quát hóa từ dữ liệu huấn luyện, đã trở thành một trong những hướng nghiên cứu chính trong lĩnh vực trí tuệ nhân tạo Về lý thuyết, mạng nơron nhân tạo hoạt động độc lập với bản chất của các quá trình vật lý cần phân loại và dự đoán Các bài toán giải quyết bằng mạng nơron nhân tạo đều có những đặc điểm chung như thu thập và tiền xử lý dữ liệu, xác định thông số mạng và huấn luyện Vì vậy, nghiên cứu để tổng quát hóa các bài toán và phát triển phần mềm ứng dụng mạng nơron nhân tạo cho nhiều bài toán cùng lớp là hoàn toàn khả thi.
Mô hình mạng nơron và giải thuật di truyền được ứng dụng phổ biến trong nhiều lĩnh vực như dự đoán, phân loại và mô hình hóa Mạng nơron đặc biệt hiệu quả trong việc thể hiện mối quan hệ giữa các tập hợp đầu vào và đầu ra đã biết.
Nội dung chính
Bố cục của luận văn gồm các nội dung chính sau:
- Nội dung của đề tài nghiên cứu về lý thuyết mạng nơrơn sinh học, lý thuyết mạng nơrơn nhân tạo, lý thuyết mạng nơrơn truyền thằng.
- Nghiên cứu về lý thuyết thuật toán di truyền.
- Nghiên cứu lý thuyết ứng dụng thuật toán di truyền vào đển huấn luyện mạng nơrơn nhân tạo truyền thẳng.
- Nghiên cứu lý thuyết bài toán đánh giá cảm quan thực phẩm.
- Nghiên cứu ứng dụng mạng nơrơn nhân tạo vào bài toán đánh giá cảm quan thực phẩm.
- Lập trình cài đặt mạng nơrơn nhân tạo truyền thẳng nhiều lớp.
- Lập trình cài đặt thuật toán di truyền ứng dụng huấn luyện mạng nơrơn nhận tạo truyền thẳng
- Lập trình cài đặt ứng dụng đánh giá cảm quan thực phẩm
Ngoài phần mở đầu, tổng quan lĩnh vực nghiên cứu và kết luận, bố cục của luận văn gồm ba chương chính như sau:
- Chương 1: Giới thiệu mạng nơrơn
- Chương 2: Mạng nơrơn nhân tạo truyền thẳng và giải thuật di truyền
- Chương 3: Ứng dụng mạng nơrơn truyền thẳng vào bài toán đánh giá cảm quan thực phẩm.
Mục đích của đề tài
- Nghiên cứu về lý thuyết mạng nơron sinh học, lý thuyết mạng nơron nhân tạo, lý thuyết mạng nơrơn truyền thằng.
- Nghiên cứu về lý thuyết thuật toán di truyền.
- Nghiên cứu lý thuyết ứng dụng thuật toán di truyền vào đển huấn luyện mạng nơron nhân tạo truyền thẳng.
- Nghiên cứu lý thuyết bài toán đánh giá cảm quan thực phẩm.
- Nghiên cứu ứng dụng mạng nơrơn nhân tạo vào bài toán đánh giá cảm quan thực phẩm.
- Lập trình cài đặt mạng nơrơn nhân tạo truyền thẳng nhiều lớp.
- Lập trình cài đặt thuật toán di truyền ứng dụng huấn luyện mạng nơron nhận tạo truyền thẳng
- Lập trình cài đặt ứng dụng đánh giá cảm quan thực phẩm.
Ý nghĩa thực tiễn và ý nghĩa khoa học của luận văn
- Mô tả được cấu trúc tổ chức của mạng nơron nhân tạo, xây dụng được mạng nơron nhân tạo.
- Mô tả được giải thuật di truyền ứng dụng vào huấn luyện mạng nơron nhân tạo.
- Mô tả được ứng dụng mạng nơron nhân tạo vào bài toán đánh giá cảm quan thực phẩm.
- Cài đặt được mạng nơron nhân tạo, giải thuật di truyền, ứng dụng đánh giá cảm quan thực phẩm. Ý nghĩa khoa học
- Trình bày chi tiết về cấu trúc tổ chức, hoạt động của mạng nơron nhân tạo.
- Trình bày chi tiết về ứng dụng giải thuật di truyền vào huấn luyện mạng nơron nhân tạo.
- Trình bày chi tiết về ứng dụng mạng nơron nhân tạo vào bài toán đánh giá cảm quan thực phẩm.
- Giảm thiểu chi phí, thời gian trong bài toán đánh giá cảm quan thực phẩm.
Tổng quan về lĩnh vực nghiên cứu
Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng
Nghiên cứu về bộ não con người đã diễn ra hàng nghìn năm, và cùng với sự phát triển của khoa học, đặc biệt là trong lĩnh vực điện tử, việc nghiên cứu nơron nhân tạo trở nên tự nhiên Sự ra đời của mạng nơron nhân tạo được đánh dấu vào năm 1943, khi nhà thần kinh học Warren McCulloch và nhà toán học Walter Pitts công bố báo cáo mô tả hoạt động của các nơron Họ cũng xây dựng một mạng nơron đơn giản bằng mạch điện, trong đó các nơron được coi là thiết bị nhị phân với ngưỡng cố định, tạo ra các hàm logic cơ bản như “a OR b” và “a AND b”.
Tiếp bước các nghiên cứu này, năm 1949 Donal Hebb cho xuất bản cuốn sách
“Organization of Behavior” trong cuốn sách này đã chỉ ra rằng nơron nhân tạo sẽ hiệu quả hơn sau nhiều lần sử dụng
Từ những năm 50 đến 90, mạng nơron nhân tạo đã thu hút sự quan tâm của nhiều nhà khoa học và tổ chức nghiên cứu trên toàn cầu, dẫn đến những bước phát triển đáng kể trong lĩnh vực này.
Năm 2005, tại cuộc hội thảo của đại học Bonn, David Kriesel đã giới thiệu cuốn sách “A Brief Introduction to Neural Networks”, trong đó phần đầu cung cấp cái nhìn tổng quan về mạng lưới thần kinh sinh học Phần hai tập trung vào mô hình mạng giám sát học với các Perceptron, backpropagation và các cải tiến liên quan Tiếp theo, tác giả giới thiệu cấu trúc và chức năng của mạng Hopfield, mạng perceptron-like, hàm Radial basis và kỹ thuật Learning vector quantization Mục tiêu của cuốn sách là giới thiệu một số mô hình và đưa ra nhận xét về ứng dụng thực tế Đầu năm 2006, công trình nghiên cứu này đã được đại học Southwestern phê duyệt.
In "Genetic Algorithms and Neural Networks: The Building Blocks of Artificial Life," Jacob Schrum explores a simulation of artificial life to investigate how evolution contributes to biodiversity.
Công trình của Tommy W S Chow và Siu-Yeung Cho, “Learning Algorithms and Applications”, Imperial College Press on NEURAL NETWORKS AND
Cuốn sách "COMPUTING Series in Electrical and Computer Engineering, Vol 7, 2007" cung cấp cái nhìn ứng dụng về các thuật toán học mạng lưới thần kinh, bắt đầu với khái niệm cơ bản về "neuron" và mô hình mạng thần kinh McCulloh và Pitts Nội dung sách khám phá các vấn đề học tập của mạng thần kinh từ góc độ mới, đồng thời giới thiệu một số thuật toán cải tiến nhằm nâng cao tốc độ học tập và khả năng hội tụ, kèm theo các thuật toán phần mềm MATLAB sẵn có Tại Việt Nam, từ những năm 90, nhiều nhà khoa học đã chú trọng đến lý thuyết mạng nơron và ứng dụng của nó Quyển sách "Trí tuệ nhân tạo, Mạng nơron phương pháp và ứng dụng" của Nguyễn Đình Thúc, xuất bản năm 2000, là một trong những tài liệu tiên phong trong việc phổ biến kiến thức về mạng nơron.
"Kỹ thuật 'LAN TRUYỀN NGƯỢC' đang được nghiên cứu và áp dụng phổ biến trong lĩnh vực mạng nơron nhân tạo Cuốn sách cung cấp cái nhìn sâu sắc về khía cạnh toán học và phương pháp, đồng thời trình bày rõ ràng các kỹ thuật nâng cao hiệu suất cho mạng nơron đa lớp."
Cuốn sách “Hệ mở, mạng nơron và ứng dụng” của Bùi Công Cường và Nguyễn Doãn Phước, xuất bản bởi NXB Khoa học và Kỹ thuật Hà Nội vào năm 2001, giới thiệu về logic mở cùng các ứng dụng đa dạng, điều khiển mở và mạng nơron Tác phẩm này cũng đề cập đến việc tích hợp các kỹ thuật tính toán mềm và mạng nơron trong xử lý dữ liệu, đặc biệt là về toán tử gộp mới – toán tử trung bình trọng số có sắp xếp Ngoài ra, còn nhiều công trình nghiên cứu khác liên quan đến mạng nơron cũng được nêu ra.
Nguyễn Kỳ Phùng và Nguyễn Khoa Việt Trường đã nghiên cứu và trình bày về việc mô hình hóa các quá trình xử lý nước thải bằng mạng nơron nhân tạo tại Trường Đại học Khoa học Tự nhiên thuộc Đại học Quốc gia Thành phố Hồ Chí Minh Nghiên cứu này góp phần nâng cao hiệu quả trong việc xử lý nước thải thông qua ứng dụng công nghệ tiên tiến.
Mô hình bể xử lý nước thải đã được xây dựng và tối ưu hóa quá trình luyện mạng bởi các tác giả, với kết quả kiểm chứng cho thấy sai số nhỏ.
Đã phát triển một chương trình ứng dụng mạng nơron nhằm dự báo chất lượng đầu ra của hệ thống nước thải, kết hợp với thuật toán tối ưu hóa để điều chỉnh số nút ẩn, từ đó tìm ra cấu trúc mạng tối ưu nhất Chương trình này thể hiện rõ sự vượt trội so với các chương trình mạng nơron hiện có của Matlab.
Thuật toán tối ưu hóa quá trình luyện mạng nâng cao hiệu quả so với các ứng dụng mạng nơron truyền thống như Matlab Bằng cách thực hiện nhiều vòng lặp và ghi nhận các mạng đạt kết quả tốt nhất sau mỗi lần lặp, chúng ta có thể lựa chọn mạng có hiệu suất cao hơn và sai số ổn định hơn.
Cuốn sách "Hệ mở & nơron trong kỹ thuật điều khiển" của Nguyễn Như Hiển và Lại Khắc Lãi, xuất bản năm 2007 bởi NXB Khoa học tự nhiên và công nghệ, giới thiệu những kiến thức cơ bản về Hệ mở, mạng nơron nhân tạo và Hệ mở nơron Tác phẩm này còn cung cấp công cụ MATLAP để hỗ trợ trong việc phân tích và thiết kế các mô hình điều khiển mở.
Đỗ Trung Hải( 2008) “ Ứng dụng lý thuyết mờ và mạng nơron để điều khiển hệ chuyển động”, Luận án tiến sỹ, Trường Đại học Bách khoa Hà Nội
Nghiên cứu đã đề xuất một cấu trúc hệ mờ - nơron với 5 lớp và tối thiểu 2 nơron ở lớp thứ 2, nhằm tối ưu hóa độ chính xác và tốc độ tính toán cho hệ điều khiển thời gian thực.
Xây dựng thuật toán nhận dạng trực tuyến và cập nhật thích nghi các thông số là cần thiết để tối thiểu hóa sai lệch trong việc nhận dạng và điều khiển hệ thống Việc ứng dụng đại số Lie kết hợp với phương pháp điều khiển tuyến tính hóa chính xác thích nghi mang lại khả năng ứng dụng rộng rãi cho các hệ điều khiển chuyển động.
Hệ khớp nối mềm với chuyển động cụ thể và phức tạp đã được mô phỏng bằng thuật toán, cho thấy tính chính xác của luật nhận dạng và điều khiển, cũng như cấu trúc và mô hình điều khiển của hệ chuyển động.
Các công trình trong và ngoài nước nghiên cứu về thuật toán học của mạng nơron
Trong những năm gần đây, các biến thể của thuật toán học lan truyền ngược đã thu hút sự chú ý trong nghiên cứu và được công bố nhằm cải thiện tốc độ hội tụ của quá trình huấn luyện mạng.
Kỹ thuật lan truyền ngược trong mạng là quá trình lan truyền ngược lỗi, với hàm lỗi thường được chọn để tối thiểu hóa sai số trung bình bình phương Để cải thiện hiệu suất và tránh các cực tiểu yếu hay cực tiểu cục bộ, việc nghiên cứu đặc điểm của hàm lỗi là rất quan trọng Trong quá trình cải thiện thuật toán, người ta thường điều chỉnh bước học để vượt qua các cực trị địa phương Tuy nhiên, không có giá trị bước học cố định cho các bài toán khác nhau; thay vào đó, bước học thường được xác định qua thực nghiệm hoặc phù hợp với từng loại bài toán cụ thể.
Một số công trình khoa học quan trọng đã đề cập đến việc cải tiến kỹ thuật lan truyền ngược nguyên thủy, điều này có ảnh hưởng đáng kể đến nội dung của luận án.
Công trình nghiên cứu của P A Castillo, M G Arenas, J J Merelo, G Romero,
F Rateb, A Prieto, “Comparing Hybrid Systems to Design and Optimize
Artificial Neural Networks”, Genetic Programming Lecture Notes in Computer
Trong bài báo khoa học năm 2003-2004, các tác giả đã nghiên cứu và so sánh các phương pháp lai nhằm tối ưu hóa perceptron nhiều lớp Họ đã phát triển một mô hình tối ưu hóa cấu trúc và trọng số ban đầu của mạng perceptron nhiều lớp Kết quả cho thấy mô hình này yêu cầu ít chu kỳ huấn luyện hơn, từ đó tăng tốc độ hội tụ một cách đáng kể.
Công trình nghiên cứu của PGS.TS Nguyễn Quang Hoan mang tên “Nhận dạng ký tự viết tay tiếng Việt sử dụng mạng lan truyền ngược” đã được công bố tại hội nghị tự động hóa toàn quốc lần thứ 6 (VICA6) vào năm 2004 Nghiên cứu này tập trung vào việc kết hợp mạng nơron động với thuật toán di truyền để nhận dạng âm tiết tiếng Việt Tác giả đã áp dụng mạng nơron động với các phần tử trễ và thuật toán lan truyền ngược lỗi, trong đó thuật toán di truyền được sử dụng để tối ưu hóa các trọng số của mạng nơron, nhằm nâng cao hiệu quả nhận dạng.
Công trình nghiên cứu của Nguyễn Sĩ Dũng, Lê Hoài Quốc, “Một số thuật toán về huấn luyện mạng nơron trên cơ sở phương pháp conjugate Gradient”, Đại học
Công nghiệp TPHCM và Đại học Bách khoa TPHCM
Tác giả đã phát triển một thuật toán mới cho việc luyện mạng nơron dựa trên phương pháp Conjugate Gradient, nhằm cải thiện tốc độ hội tụ trong quá trình huấn luyện.
Báo cáo này trình bày cơ sở toán học của phương pháp Gradient Conjugate và giới thiệu một thuật toán mới được phát triển trên Matlab 7.1 để huấn luyện mạng nơron, với đối tượng áp dụng là các hệ phi tuyến tính.
Phương pháp này có ý nghĩa trong huấn luyện mạng trực tuyến online và ứng dụng nhận dạng và điều khiển trong môi trường động
Công trình nghiên cứu của D Shanthi, G Sahoo and N Saravanan, “Evolving Connection Weights of Artificial Neural Networks Using Genetic Algorithm with
Application to the Prediction of Stroke Disease”, International Journal ò Soft
Bài báo trong tạp chí Computing, Vol 4, Issue 2, trang 95-102, năm 2009, đề xuất phương pháp kết hợp giữa giải thuật di truyền (GA) và mạng nơron nhân tạo nhằm tối ưu hóa bộ trọng số ban đầu trong quá trình huấn luyện mạng nơron Nghiên cứu này có ứng dụng quan trọng trong việc dự đoán bệnh đột quỵ.
Công trình nghiên cứu của Yu-Tzu Chang, Jinn Lin, Jiann-Shing Shieh, Maysam
F Abbod “Optimization the InitialWeights of Artificial Neural Networks via
Genetic Algorithm Applied to Hip Bone Fracture Prediction” đăng trên tạp chí Advances in Fuzzy Systems – Special issue on Hybrid Biomedical Intelligent
In their 2012 article published in Systems, the authors explore the optimization of initial weights to enhance the accuracy of neural networks using genetic algorithms for predicting the probability of hip fractures.
Luận văn thạc sĩ của Từ Thanh Trí, mang tên “Ứng dụng mạng nơron mờ trong đánh giá cảm quan thực phẩm”, được thực hiện tại Học viện Kỹ thuật Quân sự Tác giả đã áp dụng mô hình mạng nơron mờ để giải quyết bài toán liên quan đến việc đánh giá cảm quan thực phẩm.
Luận văn thạc sĩ của Nguyễn Thị Thanh Lệ tại Học viện Kỹ thuật Quân sự mang tên “Ứng dụng thuật toán di truyền vào bài toán tối ưu đa mục tiêu trong công nghệ thực phẩm” tập trung vào việc áp dụng Genetic Algorithm (GA) để giải quyết các bài toán tối ưu phức tạp Tác giả khai thác các điểm mạng của GA nhằm tối ưu hóa các bài toán có không gian tìm kiếm lớn và nhiều chiều, đồng thời giải quyết những hạn chế của phương pháp tối ưu đa mục tiêu truyền thống.
Luận văn thạc sĩ của Vũ Thị Lệ Huyền, mang tên “Nghiên cứu khai phá dữ liệu ý kiến người dùng về sản phẩm váng sữa”, được thực hiện tại Học viện Kỹ thuật Quân sự Tác giả áp dụng quy trình khai phá dữ liệu nhằm trích xuất tri thức và phát hiện các mẫu tiềm ẩn trong tập dữ liệu liên quan đến sản phẩm váng sữa.
Luận văn thạc sĩ của Nguyễn Thị Diệu Hiền tại Đại học Công nghệ TPHCM, mang tên “Kết hợp kỹ thuật gom cụm và mạng nơron để đánh giá cảm quan thực phẩm”, đã áp dụng kỹ thuật gom cụm trong quá trình học của mạng nơron nhằm giải quyết vấn đề đánh giá cảm quan thực phẩm Tác giả đã chọn một phương pháp tiếp cận mới, thể hiện sự đổi mới trong nghiên cứu đánh giá chất lượng thực phẩm.
Tổng quan về mạng nơron sinh học
Bộ não người đóng vai trò thiết yếu trong cuộc sống, kiểm soát hầu hết mọi hành vi từ các hoạt động cơ bản đến những quá trình phức tạp như học tập, ghi nhớ, suy luận, tư duy và sáng tạo.
Bộ não người có mạng lưới gồm khoảng 10 11 phần tử (gọi là tế bào) liên kết phức tạp với nhau Trong đó:
- Khoảng 10 10 phần tử là nơron
- Khoảng 9*10 10 phần tử là các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng như hỗ trợ cho các nơron
Hình 1 1.Tế bào thần kinh
Hình 1 minh họa hàng tỷ tế bào thần kinh trong não bộ được liên kết bởi một mạng lưới kết nối Các tế bào thần kinh tương tác với nhau thông qua các tín hiệu điện, tương tự như cách hoạt động của một máy tính.
Cho đến nay người ta vẫn chưa thực sự biết rõ về cấu tạo chi tiết của bộ não
1.1.2 Các đặc tính của não người
Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin được xử lý theo các tầng
Tính môđun trong bộ nhớ được thể hiện qua việc phân chia các vùng thành các môđun, được mã hóa thông qua các định nghĩa mối quan hệ tích hợp giữa tín hiệu vào từ các giác quan và tín hiệu ra.
Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem như các liên hệ phản hồi khi truyền tín hiệu
Xử lý phân tán các tín hiệu vào là quá trình mà các tín hiệu này được truyền qua nhiều kênh thông tin khác nhau và được xử lý bằng các phương pháp đặc biệt.
1.1.3 Xử lý thông tin trong bộ não
Thông tin từ các giác quan được truyền đến tế bào thần kinh vận động và tế bào cơ Khi các tế bào thần kinh tiếp nhận thông tin, điện thế trong thần kinh cảm giác sẽ tăng lên Nếu điện thế này vượt ngưỡng nhất định, nó sẽ tạo ra dòng điện trong tế bào thần kinh cảm giác Dòng điện này sau đó được giải mã và lưu trữ tại thần kinh trung ương, và kết quả xử lý thông tin sẽ được gửi đến các tế bào cơ.
Các tế bào thần kinh truyền tải các tín hiệu tương tự, khiến cho việc phân biệt giữa tín hiệu của động vật nguyên thủy và giáo sư trở nên khó khăn Các khớp thần kinh chỉ cho phép các tín hiệu phù hợp đi qua, trong khi những tín hiệu khác bị chặn lại Mức độ biến đổi của tín hiệu được gọi là cường độ khớp thần kinh, tương ứng với trọng số của nơron trong mạng nơron nhân tạo.
Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan như sau:
Con người bị kích thích bởi các giác quan từ môi trường bên ngoài và bên trong cơ thể Những kích thích này được chuyển đổi thành xung điện bởi các giác quan, sau đó gửi tín hiệu về não bộ để xử lý Não bộ liên tục nhận và đánh giá thông tin, so sánh với dữ liệu đã lưu trữ để đưa ra quyết định.
Các mệnh lệnh cần thiết được phát sinh và gửi đến các bộ phận thi hành như tay, chân, giúp chuyển đổi xung điện thành dữ liệu cho hệ thống.
1.1.4 Cấu trúc và hoạt động của mạng nơron sinh học
Mỗi tế bào thần kinh gồm 3 thành phần chính:
- Thân tế bào thần kinh (cell body còn gọi là soma)
- Hệ thống các dây thần kinh tiếp nhận (dendrites)
- Một sợi trục thần kinh (axon)
Hình 1 2 Mô hình tế bào thần kinh
Hệ thống dây thần kinh tiếp nhận bao gồm một mạng lưới dày đặc các dây thần kinh dạng cây xung quanh thân tế bào, dẫn tín hiệu đến thân tế bào Tại đây, thân tế bào tổng hợp các tín hiệu đầu vào, làm thay đổi điện thế và khi vượt qua ngưỡng, sẽ phát ra xung điện qua sợi trục thần kinh (axon) Các dây thần kinh axon có khả năng phân nhánh để kết nối với các dây thần kinh khác hoặc trực tiếp với thân của các tế bào thần kinh thông qua các khớp thần kinh (synapse).
Khi tế bào thần kinh hoạt động, nó tạo ra tín hiệu điện hóa chạy dọc theo axon đến các khớp thần kinh, được chia thành hai loại: khớp nối kích thích và khớp nối ức chế Tại các khớp này, các phản ứng và giải phóng chất hữu cơ tạo ra tín hiệu điện kích thích tế bào thần kinh Cường độ tín hiệu mà tế bào thần kinh nhận được phụ thuộc vào mức độ liên kết của các khớp nối Nghiên cứu cho thấy quá trình “học” của bộ não chính là việc hình thành hoặc thay đổi mức độ liên kết của các khớp nối.
1.1.5 Khả năng của mạng nơron sinh học (bộ não)
Bộ não người đóng vai trò quan trọng trong cuộc sống, với cấu trúc phức tạp và tinh vi, bao gồm hàng chục tỷ tế bào nơron và mối liên kết cao giữa chúng Nó được chia thành nhiều vùng và lớp khác nhau, mỗi phần đảm nhận chức năng riêng biệt, góp phần vào sự phát triển và hoạt động của con người.
Bộ não hoạt động dựa trên cơ chế hoạt động song song của các nơron tạo nên nó
Bộ nhớ được cấu trúc thành các bó thông tin, cho phép truy cập nội dung dựa trên các giá trị thuộc tính của đối tượng, giúp dễ dàng truy xuất thông tin.
Bộ não con người có khả năng tổng quát hóa, cho phép truy xuất tri thức và các mối liên kết chung liên quan đến một khái niệm cụ thể.
Bộ não có khả năng học
1.1.6 Quá trình học của bộ não
Khi các xung tín hiệu từ các "dây thần kinh vào" đến các khớp nối, khớp nối sẽ quyết định cho tín hiệu đi qua hay không, từ đó kích thích nơron tiếp theo Điều này tạo ra một con đường truyền xung nhất định trong hệ thống thần kinh.
Học là quá trình lặp đi lặp lại, giúp giảm sức cản của các khớp nối, từ đó tạo điều kiện thuận lợi cho việc ghi nhớ và áp dụng kiến thức Tích lũy kinh nghiệm và kiến thức trong đầu giống như xây dựng một hệ thống khớp nối, nơi sức cản sẽ dần nhỏ đi, giúp việc học trở nên dễ dàng hơn.
Tổng quan về mạng nơron nhân tạo
Mạng nơron nhân tạo (ANN) là hệ thống mô phỏng cấu trúc của bộ não người, mở ra hướng nghiên cứu mới trong lĩnh vực hệ thống thông tin ANN có khả năng tính toán gần đúng hàm số, tối ưu hóa, nhận diện mẫu và điều khiển đối tượng một cách hiệu quả hơn so với các phương pháp truyền thống.
Mạng nơron nhân tạo hoạt động tương tự như bộ não con người, với nhiều mối liên kết song song giữa các phần tử biến đổi Nó có khả năng học hỏi và tổng hợp thông tin thông qua việc luyện tập trên các tập mẫu dữ liệu Các phần tử này được gọi là nơron nhân tạo, hay đơn giản là nơron.
1.2.1 Lịch sử phát triển của mạng nơron nhân tạo
Cuối thế kỷ XIX và đầu thế kỷ XX, các nhà khoa học như Herman, Ernst Mach và Ivan Pavlov đã nghiên cứu về vật lý, tâm lý và hệ thần kinh, đưa ra những lý thuyết liên quan đến quá trình học tập, tưởng tượng và quyết định Tuy nhiên, cho đến thời điểm đó, vẫn chưa có mô tả toàn diện về hoạt động của mạng nơron.
Năm 1943, Warren McCulloch và Walter Pits đã giới thiệu mô hình mạng nơron đơn giản bằng mạch điện tử, khẳng định rằng mạng nơron nhân tạo có thể thực hiện các phép toán số học và logic Sự kiện này đánh dấu khởi đầu cho lĩnh vực nghiên cứu mạng nơron.
Sau đó Donal Nebb đưa ra một cơ chế giải thích cho quá trình học (Learning) diễn ra trong các nơron sinh học
Cuối thập niên 50, Frank Rosenblatt đã giới thiệu ứng dụng thực tế đầu tiên của mạng nơron nhân tạo, được gọi là mạng Perceptron Mạng này sử dụng luật học để thực hiện nhận dạng mẫu, đánh dấu một bước tiến quan trọng trong lĩnh vực trí tuệ nhân tạo.
Bernard Widrow and Ted Hoff introduced a learning algorithm to train linear adaptive neural networks, similar to the Rosenblatt network.
Vào năm 1969, các nhà toán học Minsky và Pappert đã chỉ ra những hạn chế của mạng Perceptron của Rosenblatt và mạng Widrow-Hoff, khiến nhiều người lo ngại rằng nghiên cứu về mạng nơron sẽ gặp bế tắc Thêm vào đó, vào thời điểm đó, thiếu hụt máy tính số mạnh để thực nghiệm mạng nơron đã dẫn đến việc trì hoãn nghiên cứu trong gần một thập kỷ.
Năm 1972, Teuvo Kohonen và James Anderson độc lập phát triển các mạng nơron mới với năng lực nhớ (memory) và khả năng tự tổ chức (self-organizing)
Trong giai đoạn này, Stephen Grossberg đã tích cực nghiên cứu về mạng tự tổ chức Đến thập kỷ 80, sự phát triển mạnh mẽ của ngành công nghiệp máy tính đã dẫn đến sự gia tăng đột ngột trong nghiên cứu về mạng nơron, với hai phát kiến quan trọng nhất được công bố.
- Sử dụng cơ học thống kê để giải thích hoạt động của mạng hồi quy một lớp
(recurrent network), loại mạng được sử dụng như một bộ nhớ kết hợp, được nhà vật lý John Hopfield mô tả
- Sử dụng thuật toán lan truyền ngược (back-propagation algorithm) để huấn luyện các mạng Perceptron đa lớp (mutilayer perceptron network) David
Rumelhalt và James McClrlland là những người trình bày thuật toán lan truyền ngược có ảnh hưởng nhất (1968)
Ngày nay, lĩnh vực mạng nơron được nghiên cứu, phát triển mạnh mẽ và ứng dụng rất nhiều trong thực tế
Mạng nơron nhân tạo là cấu trúc bao gồm các nơron nhân tạo liên kết với nhau, với mỗi liên kết mang trọng số thể hiện đặc tính kích hoạt hoặc ức chế Các nơron, hay còn gọi là nút (node), được tổ chức thành các lớp, bao gồm lớp ra (output layer) và các lớp ẩn (hidden layer).
Các đặc điểm của mạng nơron nhân tạo:
- Mạng được xây dựng bằng các nơron liên kết lại với nhau
- Chức năng của mạng được xác định bởi: cấu trúc mạng, quá trình xử lý bên trong của từng nơron, và mức độ liên kết giữa các nơron
Mức độ liên kết giữa các nơron trong mạng được xác định qua quá trình huấn luyện, trong đó các trọng số đóng vai trò là phương tiện lưu trữ thông tin dài hạn Quá trình huấn luyện mạng nhằm mục đích cập nhật các trọng số dựa trên thông tin từ các mẫu học.
Mạng nơron được xây dựng dựa trên mô phỏng hệ thống nơron sinh học, và với sự phát triển trong lĩnh vực này, chúng ta có thể hướng tới việc phát triển những máy tính thông minh thực sự trong tương lai.
Trong bài viết này, tôi sẽ trình bày những kiến thức cơ bản cần thiết để thực hiện đồ án, tập trung vào các vấn đề liên quan và những thông tin hữu ích giúp hoàn thành dự án một cách hiệu quả.
Mạng nơron nhân tạo gồm hai thành phần:
- Các nút (đơn vị xử lý, nơron)
- Các liên kết giữa chúng được gán một trọng số nào đó đặc trưng cho cường độ liên kết
Cấu trúc của một noron được mô tả:
Hình 1 3 Cấu trúc nơron nhân tạo
Các thành phần cơ bản của một nơron nhân tạo gồm:
- Tập các đầu vào: là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều
Trong mạng nơ-ron, mỗi liên kết giữa tín hiệu vào thứ j và nơ-ron k được thể hiện bởi một trọng số gọi là trọng số liên kết (Synaptic weight), ký hiệu là wkn Các trọng số này thường được khởi tạo ngẫu nhiên khi mạng được khởi động và sẽ được cập nhật liên tục trong quá trình học của mạng.
- Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó
- Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền
Hàm truyền (Transfer function) là công cụ quan trọng để giới hạn đầu ra của mỗi nơron, nhận đầu vào từ kết quả của hàm tổng và ngưỡng đã cho Phạm vi đầu ra thường nằm trong khoảng [0,1] hoặc [–1,1], và có thể sử dụng các hàm tuyến tính hoặc phi tuyến Việc lựa chọn hàm truyền phù hợp phụ thuộc vào từng bài toán cụ thể và kinh nghiệm của người thiết kế mạng.
- Đầu ra: là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra
Về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp biểu thức sau:
Trong mô hình nơron, các tín hiệu đầu vào được ký hiệu là x1, x2,…, xm, trong khi các trọng số kết nối tương ứng là w i1, w i2,…, w im Hàm tổng được gọi là net i, và hàm truyền tín hiệu là f Ngoài ra, θ i là ngưỡng của nơron, và y i đại diện cho tín hiệu đầu ra của nơron đó.
Nguyên tắc hoạt động của mạng nơron nhân tạo
Ta thấy rằng các nơron trong cùng 1 lớp thì nhận tín hiệu đầu vào cùng một lúc
Mạng nơron có khả năng xử lý song song nhờ vào cấu trúc hệ thống thông tin với nhiều phần tử hoạt động đồng thời Khi hoạt động, các thành phần của vectơ tín hiệu vào x = (x1, x2, , xN) được đưa vào mạng, kích hoạt các nơron ở lớp ẩn và lớp ra theo từng bước Sau quá trình tính toán, mạng nơron sẽ hoàn toàn được kích hoạt và tạo ra vectơ tín hiệu đầu ra y = (y1, y2, , yk) tại lớp ra Mạng nơron có thể được coi như một bảng tra cứu giữa y và x mà không cần biết rõ hàm quan hệ giữa chúng.
Sự khác biệt chính giữa mạng nơron và hệ thống xử lý thông thường là khả năng thích nghi với dữ liệu đầu vào Mạng nơron có thể điều chỉnh ma trận trọng số và hệ số bias để phù hợp với bài toán cụ thể Quá trình này, được gọi là huấn luyện mạng, sử dụng một số phương pháp học để hiệu chỉnh các trọng số và hệ số bias.
Phương pháp huấn luyện mạng
Thông thường mạng nơron được điều chỉnh hoặc được huấn luyện để hướng các đầu vào riêng biệt đến đích ở đầu ra
Cấu trúc huấn luyện mạng
Trọng số liên kết trong mạng được điều chỉnh bằng cách so sánh đầu ra với mục tiêu mong muốn, cho đến khi đầu ra của mạng phù hợp với mục tiêu đó.
- Những cặp vào/đích (input/taget) được dùng đề giám sát cho sự huấn luyện mạng
Cấu trúc huấn luyện mạng nơron bao gồm việc gửi các giá trị vào mạng và so sánh giá trị ra tương ứng với giá trị mong muốn Thường thì sẽ có một sai số do giá trị mong muốn không hoàn toàn khớp với giá trị thực Sau mỗi lần chạy, tổng bình phương của tất cả các sai số được tính toán và sử dụng để xác định các trọng số liên kết mới.
Sau mỗi lần chạy, trọng số liên kết của mạng được điều chỉnh để cải thiện các đặc tính mong muốn Mỗi cặp giá trị vào/ra cần được kiểm tra và trọng số sẽ được điều chỉnh qua nhiều lần Quá trình điều chỉnh trọng số sẽ dừng lại khi tổng bình phương sai số nhỏ hơn một ngưỡng xác định hoặc khi đã thực hiện đủ số lần chạy quy định Tuy nhiên, trong một số trường hợp, mạng có thể vẫn không đạt yêu cầu do sai số còn cao Có hai phương pháp học khác nhau trong quá trình này.
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số về trọng số, cập nhật kết nối giữa các nơron
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của mạng nơron gồm số lượng nút (node) và các mẫu liên kết
Nhiệm vụ của việc học thông số trong mạng nơron là tìm ra ma trận chính xác từ ma trận giả thuyết ban đầu, sử dụng cấu trúc mạng đã có Để đạt được điều này, mạng nơron điều chỉnh các trọng số thông qua nhiều phương pháp học khác nhau, nhằm tính toán gần đúng ma trận W cần thiết Có ba phương pháp học, mỗi phương pháp tương ứng với một nhiệm vụ học trừu tượng riêng biệt.
- Học có giám sát (Supervised Learning)
- Học không giám sát (Unsupervised Learning)
- Học tăng cường (Reinforcement Learning)
Quá trình học có giám sát trong mạng nơron diễn ra khi tín hiệu đầu vào x được cung cấp, tương ứng với các đáp ứng đầu ra mong muốn d tại mỗi thời điểm Mạng nơron nhận các cặp dữ liệu vào/ra liên tục (x1, d1), (x2, d2), …, (xN, dN) và khi tín hiệu vào là xN, đầu ra sẽ là dk như mong muốn Kết quả của quá trình này là tạo ra một mô hình, trong đó đầu vào là vectơ tín hiệu X và đầu ra là câu trả lời đúng d Để đạt được điều này, sẽ có sai lệch ek giữa đầu ra thực yk và đầu ra mong muốn dk, sai lệch này được truyền ngược để điều chỉnh ma trận trọng số W của mạng nơron Quá trình điều chỉnh tiếp tục cho đến khi sai lệch nằm trong phạm vi cho phép, từ đó tạo ra ma trận trọng số với các phần tử wkN được điều chỉnh phù hợp với đặc điểm của đối tượng hoặc hàm số mà mạng nơron cần học.
Hình 1 9 Mô hình học có giám sát
Phương pháp học tăng cường là một hình thức học tập trong đó tín hiệu từ bên ngoài, gọi là tín hiệu tăng cường, được cung cấp không đầy đủ, thường chỉ đại diện cho một bit để kiểm tra tính đúng sai của quá trình Đây là một phương pháp riêng biệt nhưng vẫn thuộc về nhóm phương pháp học có giám sát, vì nó nhận tín hiệu chỉ đạo từ bên ngoài để hướng dẫn quá trình học.
Tín hiệu giám sát bên ngoài z được thực hiện thông qua các tín hiệu ước lượng nhằm cung cấp thông tin cho mạng nơron điều chỉnh trọng số, với mục tiêu là tăng cường độ chính xác trong quá trình tính toán.
Mô hình học tăng cường tương tự như mô hình học có giám sát
1.4.3 Học không có giám sát
Trong tình huống này, không có tín hiệu bên ngoài và giá trị mục tiêu điều khiển không được cung cấp Mạng nơron cần khám phá các mẫu, đặc trưng, tính cân đối và mối tương quan Trong quá trình này, mạng phải tự điều chỉnh các thông số, một quá trình được gọi là tự tổ chức (Self-Organizing).
Mô hình học không có giám sát được minh họa:
Hình 1 10 Mô hình học không có giám sát
Để huấn luyện mạng nơron, phương pháp phổ biến là huấn luyện có giám sát, tuy nhiên, cũng tồn tại mạng được huấn luyện không có giám sát Mạng huấn luyện không giám sát có thể được áp dụng để xác định các nhóm dữ liệu trong những trường hợp riêng biệt.
Mạng nơron nhân tạo truyền thẳng
Mạng perceptron một lớp, được F Rosenblatt giới thiệu vào năm 1960, là một loại mạng nơron đơn giản với một lớp đầu vào và một lớp đầu ra, không có lớp ẩn Mỗi lớp có thể chứa một hoặc nhiều nơron, và mô hình này sử dụng hàm ngưỡng làm hàm chuyển Theo đó, nếu tổng các tín hiệu vào lớn hơn giá trị ngưỡng, đầu ra của nơron sẽ là 1; ngược lại, nếu tổng nhỏ hơn ngưỡng, đầu ra sẽ là 0.
Mạng Perceptron một lớp, từ khi ra đời, đã trở thành công cụ hữu ích trong việc giải quyết bài toán phân lớp Một đối tượng sẽ được nơron i phân vào lớp A nếu nó đáp ứng được các tiêu chí nhất định.
Tổng thông tin đầu vào : ∑ w ij x i > θ (1.6)
Trong mạng nơron, trọng số liên kết từ nơron j tới nơron i được ký hiệu là w_ij, trong khi đầu vào từ nơron j là x_j và ngưỡng của nơron i là θ Nếu đầu ra không đạt ngưỡng, đối tượng sẽ được phân loại vào lớp B Quá trình huấn luyện mạng sử dụng phương pháp học có giám sát với tập mẫu học cụ thể.
Trong bài viết này, chúng ta xem xét các cặp mẫu đầu vào - đầu ra được biểu diễn bởi {(x (k) , d (k) )}, với k = 1, 2, …, p Ở đây, d (k) = [d 1 (k) , d 2 (k) , …, d n (k) ] T là đầu ra quan sát tương ứng với đầu vào x (k) = [x 1 (k) , x 2 (k) , …, x m (k) ] T, trong đó m là số đầu vào, n là số đầu ra và p là tổng số cặp mẫu Mục tiêu của quá trình học là để đầu ra tính toán được y (k) = [y 1 (k) , y 2 (k) , …, y n (k) ] T đạt được sự tương đồng với đầu ra của mẫu học d (k).
= = ∑ = Với i = 1, 2, , n ; k = 1, 2, , p (1.7) với net i = là tổng thông tin đầu vào của nơron i (1.5)
Mạng perceptron một lớp bắt đầu quá trình luyện bằng cách gán các trọng số giá trị ngẫu nhiên trong khoảng [-3, 3] Tiếp theo, các trọng số này được hiệu chỉnh để phù hợp với mẫu học, nhằm giảm thiểu sai số giữa giá trị đầu ra y(k) và giá trị mong muốn d(k).
• Xác định ngẫu nhiên bộ trọng số
• Với mỗi mẫu học (x (k) , d (k) ), k=1,2, …, p thực hiện các bước:
- Tính giá trị y (k) theo công thức
- Xác định sai số δitại nơron i: δ i = d i – y i , trong đó d i là giá trị đầu ra quan sát được và y i là giá trị đầu ra tính toán tại nơron thứ i
- Tính ∆w ij là số gia của trọng số w ij (trọng số liên kết giữa đầu vào j tới nơron i) theo công thức: ∆w ij =ηδ i x j trong đó η là tốc độ học (0