ỜI CẢM ƠN Người mà em muốn cảm ơn đầu tiên là thầy Vương Xuân Chí giảng viên hướng dẫn môn đồ án cơ sở khoa học dữ liệu đã nhiệt tình giúp đỡ em trong suốt khoảng thời gian học, giải đáp mọi thắc mắc cũng như các vấn đề khó trong quá trình học tập cũng như thực hành. Trong quá trình học tập thì thầy đã có các bài giảng hay, dễ tiếp thu giúp các sinh viên mới như em dễ dàng tiếp thu được các kiến thức mới. Và trong suốt quá trình thực hiện đồ án thì thầy luôn nhiệt tình giải đáp và đưa ra những lời khuyên bổ ích giúp e hoàn thiện tốt hơn cho đồ án của mình. Tiếp đến là em xin gửi lời cảm ơn của mình đến các anh chị khóa trên đã chia sẽ nhưng kinh nghiệm quí báo của mình cho e để cho e có thể làm tốt đồ án môn học này của mình. Các anh chị đã dành thời gian rãnh của mình để nhận xét và góp ý cho em. Đồng thời cũng cảm ơn những người bạn luôn bên cạnh em, dù nội dung đồ án có khác nhau những vẫn quan tâm, để ý đến bài làm của em. Vì thời gian ngắn còn phải chia đều thời gian cho các môn cộng với việc vẫn chưa có nhiều kinh nghiệm trọng việc layout nên không tránh được những thiếu sót và nhiều điểm còn chưa hợp lí. Em mong là mình sẽ nhận được sự thông cảm và góp ý từ các thầy cô để bổ sung và hoàn thiện, có thêm kinh nghiệm để cho các đồ án sau này được tốt hơn. LỜI MỞ ĐẦU Sự phát triển mạnh mẽ của Công nghệ nói chung và Công nghệ thông tin nói riêng đã tạo nên nhiều hệ thống thông tin phục vụ việc tự động hoá mọi hoạt động kinh doanh cũng như quản lý trong xã hội. Điều này đã tạo ra những dòng dữ liệu khổng lồ trở thành hiện tượng “bùng nổ thông tin”. Nhiều hệ quản trị cơ sở dữ liệu mạnh với các công cụ phong phú và thuận tiện đã giúp con người khai thác có hiệu quả các nguồn tài nguyên dữ liệu lớn nói trên. Bên cạnh chức năng khai thác cơ sở dữ liệu có tính tác nghiệp, sự thành công trong kinh doanh không chỉ thể hiện ở năng suất của các hệ thống thông tin mà người ta còn mong muốn cơ sở dữ liệu đó đem lại tri thức từ dữ liệu hơn là chính bản thân dữ liệu. Phát hiện tri thức trong mạng Nơron (Neural Network ) là một quá trình hợp nhất các dữ liệu từ nhiều hệ thống dữ liệu khác nhau tạo thành các kho dữ liệu, phân tích thông tin để có được nhiều tri thức tiềm ẩn có giá trị. Trong đó, mạng Nơron là quá trình chính trong phát hiện tri thức. Sử dụng các kỹ thuật và các khái niệm của các lĩnh vực đã được nghiên cứu từ trước được sử dụng để khai phá dữ liệu nhằm phát hiện ra các mẫu mới, tương quan mới, các xu hướng có ý nghĩa
GIỚI THIỆU MẠNG NƠRON – NEURAL NETWORK
Mạng Nơron là gì
Mạng nơ-ron nhân tạo là một chuỗi các thuật toán được thiết kế để xác định và khai thác các mối quan hệ cơ bản trong tập dữ liệu, đồng thời mô phỏng cách não bộ con người xử lý thông tin Nói một cách ngắn gọn, mạng nơ-ron nhân tạo là hệ thống gồm các tế bào thần kinh nhân tạo với các kết nối và trọng số được điều chỉnh để học hỏi từ dữ liệu Về bản chất, hệ thống này có thể là sự mô phỏng hữu cơ của mạng thần kinh hoặc được xây dựng hoàn toàn bằng công nghệ nhân tạo, nhằm tối ưu hóa các tác vụ nhận diện, phân loại và dự báo.
Neural Network (mạng nơ-ron) có khả năng thích ứng với mọi thay đổi của đầu vào, từ đó có thể đưa ra kết quả tối ưu mà bạn không cần thiết kế lại các tiêu chí đầu ra Khái niệm này bắt nguồn từ trí tuệ nhân tạo và đang nhanh chóng trở nên phổ biến trong sự phát triển của các hệ thống giao dịch điện tử.
Đặc điểm của mạng Nơron là gì
Trong lĩnh vực tài chính, mạng nơ ron nhân tạo đóng vai trò then chốt để tối ưu hóa các quy trình như giao dịch thuật toán, dự báo chuỗi thời gian, phân loại chứng khoán, mô hình rủi ro tín dụng và xây dựng chỉ báo độc quyền cùng công cụ phát sinh giá cả Mạng nơ ron nhân tạo có thể hoạt động như một hệ thống có trí tuệ tương tự não người, với mỗi nơ ron thần kinh là một hàm toán học có chức năng thu thập và phân loại thông tin dựa trên cấu trúc và tham số được điều chỉnh.
Mạng neural (mạng nơ-ron) có sự tương đồng cơ bản với các phương pháp thống kê như đồ thị đường cong và phân tích hồi quy, và được hiểu như là một hệ thống gồm nhiều lớp bao hàm các nút liên kết với nhau Mỗi nút đóng vai trò là một đơn vị xử lý có cấu trúc tương tự hàm hồi quy đa tuyến tính Trong một mạng nơ-ron nhiều lớp, các nút được sắp xếp theo các lớp liên kết với nhau, lớp đầu vào chịu trách nhiệm thu thập mẫu dữ liệu và lớp đầu ra trả về các phân loại hoặc tín hiệu đầu ra mà các mẫu đầu vào có thể phản ánh lại.
Kiến trúc mạng Nơron là gì
Mạng neural network là sự kết hợp của các tầng perceptron, hay còn gọi là perceptron đa tầng, cho phép mô hình học các mối quan hệ phi tuyến tính trong dữ liệu Mỗi mạng neural network cơ bản thường bao gồm ba kiểu tầng chính: tầng đầu vào (input layer) nơi dữ liệu được đưa vào, các tầng ẩn (hidden layers) nơi thực hiện xử lý và trích xuất đặc trưng, và tầng đầu ra (output layer) chịu trách nhiệm phát sinh dự báo hoặc quyết định cuối cùng.
• Tầng input layer (tầng vào): Tầng này nằm bên trái cùng của mạng, thể hiện cho các đầu vào của mạng
• Tầng output layer (tầng ra): Là tầng bên phải cùng và nó thể hiện cho những đầu ra của mạng
• Tầng hidden layer (tầng ẩn): Tầng này nằm giữa tầng vào và tầng ra nó thể hiện cho quá trình suy luận logic của mạng
Lưu ý: Mỗi một Neural Network chỉ có duy nhất một tầng vào và 1 tầng ra nhưng lại có rất nhiều tầng ẩn
HÌNH 1.2 Kiến trúc mạng Nơron
Trong một mạng neural, mỗi nơ-ron đóng vai trò là một đơn vị tính toán với một hàm kích hoạt, ví dụ như sigmoid; thực tế, người ta thường chọn cùng loại hàm kích hoạt cho toàn bộ mạng để thuận lợi cho tính toán Tại mỗi tầng, số lượng nơ-ron có thể khác nhau tùy thuộc vào bài toán và cách thiết kế mạng để tối ưu hiệu quả học máy và kết quả dự đoán.
Trong thiết kế mạng neural, số lượng tầng ẩn và số lượng neuron ở mỗi tầng được điều chỉnh để phù hợp với mục tiêu và dữ liệu đầu vào Các neuron ở mỗi tầng ẩn thường liên kết đầy đủ với nhau, hình thành một mạng lưới kết nối chặt chẽ giữa các lớp Nhờ cấu trúc này, người dùng có thể ước lượng kích thước của mạng neural dựa trên số tầng và tổng số neuron được bố trí ở các tầng.
Ứng dụng của mạng Nơron là gì
Mạng nơ-ron nhân tạo được ứng dụng rộng rãi trong các lĩnh vực như tài chính, giao dịch, phân tích kinh doanh, lập kế hoạch cho doanh nghiệp và bảo trì sản phẩm, mang lại hiệu suất và độ chính xác cao nhờ học từ dữ liệu lớn Các mô hình mạng nơ-ron, đặc biệt là mạng nơ-ron sâu, hỗ trợ dự báo xu hướng, tối ưu hóa chiến lược đầu tư và quy trình vận hành, đồng thời phân tích hành vi khách hàng để nâng cao hiệu quả marketing và dịch vụ Nhờ AI dựa trên mạng nơ-ron, doanh nghiệp có thể tự động hóa hoạt động, quản trị rủi ro tốt hơn và giảm chi phí bảo trì sản phẩm thông qua giám sát dự đoán và bảo trì dựa trên dữ liệu.
Network còn được sử dụng khá rộng rãi cho những hoạt động kinh doanh khác như: dự
4 báo thời tiết, và tìm kiếm các giải pháp nhằm nghiên cứu tiếp thị, đánh giá rủi ro và phát hiện gian lận
Trong nhiều trường hợp, mạng nơ-ron nhân tạo được sử dụng để đánh giá và khai thác các cơ hội giao dịch dựa trên phân tích dữ liệu lịch sử Mạng nơ-ron còn được áp dụng phổ biến để nhận diện và phân biệt các phụ thuộc phi tuyến giữa các đầu vào, một vấn đề mà các mô hình phân tích kỹ thuật truyền thống thường gặp khó khăn Tuy nhiên, độ chính xác của việc áp dụng mạng nơ-ron nhân tạo vào dự đoán giá cổ phiếu có sự biến động lớn tùy thuộc vào từng tập dữ liệu và cách thiết kế mô hình.
Sử dụng mạng Nơron như thế nào
Mạng neural nhân tạo có khả năng hoạt động như một cơ chế xấp xỉ hàm tùy ý, học được từ dữ liệu quan sát Điều này cho phép chúng nắm bắt các mối quan hệ phức tạp trong dữ liệu và được ứng dụng rộng rãi trong nhiều lĩnh vực Tuy nhiên, việc triển khai và vận dụng chúng không phải lúc nào cũng dễ, đòi hỏi người dùng có sự hiểu biết tương đối về các khái niệm và lý thuyết cơ bản của mạng nơ-ron, như kiến trúc, quá trình huấn luyện và tối ưu hóa, cũng như các yếu tố ảnh hưởng đến hiệu suất.
Việc lựa chọn mô hình phụ thuộc vào cách trình bày dữ liệu và các ứng dụng của nó Để đạt hiệu quả trong học máy, cần cân nhắc đặc điểm dữ liệu, mục tiêu bài toán và yêu cầu của ứng dụng Đây là một mô hình khá phức tạp nên có thể dẫn đến nhiều thách thức cho quá trình học, như khó khăn trong tối ưu hóa, nguy cơ quá khớp và chi phí tính toán cao.
Trong học máy, thường có sự đồng thuận giữa các thuật toán về hiệu suất khi tham số được tối ưu và dữ liệu huấn luyện phù hợp Hầu hết các thuật toán sẽ hoạt động tốt với tham số đúng và được huấn luyện trên dữ liệu phù hợp, mà không đòi hỏi một lượng lớn các thử nghiệm.
Với sự lựa chọn đúng đắn của các mô hình, thuật toán học và hàm chi phí, mạng neural (Neural Network) có thể cho ra kết quả vô cùng hợp lý cho các bài toán phức tạp Khi được triển khai chính xác, mạng neural cho phép bạn làm việc một cách tự nhiên và có thể ứng dụng cho những tập dữ liệu lớn, mở rộng từ nhận diện đến dự báo và phân tích dữ liệu.
Convolutional Neural Network là gì
Mạng nơ-ron tích chập (CNN) là một kiến trúc Deep Learning tiên tiến, cho phép xây dựng các hệ thống thị giác máy tính với độ chính xác cao CNN hoạt động bằng cách tự học các đặc trưng từ dữ liệu hình ảnh, giảm thiểu thao tác tiền xử lý và tăng hiệu quả nhận diện Mô hình CNN được ứng dụng phổ biến trong các bài toán nhận dạng đối tượng trong ảnh, từ nhận diện khuôn mặt đến phân loại và theo dõi vật thể.
Artificial Neural Network là gì?
Artificial Neural Network (ANN) là một mạng nơ-ron nhân tạo và là một mô hình toán học được xây dựng dựa trên cơ sở của hệ thần kinh sinh học Các nơ-ron nhân tạo liên kết với nhau qua các kết nối tín hiệu, xử lý thông tin bằng cách truyền tín hiệu và tính toán các giá trị mới tại các nút của mạng Trong nhiều trường hợp, ANN là hệ thống thích ứng có khả năng tự điều chỉnh cấu trúc dựa trên thông tin từ bên ngoài hoặc bên trong mạng khi đang tiến hành quá trình học Nhiều mạng ANN được sử dụng như công cụ mô hình hóa dữ liệu thống kê phi tuyến và nắm bắt các mối quan hệ phức tạp giữa dữ liệu đầu vào hoặc giữa đầu ra nhằm tìm kiếm mẫu và xu hướng trong dữ liệu.
Chương 2: Cơ sở lí thuyết
2.1 Tổng quan về mạng neural sinh học
2.1.1 Cấu trúc mạng neural sinh học
Não người có một mạng lưới gồm khoảng 10^11 tế bào thần kinh (nơ-ron) liên kết với nhau theo các mối quan hệ phức tạp Mỗi tế bào thần kinh gồm ba thành phần chính: thân tế bào (soma), các nhánh dendrites nhận tín hiệu từ tế bào khác, và một sợi trục thần kinh (axon) Những nơ-ron này kết nối với nhau tạo thành mạng lưới thần kinh rộng lớn, cho phép não xử lý thông tin, ghi nhớ và điều khiển nhiều chức năng của cơ thể.
Hình 2.1 Mô hình tế bào thần kinh
Hệ thống dây thần kinh nhận xung qua một mạng lưới dày đặc các dây thần kinh bao quanh thân tế bào, dẫn tín hiệu đến thân tế bào Thân tế bào sẽ tổng hợp các tín hiệu đầu vào này, làm thay đổi điện thế của nó và khi vượt qua ngưỡng sẽ sinh ra một xung điện trên sợi trục (axôn) Các sợi axôn có thể phân nhánh để nối đến các dây thần kinh khác hoặc kết nối trực tiếp với thân của các tế bào thần kinh thông qua khớp thần kinh (synapse).
Khi một tế bào thần kinh hoạt động, nó được kích thích và tạo ra tín hiệu điện chạy dọc theo sợi axon, dẫn đến khớp thần kinh và sự giải phóng các chất hóa học tạo thành tín hiệu truyền giữa các tế bào thần kinh Có hai loại khớp thần kinh: khớp nối kích thích (excitatory) và khớp nối ức chế (inhibitory) Tại các khớp thần kinh này diễn ra các phản ứng sinh học và sự truyền tín hiệu, ảnh hưởng đến mức độ kích hoạt của tế bào nhận Cường độ tín hiệu nhận được phụ thuộc chủ yếu vào mức độ liên kết tại các khớp nối Các nghiên cứu về hoạt động của hệ thần kinh cho thấy quá trình học tập của não thực chất là hình thành hoặc điều chỉnh mức độ liên kết tại các khớp thần kinh.
2.1.2 Khả năng của mạng neural sinh học (bộ não)
Bộ nhớ được tổ chức thành các bó thông tin và được truy cập theo nội dung, nghĩa là hệ thống có thể truy xuất dữ liệu dựa trên nội dung hoặc giá trị thuộc tính của đối tượng Với cách sắp xếp này, việc tìm kiếm và lấy thông tin trở nên nhanh chóng và hiệu quả, vì truy cập dựa trên các đặc tính của dữ liệu thay vì vị trí lưu trữ.
Bộ não có khả năng tổng quát hóa, cho phép nó truy xuất tri thức và các mối liên hệ chung giữa các đối tượng để gắn chúng với một khái niệm chung Quá trình tổng quát hóa giúp não nhận diện các đặc điểm và mẫu tương tự, từ đó tối ưu hóa việc truy cập tri thức liên quan đến khái niệm tổng quát Khi gặp một đối tượng mới, não sẽ gợi nhớ các tri thức và liên kết đã học được với khái niệm chung, giúp hiểu nhanh và xử lý thông tin hiệu quả.
Bộ não có khả năng học
2.1.3 Quá trình học của bộ não
Khi xung tín hiệu từ các dây thần kinh vào tới khớp nối, khớp nối quyết định cho phép tín hiệu đi qua hoặc ngăn không kích thích neuron tiếp theo Nhờ cơ chế này, tín hiệu được truyền dọc theo một con đường truyền xung nhất định giữa các neuron.
Học là làm sao cho con đường này được lặp lại nhiều lần, nên sức cản của các khớp nối sẽ nhỏ dần, tạo điều kiện cho những lần lặp lại dễ dàng hơn Có thể nói: Toàn bộ những kiến thức, kinh nghiệm của một người tích lũy được và lưu giữ trong đầu chính là hệ thống sức cản của các khớp nối
Mạng nơ-ron nhân tạo (Artificial Neural Networks - ANN) là sự mô phỏng đơn giản của hệ thần kinh sinh học Mỗi mạng nơ-ron nhân tạo thực hiện hai chức năng cơ bản: tổng hợp các tín hiệu đầu vào và tạo ra đầu ra tương ứng Nhờ cấu trúc gồm các lớp neuron và các kết nối có trọng số, ANN có thể học hỏi từ dữ liệu và nhận diện các mẫu, mở rộng ứng dụng trong nhận diện hình ảnh, xử lý ngôn ngữ tự nhiên và dự báo dữ liệu.
Mỗi mạng neural nhân tạo có một tập các đầu vào và một đầu ra Mỗi đầu vào được gán một trọng số (weight), thể hiện mức độ liên kết tại các khớp nối trong mạng neural Trọng số có thể âm hoặc dương, phản ánh tính chất kích thích hoặc ức chế của khớp nối, tương tự như hai loại liên kết trong mạng neural sinh học: kích thích và ức chế.
Trong mạng nơ-ron, mỗi nơ-ron có một ngưỡng hoạt động Chức năng đầu vào của nơ-ron là tổng có trọng số của các tín hiệu đầu vào, sau đó cộng với ngưỡng để hình thành net input Sự kết hợp này quyết định kích hoạt của nơ-ron: nếu net input vượt ngưỡng, nơ-ron sẽ được kích hoạt và phát tín hiệu tới các nơ-ron tiếp theo; ngược lại, nó sẽ ở trạng thái không kích hoạt Quá trình này giải thích cách thông tin được xử lý và truyền từ nơ-ron này sang nơ-ron khác trong mạng, đồng thời cho thấy vai trò của trọng số và ngưỡng trong ảnh hưởng đến kết quả đầu ra Việc tối ưu trọng số và ngưỡng thông qua quá trình học cho phép mạng nơ-ron nhận diện mẫu, phân loại và dự đoán chính xác hơn.
7 hiện bằng một tổng hay theo một số tài liệu gọi là hàm PSP (Post Synapic Potential function)
- hàm thế sau khớp nối
The output generation function is represented by the transfer function This function takes the net input signal and converts it into the neural network's output signal, thereby determining how the input is mapped to the neuron's activation and the network's final response.
Mạng neural nhân tạo gồm hai thành phần chính: các nút xử lý (hay neuron) và các liên kết giữa chúng, với mỗi liên kết được gán một trọng số đặc trưng cho cường độ liên kết Trọng số này quyết định mức độ tín hiệu từ nút nguồn ảnh hưởng lên nút đích, giúp mạng học và biểu diễn các mối quan hệ phức tạp trong dữ liệu Trong quá trình huấn luyện, các trọng số được điều chỉnh để tối ưu hóa kết quả đầu ra, từ đó mạng neural có thể thực hiện các tác vụ như phân loại hoặc dự đoán.
Ta ký hiệu Pi là tín hiệu đầu vào và Xi là tín hiệu đầu ra của neuron i Trạng thái đầu vào của neuron i được xác định bằng tổng tuyến tính các tín hiệu đầu vào nhận được từ các neuron khác j, mỗi tín hiệu được nhân với trọng số tương ứng.
Hình 2.2 Mô hình neural một đầu vào
Trong một mạng nơ-ron đơn giản với một đầu vào p, đầu vào này được nhân với trọng số vô hướng w thành wp; một đầu vào khác là 1 được nhân với hệ số bias b và được đưa vào bộ tổng Bộ tổng cho ra n, hay tín hiệu net input, được đưa qua hàm truyền đạt f và kết quả là đầu ra a của mạng Trong nhiều tài liệu, hàm f được gọi là hàm hoạt hóa (activation function).
TRÌNH BÀY CÁC QUY TRÌNH HỌC MẠNG NƠRON
Neural nhân tạo
Mạng nơ-ron nhân tạo (ANN) là một mô phỏng đơn giản của hệ thần kinh sinh học, được dùng để xử lý dữ liệu và giải quyết các bài toán trí tuệ nhân tạo Mỗi nơ-ron trong mạng nơ-ron nhân tạo thực hiện hai chức năng chính: tổng hợp các tín hiệu đầu vào từ các nơ-ron khác và tạo ra tín hiệu đầu ra để được truyền tới các nơ-ron tiếp theo.
Trong một mạng nơ-ron nhân tạo, mỗi neuron nhận một số đầu vào và tạo ra một đầu ra Mỗi đầu vào được gắn với một trọng số (weight) biểu thị mức độ liên kết tại khớp nối trong mạng, ảnh hưởng đến mức độ tín hiệu được truyền tới đầu ra Trọng số có thể dương hoặc âm, phản ánh hai loại khớp nối trong mạng nơ-ron sinh học: khớp nối kích thích và khớp nối ức chế, với trọng số dương làm tăng tín hiệu và trọng số âm làm giảm tín hiệu trước khi nó được kết nối với đầu ra của neuron.
Mỗi neuron trong mạng nơ-ron có một giá trị ngưỡng hoạt động Chức năng đầu vào chính là tổng có trọng số của các tín hiệu đầu vào, được cộng với ngưỡng để tạo ra tín hiệu net input Sự kết hợp này được thực hiện bằng phép tính tổng có trọng số và ngưỡng, qua đó net input quyết định mức kích hoạt của neuron khi được đưa qua hàm kích hoạt Quá trình này là nền tảng cho việc xử lý thông tin và học tập, giúp mạng nơ-ron nhận diện mẫu và đưa ra dự đoán chính xác hơn.
7 hiện bằng một tổng hay theo một số tài liệu gọi là hàm PSP (Post Synapic Potential function)
- hàm thế sau khớp nối
Output generation in neural networks is described by the transfer function The transfer function takes the net input signal and converts it into the neural output signal, effectively mapping inputs to outputs within the network.
Mạng neural nhân tạo gồm hai thành phần cơ bản: các nút (đơn vị xử lý) và các liên kết giữa chúng được gán một trọng số biểu thị cường độ ảnh hưởng của liên kết đó Các nút nhận tín hiệu từ các nút ở lớp trước, nhân tín hiệu với trọng số của mỗi liên kết, cộng lại và truyền qua một hàm kích hoạt để tạo ra đầu ra, từ đó mô hình có thể học và nhận diện các mẫu dữ liệu phức tạp Trong quá trình huấn luyện, các trọng số được điều chỉnh để tối ưu hóa khả năng dự đoán của mạng, cho phép nó nắm bắt các mối quan hệ phi tuyến và cải thiện hiệu suất trên tập dữ liệu Đây là mô hình cơ bản cho việc xây dựng hệ thống AI có khả năng nhận diện, phân loại và dự đoán dựa trên dữ liệu đầu vào.
Trong mạng neural, ta ký hiệu Pi là tín hiệu đầu vào và Xi là tín hiệu đầu ra của neuron i Đầu vào của neuron i được xác định bởi tổng tuyến tính các tín hiệu đầu vào có trọng số từ các neuron khác j kết nối với neuron i.
Hình 2.2 Mô hình neural một đầu vào
Một neural đơn giản với một đầu vào được mô tả bằng hình vẽ: đầu vào vô hướng p được nhân với trọng số vô hướng w để tạo thành wp, một thành phần được đưa vào bộ tổng Đầu vào còn lại là 1 nhân với hệ số bias b và cũng được đưa vào bộ tổng Bộ tổng thực hiện cộng các thành phần này để cho ra net input n Net input n được truyền qua hàm truyền đạt f (còn được gọi là hàm hoạt hóa) để tạo ra đầu ra a của neural.
Trong mô hình neural đơn giản, trọng số w tương ứng với độ liên kết (độ mạnh) của khớp nối (synapse); đầu vào p tương ứng với dây thần kinh tiếp nhận (dendrite); thân neuron được mô hình bởi bộ tổng và hàm truyền đạt; đầu ra a diễn tả tín hiệu trên sợi trục neural (axon) Đầu ra a được tính bằng a = f(wp + b), và đầu ra này phụ thuộc vào hàm truyền f được chọn cho từng trường hợp cụ thể.
Hệ số chệch (bias) cũng giống như một trọng số với đầu vào luôn là 1 Neural có thể có hoặc không có hệ số bias (chệch)
Ta thấy rằng w và b là hai tham số vô hướng có thể điều chỉnh của mạng neural Thông thường, loại hàm kích hoạt được thiết kế và chọn bởi người thiết kế, và sau đó các tham số w và b được tối ưu bởi các quy tắc học máy để điều chỉnh mối quan hệ giữa đầu vào và đầu ra của mạng sao cho đáp ứng mục tiêu thiết kế.
Hàm truyền f có thể là hàm truyền tuyến tính hoặc phi tuyến đối với n Có rất nhiều dạng hàm truyền được sử dụng
Thông thường neural có nhiều đầu vào Một neural với R đầu vào được diễn tả:
Hình 2.3 Mô hình neural nhiều đầu vào
Mỗi đầu vào riêng biệt p1, p2, pR đều tương ứng với một trọng số w1,1,w1,2, w1,R trong ma trận trọng số W Ta có: n= w1,1 p1 + w1,2 p2 + + w1,R pR + b
Hay viết dưới dạng ma trận n=Wp + b, trơng trường hợp này mà trận W chỉ gồm một hàng
Vector tín hiệu được biểu diễn dưới dạng ma trận để mô tả quá trình xử lý Đầu ra của mạng nơ-ron được tính theo công thức a = f(Wp + b) Với mỗi phần tử của ma trận W, w_{i,j} đại diện cho trọng số kết nối từ đầu vào thứ j đến neuron thứ i; trong trường hợp này chỉ có một neuron nên i = 1.
Mô hình neural nhiều đầu vào trên có thể được ký hiệu vắn tắt như sau:
Hình 2.4 Mô hình vắn tắt neural nhiều đầu vào Đầu vào a = f (Wp+b)
Nhìn vào mô hình trên ta có thể biết vec-tơ đầu vào p có R phần tử Ma trận trọng số
Trong mạng neural, W có 1 hàng và R cột, hằng số đầu vào 1 được nhân với bias b Bộ tổng hợp, kết hợp với bias b và tịch hợp Wp, tạo ra tín hiệu đầu vào là một số vô hướng; hàm kích hoạt f biến đổi tín hiệu này thành đầu ra a của mạng neural Ở đây a là một số vô hướng, còn trong mạng neural đầy đủ thì a là vector đầu ra Từ mô hình vắn tắt này, ta dùng để biểu diễn các mạng neural bằng cách kết hợp W, b và hàm kích hoạt f để xác định đầu ra.
Mạng neural nhân tạo
Mạng neural nhân tạo là một hệ thống gồm các nơ-ron nhân tạo được kết nối với nhau để xử lý và phân tích dữ liệu Mỗi liên kết giữa các nơ-ron đi kèm với một trọng số xác định mức độ ảnh hưởng và sự kích hoạt giữa các nút Các nơ-ron, còn được gọi là nút (node), được sắp xếp thành các lớp gồm lớp đầu vào, các lớp ẩn và lớp đầu ra Các đặc điểm nổi bật của mạng neural nhân tạo bao gồm khả năng học và suy luận từ dữ liệu, mô hình hóa các quan hệ phi tuyến, cùng với quá trình huấn luyện tối ưu hóa trọng số thông qua thuật toán lan truyền ngược (backpropagation) để cải thiện độ chính xác dự đoán.
Mạng được xây dựng bằng các neural liên kết lại với nhau
Chức năng của mạng được xác định bởi: cấu trúc mạng, quá trình xử lý bên trong của từng neural, và mức độ liên kết giữa các neural
Liên kết giữa các neuron trong mạng neural được xác định thông qua quá trình huấn luyện, nơi các trọng số được cập nhật dựa trên thông tin từ các mẫu dữ liệu Trọng số hoạt động như một kho lưu trữ thông tin dài hạn, cho phép mạng ghi nhớ và tái sử dụng kiến thức đã học Nhiệm vụ của quá trình huấn luyện là điều chỉnh và cập nhật các trọng số để phản ánh mẫu dữ liệu và tối ưu hóa hiệu suất dự đoán của mạng.
*Một số định nghĩa về mạng neural:
Mạng neural là một hệ thống gồm nhiều phần tử xử lý hoạt động song song để xử lý thông tin hiệu quả Chức năng của mạng được xác định bởi cấu trúc mạng, quy mô của các liên kết và cách thức xử lý tại mỗi nút hay đơn vị tính toán, từ đó các yếu tố này quyết định khả năng học và hiệu suất của mạng.
Mạng neural là một bộ xử lý song song quy mô lớn, có khả năng học từ kinh nghiệm và lưu trữ tri thức dựa trên dữ liệu đã trải qua Nhờ cấu trúc mạng lưới neuron và các lớp tính toán phức tạp, nó có thể tổng hợp thông tin, nhận diện mẫu và từ đó tạo ra tri thức mới dựa trên những gì đã có.
Nó tương tự với bộ não ở hai khía cạnh:
Tri thức có được thông qua quá trình học Độ lớn liên kết giữa các neural được dùng như một phương tiện lưu trữ thông tin
Hệ thống neural nhân tạo, hay còn gọi là mạng neural, là tập hợp các tế bào vật lý được liên kết với nhau nhằm thu thập, lưu trữ và sử dụng tri thức và kinh nghiệm một cách hiệu quả Mô hình này mô phỏng cách não bộ xử lý thông tin, cho phép học hỏi từ dữ liệu, cải thiện hiệu suất và tự thích nghi theo thời gian Nhờ khả năng nhận diện mẫu, dự đoán và tối ưu hóa, hệ thống neural nhân tạo được ứng dụng rộng rãi trong nhận diện hình ảnh, xử lý ngôn ngữ tự nhiên và phân tích dữ liệu lớn, đồng thời nâng cao hiệu quả vận hành và trải nghiệm người dùng cho nhiều lĩnh vực.
2.3.2 Một số chức năng của mạng neural nhân tạo
2.3.2.1 Chức năng phân loại mẫu
Phân loại mẫu là quá trình sắp xếp dữ liệu đầu vào thành các nhóm riêng biệt dựa trên đặc trưng và nhãn đã được học Mạng neural hoạt động như một bộ phân loại mẫu: khi nhận một mẫu đầu vào, nó sẽ sinh ra một đầu ra tương ứng với phân loại đã học Quá trình này cho thấy mạng neural nhận mẫu, phân loại và xuất ra nhãn đúng với lớp của nó Điểm khác biệt của mạng neural so với các bộ phân loại khác là ở khả năng học tập và tổng quát hóa từ tập dữ liệu huấn luyện, cho phép nhận diện và phân loại các mẫu mới một cách hiệu quả.
2.3.2.1 Học và tổng quát hóa Đầu tiên là việc học, có thể hiểu việc này là cho mạng neural xem một ít mẫu kèm với đầu ra tương ứng với mẫu đó và mạng neural phải học để phân loại đúng được các mẫu này Còn khả năng tổng quát hóa là: mạng neural không chỉ nhận biết được các mẫu nó đã được học mà có thể nhận được các mẫu gần với mẫu nó đã được học Tức là mạng neural có thể suy ra các đặc tính chung của các lớp khác nhau từ các mẫu đã cho Chức năng này tạo ra một chiến lược tính toán rất phù hợp cho việc giải quyết các vấn đề mang tính "động", tức là thông tin về chúng có rất ít hoặc bị thiếu, không đầy đủ Điểu quan trọng là tìm được mô hình mạng và phương pháp học thích hợp đối với từng bài toán
Ngoài ra mạng neural còn có khả năng được huấn luyện để trở thành bộ xấp xỉ hàm liên tục bất kỳ
2.3.3 Lịch sử phát triển của mạng neural nhân tạo
Cuối thế kỷ 19 và đầu thế kỷ 20, các nghiên cứu về vật lý, tâm lý và hệ thần kinh của các nhà khoa học Herman, Ernst Mach và Ivan Ivalov đã đề xuất những lý thuyết về quá trình học, sự tưởng tượng và quyết định của hệ thần kinh, mở đường cho nhận thức về não bộ và hoạt động của mạng neural Tuy nhiên, cho tới nay vẫn chưa có một mô tả toàn diện về cách thức hoạt động của mạng neural và các cơ chế liên quan được trình bày đầy đủ.
Vào năm 1943, Warren McCulloch và Walter Pitts đã giới thiệu một mô hình đơn giản của mạng nơ-ron được làm bằng mạch điện tử, chứng minh rằng mạng nơ-ron nhân tạo có thể thực hiện các hàm số học và các bài toán logic Đây được xem là bước khởi đầu của lĩnh vực mạng nơ-ron, mở đường cho sự phát triển của trí tuệ nhân tạo và các hệ thống tính toán dựa trên mạng lưới các nơ-ron giả, nhằm xử lý thông tin theo các quy tắc logic và toán học.
Sau đó Donal Hebb đưa ra một cơ chế giải thích cho quá trình học (learning) diễn ra trong các neural sinh học (trong cuốn Organnization of Behaviaor - 1949)
Cuối thập niên 1950, ứng dụng thực tế đầu tiên của mạng neural nhân tạo được giới thiệu bởi Frank Rosenblatt với mạng Perceptron kết hợp một quy tắc học để nhận dạng mẫu Cùng thời điểm, Bernard Widrow và Ted Hoff giới thiệu một thuật toán học và dùng nó để huấn luyện các mạng neural tuyến tính ghép nối, tương tự mạng của Rosenblatt.
Vào năm 1969, Minsky và Papert, hai nhà toán học nổi tiếng, công bố những hạn chế của mạng Perceptron của Rosenblatt và của mạng Widrow-Hoff, khiến nhiều người nghi ngờ tiềm năng của nghiên cứu về mạng neural và cho rằng nó sẽ vào ngõ cụt Đồng thời với thời điểm đó, chưa có những máy tính số mạnh để thực nghiệm các mô hình mạng neural, nên công trình nghiên cứu về mạng neural bị trì hoãn gần một thập kỷ.
In 1972, Teuvo Kohonen and James Anderson independently developed neural networks with memory and self-organizing capabilities During the same period, Stephen Grossberg conducted active research into self-organizing networks, contributing to the growing understanding of adaptive neural systems.
Sang thập kỷ 80, khi ngành công nghiệp máy tính phát triển mạnh mẽ thì những nghiên cứu về mạng neural tăng lên đột ngột Có hai phát kiến quan trọng nhất là: 1) thuật toán lan truyền ngược (backpropagation) cho huấn luyện mạng neuron nhiều lớp, cho phép học từ dữ liệu một cách hiệu quả; 2) khái niệm và triển khai các mô hình mạng neuron có thể học và tối ưu hóa trọng số qua nhiều lớp, mở đường cho nhận diện và xử lý tín hiệu phức tạp Nhờ sự tiến bộ của phần cứng và nguồn dữ liệu, các mô hình mạng neural bắt đầu thể hiện tiềm năng ứng dụng rộng rãi trong trí tuệ nhân tạo và tự động hóa.
Việc áp dụng cơ học thống kê giải thích hoạt động của mạng hồi quy một lớp, hay còn gọi là mạng Hopfield, được dùng như một bộ nhớ kết hợp Trong mô hình này, các neuron và ma trận trọng số đóng vai trò hệ năng lượng, và quá trình cập nhật neuron làm giảm năng lượng để hệ thống hội tụ về các trạng thái ổn định đại diện cho các mẫu đã được lưu trữ Theo Hopfield, những trạng thái này có thể được kích hoạt từ một phần tín hiệu đầu vào, cho phép hồi đáp và khôi phục mẫu từ nhiễu hoặc dữ liệu thiếu Trọng số được thiết kế sao cho năng lượng của hệ thống đạt cực tiểu tại các mẫu mong muốn, và cơ học thống kê cung cấp khung phân tích về phân bố xác suất của các trạng thái và cách hoạt động của các nơ-ron dưới nhiễu Nhờ đó, mạng Hopfield thể hiện khả năng lưu trữ và truy xuất bộ nhớ liên kết theo cơ chế tối ưu hóa năng lượng, đồng thời cho thấy giới hạn về dung lượng bộ nhớ và ảnh hưởng của nhiễu đối với nhận diện mẫu.
Sử dụng thuật toán lan truyền ngược (back-propagation algorithm) để huấn luyện các mạng perceptron đa lớp (mutilayer perceptron network) David Rumelhalt và James
McClrlland là một trong những người đề xướng thuật toán lan truyền ngược có ảnh hưởng nhất từ năm 1968 Hiện nay, lĩnh vực mạng neural đang được nghiên cứu và phát triển mạnh mẽ, với nhiều ứng dụng thực tế đa dạng và ngày càng phổ biến.
Kiến trúc mạng neural
Một neural với rất nhiều đầu vào cũng không đủ để giải quyết các bài toán Ta cần nhiều neural được tổ chức song song tạo thành "lớp" (layer)
Hình 2.5 Cấu trúc chung của mạng neural
Một mạng của lớp S của neural với R đầu vào được biểu diễn bởi hình sau:
Hình 2.6 Mô hình mạng neural có 1 lớp S neural
Mỗi phần tử của đầu vào R được kết nối với mọi nơ-ron trong lớp gồm S nơ-ron, tức là một lớp đầy kết nối giữa đầu vào và lớp chứa S nơ-ron Ma trận trọng số W có kích thước S hàng và R cột, mỗi nơ-ron trong lớp nhận được tổng trọng số từ tất cả các đầu vào Véctơ đầu ra a có S phần tử, tương ứng với giá trị kích hoạt của từng nơ-ron ở lớp sau Cấu hình này cho phép biểu diễn và học các đặc trưng một cách hiệu quả trong mạng nơ-ron thông qua sự kết nối đầy đủ giữa đầu vào và lớp có S nơ-ron.
Lớp neural bao gồm ma trận trọng số, các bộ tổng, véctơ hệ số bias b Một số tài liệu coi đầu vào là một lớp vào, với ý nghĩa lớp vào gồm các neural chỉ có chức năng nhận tín hiệu vào Nhưng ở đây ta coi đầu vào là một véctơ các tín hiệu vào chứ không coi là một lớp các neural Do đó mạng neural trên chỉ có một lớp (là lớp ra của mạng)
Neural thứ i trong lớp có hệ số bias b1 , bộ tổng hàm truyền f , đầu ra ai Kết hợp các nơ-ron trong lớp thì đầu ra là véctơ a Thông thường số đầu vào là R, các số neural S Mỗi
Trong mạng nơ-ron, một neuron trong một lớp có thể có một hàm kích hoạt riêng, không bắt buộc tất cả các neuron trong cùng một lớp phải sử dụng cùng một dạng hàm kích hoạt Việc cho phép các neuron trong cùng lớp có các hàm kích hoạt khác nhau mang lại tính linh hoạt và khả năng biểu diễn cao hơn cho mô hình, đặc biệt khi xử lý các đặc trưng đa dạng Tuy nhiên, trong thực tế đôi khi người ta chọn một hàm kích hoạt chung cho toàn bộ lớp để giảm phức tạp và tối ưu hóa tính toán, nhưng khả năng hỗ trợ hàm kích hoạt khác nhau giữa các neuron vẫn là một yếu tố thiết kế có thể được cân nhắc tùy bài toán.
2.4.2 Mạng neural nhiều lớp (Multiple Layers of Neurons)
Xét một mạng nơ-ron nhiều lớp, mỗi lớp có ma trận trọng số W, vectơ bias B, vectơ net input n và vectơ đầu ra a Để phân biệt các lớp khác nhau, ta gắn chỉ số phụ cho từng biến, ví dụ W_q là ma trận trọng số của lớp q và b_q là vectơ bias tương ứng của lớp q Quá trình tính toán ở lớp q được mô tả bằng n_q = W_q a_{q-1} + b_q và a_q = f(n_q), trong đó f là hàm kích hoạt Nhờ cách đặt ký hiệu phụ này, ta dễ dàng truyền tín hiệu từ lớp đầu vào qua các lớp tới lớp đầu ra và nắm được mối quan hệ giữa W_q, b_q và các n_q, a_q ở mỗi lớp.
Hình 2.7 Mô hình neural 2 lớp
Trong một mạng neural, có R đầu vào và hai lớp ẩn: lớp thứ nhất có S1 neuron, lớp thứ hai có S2 neuron Đầu ra của lớp trước đóng vai trò làm đầu vào cho lớp sau Lớp thứ hai nhận vào một vector có S1 phần tử từ đầu ra a1 và được kết nối với lớp trước thông qua ma trận trọng số W2 có kích thước S2 × S1.
Trong một mạng neural, lớp ra là nơi mạng đưa ra kết quả cuối cùng, còn các lớp phía trước được gọi là lớp ẩn Mạng có cấu trúc gồm một lớp ẩn (lớp 1) và lớp ra (lớp 2); dữ liệu được xử lý qua lớp ẩn để tạo ra đầu ra ở lớp ra, nơi kết quả dự đoán được trả về.
Mạng nhiều lớp có khả năng biểu diễn các hàm phi tuyến phức tạp tốt hơn so với mạng một lớp Ví dụ, một mạng hai lớp với hàm kích hoạt sigmoid ở lớp ẩn và hàm kích hoạt tuyến tính ở lớp ra có thể được huấn luyện để xấp xỉ bất kỳ hàm phi tuyến nào, trong khi mạng một lớp lại không có khả năng này.
Trong một mạng nơ-ron, số lượng biến đầu vào quyết định kích thước của lớp đầu vào; nếu có 4 biến làm đầu vào, mạng sẽ có 4 đầu vào Số neuron ở lớp ra được xác định dựa trên số tham số đầu ra của bài toán, ví dụ 2 tham số đầu ra sẽ tương ứng với 2 neuron ở lớp ra Dạng hàm kích hoạt ở lớp ra phụ thuộc đặc tính của biến đầu ra; nếu giá trị của biến đầu ra nằm trong khoảng [-1, 1], có thể chọn hàm kích hoạt hard limit cho các neuron ở lớp ra Việc lựa chọn cấu hình mạng và hàm kích hoạt cần dựa trên đặc tính của bài toán và biến đầu ra để tối ưu hoá hiệu suất dự đoán.
Đối với mạng neural một lớp, kiến trúc mạng được thiết kế dễ dàng và phụ thuộc vào bài toán cụ thể Với mạng neural nhiều lớp (tối thiểu một lớp ẩn), việc xác định số lớp ẩn và số neuron trên từng lớp ẩn là một thách thức và vẫn là lĩnh vực nghiên cứu mở Trong thực tế, người ta thường dùng từ 1 đến 2 lớp ẩn, còn việc dùng 3 hoặc 4 lớp thì hiếm gặp.
13 Đối với mỗi neural có thể có hoặc không có hệ số mẫu bias b Hệ số này tạo thêm cho mạng một biến phụ, do đó mạng có nhiều năng lực hơn so với mạng không có hệ số bias Ví dụ đơn giản neural không có hệ số bias sẽ cho kết quả net input n bằng 0 nếu đầu vào p bằng 0 Điều này không tốt và có thể tránh được nếu neural có hệ số bias. -**Support Pollinations.AI:**🌸 **Quảng cáo** 🌸 Bạn là người tạo nội dung về mạng neural? [Ủng hộ sứ mệnh của chúng tôi](https://pollinations.ai/redirect/kofi) để AI luôn miễn phí và dễ tiếp cận!
Phân loại mạng neural
Mạng neural nhân tạo là sự liên kết của các neural nhân tạo, trong đó sự sắp xếp bố trí và cách thức liên hệ giữa chúng hình thành kiến trúc mạng neural và quyết định khả năng học tập cũng như hiệu suất nhận diện mẫu của hệ thống Thông qua quá trình huấn luyện và tối ưu hóa các liên kết này, mạng neural nhân tạo có thể phân tích dữ liệu phức tạp, trích xuất thông tin và thực hiện các tác vụ trí tuệ nhân tạo khác nhau dựa trên dữ liệu đầu vào.
In neural network architecture, there are two main types: single-layer networks, which consist of only one output layer, and multi-layer networks, which include hidden layers.
Theo cách liên hệ giữa các neural thì kiến trúc mạng truyền thẳng (feedforward networks) và kiến trúc mạng hồi quy (recurrent networks)
Ngoài ra, còn một loại liên kết dựa trên sự phân bố của các neuron trong không gian hai chiều của một lớp, được gọi là liên kết bên (lateral connection) Với liên kết này, Kohonen đã tạo ra một mạng tự tổ chức (Self-Organizing Map, SOM), một loại mạng neural tự tổ chức có khả năng tự học và tổ chức dữ liệu dựa trên vị trí và khoảng cách giữa các neuron trong bản đồ hai chiều.
Có thể phân các loại mạng neural thành hai nhóm chính dựa trên thuật toán học của chúng: mạng học có giám sát (supervised learning) và mạng học không giám sát (unsupervised learning) Trong mạng học có giám sát, dữ liệu huấn luyện đi kèm nhãn và mô hình được huấn luyện để dự đoán nhãn hoặc đầu ra cho dữ liệu mới Ngược lại, mạng học không giám sát làm việc với dữ liệu chưa được gắn nhãn, tập trung khám phá cấu trúc, mối quan hệ và các đặc trưng ẩn của dữ liệu nhằm phân cụm hoặc nhận diện mẫu mà không cần thông tin nhãn trước Sự phân loại này giúp chọn phương pháp phù hợp cho các bài toán thực tế như nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên và phân tích dữ liệu phức tạp.
* Kiến trúc mạng truyền thẳng
Kiến trúc mạng neural feedforward (feedforward) là loại mạng không có chu trình liên kết giữa các nơ-ron Tín hiệu đi từ lớp đầu vào lần lượt qua các lớp ẩn và cuối cùng đi ra ở lớp đầu ra, cho phép phản hồi nhanh và ổn định với tín hiệu đầu vào Liên kết giữa các lớp có thể là đầy đủ (fully connected) hoặc chỉ ở một phần (partly connected), tùy thuộc vào thiết kế của mạng.
Hoạt động của mạng neural nhân tạo
2.6.1 Hoạt động của mạng neural
Ta nhận thấy các neuron cùng một lớp nhận tín hiệu đầu vào đồng thời nên có thể xử lý song song theo nguyên lý này Hoạt động của mạng neural có thể xem như một hệ thống xử lý thông tin được cấu thành từ nhiều phần tử làm việc song song Khi mạng neural vận hành, các thành phần của vectơ tín hiệu vào p = (p1, p2, , pR) được đưa vào mạng, sau đó các neuron ở lớp ẩn và lớp ra lần lượt được kích hoạt Sau một quá trình tính toán, mạng sẽ được kích hoạt đầy đủ và cho ra vectơ tín hiệu đầu ra a = (a1, a2, , aS) tại lớp ra với S neuron Như vậy, có thể coi mạng neural như một bảng tra cứu giữa a và p, mà không cần biết hàm quan hệ tường minh giữa a theo p.
Khác biệt giữa mạng neural và hệ thống xử lý thông thường là khả năng thích nghi với dữ liệu đầu vào, nhờ ma trận trọng số và hệ số bias có thể được điều chỉnh để phù hợp với bài toán đặt ra Quá trình hiệu chỉnh các trọng số và hệ số bias của mạng được gọi là huấn luyện mạng (training) bằng một số luật học, cho phép mạng học từ dữ liệu và tối ưu hóa để nâng cao hiệu suất Trong khi hệ thống xử lý thông thường thực thi các quy trình cố định, mạng neural có tính linh hoạt ở việc điều chỉnh trọng số và bias theo đặc thù của từng bài toán, từ đó tăng độ chính xác và khả năng tổng quát hóa.
2.6.2 Luật học của mạng neural
Luật học là một thủ tục để điều chỉnh, thay đổi trọng số và hệ số bias của mạng, còn được gọi là thuật toán huấn luyện mạng Mục tiêu của luật học là huấn luyện mạng để tối ưu hóa tham số và cải thiện độ chính xác dự đoán, bằng cách điều chỉnh trọng số và bias thông qua các phương pháp tối ưu hóa như gradient descent Quá trình này bao gồm chuẩn bị dữ liệu, huấn luyện trên tập dữ liệu và đánh giá hiệu suất trên tập kiểm tra nhằm đảm bảo mô hình tổng quát hóa tốt và có thể áp dụng vào dữ liệu mới.
14 mạng để thực hiện một số nhiệm vụ mà ta mong muốn Có rât nhiều luật học cho mạng neural Chúng được chia làm 3 loại:
- Luật học có giám sát (supervised learning)
- Luật học không giám sát (unsupervised learing)
- Luật học tăng cường (reinforcement learning)
Trong khuôn khổ đồ án này ta chỉ nghiên cứu luật học có giám sát
*Luật học có giám sát
Một thành phần không thể thiếu của phương pháp này là sự có mặt của một người thầy ở bên ngoài hệ thống, người có kiến thức về môi trường được thể hiện qua tập hợp các cặp đầu vào-đầu ra đã biết trước Trong học có giám sát, hệ thống học—ở đây là mạng neural—sẽ điều chỉnh các tham số bên trong của nó (trọng số và ngưỡng) để tạo ra một ánh xạ có khả năng biến đổi các đầu vào thành các đầu ra mong muốn Quá trình điều chỉnh này được thực hiện bằng cách so sánh đầu ra thực tế với đầu ra mong muốn, từ đó tối ưu hóa sai số và cập nhật tham số để mạng học được biểu diễn đúng với dữ liệu đã cho.
Trong luật học có giám sát: luật học được cung cấp một tập hợp các mẫu chuẩn
(trainig set) thê hiện mối quan hệ giữa đầu vào và đầu ra của mạng:
Trong một mạng neural, pq đại diện cho đầu vào và tq là đầu ra đích mà mạng muốn đáp ứng Khi dữ liệu được đưa vào mạng, đầu ra thực tế được so sánh với đầu ra đích để tính sai số giữa hai giá trị Sai số này được dùng để điều chỉnh các trọng số và hệ số bias của mạng, nhằm làm cho đầu ra thực tế tiến gần hơn tới đầu ra đúng Quá trình này là cốt lõi của học có giám sát, giúp tối ưu hóa sai số và cải thiện hiệu suất dự đoán của mạng.
Có hai cách sử dụng tập mẫu học: hoặc học lần lượt từng mẫu, hoặc tất cả các mẫu cùng một lúc
Trong học giám sát, để đánh giá sự khác biệt giữa vectơ đầu ra của mạng và đầu ra đúng, người ta dùng hàm sai số Hàm sai số phổ biến nhất là hàm tổng bình phương sai số (sum squared error function), tính tổng bình phương các sai số tại đầu ra của mạng neural ở lớp đầu ra.
Một khái niệm liên quan đến việc đánh giá sai số là mặt sai số (error surface) Mạng có N trọng số và một hệ số bias; mỗi trọng số và bias tương ứng với một chiều trong không gian tham số, do đó chiều thứ nhất N+1 đại diện cho sai số của mạng Mỗi bộ trọng số và hệ số bias sẽ ứng với một điểm trên mặt sai số, và mục tiêu của quá trình học là di chuyển trên mặt sai số để tối ưu hóa sai số, tìm các điểm có sai số càng nhỏ càng tốt.
15 tìm được bộ trọng số và hệ số bias ứng với điểm thấp nhất (điểm cực tiểu) của mặt đa chiều này.
Mạng perceptron
Hình 2.9 sơ đồ mạng perceptron hai đầu vào
Ranh giới quyết định trong bài toán phân loại được xác định bằng cách gán nhãn cho giá trị đầu vào: một phía của đường thẳng có nhãn 0, phía kia có nhãn 1 Ta vẽ một đường thẳng phân tách không gian sao cho các nhãn 0 và 1 nằm ở hai phía khác nhau, sau đó tìm các điểm giao của đường thẳng với trục p1 và trục p2 Để xác định điểm p2, ta thiết lập p1 = 0 và giải phương trình liên quan để tìm p2, từ đó biết được tọa độ giao với trục p2.
Mỗi neuron có một ranh giới quyết định riêng
Mỗi neuron có thể phân các vector đầu vào thành hai loại
Như vậy một mạng S neuron có thể phân các vector đầu vào thành 2S
Khởi tạo ngẫu nhiên trọng số Đưa đầu vào vào mạng => phân loại sai
Tối ưu hóa hàm mục tiêu
Khi nhắc đến sự thay đổi đổi thì ta thường nhắc tới Gradient Gradient của hàm cho biết hàm tăng mạnh như thế nào
Với hàm 1 chiều: f(x) = x2 thì Gradient của nó được ký hiệu và tính như sau:
Grad (2) = 4 chỉ ra hướng tăng của hàm là bên phải
Grad (-1) = - 2 chỉ ra hướng tăng của hàm nằm ở bên trái
Mục đích: giảm thiểu lỗi của mạng mỗi khi hệ số mạng thay đổi
Tìm một giải thuật thay đổi trọng số sao cho đạo hàm của hàm mục tiêu theo trọng số là âm aE/awij < 0
Chú ý do phương pháp này sử dụng đạo hàm nên hàm ngưỡng không phù hợp để sử dụng phương pháp này
Gradient descent là thuật toán tìm giá trị nhỏ nhất của hàm số f(x) dựa trên đạo hàm Thuật toán: Bước 1: Khởi tạo giá trị x=x0 tùy ý
(learning_rate là hằng số không âm ví dụ learning_rate = 0.001)
→Nếu f(x) đủ nhỏ thì dừng lại
→Ngược lại tiếp tục bước 2
Bộ số liệu: Đầu ra tương ứng với từng đầu vào:
Sai số trên bộ dữ liệu học :
Ta cần tìm các trọng số:
Với các giá trị khởi tạo:
Thuật toán Levenberg-Marquardt (L-M) dựa trên triển khai bậc 2 của khai triển Taylor
Với p: là khoảng lân cận trong khai triển g(W): là vector gradient của E theo W
H(W) là ma trận đạo hàm bậc 2:
Tại điểm cần tìm g(W) = 0 và H(W) xác định dương
Khi đó: Để tránh bước dịch chuyển quá lớn:
Về cơ bản, việc sử dụng triển khai Taylor ở bậc cao hơn sẽ đẩy nhanh tốc độ hội tụ của chuỗi xấp xỉ Taylor, giúp đạt được độ chính xác mong muốn với số bước tính toán ít hơn Tuy nhiên, các công thức ở bậc cao trở nên phức tạp và cồng kềnh, khiến việc triển khai và bảo trì mã nguồn khó khăn hơn và tăng chi phí tính toán.
Vì vậy trong thực tế, ta sẽ chỉ sử dụng đến các triển khai bậc 2
Với 3 mẫu học, sau 100 bước lặp, Sai số khi sử dụng Gradient Descent: E = 0.211
Sai số khi sử dụng L-M:E = 0.0182, L-M hội tụ nhanh hơn
Một số phương pháp huấn luyện mạng
2.9.1 Các mạng có một lớp
Hình 2.10 Mạng có một lớp
Việc huấn luyện mạng sử dụng cả tập mẫu là rất chậm (batch gradient descent):
Khi cập nhật ma trận trọng số ta phải sử dụng tất cả các điểm dữ liệu
Cách làm này hạn chế khi dữ liệu lớn (>1 tỷ người dung facebook)
Việc tính toán đạo hàm của tất cả các điểm này trở nên cồng kềnh và không hiệu quả
Thuật toán này không hiệu quả với online learning
Giải pháp: Stochastic Gradient Descent
Tại một thời điểm ta chỉ tính đạo hàm trên một mẫu và cập nhật ma trận trọng số
Mỗi lần duyệt qua tất cả các điểm trên toàn bộ dữ liệu ta gọi là epoch
→Với GD: mỗi lần cập nhật ma trận trọng số gọi là một epoch
→Với SGD: Mỗi epoch tương ứng với N lần cập nhật trọng số
Việc cập nhật từng điểm có thể giảm tốc độ thực hiện 1 epoch
Tuy nhiên SGD chỉ yêu cầu một lượng epoch nhỏ và thường phù hợp với bài toán có dữ liệu lớn (deep learning)
Thứ tự chọn điểm dữ liệu: sau mỗi epoch ta cần trộn thứ tự của các điểm dữ liệu để đảm bảo tính ngẫu nhiên
Phương pháp huấn luyện MLP (Multi Layer Perceptron)
2.10.1 Hạn chế của mạng Perceptron 1 lớp
Perceptron: mạng 1 lớp đầu vào và một lớp đầu ra, không có hidden layer
Mạng perceptron không thể phân loại các dữ liệu có phân tách phi tuyến (XOR function)
2.10.2 Khắc phục hạn chế của Perceptron 1 lớp
Thực tế có nhiều mạng đa lớp có thể giải quyết bài toán XOR
→Thiết kế 2 neuron để tạo ra hai bao đóng
→Thêm một neuron sau đó để kết hợp hai bao đóng lại thành một (toán tử AND)
Mạng với 1 tầng ẩn có thể biểu diễn bất kỳ hàm Boolean nào
Khả năng của mạng nhiều tầng đã được khám phá từ lâu, tuy nhiên chỉ đến những năm 80 người ta mới biết cách để huấn luyện các mạng này
Một mạng nơ-ron nhiều tầng với tất cả các tầng có hàm kích hoạt tuyến tính sẽ chỉ biểu diễn được các hàm tuyến tính Để có thể biểu diễn các hàm phi tuyến, cần dùng hàm kích hoạt phi tuyến ở một hoặc nhiều tầng của mạng.
2.10.4 Giải thuật huấn luyện mạng MLP
Giải thuật GD được sử dụng
Tuy nhiên việc tính toán Gradient của hàm mục tiêu trên tất cả các tầng là rất phức tạp
Giải thuật Backpropagation là một giải pháp hiệu quả và đơn giản để tính toán đạo hàm của hàm mất mát theo trọng số và bias ở các tầng khác nhau của mạng neural Phương pháp này sử dụng quy tắc chuỗi để lan truyền ngược sai lệch từ đầu ra về phía từng lớp, cho phép cập nhật gradient cho mọi tham số một cách nhất quán và nhanh chóng Nhờ tính toán gradient đúng cho từng lớp, Backpropagation tối ưu quá trình huấn luyện bằng cách điều chỉnh trọng số và bias, từ đó giảm thiểu hàm mất mát và tăng hiệu suất tổng quát của mô hình Việc áp dụng Backpropagation làm nổi bật vai trò của đạo hàm và chuỗi quy tắc trong tối ưu hóa mạng neural, đặc biệt là khi làm việc với nhiều tầng và mạng neural sâu.
CHƯƠNG 3 : CÁC ỨNG DỤNG MẠNG NƠRON
Mạng nơ ron nhân tạo đang được ứng dụng rộng rãi trong nhiều lĩnh vực, từ tài chính và giao dịch đến phân tích kinh doanh, lập kế hoạch cho doanh nghiệp và bảo trì sản phẩm Nhờ khả năng học hỏi và nhận diện mẫu tiên tiến, hệ thống mạng nơ ron hỗ trợ ra quyết định chính xác, tối ưu hóa chiến lược đầu tư, dự báo xu hướng thị trường và cải thiện hiệu suất vận hành Việc tích hợp trí tuệ nhân tạo và học sâu giúp doanh nghiệp nâng cao hiệu quả quản trị, tối ưu hóa quy trình làm việc, gia tăng chất lượng sản phẩm và tăng cường khả năng cạnh tranh trên thị trường.
Mạng được ứng dụng rộng rãi trong các hoạt động kinh doanh như dự báo thời tiết, nghiên cứu thị trường và tìm kiếm các giải pháp nhằm tối ưu chiến lược tiếp thị, đồng thời đánh giá rủi ro và phát hiện gian lận Những ứng dụng này giúp doanh nghiệp ra quyết định dựa trên dữ liệu, cải thiện hiệu quả marketing và tăng cường an toàn cho quy trình vận hành.
Trong thị trường tài chính, mô hình neural network cho chương trình dự báo hoạt động rất tốt ở ngắn hạn, với tỉ lệ chính xác thường xuyên đạt trên 90% Chương trình gần như đạt được độ chính xác cao khi dự đoán kết quả trong vòng một tuần gần đây và có thể hữu ích cho nhà đầu tư trong việc tối đa hóa lợi nhuận đồng thời hạn chế rủi ro ở mức tối thiểu Theo kết quả từ mô hình neural network này, dự báo giá ngắn hạn cho thấy độ chính xác cao, nhưng độ chính xác sẽ giảm dần khi phạm vi dự báo mở rộng: dự báo cho ngày mai hoặc tháng tới có độ chính xác tương đối cao, dự báo theo quý thấp hơn, và đặc biệt dự báo cho phiên giao dịch đóng cửa cuối năm có xác suất đúng rất thấp.
Nơron và các thuật toán dự đoán giá vàng cho phép xử lý nhanh chóng lượng dữ liệu lớn, dễ bị hỏng và nhiễu Trên thị trường vàng, điều kiện liên tục thay đổi và diễn biến giá diễn ra nhanh chóng khiến việc dự đoán giá trong tương lai trở nên khó khăn Vì vậy, cần một hệ thống dự báo đáng tin cậy và có tốc độ xử lý cao Các thuật toán mang lại lợi ích này bằng cách khai thác dữ liệu lịch sử và dữ liệu thời gian thực để xây dựng các mô hình dự báo xu hướng giá vàng, từ đó giảm sai số và tăng độ chính xác cho quyết định đầu tư.
Quá trình tiền xử lý dữ liệu giúp giảm dung lượng lưu trữ và tăng tốc độ tính toán Sau khi tính toán các giá trị đầu vào, ta nhận được các giá trị đầu ra, trong đó giá trị mục tiêu đã được xác định trước Sự chênh lệch giữa đầu ra và giá trị mục tiêu được gọi là lỗi và được tính bằng hiệu của hai giá trị Mục tiêu là tối ưu hóa bằng cách giảm lỗi càng nhỏ càng tốt bằng cách điều chỉnh tham số đầu vào, chạy lại tính toán, so sánh với giá trị mục tiêu và điều chỉnh các tham số dừng phù hợp để đạt được kết quả tối ưu.
Nơ-ron trong hệ thống dự báo thời tiết thu thập dữ liệu từ các năm trước và tập trung vào 4 tham số chính ảnh hưởng đến thời tiết: nhiệt độ, độ ẩm, mây và mưa Mỗi tham số có các thuộc tính và mức phụ thuộc khác nhau, cho phép mô hình nắm bắt các mối quan hệ phức tạp giữa chúng Ví dụ, nhiệt độ thay đổi theo tháng và theo mùa, nên giá trị dự báo nhiệt độ phụ thuộc vào thời điểm trong năm, trong khi độ ẩm, mây và mưa chịu tác động của các yếu tố khí tượng khác nhau và có mức độ biến động riêng Việc giới hạn dữ liệu ở 4 tham số giúp tối ưu hoá quy trình học máy và nâng cao độ chính xác của dự báo thời tiết.
Nếu tháng đó rơi vào mùa mưa thì nhiệt độ có thể thấp (27.0 độ C)… Dựa trên các đặc điểm đó ta xây dựng bài toán:
Với bốn yếu tố chính ảnh hưởng đến thời tiết trên, ta có thể phân chia mỗi yếu tố thành các trường hợp cụ thể như sau:
- Biến nhiệt độ (kí hiệu ND), có các khoảng giá trị: thấp nếu ND từ 0 đến 25.5; trung bình ND từ 25.5 đến 27.0; cao ND từ 27.0 đến 45;
- Biến độ ẩm (kí hiệu ĐA):Thấp nếu ĐA từ 0 – 80; Cao nếu ĐA từ 80 - 100
- Biến lượng mưa (kí hiệu M): Không mưa (0); Rải rác: M từ 1 đến 2; Nhỏ: M từ 3 đến 50; lớn: M từ 51 đến 1000
- Biến lượng mây (MA) Ít nếu MA từ 0 đến 20; Nhiều: MA từ 20 đến 30; Rất nhiều nếu lượng mây lớn hơn 30
Nơron vào dự đoán chất lượng nước đầu ra của hệ thống xử lý nước thải :
Mạng nơ-ron là một cấu trúc mô hình được ứng dụng rộng rãi trong nghiên cứu và tính toán ở nhiều lĩnh vực, đặc biệt là môi trường, nơi nó giúp ước tính và dự đoán kết quả của hệ thống xử lý nước thải cũng như đánh giá khả năng tái sử dụng nước sau xử lý Trong bài báo này, tác giả giới thiệu một mô hình mạng nơ-ron được phát triển nhằm tính toán và dự đoán chất lượng nước thải đầu ra từ hệ thống xử lý tại Nhà máy sữa Cô gái Hà Lan Các tham số quan trắc hàng ngày được đưa vào mô hình gồm độ kiềm, pH, lưu lượng Q, COD và nồng độ chất rắn lơ lửng Cấu trúc của mạng nơ-ron được xác định thông qua bước luyện và kiểm tra mô hình Thực tế cho thấy sai số trung bình giữa hai chương trình không chênh lệch nhiều, cho thấy kết quả tính toán chất lượng nước đầu ra của mô hình mạng nơ-ron nhân tạo ở mức chấp nhận được.