- Học máy với TensorFlow, Keras vàPyTorch- Thực hành sử dụng thưviệncho các bàitoán cơ bản 3 Tìm hiểu về tiền xử lý dữ liệu và thực hành 11/07/2024- 05/08/2024 - Cáckỹthuậttiềnxửlýdữliệu
TỔNG QUAN VỀ ĐỀ TÀI
Đặt vấn đề
Nông nghiệp là nền tảng quan trọng trong nền kinh tế và đời sống của nhiều quốc gia, đặc biệt là Việt Nam, nơi sản xuất nông nghiệp chiếm ưu thế Cây lúa, với vai trò chủ lực, không chỉ đảm bảo an ninh lương thực mà còn thúc đẩy xuất khẩu Tuy nhiên, quá trình canh tác lúa thường gặp phải nhiều thách thức, đặc biệt là sự bùng phát của các bệnh hại lá, dẫn đến suy giảm năng suất và chất lượng sản phẩm.
Các bệnh phổ biến trên lá lúa như bệnh đạo ôn, bệnh đốm nâu, bệnh bạc lá và bệnh khô vằn thường khó nhận diện bằng mắt thường, đặc biệt đối với nông dân không có chuyên môn cao Việc phát hiện muộn hoặc chẩn đoán sai có thể dẫn đến giảm năng suất và thiệt hại kinh tế lớn Do đó, nhu cầu về các giải pháp công nghệ hỗ trợ nông dân trong việc phát hiện và chẩn đoán bệnh lá lúa một cách nhanh chóng và chính xác ngày càng trở nên cấp thiết.
Với sự phát triển của trí tuệ nhân tạo và học máy, đặc biệt là mô hình học sâu, việc xây dựng hệ thống chẩn đoán bệnh cho cây lúa qua hình ảnh lá lúa trở nên khả thi và hiệu quả Những hệ thống này tự động phân tích hình ảnh, phát hiện và nhận diện bệnh, cung cấp thông tin giúp nông dân thực hiện biện pháp phòng ngừa và điều trị kịp thời.
Mục tiêu của nghiên cứu là phát triển mô hình học sâu dựa trên kiến trúc DenseNetl21 để nhận diện các bệnh phổ biến trên lá lúa qua hình ảnh Mô hình này sẽ được triển khai dưới dạng API sử dụng Flask, cho phép người dùng tải lên hình ảnh lá lúa để chẩn đoán bệnh Qua đó, hệ thống hỗ trợ các giải pháp phòng trừ kịp thời, góp phần nâng cao năng suất và chất lượng lúa gạo.
Mục tiêu của đề tài
Phát triển mô hình học sâu dựa trên kiến trúc DenseNetl21 để nhận diện các bệnh phổ biến trên lá lúa từ hình ảnh.
Thu thập, tiền xử lý dữ liệu và áp dụng kỹ thuật tăng cường dữ liệu để cải thiện hiệu suất mô hình.
Triển khai mô hình nhận diện bệnh lá lúa bằng APT sử dụng Flask, cho phép người dùng dễ dàng tải lên ảnh và nhận kết quả chẩn đoán Hiệu năng của mô hình được đánh giá thông qua các chỉ số quan trọng như độ chính xác, độ nhạy, độ đặc hiệu và ma trận nhầm lẫn.
So sánh mô hình mới với các phương pháp truyền thống cho thấy sự cần thiết phải cải tiến để nâng cao độ chính xác và khả năng ứng dụng thực tế Đề xuất tích hợp hệ thống vào các nền tảng công nghệ nông nghiệp thông minh sẽ hỗ trợ hiệu quả cho việc giám sát và chẩn đoán bệnh tự động.
Đối tượng và phạm vi nghiên cứu
Các bệnh phổ biến trên lá lúa như bệnh đạo ôn, đốm nâu, bạc lá và khô vằn ảnh hưởng nghiêm trọng đến năng suất và chất lượng cây lúa tại Việt Nam Nghiên cứu này cũng tập trung vào việc ứng dụng các mô hình học sâu, đặc biệt là kiến trúc DenseNetl21, để phát triển hệ thống nhận diện và chẩn đoán bệnh từ hình ảnh lá lúa.
Quá trình thu thập và xử lý dữ liệu hình ảnh lá lúa từ nhiều nguồn khác nhau đã dẫn đến việc xây dựng mô hình học sâu và triển khai hệ thống nhận diện bệnh dưới dạng API sử dụng Flask Hệ thống này tập trung vào việc chẩn đoán các bệnh trên lá lúa thông qua hình ảnh, nhưng chưa tích hợp các yếu tố môi trường hay dữ liệu sinh học khác Nghiên cứu cũng đánh giá hiệu suất của mô hình trên tập dữ liệu thử nghiệm và đề xuất giải pháp cải tiến hiệu năng, mở rộng khả năng ứng dụng trong sản xuất nông nghiệp.
Ý nghĩa thực tiễn của đề tài
Ứng dụng công nghệ trí tuệ nhân tạo trong chẩn đoán bệnh trên cây lúa, cây trồng chủ lực của Việt Nam, mang lại ý nghĩa thực tiễn quan trọng cho sản xuất nông nghiệp Hệ thống nhận diện bệnh lá lúa tự động giúp nông dân phát hiện sớm các bệnh hại, từ đó đưa ra biện pháp phòng trừ kịp thời, giảm thiểu thiệt hại về năng suất và chất lượng sản phẩm Hệ thống này không chỉ tiết kiệm chi phí và thời gian so với phương pháp chẩn đoán truyền thống, mà còn giảm sự phụ thuộc vào chuyên gia nông nghiệp Việc triển khai hệ thống dưới dạng API dễ dàng tích hợp vào các ứng dụng di động và nền tảng IoT nông nghiệp, góp phần hiện đại hóa và số hóa ngành nông nghiệp, hướng tới một nền nông nghiệp thông minh, bền vững và hiệu quả hơn trong tương lai.
Các bước thực hiện
Bảng 1.1: Các bước thực hiện
STT Công việc thực hiện Thòi gian (dự kiến)
Tìm hiểu cơ bản ve Python và thực hành
- Cú pháp cơ bản và các tính năng chính
- Thực hành viết các đoạn code cơ bản
Tìm hiểu thư viện và công cụ Python phục vụ học máy
- Giới thiệu thư viện: NumPy, Pandas, Matplotlib,
- Học máy với TensorFlow, Keras và PyTorch
- Thực hành sử dụng thư viện cho các bài toán cơ bản
Tìm hiểu về tiền xử lý dữ liệu và thực hành
- Các kỹ thuật tiền xử lý dữ liệu: làm sạch, mã hóa, chuẩn hóa
- Tăng cường dữ liệu hình ảnh
- Thực hành xử lý dữ liệu trên bộ dữ liệu thu thập
Tìm hiểu lý thuyết chuyên ngành và thuật toán học máy
- Kiến thức cơ bản về mạng nơ-ron và
- Hiểu các thuật toán dự đoán liên quan
- Thực hành với các thuật toán đơn giản
Xây dựng mô hình và xử lý dữ liệu thực tế
- Tiền xử lý dữ liệu hình ảnh và đưa vào mô hình
6 Đánh giá và tinh chỉnh mô hình
- Đánh giá bằng ma trận nhầm lẫn, báo cáo phân loại
- Tinh chỉnh siêu tham số và cải thiện độ chính xác
- Khắc phục các lỗi mô hình (nếu có)
Kiểm tra toàn diện và hoàn thành dự án
- Tống hợp dữ liệu và kết quả
- Viết báo cáo luận văn
- Kiếm tra và chỉnh sửa nội dung cuối cùng
Nộp báo cáo và chuẩn bị bảo vệ
- Chuẩn bị bài thuyết trình
- Ôn tập và luyện tập bảo vệ
Cơ SỞ LÝ THUYẾT
Ngôn ngữ lập trình Python
Python là ngôn ngữ lập trình bậc cao, thông dịch và hướng đối tượng, được phát triển bởi Guido van Rossum và ra mắt vào năm 1991 Với cú pháp đơn giản và dễ đọc, Python giúp người dùng, kể cả những người mới bắt đầu, dễ dàng học và sử dụng Ngôn ngữ này tập trung vào khả năng dễ đọc và tính ngắn gọn của mã nguồn, cho phép lập trình viên viết mã nhanh chóng mà vẫn đảm bảo hiệu quả và rõ ràng Python hỗ trợ nhiều phong cách lập trình như lập trình thủ tục, lập trình hướng đối tượng và lập trình hàm, cho phép ứng dụng trong nhiều lĩnh vực từ phát triển web, phân tích dữ liệu, học máy, trí tuệ nhân tạo đến tự động hóa và phát triển phần mềm.
Python là một ngôn ngữ lập trình đa nền tảng, tương thích với nhiều hệ điều hành như Windows, macOS, và Linux, cũng như các thiết bị di động Sự phổ biến của Python đến từ hệ sinh thái thư viện phong phú và cộng đồng người dùng đông đảo, luôn tích cực phát triển công cụ mới Với sự hỗ trợ mạnh mẽ từ cộng đồng mã nguồn mở, Python đã trở thành ngôn ngữ hàng đầu trong các lĩnh vực như khoa học dữ liệu, học máy, và trí tuệ nhân tạo Nhiều tổ chức lớn như Google, Facebook, NASA, và Netflix đều sử dụng Python cho các ứng dụng quan trọng, khẳng định vị thế và ảnh hưởng của ngôn ngữ này trong công nghệ hiện đại.
2.1.2 Đặc điểm chính của Python
Python là một trong những ngôn ngữ lập trình phổ biến và mạnh mẽ nhất hiện nay nhờ vào nhiều đặc điểm nổi bật Cú pháp đơn giản và rõ ràng của Python, gần gũi với ngôn ngữ tự nhiên, giúp người học dễ dàng tiếp cận và ghi nhớ Ngoài ra, Python không yêu cầu dấu chấm phẩy ở cuối mỗi dòng lệnh và sử dụng thụt lề để phân chia khối mã, làm cho mã nguồn trở nên gọn gàng và dễ đọc hơn.
Python nổi bật với tính linh hoạt cao, hỗ trợ nhiều mô hình lập trình như lập trình hướng đối tượng, lập trình hàm và lập trình thủ tục Điều này cho phép lập trình viên lựa chọn phong cách phù hợp với nhu cầu dự án, làm cho Python trở thành ngôn ngữ lý tưởng cho các ứng dụng đa dạng, từ web nhỏ gọn đến hệ thống học máy phức tạp.
Python nổi bật nhờ vào hệ sinh thái thư viện phong phú với hàng ngàn thư viện và gói hỗ trợ cho nhiều lĩnh vực khác nhau Trong khoa học dữ liệu và học máy, các thư viện như NumPy, Pandas, Matplotlib, Scikit-Learn, TensorFlow và PyTorch giúp tăng tốc quá trình xử lý dữ liệu cũng như xây dựng và huấn luyện mô hình một cách nhanh chóng Đối với phát triển web, Django và Flask là hai framework phổ biến được sử dụng rộng rãi.
Tín năng đa nền tảng của Python cho phép chạy ứng dụng trên nhiều hệ điều hành mà không cần thay đổi mã nguồn, giúp các nhà phát triển triển khai phần mềm dễ dàng hơn Hơn nữa, Python là ngôn ngữ mã nguồn mở và miễn phí, được duy trì bởi một cộng đồng lớn mạnh, với sự đóng góp liên tục giúp cải tiến và phát triển các tính năng mới cũng như khắc phục các vấn đề kỹ thuật.
Hình 2.1 Logo của ngôn ngữ python (Nguồn: internet)
2.1.3 Tỉnh năng cơ bản của Python
> Ngôn ngĩr thông dịch (Interpreted Language)
Python là ngôn ngữ thông dịch, thực thi mã nguồn trực tiếp mà không cần biên dịch, giúp quá trình thử nghiệm và phát triến nlianh chóng, thuận tiện.
> Cú pháp đơn giản, dễ đọc (Simple and Readable Syntax)
Python nổi bật với cú pháp rõ ràng và dễ học, gần gũi với ngôn ngữ tự nhiên Việc sử dụng thụt lề (indentation) để xác định khối lệnh thay vì dấu ngoặc giúp mã nguồn trở nên gọn gàng và dễ bảo trì.
> Hỗ trợ lập trình huớng đối tượng (Object-Oriented Programming - OOP)
Python cung cấp đầy đủ các tính năng của lập trình hướng đối tượng, bao gồm kế thừa, đa hình và đóng gói, giúp phát triển các ứng dụng lớn một cách dễ dàng, đồng thời đảm bảo khả năng mở rộng và bảo trì hiệu quả.
> Ngôn ngĩr đa nền tảng (Cross-Platform Language)
Python là ngôn ngữ lập trình linh hoạt, có khả năng chạy trên nhiều hệ điều hành như Windows, macOS và Linux mà không cần thay đổi mã nguồn Điều này giúp việc phát triển ứng dụng trở nên dễ dàng và thuận tiện hơn trong nhiều môi trường khác nhau.
> Thư viện và module phong phú (Rich Libraries and Modules)
Python sở hữu hàng ngàn thư viện phong phú, phục vụ cho nhiều lĩnh vực khác nhau như khoa học dữ liệu với NumPy và Pandas, học máy qua TensorFlow và Scikit-Learn, phát triển web nhờ Django và Flask, cùng với tự động hóa sử dụng Selenium và OpenCV.
> Tính mở rộng và tích họp (Extensible and Integrable)
Python dễ dàng tích hợp với các ngôn ngữ khác như c, C++, Java, giúp mở rộng khả năng và tăng hiệu suất của ứng dụng.
> Hỗ trợ lập trình chức năng (Functional Programming)
Python hỗ trợ lập trình hàm với các tính năng như hàm ẩn danh (lambda functions), map(), fdter(), và reduceQ, giúp viết mã ngắn gọn và hiệu quả.
> Quản lý bộ nhớ tự động (Automatic Memory Management)
Python quản lý bộ nhớ thông qua cơ chế thu gom rác (Garbage Collection), giúp tự động giải phóng bộ nhớ không cần thiết.
> Xử lý chuỗi và dữ liệu mạnh mẽ (String and Data Handling)
Python cung cấp các công cụ mạnh mẽ để thao tác chuỗi, dữ liệu, và tệp, với các kiểu dữ liệu linh hoạt như list, tuple, set, và dictionary.
> Hỗ trợ cộng đồng mạnh mẽ (Strong Community Support)
Python là ngôn ngữ mã nguồn mở với cộng đồng người dùng lớn mạnh, cung cấp tài liệu, diễn đàn và hỗ trợ trực tuyến phong phú.
Phần mềm Colab
Colab là công cụ miễn phí của Google, hỗ trợ người dùng trong các dự án học máy, phân tích dữ liệu và lập trình trên nền tảng đám mây Nhờ vào bộ vi xử lý mạnh mẽ từ máy chủ của Google, Colab giúp xử lý các tác vụ một cách nhanh chóng và hiệu quả.
Colab cung cấp nhiều công cụ hữu ích như Jupyter Notebook, Python, TensorFlow, PyTorch, Pandas, NumPy và SciPy, giúp người dùng dễ dàng xử lý dữ liệu và phát triển dự án học máy một cách thuận tiện.
Hình 2.2 Logo của phần mềm Colab (Nguồn: internet)
2.2.2 Một số đặc trưng của Coỉab
Hoàn toàn miễn phí và hoạt động trực tuyến trên nền tảng đám mây.
Hỗ trợ kết nối với Google Drive để lưu trữ và quản lý dữ liệu dễ dàng.
Cung cấp khả năng tính toán song song và sử dụng GPU hoặc TPU để xử lý các bài toán học máy phức tạp.
Cho phép chia sẻ và truy cập các tập lệnh được lưu trên Colab một cách thuận tiện.
Hỗ trợ thực hiện các tác VỊI liên quan đến bảo mật.
Colab là công cụ lý tưởng cho người mới bắt đầu, giúp họ dễ dàng tiếp cận học máy, phân tích dữ liệu và lập trình trên nền tảng thân thiện và dễ sử dụng.
Trí tuệ nhân tạo (AI- Artificial Intelligence)
Trí tuệ nhân tạo (AI) là một nhánh của khoa học máy tính, chuyên nghiên cứu và phát triển các thuật toán và phần mềm có khả năng thực hiện các nhiệm vụ thông minh giống như con người Hệ thống AI hoạt động dựa trên việc
"học" từ dữ liệu và thông tin đầu vào, sau đó đưa ra các kết quả thông minh và có thể tự đưa ra quyết định.
Trí tuệ nhân tạo (AI) bao gồm nhiều lĩnh vực như học máy, xử lý ngôn ngữ tự nhiên, thị giác máy tính, robot học và đo lường thông minh Công nghệ AI hiện đang được áp dụng rộng rãi trong các lĩnh vực như thương mại điện tử, tài chính, y tế, điện toán đám mây, ứng dụng di động và xe tự lái, mang lại nhiều lợi ích cho các ngành nghề khác nhau.
Hình 2.3 Hình ảnh minh họa trí tuệ nhân tạo (Nguồn: internet)
Khả năng tự học: Hệ thống AI có thể cải thiện hiệu suất bằng cách học từ dữ liệu đã cung cấp.
Tự động hóa công việc bằng AI giúp giảm bớt gánh nặng cho con người, đặc biệt trong những nhiệm vụ lặp đi lặp lại hoặc nhàm chán.
Trí tuệ nhân tạo (AT) hỗ trợ ra quyết định bằng cách phân tích thông tin và đưa ra lựa chọn hiệu quả trong các tình huống phức tạp hoặc rủi ro, từ đó nâng cao độ chính xác và hiệu quả trong quá trình ra quyết định.
AI có khả năng xử lý dữ liệu nhanh chóng nhờ vào sức mạnh tính toán vượt trội, giúp cải thiện năng suất làm việc bằng cách xử lý thông tin và dữ liệu với tốc độ cao.
AI có khả năng phân tích dữ liệu và tổng hợp thông tin từ nhiều nguồn, giúp giải quyết những vấn đề khó khăn và phức tạp một cách hiệu quả.
Tính tùy chỉnh linh hoạt: AI có thể được điều chỉnh để phù hợp với từng yêu cầu hoặc mục tiêu cụ thể của các ứng dụng khác nhau.
AI có khả năng tự cải thiện bằng cách tự đánh giá và nâng cao khả năng của mình thông qua việc học từ dữ liệu mới, giúp nó trở nên thông minh hơn theo thời gian, khác biệt so với các hệ thống thông thường.
Máy học - Machine learning
2.4.1 Khái niệm máy học — Machine learning
Máy học (Machine Learning) là một lĩnh vực của trí tuệ nhân tạo, cho phép máy tính tự học và cải thiện hiệu suất mà không cần lập trình chi tiết Thay vì hướng dẫn cụ thể cách giải quyết vấn đề, máy học giúp hệ thống học từ dữ liệu đầu vào để xây dựng các mô hình phức tạp nhằm dự đoán, phân loại, nhận diện hoặc đưa ra quyết định Để thực hiện điều này, máy học sử dụng các thuật toán và mô hình để phân tích và tìm kiếm quy luật trong tập dữ liệu, từ đó áp dụng kiến thức đã học để đưa ra dự đoán và quyết định trong các tình huống mới.
Máy học đóng vai trò quan trọng trong nhiều lĩnh vực như thị giác máy tính, xử lý ngôn ngữ, sinh học, kinh tế, tài chính, marketing, y tế, nông nghiệp, giáo dục và xe tự lái Các kỹ thuật máy học là nền tảng cho sự phát triển của hệ thống trí tuệ nhân tạo và Internet of Things (IoT), giúp thiết kế các sản phẩm và dịch vụ thông minh hiện đại.
Hình 2.1 Hình ảnh minh họa Machine learning (Nguồn: internet)
2.4.2 Một số đặc trưng của máy học - Machine Learning
Machine Learning áp dụng các thuật toán để nhận diện mẫu và quy luật trong dữ liệu Để mô hình hoạt động hiệu quả, cần có một lượng dữ liệu lớn và chất lượng cao.
Trong quá trình học, các thuật toán Machine Learning trải qua nhiều vòng huấn luyện để hiểu và phân tích dữ liệu, nhận diện các mẫu cũng như thiết lập quy tắc Kết quả thu được từ quá trình này sẽ được áp dụng để dự đoán các trường hợp mới.
Machine Learning tự động hóa quy trình xử lý và phân tích dữ liệu, giảm thiểu sự can thiệp của con người Hệ thống có khả năng học hỏi từ dữ liệu đầu vào, từ đó đưa ra dự đoán hoặc chẩn đoán một cách hiệu quả.
Quá trình phát triển mô hình Machine Learning bao gồm ba bước chính: thiết kế, huấn luyện và đánh giá Sau khi hoàn tất việc xây dựng và kiểm tra mô hình trên dữ liệu thử nghiệm, nó sẽ được áp dụng để phân tích các dữ liệu mới.
Machine Learning không chỉ nâng cao độ chính xác trên dữ liệu mẫu mà còn giải quyết các bài toán thực tiễn Mục tiêu chính là cải thiện hiệu suất hệ thống trong các ứng dụng thực tế.
2.4.3 Các khải niệm thường gặp trong Machine learning
Dưới đây là một số khái niệm cơ bản thường gặp trong lĩnh vực máy học (Machine Learning):
Tập dữ liệu là một bộ sưu tập các quan sát được thu thập với mục đích cụ thể, chẳng hạn như để huấn luyện hoặc kiểm tra mô hình.
Các đặc trưng của mỗi mẫu bao gồm các thuộc tính hoặc thông tin mô tả, chẳng hạn như số lượng sản phẩm bán ra tại siêu thị hoặc chiều cao của một cá nhân.
Nhãn là kết quả mong đợi mà mô hình cần dự đoán, đóng vai trò quan trọng trong quá trình huấn luyện và đánh giá Chẳng hạn, trong bài toán dự đoán giá nhà, nhãn sẽ là giá bất động sản mà mô hình hướng tới.
Tập huấn luyện và tập kiểm tra là hai thành phần quan trọng trong quá trình xây dựng mô hình Tập huấn luyện được sử dụng để phát triển mô hình, trong khi tập kiểm tra giúp đánh giá hiệu suất của mô hình trên dữ liệu mới mà nó chưa từng tiếp xúc.
Model (Mô hình): Là một thuật toán được huấn luyện để nhận dạng, dự đoán hoặc phân tích dữ liệu mới dựa trên dữ liệu đã học.
Accuracy (Độ chính xác): Tỷ lệ giữa số dự đoán đúng và tống số dự đoán, biếu thị hiệu suất của mô hình.
Bias và Variance (Độ lệch và Phương sai) là hai khái niệm quan trọng trong học máy Bias đề cập đến sai số khi mô hình không nắm bắt đủ thông tin từ dữ liệu, trong khi variance thể hiện sự thay đổi quá mức trong dự đoán trên các tập dữ liệu khác nhau Để đạt được hiệu suất tối ưu, một mô hình lý tưởng cần có cả bias và variance ở mức thấp.
Supervised, Unsupervised và Reinforcement Learning:
Supervised learning huấn luyện mô hình từ dữ liệu có nhãn đế dự đoán kết quả.
Unsupervised learning khám phá các mẫu và mối quan hệ trong dữ liệu không có nhãn.
Reinforcement learning giúp mô hình học thông qua phản hồi từ môi trường đế cải thiện hiệu suất.
Mạng nơ-ron nhân tạo là một mô hình mô phỏng hoạt động của hệ thần kinh con người, được áp dụng để giải quyết các bài toán phức tạp một cách hiệu quả.
Học sâu, một nhánh của mạng nơ-ron nhân tạo, sử dụng nhiều lớp để phân tích và học hỏi các mối quan hệ phức tạp trong dữ liệu.
Huấn luyện dữ liệu trong máy học là quá trình sử dụng dữ liệu để giúp thuật toán học hỏi, từ đó tạo ra khả năng dự đoán hoặc phân loại chính xác Đây là bước quan trọng đầu tiên trong việc xây dựng mô hình dự đoán.
Mạng lưới nơron sâu (Deep Learning)
Mạng nơ-ron sâu (Deep Learning) là một nhánh của học máy (Machine Learning) trong trí tuệ nhân tạo (AI), cho phép các mô hình học từ dữ liệu qua mạng nơ-ron nhân tạo Kỹ thuật này chú trọng vào việc xây dựng và huấn luyện các mô hình với nhiều lớp ẩn (hidden layers) để tự động trích xuất và học các đặc trưng từ dữ liệu mà không cần sự can thiệp của con người Các mạng nơ-ron sâu có khả năng học từ lượng lớn dữ liệu, đặc biệt hiệu quả trong các bài toán phân loại, nhận dạng hình ảnh, nhận dạng giọng nói, và xử lý ngôn ngữ tự nhiên (NLP), cùng nhiều ứng dụng AI khác.
Mạng nơ-ron sâu có thể có hàng chục đến hàng nghìn lớp ẩn, cho phép mô hình học các đặc trưng phức tạp từ dữ liệu Nhờ vào khả năng này, Deep Learning đã đạt được nhiều thành tựu trong nhận dạng hình ảnh (như nhận diện khuôn mặt, phân loại hình ảnh), xử lý ngôn ngữ tự nhiên (chẳng hạn như chatbots, dịch máy) và tự động lái xe Các mô hình học sâu chủ yếu sử dụng mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi tiếp (RNN) và mạng Transformer, mỗi loại mang lại những ứng dụng và ưu điểm riêng.
Hình 2.2 Mạng lưới nơron sâu (Nguồn: internet)
Mạng nơ-ron sâu bao gồm ba thành phần chính: lớp đầu vào, các lớp ẩn và lớp đầu ra Mỗi lớp chứa các nơ-ron, được kết nối với nhau qua các trọng số Trong quá trình huấn luyện, các trọng số này được điều chỉnh nhằm giảm thiểu sai số giữa dự đoán của mô hình và giá trị thực tế.
Lớp đầu vào (Input Layer) là nơi tiếp nhận dữ liệu đầu vào, bao gồm hình ảnh, văn bản hoặc âm thanh, tùy thuộc vào loại dữ liệu Trong các bài toán nhận dạng hình ảnh, lớp đầu vào sẽ nhận một mảng các pixel từ bức ảnh.
Các lớp ẩn trong mạng nơ-ron sâu đóng vai trò là các lớp trung gian, nơi mỗi nơ-ron nhận tín hiệu từ lớp trước, xử lý thông qua các hàm kích hoạt và truyền tín hiệu đến lớp tiếp theo.
Sự "sâu" trong mạng nơ-ron sâu được thể hiện qua số lượng lớp ẩn, với mỗi lớp này học các đặc trưng ngày càng phức tạp hơn của dữ liệu.
Lớp đầu ra là lớp cuối cùng trong mạng nơ-ron, nhận tín hiệu từ lớp ẩn cuối cùng và đưa ra dự đoán hoặc phân loại cho dữ liệu đầu vào Tùy thuộc vào loại bài toán, lớp đầu ra có thể áp dụng các hàm kích hoạt khác nhau như softmax cho phân loại đa lớp hoặc sigmoid cho phân loại nhị phân.
Một trong các cấu trúc phổ biến trong deep learning là Mạng nơ-ron tích chập (CNN
Mạng nơ-ron tích chập (CNN) chủ yếu được áp dụng trong nhận dạng hình ảnh CNN sử dụng các lớp tích chập để tự động trích xuất đặc trưng hình ảnh, từ đó giảm thiểu nhu cầu thiết kế thủ công các đặc trưng.
Mạng nơ-ron hồi tiếp (RNN) và Transformer đóng vai trò quan trọng trong các ứng dụng xử lý ngôn ngữ tự nhiên, đặc biệt khi làm việc với dữ liệu có tính chất chuỗi.
Mạng nơ-ron sâu có thể được phân loại theo nhiều tiêu chí khác nhau, nhưng dưới đây là một số phân loại phổ biến:
Mạng nơ-ron tích chập (CNN - Convolutional Neural Networks):
CNN là mạng nơ-ron phổ biến nhất trong nhận dạng hình ảnh, video và dữ liệu lưới khác Các lớp tích chập trong CNN tự động trích xuất đặc trưng hình ảnh như cạnh, góc và đối tượng phức tạp Mô hình CNN thường bao gồm lớp tích chập, lớp giảm chiều (pooling) và lớp fully connected (dense).
Mạng nơ-ron hồi tiếp (RNN - Recurrent Neural Networks):
RNN được thiết kế đặc biệt để xử lý dữ liệu chuỗi như văn bản, âm thanh và tín hiệu thời gian Khác với mạng nơ-ron truyền thống, RNN có khả năng lưu giữ thông tin từ các bước trước, cho phép ghi nhớ các phụ thuộc trong chuỗi Tuy nhiên, RNN gặp hạn chế về khả năng nhớ lâu dài, dẫn đến sự phát triển của các biến thể như Long Short-Term Memory (LSTM) và Gated Recurrent Unit (GRU) nhằm khắc phục vấn đề này.
Transformer là kiến trúc đột phá trong deep learning, chủ yếu ứng dụng trong xử lý ngôn ngữ tự nhiên Khác với RNN, mạng Transformer sử dụng cơ chế self-attention, cho phép mô hình nắm bắt mối quan hệ giữa các từ mà không bị ràng buộc bởi vị trí của chúng Được giới thiệu trong bài báo "Attention is All You Need" của Vaswani và các đồng tác giả (2017), Transformer đã trở thành nền tảng cho các mô hình NLP như BERT, GPT và T5.
Mạng nơ-ron tự mã hóa (Autoencoders):
Autoencoders là mạng nơ-ron chuyên dụng cho việc học mã hóa và giải mã dữ liệu, giúp tối ưu hóa thông tin đầu vào mà vẫn giữ lại các đặc trưng quan trọng Chúng được ứng dụng rộng rãi trong nhiều lĩnh vực như nén dữ liệu, phát hiện dị thường và học đặc trưng không giám sát.
Mạng GAN (Generative Adversarial Networks):
GAN, hay Mạng đối kháng sinh điều kiện, bao gồm hai thành phần chính: mạng sinh (generator) và mạng phân biệt (discriminator) Mạng sinh có nhiệm vụ tạo ra dữ liệu giả như hình ảnh, âm nhạc hoặc văn bản để đánh lừa mạng phân biệt, trong khi mạng phân biệt học cách phân loại dữ liệu thật và giả Công nghệ GAN chủ yếu được ứng dụng trong việc tạo ra dữ liệu mới, mở ra nhiều khả năng sáng tạo trong lĩnh vực nghệ thuật và công nghệ.
Phân tích và xử lý hình ảnh trong học máy
Hình ảnh là loại dữ liệu phổ biến trong ứng dụng học máy, từ nhận diện khuôn mặt đến phân loại bệnh Tuy nhiên, dữ liệu hình ảnh thô không thể áp dụng trực tiếp cho các thuật toán học máy Do đó, phân tích và xử lý hình ảnh là bước quan trọng để chuyển đổi hình ảnh thành dữ liệu có thể sử dụng cho mô hình học máy, bao gồm nhiều công đoạn từ tiền xử lý đến áp dụng các mô hình phân loại hiện đại.
2.6.1 Tiền xử lý hình ảnh
Tiền xử lý hình ảnh là bước thiết yếu trong xử lý dữ liệu hình ảnh, nhằm nâng cao chất lượng dữ liệu và hỗ trợ mô hình học máy phân tích hình ảnh hiệu quả hơn Các kỹ thuật tiền xử lý này bao gồm nhiều bước khác nhau.
Thay đổi kích thước hình ảnh là bước quan trọng để đáp ứng yêu cầu của các mô hình học máy Đặc biệt, đối với các mô hình học sâu, hình ảnh cần được chuẩn hóa về kích thước cụ thể, chẳng hạn như 256x256 pixel, để đảm bảo hiệu quả trong quá trình xử lý.
Chuẩn hóa (Normalization) là quá trình điều chỉnh giá trị pixel của hình ảnh về một khoảng nhất định, thường là [0, 1] hoặc [-1, 1], nhằm giúp mô hình học máy hội tụ nhanh chóng và chính xác hơn Việc này giảm thiểu sự khác biệt về độ sáng giữa các hình ảnh, từ đó cải thiện hiệu suất của mô hình.
Tăng cường dữ liệu (Data Augmentation) là kỹ thuật quan trọng giúp cải thiện khả năng học của mô hình và giảm thiểu hiện tượng overfitting Bằng cách áp dụng các phương pháp như quay hình ảnh, dịch chuyển, thay đổi độ sáng và cắt xén, chúng ta có thể tạo ra nhiều biến thể khác nhau từ một tập dữ liệu nhỏ, từ đó nâng cao hiệu suất của mô hình học máy.
Lọc và giảm nhiễu là quá trình quan trọng trong việc cải thiện chất lượng hình ảnh, đặc biệt khi chúng bị ảnh hưởng bởi nhiễu từ chất lượng kém hoặc yếu tố bên ngoài Để làm sạch hình ảnh, có thể áp dụng các bộ lọc như bộ lọc Gaussian hoặc các phương pháp giảm nhiễu hiệu quả khác.
Cân bằng màu sắc là quá trình điều chỉnh màu sắc và độ sáng của hình ảnh, nhằm hỗ trợ các mô hình trong việc phân tích và nhận diện các đặc trưng quan trọng một cách dễ dàng hơn.
Phát hiện và loại bỏ nền là một bước quan trọng trong nhiều ứng dụng, giúp tập trung vào các đối tượng chính trong hình ảnh Các phương pháp như phân đoạn có thể hỗ trợ hiệu quả trong quá trình này.
"' = 255 Trong đó: x: Giá trị gốc của pixel (0 đến 255). x'\ Giá trị pixel được chuẩn hóa (trong khoảng [0, 1]).
Mục đích: Giảm giá trị pixel đế làm cho mô hình học nlianh hơn và tránh gradient lớn.
Trong đó: x,y: Tọa độ gốc của pixel.
Ax, Ay: Phạm vi dịch chuyển ngang và dọc.
Mục đích: Tạo ra các biến thế về vị trí của ảnh đế tăng tính đa dạng dữ liệu.
6: Góc xoay (theo độ). x,y Tọa độ pixel ban đầu.
Mục đích: Giúp mô hình học được các biến thể do góc chụp khác nhau.
> Cắt xén hoặc phóng to/thu nhỏ (Shearing and Zooming):
Công thức shear (biến dạng):
Trong đó: sx, sy: Các hệ số biến dạng theo trục ngang và dọc.
> Công thức zoom (phóng to hoặc thu nhỏ):
Trong đó: Ả: Hệ số phóng to (nếu Ấ > 1) hoặc thu nhỏ (nếu 0 < Ấ < 1).
Mục đích: Tạo ra các biến thể về kích thước và hình dạng của ảnh.
> Lật ngang hoặc dọc (Flipping):
Mục đích: Tăng cường dữ liệu với các biến thể lật của hình ảnh.
> Chuẩn hóa màu sắc (Color Normalization):
Công thức Z-score normalization (chuẩn hóa Z-score): x' = (2.7) ơ Trong đó: ạ: Giá trị trung bình của pixel. ơ: Độ lệch chuẩn của pixel.
Mục đích: Chuẩn hóa dữ liệu đầu vào để mô hình ổn địnli và hội tụ nhanh hon.
> Tăng cường dữ liệu (Data Augmentation):
Công thức tổng quát: Kết hợp các phép biến đổi:
Tt' Phép tịnh tiến (translation).
Tz: Phép thu phóng (zoom).
Trong đó: r Anh gôc. h, w: Chiều cao và chiều rộng mục tiêu.
Mục đích: Đồng bộ kích thước ảnh trước khi đưa vào mô hình.
2.6.2 Kỹ thuật phân loại hình ảnh
Phân loại hình ảnh là một bài toán quan trọng trong học máy, có ứng dụng rộng rãi như nhận diện bệnh trong cây trồng và nhận dạng khuôn mặt Các kỹ thuật phân loại hình ảnh được chia thành nhiều nhóm dựa trên phương pháp tiếp cận Bài viết này sẽ khám phá ba kỹ thuật chính: học máy truyền thống, phân loại bằng mạng nơ-ron sâu, và phương pháp Transfer Learning.
2.6.2.1 Kỹ thuật phân loại hình ảnh bằng học máy truyền thống
Học máy truyền thống là phương pháp phân loại hình ảnh phổ biến trước khi mạng nơ-ron sâu trở nên thịnh hành Khác với học sâu, phương pháp này yêu cầu người dùng phải chiết xuất các đặc trưng từ hình ảnh một cách thủ công, như màu sắc, hình dạng và kết cấu của đối tượng.
Một số thuật toán học máy truyền thống thường được sử dụng trong phân loại hình ảnh bao gồm:
K-Nearest Neighbors (KNN): Thuật toán KNN là một trong những phương pháp phân loại đơn giản và dễ hiểu KNN dựa trên nguyên lý rằng các điểm dữ liệu có cùng lớp (label) sẽ có sự tương đồng cao với các điểm dữ liệu khác trong không gian đặc trưng Thuật toán này hoạt động bằng cách so sánh hình ảnh cần phân loại với các hình ảnh trong bộ dữ liệu huấn luyện, và gán nhãn cho hình ảnh mới dựa trên đa số các nhãn của các hình ảnh gần nhất.
Support Vector Machines (SVM) là một thuật toán mạnh mẽ trong học máy, hoạt động bằng cách tìm kiếm một siêu phẳng trong không gian đặc trưng để phân chia các lớp dữ liệu SVM đã chứng minh hiệu quả trong phân loại hình ảnh, đặc biệt khi các lớp có sự phân biệt rõ ràng Hơn nữa, SVM có khả năng sử dụng các kỹ thuật kernel để chuyển đổi dữ liệu về không gian đặc trưng cao hơn, giúp giải quyết các vấn đề phân loại phi tuyến tính.
Cây quyết định là một phương pháp phân loại đơn giản nhưng hiệu quả, với mỗi nút tương ứng với một đặc trưng và các nhánh thể hiện giá trị của đặc trưng đó Các nhánh lá cuối cùng đại diện cho các nhãn phân loại Phương pháp này dễ dàng được trực quan hóa, giúp người dùng hiểu rõ hơn về quá trình phân loại Tuy nhiên, cây quyết định có thể dễ bị overfitting nếu không được điều chỉnh hợp lý.
Random Forest là một mô hình mạnh mẽ dựa trên nhiều cây quyết định, giúp cải thiện độ chính xác phân loại bằng cách tạo ra một tập hợp các cây quyết định và đưa ra kết quả từ đa số cây Kỹ thuật này rất hiệu quả trong phân loại hình ảnh, đặc biệt khi bộ dữ liệu chứa nhiều nhiễu và không hoàn hảo.
K-means Clustering: Đây là một thuật toán phân cụm, có thế được sử dụng đế nhóm các hình ảnh tương tự nhau và từ đó phân loại chúng Mặc dù không phải là một phương pháp phân loại trực tiếp, K-means có thể là một công cụ hữu ích trong việc tạo các nhóm hình ảnh và sau đó gán nhãn cho từng nhóm.
