TỔNG QUAN
Các kết quả nghiên cứu trong và ngoài nước đã công bố
1.2.1 Các kết quả nghiên cứu trong nước 1.2.2 Các kết quả nghiên cứu trong nước 1.3 Mục tiêu của nghiên cứu
2.1 Phương pháp xử lý ảnh
2.1.1 Tổng quan 2.1.2 Điểm ảnh 2.1.3 Độ phân giải ảnh 2.1.4 Nén ảnh
2.1.5 Trích chọn đặc điểm 2.1.6 Nhận dạng
2.2 Phát hiện và nhận dạng đối tượng
2.2.1 Bài toán phát hiện đối tượng 2.2.2 Các phương pháp nhận dạng mặt người 2.2.3 Giới thiệu về thuật toán PCA
2.2.4 Nhận dạng khuôn mặt bằng Eigenfaces 2.3 Thư viện thị giác máy tính mã nguồn mở OpenCV
3 THIẾT KẾ THỰC HIỆN PHẦN MỀM
4 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
1.1 Kết quả đạt được 1.2 Hướng phát triển
14 Tính đa ngành và liên ngành của đề tài
- Đề tài liên quan đến ngành/chuyên ngành nào?
+ Kỹ thuật điện tử, điện tử - truyền thông
- Tính đa/liên ngành thể hiện như thế nào trong nội dung và quá trình triển khai của đề tài?
+ Kỹ thuật điện tử, truyền thông và tự động hóa
15 Khả năng sử dụng cơ sở vật chất, trang thiết bị (tên các phòng thí nghiệm sẽ được sử dụng trong đề tài)
- Phòng thí nghiệm điện tử cơ bản, kỹ thuật xung số, phòng thí nghiệm viễn thông
16 Khả năng hợp tác quốc tế
- Hợp tác đã/đang có (tên tổ chức và vấn đề hợp tác)
- Hợp tác sẽ có (tên tổ chức và vấn đề hợp tác) vi
17 Các hoạt động nghiên cứu của đề tài
- Xây dựng chương trình mô phỏng
- Viết báo cáo khoa học
Dự kiến, đề tài sẽ đóng góp vào các hệ thống tự động hóa nhằm cải thiện công việc sản xuất, giám sát và nâng cao năng suất lao động Nó còn giới thiệu công nghệ mới cho sinh viên, kết hợp các môn học về vi điều khiển, vi điều khiển nâng cao và thiết bị đầu cuối viễn thông trong các hệ thống tự động hóa Những nội dung này giúp tạo hứng thú học tập và thúc đẩy sự sáng tạo của sinh viên trong lĩnh vực công nghệ tự động.
- Số bài báo, sách, báo cáo khoa học dự kiến sẽ được công bố: 1
- Mô phỏng hệ thống nhận dạng mặt người trong thời gian thực
- Khả năng ứng dụng thực tế của các kết quả: Ứng dụng vào hệ thống giám sát an ninh, nhận dạng, tìm kiếm dữ liệu, điều khiển vào ra…
18.3 Kết quả ứng dụng khác
- Các sản phẩm công nghệ điều khiển thông minh
19 Nội dung và tiến độ thực hiện của đề tài
(các công việc cần triển khai, thời hạn thực hiện và sản phẩm đạt được)
TT Hoạt động nghiên cứu
1 Thu thập và viết tổng quan tài liệu 8/2016 9/2016
2 Xây dựng đề cương nghiên cứu chi tiết
9/2016 10/2016 Chuyên đề/Nội dung 1 vii
3 Điều tra khảo sát, thí nghiệm, thu thập số liệu
4 Viết báo cáo các chuyên đề 12/2016 01/2017
Số chuyên đề (như mục 2)
5 Bổ sung số liệu/thử nghiệm/ứng dụng
6 Viết báo cáo tổng hợp 01/2017 02/2017
20 Phân bổ kinh phí (Tuỳ theo đặc điểm chuyên môn của từng đề tài, các mục/tiểu mục trong bảng sẽ có những thay đổi cho phù hợp)
TT Nội dung Kinh phí
1 Xây dựng đề cương chi tiết
2 Thu thập và viết tổng quan tài liệu
Thu thập tư liệu (mua, thuê)
Dịch tài liệu tham khảo (số trang x đơn giá)
Viết tổng quan tư liệu
3 Điều tra, khảo sát, thí nghiệm, thu thập số liệu, nghiên cứu
Chi phí tàu xe, công tác phí
Chi phí thuê mướn viii
Chi phí thuê khoán chuyên môn (có giá trị từ 2.000.000
VNĐ/đề tài trở lên phải có hợp đồng thuê khoán chuyên môn, nếu giá trị nhỏ hơn 2.000.000 VNĐ/đề tài phải có bảng ký nhận)
Chi phí hoạt động chuyên môn
4 Thuê, mua sắm trang thiết bị, nguyên vật liệu
Mua nguyên vật liệu, cây, con
5 Viết báo cáo khoa học, nghiệm thu
Tổng kinh phí viết bằng chữ: Bốn triệu năm trăm ngàn đồng chẵn
21 Tài liệu tham khảo để viết đề cương
Trong lĩnh vực xử lý ảnh, TS Đỗ Năng Toàn và TS Phạm Việt Bình đã trình bày các kiến thức cơ bản trong giáo trình "Xử lý ảnh" của Đại Học Thái Nguyên, cung cấp nền tảng vững chắc cho sinh viên và nhà nghiên cứu Bên cạnh đó, PGS.TS Nguyễn Quang Hoan tại Học Viện Công Nghệ Bưu Chính Viển Thông cũng đã đóng góp nhiều công trình về xử lý ảnh, giúp nâng cao kỹ thuật và ứng dụng thực tiễn trong ngành Các tài liệu này là nguồn tham khảo quan trọng, hỗ trợ phát triển các dự án xử lý hình ảnh chuyên sâu và cải thiện hiệu quả công việc trong công nghệ hình ảnh kỹ thuật số.
+ M H Yang, Face Recognition Using Kernel Methods, Advances in Neural Information Processing systems (NIPS), pp 215 220, 2002
+ A.M Martinez and M.Zhu, Where Are Linear Feature Extraction Methods Applicable? IEEE Transactions on Pattern Analysis and Machine Intelligence vol
+ J Ye, R Janardan and Q Li, Two-Dimensional Linear Discriminant Analysis, Advances in Neural Information Processing systems (NIPS), 2004 ix
This paper by H Kong, L Wang, E K Teoh, J.G Wang, and V Ronda presents a novel framework for 2D Fisher Discriminant Analysis, specifically designed to enhance face recognition performance with limited training samples The study addresses the challenges of small sample size in face recognition by proposing a robust 2D Fisher Discriminant approach that improves class separation and recognition accuracy Published at the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) in 2005, this research provides valuable insights into face recognition techniques optimized for situations with scarce training data, making it highly relevant for developing efficient biometric recognition systems.
TP HCM, ngày … tháng … năm …
CHỦ TỊCH HỘI ĐỒNG XÉT DUYỆT
TP HCM, ngày 29 tháng 07 năm 2016
TÁC GIẢ Đoàn Chánh Tín
TP HCM, ngày … tháng … năm …
PHÒNG KHOA HỌC CÔNG NGHỆ
TP HCM, ngày … tháng … năm …
TP HCM, ngày … tháng … năm …
TRANG TRANG TỰA ĐỀ CƯƠNG NGHIÊN CỨU ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP CƠ SỞ
DANH SÁCH CÁC CHỮ VIẾT TẮT xii
DANH SÁCH CÁC HÌNH xiii
1.2 Các kết quả nghiên cứu trong và ngoài nước đã công bố 3
1.2.1 Các kết quả nghiên cứu trong nước 3
1.2.2 Các kết quả nghiên cứu ngoài nước 4
1.3 Nhiệm vụ của đề tài 5
1.3.1 Yêu cầu của đề tài 5
1.3.2 Nội dung cần thực hiện 5
Chương 2 CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH 6
2.1 Phương pháp xử lý ảnh 6
2.1.3 Độ phân giải của ảnh 7
2.2 Phát hiện và nhận dạng đối tượng 9
2.2.1 Bài toán phát hiện đối tượng 9
2.2.2 Các phương pháp nhận dạng mặt người 10
2.2.3 Giới thiệu thuật toán phân tích thành phần chính PCA 11
2.2.5 Biểu diễn tập huấn luyện vào không gian vector riêng 19 xi
2.2.6 Nhận dạng khuôn mặt bằng các Eigenfaces 20
2.3 Thư viện thị giác máy tính mã nguồn mở OpenCV 22
Chương 3 THIẾT KẾ VÀ THỰC HIỆN CHƯƠNG TRÌNH XỬ LÝ 24
3.2 Tạo cơ sở dữ liệu khuôn mặt huấn luyện 24
3.3 Tạo file đường dẫn đến cơ sở dữ liệu khuôn mặt (CSV-file) 26
3.4 Lưu đồ giải thuật tổng quát 27
Chương 4 KẾT QUẢ THỰC HIỆN 30
4.1 Kết quả nhận dạng một người 30
4.2 Kết quả nhận dạng hai người 32
4.3 Kết quả nhận dạng khi có người lạ xuất hiện 33
Chương 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 35
TÀI LIỆU THAM KHẢO 37 xii
DANH SÁCH CÁC CHỮ VIẾT TẮT
MS-HMM Multi-Stream Hidden Makov Model
GSM Global System for Mobile Communication
KNN K Nearest Neighbors Classification xiii
Hình 2 1 Minh họa thuật toán PCA 11
Hình 2 2 Tập mẫu khuôn mặt 12
Hình 2 3 Minh họa các Eigenfaces 20
Hình 2 4 Quá trình phát triển của OpenCV 22
Hình 2 5 Cấu trúc cơ sở của OpenCV 23
Hình 3 1 Tập mẫu nghệ sĩ Hoài Linh - Phân lớp 1 25
Hình 3 2 Tập mẫu diễn viên Leonardo Decapiro - Phân lớp 2 25
Hình 3 3 Tập mẫu tác giả - Phân lớp 3 26
Hình 3 4 Chương trình tạo file CSV đọc từ command line 26
Hình 3 5 Nội dung file CSV 27
Hình 3 6 Lưu đồ giải thuật chương trình nhận dạng mặt người 28
Hình 4 1 Ảnh nhận dạng tác giả - phân lớp 3 30
Hình 4 2 Ảnh nhận dạng diễn viên Leonardo Decapiro - phân lớp thứ 2 31
Hình 4 3 Ảnh nhận dạng diễn viên Hoài Linh - phân lớp thứ 1 31
Hình 4 4 Nhận dạng khi xuất hiện mặt người ở phân lớp 1,3 32
Hình 4 5 Nhận dạng khi xuất hiện mặt người ở phân lớp 2,3 32
Hình 4 6 Phân loại được khi có người lạ xuất hiện 33
Hình 4 7 Nhận dạng người đã huấn luyện và người lạ (chưa huấn luyện) 33
Hình 4 8 Nhận dạng chính xác khi có nhiều người xuất hiện cùng lúc 34
Nhận dạng mặt người là lĩnh vực nghiên cứu của ngành Computer Vision và Biometrics, có điểm tương đồng lớn với nhận dạng vân tay và mống mắt về nguyên tắc, nhưng khác biệt về bước trích xuất đặc trưng Trong khi nhận dạng vân tay và mống mắt đã ứng dụng rộng rãi trong thực tế, nhận dạng mặt vẫn còn nhiều thách thức và đang phát triển Ưu điểm của nhận dạng mặt là nguồn dữ liệu phong phú từ hình ảnh và video có sẵn trên mạng, cùng với yêu cầu ít phần tử tương tác có kiểm soát hơn so với các phương pháp truyền thống Các phương pháp nhận dạng mặt hiện nay bao gồm nhận dạng dựa trên ảnh tĩnh 2D, dự kiến sẽ tiến tới nhận dạng 3D nhờ sự phát triển của nhiều camera 2D và dữ liệu 3D Phương pháp này được phân chia thành: tiếp cận toàn cục (ví dụ Eigenfaces-PCA, Fisherfaces-LDA), dựa trên đặc điểm cục bộ (như LBP, Gabor wavelets) và phương pháp lai kết hợp hai phương pháp trên Các phương pháp dựa trên đặc điểm cục bộ chứng minh ưu việt hơn trong các điều kiện không kiểm soát, góp phần vào sự phát triển của các kỹ thuật trích xuất đặc trưng trong hệ thống nhận dạng mặt.
Trong lĩnh vực nhận dạng khuôn mặt, có hai mô hình chính là identification (xác định danh tính) và verification (xác thực danh tính) Mô hình identification liên quan đến bài toán 1-N, trong đó cần xác định danh tính của ảnh kiểm tra trong cơ sở dữ liệu lớn Trong khi đó, mô hình verification xử lý bài toán 1-1, nhằm xác nhận liệu hai ảnh có cùng thuộc về một người hay không Cả hai phương pháp đều đóng vai trò quan trọng trong các ứng dụng an ninh và xác thực danh tính hiện nay.
Trong hệ thống nhận dạng mặt, bước đầu tiên là phát hiện khuôn mặt (face detection), nhằm xác định và trích xuất phần ảnh khuôn mặt từ dữ liệu đầu vào như ảnh hoặc video Tiếp theo, quá trình cắt phần ảnh mặt (face cropping) giúp tối ưu hóa quá trình nhận dạng bằng cách tập trung vào khu vực cần thiết Sau đó, bước tiền xử lý ảnh (preprocessing) sẽ giúp làm sạch và chuẩn hóa hình ảnh để nâng cao độ chính xác của hệ thống nhận dạng mặt Các pha trong một hệ thống nhận dạng mặt đòi hỏi quy trình phức tạp để đảm bảo kết quả chính xác và hiệu quả.
Quá trình nhận diện khuôn mặt bao gồm các bước căn chỉnh ảnh (face image alignment) và chuẩn hóa ánh sáng (illumination normalization) Tiếp theo là bước trích xuất đặc điểm (feature extraction), trong đó sử dụng các phương pháp như Local Binary Pattern (LBP) hoặc Gabor wavelets để trích xuất thông tin đặc trưng của ảnh mặt và biểu diễn dưới dạng vector đặc điểm (feature vector) Bước nhận dạng (recognition) hoặc phân lớp (classification) nhằm xác định danh tính hoặc nhãn của ảnh, thường sử dụng phương pháp k-nearest neighbor (k-NN), trong khi phương pháp Support Vector Machine (SVM) thường không hiệu quả hơn và chậm hơn Dữ liệu hệ thống nhận dạng mặt chia thành tập huấn luyện (training set), tập tham chiếu (reference hoặc gallery set), và tập để nhận dạng (probe hoặc query set), trong đó tập training thường trùng với reference Tập training được sử dụng để huấn luyện, tạo ra không gian con (projection subspace) qua các phương pháp như PCA, WPCA, LDA hoặc Kernel PCA, nhằm giảm chiều dữ liệu và tăng tính phân biệt của các đặc điểm Tập reference gồm các ảnh đã biết danh tính được chiếu vào không gian con sau đào tạo, nhằm giảm chiều và phân biệt các ảnh khác lớp cũng như các ảnh cùng lớp Quá trình huấn luyện tạo ra một ma trận trong đó mỗi cột là vector đặc trưng của ảnh đã biết danh tính Khi nhận dạng, các ảnh probe trải qua xử lý tiền đề, trích xuất đặc điểm rồi chiếu vào không gian con, sau đó phân lớp dựa trên phương pháp k-NN, trong đó danh tính của ảnh sẽ tương ứng với ảnh có khoảng cách gần nhất trong không gian đặc trưng.
Hiện nay, những thách thức lớn trong nhận dạng mặt bao gồm các vấn đề chưa có phương pháp xử lý hiệu quả, gây khó khăn trong việc đạt độ chính xác cao Các yếu tố như biến đổi ánh sáng, góc nhìn và biểu cảm khuôn mặt làm giảm hiệu quả của các thuật toán nhận dạng hiện tại Thách thức lớn khác là xử lý dữ liệu lớn và đảm bảo tính riêng tư của người dùng trong quá trình phát triển công nghệ nhận dạng mặt Do đó, việc cải tiến các phương pháp nhận dạng mặt vẫn đang là lĩnh vực cần nhiều nghiên cứu và sáng tạo để vượt qua các giới hạn hiện tại.
Vấn đề về hướng (pose variations) trong các ảnh có hướng thay đổi trên 45 độ, không phải góc chính diện, vẫn còn rất hạn chế, và công nghệ 3D có thể là giải pháp tiềm năng để cải thiện lĩnh vực này Bên cạnh đó, ảnh có độ phân giải thấp từ các camera giám sát (surveillance camera) thường có kích thước và chất lượng kém, làm cho kết quả nghiên cứu trong lĩnh vực này còn rất hạn chế và đang cần các giải pháp tối ưu hơn.
Với sự phát triển của phương tiện truyền thông, dữ liệu video chứa thông tin khuôn mặt ngày càng phong phú, tuy nhiên hầu hết các phương pháp nhận dạng vẫn chỉ làm việc với ảnh tĩnh trích xuất từ video, khiến chưa tận dụng hết tiềm năng của dữ liệu video Các hệ thống nhận dạng khuôn mặt quy mô lớn thường xuyên đối mặt với thách thức về quy mô của cơ sở dữ liệu, khi mà các CSDL ảnh mặt của các cơ quan thực thi pháp luật có thể chứa từ hàng triệu đến hơn 1 tỷ hình ảnh, vượt xa các bộ dữ liệu thử nghiệm nhỏ hiện nay.
Tình trạng tuổi tác ảnh hưởng đáng kể đến khả năng nhận diện khuôn mặt, khi các đặc điểm trên ảnh thay đổi theo thời gian Việc nhận dạng khuôn mặt qua ảnh già đi là một thử thách lớn ngay cả đối với hệ thống của con người Điều này đặt ra yêu cầu phát triển các công nghệ nhận dạng khuôn mặt ngày càng chính xác và linh hoạt hơn để thích nghi với các dấu hiệu lão hóa theo thời gian.
Môi trường sáng (illumination) là một trong những thách thức lớn trong nhận dạng khuôn mặt, chưa có phương pháp tối ưu để xử lý các ảnh chụp trong điều kiện ánh sáng khác nhau Nguyên nhân chính là do tập dữ liệu huấn luyện thường chỉ chứa một ảnh cho mỗi đối tượng (lớp) với điều kiện ánh sáng cố định, trong khi tập kiểm tra (probe) gồm các ảnh chụp trong nhiều điều kiện ánh sáng khác nhau Điều này làm gia tăng sự khác biệt giữa ảnh trong tập huấn luyện, gallery và probe, gây khó khăn cho các hệ thống nhận dạng trong việc đạt được độ chính xác cao.
1.2 Các kết quả nghiên cứu trong và ngoài nước đã công bố
1.2.1 Các kết quả nghiên cứu trong nước: a “Nhận dạng khuôn mặt sử dụng phương pháp biến đổi Eigenfaces và mạng Nơron” của Trương Công Lợi [2]
Trong đề tài này, tác giả đã sử dụng thuật toán PCA để nhận dạng khuôn mặt, giúp xây dựng chương trình tìm kiếm hình ảnh có khuôn mặt giống với người cần kiểm tra trong tập ảnh cơ sở Chương trình được phát triển bằng ngôn ngữ Matlab, mang lại hiệu quả cao trong việc xử lý dữ liệu hình ảnh Ngoài ra, nghiên cứu còn mở rộng bằng cách áp dụng các phương pháp nhận dạng mặt người dùng như SVM và mạng nơ-ron để nâng cao độ chính xác của hệ thống nhận diện Phương pháp PCA giúp giảm chiều dữ liệu hiệu quả, kết hợp với các thuật toán phân loại như SVM và mạng nơ-ron tạo thành hệ thống nhận dạng khuôn mặt tối ưu Công trình này góp phần cải thiện các ứng dụng xác thực danh tính qua nhận diện khuôn mặt trong các lĩnh vực công nghệ thông tin.
Trong đề tài này, tác giả tập trung nghiên cứu hai phương pháp phân lớp ảnh SVM và mạng nơ-ron nhằm nâng cao hiệu quả nhận dạng mặt người Các kỹ thuật này đã được áp dụng thành công trong việc xác định xem một đối tượng có phải là học sinh của trường hay không Đây là một ứng dụng thực tế quan trọng trong lĩnh vực quản lý và giám sát trường học, giúp tự động hóa quá trình nhận diện khuôn mặt một cách chính xác và nhanh chóng.
Trường THPT Nguyễn Hữu Cầu được xem xét nhằm minh họa tính khả thi của các phương pháp xác thực sinh trắc học, đặc biệt là công nghệ nhận diện khuôn mặt trên thiết bị di động Nghiên cứu của Mạch Thị tập trung vào ứng dụng của xác thực sinh trắc học khuôn mặt để nâng cao an ninh và tiện lợi trong quá trình xác thực cá nhân Các phương pháp này giúp giảm thiểu rủi ro giả mạo và tăng cường hiệu quả trong quản lý thông tin học sinh Áp dụng công nghệ nhận diện khuôn mặt trên thiết bị di động mang lại nhiều lợi ích về mặt tốc độ xử lý và chính xác, góp phần thúc đẩy đổi mới trong phương pháp giảng dạy và quản lý nhà trường.
Nhiệm vụ của đề tài
1.3.1 Yêu cầu của đề tài
Mục tiêu của đề tài là phát triển phần mềm nhận diện người từ ảnh camera sau trong thời gian thực Ứng dụng này cho phép phát hiện và nhận dạng người xuất hiện trong video, giúp xác định nhanh chóng các đối tượng Khi người đó đã được huấn luyện, hệ thống sẽ đóng khung và hiển thị tên của họ; ngược lại, người lạ sẽ bị đóng khung và hiển thị chữ "Lạ" Phần mềm này giúp nâng cao hiệu quả giám sát và an ninh, mang lại trải nghiệm rõ ràng, chính xác và tiện lợi hơn.
1.3.2 Nội dung cần thực hiện Đề tài nghiên cứu và phát triển phần mềm nhận khuôn mặt người dựa trên thuật toán PCA-Eigenfaces kết hợp thư viện thị giác máy tính mã nguồn mở OpenCV do Intel phát triển Hệ thống được lập trình bằng ngôn ngữ C++ trên máy tính Đề tài tập trung nghiên cứu các vấn đề cơ bản sau :
1 Tìm hiểu thư viện thị giác máy tính mã nguồn mở OpenCV
2 Tìm hiểu kỹ thuật trích đặc trưng Eigenfaces
3 Tìm hiểu thuật toán PCA trong việc nhận dạng đặc trưng gương mặt
4 Ứng dụng thư viện OpenCV vào ngôn ngữ lập trình C++ sử dụng phần mềm Visual Studio để xây dựng chương trình nhận dạng mặt người
CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH
CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH
2.1 Phương pháp xử lý ảnh
Xử lý ảnh là lĩnh vực mang tính khoa học và công nghệ với tốc độ phát triển nhanh, thúc đẩy nghiên cứu và ứng dụng trong việc cải thiện chất lượng hình ảnh Quá trình xử lý ảnh bắt đầu từ việc thu nhận dữ liệu từ camera, vệ tinh hoặc cảm biến, sau đó số hóa tín hiệu để phân tích, lưu trữ hoặc nâng cao hình ảnh Mục đích chính của xử lý ảnh là tăng cường, làm đẹp và làm rõ các đặc điểm của ảnh chụp tự nhiên, phản ánh thông tin về đường nét, màu sắc và hình khối của vật thể hoặc cảnh quang Ảnh số được biểu diễn dưới dạng ma trận điểm ảnh, trong đó các dạng phổ biến gồm ảnh đơn (tĩnh) và chuỗi ảnh (động, phim), với dữ liệu thể hiện qua hàm độ chói I(x,y) cho ảnh đen/trắng hoặc màu R, G, B cho ảnh màu Ảnh số là dạng biểu diễn, lưu trữ và thể hiện ảnh tĩnh dựa trên quá trình lấy mẫu và lượng tử hóa, với mỗi điểm ảnh được mã hóa bằng bits phù hợp với loại ảnh: ảnh nhị phân dùng 1 bit, ảnh đa mức xám dùng 8 bits, và ảnh màu có thể dùng 8 đến 16 bits tùy theo chất lượng màu mong muốn.
Với hệ màu RGB cơ bản, mỗi pixel yêu cầu 24 bits (3 x 8 bits) để biểu diễn màu sắc chính xác Điều này đồng nghĩa với việc xử lý ảnh trở thành quá trình thao tác trên các phần tử của ma trận điểm ảnh, đòi hỏi các kỹ thuật hiệu quả để quản lý và xử lý dữ liệu hình ảnh lớn.
Một bức ảnh số được biểu diễn bằng ma trận điểm ảnh I[m,n], trong đó mỗi điểm ảnh có tọa độ [m,n] và giá trị màu I Các phép xử lý ảnh có thể tác động vào tọa độ của các điểm ảnh, làm thay đổi vị trí của chúng để chỉnh sửa hoặc nâng cao chất lượng hình ảnh.
Các phép xử lý hình học trong ảnh không làm thay đổi nội dung của hình ảnh và thường được sử dụng trong quá trình hiển thị, nhằm tác động vào tọa độ của các điểm ảnh Trong khi đó, các phép xử lý về nội dung ảnh tập trung vào việc thay đổi giá trị màu của các điểm ảnh, giúp mang lại những hiệu quả cảm nhận khác nhau Như vậy, có thể phân thành hai khối chính: các phép xử lý hình học và các phép xử lý về nội dung, nhằm tối ưu hoá chất lượng và hiệu quả truyền tải hình ảnh.
Nhiều khi ảnh chụp không rõ nét hoặc không đẹp, đặc biệt là khi vật thể trong ảnh đã xấu, khiến hình ảnh càng rõ nét lại càng lộ ra những khuyết điểm Đôi khi, ảnh chụp càng rõ thì điểm xấu càng bị phơi bày rõ ràng, do đó, không cần làm rõ thêm nữa Thay vào đó, ta muốn làm mờ ảnh để che bớt các khuyết điểm của vật thể, bằng cách giữ lại các sóng với tần số thấp trong miền tần số (Lowpass filter) và loại bỏ các sóng có tần số cao, vốn thể hiện độ sắc nét của ảnh Các sóng tần số cao này lúc này thất vai trò chính là nhiễu, gây giảm chất lượng hình ảnh.
Ảnh tự nhiên (ảnh gốc) là hình ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính, ảnh cần được số hóa, chuyển đổi gần đúng từ dạng liên tục sang dạng điểm phù hợp với hình ảnh thực về vị trí và mức xám Khoảng cách giữa các điểm ảnh (pixel) được thiết lập sao cho mắt người không phân biệt ranh giới giữa chúng, tạo cảm giác liên tục Mỗi điểm ảnh là một phần tử trong ảnh số tại tọa độ (x, y) với giá trị mức xám hoặc màu sắc nhất định Kích thước và khoảng cách giữa các pixel được chọn phù hợp để mắt người cảm nhận hình ảnh gần giống như ảnh thật về không gian và mức xám hoặc màu sắc Trong ảnh số, mỗi phần tử trong ma trận tương ứng với một pixel, góp phần tạo thành hình ảnh hoàn chỉnh.
2.1.3 Độ phân giải của ảnh Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị
Khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn nhận thấy được sự liên tục của hình ảnh, đảm bảo trải nghiệm thị giác mượt mà Việc xác định khoảng cách thích hợp này giúp tạo ra mật độ phân bố điểm ảnh, chính là độ phân giải của hình ảnh Độ phân giải được phân bố đều theo các trục x và y trong không gian hai chiều, góp phần nâng cao chất lượng hình ảnh và khả năng hiển thị rõ nét các chi tiết.
Nhận dạng tự động (automatic recognition) là quá trình mô tả đối tượng, phân loại và phân nhóm các mẫu, đóng vai trò quan trọng trong lĩnh vực thị giác máy và được ứng dụng rộng rãi trong nhiều ngành khoa học khác nhau Tuy nhiên, một câu hỏi quan trọng đặt ra là: mẫu (pattern) là gì? Watanabe [5], một trong những nhà tiên phong trong lĩnh vực này, đã định nghĩa rằng mẫu (pattern) là những đặc trưng hoặc biểu diễn đặc biệt giúp nhận diện và phân loại các đối tượng trong hệ thống thị giác máy Việc hiểu rõ về mẫu là nền tảng để phát triển các hệ thống nhận dạng tự động chính xác và hiệu quả hơn.
Mẫu là một thực thể được xác định một cách mơ hồ và có thể gán cho nó một tên gọi nào đó, như ảnh vân tay, ảnh chụp một vật thể, chữ viết, khuôn mặt người hoặc ký hiệu tín hiệu tiếng nói Để nhận dạng hoặc phân loại mẫu, ta cần hiểu rõ các đặc điểm riêng biệt của từng mẫu, giúp xác định chính xác và hiệu quả trong các hệ thống nhận dạng tự động.
Phân loại có mẫu, còn gọi là phân loại có giám sát (supervised classification), là phương pháp trong phân tích dữ liệu được sử dụng để xác định lớp cho dữ liệu đầu vào Ví dụ, phương pháp phân tích phân biệt (discriminant analysis) giúp định danh mẫu đầu vào như là thành phần của một lớp đã được xác định trước, đảm bảo việc phân loại chính xác và hiệu quả trong các ứng dụng thực tế.
Phân loại không có mẫu (unsupervised classification hoặc clustering) là phương pháp nhóm các mẫu dữ liệu dựa trên các tiêu chuẩn đồng dạng mà không cần sự xác định trước các lớp hay nhãn này Trong quá trình phân loại, các mẫu được gán vào các lớp khác nhau dựa trên tính chất đồng nhất, mặc dù các lớp vẫn chưa được xác định rõ ràng hoặc đặt tên từ trước Phương pháp này phù hợp cho các tập dữ liệu lớn và phức tạp, khi chưa có thông tin rõ ràng về các phân nhóm tiềm năng trong dữ liệu.
Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với các giai đoạn chủ yếu sau đây:
Thu nhận dữ liệu và tiền xử lý
Nhận dạng, ra quyết định
Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là:
Đối sánh mẫu dựa trên các đặc trưng được trích chọn
Phân loại dựa trên mạng nơ-ron nhân tạo
Trong quá trình phân loại, không thể dựa vào một phương pháp đơn lẻ để đạt được kết quả tối ưu, do đó, việc sử dụng kết hợp nhiều phương pháp và cách tiếp cận khác nhau là cần thiết Các phương thức phân loại tổ hợp ngày càng được ưa chuộng nhờ khả năng nhận dạng chính xác hơn và mang lại kết quả khả quan nhờ vào thiết kế các hệ thống lai (hybrid systems) tích hợp nhiều mô hình đa dạng.
Việc giải quyết bài toán nhận dạng trong các ứng dụng mới xuất hiện trong cuộc sống đặt ra nhiều thách thức về thuật toán và yêu cầu cao về tốc độ xử lý dữ liệu Các ứng dụng này thường có đặc điểm chung là sở hữu nhiều đặc trưng cần nhận dạng, và những đặc điểm này không thể do chuyên gia tự đề xuất, mà phải được chọn lọc dựa trên quy trình phân tích dữ liệu hiệu quả.
Các đặc điểm của đối tượng được trích chọn tùy thuộc vào mục đích nhận dạng trong quá trình xử lý ảnh, giúp nâng cao độ chính xác của hệ thống Các đặc điểm nổi bật của ảnh bao gồm cả đặc điểm hình dáng, màu sắc và cấu trúc, đóng vai trò quan trọng trong việc phân loại và nhận diện đối tượng Việc xác định các đặc điểm này giúp cải thiện khả năng phân biệt giữa các đối tượng khác nhau trong ảnh, từ đó tối ưu hóa quá trình xử lý và phân tích hình ảnh.
Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ, điểm uốn v.v
Các đặc điểm biến đổi này được trích xuất thông qua phương pháp lọc vùng (zonal filtering), trong đó các bộ vùng hay còn gọi là "mặt nạ đặc 10 điểm" (feature mask) thường có dạng khe hẹp và đa dạng về hình dạng như hình chữ nhật, tam giác hoặc cung tròn.
THIẾT KẾ VÀ THỰC HIỆN CHƯƠNG TRÌNH XỬ LÝ
THIẾT KẾ VÀ THỰC HIỆN CHƯƠNG TRÌNH XỬ LÝ
Mục tiêu của đề tài là thiết kế phần mềm nhận ảnh trực tiếp từ camera sau để phát hiện và nhận dạng người trong video theo thời gian thực Hệ thống sẽ xử lý dữ liệu trực tiếp từ camera, xác định xem người xuất hiện có đã được huấn luyện hay không Nếu là người đã được huấn luyện, phần mềm sẽ đóng khung và hiển thị tên của người đó, còn nếu là người lạ sẽ đóng khung và hiển thị chữ "Lạ" Phần mềm này giúp nâng cao khả năng nhận diện và giám sát an ninh hiệu quả trong thời gian thực.
Trong đề tài này tôi sẽ xây dựng một chương trình phát hiện mặt người gồm một số yêu cầu đặt ra như sau :
- Chương trình được xây dựng trên máy tính, sử dụng phần mềm Visual Studio, ngôn ngữ C++, và thư viện thị giác máy tính OpenCV của Intel để lập trình
- Tạo tập mẫu gương mặt để huấn luyện đặc trưng
- Thu nhận hình ảnh từ camera trên máy tính và tiến hành nhận dạng so với tập mẫu đã huấn luyện
- Dò tìm phát hiện và nhận dạng khuôn mặt từ dữ liệu hình ảnh camera đưa về
Chúng tôi đã khoanh vùng tất cả các gương mặt được phát hiện trong hệ thống Hiện tại, hệ thống cung cấp chỉ số khoảng cách giữa vector khuôn mặt phát hiện và vector khuôn mặt trong dữ liệu huấn luyện, giúp xác định mức độ phù hợp Nếu gương mặt đó là người đã được huấn luyện, hệ thống sẽ hiển thị tên của người đó, còn nếu không phải, tên hiện thị là ‘Unknow’, đảm bảo tính chính xác và hiệu quả trong nhận diện khuôn mặt.
3.2 Tạo cơ sở dữ liệu khuôn mặt huấn luyện
Dữ liệu cho đề tài bao gồm hình ảnh tác giả chụp trực tiếp từ camera, ảnh nghệ sĩ Hoài Linh lấy từ internet, và hình ảnh diễn viên Leonardo DiCaprio cũng truy xuất từ internet, đảm bảo đa dạng và phong phú cho quá trình nghiên cứu.
Một số thông số về cơ sở dữ liệu:
Nguồn gốc: Tự chụp và lấy từ internet
Định dạng ảnh: 24bit JPEG, kích thước là 200x200 pixels
Độ sáng: nhân tạo, có sự pha trộn giữa đèn huỳnh quang và ánh sáng ban ngày
Bộ dữ liệu được chọn gồm 3 phân lớp, cung cấp hình ảnh khuôn mặt đa dạng cho các nghiên cứu Phân lớp thứ nhất gồm 5 ảnh khuôn mặt của nghệ sĩ Hoài Linh, giúp phân tích đặc trưng của nghệ sĩ Việt Nam Phân lớp thứ hai gồm 8 ảnh của diễn viên Leonardo DiCaprio, mở rộng phạm vi nhận diện sang phong cách phương Tây Phân lớp thứ ba gồm 9 ảnh của tác giả, tạo sự đa dạng trong bộ dữ liệu Tất cả ảnh đều được chụp trong điều kiện ánh sáng đầy đủ và các mặt đã được xoay về mặt chính diện, đảm bảo tính nhất quán cho quá trình đào tạo mô hình Ngoài ra, tất cả các hình ảnh có kích thước đều bằng nhau, tối ưu cho các thuật toán xử lý hình ảnh.
Hình 3 1 Tập mẫu nghệ sĩ Hoài Linh - Phân lớp 1
Hình 3 2 Tập mẫu diễn viên Leonardo Decapiro - Phân lớp 2
Hình 3 3 Tập mẫu tác giả - Phân lớp 3
- Chương trình lấy mẫu khuôn mặt: Phụ lục 1
3.3 Tạo file đường dẫn đến cơ sở dữ liệu khuôn mặt (CSV-file)
Mỗi ảnh trong một phân lớp sẽ được đặt ở một thư mục khác nhau và sẽ được gán một trọng số để tiến hành nhận dạng sau này
Chương trình tạo file CSV: Phụ lục 2
Hình 3 4 Chương trình tạo file CSV đọc từ command line
Hình 3 5 Nội dung file CSV
3.4 Lưu đồ giải thuật tổng quát
Yêu cầu của đề tài là xây dựng một hệ thống chạy trên thời gian thực, hoạt động 24/24, có thể nhận dạng được một hoặc nhiều người cùng lúc
Trong đề tài này sử dụng 2 cơ sở dữ liệu về đặc trưng gương mặt người được huấn luyện theo thuật toán AdaBoost được OpenCV cung cấp là:
Haarcascade_frontalface_alt2.xml: Đặc trưng gương mặt theo hướng nhiền chính diện
Haarcascade_profileface.xml là tập tin đặc trưng gương mặt theo hướng nhìn từ cạnh bên, giúp nhận diện khuôn mặt hiệu quả hơn Để nâng cao độ chính xác trong nhận diện gương mặt, bạn nên thu thập thêm nhiều mẫu ảnh ở các góc nhìn khác nhau Sau đó, các mẫu ảnh này được sử dụng để huấn luyện, tạo ra các tập dữ liệu *.xml chứa đặc trưng gương mặt từ nhiều góc độ, cải thiện khả năng nhận diện chính xác hơn trong các môi trường thực tế.
Để tạo ra dữ liệu chính xác cho hệ thống, cần có số lượng mẫu huấn luyện lớn và đa dạng về điều kiện môi trường ngoại cảnh, đảm bảo mô hình học máy hoạt động hiệu quả Hơn nữa, việc huấn luyện với lượng dữ liệu lớn yêu cầu cấu hình máy tính mạnh mẽ để quá trình đào tạo diễn ra nhanh chóng và tiết kiệm thời gian.
Từ những yêu cầu trên ta xây dựng nên lưu đồ giải thuật tổng quát như sau :
Huấn luyện đặc trưng khuôn mặt
Load đặc trưng khuôn mặt
Dò tìm đặc trưng khuôn mặt
Chuyển về kich thước khuôn mặt huấn luyện
Tính khoảng cách so với tập mẫu
So sánh khoảng cách với ngưỡng Đóng khung và hiển thị tên Đóng khung và hiển thị “Unknow”
Hình 3 6 Lưu đồ giải thuật chương trình nhận dạng mặt người
KẾT QUẢ THỰC HIỆN
Chương trình đã được thử nghiệm trong nhiều điều kiện ánh sáng khác nhau, từ môi trường ánh sáng yếu đến môi trường đủ sáng ở các khoảng cách khác nhau Nó có khả năng nhận dạng một hoặc nhiều người xuất hiện cùng lúc và đạt được kết quả chính xác cao trong các tình huống đa dạng Kết quả này cho thấy tính linh hoạt và hiệu quả của hệ thống trong các điều kiện thực tế khác nhau.
4.1 Kết quả nhận dạng một người
Trong môi trường ánh sáng phù hợp khi lấy mẫu khuôn mặt, chương trình đạt tỷ lệ nhận dạng chính xác cao Khi thay đổi điều kiện ánh sáng, chỉ phân lớp thứ 3 (ảnh lấy mẫu trực tiếp từ camera) duy trì tỷ lệ nhận dạng cao, trong khi phân lớp 1 và 2 (ảnh lấy mẫu từ internet) lại gặp khó khăn hoặc không thể nhận dạng chính xác Điều này cho thấy rằng điều kiện ánh sáng ảnh hưởng lớn đến độ chính xác của hệ thống nhận dạng khuôn mặt, đặc biệt đối với các ảnh mẫu từ internet.
Hình 4 1 Ảnh nhận dạng tác giả - phân lớp 3
Hình 4 2 Ảnh nhận dạng diễn viên Leonardo Decapiro - phân lớp thứ 2
Hình 4 3 Ảnh nhận dạng diễn viên Hoài Linh - phân lớp thứ 1
4.2 Kết quả nhận dạng hai người
Trong môi trường ánh sáng phù hợp, hệ thống tạo mẫu huấn luyện đạt hiệu quả nhận dạng cao Tuy nhiên, khi ánh sáng quá chói hoặc thiếu sáng, khả năng nhận dạng của chương trình chỉ chính xác ở phân lớp thứ 3 Điều này cho thấy tầm quan trọng của điều kiện ánh sáng trong quá trình huấn luyện và vận hành hệ thống nhận diện Đảm bảo môi trường ánh sáng ổn định giúp nâng cao độ chính xác và hiệu suất của chương trình nhận dạng, góp phần cải thiện kết quả tổng thể.
Hình 4 4 Nhận dạng khi xuất hiện mặt người ở phân lớp 1,3
Hình 4 5 Nhận dạng khi xuất hiện mặt người ở phân lớp 2,3
4.3 Kết quả nhận dạng khi có người lạ xuất hiện
Trong môi trường ánh sáng phù hợp, mô hình huấn luyện mẫu đạt kết quả nhận dạng tốt ở phân lớp 3, trong khi hiệu suất nhận dạng ở phân lớp 1 và 2 còn hạn chế Điều này cho thấy vai trò quan trọng của điều kiện ánh sáng trong quá trình đào tạo và tối ưu hóa khả năng nhận dạng của hệ thống Để nâng cao độ chính xác, cần đảm bảo môi trường ánh sáng phù hợp trong quá trình huấn luyện và kiểm thử các phân lớp khác nhau.
Hình 4 6 Phân loại được khi có người lạ xuất hiện
Hình 4 7 Nhận dạng người đã huấn luyện và người lạ (chưa huấn luyện)
Hình 4 8 Nhận dạng chính xác khi có nhiều người xuất hiện cùng lúc
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Dựa trên nghiên cứu lý thuyết về các phương pháp nhận dạng khuôn mặt trong thời gian thực, tôi đã thành công trong việc ứng dụng thuật toán PCA, đặc trưng Eigenfaces và Eigenvector kết hợp với lập trình C++ để xây dựng hệ thống nhận dạng khuôn mặt tự động Phần mềm của tôi có khả năng xác định một hoặc nhiều người xuất hiện trong khung ảnh, đặc biệt là xử lý ảnh động trực tiếp từ camera Trong quá trình phát triển, tôi đã tìm hiểu và vận dụng hiệu quả thư viện mã nguồn mở OpenCV để xây dựng chức năng nhận dạng khuôn mặt trên các thiết bị nhúng trong tương lai.
Chương trình demo được thử nghiệm trên máy tính với bộ xử lý Core i7 thế hệ 4, tốc độ 2,4GHz và RAM 8GB, cho phép xử lý khoảng 5 khung hình mỗi giây Khi ép xung lên 3,2GHz, tốc độ xử lý tăng lên khoảng 8 khung hình mỗi giây, nhưng hiệu suất vẫn phụ thuộc vào chất lượng webcam, dữ liệu mẫu và điều kiện ánh sáng Trong điều kiện ánh sáng phù hợp, chương trình cho kết quả nhận diện chính xác; tuy nhiên, khi điều kiện ánh sáng thay đổi, kết quả thường bị nhầm lẫn giữa các lớp Điều này cho thấy thuật toán PCA dễ bị ảnh hưởng bởi nhiễu từ các yếu tố như mặt nghiêng, râu, cười hoặc nhiễu do ánh sáng, ảnh hưởng tiêu cực đến hiệu quả nhận dạng khuôn mặt.
Dự án đã hoàn thành các mục tiêu ban đầu đề ra, nhưng vẫn còn tồn tại hạn chế liên quan đến ảnh hưởng của nhiễu trong thuật toán PCA Hướng phát triển tiếp theo sẽ tập trung vào xử lý nhiễu và tích hợp các thuật toán nhận dạng khác để nâng cao độ chính xác của hệ thống trong các điều kiện thực tế phức tạp Điều này sẽ giúp xây dựng hệ thống nhận dạng mặt người đáng tin cậy hơn, hoạt động hiệu quả ở nhiều môi trường và góc nhìn khác nhau Ứng dụng của hệ thống này bao gồm giám sát, kiểm tra an ninh, điểm danh học sinh tự động, cũng như xác định nhân viên và giảng viên trong các trường học.
- Kết nối với hệ thống Camera IP để có thể xây dựng 1 trung tâm giám sát an ninh cho công ty, chung cư…
- Tăng khả năng phát hiện của camera bằng cách sử dụng camera hồng ngoại hoặc sử dụng loại camera có độ phân giải cao
- Kết hợp với các thuật toán nhận dạng khác để có tỷ lệ nhận dạng chính xác hơn.
