Báo cáo bài tập lớn xử lý ảnh thiết kế thử nghiệm hệ thống nhận diện khuôn mặt sử dụng mtcnn và facenet

MTCNN được sử dụng để phát hiện khuôn mặt một cách nhanh chóng và chính xác, trong khi FaceNet đáp ứng nhiệm vụ nhận diện khuôn mặt dựa trên biểu diễn đặc trưng hiện đại.. Sự kết hợp giữ

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

KHOA CÔNG NGHỆ THÔNG TIN 1

- -

BÁO CÁO BÀI TẬP LỚN XỬ LÝ ẢNH

Thiết kế thử nghiệm hệ thống nhận diện khuôn

mặt sử dụng MTCNN và FaceNet

Giảng viên hướng dẫn: Trương Minh Đức

Nhóm BTL: 10

Thành viên:

Nguyễn Vũ Bảo Long - B21DCCN500 Trần Đức Anh - B21DCCN160 Lưu Tiến Dũng - B21DCCN273 Tống Quang Nam - B21DCCN556

Hà Nội 2024

LỜI CẢM ƠN

Đầu tiên, chúng em xin gửi lời cảm ơn chân thành và sâu sắc đến Học viện Công nghệ Bưu chính Viễn thông và khoa Công nghệ Thông tin 1 đã đưa môn học Xử lý ảnh vào chương trình giảng dạy Đây là một môn học quan trọng, giúp chúng em có cơ hội tiếp cận với các kiến thức nền tảng và công nghệ tiên tiến trong lĩnh vực xử lý ảnh

Đặc biệt, chúng em xin bày tỏ lòng biết ơn sâu sắc đến thầy Trương Minh Đức, người đã tận tình hướng dẫn và truyền đạt những kiến thức quý báu cho chúng em trong suốt quá trình học tập và thực hiện bài tập lớn Sự tận tâm của thầy không chỉ giúp chúng em nắm vững lý thuyết mà còn biết cách áp dụng chúng vào thực tế để hoàn thành đề tài một cách hiệu quả nhất

Trong suốt quá trình thực hiện đề tài này, sự hỗ trợ và chỉ bảo tận tình của thầy đã giúp chúng em vượt qua những khó khăn, hoàn thiện bài tập lớn này một cách trọn vẹn Đây là cơ hội quý báu để chúng em không chỉ áp dụng những gì đã học mà còn trau dồi thêm các kỹ năng nghiên cứu, phân tích và giải quyết vấn đề Chúng em xin chân thành cảm ơn và kính chúc thầy luôn dồi dào sức khỏe, hạnh phúc và tiếp tục gặt hái nhiều thành công trong sự nghiệp giảng dạy và nghiên cứu!

3

Danh mục hình ảnh

Hình 1 Quá trình ận diện khuôn mặtnh 7

Hình 2 Proposal Network 9

Hình 3 Refinement Network 9

Hình 4 Output Network 9

Hình 5 Kiến trúc FaceNet 11

Hình 6 Kết hợp MTCNN và FaceNet 13

Mục lục

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI 5

1.1 Giới thiệu về đề tài 5

1.2 Lý do chọn đề tài 5

1.3 Lý do chọn MTCNN và FaceNet 5

1.4 Mục tiêu đề tài 6

1.5 Phạm vi đề tài 6

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 7

2.1 Nhận diện khuôn mặt 7

2.2 Tổng quan về MTCNN 8

2.3 Tổng quan về FaceNet 10

2.4 Kết hợp MTCNN và FaceNet 12

CHƯƠNG 3: XÂY DỰNG HỆ THỐNG 14

3.1 Chuẩn bị code và các thành phần cần thiết 14

3.2 Chuẩn bị ảnh khuôn mặt cho training 14

3.3 Cài đặt các thư viện cần thiết 14

3.4 Tiền xử lý dữ ệu để cắt từ khuôn mặt gốcli 14

3.5 Tải dữ ệu pretrain của Facenet về máy, tiến hành trainli 15

3.6 Kiểm thử 16

CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 18

4.1 Kết luận 18

4.2 Hướng phát triển 19

TÀI LIỆU THAM KHẢO 20

5

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI

1.1 Giới thiệu về đề tài

Trong những năm gần đây, công nghệ ận diện khuôn mặt đã trở nh thành một trong những lĩnh vực nghiên cứu và ứng dụng quan trọng nhất trong xử lý ảnh và thị giác máy tính Nhận diện khuôn mặt không chỉ là một bước tiến vượt bậc trong việc bảo mật, mà còn đượ ứng dụng rộng rãi c trong các lĩnh vực như thanh toán trực tuyến, nhà thông minh, và quản lý danh tính Tuy nhiên, việc thiết kế một hệ thống nhận diện khuôn mặt chính xác và hiệu quả luôn đòi hỏi các thuật toán và kiến trúc tên tiến Trong đề tài này, chúng em tìm hiểu và thiết kế một hệ ống nhận diện khuôn mặth t

sử dụng hai công nghệ tiên tiến nhất: MTCNN và FaceNet MTCNN được

sử dụng để phát hiện khuôn mặt một cách nhanh chóng và chính xác, trong khi FaceNet đáp ứng nhiệm vụ nhận diện khuôn mặt dựa trên biểu diễn đặc trưng hiện đại

1.2 Lý do chọn đề tài

Việc lựa chọn đề tài "Thiết kế ử nghiệm hệ th thống nhận diện khuôn mặt sử dụng MTCNN và FaceNet" được thúc đẩy bởi nhiều yếu tố Thứ nhất, nhận diện khuôn mặt là một lĩnh vực nghiên cứu sôi động và có nhiều ứng dụng thực tiễn rộng rãi Thứ hai, MTCNN và FaceNet là hai mô hình mạng nơ-ron sâu đã được chứng minh hiệu quả cao trong việc phát hiện và

nhận diện khuôn mặt, đồng thời chúng cũng là những công cụ ổ ph biến và được cộng đồng nghiên cứu sử dụng rộng rãi Cuối cùng, việc tự mình xây dựng và thử nghiệm một hệ ống nhận diện khuôn mặt sẽ giúp chúng em th hiểu sâu hơn về các thuật toán và kỹ thuật xử lý ảnh hiện đại, đồng thời rèn luyện kỹ năng lập trình và phân tích dữ liệu

MTCNN (Multi-Task Cascaded Convolutional Networks) là một mạng nơ-ron sâu được thiết kế đặc biệt để phát hiện khuôn mặt trong hình

ảnh MTCNN có khả năng phát hiện khuôn mặt với độ chính xác cao, ngay

cả khi khuôn mặt bị che khuất một phần hoặc có góc nghiêng FaceNet là một mạng nơ-ron sâu khác được sử dụng để trích xuất các đặc trưng sâu của khuôn mặt Đặc trưng sâu này được mã hóa dưới dạng một vector số,

và khoảng cách giữa hai vector đặc trưng đại diện cho mức độ tương đồng giữa hai khuôn mặt Sự kết hợp giữa MTCNN và FaceNet tạo thành một hệ thống nhận diện khuôn mặt hiệu quả, có khả năng phát hiện và so sánh khuôn mặt một cách chính xác

1.4 Mục tiêu đề tài

Mục tiêu chính của đề tài này là xây dựng một hệ ống nhận diệth n khuôn mặt có độ chính xác cao, tốc độ xử lý nhanh và khả năng hoạt động

ổn định trong các điều kiện thực tế Ngoài ra, đề tài này còn nhằm mục đích khám phá và so sánh các phương pháp khác nhau để cải thiện hiệu suất của

hệ ống nhận diện khuôn mặth t

1.5 Phạm vi đề tài

Đề tài này tập trung vào việc thiết kế và xây dựng một hệ thống nhận diện khuôn mặt hoàn chỉnh, bao gồm các giai đoạn sau:

• Thu thập và tiền xử lý dữ liệu: Thu thập một bộ dữ ệu khuôn mặli t lớn và đa dạng, sau đó tiến hành tiền xử lý dữ liệu để chuẩn bị cho quá trình huấn luyện mô hình

• Huấn luyện mô hình: Huấn luyện mô hình MTCNN để phát hiện khuôn mặt và huấn luyện mô hình FaceNet để trích xuất đặc trưng khuôn mặt

• Xây dựng hệ ống: Kết hợp MTCNN và FaceNet để xây dựng th một hệ ống nhận diện khuôn mặt hoàn chỉnh th

• Đánh giá hệ ống: Đánh giá hiệu suất của hệ ống trên một bộ th th

dữ ệu kiểm thử độc lậli p

7

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Nh ận ện khuôn mặt di

Nhận diện khuôn mặt là một lĩnh vực quan trọng trong xử lý ảnh và thị giác máy tính Công nghệ này tập trung vào việc xác định và nhận dạng khuôn mặt con người từ hình ảnh hoặc video Đây là một nhiệm vụ phức tạp, yêu cầu các thuật toán tiên tiến để phân tích và xử lý dữ liệu khuôn mặt một cách chính xác Quá trình nhận diện khuôn mặt thường bao gồm bốn giai đoạn chính Đầu tiên là phát hiện khuôn mặt, nơi hệ thống xác định vị trí của khuôn mặt trong hình ảnh hoặc video Đây là bước đầu tiên và có vai trò quan trọng trong việc chuẩn bị

dữ liệu cho các bước tiếp theo Tiếp theo, căn chỉnh khuôn mặt được thực hiện để chuẩn hóa góc quay, kích thước và vị trí của khuôn mặt, đảm bảo tính đồng nhất

và cải thiện độ chính xác nhận diện

Sau khi khuôn mặt được căn chỉnh, giai đoạn trích xuất đặc trưng được tiến hành Các đặc trưng quan trọng của khuôn mặt được trích xuất bằng cách sử dụng các mô hình học sâu, chẳng hạn như FaceNet, để biểu diễn khuôn mặt dưới dạng vector Cuối cùng, trong bước nhận diện khuôn mặt, các đặc trưng được so sánh với cơ sở dữ liệu để xác định danh tính của đối tượng

Hình 1 Quá trình nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt đã chứng minh tính hiệu quả trong nhiều ứng dụng thực tiễn Trong lĩnh vực bảo mật, nó được sử dụng để mở khóa thiết bị

và kiểm soát truy cập vào các khu vực an ninh Trong giám sát và an ninh, hệ thống nhận diện khuôn mặt giúp phát hiện và theo dõi các đối tượng tình nghi Ngoài ra, trong thanh toán thông minh, công nghệ này cung cấp một phương thức xác thực an toàn và tiện lợi cho người dùng

Tuy nhiên, nhận diện khuôn mặt cũng đối mặt với nhiều thách thức Điều kiện ánh sáng thay đổi, tư thế và góc quay khác nhau, hoặc khuôn mặt bị che khuất bởi khẩu trang và kính có thể làm giảm độ chính xác của hệ thống Hơn nữa, sự

đa dạng trong đặc điểm khuôn mặt do khác biệt về giới tính, tuổi tác, và chủng tộc cũng đòi hỏi các mô hình phải được huấn luyện trên bộ dữ liệu phong phú và

đa dạng hơn

2.2 Tổng quan về MTCNN

MTCNN (Multi-task Cascaded Convolutional Networks) là một thuật toán phát hiện khuôn mặt hiệu quả, được thiết kế để xử lý đa nhiệm thông qua một hệ thống mạ tầng sâu Điểm đặc biệt của MTCNN nằng m ở khả năng phát hiện khuôn mặt chính xác, kể cả trong những điều kiện khó khăn như ánh sáng yếu, góc quay

đa dạng, và kích thước khuôn mặt khác nhau

Được thiết kế với mục tiêu tối ưu hóa việc phát hiện và xử lý khuôn mặt trong ảnh, MTCNN thực hiện đồng thời ba nhiệm vụ chính, bao gồm:

• Xác định vị trí các khuôn mặt trong ảnh: Hệ ống xác định vùng nào th trong ảnh chứa khuôn mặt, đây là bước quan trọng để định vị chính xác đối tượng cần nhận diện

• Vẽ bounding box bao quanh khuôn mặt: Tạo ra các hộp giới hạn (bounding box) giúp khoanh vùng khuôn mặt, làm tiền đề cho các bước

xử lý tiếp theo

• Định vị các điểm đặc trưng trên khuôn mặt: Thuật toán còn xác định vị trí chính xác của các điểm đặc trưng quan trọng như mắt, mũi, và miệng,

từ đó hỗ ợ căn chỉnh khuôn mặtr t

MTCNN được triển khai thông qua ba giai đoạn mạng liên tiếp: P-Net (Proposal Network), R-Net (Refine Network), và O-Net (Output Network), mỗi lớp có cấu trúc và vai trò riêng biệt

Proposal Network (P-Net): Đây là lớp mạng đầu tiên, chịu trách nhiệm tìm kiếm các vùng khả năng chứa khuôn mặt trong ảnh P-Net tạo ra các bounding box sơ bộ cùng với độ tin cậy (confidence score) tương ứng Các bounding box

có độ tin cậy thấp sẽ bị ại bỏ ngay ở lo bước này

9

Hình 2 Proposal Network

Refinement Network (R-Net): Mạng R-Net tinh chỉnh kết quả từ P-Net bằng cách loại bỏ các bounding box không phù hợp và cải thiện vị trí cũng như kích thước của các bounding box còn lại Đồng thời, R-Net cũng tính toán lại độ tin cậy của các vùng khuôn mặt đã được đề xuất

Hình 3 Refinement Network

Output Network (O-Net): Lớp mạng cuối cùng chịu trách nhiệm đưa ra kết quả chính xác nhất O-Net không chỉ xác nhận lại bounding box mà còn định vị các điểm đặc trưng (landmarks) trên khuôn mặt, bao gồm mắt, mũi và miệng

Hình 4 Output Network

MTCNN hoạt động theo một quy trình tuần tự, trong đó đầu ra của mỗi lớp mạng sẽ được đưa vào lớp mạng tiếp theo để xử lý Quy trình này giúp tối ưu hóa

độ chính xác của hệ ống và giảm thiểu sai số trong phát hiện khuôn mặt P-Net th nhận đầu vào là hình ả ban đầu, thực hiện quét toàn bộ ảnh để xác định các nh vùng khả nghi có thể ứa khuôn mặt R-Net tiếp nhận bounding box từ P-Net, ch loại bỏ các vùng không liên quan và điều chỉnh bounding box còn lại O-Net xử

lý sâu hơn, xác định chính xác bounding box và các điểm đặc trưng trên khuôn mặt

MTCNN nổi bật với khả năng thực hiện đa nhiệm cùng lúc, vừa phát hiện khuôn mặt vừa định vị các điểm đặc trưng Điều này giúp giảm thiểu thời gian và tài nguyên tính toán so với các phương pháp truyền thống phải thực hiện riêng lẻ từng nhiệm vụ

Bên cạnh đó, kiến trúc tầng lớp của MTCNN cho phép hệ ống đạt đượth c

độ chính xác cao trong các điều kiện phức tạp như thay đổi ánh sáng, góc quay hoặc khuôn mặt bị che khuất một phần

MTCNN là một lựa chọn phổ biến trong nhiều ứng dụng thực tiễn, đặc biệt

là các hệ ống yêu cầu phát hiện khuôn mặt nhanh chóng và chính xác như giám th sát an ninh, nhận diện khuôn mặt, và tương tác người-máy

2.3 Tổng quan về FaceNet

FaceNet là một mô hình học sâu (deep learning) được phát triển bởi nhóm nghiên cứu của Google nhằm giải quyết hiệu quả các bài toán nhận diện và xác thực khuôn mặt Điểm nổi bật của FaceNet nằ ở cách tiếp cận mới mẻ: thay vì m trực tiếp xử lý ảnh khuôn mặt, nó sử dụng các biểu diễn số học (embedding) để ánh xạ mỗi khuôn mặt thành một vector trong không gian đa chiều Với phương pháp này, khoảng cách giữa các vector biểu diễn mức độ tương đồng giữa các khuôn mặt Cụ ể, các vector của cùng một người sẽ có khoảng cách rất nhỏth , trong khi các vector của những người khác nhau sẽ có khoảng cách lớn hơn đáng

kể Điều này tạo ra một cách tiếp cận chính xác và hiệu quả hơn trong việc so sánh khuôn mặt

Mục tiêu chính của FaceNet là chuyển đổi mỗ ảnh khuôn mặt thành mội t vector trong không gian 128 chiều Vector này mang đầy đủ thông tin đặc trưng của khuôn mặt và đóng vai trò như một "dấu vân tay" độc nhất cho từng người Thay vì so sánh trực tiếp các hình ảnh khuôn mặt, FaceNet sử dụng các vector này để ực hiện các phép đo khoảng cách, từ đó xác định mối quan hệ ữa các th gi khuôn mặt

Kiến trúc của FaceNet được thiết kế tối ưu để ánh xạ các ảnh khuôn mặt thành các vector biểu diễn (embedding) trong không gian đa chiều, từ đó so sánh

và nhận diện khuôn mặt một cách hiệu quả

11

Hình 5 Kiến trúc FaceNet

Dữ ệu đầu vào là một batch gồm nhiều hình ảnh khuôn mặt đã được tiềli n

xử lý, bao gồm cắt và căn chỉnh khuôn mặt Mục tiêu của bước này là đảm bảo rằng tất cả các ảnh đều có định dạng và kích thước nhất quán để đưa vào mô hình Việc tiền xử lý tập trung vào các điể đặc trưng trên khuôn mặt như mắt, mũi và m miệng nhằm căn chỉnh khuôn mặt theo cùng một chuẩn

Sau khi được chuẩn hóa, các hình ảnh khuôn mặt được đưa vào một mạng nơ-ron sâu (Deep Neural Network - DNN) Mạng nơ-ron này, thường dựa trên các kiến trúc tiên tiến như Inception hoặc ResNet, được thiết kế để trích xuất các đặc trưng quan trọng từ ảnh khuôn mặt Các đặc trưng này là các biểu diễn trừu tượng phản ánh hình dạng, cấu trúc và các yếu tố đặc thù của khuôn mặt

Kết quả từ mạng nơ-ron là một vector đặc trưng Vector này được chuẩn hóa theo chuẩn L2 để đảm bảo rằng tất cả các vector đầu ra đều có độ dài bằng 1 Việc chuẩn hóa giúp giảm thiểu tác động của ánh sáng, màu sắc và các yếu tố không liên quan khác, đồng thời đảm bảo tính nhất quán và ổn định khi so sánh các vector trong không gian đa chiều

Sau khi chuẩn hóa, mỗi ảnh khuôn mặt được biểu diễn dưới dạng một vector embedding trong không gian 128 chiều Vector này là biểu diễn số học duy nhất của khuôn mặt, chứa đầy đủ thông tin cần thiết để phân biệt khuôn mặt này với các khuôn mặt khác

Để tối ưu hóa việc ánh xạ embedding, FaceNet sử dụng hàm mất mát Triplet Loss Hàm này yêu cầu đầu vào là một bộ ba ảnh gồm: ảnh gốc (Anchor), ảnh của cùng một người (Positive) và ảnh của người khác (Negative) Mục tiêu của Triplet Loss là tối thiểu hóa khoảng cách giữa Anchor và Positive trong không gian embedding, đồng thời tối đa hóa khoảng cách giữa Anchor và Negative Điều này đảm bảo rằng các vector embedding của cùng một người sẽ gần nhau, trong khi các vector của ững người khác nhau sẽ cách xa nhau một cách rõ ràng Như nh hình:

α là margin (lề thêm) giữa cặp positive với negative, độ sai lệch cần thiết

tối thiểu giữa 2 miền giá trị, 𝑓(𝑥𝑖𝑎) chính là embedding của 𝑥𝑖𝑎 Công thức trên cho ta thấy mong muốn về khoảng cách giữa 2 embeddings là 𝑓(𝑥𝑖𝑎) và 𝑓(𝑥𝑖𝑝) sẽ phải nhỏ hơn ít nhất giá trị so với cặp α 𝑓(𝑥𝑖𝑎) và 𝑓(𝑥𝑖𝑛) Việc của ta là làm cho

sự chênh lệch giữa 2 phía của công thức trở nên lớn nhất có thể, hay nói cách khác, ||𝑓(𝑥𝑖𝑎) − 𝑓(𝑥𝑖𝑝)||2 phải là minimum và ||𝑓(𝑥𝑖𝑎) − 𝑓(𝑥𝑖𝑛)||2 phải là maximum Và để mạng "khó" học hơn (hay nói cách khác, học được nhiều hơn) thì điểm positive được chọn phải nằm xa nhất có thể so với anchor, còn điểm negative được chọn phải nằm gần nhất có thể so với anchor, nhằm khiến cho mạng

"gặp" những trường hợp xấu nhất Hàm Loss tổng quát là công thức sau đây:

Với thiết kế tiên tiến và cách tiếp cận đột phá, FaceNet mang lại nhiều ưu điểm vượt trội Mô hình này không chỉ đảm bảo hiệu quả cao trong các bài toán nhận diện và xác thực mà còn có khả năng tổng quát hóa tốt, phù hợp với nhiều ứng dụng khác nhau Nhờ việc ánh xạ các khuôn mặt thành vector, FaceNet có thể xử lý nhanh và chính xác, đồng thời giảm đáng kể dung lượng lưu trữ cần thiết Vector 128 chiều không chỉ gọn nhẹ mà còn đảm bảo giữ lại đầy đủ các thông tin đặc trưng cần thiết cho việc nhận diện khuôn mặt

FaceNet đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ hệ ống an th ninh và xác thực danh tính, đến việc cụm hóa và tổ ức dữ ệu khuôn mặch li t trong các cơ sở dữ ệu lớn Nó cũng được sử dụng để cá nhân hóa trải nghiệli m người dùng, như trong các thiết bị di động hoặc hệ ống đề ất thông minh th xu Nhờ ững ưu điểm vượt trội về độ chính xác, tốc độ và tính linh hoạt, FaceNet nh

đã trở thành một trong những mô hình hàng đầu trong lĩnh vực nhận diện khuôn mặt, tạo ra những tiêu chuẩn mới trong ngành

2.4 Kết hợp MTCNN và FaceNet

Sự kết hợp giữa MTCNN và FaceNet tạo nên một hệ ống mạnh mẽ cho th các bài toán nhận diện và xác thực khuôn mặt, từ giai đoạn phát hiện khuôn mặt đến giai đoạn so sánh và nhận diện