Đề tài NHẬN DIỆN KHUÔN MẶT ĐỂ CHẤM CÔNG TRONG CÔNG TY

Để góp phần ngừa dịch hiệu quả, giúp công việc không bị gián đoạn do nhân viên bị bệnh và phải nghỉ ốm, một trong số các biện pháp đã được nhiều doanh nghiệp áp dụng là sử dụng máy chấm

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

KHOA CÔNG NGHỆ THÔNG TIN

-🙞🙞🙞🙞🙞 -BÁO CÁO THỰC TẬP CƠ SỞ NGÀNH

Mã lớp: 20212IT6046002

Đề tài: NHẬN DIỆN KHUÔN MẶT ĐỂ CHẤM CÔNG TRONG

CÔNG TY

GVHD: Th.S Lê Như Hiền

Sinh viên:

Nguyễn Trường Nam 2019601647

Lớp: Khoa Học Máy Tính 01 Khoá: 14

Hà Nội – Năm 2021

MỤC LỤC

5 Giới hạn và phạm vi nghiên cứu 5

1.1.1 Tên Đề tài: Nhận diện khuôn mặt để chấm công trong công ty 6

1.1.3 Thời gian thực hiện Đề tài: 6

1.2.2 Đề xuất phương pháp giải quyết: “Chấm công bằng nhận diện khuôn

CHƯƠNG 2 TỔNG QUAN VỀ NHẬN DIỆN KHUÔN MẶT 10 2.1 Hệ thống nhận diện khuôn mặt [1] 10 2.2 Lịch sử của công nghệ nhận dạng khuôn mặt[2] 11

3.1.1 Tìm hiểu về Học Máy (Machine Learning) 17 3.1.2 Bài toán nhận dạng khuôn mặt để chấm công 21 3.1.3 Các hướng tiếp cận và giải quyết 21

3.2.1 Phương pháp học máy sử dụng: Convolutional Neural Network 24 3.2.2 Cơ sở dữ liệu ảnh khuôn mặt 25 3.2.3 Bộ huấn luyện nhận dạng khuôn mặt 25

3.3.4.1 Kiến trúc mạng nơ-ron tích chập 26

4.2 Thuận lợi khi thực hiện đề tài 29 4.3 Khó khăn khi thực hiện đề tài 29

MỞ ĐẦU

1 Lý do chọn đề tài

Hiện nay, biến đổi khí hậu, ô nhiễm không khí khiến thời tiết ngày càng thất thường, chất lượng không khí giảm sút, từ đó dễ dẫn đến nguy

cơ mắc và lây lan nhiều loại bệnh nhiễm trùng đường hô hấp, cảm cúm

Để góp phần ngừa dịch hiệu quả, giúp công việc không bị gián đoạn do nhân viên bị bệnh và phải nghỉ ốm, một trong số các biện pháp đã được nhiều doanh nghiệp áp dụng là sử dụng máy chấm công khuôn mặt

2 Mục đích nghiên cứu

Nhiều bệnh do virus dễ lây lan và bùng phát thành dịch như nhiễm trùng đường hô hấp, cảm cúm, thủy đậu ngoài khả năng lây khi tiếp xúc trực tiếp với người bệnh mà không có các biện pháp bảo hộ và bị bắn dịch tiết chứa virus do người bệnh ho, hắt hơi vào đường hô hấp thì còn có thể lây truyền ngay cả khi bạn tiếp xúc với các đồ vật của người bệnh hay các đồ vật mà người bệnh chạm vào

Cụ thể, khi người bệnh ho, hắt hơi, nói chuyện thì dịch tiết chứa virus có thể bị phát tán ra bên ngoài, sau đó bám trên bề mặt các đồ vật Vì nhiều loại virus có thể sống nhiều giờ ở môi trường ngoài nên nếu người lành tiếp xúc tay với các

đồ vật có dính virus, sau đó không rửa sạch tay mà lại chạm tay lên miệng, mũi, mắt thì sẽ có nguy cơ nhiễm bệnh khá cao Đường lây nhiễm này cũng nguy hiểm vì việc đưa tay lên mặt của nhiều người thường là theo thói quen, có khi khá vô thức trong khi không phải ai cũng tạo được cho mình thói quen rửa tay thường xuyên

Khi sử dụng máy chấm công vân tay, phần vân tay của nhân viên sẽ phải chạm trực tiếp vào đầu quét vân tay của máy thì thời gian vào, ra của người đó mới được xác nhận Khi dùng máy chấm công thẻ, tuy không phải trực tiếp để tay lên

máy, song do cự ly tiếp xúc rất gần, sẽ không thể hoàn toàn tránh khỏi trường hợp người chấm công chạm tay lên máy Trong trường hợp người chấm công trước bị bệnh và vô tình ho, hắt hơi làm bắn các giọt dịch tiết lên máy chấm công thì không thể loại trừ được nguy cơ lây bệnh nếu người chấm công sau chạm tay vào đúng vị trí có bám virus rồi lại đưa tay lên mắt, mũi, miệng khi chưa rửa tay

Trong khi đó, với máy chấm công khuôn mặt, người chấm công sẽ đứng cách máy khá xa, hoàn toàn không phải chạm vào máy nên có thể tránh được việc nhiễm bệnh do chạm vào vật dụng có dính virus trong quá trình chấm công Vì

lý do này, chấm công bằng cách nhận diện khuôn mặt là một trong những biện pháp được nhiều doanh nghiệp tin tưởng và đánh giá cao để góp phần ngăn chặn tình trạng nhiều nhân viên bị ốm, phải nghỉ làm dài ngày, gây ảnh hưởng đến tiến độ công việc và hiệu quả kinh doanh, sản xuất của công ty trong mùa dịch của các bệnh nhiễm trùng đường hô hấp, cảm cúm, thủy đậu

3 Đối tượng nghiên cứu

Các công ty có nhu cầu về chấm công

4 Nhiệm vụ nghiên cứu

Xây dựng được hệ thống chấm công

5 Giới hạn và phạm vi nghiên cứu

Các công ty có số lượng công nhân lớn

6 Những đóng góp của môn học

Xây dựng được phương hướng phát triển, triển khai đề tài

Chương 1: KHẢO SÁT HỆ THỐNG

1.1 GIỚI THIỆU ĐỀ TÀI

1.1.1 Tên Đề tài: Nhận diện khuôn mặt để chấm công trong công ty

1.1.2 Mục tiêu đầu tư Đề tài:

Chấm công cho các công ty, tập đoàn,… Giảm thiểu những hạn chế của các hình thức chấm công cũ như quên thẻ với hình thức quẹt thẻ, tránh được sự tiếp xúc giữa nhiều người trong bối cảnh dịch bệnh COVID-19 lan rộng

1.1.3 Thời gian thực hiện Đề tài:

3 tháng

1.2 MÔ TẢ HỆ THỐNG

1.2.1 Tổng quan về hệ thống

1.2.1.1 Khảo sát:

- Tên: CÔNG TY CỔ PHẦN ĐẦU TƯ XUẤT BẢN – THIẾT BỊ GIÁO DỤC VIỆT NAM (VEPIC)

- Địa chỉ: Tầng 5, toà Lâm Viên Complex, 107A Nguyễn Phong Sắc, P Dich Vọng Hậu, Q Cầu Giấy, TP Hà Nội

- Sơ đồ tổ chức:

1.2.1.2 Phân tích hiện trạng

- Hiện trạng: Hiện nay, các hệ thống chấm công của nhà máy hầu hết sử dụng các thiết bị quét thẻ hoặc nhận diện vân tay Nếu sử dụng vân tay để chấm công, phần vân tay của nhân viên bắt buộc sẽ phải chạm trực tiếp vào đầu quét vân tay ở máy Còn khi dùng thẻ, do cự ly tiếp xúc gần nên không thể tránh khỏi trường hợp người chấm công chạm tay lên máy Trong trường hợp nếu người trước nhiễm bệnh, vô tình ho, hắt hơi, có tạo giọt bắn lên máy chấm công, thì nguy cơ lây bệnh cho người chấm công sau đó là cực kỳ lớn

- Nhược điểm của vân tay:

- Trong trường hợp tay bạn ướt hay quá lạnh thì máy sẽ khó xác định được dấu vân tay, hoặc trong trường tay bạn bị thương cũng khó có thể xử lý tình huống này, và việc chấm công sẽ khó khăn

- Đối với những nhà máy, doanh nghiệp sản xuất (ví dụ sản xuất kim loại, hóa chất…) vì vân tay bị mòn, khó lấy vân tay Vân tay bẩn cũng làm đầu đọc nhanh hỏng

- Nhược điểm của thẻ từ

- Không như chấm công bằng vân tay thì bạn cần phải đem theo thẻ mỗi ngày, việc này sẽ hơi bất tiện nếu bạn quên đem thẻ Và có những trường hợp bạn mất thẻ thì sẽ tốn theo thời gian để làm lại thẻ, và lúc đó bạn chấm công bằng văn bản sẽ rắc rối thêm

- Chi phí đầu tư thẻ từ sẽ khá cao nếu công ty có quy mô lớn (> 200 nhân viên)

- Tuy nhiên có nhược điểm lớn hơn hết là có thể nhờ người khác quẹt thẻ cho, dẫn đến viêc gian lận giờ làm viêc

1.2.2 Đề xuất phương pháp giải quyết: “Chấm công bằng nhận diện khuôn mặt”

1.2.2.1 Ưu điểm chấm công bằng nhận diện khuôn mặt

- Tính bảo mật cao, hạn chế tối đa việc chấm công hộ

- Tích hợp vào điện thoại nhân viên Nhân viên có thể chấm công chủ động ngay tại chỗ ngồi làm việc

- Phù hợp công ty đông nhân viên, nhiều chi nhánh

- Khắc phục được nhược điểm của các loại máy chấm công thông thường, chẳng hạn như tình trạng nhân viên quên thẻ; thẻ giấy bị rách, hết mực đối (với máy chấm công bằng thẻ); đầu đọc bị mờ, trầy xước (đối với máy chấm công bằng dấu vân tay),…

- Được tích hợp nhiều tính năng hiện đại, tốc độ xử lý nhanh

1.2.2.2 Nghiệp vụ cơ bản:

- Tạo cơ sở dữ liệu hình ảnh: Thu thập dữ liệu hình ảnh tất cả nhân viên trong công ty

- Nhận diện khuôn mặt: Bộ phận camera tiếp nhận hình ảnh tại các cửa của công ty, phòng ban truyền về server để xử lý

- Chấm công: kiểm soát thời gian ra vào công ty của nhân viên từ đó chấm công

CHƯƠNG 2 TỔNG QUAN VỀ NHẬN DIỆN

KHUÔN MẶT

2.1 Hệ thống nhận diện khuôn mặt [1]

Hệ thống nhận dạng khuôn mặt là công nghệ có khả năng khớp khuôn mặt người từ hình ảnh kỹ thuật số hoặc khung video với cơ sở dữ liệu khuôn mặt, thường được sử dụng để xác thực người dùng thông qua dịch vụ xác minh ID, hoạt động bằng cách xác định và đo các đặc điểm khuôn mặt từ một hình ảnh nhất định

Sự phát triển bắt đầu trên các hệ thống tương tự vào những năm 1960, bắt đầu như một dạng ứng dụng máy tính Kể từ khi ra đời, các hệ thống nhận dạng khuôn mặt đã được sử dụng rộng rãi hơn trong thời gian gần đây trên điện thoại thông minh và trong các dạng công nghệ khác, chẳng hạn như robot Bởi vì nhận dạng khuôn mặt trên máy tính liên quan đến việc đo lường các đặc điểm sinh lý của con người, các hệ thống nhận dạng khuôn mặt được phân loại là sinh trắc học Mặc dù độ chính xác của hệ thống nhận dạng khuôn mặt như một công nghệ sinh trắc học thấp hơn so với nhận dạng mống mắt và nhận dạng vân tay, nhưng nó vẫn được chấp nhận rộng rãi do quá trình không tiếp xúc của nó Các

hệ thống nhận dạng khuôn mặt đã được triển khai trong tương tác giữa con người và máy tính tiên tiến, giám sát video và lập chỉ mục hình ảnh tự động

Các hệ thống nhận dạng khuôn mặt ngày nay được sử dụng trên khắp thế giới bởi các chính phủ và các công ty tư nhân Hiệu quả của chúng khác nhau và một

số hệ thống trước đây đã bị loại bỏ vì không hiệu quả Việc sử dụng các hệ thống nhận dạng khuôn mặt cũng đã gây ra tranh cãi, với những tuyên bố rằng

hệ thống này vi phạm quyền riêng tư của công dân, thường tạo ra danh tính không chính xác, khuyến khích các chuẩn mực giới tính và phân biệt chủng tộc,

và không bảo vệ dữ liệu sinh trắc học quan trọng Sự xuất hiện của các phương tiện truyền thông tổng hợp như deepfakes cũng làm dấy lên lo ngại về tính bảo mật của nó Những tuyên bố này đã dẫn đến lệnh cấm các hệ thống nhận dạng khuôn mặt ở một số thành phố ở Hoa Kỳ Do mối quan tâm ngày càng tăng của

xã hội, Meta đã thông báo rằng họ có kế hoạch đóng cửa hệ thống nhận dạng khuôn mặt của Facebook, xóa dữ liệu quét khuôn mặt của hơn một tỷ người dùng Thay đổi này sẽ đại diện cho một trong những thay đổi lớn nhất trong việc

sử dụng nhận dạng khuôn mặt trong lịch sử công nghệ

2.2 Lịch sử của công nghệ nhận dạng khuôn mặt[2]

Nhận dạng khuôn mặt tự động đã được tiên phong trong những năm

1960 Woody Bledsoe , Helen Chan Wolf và Charles Bisson đã nghiên cứu việc

sử dụng máy tính để nhận dạng khuôn mặt người Dự án nhận dạng khuôn mặt ban đầu của họ được mệnh danh là "người máy" vì tọa độ của các đặc điểm trên khuôn mặt trong một bức ảnh phải do con người thiết lập trước khi máy tính có thể sử dụng chúng để nhận dạng Trên máy tính bảng đồ họa , con người phải xác định chính xác tọa độ của các đặc điểm trên khuôn mặt, chẳng hạn như tâm đồng tử, góc trong và ngoài của mắt, và đỉnh góa phụở chân tóc Các tọa độ được sử dụng để tính toán 20 khoảng cách, bao gồm cả chiều rộng của miệng và của mắt Một con người có thể xử lý khoảng 40 bức tranh một giờ theo cách này

và do đó xây dựng cơ sở dữ liệu về các khoảng cách đã tính toán Sau đó, một máy tính sẽ tự động so sánh các khoảng cách cho mỗi bức ảnh, tính toán sự khác biệt giữa các khoảng cách và trả về các bản ghi đã đóng như một sự trùng khớp

có thể

Năm 1970, Takeo Kanade đã công khai chứng minh hệ thống đối sánh khuôn mặt xác định vị trí các đặc điểm giải phẫu như cằm và tính toán tỷ lệ khoảng cách giữa các đặc điểm trên khuôn mặt mà không cần sự can thiệp của con người Các thử nghiệm sau đó cho thấy hệ thống không phải lúc nào cũng có thể nhận dạng các đặc điểm trên khuôn mặt một cách đáng tin cậy Tuy nhiên, sự

quan tâm đến chủ đề này ngày càng tăng và năm 1977 Kanade đã xuất bản cuốn sách chi tiết đầu tiên về công nghệ nhận dạng khuôn mặt

Năm 1993, Cơ quan Dự án Nghiên cứu Tiên tiến Quốc phòng (DARPA)

và Phòng thí nghiệm Nghiên cứu Quân đội (ARL) đã thành lập chương trình công nghệ nhận dạng khuôn mặt FERET để phát triển "khả năng nhận dạng khuôn mặt tự động" có thể được sử dụng trong môi trường thực tế hiệu quả "để

hỗ trợ bảo mật, tình báo và nhân viên thực thi pháp luật trong việc thực hiện nhiệm vụ của họ " Các hệ thống nhận dạng khuôn mặt đã được thử nghiệm trong phòng nghiên cứu đã được đánh giá và các bài kiểm tra FERET cho thấy rằng mặc dù hiệu suất của các hệ thống nhận dạng khuôn mặt tự động hiện có khác nhau, nhưng một số phương pháp hiện có có thể được sử dụng để nhận dạng khuôn mặt trong ảnh tĩnh được chụp trong môi trường được kiểm soát Các bài kiểm tra FERET đã tạo ra ba công ty Hoa Kỳ bán hệ thống nhận dạng khuôn mặt tự động Vision Corporation và Miros Inc đều được thành lập vào năm

1994, bởi các nhà nghiên cứu đã sử dụng kết quả của các bài kiểm tra FERET làm điểm bán hàng Viisage Technology được thành lập bởi một nhà thầu bảo

vệ thẻ nhận dạng vào năm 1996 để khai thác thương mại các quyền đối với thuật toán nhận dạng khuôn mặt do Alex Pentland tại MIT phát triển

Sau cuộc kiểm tra nhà cung cấp nhận dạng khuôn mặt FERET năm 1993 , văn phòng Bộ Xe cơ giới (DMV) ở Tây Virginia và New Mexico là những văn phòng DMV đầu tiên sử dụng hệ thống nhận dạng khuôn mặt tự động như một cách để ngăn chặn và phát hiện những người lấy nhiều giấy phép lái xe dưới các tên khác nhau Giấy phép lái xe ở Hoa Kỳ vào thời điểm đó là một hình thức nhận dạng có ảnh thường được chấp nhận Các văn phòng DMV trên khắp Hoa

Kỳ đang trải qua quá trình nâng cấp công nghệ và đang trong quá trình thiết lập

cơ sở dữ liệu về ảnh ID kỹ thuật số Điều này cho phép các văn phòng DMV triển khai hệ thống nhận dạng khuôn mặt trên thị trường để tìm kiếm ảnh của giấy phép lái xe mới dựa trên cơ sở dữ liệu DMV hiện có Các văn phòng DMV trở thành một trong những thị trường lớn đầu tiên cho công nghệ nhận dạng khuôn mặt tự động và giới thiệu công dân Hoa Kỳ với nhận dạng khuôn mặt như

một phương pháp nhận dạng tiêu chuẩn Sự gia tăng dân số nhà tù của Hoa

Kỳ trong những năm 1990 đã thúc đẩy các bang của Hoa Kỳ thiết lập các hệ thống nhận dạng được kết nối và tự động kết hợp sinh trắc học kỹ thuật sốcơ sở

dữ liệu, trong một số trường hợp, điều này bao gồm cả nhận dạng khuôn mặt Năm 1999, Minnesota đã kết hợp hệ thống nhận dạng khuôn mặt FaceIT của Visionics vào một hệ thống đặt lịch bắn cốc cho phép cảnh sát, thẩm phán

và nhân viên tòa án theo dõi tội phạm trên toàn tiểu bang

Trong ánh xạ cắt này , mũi tên màu đỏ thay đổi hướng, nhưng mũi tên màu xanh lam thì không và được sử dụng làm eigenvector

Thuật toán Viola – Jones để phát hiện khuôn mặt sử dụng các tính năng giống như Haar để định vị khuôn mặt trong hình ảnh Ở đây, một đặc điểm Haar trông tương tự như sống mũi được áp dụng trên khuôn mặt

Cho đến những năm 1990, hệ thống nhận dạng khuôn mặt chủ yếu được phát triển bằng cách sử dụng chụp ảnh chân dung khuôn mặt người Nghiên cứu về nhận dạng khuôn mặt để định vị khuôn mặt một cách đáng tin cậy trong một hình ảnh có chứa các đối tượng khác đã đạt được lực kéo vào đầu những năm

1990 với phân tích thành phần nguyên tắc (PCA) Phương pháp PCA nhận diện khuôn mặt còn được gọi là Eigenface và được phát triển bởi Matthew Turk và Alex Pentland Turk và Pentland kết hợp phương pháp tiếp cận khái niệm của định lý Karhunen-Loève và phân tích nhân tố , để phát triển một mô hình tuyến tính Eigenfaces được xác định dựa trên toàn cục và trực giaocác đặc điểm trên khuôn mặt người Một khuôn mặt người được tính là sự kết hợp có

trọng số của một số Eigenfaces Bởi vì một số Eigenfaces được sử dụng để mã hóa khuôn mặt người của một nhóm dân số nhất định, phương pháp nhận diện khuôn mặt PCA của Turk và Pentland đã giảm đáng kể lượng dữ liệu phải xử lý

để phát hiện khuôn mặt Năm 1994, Pentland đã xác định các đặc điểm của Eigenface, bao gồm mắt đặc, miệng và mũi đặc, để thúc đẩy việc sử dụng PCA trong nhận dạng khuôn mặt Năm 1997, phương pháp nhận dạng khuôn mặt PCA Eigenface đã được cải tiến khi sử dụng phân tích phân biệt tuyến tính (LDA) để sản xuất Fisherfaces LDA Fisherfaces được sử dụng chủ yếu trong nhận dạng khuôn mặt dựa trên tính năng PCA Trong khi Eigenfaces cũng được sử dụng để tái tạo khuôn mặt Trong những cách tiếp cận này, không có cấu trúc tổng thể nào của khuôn mặt được tính toán để liên kết các đặc điểm hoặc bộ phận trên khuôn mặt

Vào cuối những năm 1990, hệ thống Bochum sử dụng bộ lọc Gabor để ghi lại các đặc điểm khuôn mặt và tính toán một lưới cấu trúc khuôn mặt để liên kết các đặc điểm Christoph von der Malsburg và nhóm nghiên cứu của ông tại Đại học Bochum đã phát triển Khớp biểu đồ chùm đàn hồi vào giữa những năm 1990 để trích xuất một khuôn mặt ra khỏi hình ảnh bằng cách sử dụng phân đoạn da Đến năm 1997, phương pháp nhận diện khuôn mặt do Malsburg phát triển đã vượt trội hơn hầu hết các hệ thống nhận diện khuôn mặt khác trên thị trường Cái gọi

là "hệ thống Bochum" nhận diện khuôn mặt đã được bán thương mại trên thị trường với tên gọi ZN-Facecho các nhà điều hành sân bay và các địa điểm bận rộn khác Phần mềm này "đủ mạnh để tạo ra các nhận dạng từ những góc nhìn kém hoàn hảo về khuôn mặt Nó cũng thường có thể nhìn thấy những trở ngại như vậy đối với việc nhận dạng như ria mép, râu, thay đổi kiểu tóc và kính -thậm chí cả kính râm"

Tính năng nhận diện khuôn mặt theo thời gian thực trong các cảnh quay video

đã trở nên khả thi vào năm 2001 với khung phát hiện đối tượng Viola – Jones cho khuôn mặt Paul Viola và Michael Jones đã kết hợp phương pháp nhận diện khuôn mặt của họ với phương pháp tiếp cận tính năng giống Haar để nhận dạng vật thể trong hình ảnh kỹ thuật số để khởi chạy AdaBoost , công cụ