(TIỂU LUẬN) đồ án CHUYÊN NGÀNH 2 đề tài mô HÌNH mở KHÓA cửa BẰNG NHẬN DIỆN KHUÔN mặt

Với đề tài “Bô khó cứ nhân diên băng khuôn mặt của nhóm chúng em đang thực hiện, chinh là sự kết hợp đó với mong muốn tìm hiểu vàphát triển một sản phâm công nghệ theo xu hướng nhưng

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN &

TRUYỀN THÔNG VIỆT HÀN

Khoa Khoa Học Máy Tính

Đà Nẵng, tháng 05 năm 2021

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN &

TRUYỀN THÔNG VIỆT HÀN

Khoa Khoa Học Máy Tính

NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN

.

Bên cạnh đó, để hoàn thành khóa học này, nhóm em cũng đã nhận được rấtnhiều sự giúp đỡ, những lời động viên quý báu của các bạn bè, các anh chị thânhữu, nhóm em xin hết lòng cảm ơn.

Tuy nhiên, do thời gian hạn hẹp, mặc dù đã nỗ lực hết sức mình, nhưng chắcrằng đề tài này khó tránh khỏi những thiếu sót Nhóm em rất mong nhận được sựthông cảm, chỉ bảo tận tình của thầy cô và các bạn

Sinh viên,

LƯƠNG VIẾT NHẬT, NGUYỄN ĐỨC NGỌC KỲ

MỤC LỤC

NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN III LỜI CẢM ƠN IV MỤC LỤC V DANH MỤC CÁC TỪ VIẾT TẮT VII DANH MỤC HÌNH VẼ VIII

NO TABLE OF FIGURES ENTRIES FOUND VIII

MỞ ĐẦU 1

1 2 3 4 Giới thiệu 1

Mục tiêu của đề tài 2

Nội dung và kế hoạch thực hiện 2

Bố cục báo cáo 2

CHƯƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI 4

1.1 Tổng quan ngôn ngữ , phần mềm liên quan 4

1 1.1.1 Ngôn ngữ thực hiện: C, C++ 4.1.2 Phần mềm Proteus 6

1.2 Tổng quan thuật toán áp dụng vào đề tài 14

1.2.1 Công nghệ sinh trắc và nhận dạng bằng khuôn mặt 14

a) Công nghệ sinh trắc và bảo mật 14

b) Công nghệ nhận dạng khuôn mặt 15

c) Phân tich kết cấu da 16

.2.2 Xử li ảnh đầu vào 16

a) Xử li video đầu vào 17

b) Nhận dạng khuôn mặt 17

1 1.3 Kết chương 1 18

CHƯƠNG 2: PHÂN TÍCH HỆ THỐNG 19

 Thiết kế chi tiết 19

2 2 1 Tổng quan hoạt động 20

.2 Tổng quan về chưc năng 22

2

.2.1 Chức năng 22

.2.2) Phân tich sự kiện 22

a Đăng ki khuôn mặt 22

b Xóa người dùng trong dữ liệu 23

.2.3 Chức năng đóng/mơ ô khóa 23

2 2.3 Kết chương 2 23

CHƯƠNG 3: TRIỂN KHAI XÂY DỰNG 24

3.1 Các thiết bị phần cưng 24

3.1.1 Module ESP32 CAM 24

a Giới thiệu ESP32 – CAM và các thông số ki thuật 24

b Ưng ddng thực tế trong thực tế 26

.1.2 Module Relay 26

.1.3 Ô khóa điện tư LY-01 27

.1.4 Thiết kế mô hình phần cứng 28

3 3 3 3.2 Cách kết nối giữa bộ khoa tới trinh duyệt 30

3 3 3 2.1 WebSockets 30

.2.2 Kết nối bằng WebSockets 31

.2.3 Mô hình phần mềm: 32

KẾT LUẬN 32

1 2 3 Kết quả đạt được 32

.Hạn chế: 32

Hướng phát triển 32

TÀI LIỆU THAM KHẢO I PHỤ LỤC I

DANH MỤC CÁC TỪ VIẾT TẮT

VIẾT TẮT

AI

NỘI DUNG

Artificial Intelligence, tri tuệ nhân tạo

DANH MỤC HÌNH VẼ

H ÌNH : 1.1 C ÁCH GỠ BỎ P ROTEUS 15

H ÌNH :1.2 G Ỡ BỎ TOÀN BỘ P ROTEUS 16

H ÌNH : 1.3 C ÀI ĐẶT P ROTEUS 17

H ÌNH : 1.4 C ÁCH CÀI P ROTEUS 17

H ÌNH : 1.5 Q UÁ TRÌNH CÀI P ROTEUS 18

H ÌNH : 1.6 H OÀN THÀNH CÀI ĐẶT P ROTEUS 18

H ÌNH : 1.7 T HIẾT LẬP P ROTEUS 19

H ÌNH : 1.8 T HIẾT LẬP P ROTEUS 2 20

H ÌNH : 1.9 T HIẾT LẬP P ROTEUS 3 21

H ÌNH : 1.10 T HIẾT LẬP P ROTEUS 4 22

H ÌNH : 1.11 S Ơ ĐÔ ̣̣̣̣̀́́̉́́̀́́̉́́ C 23

KHÔI LOGIC CHINH CUA HÊ THÔNG SINH TRĂC HO H ÌNH : 2.1 S Ơ ĐỒ THỰC HIỆN 27

H ÌNH : 2.2 S Ơ ĐỒ LÀM VIỆC 28

H ÌNH : 2.3 M Ô TA H ÌNH : 2.4 C A H ÌNH : 3.1 M ODULE ESP32- CAM 32

H ÌNH : 3.2 H I C CHÂN ESP32 C AM 34

H ÌNH : 3.3 M ODULE RELAY SRD-05VDG-SL-C 35

H ÌNH : 3.4 Ô KHO LY-01 36

̉ HOA ̣̣̉̀́́̉́́ ̣̣̉̀́́̉́́ ̉ ̣̣̉̀́́̉́́ KHO ̉ ̉ ̉ ̣̣̉̀́́̉́́ ̉ ̉ NH ANH CA ̣̣̉̀́́̉́́ A ĐIÊN TƯ H ÌNH 3.5 SƠ ĐỒ LẮP ĐẶT CÁC THIẾT BỊ 36

H ÌNH 3.6: H ÌNH ẢNH THỰC TẾ KHI LẮP ĐẶT 37

H ÌNH : 3 5 M Ô HÌNH HOÀN THIỆN 38

H ÌNH :3.6 M Ô HÌNH HOÀN THIỆN 2 39

H ÌNH 3.7: M Ô HÌNH PHẦN MỀM TRÊN TRÌNH DUYỆT 42

MỞ ĐẦU

1 Giới thiệu

Khoa học công nghệ ngày càng đạt được những thành tựu to lớn, keo theo đó là

sự phát triển vượt bậc trong các ngành nghề có ứng ddng khoa học ky thuật Nhữngnăm gần đây, khái niệm về Internet of thing (IoT) không còn xa lạ trong cuộc sống củachúng ta nữa Nhất là khi hiện nay, các thiết bị IoT đã được sử ddng tràn ngập, rộng rãikhắp thế giới Điều đó cho ta thấy được lợi ich của các thiết bị này như thế nào trongcuộc sống con người

Bên cạnh sự phát triển của IoT, tri tuệ nhân tạo cũng phát triển vượt bậc trongthời gian vưa qua Bằng chứng là khắp các ngành nghề đều đang có những ứng ddng

sử ddng tri tuệ nhân tạo để nhằm tạo năng suất lao động tốt hơn, độ chinh xác máy caohơn Các sản phâm tri tuệ nhân tạo có tinh đột phá, điều mà những năm về trước conngười chỉ có thể xem là viên tương

Việc kết hợp một sản phâm IoT có ứng ddng của tri tuệ nhân tạo là tất yếu cũng

là xu hướng hiện nay Với đề tài “Bô khó cứ nhân diên băng khuôn mặt của

nhóm chúng em đang thực hiện, chinh là sự kết hợp đó với mong muốn tìm hiểu vàphát triển một sản phâm công nghệ theo xu hướng nhưng ứng ddng hiệu quả trongcuộc sống.Trong thời đại phát triển hiện nay, vấn đề bảo mật và an ninh là một vấn đề cực

kì quan trọng và cần thiết trong cuộc sống, ta có thể thấy được hàng loạt các công nghệ

có liên quna và ảnh hương đến vấn đề này đang thúc đây đời song phát triển mạnh me

Tư vấn đề an ninh của các cơ quan, trd sơ cho tới việc đảm bảo an toàn các thiết bị ,nhà cửa, công trình,…Điển hình như một thiết lập một hệ thống bảo vệ nhà cửa tránh

sự xâm nhập của người lạ cũng như vấn đề trộm cướp Hệ thống đó có thể là một ôkhóa thông minh được người dùng cài đặt mật khâu là những con số, ki tự, hay bằngvân tay, giọng nói, khuôn mặt,…

Như đã nêu ơ trên, những địa điểm đó đều cần có sự bảo mật được đặt lên hàngđầu thì một chiếc khóa cửa bảo vệ lối ra vào để phát hiện, ngăn chặn xâm nhập củangười lạ là vô cùng cần thiết Trong đề tài này, chúng ta se nói về một hệ thống bảo

vệ đóng mơ cửa bằng phương pháp nhận diện dựa trên công nghệ sinh trắc, cd thể đó

là hệ thống mơ cửa bằng nhận diện khuôn mặt

2 Mục tiêu của đề tài

Với đề tài này chúng ta xác định mdc tiêu là vấn đề bảo mật cho lối ra vào củamột địa điểm Cd thể là bộ khóa cửa cho một căn hộ Yêu cầu đặt ra cho bộ khóa nàygôm các tiêu chi:

-Nhận diện có độ chinh xác cao

Cho phep người sử ddng lưu khuôn mặt vào dữ liệu vào hệ thống

Tốc độ mơ khóa nhanh, khi có người dùng muốn mơ cửa (khóa điện se thức hiệnđóng mơ ô khóa) thì camera tiến hành nhận diện khuôn mặt

Sản phâm có tinh thâm my

-3 Nội dung và kế hoạch thực hiện

Nội dung thực hiện đề tài:

Sử ddng các kiến thức đã học trong 2 học phần môn vi điều khiển và tri tuệ nhântạo để tìm hiểu, xây dựng cấu trúc hoạt động phần cứng của ô khóa, khả năng nhậndiện khuôn mặt của ô khóa

-Tiến hành thiết lập sơ đô khối hệ thống

Xử li các quá trình nhận diện, cho phep đóng mơ cửa

Thực hiện lắp đặt phần cứng và viết nạp code theo yêu cầu chức năng

Kế hoạch thực hiện đề tài:

Thực hiệnViết báo cáo

4 Bố cục báo cáo

Sau phần Mở đầu, báo cáo được trình bày trong ba chương, cd thể như sau: Chương 1 Tổng quan về đề tài Trong chương này, báo cáo trình bày các khái

niệm, đặc điểm,

Chương 2 Phân tích thiết kế hệ thống Nội dung chương bao gôm: phân tich

các chức năng của mô hình, thiết kế hệ thống cho mô hình

Chương 3 Triển khai xây dựng Chương đi sâu vào nghiên cứu các công nghệ,

các thiết bị áp ddng vào mô hình

Cuối cùng là Kết luận, Tài liệu tham khảo và Phụ lục liên quan đến đề tài.

CHƯƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI

1.1 Tổng quan ngôn ngữ , phần mềm liên quan.

1.1.1 Ngôn ngữ thực hiện: C, C++

Ngôn ngữ lập trinh C là gi ?

Ngôn ngữ C là một ngôn ngữ đã có mặt tư rất lâu Và nó có thể là ngôn ngữ già

nhất trong các dòng ngôn ngữ thông ddng nhất hiện nay Lập trinh C được coi là cơ

sơ cho các ngôn ngữ lập trình khác Đó là lý do tại sao nó được biết đến như là ngônngữ mẹ C là ngôn ngữ mệnh lệnh được ra đời tư đầu thập niên 70 Ngôn ngữ C làmột ngôn ngữ cấu trúc và xếp vào loại ngôn ngữ bậc 3 (loại ngôn ngữ cao cấp hơnngôn ngữ mã máy và thấp hơn ngôn ngữ hướng đối tượng – bậc 4) Cha đẻ của ngônngữ C là Dennis Ritchie_một nhà khoa học máy tinh người My nôi tiếng Ban đầungôn ngữ này chỉ được dùng trong hệ điều hành UNIX Nhưng với những ứng ddng

mà nó mang lại, đến nay ngôn ngữ này đã lan rộng ra nhiều hệ điều hành khác Và trơthành một những ngôn ngữ phô ddng nhất

Ngôn ngữ C không chỉ được ưa chuộng trong việc viết các ứng ddng Mà còn là ngônngữ rất hiệu quả trong việc viết các phần mềm hệ thống Ngoài ra, C cũng thườngđược dùng làm phương tiện giảng dạy trong khoa học máy t i nh

Hệ thống nhúng

Các tinh năng của C bao như là truy cập trực tiếp vào API phần cứng của máy,

sự hiện diện của trình biên dịch C Ngoài ra lập trinh C còn sử ddng tài nguyên xác

định và phân bô bộ nhớ động Đã làm cho ngôn ngữ C trơ thành lựa chọn tối ưu chocác ứng ddng và trình điều khiển của các hệ thống nhúng.

Ngôn ngữ lập trinh C++ là gi?

Ngôn ngữ lập trình C++ là một ngôn ngữ lập trình hướng đối tượng (OOP– Object-oriented programming) được phát triển bơi Bjarne Stroustrup C++ là ngônngữ lập trình được phát triển trên nên tảng của ngôn ngữ lập trình C Do đó, C++ cósong song cả 2 phong cách (style) lập trình hướng cấu trúc giống C và có thêm phongcách hướng đối tượng Trong nhiều trường hợp, C++ sử ddng kết hợp cả 2 style trên

Do đó, nó được xem là một ngôn ngữ “lai tạo”.

Ngôn ngữ lập trình C++ (C plus plus) có đuôi mơ rộng là

.cpp.

Định nghĩa lập trinh nhúng là gi?

Lập trình nhúng là một thuật ngữ lập trình dùng để chỉ đến một hệ thống có khảnăng tự trị và nó thường được nhúng vào trong một môi trường hoặc một hệ thống mẹbất kỳ nào đó.Đây là các hệ thống tich hợp cả một phần mềm và phần cứng

Mdc đich chủ yếu lập trình nhúng chinh là phdc vd các bài toán chuyên ddngtrong các linh vực công nghiệp, tự động hóa điều khiển và truyền tin Thông thường,

hệ thống nhúng se được thiết kế để thực hiện các chức năng chuyên trách hoặc riêngbiệt nào đó

1.1.2 Phần mềm Proteus

Proteus là phần mềm dùng để ve sơ đô nguyên lý, thiết kế mạch in (PCB) và mô

Electronics Hiện nay, phần mềm này được sử ddng rộng rãi trong việc mô phỏngmạch tại các công ty hay hoạt động giảng dạy tại trường cao đẳng và đại học

Proteus cho phep ve và mô phỏng hoạt động của các mạch điện tử, phần mềm cókhả năng mô phỏng:

Hầu các mạch điện tử tư đơn giản đến phức tạp có sử ddng các linh kiện điện tửthông ddng như: điện tr ơ , td điện, cuộn dây, diode, transistor, relay, op-amp…

Các mạch tương tự (Analog) và mạch số (Digital)

Đặc biệt rất mạch cho việc mô phỏng các họ vi điều khiển chẳng hạn như 8051,Arduino, PIC, AVR, ARM… cũng như các giao tiếp I2C, SPI, CAN, USB, Ethernet

Proteus bao gôm 2 chương trình: ISIS cho phep mô phỏng mạch điện tử và ARESdùng để thiết kế mạch in PCB

Những tính năng mới nổi bật co trong Proteus Professional 8.9

. Library Web Search:

Đây là chức năng rất hay mà nhà sản xuất mới tich hợp trên 8.9 Cho phepngười tìm kiếm thư viện mơ của 1 linh kiện trên mạng nữa chứ không chỉ thư viện trênmáy Để sử ddng được tinh năng này, bạn cần lập một tài khoản thì mới import linhkiện về máy của mình nhe

. Auto Complete Route:

Ở tinh năng này cho phep người dùng đi dây tự động khi thiết kế mạch in rấtnhanh Chúng ta chỉ cần định hướng đi của dây, chương trình se tự động bắt dây

Hướng dẫn cài đặt Proteus Professional 8.9

Bước 1: Gỡ bỏ chương trình Proteus đã cài đặt (nếu có)

Hình: 1.1 Cách gỡ bỏ Prọeus

Bước 2: Gỡ bỏ toàn bộ chương trình Proteus đã cài đặt (nếu có).

Đầu tiên bạn nhập Regedit vào khung Search trên Start Menu để mơ trình Registry.Trên cửa sô trình Registry Editor bạn điều hướng theo đường dẫn dưới đây:

Computer\HKEY_CURRENT_USER\SOFTWARE\Labcenter Electronics

Sau đó bạn kich chuột phải vào dòng chữ Labcenter Electronics rôi chọn Delete.

Hình:1.2 Gỡ bỏ ̣oàn bô Prọeus

Bước 3: Download file cài đặt

Các bạn download các file cài đặt phần mềm tại đây:

Protues Professional 8.9 full

Bước 4: Tiến hành cài đặt phần mềm Proteus 8.9

Sau khi download các file cài đặt về máy tinh của mình, các bạn giải nen cácfile này vào một thư mdc như hình bên dưới, sau đó các bạn chạy file Proteus 8.9 SP2Pro.exe để tiến hành cài đặt

Hình: 1.3 Cài đặ

Prọeus

Một của sô xuất hiện như hình bên dưới, bạn chọn thư mdc mặc định để phầnmềm được cài đặt vào máy hoặc thay đôi sang thư mdc khác nếu muốn, sau đó nhấp

chọn Next.

Hình: 1.4 Cách cài Prọeus

Các bạn ngôi chờ một lát để phần mềm Proteus được cài đặt vào máy

Hình: 1.5 Quá ̣rình cài Prọeus

Sau khi quá trình cài đặt hoàn tất, một cửa sô xuất hiện Bạn nhấp chọn Finish.

Hình: 1.6 Hoàn ̣hành cài đặ

Prọeus

Bước 5: Thiết lập cho chương trình chạy với quyền admin.

Bạn đặt con trơ trên biểu tượng của phần mềm Proteus ơ màn hình desktop sau

đó click phải chuột, rôi chọn Properties.

Hình: 1.7 Thiệ́2 lâp Prọeus

Bạn chọn thẻ Shortcut, rôi chọn Advanced.

Hình: 1.8 Thiệ́2 lâp Prọeus 2

Bạn chọn Run as administrator

Hình: 1.9 Thiệ́2 lâp Prọeus 3

Cuối cùng, nhấp chọn OK

Hình: 1.10 Thiệ́2 lâp Prọeus 4

Lưu ý: Phần mềm Proteus 8.9 SP2 này đã được crack rôi nên các bạn chỉ cần làm

bị lỗi tự động tắt trong quá trình sử ddng

1.2 Tổng quan thuật toán áp dụng vào đề tài.

1.2.1 Công nghệ sinh trăc và nhận dạng băng khuôn mặt.

a) Công nghệ sinh trăc và bảo mật

Được biết đến như một công nghệ áp ddng các đặc tinh sinh học, vật li hay cáccác đặc điểm đặc trưng , riêng biệt của các cá thể, cá nhân như dáng đi, giọng nói, vân

tay, khuôn mặt,… để nhận biết, nhận dạng Trong tiếng anh Biometric có nghia là sinhtrắc học Công nghệ sinh trắc được đung trong việc xác nhận thông tin về một cá nhânhay than nhân một cách hiệu quả và chinh xác.

Hình: 1.11 Sơ đô khôi logic chinh cu2 hê ̣hông sinh ̣răc hoc

b) Công nghệ nhận dạng khuôn mặt

Nhận dạng khuôn mặt là một ứng d d ng máy t i nh tự động xác định hoặc nhận dạngmột người nào đó tư một bức hình ảnh k y thuật số hoặc một khung hình video tư mộtnguôn video Một trong những cách để thực hiện điều này là so sánh các đặc điểm khuôn mặt chọn trước tư hình ảnh và một cơ s ơ dữ liệu về khuôn mặt

Hệ thống này thường được sử ddng trong các hệ thống an ninh và có thể được so sánhvới các dạng sinh trắc học khác như các hệ thống nhận dạng vân tay hay tròng mắt

Các thuật toán nhận dạng có thể được chia thành hai hướng chinh, là hình học , đó

là nhìn vào tinh năng phân biệt, hoặc trắc quang (đo sáng), là sử ddng phương pháp

thống kê để 'chưng cất' một hình ảnh thành những giá trị và so sánh các giá trị với cácmẫu để loại bỏ chênh lệch.

Các thuật toán nhận dạng phô biến bao gôm Principal Component Analysis (Ph e p phân t i ch thành phần ch i nh ) sử ddng các khuôn mặt riêng, Linear Discriminate

Analysis (Phân tich biệt tuyến tinh), Elastic Bunch Graph Matching sử ddng thuật toán

Fisherface, các mô hình Markov â n , Multilinear Subspace Learning (Luyện nhớ khônggian con đa tuyến) sử ddng đại diện cơ căng, và theo dõi liên kết động thần kinh

 Nhận dạng 3D

Một xu hướng mới nôi lên, tuyên bố cải thiện được độ chinh xác, là nhận dạngkhuôn mặt ba chiều Ky thuật này sử ddng các cảm biến 3D để nắm bắt thông tin vềhình dạng của khuôn mặt Thông tin này sau đó được sử ddng để xác định các tinhnăng đặc biệt trên bề mặt của một khuôn mặt, chẳng hạn như các đường viền của hốcmắt, mũi và cằm

Một lợi thế của nhận dạng khuôn mặt 3D là nó không bị ảnh hương bơi những thayđôi trong ánh sáng như các ky thuật khác Nó cũng có thể xác định một khuôn mặt tưmột loạt các góc nhìn, trong đó có góc nhìn nghiêng Các điểm dữ liệu ba chiều tư mộtkhuôn mặt cải thiện lớn độ chinh xác cho nhận dạng khuôn mặt Nghiên cứu 3D đượctăng cường bơi sự phát triển của các bộ cảm biến tinh vi giúp nắm bắt hình ảnh chdpkhuôn mặt 3D được tốt hơn Các cảm biến hoạt động bằng cách chiếu ánh sáng có cấutrúc lên gương mặt Hàng chdc hoặc nhiều hơn nữa các bộ cảm biến hình ảnh này cóthể được đặt lên trên cùng một con chip CMOS-mỗi cảm biến se thu một phần khácnhau của hình ảnh

Ngay cả một ky thuật 3D hoàn hảo cũng có thể gặp khó khăn bơi các sắc thái biểucảm trên gương mặt Để đạt được mdc tiêu đó một nhóm tại Technion (viện công nghệIsrael tại Haifa) đã áp ddng các công cd tư hình học metric để giải quyết các biểu lộcảm xúc như phep đẳng cự Một công ty có tên Vision Access tạo ra một giải phápvững chắc cho nhận dạng khuôn mặt 3D Công ty này sau đó đã được mua lại bơi công

ty truy cập sinh trắc học Bioscrypt Inc Công ty đã phát triển một phiên bản được gọi

là 3D FastPass

c) Phân tích kết câu da.

Một xu hướng mới nôi sử ddng các chi tiết hình ảnh của da, được chdp trong cáchình ảnh ky thuật số hoặc máy scan tiêu chuân Ky thuật này được gọi là phân tich kếtcấu da, đưa các đường đặc trưng, hình dạng, và các điểm nốt trên làn da của một ngườivào một không gian toán học

Các thử nghiệm đã chỉ ra rằng với việc bô sung các phân tich cấu trúc của da, hiệuquả trong việc nhận ra khuôn mặt có thể tăng 20-25 phần trăm

1.2.2 Xư lí ảnh đầu vào