ĐỒ ÁN HỆ THỐNG NHÚNG ĐỀ TÀI: MỞ CỬA BẰNG NHẬN DIỆN KHUÔN MẶT SỬ DỤNG ESP32CAM

Công nghệ sinh trắc và nhận dạng bằng khuôn mặt.. Những năm gần đây, khái niệm về Internet of thing IoT không còn xa lạ trong cuộc sống của chúng ta nữa... Công nghệ si

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Lê Văn Cương - B17DCDT027 Trần Đức Hiếu - B17DCDT075.

Nguyễn Quôc Kiên - B17DCDT103.

Hà Nội, tháng 5 năm 2021

MỞ ĐẦU

MỤC LỤC

II Công nghệ sinh trắc và nhận dạng bằng khuôn mặt 5

III Bộ khóa cửa đóng mở bằng nhận diện khuôn mặt 14

Khoa học công nghệ ngày càng đạt được những thành tựu to lớn,

kéo theo đó là sự phát triển vượt bậc trong các ngành nghề có ứng dụng

khoa học kỹ thuật Những năm gần đây, khái niệm về Internet of thing

(IoT) không còn xa lạ trong cuộc sống của chúng ta nữa Nhất là khi

hiện nay, các thiết bị IoT đã được sử dụng tràn ngập, rộng rãi khắp thế

giới Điều đó cho ta thấy được lợi ích của các thiết bị này như thế nào

trong cuộc sống con người

Bên cạnh sự phát triển của IoT, trí tuệ nhân tạo cũng phát triển

vượt bậc trong thời gian vừa qua Bằng chứng là khắp các ngành nghề

đều đang có những ứng dụng sử dụng trí tuệ nhân tạo để nhằm tạo năng

suất lao động tốt hơn, độ chính xác máy cao hơn Các sản phẩm trí tuệ

nhân tạo có tính đột phá, điều mà những năm về trước con người chỉ có

thể xem là viễn tưởng

Việc kết hợp một sản phẩm IoT có ứng dụng của trí tuệ nhân tạo

là tất yếu cũng là xu hướng hiện nay Với đề tài “Bộ khóa cửa nhận

diện bằng khuôn mặt” của nhóm chúng em đang thực hiện, chính là sự

kết hợp đó với mong muốn tìm hiểu và phát triển một sản phẩm công

nghệ theo xu hướng nhưng ứng dụng hiệu quả trong cuộc sống

II Tổng quan về chức năng 22

CHƯƠNG I: GIỚI THIỆU

I Tổng quan

1 Lí do chọn đề tài:

Trong thời đại phát triển hiện nay, vấn đề bảo mật và an ninh là một vấn đề cực kì quan trọng và cần thiết trong cuộc sống, ta có thể thấy được hàng loạt các công nghệ có liên quna và ảnh hưởng đến vấn đề này đang thúc đẩy đời song phát triển mạnh mẽ Từ vấn đề an ninh của các cơ quan, trụ sở cho tới việc đảm bảo antoàn các thiết bị , nhà cửa, công trình,…Điển hình như một thiết lập một hệ thống bảo vệ nhà cửa tránh sự xâm nhập của người lạ cũng như vấn đề trộm cướp Hệ thống đó có thể là một ổ khóa thông minh được người dùng cài đặt mật khẩu là những con số, kí tự, hay bằng vân tay, giọng nói, khuôn mặt,…

Như đã nêu ở trên, những địa điểm đó đều cần có sự bảo mật được đặt lên hàngđầu thì một chiếc khóa cửa bảo vệ lối ra vào để phát hiện, ngăn chặn xâm nhập củangười lạ là vô cùng cần thiết Trong đề tài này, chúng ta sẽ nói về một hệ thống bảo vệ đóng mở cửa bằng phương pháp nhận diện dựa trên công nghệ sinh trắc, cụthể đó là hệ thống mở cửa bằng nhận diện khuôn mặt

2 Vấn đề cần giả quyết:

Với đề tài này chúng ta xác định mục tiêu là vấn đề bảo mật cho lối ra vào của một địa điểm Cụ thể là bộ khóa cửa cho một căn hộ Yêu cầu đặt ra cho bộ khóa này gồm các tiêu chí:

- Nhận diện có độ chính xác cao

- Cho phép người sử dụng lưu khuôn mặt vào dữ liệu vào hệ thống

- Tốc độ mở khóa nhanh, khi có người dùng muốn mở cửa (khóa điện sẽ thức hiện đóng mở ổ khóa) thì camera tiến hành nhận diện khuôn mặt

- Sản phẩm có tính thẩm mỹ

3 Nội dung thực hiện:

Sử dụng các kiến thức đã học trong 2 học phần môn vi điều khiển và trí tuệ nhân tạo để tìm hiểu, xây dựng cấu trúc hoạt động phần cứng của ổ khóa, khả năngnhận diện khuôn mặt của ổ khóa

- Tiến hành thiết lập sơ đồ khối hệ thống

- Xử lí các quá trình nhận diện, cho phép đóng mở cửa

- Thực hiện lắp đặt phần cứng và viết nạp code theo yêu cầu chức năng.

II Công nghệ sinh trắc và nhận dạng bằng khuôn mặt.

1 Công nghệ sinh trắc và bảo mật

Được biết đến như một công nghệ áp dụng các đặc tính sinh học, vật lí hay các các đặc điểm đặc trưng , riêng biệt của các cá thể, cá nhân như dáng đi, giọng nói, vân tay, khuôn mặt,… để nhận biết, nhận dạng Trong tiếng anh Biometric có nghĩa là sinh trắc học Công nghệ sinh trắc được đung trong việc xác nhận thông tin về một cá nhân hay than nhân một cách hiệu quả và chính xác

Hình 1.1 Sơ đồ khối logic chính của hệ thống sinh trắc học

2 Công nghệ nhận dạng khuôn mặt

Nhận dạng khuôn mặt là một ứng dụng máy tính tự động xác định hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc một khung hình video từ một nguồn video Một trong những cách để thực hiện điều này là so sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh và một cơ sở dữ liệu về khuôn mặt

Hệ thống này thường được sử dụng trong các hệ thống an ninh và có thể được so sánh với các dạng sinh trắc học khác như các hệ thống nhận dạng vân tay hay tròngmắt.

❖ Nhận dạng truyền thống

Một số thuật toán nhận dạng khuôn mặt xác định các đặc điểm khuôn mặt bằng cách trích xuất các ranh giới, hoặc đặc điểm, từ một hình ảnh khuôn mặt của đối tượng Ví dụ, một thuật toán có thể phân tích các vị trí tương đối, kích thước, và/hoặc hình dạng của mắt, mũi, gò má, và cằm Những tính năng này sau đó được sử dụng để tìm kiếm các hình ảnh khác với các tính năng phù hợp Các thuật toán bình thường hóa một bộ sưu tập các hình ảnh khuôn mặt và sau đó nén dữ liệu khuôn mặt, chỉ lưu dữ liệu hình ảnh nào là hữu ích cho việc nhận dạng khuôn mặt Một hình ảnh mẫu sau đó được so sánh với các dữ liệu khuôn mặt Một trong những hệ thống thành công sớm nhất dựa trên các kỹ thuật phù hợp với mẫu áp dụng cho một tập hợp các đặc điểm khuôn mặt nổi bật, cung cấp một dạng đại diệncủa khuôn mặt được nén

Các thuật toán nhận dạng có thể được chia thành hai hướng chính, là hình học, đó là nhìn vào tính năng phân biệt, hoặc trắc quang (đo sáng), là sử dụng phương pháp thống kê để 'chưng cất' một hình ảnh thành những giá trị và so sánh các giá trịvới các mẫu để loại bỏ chênh lệch

Các thuật toán nhận dạng phổ biến bao gồm Principal Component

Analysis (Phép phân tích thành phần chính) sử dụng các khuôn mặt riêng, Linear Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph

Matching sử dụng thuật toán Fisherface, các mô hình Markov ẩn, Multilinear Subspace Learning (Luyện nhớ không gian con đa tuyến) sử dụng đại diện cơ

căng, và theo dõi liên kết động thần kinh

❖ Nhận dạng 3D

Một xu hướng mới nổi lên, tuyên bố cải thiện được độ chính xác, là nhận dạng khuôn mặt ba chiều Kỹ thuật này sử dụng các cảm biến 3D để nắm bắt thông tin về hình dạng của khuôn mặt Thông tin này sau đó được sử dụng để xác định các tính năng đặc biệt trên bề mặt của một khuôn mặt, chẳng hạn như các đường viền của hốc mắt, mũi và cằm

Một lợi thế của nhận dạng khuôn mặt 3D là nó không bị ảnh hưởng bởi những thay đổi trong ánh sáng như các kỹ thuật khác Nó cũng có thể xác định một khuônmặt từ một loạt các góc nhìn, trong đó có góc nhìn nghiêng Các điểm dữ liệu ba chiều từ một khuôn mặt cải thiện lớn độ chính xác cho nhận dạng khuôn mặt Nghiên cứu 3D được tăng cường bởi sự phát triển của các bộ cảm biến tinh vi giúp nắm bắt hình ảnh chụp khuôn mặt 3D được tốt hơn Các cảm biến hoạt động bằng cách chiếu ánh sáng có cấu trúc lên gương mặt Hàng chục hoặc nhiều hơn nữa cácbộ cảm biến hình ảnh này có thể được đặt lên trên cùng một con chip CMOS-mỗi cảm biến sẽ thu một phần khác nhau của hình ảnh

Ngay cả một kỹ thuật 3D hoàn hảo cũng có thể gặp khó khăn bởi các sắc thái biểu cảm trên gương mặt Để đạt được mục tiêu đó một nhóm tại Technion (viện công nghệ Israel tại Haifa) đã áp dụng các công cụ từ hình học metric để giải quyếtcác biểu lộ cảm xúc như phép đẳng cự Một công ty có tên Vision Access tạo ra một giải pháp vững chắc cho nhận dạng khuôn mặt 3D Công ty này sau đó đã được mua lại bởi công ty truy cập sinh trắc học Bioscrypt Inc Công ty đã phát triển một phiên bản được gọi là 3D FastPass

CHƯƠNG II : NGHIÊN CỨU TỔNG QUAN

I Hệ thống nhận diện khuôn mặt

1 Bài toán nhận diện mặt người

Hệ thống nhận dạng mặt người là một hệ thống nhận vào một ảnh hoặc đoạnvideo (một dòng gồm các ảnh liên tục) Qua quá trình xử lí, tính toán hệ thống xác định vị trí mặt người có trong ảnh và xác định là người nào trong số nhữngngười mà hệ thống biết (qua quá trình học) hoặc người lạ

2 Những tham số của hình ảnh khuôn mặt

Khuôn mặt con người vốn dĩ đa dạng Điều này khiến cho hình ảnh thu được của khuông mặt rất phong phú, có thể chỉ ra một số tham số cho các hình ảnh này như:

- Góc quay xung quanh trục thẳng đứng: tham số này ảnh hưởng tới tính đối xứng của khuôn mặt, đồng thời che lấp một con mắt và làm thay đổi hình ảnh hiển thị của những chi tiết khác trên khuôn mặt

- Góc quay xung quanh trục nằm ngang: ứng với tư thế ngẩng hay cúi đầu của đối tượng thu nhập trước máy quay, tham số này ảnh hưởng tới sự hiện diện của một số chi tiết quan trọng trên khuôn mặt như đôi mắt, vùng trán hay vùng miệng

- Góc quay xung quanh trục nối liền khuôn mặt với máy quay: tham số nàykhông biểu hiện đến những chi tiết trên khuôn mặt và có thể khôi phục vềvị trí thẳng đứng bằng phép xử lí quay hình

- Kích thước khuôn mặt

- Tỉ lệ của các chiều của khuôn mặt

- Cảm xúc của khuôn mặt: tham số này làm thay đổi hình ảnh hiển thị của những chi tiết trên khuôn mặt

3 Ý tưởng xử lí bài toán.

Việc giải quyết bài toán tổng quát là vô cùng khó khăn và hiện tại chưa có một giải pháp toàn vẹn Đã có rất nhiều phương pháp đã đề xuất và được phát triển trong những năm gần đây Mỗi phương pháp có hướng tiếp cận riêng

nhằm giải quyết bàitoán theo những tiêu chí cụ thể.Có thể phân nhóm thành haihướng tiếp cận chính:

- Những phương pháp dựa trên hình ảnh khuôn mặt (image-based

approaches)

- Những phương pháp dựa trên cấu trúc hình học của khuôn mặt

(geomatrical- based approaches)

Hướng tiếp cận thứ nhất tìm cách xây dựng những bộ phân lớp được huấn luyệntrên một tập mẫu (bao gồm những ảnh khuôn mặt đã được chuẩn hóa và những ảnh bất kỳ không chứa khuôn mặt được gọi là ảnh không-phải-là-mặt) có sẵn Những bộ phân lớp sau khi huấn luyện sẻ được sử dụng để xác định xem vùng ảnh trong cửasổ quét bất kỳ thuộc lớp khuôn mặt hay lớp không-phải-là-mặt Hướng tiếp cận thứ hai cố gắng phát hiện ra những chi tiết đặc trưng cho khuôn mặtnhư: mắt, mũi, miệng,… có trong toàn bộ ảnh hoặc vùng ảnh trong cửa sổ quét Những chi tiết sau khi phát hiện sẽ được so khớp với một mô hình khuôn mặt mẫudựa trên cấu trúc hình học của khuôn mặt nói chung, từ đó dự đoán xem vùng ảnh đó là khuôn mặt hay không phải là khuôn mặt

II Tìm hiểu tổng quát về ESP32.

ESP32 là chip kết hợp Wi-Fi và Bluetooth 2,4 GHz được thiết kế với TSMC

40 nm công suất cực thấpCông nghệ Nó được thiết kế để đạt được công suất vàhiệu suất RF tốt nhất, thể hiện sự mạnh mẽ, linh hoạt vàđộ tin cậy trong nhiều ứng dụng và các kịch bản điện năng

Dòng chip ESP32 bao gồm ESP32-D0WD-V3, ESP32-D0WDQ6-V3,

D0WD, D0WDQ6,D2WD, S0WD và U4WDH, trong đó, ESP32-D0WD-V3, ESP32-D0WDQ6-V3,và ESP32-

ESP32-U4WDH dựa trên tấm wafer ECO V3

1 CPU và bộ nhớ.

- Bộ lệnh 16/24-bit cung cấp mật độ mã cao

- Hỗ trợ cho Đơn vị dấu chấm động

- Hỗ trợ các lệnh DSP, chẳng hạn như bộ nhân 32 bit, bộ chia 32 bit và MAC 40 bit

- Hỗ trợ 32 vectơ ngắt từ khoảng 70 nguồn ngắt

Các giao diện CPU đơn / kép bao gồm:

- Giao diện RAM / ROM Xtensa cho các hướng dẫn và dữ liệu

- Giao diện bộ nhớ cục bộ Xtensa để truy cập thanh ghi ngoại vi nhanh chóng

- Nguồn ngắt bên ngoài và bên trong

- JTAG để gỡ lỗi

1.2 Bộ nhớ.

Bộ nhớ trong của ESP32 bao gồm:

- 448 KB ROM để khởi động và các chức năng cốt lõi

- 520 KB SRAM trên chip cho dữ liệu và hướng dẫn

- 8 KB SRAM trong RTC, được gọi là Bộ nhớ NHANH RTC và có thể được sử dụng để lưu trữ dữ liệu; nó được truy cậpbởi CPU chính trongkhi Khởi động RTC từ chế độ Ngủ sâu

- 8 KB SRAM trong RTC, được gọi là Bộ nhớ RTC SLOW và có thể được truy cập bởi bộ đồng xử lýtrong chế độ Ngủ sâu

- 1 Kbit của eFuse: 256 bit được sử dụng cho hệ thống (địa chỉ MAC vàcấu hình chip) và phần còn lại768 bit được dành riêng cho các ứng dụng của khách hàng, bao gồm mã hóa flash và ID chip

- Đèn flash nhúng

2 Timers and Watchdogs.

2.1 Bộ hẹn giờ 64bit.

Có bốn bộ hẹn giờ có mục đích chung được nhúng trong chip Chúng đều là bộ định thời chung 64 bit dựa trêntrên bộ đếm trước 16 bit và bộ định thời gian lên / xuống có khả năng tự động tải lại 64 bit

Tính năng hẹn giờ:

- Bộ định mức đồng hồ 16 bit, từ 2 đến 65536

- Bộ đếm thời gian 64 bit

- Bộ đếm thời gian lên / xuống có thể định cấu hình: tăng hoặc giảm

- Tạm dừng và tiếp tục bộ đếm gốc thời gian

- Tự động tải lại khi báo động

- Tải lại tức thì do phần mềm kiểm soát

- Tạo mức và ngắt cạnh

2.2 Bộ định thời gian cho cơ quan giám sát.

Con chip này có ba bộ định thời cơ quan giám sát: một bộ định thời trong mỗi hai mô-đun bộ định thời (được gọi là Bộ định thời cơ quan giám sát chính, hoặcMWDT) và một trong mô-đun RTC (được gọi là RTC WatchdogTimer, hoặc RWDT) Những bộ hẹn giờ của cơ quan giám sát này là nhằm khôi phục từ một lỗi không mong muốn khiến chương trình ứng dụng từ bỏ trình tự bình thường của nó Bộ đếm thời gian watchdog có bốn giai đoạn Mỗi giai đoạn có thể kích hoạt một trong ba hoặc bốn hành động có thể xảy

ra khi hết hạn khoảng thời gian lập trình của nó, trừ khi cơ quan giám sát được cho ăn hoặc bị vô hiệu hóa Các hành động là: ngắt, đặt lại CPU và đặt lại hệ thống Chỉ RWDT mới có thể kích hoạt thiết lập lại hệ thống và có thể

đặt lại toàn bộ chip,bao gồm cả RTC Giá trị thời gian chờ có thể được đặt cho từng giai đoạn riêng lẻ.

Trong quá trình khởi động flash, RWDT và MWDT đầu tiên sẽ tự động khởiđộng để phát hiện và khôi phục từ quá trình khởi động các vấn đề

Cơ quan giám sát có các tính năng sau:

- Bốn giai đoạn, mỗi giai đoạn có thể được cấu hình hoặc tắt riêng biệt

- Khoảng thời gian có thể lập trình cho từng giai đoạn

- Một trong ba hoặc bốn hành động có thể xảy ra (ngắt, đặt lại CPU, đặtlại lõi và đặt lại hệ thống) khi hết hạn mỗi giai đoạn

- Bộ đếm hết hạn 32 bit

- Bảo vệ ghi để ngăn cấu hình RWDT và MWDT vô tình bị thay đổi

- Bảo vệ khởi động bằng flash SPI Nếu quá trình khởi động từ đèn flashSPI không hoàn thành trong một khoảng thời gian, cơ quan giám sát sẽ khởi động lại toàn bộ hệ thống

5.1 WiFi Radio and Baseband.

Wi-Fi Radio và băng tần cơ sở ESP32 hỗ trợ các tính năng sau:

- 802.11b / g / n

- 802.11n MCS0-7 ở cả băng thông 20 MHz và 40 MHz

- 802.11n MCS32 (RX)

- 802.11n protection interval 0.4i s

- Tốc độ dữ liệu lên đến 150 Mbps

- Nhận STBC 2 × 1

- Công suất phát lên đến 20,5 dBm

- Công suất phát có thể điều chỉnh

- Đa dạng ăng-ten

5.2 WiFi MAC.

ESP32 Wi-Fi MAC tự động áp dụng các chức năng giao thức cấp thấp:

- 4 × giao diện Wi-Fi ảo

- Chế độ Trạm BSS Cơ sở hạ tầng đồng thời / Chế độ SoftAP / Chế độ Promiscuous.

- Bảo vệ RTS, bảo vệ CTS, ACK chặn ngay lập tức

- Chống phân mảnh

6.1 Bluetooh Radio and Baseband.

Bluetooth Radio và Baseband hỗ trợ các tính năng sau:

- Công suất đầu ra truyền lớp 1, lớp 2 và lớp 3 và phạm vi điều khiển động lên đến 24 dB

- Điều chế π / 4-DQPSK và 8 DPSK

- Hiệu suất cao ở độ nhạy máy thu NZIF với dải động hơn 94 dBm

- Hoạt động lớp 1 không có PA bên ngoài

- SRAM nội bộ cho phép truyền dữ liệu tốc độ cao, thoại và dữ liệu hỗnhợp cũng như hoạt động piconet đầy đủ

- Logic để sửa lỗi chuyển tiếp, kiểm soát lỗi tiêu đề, tương quan mã truy cập, CRC, giải điều chế,mã hóa tạo dòng bit, làm trắng và truyền định hình xung

- ACL, SCO, eSCO và AFH

- Giải A-law digital audio code ,i -law và CVSD trong giao diện PCM

- SBC audio CODEC

- Quản lý nguồn điện cho các ứng dụng tiêu thụ điện năng thấp

- SMP với 128-bit AES

6.2 Giao diện Bluetooth.

- Cung cấp giao diện UART HCI, lên đến 4 Mbps

- Cung cấp giao diện SDIO / SPI HCI

- Cung cấp giao diện âm thanh PCM / I²S

Bộ điều khiển liên kết hoạt động ở ba trạng thái chính: chờ, kết nối và đánh hơi Nó cho phép nhiều kết nối,và các hoạt động khác.

7 Thiết bị ngoại vi và Cảm biến.

- Giao diện đầu vào / đầu ra mục đích chung (GPIO)

- Bộ chuyển đổi số tương tự (ADC)

- Cảm biến Hall

- Bộ chuyển đổi DigitaltoAnalog (DAC)

- Cảm biến, cảm ứng

- Bộ đồng xử lý UltraLowPower

- Giao diện MAC Ethernet

- Bộ điều khiển máy chủ SD / SDIO / MMC

- Bộ điều khiển Slave SDIO / SPI

- Máy phát thu không đồng bộ đa năng (UART)

- Giao diện I²C

- Giao diện I²S

- Bộ điều khiển từ xa hồng ngoại

- Bộ đếm xung

- Điều chế độ rộng xung (PWM)

- LED PWM

- Giao diện ngoại vi nối tiếp (SPI)

- Bộ điều khiển TWAI

- Bộ tăng tốc

III Bộ khóa cửa đóng mở bằng nhận diện khuôn mặt

1 Module ESP32 CAM

a Giới thiệu ESP32 – CAM và các thông số kĩ thuật

- ESP32-CAM có một module camera cỡ nhỏ có thể hoạt động như một hệ thống độc lập với kích thước 27x40.5x4.5mm và dòng ở chế độ deep sleep lên đến 6mA

- ESP32-CAM được đóng gói DIP-16 (Dual In-line Package) và có thể được lắp trực tiếp vào bo mạch chủ, cung cấp cho khách hàng chế độ kết nối với độ tin cậy cao, thuận tiện cho việc ứng dụng trong các thiết bị IoT khác nhau

- Module cần phải được lập trình với ESP-IDF và không hỗ trợ Arduino IDE

Hình 2.1 Module ESP32- CAM

Thông số kỹ thuật:

Điện áp cung cấp 5V

SPI Flash Mặc định 32MB

Bộ nhớ ngoài Khe cắm thẻ micro SD lên đến 4GBBluetooth Chuẩn Bluetooth 4.2 BR/EDR và BLE