Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen người dùng

Lưu dữ ảnh mẫu mang đi so sánh với các dữ liệu khuôn mặt và nhận dạng thành công sớm nhất dựa trên các kỹ thuật phù hợp với mẫu áp dụng cho một tập hợp các đặc điểm khuôn mặt nổi bật, c

Tôi xin gửi lời cảm ơn chân thành đến thầy TS Trần Trọng Toàn đã toàn tâm tận tình hướng dẫn và giúp đỡ tôi trong suốt quá trình thực hiện luận văn

Cảm ơn các thầy, các cô Khoa Công Nghệ Thông Tin và Viễn Thông, các Thầy, các Cô của Học Viện Khoa học và Công Nghệ Việt Nam tham gia giảng dạy và truyền đạt kiến thức cho bản thân tôi trong suốt khóa học 2018 – 2020

Cảm ơn công ty vận tải Nguyễn Long đã cho tác giả sử dụng dữ liệu tháng 11/2021 để làm cơ sở thực tiễn nghiên cứu và phát triển phần mềm

Tôi xin chân thành cảm ơn đến Thầy TS Trương Nguyên Vũ – Viện

trưởng Viện Cơ học và Tin học ứng dụng thuộc Viện Hàn Lâm Khoa Học và Công Nghệ Việt Nam đã hỗ trợ tôi trong suốt quá trình học tập tại Viện Cơ học

và Tin học ứng dụng, cũng như các nghiên cứu chuyên sâu và giúp tôi thực hiện luận văn này

Chân thành cảm ơn đến gia đình, bạn bè, các Anh chị đồng nghiệp trong Viện Cơ học và Tin học ứng dụng đã giúp đỡ, đóng góp ý kiến, động viên tinh thần cho tôi giúp tôi có thêm nghị lực để hoàn thành luận văn này

Trân trọng cảm ơn!

Tác giả luận văn

Hoàng Văn Trọng

Bảng 1: Bảng thể thông tin cơ sở lưu trữ khuôn mặt 20

Bảng 2: Bảng dữ liệu cấu trúc chỉnh sửa thông tin khuôn mặt 21

Bảng 3: Bảng cấu trúc dữ liệu truy vấn thông tin khuôn mặt 22

Bảng 4: Bảng kết quả trả về sau mỗi lần truy vấn thông tin khuôn mặt 23

Hình 1: Các điểm nhận dạng 5

Hình 2: Camera nhận diện khuôn mặt điểm 6

Hình 3: Nhận diện khuôn mặt bằng thiết bị di động 7

Hình 4: Sơ đồ các rút trích đặc trưng theo Phương pháp LBP 12

Hình 5: Phương pháp tiêp cận Local Binary Pattern 13

Hình 6: Thư viện EmguCV của OPenCV ngôn ngữ C# 14

Hình 7: Nhận dạng khuôn mặt và quay tròn khuôn mặt 15

Hình 8: Giao diện đăng nhập 26

Hình 9: Minh họa danh mục nhập liệu 26

Hình 10: Nhập lệnh điều xe 27

Hình 11: Thông tin chuyến hàng chờ điều xe 27

Hình 12: Giao diện lương cho tài xế 28

Hình 13: Chi phí xe hàng thanh toán 30

Hình 14: Theo dõi lịch trình tài xế và đơn hàng vận chuyển 31

Hình 15: Giao diện camera trên Web 36

Hình 16: Sơ đồ nhận dạng khuôn mặt 37

Hình 17: Kết quả nhận diện khuôn mặt và độ sai lệch 38

Hình 18: Màn hình nhập dữ liệu tài xế mới 39

Hình 19: Hình ảnh khuôn mặt tài xế 39

Hình 20: Báo cáo lịch sử nhận dạng tài xế 40

Hình 21: Thống kê xe và tài xế 40

Hình 22: Báo cáo thống kê tài xế 42

Hình 23: Báo cáo phân tích thống kế trực quan 43

LỜI CAM KẾT i

LỜI CẢM ƠN ii

DANH MỤC CÁC BẢNG BIỂU iii

DANH SÁCH CÁC HÌNH iv

CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU 1

1.1 Đặt vấn đề nghiên cứu luận văn 1

1.2 Mục tiêu nghiên cứu của luận văn 2

1.3 Đối tượng nghiên cứu và phạm vi nghiên cứu của luận văn 2

1.4 Phương pháp nghiên cứu luận văn 2

CHƯƠNG 2: HỆ THỐNG GIÁM SÁT VÀ NHẬN DẠNG 3

2.1 Tổng quan về nhận dạng 3

2.2 Các kỹ thuật về nhận dạng khuôn mặt 3

2.3 Camera nhận dạng khuôn mặt 4

CHƯƠNG 3: CÁC THUẬT TOÁN VÀ PHƯƠNG PHÁP NHẬN DẠNG 9

3.1 Phương pháp cân sáng bằng Histogram 9

3.2 Phương pháp phân tích thành phần chính 9

3.3 Phương pháp nhận dạng khuôn mặt FisherFace 10

3.4 Phương pháp nhận dạng khuôn mặt Local Binary Pattern (LBP) 12

3.5 Phương pháp nhận dạng dùng thư viện EmguCV 14

3.6 Phương pháp nhận dạng không gian 3 chiều 15

CHƯƠNG 4: PHẦN MỀM VẬN TẢI ĐIỀU XE TÍCH HỢP CAMERA NHẬN DẠNG 16

4.1 Giới thiệu vấn đề bài toán vận tải 16

4.3 Lựa chọn ngôn ngữ xây dựng cơ sở dữ liệu 24

4.4 Xây dựng giao diện phần mềm vận tải hiển thị thông tin 26

4.4 Tích hợp nhận dạng bằng Camera 35

CHƯƠNG 5: KẾT LUẬN 44

TÀI LIỆU THAM KHẢO 46

CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU 1.1 Đặt vấn đề nghiên cứu luận văn

Khoa học công nghệ rất quan trọng trong công cuộc công nghiệp hóa, hiện đại hóa đất nước là sự phát triển khoa học của mỗi quốc gia Khoa học kỹ thuật, công nghệ phát triển với tốc độ khá nhanh và mang lại những lợi ích cho con người về tất cả mọi phương diện

Phát triển khoa học kỹ thuật công nghệ làm thay đổi tư duy thói quen của nhân loại, ứng dụng khoa học công nghệ vào thực tế đưa ra cảnh báo, đồng thời tránh những rủi ro và sai sót không đáng có Giảm thiểu chi phí, sức lao động đồng thời tăng năng suất lao động, tăng giá trị cạnh tranh cũng cần có nhiều trang thiết bị, nhiều dây chuyền tự động, ứng dụng công nghệ vào trong quản lý

Xuất phát từ nhu cầu thực tế trên tác giả xây dựng hệ thống phần quản lý vận tải điều xe có tích hợp camera nhận dạng khuôn mặt tự động để đưa ra phân tích, đánh giá tình huống chính xác nhất

Hỗ trợ doanh nghiệp dịch vụ vận tải logistics trong việc giám sát, phân công hành trình vận chuyển theo đơn hàng từ nơi giao nhận hàng hóa đến kho đóng/ rút của khách hàng và trả về nơi hạ công rỗng Dựa vào số liệu có thể phân tích hình ảnh nhân viên đi ngang qua tầm giám sát của camera về tiến độ và hiệu quả công việc của nhân viên

Khái quát về hệ thống phân tích, hoạt động nguồn dữ liệu có sẵn để làm cơ

sở phân tích, lý luận cho luận văn nghiên cứu Đánh giá thực trạng các hoạt động trong quản trị số liệu trong phần mềm quản lý, phân tích được các nhân tố ảnh hưởng đến hoạt động kinh doanh, hoạt động quản trị nguồn nhân lực, tiến độ làm việc nhân viên để phát huy được những điểm mạnh và khắc phục điểm yếu nhằm tìm ra những cơ hội để có thể tận dụng và né tránh những nguy cơ không phù hợp,

đề xuất ra các giải pháp nhằm hoàn thiện bộ máy hoạt động quản trị hệ thống

Tác giả đã chọn “Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen người dùng” để làm đề tài nghiên cứu và thiết kế hệ thống phần mềm quản trị tích hợp nhận dạng này để kiểm chứng giải thuật điều khiển đưa ra

1.2 Mục tiêu nghiên cứu của luận văn

Luận văn “Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen của người dùng” sử dụng các thuật toán, camera để phân tích, nhận dạng khuôn mặt của các tài xế

1.3 Đối tượng nghiên cứu và phạm vi nghiên cứu của luận văn

Khuôn mặt của tài xế, camera và dữ liệu nhân viên lái xe

1.4 Phương pháp nghiên cứu luận văn

Ứng dụng các thuật toán phương pháp nhận dạng khuôn mặt

Xây dựng phần mềm quản trị hệ thống, quản trị dữ liệu logistics trong vận tải Phát triển ứng dụng trên nền.NET Framework kết hợp với các qui trình và nghiệp vụ xử lý để tạo nên hệ thống phần mềm quản lý vận tải

Nghiên cứu cách thức nhận dạng khuôn mặt người bằng camera, xây dựng chương trình xư lý tình huống và xử lý thông tin

CHƯƠNG 2: HỆ THỐNG GIÁM SÁT VÀ NHẬN DẠNG

2.1 Tổng quan về nhận dạng

Hệ thống nhận dạng khuôn mặt là một ứng dụng máy tính tự động xác định hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc một khung hình video từ một nguồn video Một trong những cách để thực hiện điều này là so sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh và một cơ sở dữ liệu về khuôn mặt

Hệ thống này thường được sử dụng trong các hệ thống an ninh và có thể được so sánh với các dạng sinh trắc học khác như các hệ thống nhận dạng vân tay hay tròng mắt

2.2 Các kỹ thuật về nhận dạng khuôn mặt

Các thuật toán nhận dạng khuôn mặt xác định các đặc điểm khuôn mặt bằng cách trích xuất các ranh giới các đặc điểm hình ảnh khuôn mặt của đối tượng Có thể phân tích các vị trí tương đối, kích thước hay hình dạng của mắt, mũi, gò má, và cằm để tìm kiếm các hình ảnh khác với các tính năng phù hợp Các thuật toán bình thường lưu giữ các hình ảnh khuôn mặt, nén dữ liệu khuôn mặt, chỉ lưu dữ liệu hình ảnh cho việc nhận dạng khuôn mặt Lưu dữ ảnh mẫu mang đi

so sánh với các dữ liệu khuôn mặt và nhận dạng thành công sớm nhất dựa trên các kỹ thuật phù hợp với mẫu áp dụng cho một tập hợp các đặc điểm khuôn mặt nổi bật, cung cấp một dạng đại diện của khuôn mặt được nén

Các thuật toán nhận dạng có thể được chia thành hai hướng chính, là hình học, đó là nhìn vào tính năng phân biệt, trắc quang (đo sáng) sử dụng phương pháp thống kê hình ảnh thành những giá trị và so sánh các giá trị với các mẫu để loại bỏ chênh lệch

Nhận dạng hình ảnh theo không gian 3 chiều sử dụng các cảm biến 3D để nắm bắt thông tin về hình dạng của khuôn mặt để xác định các tính năng đặc biệt trên bề mặt của một khuôn mặt bao gồm các đường viền của hốc mắt, mũi, cằm

và gò má Nhận dạng khuôn mặt 3D không bị ảnh hưởng bởi những thay đổi trong ánh sáng có thể xác định một khuôn mặt từ một loạt các góc nhìn, trong đó có góc nhìn nghiêng Các điểm dữ liệu ba chiều từ một khuôn mặt cải thiện lớn độ chính xác cho nhận dạng khuôn mặt tăng cường của các bộ cảm biến tinh vi giúp nắm bắt hình ảnh chụp khuôn mặt tốt hơn Các cảm biến hoạt động bằng cách chiếu ánh sáng có cấu trúc lên gương mặt các bộ cảm biến hình ảnh được đặt lên trên cùng một con chip CMOS-mỗi cảm biến sẽ thu một phần khác nhau của hình ảnh

Nhận dạng thông qua phân tích kết cấu da sử dụng các chi tiết hình ảnh của da, được chụp trong các hình ảnh kỹ thuật số hoặc máy scan tiêu chuẩn Kỹ thuật này được gọi là phân tích kết cấu da, đưa các đường đặc trưng, hình dạng,

và các điểm nốt trên làn da của một người vào một không gian toán học Các thử nghiệm đã chỉ ra rằng với việc bổ sung các phân tích cấu trúc của da, hiệu quả trong việc nhận ra khuôn mặt có thể tăng 20-25 phần trăm

2.3 Camera nhận dạng khuôn mặt

Công nghệ nhận diện khuôn mặt là một loại phần mềm sinh trắc học ánh

xạ các đặc điểm khuôn mặt của một cá nhân về mặt toán học và lưu trữ dữ liệu dưới dạng faceprint (dấu khuôn mặt) Công nghệ sử dụng các thuật toán Deep Learning để so sánh ảnh chụp trực tiếp hoặc hình ảnh kỹ thuật số với faceprint được lưu trữ để xác minh danh tính của một cá nhân

Phần mềm xác định 80 điểm nút trên khuôn mặt người Các điểm nút được

sử dụng để đo các biến trên khuôn mặt người, như chiều dài hoặc chiều rộng của mũi, độ sâu của hốc mắt và hình dạng của xương gò má Hệ thống hoạt động bằng cách thu thập dữ liệu cho các điểm nút trên hình ảnh kỹ thuật số của khuôn mặt

và lưu trữ dữ liệu kết quả dưới dạng faceprint

Faceprint sau đó được sử dụng làm cơ sở để so sánh với dữ liệu được chụp

từ các khuôn mặt trong một hình ảnh hoặc video

Mặc dù hệ thống nhận diện khuôn mặt chỉ sử dụng 80 điểm nút, nhưng nó

có thể xác định nhanh chóng và chính xác mục tiêu khi điều kiện thuận lợi Tuy nhiên, nếu khuôn mặt của chủ thể bị che khuất một phần, loại phần mềm này trở nên ít đáng tin cậy hơn

Camera tích hợp nhận diện khuôn mặt là một ứng dụng của công nghệ Facial Recognition (công nghệ nhận diện khuôn mặt) Camera có khả năng so sánh các khuôn mặt nó quan sát được với khuôn mặt cho sẵn trong cơ sở dữ liệu như hình 1

Hình 1: Các điểm nhận dạng

Camera nhận dạng gương mặt gồm có 2 thành phần chính: Cảm biến thu nhận hình ảnh là thiết bị thu hình ảnh - video quan sát, cung cấp nguồn dữ liệu cho phần mềm nhận diện làm việc Phần mềm nhận diện khuôn mặt được tích hợp nhận các dữ liệu hình ảnh - video thu được từ Camera quan sát để thực hiện các

xử lý nhận diện khuôn mặt Xử lý nhận diện khuôn mặt tiên tiến nhất hiện nay là

so sánh các đặc điểm trên khuôn mặt thu được với khuôn mặt từ dữ liệu mẫu được cho trước độ tuổi, chiều cao, giới tính, biểu cảm

Ứng dụng camera nhận dạng đang có nhiều ưu thế và một trong những ứng dụng đó là tích hợp hệ thống điểm danh điện tử hệ thống camera giám sát đều được ghi nhận xác định vật thể và nhận dạng khuôn mặt người đã được mã hóa theo một mã code nhất định Phương pháp điểm danh xác định vật thể trước đây còn rất hạn chế, ngày nay phương pháp được cải tiến rất nhiều từ các nhà phát triển thiết bị Mô hình điểm danh điện tử rất cần thiết để đưa ra được giá trị chính xác hạn chế nhân lực, tốn thời gian minh họa như Hình 2

Hình 2: Camera nhận diện khuôn mặt điểm

Nhận diện gương mặt có rất nhiều tiềm năng phát triển lớn trong tương lai gần và đặc biệt trong thời đại của các thiết bị công nghệ thông tin bùng nổ như hiện nay

Hệ thống camera nhận diện gương mặt sẽ hỗ trợ cho con người trong việc kiểm soát an ninh, kiểm soát lượng người ra vào trong 1 khu vực nhỏ như một tòa nhà mà hoàn toàn có thể là 1 hệ thống an ninh mạng tính hệ thống trong khu vực lớn và cũng có thể kết nối mạng lưới camera trên toàn quốc được kết nối đến 1

cơ sở dữ liệu các gương mặt của các tội phạm đang bị truy nã

Bảo mật thiết bị di động: hiện nay trên thế giới có rất nhiều hãng sản xuất các thiết bị di động tích hợp tính năng nhận diện gương mặt vào thiết bị của họ như

là 1 chức năng bảo mật theo hãng Microsoft có tính năng mở khóa bằng khuôn mặt Window Hello và Apple có công nghệ FaceID minh họa như Hình 3

Hình 3: Nhận diện khuôn mặt bằng thiết bị di động

Chăm sóc khách hàng nhận diện gương mặt khách hàng nắm được các thói quen tiêu dùng của họ sẽ rất hữu ích trong kinh doanh như dịch vụ bán lẻ, dịch

vụ ăn uống, nhà hàng, sân bay, nhà ga, nơi công cộng Khi có thông tin khách hàng sẽ cải thiện đáng kể chất lượng dịch vụ và tư vấn bán hàng sẽ cải thiện đáng

kể khả năng thuyết phục khách hàng ra quyết định mua hàng

Sử dụng công nghệ nhận diện khuôn mặt có thể mang đến một loạt các lợi ích tiềm năng như: Không cần phải trực tiếp tiếp xúc với thiết bị để xác thực chỉ cần dùng sinh trắc học dựa trên tiếp xúc khác như máy quét dấu vân tay, có thể không hoạt động chính xác nếu có vết bẩn trên tay của một người Cải thiện mức

độ bảo mật và xử lý ít hơn so với các kỹ thuật xác thực sinh trắc học khác Dễ dàng tích hợp với các tính năng bảo mật hiện có Độ chính xác được cải thiện theo thời gian Có thể được sử dụng để giúp tự động hóa việc xác thực

Công nghệ nhận diện khuôn mặt đã đang được áp dụng rộng rãi hiện nay

và có thể trong tương lai, công nghệ này sẽ càng phát triển hơn nữa, áp dụng hữu ích trong cuộc sống công nghệ hóa hiện đại

Trên thị trường có rất nhiều loại camera đã tích hợp sẵn công nghệ nhận dạng với nhiều mẫu mã khác nhau Vấn đề sàng lọc tìm hiểu sử dụng camera phù hợp dễ dàng làm chủ và tích hợp vào hệ thống quản lý trong doanh nghiệp thì đòi hỏi chúng ta phải truy vấn, lập trình điều khiển được chúng Phát triển thêm dựa trên hệ thống web API (phương thức, giao thức kết nối), cấu hình hoặc phân luồng tài nguyên ảnh trong việc lưu, trả dữ liệu hình ảnh

Có thể chia sẽ dữ liệu ảnh và phân vùng lưu trữ bằng các thiết bị ngoài như

ổ cứng, hosting, …Sử dụng camera quan sát/thiết bị có cùng chức năng để lấy dữ liệu, phân tích dữ liệu được trích xuất từ hình ảnh, từ mẫu, So sánh dữ liệu thu thập sẽ được với dữ liệu có sẵn trong cơ sở dữ liệu, sử dụng thuật toán GLVQ (Generalized Learning Vector) để so sánh đa diện, kết hợp giữa nhận diện nét mặt cùng với đó là trích xuất vùng mắt, giải thuật được xây dựng dựa trên ứng dụng công nghệ mạng Neuron

CHƯƠNG 3: CÁC THUẬT TOÁN VÀ PHƯƠNG PHÁP NHẬN DẠNG 3.1 Phương pháp cân sáng bằng Histogram

Camera thường chịu tác động của ánh sáng thường có hình ảnh quá sáng hoặc quá tối, thường dùng cân bằng histogram để xử lý và cân bằng

Phương pháp histogram tiền xử lý cho chất lượng hình ảnh video Khi đó, gọi N

là hàm biến đổi cần xác định với N(i) với i thuộc trong khoảng [0, 255] Đếm số lượng pixel cho từng mức sáng histogram là H(i)

Tính hàm tích lũy cho từng mức sáng với số pixel, giá trị nhỏ hơn hoặc bằng i Khi đó ta có, T (i) = ∑ij=0𝑁(𝑖) Vậy hàm biến đổi N (i) = 𝑇(𝑖) − 𝑚𝑖𝑛(𝑇)

𝑚𝑎𝑥 (𝑇) −𝑚𝑖𝑛(𝑇)∗ 255

3.2 Phương pháp phân tích thành phần chính

Theo tài liệu tham khảo số [12], Phân tích thành phần chính là thuật toán PCA viết tắt của cụm từ Principal Component Analysis là giảm số chiều của tập vector vẫn bảo đảm thông tin quan trọng

Phát hiện khuôn mặt tìm và định vị những vị trí khuôn mặt xuất hiện trong ảnh hoặc trên các frame video Phân đoạn khuôn mặt sẽ xác định vị trí mắt mũi, miệng, và các thành phần khác của khuôn mặt và chuyển kết quả này cho bước rút trích đặc trưng Từ những thông tin về các thành phần trên khuôn mặt, chúng

ta có thể dễ dàng tính được véc-tơ đặc trưng trong bước rút trích đặc trưng để phân loại khuôn mặt

Tập khuôn mặt riêng từ thư viện ảnh mẫu tính của các khuôn mặt riêng Tính gần đúng bằng cách chọn M’ khuôn mặt riêng tốt nhất tức là những khuôn mặt riêng có giá trị riêng lớn nhất Nó miêu tả sự biến thiên lớn nhất trong tập ảnh mẫu M’ khuôn mặt riêng này tạo ra một không gian con M’ chiều gọi là

“không gian khuôn mặt” của tất cả các khuôn mặt có thể tồn tại ta sử dụng thuật toán PCA trong [13],[14]

3.3 Phương pháp nhận dạng khuôn mặt FisherFace

Phương pháp nhận dạng khuôn mặt phân tích các thành phần cơ bản để

tạo ra các ma trận thành các vector được nêu ra bởi Belhumeur

Phương pháp nhận dạng khuôn mặt fisherface đuợc mô tả bởi Belhumeur

và cộng sự sử dụng cả phân tích thành phần cơ bản - Principal Components Analysis (PCA) và phân tích phân biệt tuyến tính - Linear Discriminant Analysis (LDA) để tạo ra một ma trận chiếu không gian con, tương tự như được sử dụng trong phương pháp eigenface Phương pháp fisherface có thể tận dụng lợi thế của thông tin trong các lớp, giảm thiểu sự thay đổi trong mỗi lớp, nhưng vẫn tối đa hóa tách lớp Giống như quá trình xây dựng eigenface, bước đầu tiên là lấy từng mảng hình ảnh (n * m) và định hình lại thành một ((N * M) x1) vector

Thuật toán cho V là vector ngẫu nhiên với các mẫu được trích ra từ tập n

V = {V 1 , V 2 , …, V n } khi đó với V i = {v 1 , v 2 , , v i } Các ma trận phân tán T A và T B

Fisherface tương tự như Eigenface nhưng với những cải tiến trong phân loại tốt hơn về hình ảnh các lớp khác nhau

Có Fisher’s Linear Discriminant (FLD), chúng ta có thể phân loại tập huấn luyện để xử lý với những người khác nhau và biểu hiện trên khuôn mặt khác nhau.

Chúng ta có thể có độ chính xác tốt hơn trong biểu hiện trên khuôn mặt hơn phương pháp tiếp cận Eigenface

Bên cạnh đó, Fisherface loại bỏ ba thành phần chính đầu tiên chịu trách nhiệm những thay đổi cường độ ánh sáng, nó là bất biến hơn với cường độ ánh sáng

Fisherface phức tạp hơn Eigenface trong việc tìm kiếm các dự báo về không gian mặt

Tính tỷ lệ giữa các lớp phân tán đến phân tán trong lớp đòi hỏi rất nhiều thời gian xử lý

Bên cạnh đó, do nhu cầu của phân loại tốt hơn, kích thước của chiếu trong không gian khuôn mặt là không nhỏ gọn như Eigenface, kết quả trong lưu trữ khuôn mặt lớn hơn và nhiều thời gian xử lý hơn trong nhận dạng

3.4 Phương pháp nhận dạng khuôn mặt Local Binary Pattern (LBP)

Phương pháp Local Binary Pattern phương pháp rút trích đặc trưng chọn lọc tạo thành vector đặc trưng [11] Các bước tiến hành rút trích đặc trưng theo phương pháp Local Binary Pattern Quy trình và phương pháp nhận diện khuôn mặt như Hình 4

Hình 4: Sơ đồ các rút trích đặc trưng theo Phương pháp LBP

Khái quát hóa phương pháp Local Binary Pattern và cách tiếp cận gọi P

là số pixel trung tâm lân cận, R là bán kính lân cận pixel trung tâm, lấy pixel lân cận theo hình tròn dựa vào tâm điểm, có thể đi theo hướng chiều kim đồng hồ hoặc ngược lại Cấu trúc điểm ảnh T là phân phối cấm độ xám P +1, với P > 0 điểm ảnh như Hình minh họa (a) với P = 8 và R =1, (b) với P =12 và R = 2.5, (c) với P = 16 và R = 4 Gọi gc cấp độ xám điểm ảnh trung tâm Pc, g p với p ∈ [0,1]

lân cận với P điểm xung quanh được minh họa như Hình 5.

(a) (b) (c)

Hình 5: Phương pháp tiêp cận Local Binary Pattern

3.5 Phương pháp nhận dạng dùng thư viện EmguCV

Sử dụng thư viện thư viện xử lý hình ảnh hiển thị hình ảnh quan sát theo thị giác máy tính với thư viện EmguCV EmguCV là một cross flatform NET là thư viện xử lý hình ảnh dành riêng cho ngôn ngữ C#, gọi hàm ứng dụng các chức năng phần mềm mở OpenCV từ ngôn ngữ lập trình NET

OpenCV (Open Computer Vision) là thư viện mã nguồn mở chuyên dùng

để xử lý các vấn đề thị giác máy tính các thuật giải nhận dạng và xử lý hình ảnh, cấu trúc các thư viện minh họa như Hình 6

Hình 6: Thư viện EmguCV của OPenCV ngôn ngữ C#

3.6 Phương pháp nhận dạng không gian 3 chiều

Kĩ thuật nhận dạng sử dụng không gian 3 chiều để biều diễn khuôn mặt, xác định các đặt trưng khác nhau trên bề mặt các đường của mắt, mũi, cằm

Để tạo ra một ảnh 3D, một cụm ba camera được áp dụng Mỗi camera sẽ hướng vào một góc khác nhau

Tất cả các camera này phối hợp cùng nhau trong việc theo dõi khuôn mặt của một người trong thời gian thực và có thể nhận diện chúng như Hình 7 [15]

Hình 7: Nhận dạng khuôn mặt và quay tròn khuôn mặt

CHƯƠNG 4: PHẦN MỀM VẬN TẢI ĐIỀU XE TÍCH HỢP CAMERA

NHẬN DẠNG 4.1 Giới thiệu vấn đề bài toán vận tải

Trong xu thế hội nhập hóa, quốc tế hóa ngày càng phát triển hiện nay, việc mua bán, vận chuyển hàng hóa trong nước hay từ nước ngoài về Việt Nam ngày càng phổ biến Từ đó, các dịch vụ ship hàng, dịch vụ vận tải chuyển hàng, cũng phát triển mạnh Để giúp đỡ các công ty dịch vụ trên trong khâu quản lý hàng hóa, điều phối tài xế, quản lý dịch vụ chi phí giá bán phần mềm quản lí vận tải đã

ra đời

Trên thực tế, nhu cầu vận chuyển hàng hóa bằng container trong nước đã phát triển mạnh mẽ trong hàng trục năm trước với nhiều hình thức khác nhau như đường bộ, đường hàng không, đường thủy Trong bài tiểu luận này chúng tôi sẽ

đề cập tới vận tải đường bộ, vận tải hàng hóa thông qua các đầu kéo, các xe tải trọng lớn

Phần mềm về hệ thống vận tải quản lý dữ liệu, quản lý người dùng bắt đầu

và người dùng cuối tác giả đã áp dụng công nghệ nhận dạng khuôn mặt bằng camera nhận dạng để tối ưu hóa thao tác người dười, kịp thời đưa ra hướng giải quyết, tăng tính bảo mật thông tin và tăng rủi ro trùng lặp dữ liệu vào trong phần mềm quản lý nhằm tăng tính cạnh canh trong quá trình hội nhập công nghệ mới

Và ứng dụng camera nhận dạng khuôn mặt phân tích thói quen người dùng trong vận tải hy vọng sẽ đem đến một tầm nhìn mới trong quản trị con người

Phần mềm quản lý ngày nay được ứng dụng trong rất nhiều lĩnh vực nhằm đáp ứng tốt cho những yêu cầu, tiện ích khác nhau trong công việc của từng cá nhân Phần mềm quản lý vận chuyển xuất hiện mang tới nhiều lợi ích, nhiều giá trị thực cho hoạt động vận tải áp dụng nhiều doanh nghiệp, nhiều đơn vị

Phần mềm vận tải là ứng dụng được phát triển nhằm hỗ trợ cho hoạt động quản lý các đội xe, xe tài, xe container, hay thực hiện các lệnh điều phối, tiến hành báo cáo, … một cách dễ dàng và hiệu quả

Phần mềm cần đạt chất lượng và phù hợp khi sử dụng có thể đảm bảo giảm thiểu tối đa những sai sót, ảnh hưởng tiêu cực tới quá trình hoạt động đội xe khi cung cấp dịch vụ vận chuyển vận tải

Nhận dạng khuôn mặt tuy đã xuất hiện từ những năm 1960, nhưng đến những năm gần đây cùng với sự phát triển vượt bật của công nghệ đã dẫn đến sự gia tăng rộng rãi của ngành công nghệ này Ứng dụng công nghệ đó là một cuộc đua giữa nhà cung cấp thiết bị và nhà cung cấp dịch vụ để triển khai một cách hiệu quả nhất hợp bao gồm ngăn ngừa tội phạm, bảo vệ các sự kiện quan trọng, giúp các chuyến du lịch hàng không trở nên thuận tiện dễ dàng hơn, hỗ trợ doanh nghiệp trong vấn đề bán hàng, phân tích thói quen khách hàng, phân tích thói nhân viên, hỗ trợ tính công làm việc, giám sát ra vào nhân viên giúp doanh nghiệp quản lý chặt chẽ, công bằng trong vấn đề đánh giá nguồn nhân lực đang có

Công nghệ Camera nhân diện khuôn mặt là công nghệ sinh trắc học ít tác động đến người dùng nhất và là công nghệ sinh trắc học nhanh nhất Nhà quản

lý có thể chủ động hơn trong việc kiểm soát, hệ thống sẽ nhận diện khuôn mặt một cách kín đáo bằng cách chụp ảnh khuôn mặt của những ai bước vào một khu vực được xác định từ camera giám sát

Bài toán của tác giả đưa ra là dùng camera nhận dạng khuôn mặt của tài

xế và hiện thị các thông tin trong doanh nghiệp để điều hành xe tải, để giảm thiểu thời gian vận hành và quảng đường cũng như chi phí nhiên liệu được tiết kiệm tối

đa

Hệ thống nhận dạng khuôn mặt của tài xế là 1 hình ảnh hoặc 1 đoạn video hay 1 chuỗi ảnh, tính toán của thuật toán và kết hợp với camera để đưa ra độ chính xác của từng tài xế hoặc là tài xế mới chưa có trong hệ thống

Sử dụng ứng dụng các thuật toán và các thư viện đã nêu ở trên vào bài toán nhận dạng

Luận văn nghiên cứu giúp cho các nhà quản trị doanh nghiệp nhìn ra được tầm quan trọng của việc nhận dạng khuôn mặt của tài xế cần chính xác và mình bạch Hiểu được tầm quan trọng của hệ thống quản lý và nhận dạng giúp chủ doanh nghiệp có cái nhìn mới đánh giá tốt hơn và tốc độ hơn Công việc thu thập

dữ liệu hình ảnh phân tích hiển thị hình ảnh của tài xế và các thông tin quan trọng

Luận văn đưa ra mối quan tâm của doanh nghiệp, người quản trị doanh nghiệp, nhà đầu tư, nhà chiến lược phát triển cơ sở kinh doanh đạt hiệu quả cao cho doanh nghiệp

Nhận dạng hành vi của tài xế là một phương pháp có ý nghĩa quan trọng trong việc hỗ trợ các nhà quản trị doanh nghiệp đưa ra tầm nhìn, quyết định đúng đắn dựa trên các dữ liệu đã thu thập được Xử lý các hình ảnh và thông tin hiện tại hay trong quá khứ để xác định xu hướng hoạt động của các mô hình kinh doanh trong tương lai nhờ vào một số yếu tố toán học và các công thức tính toán hay phần mềm mở OpenCV và tích hợp camera nhận dạng

Ứng dụng lý thuyết về Principal Component Analysis (Phép phân tích thành phần chính) sử dụng các khuôn mặt riêng, Linear Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph Matching sử dụng thuật toán Fisherface, các mô hình Markov ẩn, Multilinear Subspace Learning (Luyện nhớ không gian con đa tuyến)

Lập trình nhúng bên trong camera đưa ra giá trị / kết quả cần lưu trữ và xử lý Phát triển ứng dụng trên nền.NET Framework kết hợp với các qui trình và nghiệp

vụ xử lý để tạo nên hệ thống phần mềm quản lý vận tải logistics

4.2 Xây dụng kết nối thư viện nhận dạng camera và tích hợp vào phần mềm

Camera được kết nối tập trung vào việc kết nối và kiểm soát các phiên phân phối dữ liệu trên các dòng đồng bộ hóa thời gian cho phương tiện liên tục như video và âm thanh Giao thức truyền phát thời gian thực hoạt động như một điều khiển từ xa mạng cho các tệp phương tiện thời gian thực và máy chủ đa phương tiện

Hàm nhận dạng và hiển thị thông tin

Bảng 1: Bảng thể thông tin cơ sở lưu trữ khuôn mặt

TargetName Tên CSDL khuôn mặt

Name Tên khuôn mặt

Describe Mô tả khuôn mặt

FaceId Mã khuôn mặt

FaceData Mã hóa dữ liệu hình ảnh khuôn mặt base64

Thêm khuôn mặt vào database