ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NĂM HỌC 2016 – 2017 ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC BẰNG NHẬN DIỆN KHUÔN MẶT

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC NĂM HỌC 2016 – 2017 ỨNG DỤ

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ

ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC

NĂM HỌC 2016 – 2017

ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC

BẰNG NHẬN DIỆN KHUÔN MẶT

Nhóm Sinh viên thực hiện: 1 Nguyễn Xuân Cường

2 Phạm Minh Tiến 3.Nguyễn Hoàng Anh 4.Nguyễn Quốc Thông

Bình Dương, tháng 03 năm 2017

KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ

ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC

NĂM HỌC 2016 - 2017

ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC

BẰNG NHẬN DIỆN KHUÔN MẶT

Giảng viên hướng dẫn: Trần Bá Minh Sơn

2 Phạm Minh Tiến 3.Nguyễn Hoàng Anh 4.Nguyễn Quốc Thông

Bình Dương, tháng 03 năm 2017

LỜI NÓI ĐẦU 2

1.Giới thiệu 2

2.Mục tiêu 3

3.Phạm Vi 3

4.Đối Tượng 3

5.Phương Pháp Nghiên cứu 3

+ Phương pháp nghiên cứu lý thuyết: 3

+ Phương pháp nghiên cứu thực nghiệm: 3

6 Nội dung và tiến độ nghiên cứu 4

NỘI DUNG 4

CHƯƠNG I KHẢO SÁT HIỆN TRẠNG, THU THẬP YÊU CẦU,CỞ SỞ LÝ LUẬN 4

1.1 Tổng quan về hệ thống 4

1.1.1 Mô tả bài toán 4

1.1.2 Giới thiệu bài toán nhận dạng khuôn mặt người 4

1.1.3 Ứng dụng của đề tài vào cơ sở thực tiễn 5

1.2.1 Yêu cầu các chức năng 6

1.3 Mô tả chức năng 6

1.3.1 Chức năng nhận diện khuôn mặt 6

1.3.2 Chức năng kiểm tra việc vào ra lớp học 7

1.3.3 Xuất danh sách chi tiết vào ra lớp học của sinh viên 7

1.4.2 Trích đặc trưng bằng phương pháp PCA 7

1.5 Phân tích phân lớp tuyến tính LDA 9

1.6 Mẫu nhị phân cục bộ (LBP) 9

1.6.1 Mô tả kết cấu (Texture descriptor) 9

1.6.2 Mẫu nhị phân cục bộ mở rộng 9

1.6.3 Mẫu đồng nhất (uniform patterns) 9

1.6.4 Áp dụng LBP mô tả khuôn mặt 9

1.7 Support vector Machines (SVM) 9

1.7.1 Các khái niệm nền tảng 10

1.7.2 SVM tuyến tính 10

1.7.3 SVM phi tuyến 10

1.7.4 SVM cho vấn đề nhận dạng đa lớp 10

1.8 ĐỀ XUẤT PHƯƠNG PHÁPNHẬN DẠNG MẶT NGƯỜI 11

1.8.1 Phân tích bài toán nhận dạng mặt người 11

1.8.1.1 Phát hiện khuôn mặt (face detection) 11

1.8.1.2 Tiền xử lý ảnh (preprocessing) 11

1.8.1.3 Trích rút đặc trưng ( feature extraction) 11

1.8.1.5 Dữ liệu hệ thống nhận dạng 12

1.9 Đề xuất phương pháp nhận dạng kết hợp LBP-PCA-SVM 12

1.10 Áp dụng LBP trích rút đặc trưng & PCA để giảm số chiều 13

1.11 Áp dụng SVM phân lớp/nhận dạng 13

1.12 Đánh giá phương pháp 15

CHƯƠNG II PHÂN TÍCH THIẾT KẾ HỆ THỐNG 16

2.1 Sơ đồ use-case 16

2.2 Mô hình sequence diagram 17

2.2.1 Mô hình đăng ký đăng nhập hệ thống 17

2.2.2 Mô hình chức năng nhận diện camera 18

2.2.3 Chức năng thông báo, chỉnh sửa danh sách điểm danh và cho các bộ phận 18

2.3 Sơ đồ thực thể kết hợp 19

2.4 Cấu trúc bảng và kiểu dữ liệu thuộc tính 20

CHƯƠNG III THIẾT KẾ GIAO DIỆN 22

Giao diện đăng nhập 22

Giao diện quản lý sinh viên: 23

Giao diện lưu trữ CSDL và nhận diện 23

Giao diện xử lý training ảnh và lưu trữ CSDL 24

CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 25

4.1 Đánh giá kết quả 25

4.1.1 Kết quả đạt được 25

4.1.2 Việc chưa đạt được 25

4.2 Hướng phát triển 25

CSDL Cơ Sở Dữ Liệu

LỜI NÓI ĐẦU 1.Giới thiệu

Hiện nay tình trạng trốn học,bỏ tiết học, không thực hiện đầy đủ nội quy tham gia đầy

đủ số tiết học trong các trường học nói chung và đại học Thủ Dầu Một nói riêng, việc quản lý điểm danh còn nhiều khó khăn, quản lý điểm danh còn nhiều thiếu sót cũng như là lưu trữ còn chưa chặt chẽ Với sự phát triển nhanh chóng của các loại máy móc hiện đại như máy ảnh số, máy quay phim kỹ thuật số, máy vi tính,điện thoại thông minh… thì lượng thông tin con người thu được dưới dạng hình ảnh là khá lớn Xử lý ảnh là một trong những lĩnh vực ngày càng được phổ biến trong đời sống xã hội Không chỉ dừng lại ở việc xử lý những vết nhòe, tái chế và phục hồi các ảnh cũ, ngày nay các kỹ phương pháp xử lý ảnh đã mang lại những tiến bộ vượt bậc như nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng khi nó kết hợp với lĩnh vực trí tuệ nhân tạo Bên cạnh đó, vấn đề an ninh bảo mật đang được yêu cầu khắc khe tại mọi quốc gia trên thế giới Các hệ thống xác định, nhận dạng con người được ra đời với độ tin cậy cao Một trong nhưng bài toán nhận dạng con người được quan tâm nhất hiện nay đó là nhận dạng qua khuôn mặt Có hai phương pháp nhận dạng phổ biến hiện nay

là nhận dạng dựa trên đặc trưng của các phần tử trên khuôn mặt như biển đổi Sóng Wavelet (Gabor Wavelet) và Mạng Nơron (Neural Network), Support Vector Machine (SVN),… và nhận dạng dựa trên xét tổng thể toàn khuôn mặt như phương pháp Phân tích thành phần chính (Principal Component Analysis – PCA) phương pháp Phân tích

sự khác biệt tuyến tính (Linear Discriminant Analysis – LDA),kết quả nhận dạng cao bởi nó hoạt động ổn định và có tính thích nghi cao khi dữ liệu đầu vào thay đổi

nhiều.Kết hợp với phương pháp nhận diện khuôn mặt vào trong việc nhận dạng và điểm danh sinh viên ra vào lớp một cách tự động Việc đó làm giảm rất nhiều chi phí cũng như là quản lý thông tin một cách chặt chẽ và nhanh chóng nhất Đó là lí do nhóm chọn đề tài: "XÂY DỰNG ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC BẰNG NHẬN DẠNG KHUÔN MẶT"

- Giúp cho việc kiểm tra sĩ số lớp học nhanh

- Quản lý thời gian lên lớp của sinh viên

- Hiện đại cách điểm danh

3 Phạm Vi

Tập trung Nghiên cứu về nhận diện sinh viên vào ra lớp học ở cấp trường

4 Đối Tượng

Tất cả những đối tượng có nhu cầu , ưu tiên trường đại học Thủ Dầu Một

5 Phương Pháp Nghiên cứu

+ Phương pháp nghiên cứu lý thuyết:

- Công nghệ ASP.NET, truy vấn SQL, phân tích thiết kế hệ thống

- Các phương pháp nhận dạng khuôn mặt người

- Phân tích thành phần chính (PCA)

- Phân tích phân lớp tuyến tính LDA

- Mẫu nhị phân cục bộ (LBP)

- Support vector Machines (SVM)

+ Phương pháp nghiên cứu thực nghiệm:

- Khảo sát những góc chụp camera

- Khảo sát thời gian nhận diện gửi kết quả trả về máy chủ

- Lập trình thiết kế ứng , cài đặt thuật toán trong môi trường thực nghiệm

6 Nội dung và tiến độ nghiên cứu

- Xây dựng cơ sở dữ liệu hình ảnh mẫu để nhận diện

- So sánh ảnh của đối tượng được nhận diện với ảnh được lưu trong cơ sở dữ liệu

- Truy xuất thông tin của đối tượng được nhận diện

- Ghi nhận thời gian vào và ra

NỘI DUNG CHƯƠNG I KHẢO SÁT HIỆN TRẠNG, THU THẬP YÊU

CẦU,CỞ SỞ LÝ LUẬN

1.1 Tổng quan về hệ thống

1.1.1 Mô tả bài toán

Khi nói đến việc điểm danh từng sinh viên trong trường đại học thì mọi người chúng ta đều nghĩ rằng chỉ điểm danh đơn thuần bằng giấy,bút,danh sách đã in sẵn mà chưa quan tâm đến việc áp dụng công nghệ mới vào việc điểm danh Việc điểm danh truyền thống gây ra rất nhiều vấn đề như : mất rất nhiều thời gian,chi phí không những thế bên cạnh đó còn xảy ra thêm các vấn đề như là thất lạc danh sách điểm danh, khó thống kê trên số lượng sinh viên rất lớn của môi trường đại học nói chung và môi trường đại học Thủ Dầu Một nói riêng Vì thế khi áp dụng công nghệ mới vào việc điểm danh thì sẽ tiết kiệm rất nhiều thời gian , chi phí, rút ngắn được nhiều thời gian cho việc điểm danh , thống kê và nhiều vấn đề phát sinh Với công nghệ nhận diện khuôn mặt thì việc điểm danh sẽ trở lên tự động có khoa học hơn

1.1.2 Giới thiệu bài toán nhận dạng khuôn mặt người

Nhận dạng mặt người (Face recognition) được nghiên cứu từ nhưng năm 1980, là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision), và cũng được xem

là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics) tương tự như nhận dạng vân tay – Fingerprint recognition, hay nhận dạng mống mắt – Iris recognition Trong

khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế một cách rộng rãi thì nhận dạng mặt người vẫn còn nhiều thách thức So với nhận dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít đòi hỏi sự tương tác có kiểm soát hơn Bài toán nhận dạng mặt người còn nhiều thách thức nên hàng năm trong & ngoài nước vẫn có nhiều nghiên cứu về các phương pháp nhận dạng mặt người Để thử nghiệm phương pháp chúng ta cần có một cơ sở dữ liệu ảnh mẫu Có ba cơ sở dữ liệu ảnh mẫu phổ biến là: Cơ sở dữ liệu AT&T, Cơ sở dữ liệu Yale A, Cơ sở dữ liệu Yale B Bài toán nhận dạng khuôn mặt có thể áp dụng rộng rãi trong nhiều ứng dụng thực tế khác nhau

1.1.3 Ứng dụng của đề tài vào cơ sở thực tiễn

Trong đề tài này, nhóm tập trung tìm kiếm và đề xuất một thuật toán hiệu quả nhận dạng khuôn mặt nhằm kiểm tra việc vào ra lớp học của sinh viên trường đại học Thủ Dầu Một.Do các khó khăn của bài toán nhận dạng khuôn mặt như: Tư thế góc chụp, sự xuất hiện hoặc thiếu một số thành phần của khuôn mặt, sự biểu cảm của khuôn mặt, sự che khuất, hướng của ảnh, điều kiện của ảnh

Vì thế nhóm đưa ra những giả định và ràng buộc sau làm giảm độ phức tạp của bài toán như sau:

- Góc ảnh trực diện (frontal) hoặc gần như trực diện, không bị che khuất (no occlusion)

- Ảnh được chụp trong điều kiện ánh sáng bình thường

- Cơ sở dữ liệu ảnh nhỏ, khoảng trăm ảnh

- Ảnh được xét là ảnh số, nghĩa là ảnh mặt người được chụp từ các thiết bị như máy ảnh số,camera,….Không xem xét các ảnh mặt người nhân tạo như vẽ, điêu khắc …

1.2.1 Yêu cầu các chức năng

CÁC CHỨC NĂNG CỦA CHƯƠNG TRÌNH PHẦN MỀM ĐIỂM DANH NHẬN DIỆN BẰNG KHUÔN MẶT

A.Các chức năng tổng quát

1.Nhận diện khuôn mặt

2 Chức năng kiểm tra việc vào ra lớp học

3.Xuất danh sách chi tiết vào ra lớp học của sinh viên

B.Phân rã các chức năng nhỏ trong các chức năng tổng quát

1.Nhận Diện Khuôn Mặt

1.1Chụp hình ảnh khuôn mặt

1.2 Lưu CSDL

1.3 Phân tích nhận diện hình ảnh

1.4 Lưu thông tin nhận diện điểm danh

2 Chức năng kiểm tra việc vào ra lớp học

2.1 Lưu các thông tin điểm danh từng học sinh vào Các Bảng trên server

2.2 Lưu Các lần ra vào lớp trong suốt buổi học

2.3Xuất thông tin các sinh viên có trong lớp học tại thời gian hiện tại

2.4 Sinh viên có mặt trong lớp ở khoảng thời gian nào

3 Thông báo danh sách điểm danh cho các bộ phận quản lý

3.1 Xuất ra danh sách các thời gian chi tiết của từng sinh viên

1.3 Mô tả chức năng

1.3.1 Chức năng nhận diện khuôn mặt

Mô tả:Hệ thống camera tự động chụp hình ảnh ,gửi về máy chủ sau đó máy chủ dùng thuật toán nhận diện khuôn mặt của thư viện OpenCV ,EmguCV để nhân diện những khuôn mặt đã được chụp bởi camera

- Trình tự thực hiện:

1.Camera chụp hình ảnh

2.Camera truyền hình ảnh cần phân tích về máy chủ

3 Máy chủ phân tích nhận diện hình ảnh

4.Lưu cơ sở dữ liệu thông tin đã nhận diện

- Kết quả: Nhận diện các sinh viên

1.3.2 Chức năng kiểm tra việc vào ra lớp học

Mô tả: Phát hiện ra những sinh viên đã vào lớp sau đó ghi vào cơ sở dữ liệu

- Trình tự thực hiện:

1 Máy chủ nhận hình ảnh và phân tích

- Kết quả: Điểm danh được sinh viên đã vào ra lớp học

1.3.3 Xuất danh sách chi tiết vào ra lớp học của sinh viên

- Mô tả: Bộ Phận kiểm tra thông tin chi tiết sinh viên theo lớp,khoa và theo ngày giờ

bằng cách truy cập vào website quản lý thiết kế riêng

- Trình tự thực hiện:

1 Truy cập vào website để xem thông tin

- Kết quả: xem và quản lý được thông tin chi tiết vào ra của sinh viên

1.4 Các phương pháp nhận dạng khuôn mặt người

1.4.2 Trích đặc trưng bằng phương pháp PCA

+ Trích chọn đặc trưng PCA và huấn luyện

- Nhận các khuôn mặt từ cơ sở dữ liệu – tập luyện

Đầu tiên chúng ta sẽ đọc cơ sở dữ liệu và nhận vào các ảnh luyện Ii Các ảnh luyện ở đây đều

là ảnh mặt, điều kiện quan trọng là chúng có mặt ở tâm ảnh và có cùng kích thước với nhau Giả sử có M ảnh, khi đó i=1 M

Sau đó ta tương ứng mỗi ảnh Ii với một vector Γi

Ii (ảnh N×N) → Γi(vector 𝑁2 ×1)

- Tính toán giá trị trung bình

Giá trị vector trung bình:

Với M là số ảnh trong tập luyện, Γi là vector 1 chiều (𝑁2 ×1) đại diện cho mỗi ảnh

Ψ là vector trung bình (kích thước 𝑁2

×1)của tập tất cả các Γi trên;

Ψ còn được gọi là vector trung bình mặt của tập luyện

- Trừ đi giá trị trung bình

Sai số của các ảnh so với giá trị vector mặt trung bình được tính toán theo công thức:

√𝑀[𝛷1𝛷2 𝛷𝑛 ]

A là ma trận 𝑁2× 𝑀, 𝚽n là giá trị sai số được tính ở công thức (*)

- Tính các trị riêng và vector đặc trưng của ma trận hiệp biến

Để tính các trị riêng và vector đặc trưng của ma trận hiệp biến ta phải tính với ma trận C hay chính là tính cho ma trận 𝐴𝐴𝑇 Tuy nhiên điều này là không khả thi, do C là ma trận 𝑁2× 𝑁2nên số chiều là quá lớn, khối lượng tính toán là vô cùng nhiều (đặc biệt khi kích thước ảnh luyện lớn thì N lớn, 𝑁2 và 𝑁2× 𝑁2là cực kì lớn)

Ta nhận thấy 2 ma trận 𝐴𝐴𝑇 và 𝐴𝑇𝐴 luôn có chung trị riêng và vector đặc trưng thì có liên hệ với nhau bởi biểu thức ui = Avi mà ma trận 𝐴𝑇𝐴 lại có số chiều ít hơn hẳn (ma trận M×M) nên ta sẽ chuyển đổi về ma trận 𝐴𝑇𝐴

Sau khi tính toán ta được M vector đặc trưng của 𝐴𝐴𝑇

(ui = Avi) tương ứng với M giá trị riêng Chuẩn hóa các vector đặc trưng ui về vector đơn vị:

||ui || =1

- Lựa chọn các thành phần và xây dựng vector đặc trưng

Để giảm thiểu tối đa số chiều cũng như giảm độ phức tạp tính toán, ta chỉ giữ lại K vector đặc trưng (tương ứng K giá trị riêng lớn nhất) Khi đó mỗi khuôn mặt sau khi trừ đi giá trị trung bình sẽ được đại diện bởi K vector đặc trưng:

Mỗi khuôn mặt training Φi sẽ được biểu diễn bởi một vector:

Trong đó 𝑤𝑗𝑖 (j=1 K) là các trọng số tương ứng với K vector đặc trưng, 𝛺𝑖 là vector đại diện cho khuôn mặt thứ i trong tập luyện

1.5 Phân tích phân lớp tuyến tính LDA

1.6 Mẫu nhị phân cục bộ (LBP)

LBP là một toán tử kernel 3×3, nó tổng quát hóa cấu trúc không gian cục bộ của một ảnh Ojala và các đồng nghiệp đã giới thiệu phương pháp LBP và chỉ ra khả năng phân tách cao của chúng cho sự phân lớp vân Bởi vì khả năng phân tách và chi phí tính toán thấp, LBP trở nên rất phổ biến trong nhận dạng mẫu LBP đã được áp dụng cho phát hiện khuôn mặt, nhận dạng khuôn mặt, xác thực khuôn mặt, truy vấn ảnh

1.6.1 Mô tả kết cấu (Texture descriptor)

1.6.2 Mẫu nhị phân cục bộ mở rộng

1.6.3 Mẫu đồng nhất (uniform patterns)

1.6.4 Áp dụng LBP mô tả khuôn mặt

Việc áp dụng mô tả khuôn mặt bằng LBP được Ahonen và các cộng sự thực hiện năm

2006 Ý tưởng của phương pháp là chia hình hảnh khuôn mặt thành các khối, sau đó tính toán các histogram tương ứng với các khối Cuối cùng kết hợp các histogram này lại với nhau để có được vector đặc trưng cho khuôn mặt

SVM là một phương pháp phân lớp xuất phát từ lý thuyết học thống kê Thuật toán SVM lần đầu tiên được Vladimir Vapnik đề xuất Sau đó, Corinna Cortes cùng với

Vladimir Vapnik đề xuất hình thức chuẩn hiện nay SVM có nhiều tính năng ưu việt so với các phương pháp cổ điển khác: dễ dàng xử lý, xử lý với tính ổn định cao trên dữ liệu phức tạp, có thể có số chiều lớn và quan trọng hơn cả là khả năng xử lý tổng quát

1.7.1 Các khái niệm nền tảng

1.8 ĐỀ XUẤT PHƯƠNG PHÁPNHẬN DẠNG MẶT NGƯỜI

1.8.1 Phân tích bài toán nhận dạng mặt người

Một hệ thống nhận dạng mặt người thông thường gồm các bước sau đây:

1.8.1.1 Phát hiện khuôn mặt (face detection)

Phát hiện khuôn mặt là quá trình xác định vị trí khu vực khuôn mặt trong hình ảnh và

sẽ lấy ra tất cả các khuôn mặt trong một hình ảnh

1.8.1.2 Tiền xử lý ảnh (preprocessing)

Bước này nhằm mục đích lọc nhiễu, nâng cao chất lượng ảnh, trong bước này bao gồm các bước : Căn chỉnh ảnh, chuẩn hóa ánh sáng

1.8.1.3 Trích rút đặc trưng ( feature extraction)

Ở bước này một phương pháp trích chọn đặc điểm như: mẫu nhị phân cục bộ – LBP (hay Gabor wavelets, Gradient, Discrete Cosine Transform …) sẽ được sử dụng với ảnh mặt để trích xuất các thông tin đặc trưng cho ảnh,kết quả là mỗi ảnh sẽ được biểu diễn dưới dạng một vector.đề tài nhóm chọn chủ yếu trình bày về phương pháp Local Binary Pattern mục