Nghiên cứu về thuật toán logistic regression trong học máy và ứng dụng phân biệt giới tính dựa vào ảnh khuôn mặt

Sử dụng các thuật toán lặp để học từ dữ liệu, machine learning cho phép máy tính tìm thấy những thông tin giá trị ẩn sâu mà không được lập trình một cách rõ ràng nơi để tìm.. Mục tiêu tổ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH

PHẠM VIỆT LINH

LUẬN VĂN THẠC SỸ Chuyên ngành: Công nghệ thông tin

Mã ngành: 8.48.02.01

NGHIÊN CỨU VỀ THUẬT TOÁN LOGISTIC REGRESSION TRONG HỌC MÁY VÀ ỨNG DỤNG PHÂN BIỆT GIỚI TÍNH

DỰA VÀO ẢNH KHUÔN MẶT

Người hướng dẫn: TS TRẦN XUÂN SANG

VĨNH LONG, tháng 7/2018

1

LỜI CẢM ƠN

Trước tiên, tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất tới Thầy

TS Trần Xuân Sang đã tận tình hướng dẫn tôi trong suốt suốt quá trình thực hiện

đề tài

Tôi xin gửi lời cảm ơn sâu sắc tới quý Thầy Cô trong khoa công nghệ thông

tin trường Đại học Vinh đã truyền đạt kiến thức quý báu cho tôi trong 2 năm học

vừa qua

Tôi xin gửi lời cảm ơn các anh chị trong nhóm của anh Vũ Hữu Tiệp về

Machine Learning cơ bản Nhiệt tình giúp đỡ trong quá trình tôi làm luận văn

Xin chân thành cảm ơn các anh chị và bạn bè, đặc biệt là các thành viên

trong lớp K24 Vĩnh Long đã ủng hộ, giúp đỡ và động viên tôi trong suốt thời

gian học tập vừa qua

Mặc dù đã cố gắng hoàn thành luận văn trong phạm vi và khả năng cho

phép nhưng chắc chắn sẽ không tránh khỏi những thiếu sót Tôi kính mong nhận

được sự cảm thông và tận tình chỉ bảo của quý Thầy Cô và các bạn

Tôi xin chân thành cảm ơn!

Vĩnh Long, ngày 4 tháng 06 năm 2018

Học Viên

Phạm Việt Linh

2

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn này là do tự bản thân thực hiện và là sản phẩm của riêng tôi Các số liệu và tài liệu trong luận văn là trung thực, các tin thứ cấp

sử dụng trong luận văn là có nguồn gốc và đƣợc trích dẫn rõ ràng

Tôi hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn

Tác giả

Phạm Việt Linh

3

MỤC LỤC

LỜI CẢM ƠN 1

LỜI CAM ĐOAN 2

MỤC LỤC 3

DANH MỤC CÁC TỪ VIẾT TẮT 5

MỞ ĐẦU 6

CHƯƠNG 1 9

BÀI TOÁN PHÂN LỚP TRONG HỌC MÁY 9

1.1 Giới thiệu 9

1.2 Các bước thực hiện 10

1.3 Một số thuật toán 11

1.1.3 Phân loại Bayes (Naive Bayes Classification) 11

1.1.3 Hồi quy logistic (Logistic Regression) 11

1.1.3 Support Vector Machines (SVM) 12

1.1.3 Phân tích thành phần chính (PCA) 12

1.4 Bài toán nhận dạng giới tính dựa vào ảnh khuôn mặt 13

1.4.1 Giới thiệu bài toán 13

1.4.2 Giới thiệu mô hình phân lớp 13

1.4.3 Tình hình nghiên cứu trong nước 14

1.4.4 Tình hình nghiên cứu ngoài nước 14

CHƯƠNG 2 15

HỆ THỐNG PHÂN BIỆT GIỚI TÍNH DỰA VÀO ẢNH KHUÔN MẶT 15

2.1 Thuật toán Logistic Regression 15

2.2 Một số ứng dụng của thuật toán Logistic Regression 23

2.3 Hướng tiếp cận xây dựng hệ thống 24

2.4 Tiền xử lý 24

2.5 Trích chọn đặc trưng của ảnh khuôn mặt bằng PCA 24

CHƯƠNG 3 32

THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 32

3.1 Dữ liệu thử nghiệm 32

3.2 Thử nghiệm với lập trình Python 32

KẾT LUẬN 38

TÀI LIỆU THAM KHẢO 39

4

DANH MỤC HÌNH ẢNH

Hình 2.1 Ví dụ về kết quả thi dựa trên số giờ ôn tập 18

Hình 2 2 Các activation function khác nhau 18

Hình 2 3 Tại sao Linear Regression không phù hợp? 19

Hình 2 4 Dữ liệu và hàm sigmoid tìm được 20

Hình 2.5 Hai class với dữ liệu hai chiều 20

Hình 2 6 Hàm sigmoid với dữ liệu có chiều là 2 21

Hình 2 7 Logistic Regression với dữ liệu hai chiều 21

Hình 2.8 Ảnh đầu vào 26

Hình 3 1 Các ví dụ mẫu trong AR Face database thu gọn 32

Hình 3 2 Ví dụ về kết quả tìm được bằng Logistic Regression 37

5

DANH MỤC CÁC TỪ VIẾT TẮT

6

MỞ ĐẦU

1 Sự cần thiết của vấn đề nghiên cứu

Machine learning là một phương pháp phân tích dữ liệu mà sẽ tự động hóa việc xây dựng mô hình phân tích Sử dụng các thuật toán lặp để học từ dữ liệu, machine learning cho phép máy tính tìm thấy những thông tin giá trị ẩn sâu mà không được lập trình một cách rõ ràng nơi để tìm

Khía cạnh lặp lại của machine learning là quan trọng bởi vì khi các mô hình này được tiếp xúc với dữ liệu mới thì chúng có thể thích ứng một cách độc lập Chúng học từ các tính toán trước đó để tạo ra những quyết định cũng như kết quả lặp lại và đáng tin cậy Đó là một ngành khoa học không mới - nhưng hiện nay đang dành được nhiều mối quan tâm để phát triển bùng nổ Những ứng dụng của Machine learning trong đời sống hàng ngày như:

Nhận dạng khuôn mặt đang được ứng dụng trong nhiều lĩnh vực thương mại, bảo mật, phát hiện tội phạm Có rất nhiều phương pháp nhận dạng khác nhau được xây dựng để nhận dạng một người trên thế giới Tuy nhiên việc nhận dạng được một người trong thế giới bao la là một việc vô cùng khó khăn bởi vậy để nhận dạng được ta phải xây dựng một cơ sở dữ liệu đủ lớn mới có thể nhận dạng được với độ chính xác cao trong khoảng thời gian ngắn nhất Muốn thực hiện được với độ chính xác cao trong thời gian ngắn nhất ta có thể tích hợp nhận diện giới tính dựa vào ảnh khuôn mặt [1]

2 Mục tiêu nghiên cứu

2.1 Mục tiêu tổng quát

Nghiên cứu về thuật toán Logistic Regression trong học máy và ứng dụng để giải quyết bài toán phân biệt giới tính dựa vào ảnh khuôn mặt

2.2 Mục tiêu cụ thể

Đề tài tập trung vào 3 mục tiêu chính sau:

- Nghiên cứu về thuật toán Logistic Regression trong học máy

- Nghiên cứu trích chọn đặc trưng của ảnh khuôn mặt

- Nghiên cứu và cài đặt thuật toán Logistic Regression trong python để phân biệt giới tính dựa vào ảnh khuôn mặt; so sánh và đánh giá hiệu quả của các thuật toán tỷ lệ nhận dạng

3 Đối tượng và phạm vi nghiên cứu

8

3.1 Đối tượng nghiên cứu

3.1.1 Nghiên cứu lý thuyết

- Nghiên cứu các tài liệu về bài toán nhận dạng mặt người đã công bố ở trong

3.1.2 Nghiên cứu thực nghiệm

- Nghiên cứu xây dựng cơ sở dữ liệu thuật toán Logistic Regression trong học máy

- Nghiên cứu ngôn lập trình python và cài đặt để ứng dụng phân biệt giới tính dựa vào ảnh khuôn mặt

3.2 Phạm vi nghiên cứu

Bài toán phân biệt giới tính dựa vào ảnh khuôn mặt.có thể được thực hiện bằng các thuật toán nhận dạng khác nhau như Linear Regression và Perceptron Learning Algorithm (PLA) Trong phạm vi luận văn này, chúng tôi tập trung giải quyết bài toán sử dụng thuật toán Logistic Regression

4 Nội dung nghiên cứu

- Nghiên cứu tổng quan về bài toán phân lớp

- Nghiên cứu các thuật toán tiền xử lý để nâng cao chất lượng ảnh

- Nghiên cứu các phương pháp để trích chọn đặc trưng của ảnh mặt người

- Nghiên cứu thuật toán Logistic Regression

- Nghiên cứu ngôn ngữ lập trình python để cài hệ thống nhận dạng

9

CHƯƠNG 1 BÀI TOÁN PHÂN LỚP TRONG HỌC MÁY

1.1 Giới thiệu

Bài toán phân lớp (classification) và bài toán gom cụm (cluster) là hai bài toán lớn trong lĩnh vực Machine Learnig (ML) Bài toán phân lớp là quá trình phân lớp một đối tượng dữ liệu vào một hay nhiều lớp đã cho trước nhờ một mô hình phân lớp (model) Mô hình này được xây dựng dựa trên một tập dữ liệu được xây dựng trước đó có gán nhãn (hay còn gọi là tập huấn luyện) Quá trình phân lớp là quá trình gán nhãn cho đối tượng dữ liệu

Như vậy, nhiệm vụ của bài toán phân lớp là cần tìm một mô hình phần lớp để

khi có dữ liệu mới thì có thể xác định được dữ liệu đó thuộc vào phân lớp nào Có nhiều bài toán phân lớp dữ liệu như phân lớp nhị phân (binary), phân lớp đa lớp (multiclass), phân lớp đa trị

Bài toán phân lớp nhị phân là bài toán gắn nhãn dữ liệu cho đối tượng vào một trong hai lớp khác nhau dựa vào việc dữ liệu đó có hay không có các đặc trưng (feature) của bộ phân lớp

Bài toán phân lớp đa lớp là quá trình phân lớp dữ liệu với số lượng lớp lớn hơn hai Như vậy với từng dữ liệu chúng ta phải xem xét và phân lớp chúng vào những lớp khác nhau chứ không phải là hai lớp như bài toán phân lớp nhị phân Và thực chất bài toán phân lớp nhị phân là một bài toán đặt biệt của phân lớp đa lớp

Ứng dụng của bài toán này được sử dụng rất nhiều và rộng rãi trong thực tế ví

dụ như bài toán nhận dạng khuôn mặt, nhận diện giọng nói, phát hiện email spam…

Và đối với các bài toán phân lớp dữ liệu chúng ta sử dụng các thuật toán học

có giám sát (supervised learning) để xây dựng mô hình cho bài toán này Sau đây chúng ta sẽ tìm hiểu khái quát về quá trình phân lớp dữ liệu và sơ bộ về các phương pháp phân lớp sử dụng trong bài toán này

bỏ những đặc trưng không tốt của dữ liệu, gây nhiễu (noise) Ước lượng số chiều của dữ liệu bao nhiêu là tốt hay nói cách khác là chọn bao nhiêu feature Nếu số chiều quá lớn gây khó khăn cho việc tính toán thì phải giảm số chiều của dữ liệu nhưng vẫn giữ được độ chính xác của dữ liệu (reduce demension)

Ở bước này chúng ta cũng chuẩn bị bộ dữ liệu để test trên mô hình Thông thường sẽ sử dụng cross-validation (kiểm tra chéo) để chia tập datasets thành hai

phần, một phần phục vụ cho training (training datasets) và phần còn lại phục vụ cho mục đích testing trên mô hình (testing dataset) Có hai cách thường sử dụng trong cross-validation là splitting và k-fold

Bước 2: Xây dựng mô hình phân lớp (classifier model)

Mục đích của mô hình huấn luyện là tìm ra hàm f(x) và thông qua hàm f tìm được để chúng ta gán nhãn cho dữ liệu Bước này thường được gọi là học hay training

f(x) = y Trong đó: x là các feature hay input đầu vào của dữ liệu còn y là nhãn

lớp hay output đầu ra

Thông thường để xây dựng mô hình phân lớp cho bài toán này chúng ta sử dụng các thuật toán học giám sát (supervised learning) như KNN, Neural Network, Support Vector Machines (SVM), Decision Tree, Navie Bayers

Bước 3: Kiểm tra dữ liệu với mô hình (make prediction)

11

Sau khi đã tìm được mô hình phân lớp ở bước 2, thì ở bước này chúng ta sẽ đưa vào các dữ liệu mới để kiểm tra trên mô hình phân lớp

Bước 4: Đánh giá mô hình phân lớp và chọn ra mô hình tốt nhất

Bước cuối cùng chúng ta sẽ đánh giá mô hình bằng cách đánh giá mức độ lỗi của dữ liệu testing và dữ liệu traning thông qua mô hình tìm được Nếu không đạt được kết quả mong muốn của chúng ta thì phải thay đổi các tham số (turning parameter) của các thuật toán học để tìm ra các mô hình tốt hơn và kiểm tra, đánh giá lại mô hình phân lớp Và cuối cùng chọn ra mô hình phân lớp tốt nhất cho bài toán của chúng ta

1.3 Một số thuật toán

1.3.1 Phân loại Bayes (Naive Bayes Classification)

Phân loại Bayes là một nhóm các phân loại xác suất đơn giản dựa trên việc áp dụng định lý Bayes với các giả định độc lập (naive) giữa các đặc tính

Trong đó:

P(A|B) là xác suất có điều kiện A khi biết B, P(A) là xác suất giả thuyết A (tri thức có được về giải thuyết A trước khi có dữ liệu B), P(B|A) là xác suất có điều kiện B khi biết giả thuyết A, P(B) là xác suất của dữ liệu quan sát B không quan tâm đến bất kỳ giả thuyết A nào Thuật toán này được áp dụng trong một số bài toán như: Đánh dấu một email là spam hay không Phân loại bài viết tin tức thuộc lĩnh vực công nghệ, chính trị hay thể thao Kiểm tra một đoạn văn bản mang cảm xúc tích cực hay tiêu cực Sử dụng cho các phần mềm nhận diện khuôn mặt

1.3.2 Hồi quy logistic (Logistic Regression)

Hồi quy logistic là một cách thống kê mạnh mẽ để mô hình hóa một kết quả nhị thức với một hoặc nhiều biến giải thích Nó đo lường mối quan hệ giữa biến phụ thuộc phân loại và một hoặc nhiều biến độc lập bằng cách ước tính xác suất sử dụng một hàm logistic, là sự phân bố tích lũy logistic

12

Thuật toán này được sử dụng trong một số trường hợp:

- Điểm tín dụng (quyết định có cho khách hàng vay vốn hay không)

- Đo mức độ thành công của chiến dịch marketing

- Dự đoán doanh thu của một sản phẩm nhất định

- Dự đoán động đất

1.3.3 Support Vector Machines (SVM)

SVM là phương pháp phân loại nhị phân Cho một tập các điểm thuộc 2 loại trong môi trường N chiều, SVM cố gắng tìm ra N-1 mặt phẳng để phân tách các điểm đó thành 2 nhóm

Ví dụ, cho một tập các điểm thuộc 2 loại như hình bên dưới, SVM sẽ tìm ra một đường thẳng nhằm phân cách các điểm đó thành 2 nhóm sao cho khoảng cách giữa đường thẳng và các điểm xa nhất có thể

Xét về quy mô, một số vấn đề lớn nhất đã được giải quyết bằng cách sử dụng SVM (với việc thực hiện sửa đổi phù hợp) ví dụ như hiển thị quảng cáo, phát hiện giới tính dựa trên hình ảnh, phân loại hình ảnh có quy mô lớn

1.3.4 Phân tích thành phần chính (Principal Component Analysis - PCA)

PCA là một thuật toán thống kê sử dụng phép biến đổi trực giao để biến đổi một tập hợp dữ liệu từ một không gian nhiều chiều sang một không gian mới ít chiều hơn (2 hoặc 3 chiều) nhằm tối ưu hóa việc thể hiện sự biến thiên của dữ liệu

Phép biến đổi tạo ra những ưu điểm sau đối với dữ liệu:

Giảm số chiều của không gian chứa dữ liệu khi nó có số chiều lớn, không thể thể hiện trong không gian 2 hay 3 chiều

Xây dựng những trục tọa độ mới, thay vì giữ lại các trục của không gian cũ, nhưng lại có khả năng biểu diễn dữ liệu tốt tương đương, và đảm bảo độ biến thiên của dữ liệu trên mỗi chiều mới

Tạo điều kiện để các liên kết tiềm ẩn của dữ liệu có thể được khám phá trong không gian mới, mà nếu đặt trong không gian cũ thì khó phát hiện vì những liên kết này không thể hiện rõ

1.4 Bài toán nhận dạng giới tính dựa vào ảnh khuôn mặt

1.4.1 Giới thiệu bài toán

Bài toán nhận dạng giới tính dựa vào ảnh khuôn mặt thực ra là bài toán phân

loại nhị phân còn được gọi là binary classification nếu các label của input data được chia thành một số hữu hạn nhóm Ví dụ như ảnh đầu vào là nam hay nữ;

Gmail xác định xem một email có phải là spam hay không; các hãng tín dụng xác định xem một khách hàng có khả năng thanh toán nợ hay không Ba ví dụ phía trên được chia vào loại này

1.4.2 Giới thiệu mô hình phân lớp

Hai mô hình tuyến tính (linear models) Linear Regression và Perceptron

f(s) là một hàm kích hoạt Với f(s)=s trong Linear Regression, và f(s)=sgn(s) trong

output y, loại này phù hợp nếu chúng ta cần dự đoán một giá trị thực của đầu ra không bị chặn trên và dưới Trong PLA, đầu ra chỉ nhận một trong hai giá

trị 1 hoặc −1, phù hợp với các bài toán binary classification Ví dụ: xác suất là nam

nếu biết ảnh đầu vào, xác suất thi đỗ nếu biết thời gian ôn thi, xác suất ngày mai có mưa dựa trên những thông tin đo được trong ngày hôm nay,… Mô hình mới này

của chúng ta có tên là logistic regression Mô hình này giống với linear regression ở

khía cạnh đầu ra là số thực, và giống với PLA ở việc đầu ra bị chặn (trong

14

đoạn [0,1][0,1]) Mặc dù trong tên có chứa từ regression, logistic regression thường

được sử dụng nhiều hơn cho các bài toán classification

1.4.3 Tình hình nghiên cứu trong nước

Có rất nhiều luận văn, đề tài viết về nhận dạng như nhận dạng khuôn mặt, nhận dạng biển số xe, nhận dạng ký tự, nhận dạng ký tự viết tay, nhận dạng chữ ký, nhận dạng vân tay Một số luận văn đã được báo cáo và thông qua như nhận dạng khuôn mặt của Mai Hữu Lợi Trường Đại học Sư phạm Kỹ thuật Tp.Hồ Chí Minh, 2011, Giải pháp nhận dạng mặt người dùng Gabor Wavelets (face recognition algorithm using gabor wavelets): Luận văn thạc sĩ/ Võ Thiện Lĩnh TP.Hồ Chí Minh: Trường đại học sư phạm kỹ thuật, 2009, nhận dạng khuôn mặt sử dụng phương pháp biên đổi EIGENFACES và mạng Nơron của Trương Công Lợi chuyên nghành khoa học máy tính ở Đà Nẵng năm 2013

1.4.4 Tình hình nghiên cứu ngoài nước

Có rất nhiều đề tài nghiên cứu về lĩnh vực này thậm chí có một số người nghiên cứu nhận dạng giới tính thứ 3 dựa vào ảnh khuôn mặt nhưng đặc biệt là 2 hãng công nghệ lớn Microsoft và facebook đã cho ra đời ứng dụng dự đoán giới tính và tuổi dựa trên khuôn mặt được nhiều người sử dụng thích thú

15

CHƯƠNG 2

HỆ THỐNG PHÂN BIỆT GIỚI TÍNH DỰA VÀO ẢNH KHUÔN MẶT 2.1 Thuật toán Logistic Regression

Hàm logistic được phát minh khoảng 1844 bởi một nhà toán học người Pháp,

và sau đó được phát minh lại vào khoảng 1920, tức là trước cả thời đại của khoa học máy tính Mặc dù vậy, hàm logistic được sử dụng rộng rãi trong các thuật toán máy học như logistic regression, neural network… Bài này chỉ ra ý nghĩa đằng sau hàm logistic trong ngữ cảnh logistic regression

2.1.1 Tổng quan

Trong công trình gốc, hàm logistic được định nghĩa là lời giải của phương trình vi phân sau:

)) ( 1 )(

( )

c t t

e e

e t





)(

tính chất này thì logistic là một trường hợp đặc biệt của các hàm sigmoid Trên thực

tế, người ta cũng hay dùng từ sigmoid để chỉ trường hợp đặc biệt của nó là hàm

logistic

Từ một góc nhìn khác, nếu P là một số thực nằm trong khoảng từ 0 đến 1:

16

Đây gọi là hàm logit, đƣợc phát minh vào khoảng năm 1944 Do định nghĩa

bằng hàm logarithm nên tập xác định của hàm logit đƣợc giới hạn trong (0,1) Dễ dàng ta cũng thấy:

logit

2.1.2 Hàm logistic trong logistic regression

Còn nhớ trong logistic regression, ta giả sử xác suất của input x thuộc

lớp y=1 tuân theo hàm logistic:

Thực ra công thức này không phải ngẫu nhiên mà có, nó xuất phát từ một giả

sử sâu xa hơn về phân bố của dữ liệu, nhƣ sẽ thấy sau đây

i

X  và y i {0,1} Ở đây ta muốn

( ) ( ) ( )

Ngoài ra có một giả sử nhỏ nữa là ta sẽ xem nhƣ chỉ có 2 lớp 0 và 1, khi đó

17

Vector sẽ thuộc lớp 1 nếu tỉ số này lớn hơn 0 (vì khi đó

p y  x p y x ), và thuộc lớp 0 nếu tỉ số này nhỏ hơn 0

x

có xác suất thuộc về lớp 0 và lớp 1 đều bằng nhau [1]

2.1.3 Ví dụ [1]

Một nhóm 20 sinh viên dành thời gian trong khoảng từ 0 đến 6 giờ cho việc ôn thi Thời gian ôn thi này ảnh hưởng đến xác suất sinh viên vượt qua kỳ thi như thế nào?

Kết quả thu được như sau:

Mặc dù có một chút bất công khi học 3.5 giờ thì trượt, còn học 1.75 giờ thì lại

đỗ, nhìn chung, học càng nhiều thì khả năng đỗ càng cao PLA không thể áp dụng được cho bài toán này vì không thể nói một người học bao nhiêu giờ thì 100% trượt

hay đỗ, và thực tế là dữ liệu này cũng không linearly separable (điệu kiện để PLA

có thể làm việc) Chú ý rằng các điểm màu đỏ và xanh được vẽ ở hai tung độ khác nhau để tiện cho việc minh họa Các điểm này được vẽ dùng cả dữ liệu đầu vào x và

đầu ra y Khi ta nói linearly seperable là khi ta chỉ dùng dữ liệu đầu vào x

18

Chúng ta biểu diễn các điểm này trên đồ thị để thấy rõ hơn:

Hình 2.1 Ví dụ về kết quả thi dựa trên số giờ ôn tập

Nhận thấy rằng cả linear regression và PLA đều không phù hợp với bài toán

này, chúng ta cần một mô hình flexible hơn

Mô hình Logistic Regression

Đầu ra dự đoán của:

Hình 2 2 Các activation function khác nhau

Đường màu vàng biểu diễn linear regression Đường này không bị chặn nên

không phù hợp cho bài toán này Có một trick nhỏ để đưa nó về dạng bị chặn: cắt phần nhỏ hơn 0 bằng cách cho chúng bằng 0, cắt các phần lớn hơn 1 bằng

cách cho chúng bằng 1 Sau đó lấy điểm trên đường thẳng này có tung độ bằng 0.5