Luận văn thạc sĩ nhận dạng vân tay sử dụng mạng neural nhân tạo ứng dụng vào hệ thống thang máy

NGÔ VĂN TIẾNNHẬN DẠNG VÂN TAY SỬ DỤNG MẠNG NEURAL NHÂN TẠO ỨNG DỤNG VÀO HỆ THỐNG THANG MÁY LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ Đà Nẵng – Năm 2020... Tôi xin cam đoan mọi kết quả của đề tài

NGÔ VĂN TIẾN

NHẬN DẠNG VÂN TAY SỬ DỤNG MẠNG NEURAL NHÂN TẠO ỨNG DỤNG VÀO

HỆ THỐNG THANG MÁY

LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ

Đà Nẵng – Năm 2020

NGÔ VĂN TIẾN

NHẬN DẠNG VÂN TAY SỬ DỤNG MẠNG NEURAL NHÂN TẠO ỨNG DỤNG VÀO

Tôi xin cam đoan mọi kết quả của đề tài: “Nhận dạng vân tay sử dụng mạng

neural nhân tạo ứng dụng vào hệ thống thang máy ” là công trình nghiên cứu của cá

nhân tôi và chưa từng được công bố trong bất cứ công trình khoa học nào khác cho tớithời điểm này

Học viên thực hiện

Ngô Văn Tiến

VÀO HỆ THỐNG THANG MÁY

Học viên thực hiện : Ngô Văn Tiến Chuyên ngành: Kỹ thuật điện tử

Tóm tắt – Nhận dạng vân tay là một trong những phương pháp nhận dạng sinh trắc học cá

nhân phổ biến và đáng tin cậy Luận văn mô tả hệ thống nhận dạng vân tay thời gian thực ápdụng vào quản lý sử dụng hệ thống thang máy bao gồm các bước thu nhận hình ảnh, tiền xử

lý, trích xuất đặc trưng và nhận dạng Phần tiền xử lý tăng cường, lọc nhiễu làm rõ đường vân,

so sánh hiệu suất, tốc độ của phương pháp xử dụng xử lý ảnh so với phương pháp sử dụng môhình tích chập phân vùng ngữ nghĩa Sử dụng mô hình tích chập với phương pháp học một lầntrích xuất đặc trưng của vân tay và tính khoảng cách ơ-clid để định danh vân tay Luận văntrình bày tổng quan về hệ thống sinh trắc học, mạng neural nhân tạo, mạng neural tích chập,phương pháp học một lần, các thuật toán huấn luyện mô hình Nghiên cứu, thiết kế và thực thiphần mềm và phần cứng, đánh giá chi tiết độ chính xác và thời gian xử lý của hệ thống Tácgiả đã tóm tắt các kết quả đã đạt được và đưa ra hướng phát triển tiếp theo

Từ khoá –tích chập ; phân vùng ngữ nghĩa ; học một lần ; sinh trắc học ; nhận dạng vân tay

FINGERPRINT IDENTIFICA ION USING ARTIFICIAL NEURAL

NETWORK APPLY TO THE ELEVATOR SYSTEM

Abstract – Fingerprint identification is one of the most popular and reliable personal

biometric identification methods The thesis describes the real-time fingerprint recognitionsystem applied to the management and use of the elevator system, including the steps ofimage acquisition, pre-processing, feature extraction and identification Enhanced pre-processing, filter noise to clarify the pattern, compare the performance and speed of themethod of using image processing compared with the method of using the semanticsegmentation convolution model Use a convolution model with a one-time learning methodthat extracts fingerprint features and calculates euclidean distance to identify a fingerprint.The thesis presents an overview of biometric systems, artificial neural networks,convolutional neural networks, one-shot learning methods, and train algorithms Research,design and implement software and hardware, detail the accuracy and processing time of thesystem The author has summarized the results achieved and gave the next developmentdirection

Key words – covolution neural network ; semantic segmentation ; one-shot learning ;

biometrics ; fingerprint identification

MỞ ĐẦU 1

1 Tính cấp thiết của đề tài 1

2 Mục tiêu nghiên cứu 2

3 Đối tượng và phạm vi nghiên cứu 2

4 Phương pháp nghiên cứu 3

5 Ý nghĩa khoa học và thực tiễn của đề tài 3

6 Thời gian thực hiện đề tài 3

7 Cấu trúc luận văn 4

Chương 1 TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP NHẬN DIỆN DẤU VÂN TAY 5

1.1 Tổng quát về các hệ thống sinh trắc học 5

1.1.1 Các khối và chức năng 6

1.1.2 Các bước xử lý 7

1.2 Cơ sở lý thuyết về vân tay 7

1.2.1 Đặc tính vân tay 7

1.2.2 Cấu trúc vân tay 7

1.2.3 Các đặc trưng vân tay và cách biểu diễn 9

1.3 Các yếu tố ảnh hưởng đến nhận dạng vân tay 10

1.4 Kết luận chương 11

Chương 2 GIỚI THIỆU MẠNG NEURAL NHÂN TẠO, MẠNG NEURAL TÍCH CHẬP VÀ ONE-SHOT LEARNING 12

2.1 Tổng quan về mạng neural nhân tạo 12

2.1.1 Mạng neural nhân tạo là gì ? 12

2.1.2 Cấu trúc của một mạng neural nhân tạo 12

2.2 Kiến trúc mạng neural 16

2.3 Huấn luyện mạng neural nhận tạo 17

2.3.1 Các phương pháp học 17

2.3.2 Thuật toán huấn luyện mạng neural 17

2.3.3 Thuật toán tối ưu Adam 18

2.4 Mạng neural tích chập (CNN) 20

2.4.1 Định nghĩa mạng neural tích chập 20

2.4.2 Lớp tích chập 20

2.4.3 Lớp tích chập chuyển vị (Transposed Conlution layer) 22

2.4.4 Lớp tinh chỉnh đơn vị tuyến tính (ReLU layer) 23

2.4.7 Hàm mất mát (Loss function) 25

2.5 One-shot learning 26

2.6 Kết luận Chương 28

Chương 3 THIẾT KẾ, XÂY DỰNG CHƯƠNG TRÌNH NHẬN DIỆN VÂN TAY SỬ DỤNG ONE-SHOT LEARNING ỨNG DỤNG VÀO HỆ THỐNG THANG MÁY 29

3.1 Thiết kế mô hình nhận diện vân tay phiên bản với bộ lọc Gabor 29

3.1.1 Nâng cao hình ảnh vân tay 30

3.1.2 Nhận dạng hình ảnh vân tay 35

3.2 Thiết kế mô hình nhận diện vân tay phiên bản với mạng tích chập 36

3.2.1 Nâng cao hình ảnh vân tay sử dụng mạng phân vùng ngữ nghĩa 37

3.2.2 Nhận dạng hình ảnh vân tay 38

3.3 Thiết kế thiết bị thu thập, nhận diện vân tay và điều khiển hệ thống thang máy .39

3.3.1 Khối thu thập vân tay 39

3.3.2 Khối xử lý nhận dạng 39

3.4 Kết luận Chương 42

Chương 4 KẾT QUẢ 43

4.1 Tiêu chí đánh giá 43

4.2 Xây dựng cơ sở dữ liệu và phân tích kết quả 44

4.2.1 Xây dựng cơ sở dữ liệu 44

4.2.2 Đánh giá và so sánh thời gian xử lý, kết quả nhận dạng mô hình nhận diện vân tay phiên bản với bộ lọc Gabor và với mạng tích chập 45

4.3 Kết luận chương 46

KẾT LUẬN 47 DANH MỤC TÀI LIỆU THAM KHẢO

PHỤ LỤC

Hidden Markov Model

Dynamic Bayesian Network

Support Vector Machine

Convolution Neural Network

True negative rate

True positive rate

Số hiệu

bảng

dữ liệu kiểm tra

bộ dữ liệu kiểm tra

phiên bản với bộ dữ liệu kiểm tra

Số hiệu

hình

(ravine) [9]

Hình ảnh vân tay do các yếu tố xấu gây ra Từ trái qua phải : Sự đổi

của mạng d : Tín hiệu ra mong muốn x Tín hiệu vào của mạng

2.11 Ảnh được phát hiện biên sau khi chập

3.1 Sơ đồ mô tả mô hình nhận diện vân tay phiên bản với bộ lọc Gabor

chập

nhận diện

MỞ ĐẦU

1 Tính cấp thiết của đề tài

Nhận dạng dấu vân tay là một trong những công nghệ sinh trắc học được ứngdụng rộng rãi Sự phát triển của công nghệ đã làm thay đổi từ việc lăn tay trên mực vàlưu trữ trên giấy sang quét trên máy và lưu trữ kỹ thuật số Nhờ đó đạt được nhiều kếtquả quan trọng và trở thành một trong những phương pháp sinh trắc học tin cậy nhất

Đa số các hệ thống bảo mật hiện nay sử dụng mật khẩu hay mã PIN (PersonalIdentification Number) nhưng không thật sự hiệu quả vì khó nhớ, dễ quên, dễ bị đánhcắp và có nhiều trở ngại trong quá trình sử dụng Hệ thống nhận dạng sinh trắc học nóichung và vân tay nói riêng ra đời để khắc phục khuyết điểm đó Độ ổn định, tính phânbiệt cao và tính bảo mật tốt là các đặc điểm nổi bật của hệ thống nhận dạng dấu vân taygiúp công nghệ này ngày càng được ứng dụng phổ biến

Thực tế, hiện nay đã có rất nhiều hệ thống nhận dạng dấu vân tay AFIS đạt tới

độ chính xác rất cao, được ứng dụng cho các mục đích khác nhau như: bảo mật, giámsát, chấm công… với cơ sở dữ liệu đơn giản hay đồ sộ tùy vào mục đích sử dụng.Được áp dụng trong nhiều lĩnh vực như tài chính, quân sự, y học, kinh tế điện tử,…Trong đó, có thể kể đến các hệ thống nhận dạng dấu vân tay được ứng dụng trong thực

tế như:

nhà công cộng, nhà ở thông minh, trường học, bệnh viện, cơ quan chính phủ,…cho việc điều khiển cũng như giám sát theo ý muốn người dùng

Thiết bị nhận dạng vân tay thông minh INVIXIUM X

· Thiết bị nhận dạng dấu vân tay cho các bệnh viện, khu công nghiệp, cơ quan như Finger Hamter 2, Verifiti P5100, Secugen Hamter Plus,…

Công nghệ Touch ID ứng dụng trên Iphone

· Hệ thống giám sát, theo dõi, hộ chiếu điện tử,…

Hệ thống nhận diện vân tay ứng dụng trên máy rút tiền ATM

2 Mục tiêu nghiên cứu

Xây dựng một chương trình phần mềm của hệ thống nhận dạng vân tay sử dụngmạng neural tích chập với phương pháp one-shot learning trên máy tính với hiệu suấttrên 90% và độ tin vậy cao ứng dụng vào hệ thống điều khiển thang máy

3. Đối tượng và phạm vi nghiên cứu

3.1. Đối tượng nghiên cứu:

Lý thuyết công nghệ sinh trắc và vấn đề bảo mật

Cơ sở nhận dạng vân tay

Cơ sở dữ liệu

Thiết kế và phân tích hệ thống

4. Phương pháp nghiên cứu

Phương pháp luận của luận văn là kết hợp nghiên cứu lý thuyết và mô phỏng để làm rõ nội dung đề tài Cụ thể như sau:

Nghiên cứu phương pháp nâng cao ảnh vân tay trên cơ sở thuật toán xử lý ảnh.Nghiên cứu mô hình nhận dạng ảnh vân tay

Chương trình nhận dạng vân tay được xây dựng bằng ngôn ngữ Python, với thưviện OpenCV, Tensorflow Giao diện của chương trình được xây dựng bằngcông cụ QtDesign và thư viện PyQT5

Đánh giá kết quả thực hiện

5. Ý nghĩa khoa học và thực tiễn của đề tài

Bên cạnh thuật toán mang ý nghĩa khoa học trong lĩnh vực nhận dạng vân tay,

đề tài còn đề xuất phương án xây dựng một chương trình mô phỏng, xử lý ảnh vân tay

để đối sánh vân tay và ứng dụng mục đích vào hệ thống thang máy thông minh nhậndạng vân tay

6 Thời gian thực hiện đề tài

7 Cấu trúc luận văn

Với đề tài “Nhận dạng vân tay sử dụng mạng neural nhân tạo ứng dụng

vào hệ thống thanh máy”, Tập trung vào việc nghiên cứu, xây dựng và thực thi hệ

thống nhận dạng dấu vân tay sử dụng mạng neural tích chập với phép học one-shot.Nội dung đồ án gồm 4 chương :

Chương 1 : Tổng quan về các phương pháp nhận dạng vân tay

Chương 2 : Giới thiệu mạng neural nhân tạo, mạng neural tích chập và one-shot

learningChương 3 : Thiết kế, xây dựng chương trình nhận diện vân tay sử dụng one-shot

learning ứng dụng vào hệ thống thang máyChương 4 : Thực nghiệm và kết quả đánh giá

Chương 1 TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP NHẬN DIỆN DẤU VÂN TAY

Ngày nay, kỹ thuật sinh trắc học được ứng dụng ngày càng rộng rãi Trong đó,nhận dạng dấu vân tay được xem là một trong những kỹ thuật hoàn thiện và đáng tincậy nhất Chương này trình bày tổng quát các hệ thống sinh trắc học và sơ lược về cácquá trình cần thiết và điều cần quan tâm khi xây dựng hệ thống nhận dạng dấu vân tay

1.1 Tổng quát về các hệ thống sinh trắc học

Kết quả của việc xây dựng các hệ thống sinh trắc học thực tế là xác định xemđặc trưng riêng của các nhân sẽ được nhận biết như thế nào Dựa vào phạm vi ứngdụng, hệ thống sinh trắc học có thể được gọi là hệ thống đăng ký, hệ thống xác thựchoặc hệ thống nhận dạng

Hình 1.1 Mô tả quy trình lấy mẫu vân tay đầu vào

Hệ thống đăng ký mẫu (Enrollment System) thực hiện các việc lấy vân tay sau

đó trích xuất các đặc trưng đi kèm của vân tay đó sau đó lưu lại tập đặc trưng đó làmdatabase để xây dựng các hệ thống nhận dạng

Hệ thống xác thực (Verification System) dùng để chứng thực một cá nhân cóthuộc hệ thống hay không, bằng cách so sánh đặc tính sinh trắc học thu được với mẫusinh trắc học được lấy trước đó của cùng một cá nhân và đã được lưu trong hệ thống

Hệ thống xác thực có thể từ chối hoặc chấp nhận định danh mà cá nhân khai báo

Hệ thống định danh (Identification System) thực hiện nhận dạng cá nhân bằngcách tìm kiếm trong toàn bộ cơ sở dữ liệu để nhận dạng Việc so sánh một – nhiều nàyđược thành lập nếu dữ liệu của cá nhân đó hiện có trong cơ sở dữ liệu và hệ thống sẽtrả về định danh của mẫu trong cơ sở dữ liệu trùng khớp với cá nhân đó Trong trườnghợp không tìm thấy mẫu trùng khớp hệ thống sẽ đưa ra thông báo phù hợp

Hình 1.2 Sơ đồ khối của hệ thống đăng ký [6]

Hình 1.3 Sơ đồ khối của hệ thống xác thực [6]

Hình 1.4 Sơ đồ khối của hệ thống định danh

[6] 1.1.1 Các khối và chức năng

Scanner: đây là khối quan trọng để thu thập mẫu vân tay thông qua bộ cảm biến

sinh trắc học thường là đầu đọc vân tay Ngoài ra, khối này còn có thể có các thànhphần khác như bàn phím, màn hình,… để lấy mẫu các loại dữ liệu khác trong một hệthống nhận dạng dấu vân tay

Feature extractor: đây là khối sẽ rút trích đặc trưng từ vân tay thu thập được từ

khối scanner đầu vào Mục đích của khối rút trích đặc trưng này để tạo ra mẫu vớinhững chi tiết riêng biệt của vân tay đó nhưng không gian nhỏ hơn để nhận dạng vântay Đây chính là cơ sở cho việc nhận dạng

Template Storage: khối dùng để lưu trữ những tập đặc trưng ứng với từng vân

tay sau đó sắp xếp và lưu trữ trong hệ thống

Matcher: khối đối sánh thực hiện so khớp giữa tập đặc trưng được lưu trữ trong

khối lưu trữ và tập đặc trưng vân tay đầu vào bằng cách tính toán sự tương đồng củatừng cặp điểm giữa tập đặc trưng sau đó so sánh với ngưỡng cho trước để cho ra kếtquả cuối cùng Nếu điểm trùng khớp lớn hơn ngưỡng thì cá nhân đó được chấp nhận,ngược lại thì bị từ chối

1.1.2 Các bước xử lý

Sử dụng bốn thành phần trên, ba bước xử lý có thể được thực hiện là đăng ký,xác thực và định danh Hệ thống xác thực sử dụng các bước đăng ký và xác thực còn

hệ thống định danh sử dụng các bước đăng ký và định danh Sau đây là ba bước xử lý:

Đăng ký: người dùng đăng ký thông tin cá nhân vào hệ thống lưu trữ sinh

trắc học Trong suốt quá trình đăng ký, các đặc trưng sinh trắc học của đối tượng đượclấy bằng máy quét sinh trắc học để tạo thành mẫu Bước kiểm tra chất lượng được thựchiện để chắc chắn rằng mẫu lấy được sẽ được xử lý một cách tin cậy ở các bước kếtiếp Sau đó, khối trích đặc trưng được sử dụng để tạo ra tập đặc trưng và tạo mẫu đăng

ký Cuối cùng, mẫu sẽ được đưa vào lưu trữ trong hệ thống cùng với các thông tin củangười dùng

Xác thực: bước xác thực thích hợp cho việc khẳng định lại việc khai báo

định danh của đối tượng Trong suốt quá trình nhận dạng, ID của đối tượng được cungcấp để khai báo danh tính, máy quét sinh trắc học sẽ lấy các đặc trưng của đối tượng vàchuyển nó sang mẫu và được xử lý kỹ hơn bằng bước trích đặc trưng để hình thành tậpđặc trưng Tập đặc trưng này sẽ được đưa vào khâu đối sánh để so sánh với mẫu đãđăng ký của đối tượng Bước xác thực sẽ quyết định là khớp hay không khớp

Định danh: trong quá trình định danh, đối tượng không cần khai báo ID và hệ

thống sẽ so sánh tập đặc trưng của đối tượng lấy từ mẫu sinh trắc học từ máy quét với tất

cả các mẫu có trong cơ sở dữ liệu, kết quả đầu ra là danh sách các đối tượng rỗng (nếukhông trùng khớp) hoặc bao gồm một hoặc nhiều ID trùng với mẫu đã đăng ký

1.2 Cơ sở lý thuyết về vân tay

1.2.1 Đặc tính vân tay

Tính cá thể: không có sự giống nhau tuyệt đối hai vân tay của hai người bất kì

trên thế giới dù đó là song sinh cùng trứng

Tính bền vững: vân tay của một người không thay đổi trong suốt thời gian

sống Nếu có gặp phải tổn thương thì vân tay sẽ phục hồi lại cấu trúc đường vân trướcđó

Tính pháp lý: vân tay này được ghi nhận về mặt pháp lý Đồng thời chúng ta

cũng có rất nhiều công cụ hữu hiệu để chứng minh tính xác thực của một vân tay như

là kỹ thuật phân tích méo, kỹ thuật tách vân

1.2.2 Cấu trúc vân tay

Vân tay được thu nhận từ lớp biểu bì da với cấu trúc dễ nhận thấy nhất là vânlồi và vân lõm Trong ảnh vân tay, vân lồi có màu tối trong khi vân lõm có màu sáng.Vân lồi có độ rộng từ 100 µm đến 300 µm Độ rộng của một cặp vân lồi lõm cạnhnhau là 500 µm Cấu trúc đường vân có thể khôi phục khi gặp chấn thương Vân lồi và

vân lõm thường chạy song song với nhau rồi có thể rẽ nhánh hoặc kết thúc Ở mức độtổng thể, vân tay có thể chia thành các dạng là loop, delta, whorl và được kí hiệu tươngứng là ∩, Δ , Ω Vùng whorl có thể được mô tả bởi hai vùng loop đối diện nhau.

Hình 1.5 Vùng Whorl, Loop, Arch trên vân tay [8]

tiết theo bốn loại bao gồm: điểm kết thúc, điểm rẽ hai, điểm rẽ ba và điểm không xácđịnh Trong khi đó mô hình chi tiết của cục điều tra liên bang Mỹ chỉ có hai loại chitiết là điểm kết thúc và điểm rẽ hai Mỗi chi tiết được đặc trưng bởi phân lớp, hệ tọa độ(x,y), góc tạo bởi tiếp tuyến của đường vân tại chi tiết và trục ngang [3]

Theo giải phẫu vân tay thì có 7 loại chi tiết trên vân tay như hình bên dưới: Vân kết thúc: Ridge ending

Vân rẽ nhánh: Bifurcation

Vân vòng: Lake

Vân độc lập: Independent Ridge

Vân đơn: Point or Island

Vân cựa gà: Spur

Vân chéo: Crossover

Hình 1.6 7 chi tiết thường gặp trên vân tay

[8] 1.2.3 Các đặc trưng vân tay và cách biểu diễn

Trên các ảnh vân tay có các đặc điểm đặc trưng Đó là những điểm đặc biệt mà

vị trí của nó không trùng lặp trên các vân tay khác nhau Điểm đặc trưng của vân tayđược phân thành hai loại là singularity và minutiae

1.2.3.1 Điểm Singularity

Đây là những vùng có cấu trúc khác thường so với những vùng bình thườngkhác (thường có cấu trúc song song) được gọi là singularity Có hai loại singularity làcore và delta

Hình 1.7 Các điểm singularity core và delta [8]

Điểm core thường có một số dạng như sau:

Hình 1.8 Một số loại core thường gặp [6]

1.2.3.2 Điểm Minutiate

Những điểm đường vân kết thúc (Rigde Ending) hoặc rẽ nhánh (Bifurcation)được gọi chung là minutiae

Hình 1.9 Các điểm minutiae Rigde Ending và Bifurcation

[9] 1.2.3.3 Cách biểu diễn vân tay

Hình ảnh vân tay thường được biểu diễn như là một bề mặt hai chiều Với cácvân lồi (có màu tối) và các vân lõm (có màu sáng) trong không gian

Hình 1.10 Bề mặt của ảnh vân tay với các đường vân (ridge) và các rãnh (ravine)

[9] 1.3 Các yếu tố ảnh hưởng đến nhận dạng vân tay

Nhận dạng dấu vân tay là một bái toán cực kì khó, chủ yếu do sự thay đổi dấu incủa cùng một vân tay Các yếu tố chính làm các dấu in khác nhau được trình bày dướiđây:

Sự đổi chỗ: một ngón tay có thể đặt ở các vị trí khác nhau trên bộ cảm biến

làm tịnh tiến ảnh vân tay

Sự quay: cùng một vân tay có thể quay ở các góc quay khác nhau trên bề

mặt bộ cảm biến Mặc dù bộ hướng dẫn ngón tay được gắn liền trên các máy quétthương mại, nhưng trong thực tế tồn tại sự quay không cố ý lên tới ±200 theo chiềudọc

Sự chồng chéo đường vân: sự đổi chỗ và sự quay vân tay thường làm cho

một phần vân tay bị đổ ra ngoài vùng nhìn thấy của bộ cảm biến, kết quả là xuất hiện

sự chồng chéo giữa các vùng vân cạnh nhau của mẫu và các vân tay đầu vào

Sự nhiễu phi tuyến và méo vân: do áp lực da gây ra các biến dạng kéo dãn

khác nhau, mồ hôi cũng như bề mặt vân và cảm biến gây ra nhiễu với nhiều mức độ

Hình 1.11 Hình ảnh vân tay do các yếu tố xấu gây ra Từ trái qua phải : Sự đổi chỗ,

Sự quay, Sự chồng chéo đường vân, Sự nhiễu phi tuyến và méo vân

1.4 Kết luận chương

Qua chương này, ta đã có cái nhìn tổng quan về các hệ thống sinh trắc học nóichung cũng như hệ thống nhận dạng dấu vân tay nói riêng và những khái niệm cơ bản

về cấu tạo, đặc tính vân tay Đồng thời cho biết sơ lược về các yếu tố ảnh hưởng đến

hệ thống Đến chương sau sẽ trình bày rõ ràng và chi tiết hơn về các thuật toán được sửdụng để xây dựng hệ thống nhận dạng dấu vân tay

Chương 2 GIỚI THIỆU MẠNG NEURAL NHÂN TẠO, MẠNG NEURAL TÍCH

CHẬP VÀ ONE-SHOT LEARNING

Chương này tập trung nói về mạng neural nhân tạo, mạng neural tích chập vàphép học one-shot, tìm hiểu mô tình mạng, thuật toán huấn luyện

2.1 Tổng quan về mạng neural nhân tạo

2.1.1 Mạng neural nhân tạo là gì ?

Mạng neural nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng neural,

là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ neuralsinh học Nó được tạo nên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hayneural) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc nhưmột thể thống nhất để giải quyết một vấn đề cụ thể nào đó

Một mạng neural nhân tạo được cấu hình cho một ứng dụng cụ thể nào đó nhưnhận dạng mẫu, phân loại dữ liệu,… thông qua một quá trình học từ tập các mẫu huấnluyện Về bản chất, học chính là quá trình hiệu chỉnh các trọng số liên kết giữa cácneural Trong một vài năm trở lại đây, mạng neural nhân tạo đã được nhiều nhà nghiêncứu quan tâm và đã áp dụng thành công trong nhiều lĩnh vực khác nhau như tài chính,

y tế, địa chất, vật lý và kỹ thuật Thật vậy, bất cứ ở đâu có vấn đề về dự báo, phân loại

và điều khiển, mạng neural nhân tạo đều có thể ứng dụng được Sự thành công nhanhchóng của mạng neural nhân tạo có thể là do một số nhân tố chính sau:

Năng lực: Mạng neural nhân tạo là kỹ thuật mô phỏng rất tinh vi, có khả

năng mô phỏng các hàm cực kỳ phức tạp Đặc biệt, mạng neural nhân tạo hoạt độngphi tuyến Trong nhiều năm, mô hình tuyến tính là kỹ thuật được sử dụng rộng rãitrong hầu hết các lĩnh vực, vì thế mô hình tuyến tính có tính chiến lược tối ưu hóađược biết nhiều nhất

2.1.2 Cấu trúc của một mạng neural nhân tạo

Để mô phỏng các tế bào thần kinh và các khớp nối thần kinh của bộ não conngười, trong mạng neural nhân tạo cũng có các thành phần có vai trò tương tự là cácneural nhân tạo cùng các khớp nối thần kinh

Một neural nhân tạo là một đơn vị tính toán hay đơn vị xử lý thông tin cơ cởcho hoạt động của một mạng neural Cấu trúc của một neural nhân tạo được mô tả ởhình dưới

Hình 2.1 Mô hình cấu trúc của neural nhân tạo

Các thành phần cơ bản của một neural nhân tạo bao gồm:

Tập các đầu vào: là các tín hiệu vào (input signals) của neural, các tín hiệu

này thường được đưa vào dưới dạng một vector N chiều

Tập các liên kế t: mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng

số liên kết – synaptic weight) Trọng số liên kết giữa tín hiệu vào thứ j với neural k

!" Thông thường, các trọng số này được khởi tạo một cáchthườngđượckíhiệulà

ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình huấn luyện mạng

Bộ tổ hợp tuyến tính: thường dùng để tính tổng của tích các đầu vào với

trọng số liên kết của nó

Hệ số hiệu chỉnh hay còn gọi là độ lệch (bias): hệ số này thường được đưa

vào như một thành phần của hàm kích hoạt

Hàm kích hoạt: hàm này được dùng để giới hạn phạm vi đầu ra của mỗi

neural Nó nhận đầu vào là kết quả của bộ tổ hợp tuyến tính và hệ số hiệu chỉnh đãcho Thông thường, phạm vi đầu ra của mỗi neural được giới hạn trong đoạn [0,1] hoặc[-1,1] Các hàm kích hoạt rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến.Việc lựa chọn hàm kích hoạt nào là tùy thuộc vào từng bài toán và kinh nghiệm củangười thiết kế mạng Một số hàm kích hoạt thường sử dụng trong các mô hình mạngneural được đưa ra trong Hình 2.2

Đầu ra: là tín hiệu đầu ra của một neural, với mỗi neural sẽ có tối đa là một

đầu ra

Dưới dạng công thức toán học, chúng ta có thể mô tả cấu trúc của một neural k bằng cặp công thức sau:

Với x1, x2, , xm là các tín hiệu đầu vào; wk1,wk2, ,wkm là các trọng số liên

thể thấy được sự có mặt của nó trong công thức (2.2)

Các hàm kích hoạt, ký hiệu bởi f(v), xác định đầu ra của neural Dưới đây là

các kiểu hàm kích hoạt cơ bản:

*Hàm(#)gi=ới,1:hạ#n!: hàm≥0(2 này 3) được mô tả trong Hình 2.3a, có:

! 0:# ! < 0

Hàm giới hạn này thường được gọi là hàm Heaviside

1 : #

*(# ! ) = ,−1 : # !

Hàm giới hạn đối xứng: hàm này được mô tả trong Hình 2.3b:

- Hàm tuyến tính: mô tả trong hình 2.3c:

- Hàm sigmoid (mô tả hình 2.3f) là dạng chung nhất của hàm kích hoạt được sử

dụng trong cấu trúc mạng neural nhân tạo Đầu vào là số thực âm rất nhỏ sẽ cho đầu ratiệm cận với 0, ngược lại, nếu đầu vào là một số thực dương lớn sẽ cho đầu ra là

một số tiệm cận với 1:

Với a là tham số độ dốc

- Hàm tansig (mô tả hình 2.3g): đầu vào là một số thực và chuyển thành một

giá trị trong khoảng (-1; 1) Cũng như Sigmoid, hàm tansig bị bão hoà ở 2 đầu(gradient thay đổi rất ít ở 2 đầu)

* (# ) = 2 56 − 2 356 (2.9)

! 2 56 + 2 356

Hình 2.2 Một số hàm kích hoạt thông dụng

2.2 Kiến trúc mạng neural

Cách thức kết nối các neural trong mạng xác định kiến trúc của mạng Cácneural trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi neural đều đượckết nối với tất cả các neural khác, hoặc kết nối cục bộ (partially connnected) chẳng hạnchỉ kết nối các neural trong các tầng khác nhau Người ta chia ra các loại kiến trúcmạng sau :[13][14][21]

Mạng tự tổ chức (self-organizing): là mạng có các neural đầu vào cũng là các

neural đầu ra Mạng Hopfield là một kiểu mạng tự tổ chức [21]

Hình 2.3 Mạng tự tổ chức

Mạng truyền thẳng (feed–forward): là kiểu kiến trúc mạng không có các kết

nối ngược trở lại từ các neural đầu ra về các neural đầu vào; mạng không lưu lại cácgiá trị output trước và các trạng thái kích hoạt của neural Các mạng neural truyềnthẳng cho phép tín hiệu di chuyển theo một đường duy nhất, từ đầu vào tới đầu ra, đầu

ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó Các mạng kiểu Perceptron làmạng truyền thẳng

Hình 2.4 Mạng có kiến trúc truyền thẳng

Mạng hồi quy (feed–back): là kiểu kiến trúc mạng có các kết nối từ neural đầu

ra tới neural đầu vào Mạng lưu lại các trạng thái trước đó và trạng thái tiếp theo không

chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc vào các trạng thái trước đócủa mạng.

Hình 2.5 Mạng có kiến trúc hồi quy

Trong tất cả các kiến trúc mạng neural nói ở trên thì mạng neural truyền thẳng

đa lớp (Multi-Layer Perceptron – MLP) được sử dụng rộng rãi nhất Một mạng MLPtổng quát là mạng có n (n ≥ 2) lớp Trong đó gồm một lớp đầu ra (lớp thứ n) và (n-1)lớp ẩn Thông thường, trong mạng MLP thì lớp đầu vào không được tính đến Tuynhiên chỉ cần với một lớp ẩn thì mạng neural đã có thể mô tả được mọi hàm phi tuyến

2.3 Huấn luyện mạng neural nhận tạo

Có ba phương pháp học phổ biến là học có giám sát (Supervised Learning), họckhông giám sát (Unsupervised Learning) và học tăng cường (Reinforcement Learning)[13][21]

2.3.2 Thuật toán huấn luyện mạng neural

Huấn luyện mạng neural là điều chỉnh, xác lập các giá trị trọng số liên kết – cònđược gọi là bộ trọng số kết nối của mạng (ký hiệu là W) giữa các neural trong mạng vàcủa các ngưỡng theo một thuật toán nào đó Trong học giám sát, các cặp tín hiệu vào rađược dùng để huấn luyện mạng sao cho tín hiệu ra của mạng tiệm cận tới tín hiệu ramong muốn của hệ thống (Hình 2.6) [16]

Bộ trọng số của mạng nhận được sau huấn luyện chính là ma trận W làm tốithiểu tiêu chuẩn ước lượng:

Hình 2.6 Sơ đồ huấn luyện mạng neural trong học giám sát với

y:Tín hiệu ra của mạng

d : Tín hiệu ra mong muốn

x Tín hiệu vào của mạng

Chúng ta không chỉ cần một thuật toán để thay đổi các trọng số của mạng màchúng ta còn phải thiết lập một thuật toán huấn luyện phù hợp với bài toán đưa ra.Không có bất kỳ thuật toán nào là tối ưu nhất mà chỉ là thuật toán đó tốt nhất cho bàitoán cụ thể nào mà thôi Vì vậy cần tìm ra thuật toán nào là tốt nhất cho bài toán củachúng ta

Mục tiêu của huấn luyện mạng là để có đầu ra mong muốn với một số đầu vàođưa ra Lỗi là sự chênh lệch giữa đầu ra thực tế và đầu ra mong muốn, lỗi này phụthuộc vào các trọng số và cần phải điều chỉnh trọng số để giảm thiểu lỗi

Một mạng neural tùy ý được đưa ra với vector W là vector trọng số thuộc khônggian RN, N là số lượng trọng số và ngưỡng

Trong phạm vi luận văn này, mạng truyền thẳng đa lớp và thuật toán lan truyềnngược các sai số (Back-Propagation) được sử dụng để huấn luyện mạng neural [14]

2.3.3 Thuật toán tối ưu Adam

Adaptive Moment Estimation (Adam)[14] là thuật toán tối ưu có khả năng cậpnhật trọng số của mạng neural trong quá trình đào tạo có nhưng ưu điểm :

- Đơn giản để thực hiện

- Tính toán mang lại hiệu quả.

- Yêu cầu ít bộ nhớ

- Thích hợp với các bài toán có độ biến thiên không ổn định và dữ liệu training

phân mảnh

- Phù hợp với bài toán có dữ liệu hoặc tham số lớn

- Các siêu tham số được biến thiên một cách hiệu quả và yêu cầu ít điều chỉnh Giống với Adadelta và #RMSprop, thuật toán Adam duy trì trung bình bình =phương độ dốc (slope) quá

khứ A và cũng đồng thời duy trì trung bình độ dốc quá khứ

A , giống momentum.

Trong khi momentum giống như một quả cầu lao xuống dốc, thì Adam lại giống

như một quả cầu rất nặng và có ma sát (friction), nhờ vậy dễ dàng vượt qua local

minimum và đạt tới điểm tối ưu nhất (flat minimum)

Giá trị trung bình bình phương độ dốc quá khứ #A và trung bình độ dốc quá khứ

= = B

= A được tính bằng công thức sau :

#

Trong đó :

· B(, BD là tỷ lệ suy giảm theo cấp số nhân cho mỗi thời điểm Có giá trị mặc

định lần lượt là 0.9 và 0.999dốc =A và bình phương độ dốc # A mà ở đó t ham số B(, BD ∈ [0, 1) kiể m soát tỉ lệ suy

Công thức (2.12, 2.13) cập nhật giá trị trung bình động theo cấp số nhân của độ

giảm theo cấp số nhân của trung bình động Bản thân trung bình động là quá trình tối

ưu tại thời điểm đầu tiên (trung bình) và thời điểm thứ hai (phương sai không kiểm

soát) của độ dốc Tuy nhiên, trung bình động này được khởi tạo là vector 0’s, dẫn đến

thời điểm tối ưu bị lệch về không, đặc biệt trong suốt thời gian khởi tạo, và đặc biệt

nhất và t hời điể m thứ hai (=IA, #JA) :

khi có tỷ lệ suy giảm nhỏ Để chống lại sự sai lệch đó bằng cách tối ưu thời điểm thứ

Convolution Neural Network (CNN – Mạng neural tích chập) là một trongnhững mô hình Học sâu (Deep Learning) tiên tiến giúp cho chúng ta xây dựng đượcnhững hệ thống thông minh với độ chính xác cao như hiện nay Cụ thể CNN là một môhình mạng neural nhân tạo, mô hình thường được dùng trong bài toán phân loại ảnhđối tượng hoặc một mô-đun rút trích đặc trưng của hình ảnh trong nhiều bài toán khácnhau Về cơ bản, mô hình bao gồm các lớp như sau :

· Convolution layer (lớp tích chập)

· Rectified Linear Unit layer (ReLU layer - lớp tinh chỉnh đơn vị tuyến tính)

Ngoài ra, thuật toán dùng để huấn luyện Stochastic gradient descent và tính toánhàm mất mát (loss function) cũng sẽ được giới thiệu ở phần này

Hình 2.7 Hình ảnh minh họa về mạng tích

chập 2.4.2 Lớp tích chập

Tích chập được sử dụng nhiều trong xử lý tín hiệu số (Digital signal

processing)

Hình 2.8 Các thành phần của tích chập[21]

Để dễ hình dung, ta có thể xem tích chập như một cửa sổ trượt (sliding window)

áp đặt lên một ma trận Bạn có thể theo dõi cơ chế của tích chập qua hình minh họabên dưới

Hình 2.9 Minh họa tích chập

Ta coi ma trận bên trái là một ảnh có 2 giá trị là 0 và 1 Mỗi giá trị của ma trậntương đương với một điểm ảnh (pixel), 0 là màu đen, 1 là màu trắng (nếu là ảnhgrayscale thì giá trị biến thiên từ 0 đến 255)

Cửa sổ trượt là hành động của các bộ lọc (filter) hay bộ trích đặc trưng (featuredetector) Ở đây, ta thường dùng một ma trận bộ lọc 3×3 nhân từng thành phần tươngứng (element-wise) với ma trận ảnh bên trái Giá trị đầu ra do tích của các thành phầnnày cộng lại Kết quả của tích chập là một ma trận (convoled feature) sinh ra từ việctrượt ma trận bộ lọc và thực hiện tích chập cùng lúc lên toàn bộ ma trận ảnh bên trái.Dưới đây là một vài ví dụ của phép toán tích chập

Ta có thể làm mờ bức ảnh ban đầu bằng cách lấy giá trị trung bình của các điểmảnh xung quanh cho vị trí điểm ảnh trung tâm :

Hình 2.10 Ảnh mờ hơn sau khi áp dụng phép tích chập

Ngoài ra, ta có thể phát hiện biên cạnh bằng cách tính vi phân (độ dị biệt) giữa các điểm ảnh lân cận

Hình 2.11 Ảnh được phát hiện biên sau khi chập

2.4.3 Lớp tích chập chuyển vị (Transposed Conlution layer)

Vai trò của tích chập chuyển vị xuất phát từ nhu cầu biến đổi theo quá trình ng ược lại của mạng tích chập thông thường hay còn gọi là giả i chập

Deconvolutional Neural Network) Gỉa sử từ ma trận đầu vào có kích thước

( (, ℎ() sau khi áp dụng phép tích chập thông thường thu được kích thước ( D, ℎD)

Tích chập chuyển vị sẽ biế(n đổ,iℎtừ) một ma trận có kích thước ( D , ℎ D ) của đầu ra sang ma trận có kích thước

( ( của đầu vào trong khi vẫn duy trì được các kiểu kết nối phù hợp với tích chập.

Trên thực tế thì có thể coi tích chập chuyển vị là một quá trình ngược của tíchchập thông thường khi mỗi một đặc trưng (feature) được ánh xạ sang các điểm ảnhthay vì ngược lại từ các điểm ảnh sang đặc trưng (feature)

Hình 2.12 So sánh giữa lớp tích chập và lớp tích chập chuyển vị

Tính tích chập chuyển vị bằng cách di chuyển các điểm ảnh của ma trận đầu vào

từ trái qua phải và từ trên xuống dưới Sau đó lấy giá trị của điểm ảnh nhân với ma trận

bộ lọc sẽ thu được ma trận đầu ra có kích thước tương đương Tùy vào bước nhảy quyđịnh là bao nhiêu mà sẽ di chuyển kết quả của mỗi lần nhân điểm ảnh với bộ lọc sangbấy nhiêu đơn vị Sau cùng tính tổng các vị trí tương ứng của các ma trận kết quả đểthu được ma trận chuyển vị Trong trường hợp bước nhảy không bằng kích thước matrận bộ lọc thì ma trận kết quả tích chập sẽ chồng chéo lên nhau lên nhau Khi đó sẽcộng dồn chúng

Hình 2.13 Lớp tích chập chuyển vị với ma trận bộ lọc kích thước 2x2.

Có ba tham số chính ảnh hưởng Qđến kích thước của đầRu ra trong phép9nhân tích chập chuyển vị bao gồm số bước nhảy , kích thước bộ lọc và kích thước của ma

trận đầu vào Công thức chung được tính như sau:

9 =(9−1)×Q+R(2.17)

STA Trong trường hợp có thêm đệm ; vào đầu ra thì 9 STA có giá trị:

9 =

STA

Ví dụ : 9 = 2, Q = 3, ; = 2, R = 2 thì đầu ra có kích thước là 9 STA = 7

Từ công thức (2.18) suy ngược ra :

9 =

2.4.4 Lớp tinh chỉnh đơn vị tuyến tính (ReLU layer)

Lớp này thường được cài đặt ngay sau lớp Convolutional Lớp này sử dụng hàmkích hoạt ReLU:

Tương tự như trong mạng truyền thẳng, việc xây dựng dựa trên các phép biến đổituyến tính sẽ khiến việc xây dựng đa tầng đa lớp trở nên vô nghĩa Có rất nhiều cách để

khiến mô hình trở nên phi tuyến như sử dụng các hàm kých hoạt sigmoid, tanh,… nhưng hàm f(x)=max(0, x) dễ cài đặt, tính toán nhanh mà vẫn hiệu quả.

Việc sử dụng hàm ReLU (Rectified Linear Unit) cho kết quả tốt hơn ở các khíacạnh:

· Tính toán đơn giản

· Tạo ra tính thưa (sparsity) ở các neural ẩn Ví dụ như sau bước khởi tạo ngẫu nhiên các trọng số, khoảng 50% các neural ẩn được kích hoạt (có giá trị lớn hơn 0)

· Quá trình huấn luyện nhanh hơn ngay cả khi không phải trải qua bước tiền huấn luyện

Như vậy tầng ReLU cơ bản chỉ đơn giản là áp dụng hàm truyền ReLU

2.4.5 Pooling layer

Mục đích của pooling rất đơn giản, là làm giảm số hyperparameter mà ta cần

phải tính toán, từ đó giảm thời gian tính toán xuống và tránh hiện tượng overfitting

Các phương thức lấy phổ biến trong lớp Pooling :

· MaxPooling ( lấy giá trị lớn nhất).

· MinPooling (lấy giá trị nhỏ nhất).

· AveragePooling (lấy giá trị trung bình).

Loại Pooling ta thường gặp nhất là Max pooling , lấy giá trị lớn nhất trong một

pooling window Pooling hoạt động gần giống với convolution, nó cũng có 1 cửa sổ

trượt gọi là pooling window, cửa sổ này trượt qua từng giá trị của ma trận dữ liệu đầu

vào (thường là các feature map trong convolutional layer), chọn ra một giá trị từ các

gía trị nằm trong cửa sổ trượt (với max pooling ta sẽ lấy giá trị lớn nhất)

Để hiểu rõ hơn chúng ta xét một ảnh có kých thước 6×6 như sau:

Hình 2.15 Tính toán với phương pháp MaxPooling

2.4.6 Lớp kết nối hoàn chỉnh (The Fully connected layer)

Lớp này tương tự với lớp trong mạng neural truyền thẳng, các giá trị ảnh đượcliên kết đầy đủ vào node trong lớp tiếp theo Sau khi ảnh được xử lý và rút trích đặctrưng từ các lớp trước đó, dữ liệu ảnh sẽ không còn quá lớn so với mô hình truyềnthẳng nên ta có thể sử dụng mô hình truyền thẳng để tiến hành nhận dạng

Tóm lại, lớp Fully-connected đóng vai trò như một mô hình phân lớp đưa ra kếtquả và tiến hành dựa trên dữ liệu đã được xử lý ở các lớp trước đó

2.4.7 Hàm mất mát (Loss function)

Trong các bài toán về nhận dạng, phân loại đối tượng, ta cần biết được kết quả

dự đoán cuối cùng mà mô hình dự đoán đối tượng đầu vào sẽ thuộc nhóm nào Đểhuấn luyện một mạng phân loại đối tượng ta cần xây dựng một hàm mất mát – Lossfunction Hàm mất mát được áp dụng ở lớp cuối cùng- lớp output của mạng Về cơ bản