(LUẬN văn THẠC sĩ) nghiên cứu bài toán bóc tác thông tin trong chứng minh thư sử dụng học sâu

Mẫu có thể là bất kỳ thực thể nào cần được nhận ra, ví dụ: chữ in, chữ viết tay, vân tay, khuôn mặt, tiếng nói, hình dạng,… Cùng với sự phát triển của khoa học kỹ thuật, các ứng dụng của

BỘ GIÁO DỤC

VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC :

PGS.TS NGÔ QUỐC TẠO

Hà Nội – 2021

LỜI CAM ĐOAN

Tôi là Phạm Văn Dương, học viên khóa 2019B, ngành Máy tính, chuyên ngành

Hệ thống thông tin Tôi xin cam đoan luận văn “Nghiên cứu bài toán bóc tách thông tin trong chứng minh thư sử dụng học sâu” là do tôi nghiên cứu, tìm

hiểu và phát triển dưới sự hướng dẫn của PGS.TS Ngô Quốc Tạo, không phải sự sao chép từ các tài liệu, công trình nghiên cứu của người khác mà không ghi rõ trong tài liệu tham khảo Tôi xin chịu trách nhiệm về lời cam đoan này

Hà Nội, ngày tháng năm 2021

Tác giả

Phạm Văn Dương

LỜI CẢM ƠN

Lời cảm ơn trân trọng đầu tiên Tôi muốn dành tới các thầy cô Học viện khoa học và công nghệ Việt Nam, Viện công nghệ thông tin, Viện Hàn lâm khoa học và công nghệ Việt Nam nói chung và các thầy cô trong bộ môn Hệ thống thông tin cũng như khoa Công nghệ thông tin nói riêng đã tận tình giảng dạy và truyền đạt nhưng kiến thức quý báu trong suốt khoá cao học vừa qua, giúp tôi có nhưng kiến thức chuyên môn nền tảng để làm cơ sở lý luận khoa học cho luận văn này

Đặc biệt Tôi xin chân thành cảm ơn thầy PGS.TS Ngô Quốc Tạo đã dìu dắt và hướng dẫn tôi trong suốt quá trình làm luận văn, sự chỉ bảo và định hướng của thầy giúp tôi tự tin nghiên cứu nhưng vấn đề mới và giải quyết bài toán một cách khoa học

Tôi xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học và công nghệ Việt Nam đã tạo các điều kiện cho tôi được học tập và làm luận văn một cách thuận lợi

Tôi xin cảm ơn sự hỗ trợ của nhiệm vụ: “Hỗ trợ hoạt động nghiên cứu khoa học cho nghiên cứu viên cao cấp năm 2021” mã số: nvcc02.01/21-21 của Viện Hàn lâm Khoa học và Công nghệ Việt Nam (VAST), Hà Nội, Việt Nam

Mặc dù đã cố gắng rất nhiều, nhưng chắc chắn trong quá trình học tập cũng như luận văn không khỏi nhưng thiết sót Tôi rất mong được sự thông cảm và chỉ bảo tận tình của các thầy cô và các bạn

Hà Nội, ngày tháng năm 2021

Phạm Văn Dương

MỤC LỤC

DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT 7

DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ 8

MỞ ĐẦU 10

CHƯƠNG 1 TỔNG QUAN VỀ PHÁT HIỆN, NHẬN DẠNG KÝ TỰ, SỰ PHÁT TRIỂN CỦA HỌC MÁY VÀ HỌC SÂU 12

1.1 Tổng quan về phát hiện và nhận dạng ký tự 12

1.2 Sự phát triển của học máy và học sâu 13

1.3 Kết luận chương 17

CHƯƠNG 2 GIỚI THIỆU VỀ MẠNG CONVOLUTION NEURAL NETWORK 18

2.1 Giới thiệu sơ lược về CNN 18

2.2 Convolution Layer – Tầng Tích Chập 18

2.3 Strides – Bước nhảy 20

2.4 Padding – Đệm 21

2.5 Non Linearity (ReLU) – Phi tuyến tính 21

2.6 Pooling Layer – Tầng gộp 22

2.7 Full Connected Layer – Tầng kết nối đầy đủ 23

2.8 Kết luận chương 23

CHƯƠNG 3 MÔ HÌNH MẠNG PIXELLINK CHO PHÁT HIỆN VĂN BẢN 24

3.1 Cấu trúc mạng 24

3.2 Kết nối các điểm ảnh 27

3.3 Tối ưu 27

3.3.1 Tính toán vùng chính xác 27

3.3.2 Hàm mất mát 28

3.4 Chuẩn bị dữ liệu và đào tạo 30

3.4.1 Chuẩn bị dữ liệu 30

3.4.2 Dữ liệu thật: 31

3.4.5 Quá trình đào tạo 34

3.4.6 Tối ưu: 34

3.4.7 Kết quả đạt được: 35

3.4.8 Hạn chế của mô hình 35

3.5 Kết luận chương 36

CHƯƠNG 4 GIỚI THIỆU VỀ CONVOLUTION RECURRENT NEURAL NETWORK 37

4.1 Giới thiệu bài toán và lợi thế của CRNN 37

4.2 Cấu trúc 38

4.3 Tầng trích xuất đặc trưng chuỗi 39

4.4 Gán nhãn trình tự 39

4.5 Tầng Transcription 45

4.6 Hàm mất mát 47

4.7 Tóm tắt cấu trúc mô hình 48

4.7.1 Cách tạo dữ liệu và đào tạo 49

4.7.2 Dữ liệu thật 49

4.7.3 Dữ liệu sinh 49

4.7.4 Hạn chế của mô hình 49

4.8 Kết luận chương 50

CHƯƠNG 5: CÀI ĐẶT THỬ NGHIỆM VÀ KẾT QUẢ 51

5.1 Bài toán 51

5.2 Mô hình giải quyết bài toán 51

5.3 Môi trường cài đặt 52

5.4 Dữ liệu kiểm thử 52

5.5 Kết quả thực nghiệm 53

KẾT LUẬN 55

TÀI LIỆU THAM KHẢO 57

DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT

CNN Convolutional Neural Network Mạng nơ-ron tích chập RNN Recurrent Neural Nework Mạng nơ-ron hồi quy CRNN Convolutional Recurrent

Neural Nework

Mạng nơ-ron hồi quy xoắn

LSTM Long Short-term Memory Bộ nhớ ngắn hạn dài

AI Artifical Intelligence Trí tuệ nhân tạo

OCR Optical Character Recognition Nhận dạng ký tự quang

học

DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ

Hình 1.0.1 Quá trình nhận dạng 10

Hình 1.0.2 Mối quan hệ giưa AI, ML, DL 11

Hình 1.0.3 Các giai đoạn của AI 12

Hình 2.0.1 Mô hình CNN sử dụng cho bài toán phân loại 14

Hình 2.0.2 Nhân ma trận ảnh với bộ lọc 15

Hình 2.0.3 Ma trận và bộ lọc 15

Hình 2.0.4 Kết quả thực hiện phép nhân 15

Hình 2.0.5 Đầu ra của ma trận có bước nhảy là hai 16

Hình 2.0.6 Hoạt động của hàm ReLU 17

Hình 2.0.7 Max Pooling 17

Hình 2.0.8 Mô tả tầng kết nối đầy đủ 18

Hình 3.0.1 Mô hình mạng VGG16 20

Hình 3.0.2 Quá trình của Pixellink 21

Hình 3.0.3 Các hộp với diện tích khác nhau 23

Hình 3.0.4 Hình minh họa của quá trình xác định hộp 25

Hình 3.0.5 Dữ liệu sinh ra 27

Hình 3.0.6 Nhãn của dữ liệu sinh 28

Hình 3.0.7 Hàm mất mát của phân loại mỗi điểm ảnh 29

Hình 3.8 hàm mất mát liên kết 29

Hình 3.0.9 Hình kết quả của mô hình Pixellink 29

Hình 3.0.10 Hình miêu tả sự hạn chế 30

Hình 4.0.1 Cấu trúc mạng CRNN 32

Hình 4.0.2 Mô hình RNN 33

Hình 4.0.3 Cấu trúc mạng LSTM 34

Hình 4.0.4 Hình minh họa thông tin được truyền đi 35

Hình 4.0.5 Tầng mạng và phép nhân 35

Hình 4.0.6 Hình minh họa cổng quên 36

Hình 4.0.7 Hình mô tả cập nhật khối 37

Hình 4.0.8 Hình mô tả quá trình cập nhật trạng thái mới 37

Hình 4.0.9 Hình mô tả qúa trình xác định đầu ra 45

Hình 4.0.10 Hình mình họa chọn các giá trị có xác suất cao nhất 47

Hình 4.0.11 Hình mình họa chọn các giá trị có xác suất cao nhất 49

Hình 5.0.1 Giao diện chương trình khi truy cập 52

Hình 5.0.2 Giao diện chương trình khi tải ảnh CMT thành công 52

Hình 5.0.3 Giao diện chương trình sau khi ra kết quả 53

MỞ ĐẦU

Nhận dạng mẫu là một ngành khoa học của học máy (hay trí tuệ nhân tạo) nhằm phân loại dữ liệu (các mẫu) vào một số lớp Mẫu có thể là bất kỳ thực thể nào cần được nhận ra, ví dụ: chữ in, chữ viết tay, vân tay, khuôn mặt, tiếng nói, hình dạng,… Cùng với sự phát triển của khoa học kỹ thuật, các ứng dụng của nhận dạng mẫu ngày càng được mở rộng, từ việc tự động hoá một số quy trình trong sản xuất công nghiệp cho đến dự báo thời tiết, dự báo cháy rừng hay là một phần quan trọng trong các hệ thống máy tính thông minh…

Một trong những ứng dụng phổ biến của nhận dạng mẫu hiện nay là phân tích

và nhận dạng ảnh tài liệu (có nguồn gốc từ hệ thống nhận dạng ký tự quang học), nhằm số hoá các trang tài liệu giấy như sách, báo, tạp chí,… Cho đến nay, bài toán phân tích và nhận dạng ảnh tài liệu đã được giải quyết gần như trọn vẹn và cũng đã

có những sản phẩm thương mại, như VnDOCR của Viện công nghệ thông tin hay FineReader của hãng ABBYY,…

Bên cạnh lớp bài toán phân tích và nhận dạng ảnh tài liệu một cách tổng quát ở trên còn có lớp bài toán riêng biệt cho từng ngành, từng lĩnh vực cụ thể, như: phân tích và nhận dạng bảng biểu, phiếu điều tra, mẫu điền thông tin, danh thiếp, hộ chiếu,… Đối với lớp bài toán này thì việc phân tích cấu trúc của ảnh tài liệu là đặc biệt quan trọng, bởi vì nó sẽ quyết định đến việc tách và nhận dạng chính xác các trường thông tin cần thiết cho từng ứng dụng cụ thể

Trên thế giới đã có nhiều sản phẩm phần mềm phân tích và nhận dạng ảnh thẻ chứa thông tin cá nhân (như hộ chiếu, danh thiếp,…) và được ứng dụng trong nhiều lĩnh vực, như: làm thủ tục hải quan, các giao dịch ở các cửa hàng, khách sạn,… Ở Việt Nam loại thẻ chứa thông tin các nhân được sử dụng nhiểu nhất là Giấy chứng minh nhân dân (CMND) Do đó, trong luận văn này, tôi xin đề xuất một phương pháp phân tích ảnh CMND dựa trên việc phân tích và nhận dạng biểu mẫu với kỹ thuật xử

lý hình ảnh thông minh

Dựa trên nhu cầu thực tế trên nên tôi quyết định lựa chọn đề tài: “ Nghiên cứu bài toán bóc tách thông tin trong chứng minh thư sử dụng học sâu.”

Mục đích của đề tài

Với đề tài: “ Nghiên cứu bài toán bóc tách thông tin trong chứng minh thư sử dụng học sâu ” Luận văn tập trung các vấn đề sau:

• Tổng quan về phân tích ảnh tài liệu

• Giới thiệu một số thuật toán nhận diện ký tự bằng các phương pháp xử lý ảnh mô hình học sâu

• Thực hiện cài đặt và đánh giá kết quả đạt được với phương pháp đã chọn đối với dữ liệu giấy chứng minh thư nhân dân

• Đưa ra đánh giá và hướng phát triển trong tương lai

Nội dung của luận văn thạc sĩ gồm các chương, mục chính :

Chương 1 Tổng quan về phát hiện, nhận dạng ký tự, sự phát triển của học máy

và học sâu

Chương 2 : Giới thiệu về mạng Convolution Neural Network

Chương 3 : Mô hình mạng pixellink cho phát hiện văn bản

Chương 4 : Giới thiệu về Convolution Recurrent Neural Network

Chương 5 : Cài đặt thử nghiệm và kết quả

Kết luận

Tài liệu tham khảo

CHƯƠNG 1 TỔNG QUAN VỀ PHÁT HIỆN, NHẬN DẠNG KÝ TỰ, SỰ

PHÁT TRIỂN CỦA HỌC MÁY VÀ HỌC SÂU 1.1 Tổng quan về phát hiện và nhận dạng ký tự

OCR là công nghệ chuyển nhận dạng chữ cái, chữ số, kí hiệu trong ảnh số, thường được dùng với tài liệu đã scanned, nhưng một số trường hợp khác cũng được sử dụng, như sử dụng để nhận dạng chữ trên danh thiếp, căn cước, biển số xe Những năm gần đây, những bước tiến lớn trong lĩnh vực học sâu (DL) và ứng dụng của DL vào các bài toán thị giác máy tính để giải các bài toán khó và đạt được một số thành công nhất định Áp dụng OCR vào đời sống sẽ giúp con người rất nhiều trong việc trích xuất thông tin cũng như lấy thông tin là chữ, kí tự, con số trong các bức ảnh

Bài toán bao gồm nhận dạng và phát hiện các đối tượng là kí tự, chuỗi các kí tự, giải quyết bài toán tạo ra nhiều ứng dụng khác nhau như trích xuất thông tin trên một bức ảnh, giảm chi phí cũng như thời gian trong quá trình nhập liệu Áp dụng được nhiều nơi cũng như nhu cầu khác nhau trong việc trích xuất thông tin

Bài toán phát hiện và nhận dạng kí tự đã được nghiên cứu từ lâu và có những bước chuyển mình đáng kể, trong hơn thập kỉ trở lại đây, nhờ sự phát triển của máy móc cũng như dữ liệu lớn, thì các kỹ thuật học sâu phát triển rõ rệt và đạt được nhiều kết quả ấn tượng trong các hướng nghiên cứu khác nhau

Việc áp dụng học sâu vào phát hiện và nhận dạng ký tự đã đạt được kết quả khả quan, điều này hứa hẹn cho nhưng hướng nghiên cứu mới, cũng như là số hóa tài liệu

một cách nhanh chóng Trong khuôn khổ luận văn, tôi xin phép trình bày về phương pháp áp dụng học sâu vào bài toán bóc tách thông tin trong chứng minh thư

Để giải quyêt bài toán tôi chia bài toán thành hai vấn đề chính là phát hiện và nhận dạng, mỗi giai đoạn áp dụng công nghệ khác nhau, nhưng đều áp dụng học sâu để giải quyết vấn đề

Hiện nay, có rất nhiều phương pháp áp dụng cho bài toán phát hiện đối tượng như SSD [3], YOLO [4], CTPN [2],…, Trong cuộc thi ICDAR 2015 kỹ thuật học sâu sử

dụng mô hình mạng Pixellink để phát hiện các đối tượng kí tự đứng vị trí cao Phương pháp Pixellink cho kết quả tốt trên bài toán phát hiện ký tự

Hình 1.0.1 Quá trình nhận dạng Sau khi phát hiện được vùng ký tự, mình cần nhận dạng vùng ký tự đó, bài toán nhận dạng ký tự sẽ khác với nhận dạng các đối tượng thông thường Cấu trúc chuỗi trên ảnh có độ dài thay đổi khác nhau, nên sử dụng các phương pháp nhận dạng đối tượng tuyền thống rất khó để có thể thực hiện được, việc tách thành các kí tự riêng lẻ rồi nhận dạng sẽ trở nên cực kì khó khăn Nên qua thực nghiệm tôi thấy mạng CRNN cho kết quả khá tốt trong bài toán nhận dạng chuỗi, nên đã áp dụng mô hình mạng cho luận văn này Do tính chất chuỗi nên dùng mô hình mạng CRNN có thể nhớ những thông tin trước đó Bản chất của mô hình mạng CRNN là sự kết hợp của hai mạng CNN và RNN với nhau

1.2 Sự phát triển của học máy và học sâu

Những năm gần đây trí tuệ nhân tạo gần như đi vào mọi ngõ nghách của đời sống, khi những thành tựu mà nó đạt được, có khả năng vượt qua con người trong một số nhiệm vụ như chơi cờ

Cách đây năm mươi năm, học máy vẫn chỉ là khoa học viễn tưởng Nhưng ngày nay học máy như là một phần của cuộc sống, rất nhiều ứng dụng học máy đã giúp con người giải quyết những vấn đề khó khăn và đưa con người tới cuộc sống tốt đẹp hơn Học máy là một phần của trí tuệ nhân tạo, là cách mà các thuật toán được áp dụng để

một các rõ ràng các bước thực hiện mà là quá trình máy tính học và cải thiện khả năng học dựa vào chính nó

Trí tuệ nhận tạo bắt đầu được định nghĩa từ những năm năm mươi của thế kỉ trước, đến mãi những năm tám mươi của thế kỉ trước thì khái niệm học máy ra đời và từ năm

loại nhị phân, được khởi xướng từ Frank Rosenblatt năm 1957 trong một nghiên cứu

Nhưng thuật toán này chỉ làm việc được với dữ liệu là tuyến tính tách biệt, thời bấy

giờ Marvin Minsky và Seymour Papert đã chứng minh được rằng thuật toán trên

không thể học được các hàm số XOR, điều này khiến cho các nghiên cứu về perceptron bị gián đoạn khoảng 20 năm Giai đoạn này có thể gọi là mùa đông thứ nhất của trí tuệ nhân tạo

Những năm 80 của thế kỉ trước, Geoffrey Hinton đã chứng minh được rằng mạng

nơ-ron với nhiều tầng ẩn có thể đào tạo một cách đơn giản dựa vào backpropagation Điều này giúp mạng nơ-ron vượt qua được hạn chế của perceptron về việc chỉ phân

biệt tuyến tính, thành công nổi bật của thuật toán là CNN, được áp dụng cho bài toán

phân loại chữ viết được khởi xưởng bởi Yann LeCun

Những hạn chế của máy móc, khả năng tính toán lớn bị hạn chế, cũng như dữ liệu gán nhãn chưa nhiều, một hạn chế nữa là hàm mất mát không là hàm lồi, nên việc tìm nghiệm toàn cục của hàm mất mát rất khó

Một khó khăn nữa là nếu sử dụng nhiều tầng ẩn thì khi tính đạo hàm sẽ gặp một

vấn đề, nó có một tên gọi là vanishing gradient, đó là vấn đề tích của đạo hàm chuỗi

của nhiều số gần bằng 0 thì kết quả đạo hàm sẽ gần giá trị 0 Như vậy đến một lúc

đạo hàm bằng 0 và sẽ không thể cập nhật giá trị thông qua gradient descent, những

điều này khiến mạng nơ-ron đã một lần nữa rơi vào mùa đông thứ hai

Mãi đến năm 2012 tại ILSVRC, thì Alex Krizhevsky, Geoffrey Hinton tham gia

và đạt được kết quả top-5 Mô hình này gọi là Alexnet, trong bài báo này có rất nhiều

kỹ thuật mới được giới thiệu, trong đó có hàm ReLU và Dropout với cách tính đạo hàm đơn giản, cải thiện tốc độ đào tạo rất nhiều Bên cạnh đó hàm ReLU giúp giải quyết được một phần của vấn đề vanishing gradient

Sau đây tôi trình bày các cột mốc đáng chú ý trong lịch sử phát triển của học máy

từ thời sơ khai đến hiện tại:

Hình 1.0.3 Các giai đoạn của AI

Năm 1950 Alan Turing tạo ra Turing Test, nếu một máy tính vượt qua Turing

Test thì kết luận nó có trí thông minh Để vượt qua nó, máy tính phải có khả năng lừa con người rằng nó chính là con người

Năm 1952 Arthur Samuel đã viết chương trình máy tính đầu tiên, chương trình

chơi cờ mục đích học các chiến lược di chuyển, và kết hợp các nước di chuyển vào chương trình

Năm 1957 Frank Rosenblatt đã thiết kế mạng nơ-ron đầu tiên cho máy tính,

mạng mô phỏng xử lý thông tin như bộ não của con người

Năm 1967 thuật toán hàng xóm gần nhất "nearest neighbor" được hoàn thành

và sử dụng để nhận dạng những mẫu cơ bản

Năm 1979 sinh viên của trường đại học Stanford đã phát minh ra "Stanford

Cart", nó giúp chiếc xe có thể tránh được chướng ngại vật trong phòng của họ

Năm 1981 Geral Dejong đưa ra định nghĩa Explanation Based Learning, nó

giúp máy tính phân tích dữ liệu và đưa ra các quy tắc và dựa vào các quy tắc đó để

bỏ đi những thông tin không quan trọng

Năm 1985 Terry Sejnowski phát minh ra NetTalk, nó học phát âm từ giống

như một đứa trẻ

Năm 1990 học máy chuyển đổi từ cách tiếp cận tri thức sang tiếp cận dữ liệu, các nhà khoa học đã tạo ra các chương trình nhằm phân tích lượng dữ liệu rất lớn và đưa ra các kết luận

Năm 1997 cỗ máy IBM's Deep Blue đánh bại nhà vô địch cờ vua thế giới Năm 2006 Geoffrey Hinton dùng "deep learning" để giải thích thuật toán mới,

thuật toán mà giúp máy tính phân biệt các đối tượng và chữ cái trong ảnh và đoạn video

Năm 2010 Kinect của tập đoàn Microsoft có thể dõi hai mươi hành động của

con người với tần suất ba mươi lần trên một giây, cho phép con người tương tác với máy tính thông qua cử chỉ và hành động

Năm 2011 Google Brain đã sử dụng mạng sâu để máy tính có thể học và phân

loại con mèo

Năm 2012 Google’s X Lab đã phát triển thuật toán học máy, nó giúp máy tính

có thể tự động truy cập YouTube và tìm các video chứa con mèo

Năm 2014 Fakebook đã phát triển DeepFake, nó giúp định danh, nhận ra con

người trong bức ảnh

Năm 2015 Amazon đã ra mắt nền học máy của họ để nâng cao hiệu quả kinh

doanh của chính họ

Từ 2015 đến nay, rất nhiều thành tựu của học máy và học sâu có khả năng học

và giải quyết các bài toán phức tạp, có những tác vụ đã vượt qua khả năng của con người

1.3 Kết luận chương

Chương 1 tóm tắt về phát hiện và nhận dạng ký tự, quá trình hình thành và phát triển của trí tuệ nhân tạo, học máy và học sâu Các kiến thức nền tảng này sẽ là nền tảng cơ bản trong liên quan đến định hướng nghiên cứu, tìm hiểu của luận văn

CHƯƠNG 2 GIỚI THIỆU VỀ MẠNG CONVOLUTION NEURAL

NETWORK 2.1 Giới thiệu sơ lược về CNN

Mạng CNN được sử dụng rộng rãi, áp dụng rất nhiều trong trích xuất đặc trưng của ảnh, người ta sử dụng CNN nhiều trong các bài toán nhận biết cũng như phân loại hình ảnh Trong bài toán phân loại hình ảnh sử dụng CNN thì đầu vào là một ảnh

số, máy tính dựa vào các giá trị điểm ảnh sau đó đưa ra kết luận loại mà bức ảnh thuộc về cho bài toán phân loại, máy tính chỉ nhìn thấy bức ảnh như một mảng của

các giá trị điểm ảnh Một bức ảnh thể hiện bởi ba thông số W, H, D trong đó W là chiều rộng của ảnh, là số lượng điểm ảnh trên một hàng của ma trận ảnh, còn H là chiều cao của ảnh, là số lượng điểm ảnh trên một cột của ma trận ảnh, D là chiều hay còn gọi là độ sâu của ảnh, ví dụ một ảnh tạo bởi 3 kênh màu RGB và có chiều cao là

6 và chiều rộng là 6 thì được kí hiệu là 6 × 6 × 3 ví dụ đối với ảnh có kích thước dài và rộng như trên nhưng mà là ảnh một kênh màu, như ảnh xám được kí hiệu là 6

× 6 × 1 Trong DL thì đầu vào đi qua một chuỗi các tầng CNN với các bộ lọc Kết hợp với các tầng gộp (Pooling) và kết nối đầy đủ (fully connected) và ở tầng cuối áp

dụng hàm Softmax để đưa ra xác suất mà đối tượng thuộc về lớp trong bài toán phân

loại Dưới đây là luồng của mô hình bài toán phân loại sử dụng CNN

Hình 2.0.1 Mô hình CNN sử dụng cho bài toán phân loại

Sau đây ta sẽ đi chi tiết về CNN

Ở tầng Convolution là tầng đầu tiên giúp trích xuất đặc trưng của ảnh, tầng Convolution trình bày mối quan hệ giữa các giá trị điểm ảnh bằng học các đặc trưng ảnh, sử dụng các cửa sổ hình vuông trên ảnh đầu vào Để trích xuất đặc trưng ảnh, sử dụng một phép tính toán học với bộ lọc và ma trận điểm ảnh đầu vào

Ví dụ: Về trích xuất đặc trưng của ảnh sử dụng tích chập

Sau đó thực hiện tính tích chập của ma trận 5 × 5 với ma trận bộ lọc 3 × 3 Sẽ thu

được một ma trận đầu ra gọi là 'Feature Map'

Hình 2.0.4 Kết quả thực hiện phép nhân Tích chập của một ảnh với các bộ lọc khác nhau sẽ đưa ra các kết qủa khác nhau, như phát hiện cạnh, làm mờ, làm sắc nét ảnh

Bước nhảy là số lượng của điểm ảnh được nhảy qua trên ma trận đầu vào, khi bước nhảy là một thì chúng di chuyển bộ lọc một điểm ảnh sau mỗi lần, khi bước nhảy là hai thì bộ lọc sẽ di chuyển qua hai điểm ảnh sau mỗi lần

Hình 2.0.5 Đầu ra của ma trận có bước nhảy là hai

2.4 Padding – Đệm

Thi thoảng bộ lọc không vừa với ảnh đầu vào, chúng ta sẽ có hai tùy chọn đó là:

• Đệm thêm các giá trị 0 vào viền sao cho vừa khít

• Bỏ đi phần của bức ảnh nếu bộ lọc không khít

2.5 Non Linearity (ReLU) – Phi tuyến tính

Hàm ReLu cho hoạt động phi tuyến tính, hàm được định nghĩa:

Hàm quan trọng bởi vì nếu không dùng các hàm khởi tạo, mạng chỉ là những hàm tuyến tính, sẽ không áp được hiệu quả được đối với các dữ liệu phi tuyến Là các dữ liệu không thể phân tách bởi các đường thẳng hoặc mặt phẳng và siêu phẳng Một số hàm khác thường được sử dụng là:

• tanh

• Sigmoid

2.6 Pooling Layer – Tầng gộp

Tầng có chức năng giảm số lượng của tham số khi mà bức ảnh đầu vào lớn, giúp bỏ

đi các thông tin dư thừa, giúp giảm chiều dữ liệu, chỉ giữ lại những thông tin quan trọng, có ba loại của tầng Pooling đó là:

• Max Pooling – Chọn giá trị lớn nhất

• Average Pooling – Chọn giá trị trung bình

2.7 Full Connected Layer – Tầng kết nối đầy đủ

Theo như tên gọi của nó, chúng ta trải phẳng ma trận sang một véc tơ và đưa nó kết nối đầy đủ với tầng tương tự trong mạng

Hình 2.0.8 Mô tả tầng kết nối đầy đủ

2.8 Kết luận chương

Trong chương 2 luận văn nghiên cứu về mạng nơ ron tích chập - Convolution neural network (CNN) Trong chương này luận văn đã tìm hiểu về cơ chế hoạt động của CNN trong bài toán nhận biết cũng như phân loại hình ảnh

CHƯƠNG 3 MÔ HÌNH MẠNG PIXELLINK CHO PHÁT HIỆN VĂN BẢN

Có rất nhiều phương pháp cũng như thuật toán để xác định văn bản như SSD [3], CRAFT [1], Pixellink [5] vv

Nhưng khi thử một số phương pháp như CRAFT [1] thì cho kết quả không tốt

trên bộ trọng số có sẵn của họ, và phương pháp này sử dụng character Map nên làm

dữ liệu tốn nhiều thời gian, dữ liệu phải gán nhãn ở mức độ kí tự Nhưng Pixellink gán nhãn ở mức độ cụm nên việc gán nhãn dễ dàng và mất ít thời gian hơn Trong khuôn khổ thời gian luận văn, tôi chỉ mới kịp gán nhãn và thử nghiệm theo Pixellink Những năm gần đây, áp dụng DL vào phát hiện văn bản đã đạt được nhiều thành công lớn, đa số các phương pháp đều sử dụng ít nhất hai phương thức đó là:

• Phân loại mỗi điểm ảnh

đã phân loại đã có thể suy ra các hộp chứa các văn bản đó

Pixellink sử dụng hai cơ chế đó là phân loại các điểm ảnh và tính điểm số liên kết giữa các điểm ảnh kề nó, mỗi điểm ảnh có tối đa tám điểm ảnh kề nó

Việc phát hiện văn bản qua instance Segmentation là dự đoán các điểm ảnh thuộc văn bản và kết hợp các điểm ảnh đó vào các nhóm khác nhau, mỗi nhóm như thế gọi là một instance

3.1 Cấu trúc mạng

Để trích xuất đặc trưng của một bức ảnh thì ngoài các phương pháp học máy truyền thống như SIFT, SURF…, thì sự phát triển của học sâu ứng dụng của CNN để trích xuất đặc trưng cho thấy mang lại hiệu quả rõ rệt

Trong bài báo gốc của Pixellink họ đề xuất sử dụng mạng VGG16 để trích xuất đặc trưng, nhưng ở tầng kết nối đầy đủ thứ sáu, và tầng kết nối đầy đủ thứ bảy, được

chuyển sang tầng Convolutation Hàm số Softmax được sử dụng cho cả hai nhánh đó

là dự đoán text/non-text và điểm số liên kết (Link Score)

Feature maps ở mỗi tầng CNN khác nhau sẽ được áp dụng cho quá trình

upsample của ảnh sau khi đi qua các tầng CNN Tất cả các tầng pooling trừ tầng thứ

5 có bước nhảy là 2, còn tầng pooling thứ 5 có bước nhảy là 1 conv1 x 1,2(16) là tầng

convoluation với kernels là 2 cho dự đoán text/non-text, 16 cho quá trình dự đoán

liên kết với 8 hàng xóm xung quanh

Quá trình upsample người ta dùng bilinear interpolation để nội suy các điểm

khác, sau đây tôi xin trình bày khái quát về bilinear interpolation

Giả sử rằng chúng ta muốn tìm giá trị tại một điểm có tọa độ (x,y) nhưng không

biết hàm số của nó, mà chỉ biết được giá trị của bốn điểm thuộc hàm số đó, chúng ta

sẽ nội suy theo một phương sau đó nội suy theo phương còn lại

Giả sử đã biết trước giá trị tại 4 điểm:

𝑥2− 𝑥1𝑓(𝑄12) + 𝑥 − 𝑥1

𝑥2− 𝑥1𝑓(𝑄22) PT4.2 Sau đó nội suy theo hướng y

(𝑥2− 𝑥1)(𝑦2 − 𝑦1)[𝑥2− 𝑥𝑥 − 𝑥1] [𝑓(𝑄11)𝑓(𝑄12)

𝑓(𝑄21)𝑓(𝑄22)] [

𝑦2− 𝑦

𝑦 − 𝑦1] 𝑃𝑇 4.5

Như vậy có thể nội suy từ 4 điểm cho trước

Hình ảnh dưới đây mô tả quá trình phát hiện văn bản của pixellink

Hình 3.0.2 Quá trình của Pixellink

3.2 Kết nối các điểm ảnh

Dự đoán phân loại mỗi lớp cho mỗi điểm ảnh và dự đoán liên kết giữa các điểm ảnh, hai ngưỡng riêng biệt này có thể được áp dụng tách rời nhau Những điểm ảnh được dự đoán là văn bản, sau đó chúng được nhóm lại thành từng nhóm với nhau bằng cách sử dụng liên kết Mỗi nhóm như vậy là một thể hiện của văn bản, từ đó áp dụng lên toàn bộ điểm ảnh khác, sẽ thu được phân khúc (Segmentation)

Trích xuất hộp giới hạn (Bounding Boxes)

Sau khi phân khúc được văn bản, văn bản được chia thành các nhóm khác nhau dựa vào ngưỡng liên kết, bước trích xuất hộp giới hạn gần như dễ xác định, có thể

dùng minAreaRect trong thư viện openCV Đây cũng là sự khác biệt chính giữa

Pixellink và những phương pháp khác sử dụng hồi quy hộp giới hạn Ở đây hội giới hạn được suy ra trực tiếp phân khúc (Segmentation)

Sử dụng bộ lọc sau khi phân khúc (Segmentation)

Do đầu vào gồm nhiều nhiễu nên dự đoán nhầm là không thể tránh khỏi, mà hộp giới hạn được xác định thông qua điểm số liên kết giữa các điểm ảnh, nên cần phải bỏ đi những dữ thừa, cách đơn giản có thể bỏ là dựa vào độ cao, chiều dài, hoặc diện tích của hộp giới hạn

3.3 Tối ưu

3.3.1 Tính toán vùng chính xác

được gán nhãn tiêu cực Một điểm ảnh và một trong tám điểm kề nó, nếu chung cùng trong một hộp thì giá trị liên kết giữa chúng mang giá trị dương

3.3.2 Hàm mất mát

Trong mỗi bài toán học sâu, định nghĩa hàm mất mát là một vấn đề rất quan trọng, nó ảnh hưởng đến kết quả của mô hình rất nhiều, sau đây tôi xin trình bày tóm tắt về hàm mất mát của mô hình Pixellink

Mất mát trong quá trình đào tạo là tổng của mất mát trên điểm ảnh và mất mát trên liên kết

𝐿 = 𝜆𝐿pixel + 𝐿link PT4.6

Trong đó, 𝐿link chỉ tính toán trên điểm ảnh mang giá trị tích cực, vì nhiệm

vụ phân loại đóng vai trò quan trọng hơn so với liên kết giữa các điểm ảnh, thực tế thì 𝜆 được chọn là 2.0