ỨNG DỤNG THỊ GIÁC máy TÍNH TRONG bài TOÁN TRÍCH XUẤT THÔNG TIN từ CHỨNG MINH THƢ và căn cƣớc CÔNG dân

Để mô tả quá tr nh nghiên cứu, t m hiểu, báo cáo được chia thành 3 chương với các nội dung như sau: Chương 1: Tổng quan về công nghệ sử dụng Chương 2: Cở sở lý thuyết Chương 3: Ứng dụn

KHOA CÔNG NGHỆ THÔNG TIN

- -

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI:

ỨNG DỤNG THỊ GIÁC MÁY TÍNH TRONG BÀI TOÁN TRÍCH XUẤT THÔNG TIN TỪ CHỨNG MINH THƯ VÀ CĂN CƯỚC CÔNG DÂN

Giảng viên HD : Ths Nguyễn Văn Thắng

SV thực hiện : Nguyễn Văn Lương

Hà Nội 2020

MỤC LỤC

MỤC LỤC 2

MỞ ĐẦU 7

TỔNG QUAN VỀ CÔNG NGHỆ SỬ DỤNG 8

Chương 1: 1.1 Machine learning 8

1.2 Mạng nơ-ron (Neural network) 13

1.2.1 Khái niệm 13

1.2.2 Cấu tạo 14

1.2.3 Phân loại 14

1.2.4 Mục đích 15

1.3 Deep learning 15

1.3.1 Định nghĩa 15

1.3.2 Cơ sở của deep learning 16

1.3.3 Điểm mạnh của học sâu 17

CƠ SỞ LÝ THUYẾT 19

Chương 2: 2.1 Thị giác máy tính (Computer vision) 19

2.1.1 Phân loại ảnh (Image classification) 19

2.1.2 Khoanh vùng đối tượng (Object detection) 19

2.1.3 Phân vùng đối tượng (Image segmentation) 21

2.2 Mạng nơ-ron tích chập (CNN) 23

2.2.1 Giới thiệu 23

2.2.2 Mô hình 25

2.3 Mạng Unet 26

2.3.1 Giới thiệu 26

2.4.1 Giới thiệu 27

2.4.2 Kiến trúc mạng 28

2.5 Tensorflow 29

2.5.1 Giới thiệu 29

2.5.2 Lịch sử ra đời và hoạt động 30

2.5.3 Cấu trúc Tensorflow 31

2.6 Tesseract 32

2.6.1 Giới thiệu 32

2.6.2 Quá trình hình thành 33

2.6.3 Chức năng 33

ỨNG DỤNG MẠNG HỌC SÂU VÀ THỊ GIÁC MÁY TÍNH Chương 3: TRONG BÀI TOÁN TRÍCH XUẤT THÔNG TIN TỪ CHỨNG MINH THƯ VÀ CĂN CƯỚC CÔNG DÂN 35

3.1 Mô hình sử dụng 35

3.2 Tiền xử lý dữ liệu 36

3.3 Huấn luyện mô hình 38

3.4 Một số kết quả thu được 41

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46

1 Những kết quả chính của báo cáo 46

2 Những điều cần cải thiện 46

3 Hướng phát triển của báo cáo 46

TÀI LIỆU THAM KHẢO 47

DANH MỤC HÌNH ẢNH

H nh 1-1: Trợ lý ảo Alexa của Amazon 8

H nh 1-2: Minh hoạ mạng nơ ron 14

H nh 1-3: deep learning, machine learning và AI 16

H nh 2-1:Phân nhóm ảnh 19

H nh 2-2: Khoanh vùng đối tượng 20

H nh 2-3: Khoanh vùng đối tượng và phân vùng đối tượng 21

H nh 2-4: Khoanh vùng đối tượng, semantic segmentation và instance segment 22

H nh 2-5: Phân vùng đối tượng trong ô tô tự hành 22

H nh 2-6: Phân vùng đối tượng trong y học 23

H nh 2-7: 3 bước cơ bản của nhận dạng 24

H nh 2-8: Mô h nh mạng nơ-ron tích chập 25

H nh 2-9: Mô h nh mạng Unet 26

Hình 2-10: Mô h nh mạng của CRAFT 28

Hình 2-11: Region Score và Affinity Score 29

H nh 2-12: Mức độ phổ biến của thư viện tensorflow 30

H nh 2-13: Tensorflow 31

H nh 2-14: Hệ thống phân cấp của tensorflow 31

H nh 2-15: Thư viện tesseract 32

H nh 3-1: Mô h nh ứng dụng trong bài toán 35

H nh 3-2: Chi tiết mô h nh mạng unet sử dụng trong bài toán 36

H nh 3-3: Dữ liệu khi đánh nhãn và kỳ vọng thu được 37

Hình 3-4: Lớp encoder VGG-16 38

Hình 3-5: Lớp encoder VGG-16 tiếp 39

Hình 3-6:Flatten 40

Hình 3-7: Xác định vùng chứng minh thư 41

Hình 3-10: Xác định các vùng ký tự trên chứng minh thứ 43 Hình 3-11: Xác định các vùng ký tự trên chứng minh thư (Tiếp) 44 Hình 3-12:Xác định vùng ký tự trên căn cước công dân 45

CÁC TỪ VIẾT TẮT

MỞ ĐẦU

Ngày nay với sự phát triển ngày càng mạnh mẽ của trí tuệ nhân tạo Nó đã đem lại những ứng dụng to lớn trong nhiều lĩnh vực khác nhau như xử lý ngôn ngữ tự nhiên, tự động hoá, thị giác máy tính,… Trí tuệ nhân tạo ngày càng trờ thành một phần không thể thiếu của cuộc sống Sự tồn tại và phát triển của một doanh nghiệp, cơ quan, tổ chức nhà nước,…Không thể thiếu sự trợ giúp của trí tuệ nhân tạo Trong việc thu nhận và xử lý thông tin với khối lượng ngày càng lớn, nhiều lúc với những việc thủ công không đem lại hiệu quả mong muốn, lại tốn nhiều công sức và thời gian Nhằm đem lại sự nhanh chóng và chính xác, giảm thiểu công sức của con người Em đã chọn đề tài

“ỨNG DỤNG THỊ GIÁC MÁY TÍNH TRONG BÀI TOÁN TRÍCH

XUẤT THÔNG TIN TỪ CHỨNG MINH THƯ VÀ CĂN CƯỚC CÔNG DÂN” để nghiên cứu và viết báo cáo

Để mô tả quá tr nh nghiên cứu, t m hiểu, báo cáo được chia thành 3 chương với các nội dung như sau:

Chương 1: Tổng quan về công nghệ sử dụng

Chương 2: Cở sở lý thuyết

Chương 3: Ứng dụng mạng học sâu và thị giác máy tính trong bài toán

trích xuất thông tin từ chứng minh thư và căn cước công dân

TỔNG QUAN VỀ CÔNG NGHỆ SỬ DỤNG

Chương 1:

1.1 Machine learning

Những năm gần đây, AI - Artificial Intelligence (Trí Tuệ Nhân Tạo), và

cụ thể hơn là Machine Learning (Học Máy hoặc Máy Học) nổi lên như một bằng chứng của cuộc cách mạng công nghiệp lần thứ tư (1 - động cơ hơi nước, 2 - năng lượng điện, 3 - công nghệ thông tin) Trí Tuệ Nhân Tạo đang len lỏi vào mọi lĩnh vực trong đời sống mà có thể chúng ta không nhận ra Xe

tự hành của Google và Tesla, hệ thống gợi ý nhạc của Spotify, hệ thống tự tag khuôn mặt trong ảnh của Facebook, trợ lý ảo Siri và Alexa của Apple và Amazon, hệ thống cửa hàng không nhân viên của Amazon, hệ thống gợi ý phim của Netflix, máy chơi cờ vây AlphaGo của Google DeepMind, …, chỉ

là một vài trong vô vàn những ứng dụng của AI/Machine Learning

Machine learning (ML) là nghiên cứu khoa học về các thuật toán và mô

h nh thống kê mà các hệ thống máy tính sử dụng để thực hiện hiệu quả một nhiệm vụ cụ thể mà không cần sử dụng các hướng dẫn rõ ràng, thay vào đó dựa vào các tập mẫu và suy luận Nó được xem như một tập hợp con của trí tuệ nhân tạo Các thuật toán học máy xây dựng một mô h nh toán học của dữ liệu mẫu, được gọi là " dữ liệu huấn luyện ", để đưa ra dự đoán hoặc quyết định mà không được lập tr nh rõ ràng để thực hiện nhiệm vụ Thuật toán học máy được sử dụng trong rất nhiều ứng dụng, chẳng hạn như lọc email, hỗ trợ con người đưa ra các quyết định, xử lý thông tin tự động Học máy có liên quan chặt chẽ với thống kê tính toán , trong đó tập trung vào việc đưa ra dự đoán bằng máy tính Nghiên cứu về tối ưu hóa toán học cung cấp các phương pháp, lý thuyết và lĩnh vực ứng dụng cho lĩnh vực học máy Thị giác máy tính cũng là một lĩnh vực nghiên cứu trong học máy, và tập trung vào các thuật toán xử lý thông tin từ ảnh, âm thanh Trong ứng dụng của m nh trong các vấn đề kinh doanh, học máy cũng được gọi là phân tích dự đoán

Học máy có liên quan mật thiết đến thống kê, v cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khác với thống kê, học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán Nhiều bài toán suy luận được xếp vào loại bài toán NP-khó, v thế một phần của học máy là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ mà có thể xử lý được

Học máy có hiện nay được áp dụng rộng rãi bao gồm máy truy t m dữ liệu, các hệ thống hỗ trợ quyết định, chẩn đoán y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, dịch tự động, chơi trò chơi và cử động rô-bốt (robot locomotion)

Các thuật toán học máy thường được chia ra thành 2 nhóm lớn

 Học có giám sát (supervise learning)

Trong học có giám sát các thuật toán được xây dựng từ tập mẫu bao gồm

cả dữ liệu đầu vào và đầu ra kỳ vọng Ví dụ: nếu bài toán là xác định các con vật có trong ảnh, lúc này dữ liệu cho thuật toán học có giám sát sẽ bao gồm ảnh đầu vào cũng với đầu ra tương ứng được đánh nhãn là tên các con vật có trong ảnh Một nhánh nhỏ khác của học có giám sát là học bán giám sát Học bán giám sát là thuật toán được xây dựng trên các tập dữ liệu mà một phần dữ liệu đầu vào có thể không có nhãn

Các thuật toán phân loại và thuật toán hồi quy là các kiểu học có giám sát Các thuật toán phân loại được sử dụng khi các đầu ra bị giới hạn trong một tập hợp các giá trị giới hạn Đối với thuật toán xác định bệnh y khoa, đầu vào

sẽ là hồ sơ bệnh án của bệnh nhân và đầu ra sẽ là tên bệnh hoặc tên nhóm bệnh của bệnh nhân đó Đối với thuật toán xác định bệnh ung thư, đầu ra sẽ là

dự đoán của " bị ung thư " hoặc "không bị ung thư", được biểu thị bằng các giá trị Boolean đúng và sai Các thuật toán hồi quy được đặt tên cho đầu ra liên tục của chúng, có nghĩa là chúng có thể có bất kỳ giá trị nào trong một phạm vi Ví dụ về giá trị liên tục là nhiệt độ, độ ẩm, kích thước hoặc giá của một vật thể

Trong học tập không giám sát , thuật toán xây dựng một mô h nh toán học

từ một tập hợp dữ liệu chỉ chứa các đầu vào và không có nhãn đầu ra mong muốn Các thuật toán học tập không giám sát được sử dụng để t m cấu trúc trong dữ liệu, như phân nhóm hoặc phân cụm các điểm dữ liệu Học tập không giám sát có thể khám phá các mẫu trong dữ liệu và có thể nhóm các đầu vào thành các danh mục, như trong học tập tính năng Giảm kích thước