“NGHIÊN CỨU CÁC PHƯƠNG PHÁP XỬ LÝ ẢNH ĐỂ TRÍCH XUẤT THÔNG TIN TỪ GIẤY CHỨNG MINH NHÂN DÂN PHỤC VỤ CHO VIỆC CHI TRẢ BẢO HIỂM THẤT NGHIỆP”LUẬN VĂN THẠC SỸ

Tôi xin cam đoan đề tài “Nghiên cứu các phương pháp xử lý ảnh để trích xuất thông tin từ giấy chứng minh nhân dân phục vụ cho việc chi trả Bảo hiểm thất nghiệp” là công trình nghiên cứu

i

LỜI CAM ĐOAN

Tôi tên là: Chu Huy Hà - MSHV: 911218001 Tôi xin cam đoan đề tài “Nghiên cứu các phương pháp xử lý ảnh để trích xuất thông tin từ giấy chứng minh nhân dân phục vụ cho việc chi trả Bảo hiểm thất nghiệp” là công trình nghiên cứu do tôi thực hiện được triển khai từ tình hình thực tiễn của ngành Bưu điện với sự hướng dẫn, hỗ trợ từ Thầy - PGS.TS Trần Cao Đệ Nội dung nghiên cứu trong đề tài cũng như kết quả mà đề tài đạt được là hoàn toàn trung thực

Trong quá trình nghiên cứu, để hoàn thành đề tài tôi có sử dụng một số tài liệu tham khảo trong phần luận văn của một số tác giả như đã liệt kê tại phần “Tài liệu tham khảo” ở cuối luận văn

Tôi xin cam đoan và chịu trách nhiệm về công trình nghiên cứu của mình

Trà Vinh, ngày tháng 10 năm 2020

Học viên

Chu Huy Hà

LỜI CẢM ƠN

Để hoàn thành đề tài này, tôi đã nhận được sự giúp đỡ từ quý thầy cô, bạn bè, cũng như những anh, chị đồng nghiệp cùng ngành Đầu tiên, tôi xin bày tỏ lòng biết ơn đến Quý Thầy, Cô Khoa Kỹ thuật công nghệ, Trường Đại học Trà Vinh đã trang bị cho tôi những kiến thức quý báu, giúp tôi tiếp cận tư duy khoa học, phục vụ công tác trong cuộc sống

Tôi xin chân thành cảm ơn Thầy PGS TS Trần Cao Đệ đã tận tình hướng dẫn tôi trong quá trình nghiên cứu, thực hiện luận văn này Nhờ sự hướng dẫn nhiệt tình của Thầy về lĩnh vực chuyên môn cũng như tất cả các khía cạnh liên quan đã mang lại cho tôi những kiến thức và phương pháp nghiên cứu khoa học vô cùng bổ ích

Tôi xin chân thành cảm ơn Ban Lãnh đạo và đồng nghiệp trong ngành Bảo hiểm

xã hội, Bưu điện, Trung tâm dịch vụ việc làm đã tận tình giúp đỡ và tạo điều kiện thuận lợi giúp đỡ tôi trong thời gian thu thập dữ liệu

Xin chân thành cảm ơn!

iii

MỤC LỤC

Lời cam đoan i

Lời cảm ơn ii

Mục lục iii

Danh mục chữ viết tắt vi

Danh mục bảng vii

Danh mục hình viii

Tóm tắt x

PHẦN MỞ ĐẦU 1

1 LÝ DO CHỌN ĐỀ TÀI 1

2 MỤC TIÊU VÀ PHẠM VI ĐỀ TÀI 2

3 BỐ CỤC LUẬN VĂN 3

CHƯƠNG 1 GIỚI THIỆU TỔNG QUAN VỀ NỘI DUNG NHẬN DẠNG VÀ XỬ LÝ ẢNH 5

1.1 TỔNG THỂ HỆ THỐNG XỬ LÝ VÀ NHẬN DẠNG ẢNH 5

1.2 ẢNH SỐ VÀ MỘT SỐ KỸ THUẬT XỬ LÝ ẢNH CƠ BẢN 8

1.2.1 Các khái niệm về ảnh số 8

1.2.2 Không gian màu và các phép biến đổi không gian màu 11

1.2.2.1 Không gian màu Red Green Blue 11

1.2.2.2 Không gian màu Hue Saturation Value 12

1.2.2.3 Các phép biến đổi không gian màu 12

1.2.3 Biên ảnh 13

1.2.4 Biểu diễn ảnh 14

1.2.5 Biến đổi ảnh (Image Transform) 15

1.2.6 Phân tích ảnh 15

1.2.7 Tăng cường ảnh - khôi phục ảnh 15

1.2.8 Độ nghiêng của ảnh 16

1.3 THƯ VIỆN MÃ NGUỒN MỞ OPENCV 16

1.4 CÔNG CỤ TESSERACT 18

1.5 TỔNG KẾT CHƯƠNG 20

CHƯƠNG 2 NỘI DUNG NGHIÊN CỨU 21

2.1 MỘT SỐ THUẬT TOÁN TIỀN XỬ LÝ ẢNH 21

2.1.1 Nâng cấp ảnh 21

2.1.2 Toán tử điểm 22

2.1.2.1 Kỹ thuật thay đổi độ xám 22

2.1.2.2 Tăng, giảm độ tương phản 23

2.1.2.3 Kỹ thuật biến đổi âm bản 23

2.1.3 Toán tử không gian 23

2.2 MỘT SỐ KỸ THUẬT LỌC NHIỄU 24

2.2.1 Lọc phi tuyến 24

2.2.2 Lọc trung bình 25

2.2.3 Lọc thông thấp 26

2.2.4 Lọc gaussian Filter (lọc thông cao) 26

2.3 KỸ THUẬT PHÂN NGƯỠNG 27

2.3.1 Tách ngưỡng 27

2.3.2 Tách ngưỡng tự động 27

2.3.3 Phương pháp sử dụng các điểm biên 28

2.4 KỸ THUẬT CẢI THIỆN ẢNH NHỊ PHÂN 28

2.4.1 Chuyển đổi về ảnh nhị phân 28

2.4.2 Một số phương pháp xác định ngưỡng T 30

2.4.2.1 Phân ngưỡng theo phương pháp Otsu 30

2.4.2.2 Phân ngưỡng theo phương pháp Niblack 31

2.5 CÁC PHÉP TOÁN HÌNH THÁI HỌC 32

2.5.1 Co ảnh (Erosion) 33

2.5.2 Giãn ảnh (Dilation) 34

2.6 PHƯƠNG PHÁP PHÁT HIỆN BIÊN CƠ BẢN 35

2.6.1 Phương pháp phát hiện biên Gradient 35

2.6.2 Phương pháp phát hiện biên Laplace 36

2.6.3 Phương pháp phát hiện cạnh Canny 37

2.7 HIỆU CHỈNH ĐỘ NGHIÊNG CỦA ẢNH 38

2.7.1 Xác định góc nghiêng 38

2.7.2 Xác định đường thẳng trong tọa độ 39

2.7.3 Xoay ảnh 40

2.8 TỔNG KẾT CHƯƠNG 41

v

CHƯƠNG 3 ỨNG DỤNG THUẬT TOÁN NHẬN DẠNG ẢNH CHỨNG MINH

NHÂN DÂN 42

3.1 CẤU TRÚC VÀ MỘT SỐ ĐẶC ĐIỂM CỦA GIẤY CHỨNG MINH NHÂN DÂN 42

3.2 YÊU CẦU BÀI TOÁN 43

3.3 TỔNG QUAN VỀ HỆ THỐNG CHI TRẢ BẢO HIỂM THẤT NGHIỆP 44

3.4 TIỀN XỬ LÝ 46

3.4.1 Ảnh đầu vào 46

3.4.2 Chuyển ảnh màu về ảnh mức xám, đa mức xám 47

3.4.3 Làm mịn ảnh hay làm trơn ảnh bằng bộ lọc 48

3.4.4 Chuyển ảnh xám về ảnh nhị phân 48

3.4.5 Khử nhiễu dùng phép co giãn trong ảnh 49

3.4.6 Dò biên và xác định khung ảnh 50

3.4.7 Căn chỉnh độ nghiêng 51

3.4.8 Phân vùng các trường thông tin 51

3.4.9 Cắt lấy vùng cần nhận dạng 52

3.4.10 Chuyển vùng ảnh đã cắt nhận dạng ký tự 53

3.5 THIẾT KẾ GIAO DIỆN 53

3.5.1 Môi trường cài đặt chương trình 53

3.5.2 Giao diện chính của chương trình ứng dụng 53

3.5.3 Giao diện chức năng xử lý ảnh 54

3.5.4 Giao diện kết quả nhận dạng vùng thông tin 55

3.6 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 55

3.6.1 Mục đích của thực nghiệm 55

3.6.2 Kết quả thực nghiệm 56

3.6.3 Đánh giá thực nghiệm 56

3.7 TỔNG KẾT CHƯƠNG 57

KẾT LUẬN 58

1 KẾT QUẢ ĐẠT ĐƯỢC 58

2 HẠN CHẾ CỦA LUẬN VĂN 59

3 HƯỚNG PHÁT TRIỂN 59

DANH MỤC TÀI LIỆU THAM KHẢO 60

DANH MỤC CHỮ VIẾT TẮT

Từ viết tắt Tiếng Anh Diễn giải

Interface

Giao diện lập trình ứng dụng, phần mềm trung gian cho phép các ứng dụng giao tiếp với nhau

BHTN Unemployment Insurance Bảo hiểm thất nghiệp

OCR Optical Character Recognition Nhận dạng ký tự quang học

OpenCV Open Computer Vision Mã nguồn mở về thư viện xử lý ảnh

vii

DANH MỤC BẢNG

Số liệu bảng Tên bảng Trang

Bảng 3.1 Đặc điểm cho các trường thông tin ở mặt trước 44 Bảng 3.2 Bảng đánh giá độ chính xác của ứng dụng 56

DANH MỤC HÌNH

Số liệu hình Tên hình Trang

Hình 1.1 Mô hình xử lý ảnh 7

Hình 1.2 Ảnh biểu diễn dưới dạng ma trận 8

Hình 1.3 Thang độ xám của ảnh 9

Hình 1.4 Ảnh nhị phân 10

Hình 1.5 Ảnh màu 11

Hình 1.6 Không gian màu RGB 11

Hình 1.7 Không gian màu HSV 12

Hình 1.8 Mô hình biểu diễn đường biên 14

Hình 1.9 Chỉnh độ nghiêng trong văn bản 16

Hình 1.10 Biểu tượng thư viện OpenCV 17

Hình 1.11 Quá trình hoạt động của OCR 19

Hình 2.1 Một số hàm biến đổi điểm ảnh 22

Hình 2.2 Biểu đồ thuật toán lọc trung vị 24

Hình 2.4 Biểu đồ phân bố Gaussian 26

Hình 2.5 Nhị phân ảnh 30

Hình 2.6 Ảnh sau khi áp dụng kỹ thuật “Co” 34

Hình 2.7 Ảnh sau khi áp dụng kỹ thuật “Giản” 35

Hình 2.8 Xác định giao điểm trong hệ tọa độ 39

Hình 2.9 Biến đổi Hough cho đường thẳng trong tọa độ cực 39

Hình 2.10 Xoay ảnh 40

Hình 3.1 Mẫu chuẩn Giấy chứng minh nhân (Mặt trước) 42

Hình 3.2 Hình ảnh mặt sau CMND 43

Hình 3.3 Xác định vùng cần lấy thông tin 43

Hình 3.4 Sơ đồ hệ thống chi trả 45

Hình 3.5 Ảnh đầu vào CMND 46

Hình 3.6 Chuyển ảnh màu sang ảnh mức xám 47

Hình 3.7 Ảnh được làm mịn 48

Hình 3.8 Chuyển ảnh xám về ảnh nhị phân 49

Hình 3.9 Xóa nhiễu sử dụng phép co và giãn ảnh 50

Hình 3.10 Hình ảnh lọc biên bằng Canny 50

ix

Hình 3.11 Xác định bốn góc của ảnh 51

Hình 3.12 Đưa ảnh về vị trí chuẩn 51

Hình 3.13 Nội dung cần lấy trong CMND 52

Hình 3.14 Vùng cắt họ tên chuyển về nhị phân 52

Hình 3.15 Vùng cắt số CMND chuyển về nhị phân 53

Hình 3.16 Kết quả nhận dạng của Tesseract 53

Hình 3.17 Giao diện của chương trình 54

Hình 3.18 Giao diện chức năng xử lý 54

Hình 3.19 Kết quả nhận dạng CMND 55

Hình 3.20 Minh họa tập dữ liệu mẫu 55

TÓM TẮT

Giấy Chứng minh nhân dân là loại giấy tờ tùy thân cần thiết và quan trọng của mỗi người Trong một số trường hợp thì việc sử dụng Chứng minh nhân dân như xác thực định danh của các chủ thể Trích xuất thông tin từ ảnh Chứng minh nhân dân giúp cho nhiều ứng dụng sử dụng Chứng minh nhân dân được thuận lợi hơn chính xác hơn

Mục tiêu đề tài là nghiên cứu các giải thuật xử lý ảnh và thư viện lập trình OpenCV để trích xuất thông tin từ Chứng minh nhân dân Xây dựng một ứng dụng trích xuất ký tự từ hình ảnh của một giấy Chứng minh nhân dân thành một định dạng văn bản (text) với các nội dung cần nhận dạng như sau: họ và tên, số Chứng minh nhân dân, ngày tháng năm sinh Đề tài sẽ có những đóng góp là việc lấy dữ liệu từ Chứng minh nhân dân nhanh hơn thông qua hình ảnh được cung cấp và cung cấp nguồn dữ liệu dồi dào cho các công trình nghiên cứu tương tự khác

Được lập trình bằng công cụ hỗ trợ soạn thảo: Eclipse với ngôn ngữ lập trình Java, cùng với giao diện đơn giản Chương trình sẽ nhận vào ảnh có chứa hình ảnh của một Chứng minh nhân dân, kết quả của chương trình là ký tự trên giấy Chứng minh nhân dân sẽ được nhận dạng và chuyển thành định dạng văn bản Thông tin cũng như kết quả sẽ được hiển thị trên giao diện ứng dụng

Qua thời gian nghiên cứu, đề tài đã giải quyết được các vấn đề cơ bản trong quy trình xử lý ảnh từ một ảnh chụp giấy Chứng minh nhân dân, định vị các trường thông tin và rút trích được các thông tin cần thiết như số Chứng minh nhân dân, họ tên,… nhờ tích hợp bộ nhận dạng chữ in của Tesseract Bên cạnh đó với độ chính xác 95% cho các phương pháp tiền xử lý và độ chính xác khi nhận dạng ký tự trong bộ chữ tiếng việt bằng Tesseract lên đến 90%, đề tài cho thấy các phương pháp trên hoàn toàn khả thi và

có thể áp dụng vào thực tế

1

PHẦN MỞ ĐẦU

1 LÝ DO CHỌN ĐỀ TÀI

Sau 10 năm đổi mới đến nay vai trò, vị thế của Tổng công ty Bưu điện Việt Nam

đã được khẳng định, trở thành cánh tay nối dài của Nhà nước trong triển khai các dịch

vụ hành chính công (HCC), góp phần vào thực hiện mục tiêu cải cách thủ tục hành chính, hoàn thiện hệ thống an sinh xã hội [5] Đảm bảo vận hành mạng lưới an toàn, hiệu quả thực hiện tốt các nhiệm vụ được giao

Các dịch vụ HCC như chi trả lương hưu, trợ cấp Bảo hiểm thất nghiệp (BHTN), chi trả trợ cấp Bảo trợ xã hội, thu BHXH, BHYT Công tác quản lý người hưởng qua hệ thống bưu điện nhận được sự quan tâm, chỉ đạo sâu sát, kịp thời và tạo mọi điều kiện thuận lợi của Chính phủ, Hội đồng quản lý BHXH Việt Nam, Thường trực tỉnh ủy, UBND các cấp, các ngành từ trung ương đến địa phương

Trước đây, nhiều đại diện chi trả xã, phường do quen biết nên khi nhận tiền trợ cấp BHXH không cần xuất trình chứng minh thư, nhờ người nhận thay nhưng không có giấy ủy quyền…, khi chuyển sang hệ thống bưu điện thực hiện chi trả theo đúng quy định phải kiểm tra chứng minh thư hoặc giấy tờ tùy thân có ảnh hoặc khi nhận thay phải

có giấy ủy quyền thì một số người cho rằng phức tạp và phiền hà, mất thời gian chờ đợi

để kiểm tra đối chiếu

Trong những năm gần đây, cùng với lộ trình hướng tới cấp thẻ chi trả nhận lương hưu, trợ cấp thất nghiệp… trên toàn quốc có rất nhiều báo cáo tập trung vào đánh giá thực trạng quản lý và thụ hưởng chế độ BHXH, tìm ra các nguyên nhân, rào cản của việc chi trả các chế độ BHXH trong ngành bưu điện và đưa ra nhiều khuyến nghị nhằm đưa nhiều giải pháp hiệu quả, nhanh nhất đến gần người dân hơn Hiện nay, trên địa bàn tỉnh Trà Vinh một tháng có khoảng 10.000 người nhận các chế độ BHXH, trong đó số người chi trả bảo hiểm thất nghiệp gần 1.000 người chiếm 10% Việc đảm bảo chi trả cho tới thời điểm hiện tại vẫn thực hiện thủ công, chưa có giải pháp hữu hiệu nào thay thế, số lượng nhân viên tại điểm chi trả còn rất ít, hàng ngày phải thực hiện nhiều công việc cùng lúc nên chưa đảm bảo cho việc chi trả nhanh chóng và chính xác

Vì vậy, hoạt động chi trả vừa thực thi quyền lợi của người thụ hưởng vừa góp phần ổn định đời sống khi mất việc, đảm bảo an sinh xã hội trên địa bàn tỉnh Hướng đến phương châm “chi đủ, chi đúng và kịp thời” ngành bưu điện không ngừng đổi mới,

hoàn thiện hơn nữa phương thức chi trả nhằm phục vụ người hưởng chế độ BHXH ngày càng tốt hơn Việc xây dựng và thực hiện phương án ứng dụng công nghệ thông tin trong công tác chi trả lương hưu, trợ cấp BHTN hàng tháng bằng tiền mặt cho người hưởng

đã tạo ra hiệu quả thiết thực trong công tác chi trả BHTN, phù hợp xu thế phát triển chung của nền kinh tế hội nhập, đáp ứng nhu cầu hưởng thụ của người lao động Với những lý do trên, nhằm đáp ứng những yêu cầu phục vụ tốt hơn cho công việc để thực hiện đề tài: “NGHIÊN CỨU CÁC PHƯƠNG PHÁP XỬ LÝ ẢNH ĐỂ TRÍCH XUẤT THÔNG TIN TỪ GIẤY CHỨNG MINH NHÂN DÂN PHỤC VỤ CHO VIỆC CHI TRẢ BẢO HIỂM THẤT NGHIỆP” được đưa ra để tiến hành nghiên cứu Nhận dạng

và trích xuất thông tin trên ảnh chụp đã đáp ứng gần như đầy đủ của một ứng dụng nhận dạng và trích xuất thông tin trên ảnh chụp giấy tờ tùy thân, qua đó giúp cho việc lấy thông tin dễ dàng hơn Dựa vào kết quả nhận dạng CMND, giúp người quản lý có thể dùng để tìm kiếm, trích xuất được thông tin về người hưởng nhanh chóng, chính xác, hạn chế tình trạng không nhất quán, sai sót, đảm bảo cho việc chi đúng đối tượng, chi

đủ số lượng và đảm bảo đúng thời gian quy định

2 MỤC TIÊU VÀ PHẠM VI ĐỀ TÀI

Nghiên cứu các phương pháp xử lý ảnh để trích xuất thông tin từ ảnh chụp giấy CMND nhằm hỗ trợ xác thực thông tin trong việc chi trả BHTN trên địa bàn tỉnh Trà Vinh

Phương pháp thực hiện và vận hành triển khai sử dụng hệ thống chi trả được thể hiện tóm tắt như sau: người lao động đến nhận tiền xuất trình giấy tờ tùy thân CMND, cán bộ chi trả tiếp nhận và đặt CMND trên khung đã định vị có gắn sẵn camera phía trên được cố định hoặc thiết bị có thể linh hoạt thay đổi, trong giai đoạn này hệ thống sẽ ghi nhận lại hình ảnh của CMND và xử lý rồi trích xuất tên và số CMND đối chiếu lại với

cơ sở dữ liệu chi trả Sau đó hệ thống sẽ xuất danh sách chi trả cho người lao nhận tiền

và ký tên

Nhằm hỗ trợ công tác chi trả Bảo hiểm thất nghiệp trong việc trích xuất thông tin

từ ảnh CMND có độ chính xác cao và hoàn thiện hơn Việc nghiên cứu đề tài nhận dạng ảnh giấy Chứng minh nhân dân sẽ giúp cho quá trình trích xuất thông tin chi trả BHTN khắc phục được một số hạn chế, sai sót, đồng thời là nền tảng giúp cho hệ thống ngày càng phát triển

Luận văn chỉ tập trung nghiên cứu nhận dạng CMND thực hiện bằng phương pháp xử lý ảnh, được xây dựng chủ yếu bằng sử dụng giải pháp phần mềm trên hệ thống

3

nhúng để thực hiện việc nhận dạng thẻ chứa thông tin cá nhân Áp dụng các phương pháp, nghiên cứu đã phát triển trước đó, đồng thời kết hợp và cải tiến thêm một số phương pháp nhằm tạo ra một hệ thống đồng bộ hiệu quả

Hệ thống sử dụng thư viện OpenCV, công cụ OCR với mã nguồn mở-Tesseract

để nhận dạng thông tin, tìm hiểu về lập trình java với Eclipse Dựa vào mục tiêu trên, luận văn xác định các nội dung chủ yếu cần nghiên cứu bao gồm: làm mịn ảnh, phân ngưỡng, thay đổi không gian màu, biến đổi hình thái, phép biến đổi Hough, tăng cường

độ sắc nét của ảnh, vấn đề phân vùng ảnh khi xác định vị trí khung ảnh CMND Do đó, trong bài luận văn này cần tập trung nghiên cứu và giải quyết các vấn đề sau:

- Nghiên cứu các kỹ thuật xử lý ảnh, nhận dạng ký tự quang học, các phương pháp trích chọn đặc trưng trong ảnh

- Thu thập ảnh mẫu CMND

- Xây dựng, cài đặt thuật toán nhận dạng để giải quyết bài toán nhận dạng thẻ, từ kết quả trích xuất thông tin từ thẻ CMND, dùng để hỗ trợ cho hệ thống chi trả Bảo hiểm thất nghiệp

- Xây dựng chương trình và kiểm tra tính hiệu quả của phương pháp

- Nghiên cứu quy trình chi trả để hỗ trợ tốt nhất cho hệ thống chi trả bằng phương pháp nhận dạng CMND

- Cài đặt và thực nghiệm

3 BỐ CỤC LUẬN VĂN

Trên thế giới các nhà khoa học đã có rất nhiều công trình nghiên cứu về lĩnh vực

xử lý ảnh dựa vào sự phát triển không ngừng của công nghệ xử lý ảnh, hệ thống máy tính, thiết bị thông minh, các thuật toán, việc lấy thông tin trên ảnh có thể được lấy tự động thông qua ảnh chụp Ở Việt Nam loại thẻ chứa thông tin cá nhân phổ biến nhất là giấy Chứng minh nhân dân, thẻ căn cước Hiện nay có một số nghiên cứu xử lý ảnh có liên quan mật thiết với nhau đó là nhận dạng ký tự quang học, để rút trích nội dung từ văn bản hay thông tin từ thẻ nhưng vẫn chưa được công bố và áp dụng rộng rãi Do đó, mục tiêu của đề tài này là đề xuất một phương pháp xử lý ảnh để rút trích các thông tin quan trọng từ giấy Chứng minh nhân dân Luận văn được trình bày bao gồm phần mở đầu, ba chương và kết luận

Chương 1: Đưa ra cái nhìn tổng quan về nhận dạng và xử lý ảnh

Chương 2: Nội dung nghiên cứu: