Kỹ thuật nhận dạng chữ số dựa vào mạng nơron trong nhập điểm tự động1

* Ý nghĩa khoa học của đề tài - Bản thân hiểu sâu hơn và áp dụng được các phương pháp cụ thể là nhận dạng chữ số dựa vào mạng nơron trong nhập điểm tự động.. * Cấu trúc của luận văn bao

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG

TRẦN NGỌC MINH

KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO

MẠNG NƠRON TRONG NHẬP ĐIỂM

TỰ ĐỘNG

Chuyên ngành: Khoa học máy tính

Mã số: 60 48 0101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: PGS.TS ĐỖ NĂNG TOÀN

Thái Nguyên – năm 2015

LỜI CẢM ƠN

Trước hết tôi xin gửi lời cảm ơn sâu sắc đến thầy hướng dẫn khoa học PGS.TS Đỗ Năng Toàn về những chỉ dẫn khoa học, định hướng nghiên cứu

và tận tình hướng dẫn tôi trong suốt quá trình làm luận văn

Tôi cũng xin cảm ơn các Thầy trong viện Công Nghệ Thông Tin, các Thầy Cô trong trường Đại học Công Nghệ Thông Tin và Truyền Thông - Đại học Thái Nguyên đã quan tâm chỉ bảo và trực tiếp giảng dạy, giúp đỡ trong suốt quá trình học tập và nghiên cứu

Tôi xin chân thành cảm ơn lãnh đạo các phòng, ban trong trường Cao đẳng Cộng đồng Bắc Kạn đã tạo điều kiện cho tôi học tập và nghiên cứu đề tài này

Cuối cùng, tôi xin cảm ơn gia đình và bạn bè, những người đã luôn ủng

hộ và động viên tôi để tôi yên tâm nghiên cứu luận văn này

Trần Ngọc Minh

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình của riêng tôi, dưới sự hướng dẫn của PGS.TS Đỗ Năng Toàn Các số liệu và kết quả nghiên cứu trong luận văn này là trung thực và không trùng lặp với các đề tài khác

Mọi tham khảo trong luận văn đều được trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố

Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo hay gian trá tôi xin hoàn toàn chịu trách nhiệm

Trần Ngọc Minh

MỤC LỤC

LỜI CẢM ƠN i

LỜI CAM ĐOAN iii

MỤC LỤC iv

DANH MỤC HÌNH ẢNH vi

MỞ ĐẦU 1

CHƯƠNG 1 KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG 3

PHIẾU ĐIỂM 3

1.1 Khái quát về xử lý ảnh [1] 3

1.1.1 Các giai đoạn của một quá trình xử lý ảnh 3

1.1.2 Mô tả ảnh 5

1.1.3 Một vấn đề trong xử lý ảnh 7

1.2 Nhận dạng phiếu điểm 15

CHƯƠNG 2 MẠNG NƠRON VÀ NHẬN DẠNG PHIẾU ĐIỂM 20

2.1 Mạng nơron nhân tạo[5] 20

2.1.1 Mô hình toán học 21

2.1.2 Phân loại 22

2.1.3 Các đặc trưng của mạng nơron nhân tạo 24

2.1.4 Một số mô hình mạng nơron cơ bản[5][6] 27

2.2 Kỹ thuật nhận dạng phiếu điểm 31

2.2.1 Hiệu chỉnh độ dịch chuyển 31

2.2.2 Hiệu chỉnh góc lệch 33

2.2.2.1 Phương pháp chiếu nghiêng 33

2.2.2.2 Phương pháp biến đổi Hough 35

2.2.2.3 Phương pháp láng giềng gần nhất 37

2.3 Nhận dạng phiếu điểm dựa vào mạng nơron 38

2.3.1 Thiết kế mạng nơron 38

2.3.2 Lược đồ huấn luyện mạng 41

2.3.3 Thuật toán BackPropagation[9] 42

2.3.4 Nhận dạng và đưa vào cơ sở dữ liệu 44

CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 45

3.1 Huấn luyện 45

3.1.1 Lựa chọn mẫu 45

3.1.2 Kết quả huấn luyện 49

3.2 Nhận dạng chữ số 49

3.3 Phân tích và lựa chọn công cụ 50

3.3.1 Phân tích và chọn công cụ 50

3.3.2 Chương trình thử nghiệm 51

PHẦN KẾT LUẬN 55

KẾT LUẬN VÀ KIẾN NGHỊ 56

TÀI LIỆU THAM KHẢO 57

Hình 1.6: Ảnh đã được tăng độ tương phản

Hình 1.7: Mô phỏng thuật toán lọc trung vị để loại bỏ nhiễu

Hình 1.8: Mô tả phép quay ảnh

Hình 1.9: Mẫu bảng điểm thu nhận từ máy quét

Hình 1.10: Bức ảnh trước khi điều chỉnh kích thước

Hình 1.11: Bức ảnh sau khi điều chỉnh kích thước thành M*N

Hình 2.1: Mô hình toán học mạng nơron

Hình 2.2: Mô hình dữ liệu tổng quát

Hình 2.3: Mô hình thuật toán học có giám sát

Hình 2.4: Mô hình mạng Hopfield

Hình 2.5: Mô hình mạng ABAM

Hình 2.6: Mô hình tổng quát mạng Perceptron

Hình 2.7: Mô hình tổng quát mạng Back Propagation

Hình 2.8: Mô hình mạng nơron ngược hướng

Hình 2.9: (a) là ảnh mẫu (b) là ảnh cần nhận dạng

Hình 2.10: Mô hình biểu đồ tần suất của ảnh mẫu và ảnh cần nhận dạng, (a) ảnh mẫu,(b) ảnh cần nhận dạng, (c) lược đồ tần suất của ảnh mẫu và ảnh cần nhận dạng được vẽ chồng lên nhau

Hình 2.11: Các hình chiếu theo chiều thẳng đứng và nằm ngang của văn bản Hình 2.12: Biểu đồ minh hoạ phương pháp người láng giềng gần nhất

Hình 2.13: Cấu trúc mạng nơron

Hình 2.14: Lược đồ thuật toán huấn luyện mạng Hình 2.15: Lược đồ thuật toán BackPropagation Hình 2.16: Lược đồ thuật toán nhận dạng kí tự

Hình 3.1: Một mẫu dữ liệu huấn luyện mạng

Hình 3.4: Hoàn thành việc học mạng

Hình 3.3: Ấn nút học mạng, bắt đầu quá trình học Hình 3.2: Trạng thái khởi đầu, khởi tạo quá trình học Hình 3.5: Tiến hành nhận dạng, chọn ảnh thử nghiệm Hình 3.6: Chương trình load ảnh thử nghiệm vào Hình 3.7: Kết quả nhận dạng

MỞ ĐẦU

Cùng với sự phát triển nhanh chóng về phần cứng máy tính, các phần mềm càng trở nên đa dạng, phong phú, hoàn thiện hơn và hỗ trợ hiệu quả hơn cho con người Các phần mềm hiện nay ngày càng mô phỏng khá nhiều nghiệp vụ phức tạp, hỗ trợ cho người dùng sử dụng thuận tiện, thời gian xử lý nhanh chóng và một số nghiệp vụ tự động hoá cao trong số đó Mạng nơ ron nhân tạo là một mô phỏng xử lý thông tin, được nghiên cứu ra từ hệ thống thần kinh của sinh vật, giống như bộ não để xử lý thông tin Nó bao gồm số lượng lớn các mối gắn kết cấp cao để xử lý các yếu tố làm việc trong mối liên

hệ giải quyết vấn đề rõ ràng ANNs giống như con người, được học bởi kinh nghiệm, lưu những kinh nghiệm hiểu biết và sử dụng trong những tình huống phù hợp

Hiện nay, trong hầu hết các cơ sở giáo dục đào tạo cả nước ta đều được trang bị phần mềm quản lý điểm nhằm nâng cao chất lượng giảng dạy và quản

lý học sinh, sinh viên, giúp giảm bớt một phần lớn công việc của đội ngũ cán

bộ quản lý giáo dục Tuy nhiên việc cập nhật điểm thi vào hệ thống phần mềm quản lý giáo dục vẫn còn thủ công, không những làm tốn nhiều công sức của đội ngũ giáo vụ mà còn có nhiều sai sót đặc biệt với những trường có số lượng môn học và số sinh viên lớn

Từ những lý do trên, tôi đã chọn đề tài “KỸ THUẬT NHẬN DẠNG CHỮ SỐ DỰA VÀO MẠNG NƠRON TRONG NHẬP ĐIỂM TỰ ĐỘNG” với mong muốn phần nào giải quyết được phần nào những khó khăn

đó Thay vì phải nhập điểm thủ công, giờ đây việc nhập điểm trở nên dễ dàng,

thuận tiện hơn với chương trình tự động cập nhật điểm

Việc cập nhật điểm tự động rõ ràng đã giải quyết được những khó khăn

và bất tiện của chương trình quản lý điểm thông thường để lại

* Đối tượng và phạm vi nghiên cứu

- Nghiên cứu quá trình phiếu điểm viết tay của giảng viên qua máy quét thu được hình ảnh và đưa vào máy tính

- Nhập điểm tự động tại trường Cao Đẳng Cộng Đồng Bắc Kạn

* Hướng nghiên cứu của đề tài

- Phiếu điểm viết tay của giảng viên qua máy quét thu được hình ảnh và đưa vào máy tính

- Phân vùng ảnh thành 2 vùng ảnh cần thiết: Mã sinh viên (hoặc số báo danh)

và Điểm thi

- Nhận dạng thông qua mạng nơron với các mẫu thu thập được

- Cập nhật vào Cơ sở dữ liệu

* Phương pháp nghiên cứu

- Nghiên cứu các tài liệu và viết tổng quan

- Phương pháp nghiên cứu bài toán nhận dạng chữ số dựa vào mạng nơron trong nhập điểm tự động

- Phương pháp phân tích, đánh giá đối tượng (phiếu điểm)

- Nghiên cứu triển khai thử nghiệm chương trình

* Ý nghĩa khoa học của đề tài

- Bản thân hiểu sâu hơn và áp dụng được các phương pháp cụ thể là nhận dạng chữ số dựa vào mạng nơron trong nhập điểm tự động

- Nâng cao chất lượng công việc trong việc nhập điểm tự động trong cán bộ quản lý giáo dục Giảm thiểu sai sót trong quá trình nhập điểm

* Cấu trúc của luận văn bao gồm 3 chương sau:

- Chương 1: Khái quát về xử lý ảnh và nhận dạng phiếu điểm

- Chương 2: Mạng nơron và nhận dạng phiếu điểm

- Chương 3: Chương trình thử nghiệm kỹ thuật nhận dạng chữ số dựa vào mạng nơron trong nhập điểm tự động

- Kết luận:

CHƯƠNG 1 KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG

PHIẾU ĐIỂM 1.1 Khái quát về xử lý ảnh [1]

Xử lý ảnh là một trong những mảng quan trọng nhất trong kỹ thuật thị giác máy tính, là tiền đề cho nhiều nghiên cứu thuộc lĩnh vực này Hai nhiệm vụ

cơ bản của quá trình xử lý ảnh là nâng cao chất lượng thông tin hình ảnh và

xử lý số liệu cung cấp cho các quá trình khác trong đó có việc ứng dụng thị giác vào điều khiển

Đã có rất nhiều công trình nghiên cứu tại nhiều quốc gia từ năm 1920 đến nay về xử lý ảnh đã góp phần thúc đẩy tiến bộ trong lĩnh vực này lớn mạnh không ngừng

Quá trình bắt đầu từ việc thu nhận ảnh nguồn (từ các thiết bị thu nhận ảnh dạng số hoặc tương tự) gửi đến máy tính Dữ liệu ảnh được lưu trữ ở định dạng phù hợp với quá trình xử lý Người lập trình sẽ tác động các thuật toán tương ứng lên dữ liệu ảnh nhằm thay đổi cấu trúc ảnh phù hợp với các mục đích khác nhau

1.1.1 Các giai đoạn của một quá trình xử lý ảnh

Để có thể hình dung cấu hình một hệ thống xử lý ảnh chuyên dụng hay một hệ thống xử lý ảnh trong nghiên cứu, đào tạo, trước hết chúng ta hãy xem xét các bước cần thiết trong xử lý ảnh

- Biến đổi năng lượng quang học sang năng lượng điện

- Biến đổi năng lượng điện sang các ma trận

b Xử lí trước

Quá trình xử lí trước thực ra bao gồm nhiều công đoạn nhỏ Trước hết

là công việc tăng cường ảnh để nâng cao chất lượng ảnh Do những nguyên nhân khác nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu ảnh có thể bị suy biến Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổi bật một số đặc tính chính của ảnh, hay làm cho ảnh gần giống nhất với trạng thái gốc (trạng thái trước khi ảnh bị biến dạng) Nhằm các mục đích phục vụ cho các bước tiếp theo

Những mục đích riêng biệt có thể đặt ra cho quá trình xử lý trước là: + Thực hiện điều chỉnh độ chiếu sáng để khắc phục hậu quả của sự chiếu sáng không đồng đều

+ Giảm nhỏ thành phần nhiễu

+ Cải thiện độ tương phản của ảnh màu do khuôn màu không tốt

+ Hiệu chỉnh độ méo giá trị xám

+ Loại bỏ tính không đồng thể của ảnh gây nên từ tính không đồng bộ của lớp nhạy quang của hệ thống thu nhận ảnh

+ Chuẩn hóa độ lớn, dạng và màu

+ Điều chỉnh bộ lọc để khuếch đại các tần số với những thông tin quan trọng được khuếch đại và nén đi các tần số khác

c Phân đoạn

Là quá trình phân chia các đối tượng cần khảo sát ra khỏi phần nội dung còn lại của ảnh, phân tách các đối tượng tiếp giáp nhau và phân tách những đối tượng riêng biệt thành những đối tượng con Một phương pháp phân đoạn ảnh là sử dụng một ngưỡng giá trị xám để phân tách ảnh thành đối

tượng và nền (những điểm dưới ngưỡng xám thuộc về nền, ngược lại thuộc về đối tượng)

d Tách ra các đặc tính

Dựa trên các thông tin thu nhận được qua quá trình phân đoạn, kết hợp với các kỹ thuật xử lý để đưa ra các đặc trưng, đối tượng ảnh cũng như các thông tin cần thiết trong quá trình xử lý Nhờ các đặc tính có được từ ảnh ta

có thể phân loại các đối tượng khác nhau của ảnh

e Phân loại ảnh

Thực hiện công việc sắp xếp một đối tượng vào một lớp đối tượng cho trước Để giải quyết bài toán này thì các đặc tính có ý nghĩa phải được lựa chọn Ta tìm thấy các đặc tính có ý nghĩa khi ta phân tích các mẫu được lựa chọn từ những đối tượng khác nhau

1.1.2 Mô tả ảnh

a Phần tử ảnh (Pixel - Picture Element)

Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ sáng

Để có thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hoá ảnh Trong quá trình số hoá, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông qua quá trình lấy mẫu (rời rạc hóa về không gian) và lượng hoá thành phần giá trị mà thể về nguyên tắc bằng mắt thường không phân biệt được hai điểm kề

nhau Trong quá trình này, người ta sử dụng khái niệm Picture element mà ta quen gọi hay viết là Pixel - phần tử ảnh Mỗi Pixel bao gồm một cặp tọa độ chỉ

vị trí (x,y) và một mức xám nhất định Mật độ Pixel trên một ảnh số cho ta xác định được độ phân giải của ảnh Ảnh có độ phân giải càng cao thì càng rõ nét

và ngược lại Ví dụ một ảnh số có độ phân giải là 800 x 600 Pixel nghĩa là có

800 điểm theo chiều ngang và 600 điểm theo chiều dọc

b Mức xám (Gray Level)

Mức xám của điểm ảnh là kết quả sự biến đổi tương ứng một cường độ sáng của điểm ảnh đó với một giá trị số (kết quả của quá trình lượng hoá) Cách mã hoá kinh điển thường dùng 16, 32 hay 64 mức Mã hoá 256 mức là phổ dụng nhất do lý do kỹ thuật Vì 28 = 256 (0, 1, , 255), nên với 256 mức mỗi pixel sẽ được mã hoá bởi 8 bit

c Ảnh

Là tập hợp hữu hạn các điểm ảnh, thường được biểu diễn bằng một mảng hai chiều I(n,m) với n là số hàng, m là số cột Ta ký hiệu P(x,y) là một điểm ảnh tại vị trí (x, y) Số lượng điểm ảnh trên mỗi hàng hoặc các hàng xác định độ phân giải của ảnh

d Phân loại ảnh

o Ảnh nhị phân

Giá trị xám của tất các các điểm ảnh chỉ nhận giá trị 1 hoặc 0 Như vậy

mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bới 1 bit

o Ảnh xám

Giá trị xám nằm trong khoảng 0 255 Như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bới 1 byte

o Ảnh mầu

Ta quan tâm và xử lý ảnh với mô hình ba màu, ảnh theo mô hình thụ

cảm sẽ chuyển sang mô hình ba màu trước khi xử lý

- Hệ mầu RGB (RED- GREEN- BLUE): Thông tin con người thu nhận bằng

hình ảnh đều bắt nguồn từ thị giác Mắt con người có khả năng phân biệt được

rõ nét 3 mầu: đỏ, lục, lam Các ảnh mầu nói chung đều bao gồm 3 ảnh xám đối với màu nền đỏ, lục và lam Tất các màu sắc trong tự nhiên đều có thể tổng hợp từ 3 thành phần mầu nói trên Mô hình RGB còn gọi là mô hình cộng tính, mỗi mức xám của ảnh sẽ được biểu diễn bởi 3 thành phần: R, G, B

(Mỗi thành phần được biểu diễn bởi 1 byte)

- Hệ mầu CMY(CYAN- MAGENTA- YELLOW): là phần bù của hệ mầu

RGB theo nguyên tắc: C + R = M + G = B + Y =(1, 1, 1) Hệ mầu này thường dùng để xuất thông tin mầu ra các thiết bị như máy in màu

- Hệ mầu CMYK(CYAN- MAGENTA- YELLOW- BLACK): Xuất phát từ

hệ mầu CMY với K là độ đậm nhạt của mầu K Với C, M, K được xác định

từ CMY(C1, M1, Y1) như sau: K = min(C1, M1, Y1, K); C = C1-K; K; Y= Y1-K

M=M1-1.1.3 Một vấn đề trong xử lý ảnh

Ta nhận thấy một ảnh màu RGB bao gồm 3 ảnh xám: R, G và B Như vậy để xử lý ảnh mầu ta phải xử lý trên 3 ảnh xám R, G, B của nó và kết hợp lại sẽ có kết quả như mong muốn

a Kỹ thuật tăng, giảm độ sáng

Tăng cường độ sáng của một ảnh có thể được hiểu như sự phát sáng toàn bộ ảnh Hay nói một cách cụ thể đó là sự phát sáng toàn bộ của mọi Pixel trong ảnh đó Đây là một kỹ thuật khá đơn giản: để tăng thêm độ sáng, tất cả các Pixel của ảnh cần được cộng thêm giá trị điều chỉnh vào mọi kênh màu RGB Tuy kỹ thuật này đơn giản nhưng nó đem lại hiệu quả khá cao và rất hay được sử dụng trong lĩnh vực xử lý ảnh Nó giúp ích rất nhiều trong các ngành như y học, địa lý, quân sự, trong việc phân tích và nhận dạng

Điều chỉnh độ sáng không chỉ được sử dụng để làm sáng lên những ảnh tối mà còn được sử dụng để làm tối đi các ảnh sáng Một ảnh sáng hoàn toàn đơn giản là tất cả các Pixel đều màu trắng trong khi một ảnh tối hoàn toàn là tất cả các Pixel đều màu tối Sự khác nhau duy nhất trong làm tối một ảnh là trừ đi giá trị điều chỉnh vào mỗi kênh màu RGB của ảnh

Đối với mỗi kênh màu, chúng chỉ nhận các giá trị [0 255] Chính vì thế khi tăng cường hay giảm độ sáng của một ảnh ta phải chú ý đến ngưỡng của các kênh Điều đó có nghĩa là với mỗi kênh màu của một Pixel nếu nhỏ hơn 0

thì ta phải gán bằng 0 và nếu lớn hơn 255 thì ta phải gán bằng 255 Biểu thức cho kỹ thuật Brightness có dạng:

g(x,y) = f(x,y) + b Trong đó b là hằng số cộng thêm vào giá trị màu f(x,y) Độ sáng của ảnh tăng nếu b > 0, và giảm bớt nếu b < 0

độ sáng

Hình 1.3 Ảnh đã được tăng cường độ sáng

b Kỹ thuật tăng, giảm độ tương phản

Độ tương phản (Contrast) thể hiện sự thay đổi cường độ sáng của đối tượng so với nền, hay nói cách khác, độ tương phản là độ nổi của điểm ảnh hay vùng ảnh so với nền

Ảnh số là tập hợp các điểm, mà mỗi điểm có giá trị độ sáng khác nhau

Ở đây, độ sáng để mắt người dễ cảm nhận ảnh song không phải là quyết định Thực tế chỉ ra rằng hai đối tượng có cùng độ sáng nhưng đặt trên hai nền khác nhau nhau sẽ cho cảm nhận khác nhau Vì vậy ta có thể thay đổi độ tương phản của ảnh sao cho phù hợp

Việc làm tăng độ tương phản rất hữu ích khi tiến hành xử lý trước theo phương pháp phân ngưỡng Bằng việc làm tăng độ tương phản, sự khác nhau của giá trị nền và đối tượng, độ dốc của cạnh đối tượng được tăng lên Do đó

sau khi làm tăng độ tương phản ta có thể tìm các giá trị màu thích hợp với một vùng sáng hơn Trong một ảnh có độ tương phản cao, có thể xác định được các viền rõ ràng và chi tiết khác nhau của ảnh đó được nổi bật Còn trong một ảnh có độ tương phản thấp, tất cả các màu đều gần như nhau gây khó khăn cho việc xác định các chi tiết của ảnh

tương phản

Hình 1.6: Ảnh đã được tăng độ tương phản

Biểu thức cho kỹ thuật Contrast có dạng:

g(x,y) = af(x,y) Trong đó a là hằng số nhân vào giá trị màu tại f(x,y) Độ sáng của ảnh tăng nếu a > 1, và giảm bớt nếu a < 1

c Táchngưỡng

Ta chọn hai mức Thấp- Min, Cao-Max và giá trị ngưỡng λ, khi đó giá trị các pixel được định nghĩa lại như sau:

+ Inew(x, y) = Max nếu I(x, y) >= λ

+ Inew(x, y) = Min nếu I(x, y) < λ

d Chuyển đổi sang ảnh nhị phân

Nhiệm vụ của việc chuyển đổi sang ảnh nhị phân là tách màu của “đối tượng” ra khỏi nền Biểu đồ hình cột của giá trị mức xám của tài liệu ảnh thông thường chứa 2 giá trị: giá trị mức cao tương ứng với màu nền trắng và giá trị nhỏ hơn tương tứng với màu chữ Vì thế, nhiệm vụ của việc xác định ngưỡng giá trị mức xám (giá trị mức xám lớn hơn giá trị ngưỡng sẽ là màu

trắng, giá trị mức xám nhỏ hơn giá trị ngưỡng sẽ là màu đen) là xác định một giá trị thích hợp để việc chuyển đổi từ ảnh xám sang ảnh nhị phân sao cho lượng thông tin mất mát là ít nhất

Trong đề tài này tôi tính ngưỡng để chuyển đổi từ ảnh xám sang ảnh nhị phân theo phương pháp của Otsu Và việc chuyển đổi từ ảnh xám sang ảnh nhị phân được thực hiện theo phương pháp ngưỡng tổng thể

o Phương pháp ngưỡng toàn cục

Trong phương pháp sử dụng ngưỡng toàn cục, giá trị ngưỡng được tính toán từ toàn bộ ảnh Các điểm ảnh có giá trị mức xám dưới ngưỡng sẽ được coi như là “nét bút”; các điểm ảnh có mức xám lớn hơn ngưỡng được coi là

“nền” Quá trình này có thể được mô tả như sau:

x

b

0

) , ( 1

o Phương pháp Otsu

Trong lĩnh vực xử lý ảnh, phương pháp Otsu được dùng để tự động thực hiện việc tính ngưỡng của một ảnh, và sau đó dùng giá trị ngưỡng vừa tính được để chuyển đổi ảnh xám sang ảnh nhị phân

Thuật toán tính ngưỡng có thể mô tả như sau: Các giá trị mức xám của ảnh được chia ra làm 2 lớp sau đó tính giá trị ngưỡng Chúng ta sẽ tìm giá trị ngưỡng nhỏ nhất trong các lớp khác nhau, được định nghĩa như là một tổng các giá trị khác nhau của các lớp;

() () () () ()

2 2 2 2 1 1 2

t t t t t

Trọng số wi là xác suất của 2 lớp được tác riêng biệt bởi ngương t và các  khác nhau của các lớp đó i2

Phương pháp Otsu chỉ ra rằng giá trị nhỏ nhất trong một lớp đồng thời cũng được coi như là giá trị lớp nhất giữa 2 lớp

2 1 2 1 2 2 2

) ( ) ( ) ( ) ( ) ( )

Trọng số trong một lớp được tính như sau:

)()()()()

( 1 12 1 22

2

t t t

t t

i P t

1

)(

)()

1 2 2

) (

) ( )

) ( )

( )

(

1 2

1

1 2

1

t

i P t i

) ( ) ( )

(

2 2

1

2 2

2

t

i P t i

- Tính toán tất cả các trường hợp có thể có giá trị ngưỡng từ t=1 tới cường độ mức xám lớn nhất

xử lý nhiễu tức là loại bỏ các thông tin này ra khỏi ảnh để thuận tiện cho việc trích rút thông tin phục vụ cho việc xử lý ảnh dễ dàng hơn và chính xác hơn

o Một số kiểu nhiễu:

Có một số kiểu nhiễu mà chúng ta hay gặp:

Loại nhiễu “salt” và “peper”, các điểm ảnh trong ảnh là những màu hay cường độ sáng khác nhau so với các điểm xung quanh nó Đối với những điểm ảnh là loại nhiễu này thì thông thường giá trị mức xám của chúng không liên quan tới các điểm ảnh xung quanh nó

Trong đề tài này, dữ liệu ảnh chủ yếu được lấy bằng cách scan ảnh, do

đó loại nhiễu phổ biến và thường gặp đó là ‘salt’ và ‘peper’

o Các phương pháp lọc nhiễu

Sử dụng bộ lọc tuyến tính: Một trong những phương pháp để loại bỏ nhiễu là kết hợp ảnh gốc (ảnh cần lọc nhiễu) với một mặt nạ lọc thông thấp hoặc là làm mượt ảnh Ví dụ, mặt nạ Gaussian bao gồm các phần tử được xác định bởi hàm Gaussion Sự kết hợp này mang đến giá trị của mỗi điểm ảnh cân đối với các điểm lân cận nó Một cách tổng quát, một bộ lọc làm mượt ảnh thiết lập giá trị của mỗi điểm ảnh là giá trị trung bình của chính nó và các

điểm ảnh lân cận Các bộ lọc làm mượt ảnh được sử dụng để loại bỏ vết nhơ trong ảnh

Sử dụng bộ lọc không tuyến tính: Bộ lọc trung bình là một ví dụ về bộ lọc không tuyến tính, bộ lọc này rất tốt đối với việc loại bỏ các loại nhiễu là

x’ = x - tx y’= y – ty

o Phóng to hoặc thu nhỏ ảnh

Còn được gọi là sự chia lại thang tọa độ Khi chia thang tọa độ gốc và hướng được giữ nguyên, chia thang tiến hành với hệ số chia thang Sx, Sy và các tọa độ mới được tính toán theo

x’ = x*Sx y’ = y*Sy

o Phép quay ảnh

Thực ra đây là phương pháp chuyển đổi các Pixel trong ảnh Do không làm thay đổi trị màu trong ảnh nên có thể thực hiện phương pháp này trên ảnh màu cũng như trên ảnh xám Một ảnh được xem như là một mảng hai chiều, chuyển đổi lại vị trí các Pixel là sắp xếp lại mảng này Khi quay thì sự chia thang giữ nguyên chỉ có hướng trục thay đổi Còn trục mới xuất hiện bằng cách quay trục cũ đi một góc θ ngược chiều kim đồng hồ, khi đó tọa độ mới được theo theo công thức:

x’ = cosθ + y.sinθ y’ = -x.sinθ + y.cosθ

0 cos sin

0 sin cos

W_moi= H_cu * |Sin(θ)| + W_cu *| Cos(θ)|;

H_moi = W_cu * |Sin(θ)| + H_cu * |Cos(θ)|;

Khi đó ảnh quay sẽ có kích thước I(W_moi , H_moi) Tọa độ 4 góc của ảnh cũ lần lượt là:

(x1,y1) = (0,0) ; (x2,y2) = (w,0) ; (x3,y3) = (w,h) ; (x4,y4) = (0,h) ;

Hình 1.8: Mô tả phép quay ảnh

1.2 Nhận dạng phiếu điểm

a Phân tách vùng chứa dữ liệu

Trong quá trình nhập điểm, thông tin quan trọng cần được lấy đó là vùng ảnh chứa mã số sinh viên và vùng ảnh chứa điểm Z Khi lấy được vùng ảnh chứa mã số sinh viên và vùng ảnh chứa điểm Z, ta thực hiện việc tách ra thành các dòng khác nhau Mỗi một dòng sẽ là mã sinh viên của từng sinh viên và căn cứ vào mã sinh viên này ta có thể cập nhật điểm mà được lấy ra từ vùng ảnh chứa điểm Z vào trong cơ sở dữ liệu

Việc tách một vùng ảnh ra thành các vùng nhỏ tương ứng với các hàng khác nhau được thực hiện khá đơn giản bằng giải thuật “Horizontal Projection” Tương tự, việc tách các kí tự trên cùng một hàng sẽ được thực hiện bằng giải thuật “Vertical Projection”

Dưới đây là bức ảnh của bảng điểm mà chúng ta thu được bằng cách sử dụng máy scan và lưu lại dưới dạng file ảnh

Hình 1.9: Mẫu bảng điểm thu nhận từ máy quét

Nhìn vào chúng ta có thể thấy công việc của chúng ta cần làm là tách bức ảnh trên ra thành 2 vùng nhỏ:

+ Vùng 1: Chứa mã số sinh viên

+ Vùng 2: Chứa điểm của sinh viên

b Tách dòng và tách kí tự

o Giải thuật Horizontal Projection

Giải thuật này được sử dụng để chia nhỏ vùng ảnh chứa mã số sinh viên ra thành các vùng ảnh nhỏ hơn, mỗi vùng ảnh chứa một mã số của 1 sinh viên Giải thuật Horizontal Projection có thể được mô tả như sau

x p B h

P

w

x H

),(1

),(0

,1

0

Trong đó: - PH(h) là tổng số điểm ảnh màu đen trên dòng h

- W là chiều rộng của ảnh

- p(x,h) nghĩa là điểm ảnh nằm trên tọa độ (x,h)

Khi chúng ta tính Horizontal Projection trên hàng h, nếu như hàng này

có PH(h) != 0 thì chúng ta có thể cắt từ hàng 0 tới h-1 thành một vùng ảnh nhỏ

và được coi là một hàng tương ứng với một mã số sinh viên

o Giải thuật Vertical Projection

Giải thuật này được sử dụng để chia vùng ảnh con tương ứng với một hàng thu được từ bước trên để lấy được các kí tự riêng biệt

Giải thuật Vertical Projection có thể được mô tả như sau:

x p B c

P

H

x V

),(1

),(0

,1

0

Trong đó: - PV(c) là tổng số điểm ảnh màu đen trên dòng h

- H là chiều cao của ảnh

- p(x,c) nghĩa là điểm ảnh nằm trên tọa độ (x,c)

Khi chúng ta tính Vertical Projection trên cột c, nếu như hàng này có

PH(c) != 0 thì chúng ta có thể cắt từ cột 0 tới c-1 thành một vùng ảnh nhỏ và được coi là một hàng tương ứng với một chữ số trong mã sinh viên

c Trích rút đặc trưng

Sau khi tách dòng và tách riêng từng kí tự thành công Ta thực hiện tiếp công đoạn tiếp theo đó là trích rút đặc trưng của từng bức ảnh chứa các kí tự

riêng biệt để Mỗi bức ảnh chứa kí tự có những thông tin quan trọng, nó quyết định những đặc tính để phân biệt nó với các bức ảnh chứa kí tự khác

Mỗi bức ảnh chứa kí tự riêng biệt có kích thước khác nhau sẽ được đưa

về cùng kích thước Trong đề tài này, tôi điều chỉnh tất cả các ảnh sang cùng

một kích thước M*N và mỗi bức ảnh tôi lấy 35 điểm đặc trưng để nhận biết

cho bức ảnh đó

Hình 1.10: Bức ảnh trước khi điều chỉnh kích thước

Hình 1.11 Bức ảnh sau khi điều chỉnh kích thước thành M*N

CHƯƠNG 2 MẠNG NƠRON VÀ NHẬN DẠNG PHIẾU ĐIỂM 2.1 Mạng nơron nhân tạo[5]

Có nhiều phương pháp đề nhận dạng chữ viết tay Trong đề tài này, tôi

sử dụng mạng nơron để thực hiện việc nhận biết chữ viết tay Việc sử dụng mạng nơron có nhiều tiện dụng và hiệu quả hơn các phương pháp khác Khi

sử dụng phương pháp này chúng ta không phải lưu trữ lượng mẫu nhiều, và cũng có thể nhận dạng được những mẫu mà chưa có trong cơ sở dữ liệu Vấn đề quan trọng là xây dựng mạng nơron sao cho có hiệu quả cao nhất trong việc nhận dạng và huấn luyện Điều này tùy thuộc vào việc lựa chọn kiến trúc của mạng, phương pháp huấn luyện, các tham số đầu vào của mạng, các hàm kích thích trên từng lớp…

Mạng nơron nhân tạo (Artificial Neural Network gọi tắt là ANN) bao gồm: các nút (đơn vị xử lý, nơron) được nối với nhau bởi các liên kết nơron Mỗi liên kết kèm theo một trọng số nào đó, đặc trưng cho tính kích hoạt hay

ức chế giữa các nơron Có thể xem các trọng số là phương tiện để lưu giữ thông tin dài hạn trong mạng nơron và nhiệm vụ của quá trình huấn luyện (học) mạng là cập nhật các trọng số khi có thêm các thông tin về các mẫu học, hay nói một cách khác, các trọng số được điều chỉnh sao cho dữ liệu đầu vào

mà nó mô phỏng hoàn toàn phù hợp với môi trường đang xét

Là một hệ thồng bao gồm nhiều phần tử xử lý đơn giản (nơron) hoạt động song song Tính năng của hệ thống, tuỳ thuộc vào cấu trúc của hệ các trọng số liên kết nơron và quá trình tính toán tại các nơron đơn lẻ Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hoá dựa trên các dữ liệu mẫu học Trong mạng nơron, các nơron đón nhận tín hiệu vào gọi là nơron vào (Input) và các nơron đưa ra thông tin gọi là nơron ra (Output)

2.1.1 Mô hình toán học

Hình 2.1: Mô hình toán học mạng nơron

Giống như các nơron sinh học, nơron nhân tạo cũng có nhiều đầu vào Hình 2.2 cho thấy một nơron có R đầu vào Các đầu vào p1, p2, …, pR được lần lượt nhân với các trọng số w11, w12, …, w1R (tức là lấy tích vô hướng) của

ma trận trọng số W Tổng các thông tin vào có trọng số là:

1

Hàm dấu: sign(x) =





 1 - 1

nếu x<

Trường hợp xét ngưỡng θ, ta dùng biểu diễn vectơ mới P’=(p1, … ,pn,θ),

W’=(w1,….,wn,1)

2.1.2 Phân loại

a Theo kiến trúc mạng

+ Mạng nơron truyền thẳng (Feed-Forward Neural Network)

Trong mạng nơron truyền thẳng, các liên kết nơron đi theo một hướng nhất định, không tạo thành đồ thị có chu trình (Directed Acyclic Graph) với các đỉnh là các nơron, các cung là các liên kết giữa chúng (Hình 2.3b)

+ Mạng hồi qui (Recurrent Neural Network)

Ngược lại các mạng qui hồi cho phép các liên kết nơron tạo thành chu trình Vì các thông tin ra của các nơron lại được truyền lại cho các nơron đã góp phần kích hoạt chúng Nên mạng hồi qui có khả năng lưu giữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết nơron

b Theo số lớp

Các nơron có thể tổ chức thành các lớp sao cho mỗi nơron của lớp này chỉ được nối với các nơron lớp tiếp theo, không cho phép các liên kết giữa các nơron trong cùng một lớp, hoặc từ lớp dưới lên lớp trên

a) Mạng nơron nhiều lớp b) Mạng nơron truyền thẳng

Hình 2.2: Mô hình dữ liệu tổng quát

c Theo phương pháp học

Có ba hướng chính là học có giám sát (supervised learning), tự học hay

học không giám sát (unsupervised learning) và học tăng cường Trong khuôn

khổ luận văn này, ta chỉ xem xét phương pháp học có giám sát cùng với một

đại diện tiêu biểu của phương pháp này là thuật toán lan truyền ngược sai số

Một thành phần không thể thiếu của phương pháp này là sự có mặt của

một người thầy (giá trị đầu ra mong muốn t) như ta thấy ở hình 2.4 Người

thầy này có kiến thức về môi trường thể hiện qua một tập hợp các cặp đầu vào

- đầu ra Pi – Y đã được biết trước Hệ thống học (ở đây là mạng nơron) sẽ

phải tìm cách thay đổi các tham số bên trong của mình (các trọng số W và các

ngưỡng b) để tạo nên một ánh xạ có khả năng ánh xạ các đầu vào thành các

đầu ra mong muốn Sự thay đổi này được tiến hành nhờ việc so sánh giữa đầu

ra thực sự Y và đầu ra mong muốn t (qua hàm lỗi e) Đối với các mẫu chưa học, hệ thống sẽ cho đầu ra gần như đầu ra mong muốn nếu số lượng mẫu đã học đủ lớn và đại diện được phần lớn các dạng mẫu có trong môi trường

Trong các loại hình mạng nơron học theo phương pháp có giám sát, nổi tiếng nhất là mạng nơron nhiều tầng truyền thẳng học theo phương pháp lan truyền ngược sai số (Back Propagation) Phần sau sẽ trình bày cấu trúc của loại mạng này cùng với thuật giải học của nó

2.1.3 Các đặc trưng của mạng nơron nhân tạo

a Cách nhìn nhận

Như một công cụ tính toán: Giả sử mạng nơron NN có m lớp vào và n lớp ra, khi đó với mỗi vectơ các tín hiệu vào X=(x1,….,xm), sau quá trình tính toán tại các nút ẩn, ta nhận được kết quả ra Y=(y1,… ,yn) Theo nghĩa nào đó mạng nơron làm việc với tu cách một bảng tra, mà không cần biết dạng phụ thuộc hàm tường minh giữa X và Y Khi đó ta viết:Y= Tinh(X, NN) trong đó hàm Tinh() là hàm ánh xạ bất kỳ nhằm ánh xạ Tập đầu vào X qua mạng NN thành tập đầu ra Y tương ứng

Cần lưu ý thêm rằng các nơron trên cùng một lớp có thể tính toán đồng thời, do vậy độ phức tạp tính toán nói chung sẽ phụ thuộc vào số lớp mạng Các thông số cấu trúc mạng nơron bao gồm:

- Số tín hiệu vào, số tín hiệu ra

- Số lớp nơron

- Số nơron trên mỗi lớp

- Số lượng liên kết của mỗi nơron

- Các trọng số liên kết nơron

- Tốc độ học

- Ngưỡng sai số của mạng

Trọng số của mạng (Weight) đặc trưng cho tính kích hoạt hay ức chế giữa các nơron trong mạng

Như một hệ thống thích nghi, có khả năng học (huấn luyện) để tinh chỉnh các trọng số liên kết cũng như cấu trúc của mình sao cho phù hợp với các mẫu học (Samples) Người ta phân biệt ba loại kỹ thuật học:

- Học có giám sát (Supervised learning) hay còn gọi là học có thầy

- Học không có giám sát (Unsupervised learning) hay còn gọi là học không có thầy Các mạng này được gọi là các mạng tự tổ chức

- Học tăng cường

Các kỹ thuật học trong mạng nơron có thể nhằm vào hiệu chỉnh các trọng số liên kết (gọi là học tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạng bao gồm số lớp, số nơron, kiểu và trọng số các liên kết (gọi là học có cấu trúc) Cả hai mục đích học có thể thực hiện đồng thời hoặc tách biệt

 Học tham số: Giả sử có k nơron trong mạng và mỗi nơron có đúng một liên kết vào với các nơron khác Khi đó, ma trận trọng số liên kết W sẽ

có kích thước k x 1 Các thủ tục học tham số nhằm mục đích tìm kiếm

ma trận W sao cho Ys = Tính(Xs, W) đối với mẫu học S =(Xs, Ys) trong

đó Xs là tập dữ liệu đầu vào, Ys là tập đầu ra tương ứng

 Học cấu trúc: Với học tham số ta giả định rằng mạng có một cấu trúc

cố định Việc học cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm

ra số lớp của mạng L và số nơron trên mỗi lớp ni Tuy nhiên, với các mạng hồi qui còn phải xác định thêm các tham số ngưỡng θ của các nơron trong mạng Một cách tổng quát phải xác định bộ tham số P = (L,n1,…n1,θ, θk)

Ở đây k = Σ ni sao cho Ys = Tính(Xs, P) đối với mọi mẫu học S = (Xs, Ys) Thực chất, việc điều chỉnh các vectơ tham số W được qui về bài toán tìm kiếm tối ưu trong không gian tham số Do vậy, có thể áp dụng các cơ chế tìm