Ứng dụng mạng nơ ron trong nhận dạng biển số ô tô

Khi kỹ thuật Xử Lý Ảnh ra ñời và phát triển mạnh mẽ thì việc sử dụng kỹ thuật này vào hệ thống kiểm soát phương tiện dựa trên cơ sở nhận dạng biển số phương tiện tỏ ra nhiều ưu ñiểm vượt

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG

NGUYỄN VĂN LÂM

ỨNG DỤNG MẠNG NƠ-RON TRONG NHẬN DẠNG BIỂN SỐ

Công trình ñược hoàn thành tại ĐẠI HỌC ĐÀ NẴNG

Người hướng dẫn khoa học: TS Phạm Văn Tuấn

Phản biện 1: Phản biện 2:

Luận văn sẽ ñược bảo vệ trước Hội ñồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ Thuật ñiện tử họp tại Đại học Đà Nẵng vào ngày … … tháng … … năm … …

Có thể tìm hiểu luận văn tại:

- Trung tâm Thông tin-Học liệu, Đại học Đà Nẵng

- Trung tâm Học liệu, Đại học Đà Nẵng

Xuất phát từ nhu cầu trên có rất nhiều giải pháp ñã ñược ñưa

ra ñể kiểm soát các phương tiện giao thông như sử dụng Chip chuyên dụng ñể gắn lên phương tiện, sử dụng ñịnh vị toàn cầu GPS Nhưng các giải pháp này lại khá tốn kém, khó triển khai và nâng cấp, ñòi hỏi các thiết bị và kỹ thuật phức tạp Khi kỹ thuật Xử Lý Ảnh ra ñời và phát triển mạnh mẽ thì việc sử dụng kỹ thuật này vào hệ thống kiểm soát phương tiện dựa trên cơ sở nhận dạng biển số phương tiện tỏ ra nhiều ưu ñiểm vượt trội như chi phí triển khai thấp Các thiết bị ñơn giản dễ lắp ñặt, dễ mở rộng cho nhiều ứng dụng khác nhau như xây dựng trạm thu thuế, nhà giữ xe tự ñộng, kiểm soát vi phạm tại các nút giao thông phức tạp

Cùng với sự phát triển của trí tuệ nhân tạo, việc ứng dụng mạng nơ-ron vào việc nhận dạng mẫu ký tự trong kỹ thuật xử lý ảnh trở nên hiệu quả và nhanh chóng Như vậy việc kết hợp kỹ thuật xử

lý ảnh và ứng dụng mạng Nơ-ron ñể xây dựng hệ quyết ñịnh trong nhận dạng biển số phương tiện mà cụ thể ở ñây là biển số Ô tô là giải pháp tối ưu nhất hiện nay Với sự phát triển nhanh về tốc ñộ chụp, ñộ

phân giải của các thiết bị thu nhận ảnh, tốc ñộ tính toán các bộ vi xử

lý cũng như giá thành làm cho việc triển khai các ứng dụng xử lý ảnh

trở nên dễ dàng, tin cậy chi phí thấp và tốc ñộ nhanh

1 Mục ñích nghiên cứu :

• Nghiên cứu giải pháp nhận dạng biển số ô tô bằng mạng nơ-ron

2 Nội dung nghiên cứu

• Nghiên cứu các kỹ thuật nhận dạng biển số ô tô dùng kỹ thuật xử lý ảnh và mạng nơ-ron Đặt tiền ñề nghiên cứu sâu hơn ñể ñưa ra các ứng dụng cụ thể

• Xây dựng phương pháp và thuật toán ñể thực hiện nhận dạng, qua ñó nghiên cứu các hạn chế và nhược ñiểm của

hệ thống ñể tiến hành tối ưu

• Viết phần mềm mô phỏng quá trình nhận dạng biển số trên các ảnh ñược thu thập trên thực tế ñể tạo tiền ñề cho việc xây dựng phần mềm nhận dạng trực tiếp qua Camera

3 Đối tượng nghiên cứu

Tập trung chính vào ñối tượng nghiên cứu là kỹ thuật xử lý ảnh và mạng nơ-ron trên cơ sở nghiên cứu:

• Thuật Toán nhận dạng biển số

4 Phạm vi nghiên cứu

Do các hạn chế về thời gian cũng như thiết bị, ñề tài sẽ tập trung nghiên cứu trên một tập các ảnh số ñược thu thập theo nguyên tắc sau :

Các ảnh ñược thu thập theo 3 thể loại :

- Tập 1 gồm các ảnh xe Ô tô có biển số rõ nét, ảnh chất lượng cao và vùng biển số không bị nhiễu hay che khuất

- Tập 2 gồm các xe ñược chụp với góc lệnh ±200

so với máy ảnh

- Tập 3 gồm các ảnh xe có biển số bị nhòe do ñược chụp ở khoảng cách xa hay bị mờ do quá trình di chuyển

- Đề tài sẽ tiến hành nghiên cứu xây dựng thuật toán dựa trên các tiêu chí ảnh ñầu vào ñược thu thập qua ba tập ảnh như trên

5 Phương pháp nghiên cứu

• Thu thập một số lượng hữu hạn các ảnh xe ô tô từ máy ảnh

• Tiến hành phân tích, xây dựng giải pháp nhận dạng gồm

có :

- Tiền xử lý

- Trích ñặc trưng

- Huấn luyện mô hình

- Kiểm thử trên cơ sở dữ liệu thu thập ñược gồm cơ sở

dữ liệu chuẩn và ảnh tự chụp trong thực tế

6 Ý nghĩa khoa học của ñề tài

Kiểm chứng tính khả thi và khả năng ứng dụng kỹ thuật xử

lý ảnh và mạng nơ-ron vào bài toán nhận dạng biển số Đặt nền tảng nghiên cứu sâu hơn nhằm phát triển các ứng dụng thực tiễn

7 Ý nghĩa thực tiễn của ñề tài

Kỹ thuật xử lý ảnh ñã và ñang ñược ứng dụng rộng rãi trong các thiết bị từ dân dụng ñến chuyên dụng Việc sử dụng xử lý ảnh ñể nhận dạng biển số Ô tô sẽ góp phần giải quyết ñược một phần của bài toán tắt nghẽn giao thông như hiện nay và tự ñộng hóa một số công việc liên quan ñến quản lý Ô tô Tạo tiền ñề cho việc phát triển

và triển khai các giải pháp nhận dạng khác như biển số xe máy, nhận dạng tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ CÁC HƯỚNG NHẬN DẠNG

DỰA TRÊN KỸ THUẬT XỬ LÝ ẢNH

Như chúng ta ñã biết về các hệ thống nhận dạng biển số xe ô

tô trong thực tế Chương này sẽ tiến hành phân tích sâu hơn về các

hệ thống này, quá trình phát triển nghiên cứu, các ưu nhược ñiểm của

hệ thống nhận dạng biển số xe ô tô

1.1 Sơ lượt về hệ thống nhận dạng biển số

1.2 Kiến trúc tổng quan của một hệ thống nhận dạng biển số

ô tô

Hệ thống nhận dạng biển số thường có các bước sau :

- Thu nhận ảnh ( Có thể chụp từ Camera thường hay camera hồng ngoại)

- Tách biển số có trong ảnh, chỉnh sửa góc lệnh

- Phân ñoạn các ký tự [10]

- Nhận dạng

- Kiểm tra cú pháp

1.3 Các ứng dụng liên quan ñến hệ thống nhận dạng biển số

Ô tô

Bài toán nhận dạng biển số ô tô có thể ñược áp dụng rộng rãi trong nhiều ứng dụng thực tế khác nhau như :

- Hệ thống tự ñộng thu thuế xe

- Hệ thống bãi giữ xe thông minh

- Kiểm soát và quản lý xe trên các ñiểm giao thông

- Nhiều ứng dụng khác

1.4 Những khó khăn trong nhận dạng biển số ô tô

- Độ phân giải ảnh quá thấp

- Ảnh quá tối hay bị che khuất bởi các vật khác, do sự chói sáng hay phản chiếu ñối với ánh sáng của biển số Biển số bị dính bẩn hay biến dạng

- Các kiểu Font khác nhau của các ký tự khác nhau

2.2.1 Các phép biến ñổi cơ bản dùng ñể tách vùng biển số

a Ma trận tích chập phát hiện biên theo chiều ngang và chiều dọc

ve m

ve

G

c Bộ Phép lọc làm trơn theo chiều ngang và chiều dọc

Bộ lọc này dùng ñể làm trơn các cụm ñiểm ảnh có ñộ sáng cao giống biển số ñể chúng ta có thể nhóm chúng lại ñược với nhau ñể thực hiện bước tiếp theo trong phát hiện vùng biển số

(a) Ảnh Gốc (b) Ảnh làm trơn

phương x

(c) Ảnh làm trơn phương y

(d) Ảnh phát hiện

biên Sobel (e) Ảnh phát hiện

biên theo phương y

(f) Ảnh phát hiện biên theo phương x

2.2.2 Tìm biển số dựa vào ñồ thị hình chiếu theo chiều ngang và

Phương pháp tìm khu vực biển số dựa trên phương pháp thông kê này gồm có 2 giai ñoạn:

- Giai ñoạn ñầu ta phải tìm ñược “dải ngang chứa biển số”

có kích thước lớn hơn kích thước của biển số thật Sau

ñó vùng này sẽ ñược tìm góc lệch do vị trí của Camera gây ra Chỉnh sửa góc lệch Kết quả của bước này cho ta ñược một vùng chứa biển số nhưng có kích thước lớn hơn kích thước biển số thật ở trên vùng ñó

- Giai ñoạn hai của quá trình này là ta phải tinh chỉnh vị trí của biển số, ñể vùng ảnh ta nhận ñược là chỉ có vùng giới hạn trong ñường biên của biển số với các ký tự mà thôi

a Tìm dải ngang chứa biển số

Hình 2.3 Phân tích hình chiếu tìm dải ngang chứa biển số

Giá trị lớn nhất của py(y) có thể cho ta vị trí của “dải chứa biển số” và nó ñược tính như sau:

( )

y y y bm

1 0

max arg

≤

≤

=

Ta gọi yb0 và y b1 là tọa ñộ trên và tọa ñộ dưới của “dải ngang

chứa biển số” thì y và y sẽ ñược tính như sau:

( )

y y y

y

bm

) (

| max

y

bm

) (

| max

1

≤

Với cy là hệ số ñể tìm chân của ñỉnh p y (y) c y là hệ số quan

trọng trong việc tìm chiều cao của biển số Ở ñây với tọa trên của dải

ta chọn c 1 =0.55, c 2 =0.44 (việc chọn này ñược dựa vào thực tế và

ñược ñiều chỉnh ñể thích nghi với nhiều kích thước biển số khác nhau)

b Tìm biển số dựa vào dải ngang chứa biển số

Ta dựa vào sự thay ñổi từ ñen thành trắng và từ trắng thành ñen trên các biên của biển số Hình vẽ biểu thị ñồ thị hình chiếu dọc của ảnh ñược mô tả như hình bên dưới

Và ñể phát hiện tọa ñộ biên, ở ñây ta phải tìm cách sao cho các ñặc tính này ñược hiển thị rõ Giải pháp ñưa ra ở ñây là ta tìm vi phân của p(x, y) ta ñược p’(x,y) Vì ñồ thị hình chiếu là không liên tục và số lượng mẫu không tiến ñến vô cùng, vì vậy ta ñưa ra một hàm rời rạc với h là bước lấy vi phân (ví dụ ta chọn h = 4) Thì hàm rời rạc ñể tìm p’ ñược tính:

h

h x p x p x

x

)()()(

Với h = 4 thì ta có ví dụ hình cụ thể như bên dưới

Biên trái và biên phải của biển số có thể ñược phát hiện bằng cách phân tích vi phân của p’ như sau:

Hình 2.4 Phân tích hình chiếu tìm biển số

c Phân tích ñặc tính ñể trích chọn biển số

Để lựa chọn ñược ñối tượng ảnh biển số ta phải xác ñịnh các trọng số mô tả ñặc tính của nó Và ñể làm ñiều này ta phải xác ñịnh ñược biểu thức ñể tính toán trọng số mô tả ñặc tính của từng ñối tượng Có rất nhiều ñặc tính ràng buộc ñể ñánh giá Nhưng ta chỉ dựa

và một số ñặc tính ñược tính như sau:

4 2

15 0

α α

α

cả vùng ñược giới hạn bỏi yb0 và yb1

1 0

1 0

ta sẽ lấy tỉ số này làm ñặc tính ñể ñánh giá

0)tan(

1100

01

0

x

y S

S A

Hình 2.13 Ảnh biển số ñược xoay

2.4 Phân ñoạn các ñối tượng trên biển số

2.4.1 Phân ñoạn dùng hình chiếu dọc

2.4.2 Tách các ñối tượng ký tự bằng phân ñoạn theo chiều dọc

Dựa vào ñồ thị hình chiếu của biển số và khoảng cách trống giữa các ký tự giúp ta có thể phân ñoạn các ký tự một cách dễ dàng

Hình 2.14 Phân ñ oạn biển số

Sau khi biển số ñược phân ñoạn dựa vào ñồ thị hình chiếu thì các phân ñoạn ta thu ñược luôn chứa thêm các phần tử không mong muốn như nhiễu hay biên biển số, các phân ñoạn không chứa ký tự…Vì vậy ta phải tiền hành loại bỏ các ñối tượng này

Bước 1 Tách khối dùng thuật toán kết nối nhãn

Với f(x,y) là ñối tượng thứ i trong các mẫu ñược phân ñoạn

thì chúng ta sẽ ñịnh nghĩa các ñặc tính tĩnh như sau:

w

x h

o

i b i

c

h w

y x f p p

i i

.

)) , ( (

0

2 )

Thường ảnh ñược chụp và lưu trữ ở không gian màu RGB vì vậy ta sẽ chuyển RGB sang không gian HSV[13] và xem Hue như một ñặc tính ñể lựa chọn

Chúng ta tính Hue, Saturation toàn cục bằng công thức:

∑∑

= =

= w i i

x h

= =

= w i i

x h

Để xác ñịnh các giá trị ngưỡng hợp lệ của các ñối tượng ta phải tiến hành tính trung bình các giá trị tìm ñược trên tập các mẫu thực tế Ví dụ ∑−

=

= 1

0 )

i

i b

p , với n là số mẫu Một ñối tượng không

ñược có sai số quá 16% so với giá trị p b trung bình Theo ñó ta có các giá trị ngưỡng ñể loại bỏ ñối tượng là:

- Độ sáng:

16 0

_

_ )

<

−

b b i b

p

p p

- Tương phản (CON):

1 0

_

_ )

<

−

c c i c

p

p p

- HUE:

1 0

_

_ )

<

−

h h i h

_

_ )

<

−

s s i s p

p p

- Chiều Cao (HEI):

2 0

_

_ )

<

−

h h

h i

- Tỉ số Chiều Rộng vào Cao(WHR): 0 1 < < 0 92

i

i

h w

Nếu ñối tượng ñược tách không thỏa một trong các ñiều kiện trên thì sẽ ñược xem là không hợp lệ

2.5 Phân ngưỡng thích nghi và chuẩn hóa ký tự\

2.5.1 Chuẩn hóa ñộ sáng và ñộ tương phản

2.5.2 Chuẩn hóa kích thước và phương pháp thay ñổi kích

Cách ñơn giản nhất ñể trích chọn các ñặc tính từ ảnh bitmap

là dựa vào ñộ sáng của ảnh Ta sẽ biến ma trận các ñiểm ảnh thành vectơ mô tả ảnh ñể ñưa vào mạng nơ-ron

Hình 3.1 Trích chọn trực tiếp

3.1.2 Hình thành vectơ ñầu vào bằng phát hiện kiểu biên của ký

tự

Cấu trúc của vectơ ñặc tính ñược mô tả bởi biểu thức sau:

)

@ ,

@ ,

@ ,

@ ,

@ ,

@ ,

@ ,

0

1 1 1 1 1 0 1 1 1 1 1 0 0 1 0 1

0

0

4 4 4 4

4 3 4

4 4 4

4 2 1

4 4 4

4 3 4

4 4

4 2 1

4 4 4

4 3 4

η η

r vùng r

vùng r

vùng

r h r h r h r h r h r h r h r h

h @ có nghĩa là số lần xảy ra của kiểu biên h j trên vùng r i

3.2 Tìm xương ảnh ký tự và phân loại ảnh ký tự dựa vào cấu

trúc xưng

3.2.2 Thuật toán tìm xương

3.2.3 Hình thành vectơ ñặc tính dựa vào phân tích cấu trúc

xương của các ký tự

Bảng 3.1 Bảng thống kê cấu trúc ký tự dựa trên ñặc tính xương

SL Điểm cuối Vòng kép kín Điểm giao

3 EFTY

3.3 Mạng Nơ-ron

3.4 Thuật toán Lan truyền ngược (Back-propagation)

3.5 Cách tổ chức mạng và thông tin huấn luyện

Mạng nơ-ron ñược chọn ở ñây gồm có 3 lớp:

Lớp 1: Với ảnh 8*13 thì số nơ-ron ñầu vào ( Lớp 1) là 8*13=104 nơ-ron

Lớp 3: Ta thấy bài toán nhận dạng của ta gồm có các ký tự: 0123456789abcdefghijklmnopqrstuvwxyz Ta thiết kế sao cho 1 nơ-ron ñầu ra sẽ mang giá trị của một ký tự Vì vậy ta có 36 nơ-ron ở ñầu ra Khi huấn luyện mạng, ñầu ra mong muốn cho một

4.2.1 Hàm ñánh giá theo kiểu ñúng hoặc sai

4.2.2 Hàm ñánh giá theo kiểu trọng số

4.3 Sơ ñồ khối quá trình nhận dạng

4.4 Kết quả nhận dạng và ñánh giá

Từ các thuật toán nhận dạng ñã ñưa ra ở các mục trên ở ñây

ta sẽ kiểm tra tính ổn ñịnh và các ưu nhược ñiểm của thuật toán ñể có thể nâng cao tính ổn ñịnh vào hướng phát triển tiếp theo của ñề tài

4.4.1 Độ chính xác của thuật toán

Khi thực hiện trên tập ảnh mẫu ñược thu thập ở trên, ta có ñược kết quả theo ñánh giá R(S) như sau:

Bảng 4.1 Bảng kết quả kiểm thử

Số biển Tổng số ký R(S) theo R(S) theo

4.4.2 Phân tích lỗi nhận dạng

a Lỗi do mạng Nơ-ron

Việc cấu hình một mạng nơ-ron ñạt kết quả tốt ñặt ra rất nhiều yêu cầu Từ [7] ta thấy rằng cấu hình mạng cần một số lượng mẫu nhận dạng lớn.Tổ chức và huấn luyện tốt Tuy nhiên từ các yêu cầu về thời gian, các ñiều kiện khách quan mà việc huấn luyện mạng chưa ñạt ñược kết quả tốt

b Lỗi do tìm vị trí của biển số

Thuật toán tìm biển số như ta ñã ñưa ra ban ñầu có ưu ñiểm

là có thể tìm hết tất cả các biển số có thể trên ảnh Tuy nhiên nó lại

làm cho thuật toán chiếm nhiều thời gian hơn nếu ñồ thị hình chiếu của ảnh có nhiều ñỉnh.( Hình 4.4)

Hình 4.4 Đồ thị hình chiếu có nhiều ñỉnh

Ở ñây ta thấy rằng vị trí của biển số không phải là ñỉnh có giá trị cao nhất trên ñồ thị hình chiếu Nếu ñỉnh do biển số gây ra là ñỉnh có giá trị ñứng sau các ñỉnh khác, khi các ñỉnh cao hơn càng nhiều thì việc phân tích các ñỉnh cao này sẽ tốn nhiều thời gian

Ta thấy góc lệch tìm ñược là -0.14288194 Đây là một góc

lệch sai Nhìn vào hình ta nhận ra rằng khi thông tin về các ký tự ñậm và rõ nét cộng thêm các ñường biên bị ñứt có thể gây ra lỗi

b Lỗi do các vít cố ñịnh biển số

Với các biển số ñược cố ñịnh bằng vít mà vị trí của nó làm cho 2 ký tự trên biển số bị dính liền thì sẽ gây ra lỗi Ví dụ ta có hình sau:

Hình 4.7 Lỗi do vít ñịnh vị biển số

Từ ảnh trên ta thấy 2 ký tự 9 và 9 dính với nhau Chính ñiều này làm cho thuật toán phân ñoạn dựa vào ñồ thị hình chiếu sẽ bị lỗi

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI

Sau thời gian thực hiện ñề tài, luận văn ñã hoàn thành ñược các công việc cơ bản sau ñây:

- Nghiên cứu lý thuyết về hệ thống nhận dạng biển số, trình bày các ứng dụng cũng như những khó khăn gặp phải khi áp dụng hệ thống nhận dạng biển số vào thực

tế

- Nghiên cứu lý thuyết mạng nơ-ron Xây dựng mô hình thuật toán nhận dạng bằng mạng lan truyền ngược nhiều lớp Thực hiện huấn luyện mạng ñể kiểm thử

- Nghiên cứu các thuật toán tách biển số ra khỏi ảnh cũng như thiết lập các ràng buộc ñể lựa chọn biển số

- Phân tích thành công sự khác biệt của các ký tự dựa trên cấu trúc xương của ký tự Qua ñó làm cho việc nhận dạng trở nên dễ dàng hơn bằng cách phân loại ñược nhóm ký tự cần nhận dạng

- Xây dựng ñược thuật toán có thể thích nghi với sự thay ñổi của môi trường nhiễu nhỏ Góc nghiêng so với camera trong khoảng ±200

Đề tài ñã giải quyết ñược vấn ñề cơ bản của bài toán nhận dạng biển số ô tô Tuy nhiên việc xử lý các vấn ñề xảy ra trong thực

tế nhận dạng nhiều hơn rất nhiều Do ñó cần nghiên cứu phát triển

- Nghiên cứu sử dụng thêm các thuật toán mới vào công nghệ nhận dạng ảnh

- Thực hiện trên các camera hồng ngoại thay bằng camera bình thường như trong ñề tài