Bài báo trình bày một giải pháp sử dụng mạng nơron, phương pháp hình thái học và biến đổi Hough nhận dạng biển số xe. Giải pháp thực hiện gồm ba bước: 1định vị biển số xe, 2 tách ký tự và 3nhận dạng ký tự. Biến đổi Hough và phương pháp hình thái học được sử dụng để định vị biển số xe, tách ký tự, mạng nơron truyền thẳng nhiều lớp với thuật toán lan truyền ngược được sử dụng để nhận dạng. Các kết quả thực nghiệm với trạng thái biển số xe thẳng hoặc nghiêng cho độ chính xác trên 95%.
Trang 1Ứng dụng mạng noron, phương pháp hình thái học và biến đổi Hough nhận dạng
biển số xe Application of neural network, morphological Analysis and Hough transform in
recognizing license plate
ThS.Hoàng Thị An, ThS.Vũ Bảo Tạo, ThS.Hoàng Thị Ngọc Diệp
Tóm tắt
Bài báo trình bày một giải pháp
sử dụng mạng noron, phương pháp
hình thái học và biến đổi Hough nhận
dạng biển số xe Giải pháp thực hiện
gồm ba bước: 1-định vị biển số xe, 2-
tách ký tự và 3-nhận dạng ký tự Biến
đổi Hough và phương pháp hình thái
học được sử dụng để định vị biển số xe,
tách ký tự, mạng noron Perpectron
nhiều lớp với thuật toán lan truyền
ngược được sử dụng để nhận dạng Các
kết quả thực nghiệm với trạng thái biển
số xe thẳng hoặc nghiêng cho độ chính
xác trên 95%
Từ khóa: Nhận dạng biển số xe, biến
đổi Hough, mạng noron, phương pháp
hình thái học, nhận dạng ký tự.
Abstract –
This article presents a solution of using neural network, morphological analysis and Hough transform in identifying license plates The solution consists of
3 main steps: 1-license plate location, 2-characters separation, and 3-characters identification Morphological method, and Hough transform are used to locate the license plates and separate the characters; Multilayer Perceptron neural network with back –propagation algorithm is used to identify the characters The experimental results with the state of straight and tilted license plates ensures the high precision of more than 95%
Keywords: Plate license recognition,
Hough transform, Morphological Analysis, Neural network, Character recognition.
Tự động nhận dạng, lưu trữ biển số xe là một phương pháp hữu hiệu để tiết kiệm thời gian cho quá trình gửi, giữ Đã có nhiều nghiên cứu về nhận dạng biển số xe được công bố trong các nghiên cứu [1],[6], [8], [10], [14] về nhận dạng biển số xe, các phương pháp các tác giả đề xuất có thể chia thành 3 nhóm: Phương pháp biến đổi Hough, phương pháp hình thái học, phương pháp so khớp mẫu
Phương pháp biến đổi Hough [2][3],[9], [15]: Dựa vào đặc trưng cạnh biên trích được, áp dụng các phương pháp xác định đường thẳng như phép biến đổi Hough để phát hiện các cặp đường thẳng gần song song ghép thành một ảnh biển số Ngoài ra còn một số ràng buộc về tỷ lệ chiều cao và chiều ngang, tâm các ký tự phải nằm trên một đường thằng, chiều cao của mỗi ký tự phải lớn hơn nửa chiều cao biển số trích được Theo hướng tiếp cận hình thái học [6], [8], [9], [14], việc thống kê về đường biên và các toán tử hình thái được sử dụng để trích xuất biển số xe sau đó loại bỏ các vùng không đúng bằng cách kiểm tra các ràng buộc Hai phương pháp này có ưu điểm
là không phụ thuộc vào màu sắc của biến số xe, tuy nhiên chúng phụ thuộc nhiều vào kết quả trích chọn đặc trưng biên cạnh
Trong phương pháp so khớp mẫu, biển số được coi là một đối tượng có khung nền riêng Phương pháp sử dụng các cửa sổ dò để trích từng đối tượng, sử dụng học máy SVM [14] hoặc mạng noron so khớp và nhận dạng [5], [12] Phương pháp này
Trang 2đơn giản, dễ cài đặt, tuy nhiên nó chưa hiệu quả khi biển số xe thu được ở nhiều góc
độ chụp khác nhau và thời gian thực hiện khá lâu
Các nghiên cứu trên đa số đều đề xuất nhận dạng vùng ảnh chứa biển số xe nói chung, chủ yếu là biển số xe ô tô Trên thực tế, tại các nơi trông giữ xe, đa số là xe máy, biển số xe máy có đặc trưng về kích thước và màu sắc riêng Xuất phát từ thực tế
đó, nhóm tác giả đề xuất giải pháp nhận dạng biển số xe kết hợp phương pháp hình thái học (Morphology), biến đổi Hough và mạng noron
Phần tiếp theo của bài báo trình bày tổng quan về phương pháp hình thái học, biến đổi Hough, mạng noron Perpectron nhiều lớp với thuật toán lan truyền ngược được trình bày trong phần 2 Phần 3 giới thiệu bài toán nhận dạng biển số xe và triển khai hệ thống nhận dạng biển số xe sử dụng biến đổi Hough và phương pháp hình thái học định vị biển số xe, tách ký tự; mạng noron để nhận dạng ký tự Một số kết quả thực nghiệm và thảo luận được nêu trong mục 5 Kết luận và hướng phát triển được tóm tắt trong phần 6
2 Phương pháp hình thái học, biến đổi Hough và mạng noron
2.1 Phương pháp hình thái học
Phương pháp hình thái học thường được sử dụng để nhận dạng đối tượng, nâng cao chất lượng ảnh, phân đoạn ảnh và kiểm tra khuyết điểm trên ảnh Các phép toán
xử lý hình thái học được thực hiện chủ yếu trên ảnh nhị phân và ảnh xám Hình thái học được xây dựng dựa trên cơ sở lý thuyết tập hợp Tập hợp đại diện cho các đối tượng trong một ảnh
Phần lớn các phép toán hình thái học được định nghĩ từ hai phép toán cơ bản là phép xói mòn/co ảnh (Erosion) và giãn nở/giãn ảnh (Dilation) Yếu tố quan trọng trong các phép toán này là lựa chọn một phần tử cấu trúc có hình dáng phù hợp Phần tử cấu trúc là một ảnh có kích thước nhỏ gồm các phần tử có giá trị {0,1} Phần tử cấu trúc thường được sử dụng trên ảnh nhị phân: dạng hình vuông, hình elip, đường theo chiều ngang và dọc, hình thoi,…Trong các phép toán hình thái học, một phần tử có cấu trúc
B có kích thước nxn được di chuyển khắp ảnh A và thực hiện phép tính với từng pixel của ảnh với n2-1 pixel lân cận (trừ điểm ở tâm)
Phép giãn nở (Dilation): Có tác dụng làm cho đối tượng ban đầu trong ảnh tăng lên về kích thước (giãn nở ra) Phép giãn nở được biểu diễn bởi công thức sau:
Theo (1), phép giãn nở chính là phép cộng giữa A và B
Phép xói mòn (Erosion): Có tác dụng trong việc giảm kích thước đối tượng thậm chí loại bỏ các vùng nhỏ, tách rời các đối tượng gần nhau Phép xói mòn được biểu diễn bởi công thức sau:
(2) Theo (2), kết quả phép xói mòn là một tập điểm ảnh c thuộc A, nếu di chuyển phần tử cấu trúc B theo c thì B nằm trong đối tượng A
Tóm lại, phép giãn nở làm các đường biên của một đối tượng trong ảnh được cộng thêm các pixel, trong khi đó, phép ăn mòn làm các đường biên của đối tượng trong ảnh lại bị bỏ bớt đi Số lượng các pixel được cộng thêm hay bớt đi khỏi đối tượng trong ảnh phụ thuộc vào kích thước và hình dáng của cấu trúc phần tử được dùng để xử lý Sự giãn nở có xu hướng mở rộng các đường biên, vùng, trong khi sự ăn mòn có xu hướng giảm hoặc thậm chí loại bỏ các vùng nhỏ
Trang 32.2 Phương pháp biến đổi Hough (Hough Transform)
Những thuật toán dùng biến đổi Hough thường xác định một số điểm đen và dùng biến đổi Hough tác động lên các điểm đó Biến đổi Hough ánh xạ một đường thẳng trong mặt phẳng thành các cặp (r,) trong không gian Hough với r là khoảng cách từ gốc tọa độ tới đường thẳng đó và là góc nghiêng của đường thẳng đó so với trục ngang
Hình 1 Minh họa biến đổi Hough Phương trình đường thẳng được biểu diễn lại:
Từ công thức (3) ta có: r= x cos + y sin Do đó, với mỗi đường thẳng được xác định trong không gian Hough sẽ có duy nhất một cặp (r,) Như vậy với mỗi điểm bất kỳ (x0,y0) trên mặt phẳng ảnh với trục tọa độ thì các đường đi qua nó có dạng: r()=x0*cos + y0*sin
Gọi (rm, m) là cặp giá trị của đường thẳng đi qua nhiều điểm trên ảnh nhất Từ (3) ta có: cosm/sinm là hệ số góc của phương trình đường thẳng Gọi α là góc cần tính, ta có: - cosm/sinm = tg(α) -cotg(m)=tg(α) mà tg(α)=-cotg(900+ α)
Vậy góc cần tính:
Với góc α tìm được, ta sẽ xoay đối tượng về phương ngang hoặc thẳng đứng
2.3 Mạng noron
Hiện nay, phương pháp phổ biến nhất để nhận dạng ký tự là sử dụng mạng noron Trong nghiên cứu này, nhóm tác giả lựa chọn mạng noron Perceptron đa lớp
(MLP: Multi Layer Perceptron) sử dụng thuật toán lan truyền ngược (back-propagation algorithm) do việc thiết kế đơn giản cũng như giải thuật huấn luyện hội tụ nhanh
Mạng noron Perceptron đa lớp sử dụng thuật toán lan truyền ngược [1], [5], [12] gồm 3 lớp: lớp vào, lớp ẩn, lớp ra Có hai bộ trọng số tại liên kết từ lớp đầu vào đến lớp ẩn và từ lớp ẩn đến lớp đầu ra
Hình 2 Mạng Perceptron tổng quát
Trang 4Hoạt động của mạng MLP như sau: tại tầng đầu vào các nơron nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của hàm truyền); kết quả này sẽ được truyền tới các nơron thuộc tầng ẩn thứ nhất; các nơron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn thứ 2;…; quá trình tiếp tục cho đến khi các nơron thuộc tầng ra cho kết quả
Thuật toán học lan truyền ngược được áp dụng cho mạng truyền thẳng nhiều lớp trong đó các noron có thể sử dụng các hàm chuyển là các hàm liên tục có các dạng khác nhau Thuật toán sử dụng một tập các mẫu gồm các cặp đầu vào – đầu ra để luyện mạng Với mỗi cặp đầu vào – đầu ra (x(k), d(k)) thuật toán lan truyền ngược thực hiện hai giai đoạn:
+ Giai đoạn thứ nhất, mẫu đầu vào x(k) được truyền từ lớp vào tới lớp ra, kết quả đầu ra tính được là y(k)
+ Giai đoạn tiếp theo, tín hiệu lỗi được tính từ sự sai khác giữa d(k) và y(k) sẽ được lan truyền ngược lại từ lớp ra đến các lớp trước để điều chỉnh các trọng số của mạng
Quá trình dừng khi sai số nhỏ hơn hoặc bằng sai số tối đa cho phép
3 Bài toán nhận dạng biển số xe
Bài toán nhận dạng biển số xe được mô hình theo sơ đồ sau:
Hình 3 Sơ đồ giải quyết bài toán
Bài toán nhận dạng biển số xe được chia thành ba bước chính: Định vị biển số
xe, tách ký tự và nhận dạng ký tự Ở bước định vị biển số xe, nhóm tác giả sử dụng phương pháp hình thái học để tìm chính xác vùng chứa biển số, biến đổi Hough để xoay biển số trong trường hợp bị nghiêng Ở bước thứ 2, phương pháp hình thái học được sử dụng để tách ký tự Ở bước nhận dạng ký tự, mạng noron đã được huấn luyện
sẽ được sử dụng để nhận dạng các ký tự được tách ra ở bước 2
3.1 Định vị biển số xe
Ảnh đầu vào có thể bị nhiễu (bụi bẩn), độ tương phản thấp (thiếu ánh sáng, ánh sáng đèn của xe sau) nên bước đầu tiên cần khử nhiễu bằng bộc lọc trung vị và tăng độ tương phản bằng cân bằng lược đồ xám
Theo phương pháp hình thái học, biển số xe đa số là nến trắng chữ đen nên ảnh sau khi nhị phân hóa sẽ có nhiều vùng màu trắng, bằng thực nghiệm, những ảnh có kích thước nhỏ hơn 30 x 40 không đủ để nhận ra có biển số xe Nhóm đề tài chọn ra vùng màu trắng có diện tích [1200, 610000]
Tiền xử lý ảnh vào Định vị biển số xe
Cắt biển số xe, tách
ký tự Nhận dạng ký tự
Trang 5Theo [16], biển số xe máy là hình chữ nhật có kích thước không đổi: Chiều ngang 19 cm, chiều cao 14 cm Nên điều kiện theo tỷ lệ chiều cao và chiều ngang
[0.68, 0.91] (0.91 là trường hợp biển số xe nghiêng không quá 200)
Đôi khi biển số xe chụp được thường bị nghiêng, nhóm tác giả sử dụng thêm biến đổi Hough để tìm góc nghiên của ảnh (theo công thức (4)), sau đó thực hiện xoay ảnh về phương thẳng đứng (hình 4)
Hình 4 Ảnh biển số trước và sau khi xoay
3.2 Tách ký tự
Kết quả của bài toán thứ nhất là ảnh màu RGB có chứa biển số xe Để nhận dạng ký tự trong biển số xe, nhóm nghiên cứu tiến hành phân đoạn ký tự trong biển số
- cắt ký tự trong biển số xe
Để thực hiện việc tách ký tự, ảnh màu RGB được chuyển sang ảnh nhị phân, được chuẩn hóa về kích thước 50x150, chuyển ảnh âm bản sau đó tiến hành tách ký tự Kết quả của quá trình này là một ma trận chứa các ảnh nhị phân của ký tự Ảnh nhị phân thu được chính là dữ liệu vào của quá trình tách ký tự Ảnh nhị phân được chia thành từng hàng và lần lượt đưa từng hàng vào chương trình
Định dạng biển số xe máy ở Việt Nam gồm 8 hoặc 9 ký tự [16] Trong đó 2 ký đầu (chữ số) là mã tỉnh, hai ký tự sau là mã vùng (2 chữ cái hoặc 1 chữ cái và 1 chữ số), 4 hoặc 5 ký tự sau là số thứ tự của xe Tách ký tự chính là việc tách ra được 8 hoặc
9 vùng chứa các ký tự Mỗi ký tự trên biển số sẽ là một đối tượng có đặc điểm về kích thước, tỷ lệ giữa hai chiều thay đổi tương đối ít vì ảnh biển số sau khi được tách đều đưa về cùng kích thước Từ đó ta tách từng ký tự theo các bước:
- Đưa ảnh về cùng kích thước 160 x 210, sau đó xóa biên ảnh
- Nhị phân ảnh theo ngưỡng sử dụng thuật toán Otsu [13] để xác định ngưỡng
- Lọc nhiễu cho ảnh theo phương pháp lọc trung vị [9]
- Tách các vùng thỏa mãn điều kiện:
8 pixel ≤Chiều ngang ≤ 45 pixel
45 pixel ≤Chiều cao ≤ 85 pixel
3.3 Nhận dạng ký tự
Nhóm tác giả sử dụng mạng noron Perceptron đa lớp với thuật toán lan truyền ngược gồm 3 lớp: lớp vào, lớp ẩn, lớp ra để nhận dạng ký tự Mỗi mạng huấn luyện nhận dạng 1 ký tự, ta có tổng cộng 36 ký tự, nên cần huấn luyện nhận dạng 36 ký tự:
Từ 0 9, A Z
Mỗi mạng của 36 mạng được huấn luyện theo các thông số:
- Lớp đầu vào: 48 giá trị, lớp các noron ẩn: 24 noron, lớp các noron đầu ra: 1 noron
- Hệ số học: = 0.001, hằng số quán tính (bước đà): =0.7
- Số vòng huấn luyện: Từ 300 đến 1500 vòng tùy từng ký tự
- Độ chính xác huấn luyện mong muốn: 99.99%
Trang 6Tập cơ sở dữ liệu gồm 3 tập mẫu: tập huấn luyện, tập kiểm tra, tập kiểm thử lại:
- Tập huấn luyện gồm 30 mẫu cho mỗi ký tự.(A Z; 0 9)
- Tập mẫu dùng để kiểm tra gồm 5 mẫu cho mỗi ký tự
- Tập mẫu dùng thử lại gồm 5 mẫu cho mỗi ký tự
Mạng noron sau khi được huấn luyện được lưu lại và được sử dụng để nhận dạng ký tự Quá trình nhận dạng được thực hiện qua các bước:
- Duyệt qua từng ký tự của biển số
- Lấy đặc trưng của ký tự và cho chạy qua 36 mạng noron
- Tổng hợp 36 kết quả đầu ra của 36 mạng noron, ta chọn kết quả lớn nhất
- Kết quả được chọn ở mạng nào thì ký tự ở mạng đó có kết quả
4 Kết quả thực nghiệm
Nhóm tác giả thiết kế hệ thống nhận dạng biển số xe bằng Visual Studio C#
2013 kết hợp EMGU 3.0 Để hệ thống được tự động hóa hơn, nhóm tác giả sử dụng thêm thiết bị đọc ghi thẻ từ Quy trình nhận gửi xe như sau:
+ Trường hợp xe vào: Xe được chụp lại biển số, hệ thống tự động nhận dạng, đưa ra biển số xe Cùng thời gian đó, chủ xe tự quét thẻ để lấy thông tin Thông tin về biển số xe, thời gian vào, mã thẻ được lưu vào cơ sở dữ liệu
+Trường hợp xe ra: Xe được chụp lại biển số, hệ thống tự động nhận dạng và đưa ra biển số xe, chủ xe tự quét thẻ Hệ thống tiến hành so khớp, nếu thông tin giống nhau, hệ thống thông báo đúng và lưu vào cơ sở dữ liệu Ngược lại, sẽ cảnh báo để nhân viên kiểm tra
Nghiên cứu sử dụng 900 ảnh huấn luyện, 350 ảnh kiểm thử cho nhận dạng ký
tự 1120 ảnh huấn luyện, 450 ảnh kiểm thử cho nhận dạng biển số xe Các ảnh biển số
xe máy được chụp bằng máy ảnh, điện thoại và lấy từ internet với độ phân giải 640x480 Các ảnh được chụp với điều kiện chiếu sáng khác nhau (sáng, tối), góc nghiêng khác nhau
Kết quả thực nghiệm như sau:
- Trường hợp biển số xe với góc chụp và hướng chụp khác nhau: Chụp thẳng các
ký tự rõ nét nên kết quả nhận dạng chính xác 100% Góc chụp chéo, góc nghiêng lớn hơn 200 không nhận dạng được
- Trường hợp khoảng cách chụp khác nhau: Ảnh thu được thường có kích thước khác nhau, nhóm tác giả điều chỉnh về 640x 480 rồi mới nhận dạng nên không
bị ảnh hưởng bởi khoảng cách Tuy nhiên, nếu biển số xe trong ảnh có kích thước nhỏ hơn 30x 40 thì không nhận ra được
- Trường hợp điều kiện ánh sáng khác nhau: Điều kiện thời tiết tốt, kết quả nhận dạng chính xác Điều kiện thời tiết trời tối, mưa, ảnh biển số bị mờ và có độ tương phản thấp, ảnh biển số xe có nhiễu đốm do nước mưa sau khi sử dụng phương pháp nhị phân hóa và khử nhiễu thu được ảnh biển số xe chất lượng tốt, cho kết quả chính xác 98.6%
Bảng 1 Kết quả hệ thống nhận dạng biển số xe
Thuật toán Tỷ lệ đúng (%) Tỷ lệ sai (%)
Trang 75 Kết luận và hướng phát triển
Kết quả thực nghiệm cho thấy khi áp dụng mạng noron Perceptron đa lớp sử dụng thuật toán lan truyền ngược và phương pháp hình thái học, biến đổi Hough cho
độ chính xác đạt 95.6% Độ chính xác này có thể được áp dụng vào thực tế: xây dựng bãi gửi xe tự độ cho trường Đại học Sao Đỏ với vị trí đặt camera cố định, điều kiện ánh sáng tốt
Để nâng cao độ chính xác của hệ thống, trong thời gian tới, chúng tôi sẽ nghiên cứu thêm các phương pháp trích biển số xe khác nhằm tăng độ chính xác hơn và áp dụng trường hợp biển số xe bị nghiêng nhiều
6 Tài liệu tham khảo
[1] Trương Quốc Bảo, Võ Văn Phúc, Giải thuật mới cho bài toán định vị và nhận
dạng biển số xe ô tô, Tạp chí Khoa học Trường Đại học Cần Thơ, Phần A: Khoa
học Tự nhiên, Công nghệ và Môi trường: 27 (2013): 44-55
[2] Amin Sarafraz, Detects lines in a binary image using common computer vision
operation known as the Hough Transform, University of Tehran, Iran, 2004
[3] Aggarwal, N; Karl, W.C; Line detection in images through regularized hough
transform, IEEE Transactions on Image Processing, Volume 15, Issue 3,pp, 582 –
591, 2006
[4] M Ahmed and R Ward, Rotation Invariant Rule – Based Thinging Algorithm for
Character Recognition, IEEE Trans Pattern Analysis and Machine Interlligence,
vol 24, No 12, December 2002
[5] Christos Stergiou and Dimitrios Siganos Neural Networks
http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html
[6] Haris Al-Qodri Maarif, and Sar Sardy, 2006 Plate Number Recognition by Using
Artificial Neural Network, J Electronc and Electrical (Network), Vol 3, No 1, pp
176-182
[7] Humayun Karim Sulehria, Ye Zhang, Extraction of Vehicle Number Plates Using
Mathematical Morphological Techniques, Proceedings of the 8th WSEAS International Conference on Automation and Information, Vancouver, Canada, June 19-21, 2007 pp.258-261
[8] Lensky, A.A.; Kang-Hyun Jo ; Gubarev, V.V.; Vehicle License Plate Detection
using Local Fractal Dimension and Morphological Analysis; The 1st International
Forum on Strategic Technology, pp,47 – 50, 2006
[9] [9]Linda Shapiro and George Stockman, Computer Vision E-book,
pp.97-99: Histogram, pp.101-105: Binary Threshoding, pp.150-153: Noise & Smoothing, pp.156-160: Edge detection.Ballard Brown, “Computer Vision”, pp.123-129: Line Detection with The Hough Algorithm., 2000 Http://www.dai.ed.ac.uk/homes/rbf/BANDB/LIB/bandb4_3.pdf
[10] VinhDu Mai , Duoqian Miao, Ruizhi Wang, Hongyun Zhang, An improved method
for Vietnam License Plate location, International Conference on Multimedia
Technology (ICMT), pp, 2942 - 2946 , 2011
[11] Megalingam; Rajesh Kannan; Krishna, P.; Somarajan, P.; Pillai, V.A.; Hakkim,
R.U., Extraction of license plate region in Automatic License Plate Recognition,
The 2nd International Conference on Mechanical and Electrical Technology (ICMET), pp, 496 – 501, 2010,
Trang 8[12] Nikola K Kasabov, Foundations of Neural Networks, Fuzzy Systems, and
Knowledge Engineering Massachusetts Institute of Technology
[13] Otsu, N., A Threshold Selection Method from Gray-Level Histograms, IEEE
Transactions on Systems, Man, and Cybernetics, Vol 9, No 1, pp 62-66, 1979
[14] Renuka Devi, D.; Kanagapushpavalli, D., Automatic license plate recognition, The
3th International Conference on Trendz in Information Sciences and Computing (TISC), pp, 75 – 78, 2011
[15] Srihari S.N and Fovindraju V., Analysis of textual image using Hough Transform,
Machine vision Applications 2, pp 141- 153, 1989
[16] https://vi.wikipedia.org/wiki/Bi%E1%BB%83n_xe_c%C6%A1_gi%E1%BB%9Bi _Vi%E1%BB%87t_Nam (cập nhật ngày 12/11/2015)
[17] https://en.wikipedia.org/wiki/Sobel_operator