NHẬN DẠNG BIỂN số XE từ dữ LIỆU HÌNH ẢNH

Không gian bi ểu diễn đối tượng, không gian diễn dịch .... Mô hình và b ản chất của quá trình nhận dạng .... Nh ững quy định về màu sắc và chữ số đặc biệt .... Hướng tiếp cận phát triển

TR NG Đ I H C K THU T - H U C N CAND

KHOA CÔNG NGH THÔNG TIN

H c ph n: Nh ng v n đ m i trong công ngh thông tin

và truy n thông

NH N D NG BI N S XE T D LI U HÌNH NH

Nhóm h c viên: Tr nh Xuân Ti n

Lê Th Nguy t Nguy n Th Huy n Trang

B ắc Ninh, tháng 9 năm 2017

TR NG Đ I H C K THU T - H U C N CAND

KHOA CÔNG NGH THÔNG TIN

BÁO CÁO CHUYểN Đ

H c ph n: Nh ng v n đ m i trong công ngh thông tin

B ắc Ninh, tháng 9 năm 2017

L I C M N

Tr c h t, nhóm chúng em xin đ ợc g i l i c m n chơn thƠnh, sơu sắc

đ n th y giáo TS L ng Khắc Đ nh - giáo viên gi ng d y Trong th i gian qua giám

giá v ki n th c trong chuyên đ S gợi ý v Ủ t ng, cung c p tài li u, s li u, h ng

d n c a giám sát là một trong nh ng nhân t chính giúp chúng em hoàn thành t t chuyên đ c a mình

Chúng em xin chân thành c m n các th y, cô giáo khoa Công ngh thông tin ậ

Tr ng Đ i h c K thu t ậ H u c n CAND đư truy n đ t nh ng ki n th c c n thi t, đồng th i t o đi u ki n thu n lợi cho chúng em h c t p và nghiên c u Đi u đó có Ủ nghĩa h t s c to l n đ i v i h c viên chuyên ngành Công ngh thông tin

Trong quá trình lƠm chuyên đ , do còn ít kinh nghi m và ki n th c còn ch a sâu sắc nên chuyên đ c a chúng em không tránh kh i nh ng sai sót Mong quý giám sát cô thông c m và góp ý cho chúng em đ chuyên đ đ ợc hoàn chỉnh h n

Em xin chân thành c m n!

B ắc Ninh, tháng 9 năm 2017

H C VIÊN

i

M C L C DANH M C HÌNH NH III

M Đ U 1

CH NG 1 C S LÝ THUY T Vể̀ NH N D NG T D LI U HÌNH NH 3

1.1 T ổng quan v nh n d ng 3

1.1.1 Khái ni ệm nhận dạng 3

1.1.2 Không gian bi ểu diễn đối tượng, không gian diễn dịch 3

1.1.3 Mô hình và b ản chất của quá trình nhận dạng 4

1.2 X lý nh 6

1.2.1 Quá trình x ử lý ảnh 6

1.2.2 Các v ấn đề cơ bản trong xử lý ảnh 8

1.3 Công ngh Tesseract OCR 9

1.3.1 L ịch sử 9

1.3.2 Ki ến trúc hoạt động 10

CH NG 2 BÀI TOÁN NH N D NG BI N S XE 11

2.1 Nh n d ng bi n s xe 11

2.1.1 Khái ni ệm 11

2.1.2 Phân lo ại biển số xe 12

2.1.3 Nh ững quy định về màu sắc và chữ số đặc biệt 13

2.2 H ng gi i quy t 15

2.2.1 Hướng tiếp cận phát triển vùng 15

2.2.2 Hướng tiếp cận dò biên và biến đổi Hough 15

2 2.3 Hướng giải quyết 16

2.3 Phát hi n vùng ch a bi n s xe 17

2.4 Xác đ nh chính xác vùng ch a bi n s xe 19

2.5 Nh n d ng ký t 20

2.5.1 Mô hình m ạng notron nhân tạo 20

2.5.2 Phương pháp và thuật toán nhận dạng kí tự 24

CH NG 3 XỂY D NG CH NG TRÌNH NH N D NG BI N S XE 28

3.1 Công c xây d ng 28

3.1.1 Microsoft Visual Studio 2013 28

3.1.2 Microsoft Net framework 28

3.2 Ch ng trình nh n d ng bi n s xe 29

3.2.1 Giao di ện chính của phần mềm 29

3.2.2 Các bước nhận diện biển số xe 29

3.3 Đánh giá s n ph m demo 32

ii

3.3.1 Giao di ện 32

3.3.2 Tính năng, hiệu suất 32

3.3.3 Độ ổn định 32

K T LU N VÀ H NG PHÁT TRI N 33

TÀI LI U THAM KH O 34

iii

DANH M C HÌNH NH

Hình 1.1 S đồ quá trình nh n d ng 6

Hình 1.2 S đồ các b c c b n x lý nh 6

Hình 1.3 Ki n trúc tesseract 10

Hình 2.1 M u bi n s xe 15

Hình 2.2 Các b c phát hi n vùng ch a bi n s xe 17

Hình 2.3 Các b c xác đ nh chính xác vùng ch a bi n s xe 19

Hình 3.1 Giao di n chính c a ph n m m 29

Hình 3.2 Button ch n hình 29

Hình 3.3 B c l a ch n hình nh có sẵn 30

Hình 3.4 Button ch p hình 30

Hình 3.5 Phát hi n vùng ch a bi n s xe 30

Hình 3.6 Nh n d ng các ký t 31

Hình 3.7 X lý hình nh 31

Hình 3.8 Nh n di n ký t 31

Hình 3.9 K t qu nh n di n 32

Cùng v i s phát tri n c a khoa h c k thu t và nhu c u đi l i ngƠy cƠng tăng,

ph ng ti n giao thông l n, và còn không ng ng tăng lên nh v y đư lƠm n y sinh nhi u v n đ trong vi c ki m soát các ph ng ti n cũng nh công tác qu n lý, x lý vi

ph m giao thông mà nguồn nhân l c con ng i khó có th th c hi n đ ợc Đ gi i quy t v n đ này nhu c u đặt ra là ph i áp d ng các26 h th ng qu n lý, x lý vi ph m giao thông t động

Đ xây d ng h th ng qu n lý giao thông t động thì “BƠi toán nh n d ng bi n

h th ng qu n lỦ đó còn ch a nhi u vƠ lĩnh v c nh n d ng đang còn trong quá trình phát tri n

T nh ng th c t đó, trong th i gian h c môn nh ng v n đ m i trong công ngh thông tin, em đư quy t đ nh l a ch n tìm hi u v đ tƠi: “Nghiên c u nh n d ng

bi n s xe t d li u hình nh”

3 M c tiêu nghiên c u

Chúng em th c hi n đ tƠi: “Nh n d ng bi n s xe t d li u hình nh” v i m c tiêu c th nh sau:

- Tố̀m hiểu về quá trình x lý và nh n d ng nh

- Tìm hi u công ngh Tesseract OCR

- Xây d ng ph n m m nh n d ng bi n s xe t d li u hình nh

4 Ph ng pháp nghiên c u

nhằm thu th p h th ng các c s lí lu n c a đ tài và nghiên c u ng d ng các

ph ng pháp nghiên c u khoa h c ph c v cho đ tài

Khoa Công ngh thông tin, giáo viên h ng d n đ tài nhằm đ nh h ng quá trình nghiên c u vƠ đ m b o k t qu nghiên c u chính xác h n

có liên quan đ ph c v vi c xây d ng m i ph n m m nh n d ng c a nhóm

5 Ph m vi nghiên c u

Trong khuôn khổ bài báo cáo k t thúc h c ph n môn Nh ng v n đ m i trong công ngh thông tin, nhóm chúng em đ nh h ng đ tài nghiên c u v Công ngh

2

Tesseract OCR và nh ng ph n m m có liên quan đ n nh n d ng bi n s xe t d li u hình nh

6 B c c bài báo cáo

Trong báo cáo này, ngoài ph n m đ u và ph n k t lu n, nội dung báo cáo đ ợc chia lƠm 3 ch ng:

Ch ng 1: C S LÝ THUY T Vể̀ NH N D NG T D LI U HÌNH NH 1.1 Tổng quan v nh n d ng

1.2 X lý nh

1.3 Công ngh Tesseract OCR

Ch ng 2: BÀI TOÁN NH N D NG BI N S XE 2.1 Nh n d ng bi n s xe

3

CH NG 1 C S LÝ THUY T Vể̀ NH N D NG T D LI U HÌNH NH 1.1 T ổng quan v nh n d ng

1.1.1 Khái ni ệm nhận dạng

Nh n d ng là quá trình phân lo i các đ i t ợng đ ợc bi u di n theo một mô hình nƠo đó vƠ gán cho chúng vào một l p (gán cho đ i t ợng một tên g i) d a theo

nh ng quy lu t và m u chuẩn Quá trình nh n d ng d a vào nh ng m u h c bi t tr c

g i là nh n d ng có giám sát (supervised learning), trong tr ng hợp ng ợc l i g i là

h c không có giám sát (non supervised learning)

1.1.2 Không gian bi ểu diễn đối tượng, không gian diễn dịch

Ví d : gi s đ i t ợng X ( nh, ch vi t, d u vơn tay,ầ) đ ợc bi u di n b i n thành ph n đặc tr ng: = { , , … , }; mỗi bi u di n một đặc tính Không gian

bi u di n đ i t ợng th ng g i tắt lƠ không gian đ i t ợng A đ ợc đ nh nghĩa:

� = { , , … , } Trong đó mỗi bi u di n một đ i t ợng Không gian này có th là vô h n,

nh ng đ ti n xem xét thì ta chỉ xét t p h u h n

Không gian di n d ch

Không gian di n d ch là t p các tên g i c a đ i t ợng K t thúc quá trình nh n

nói lƠ đư nh n d ng đ ợc đ i t ợng

Một hình th c g i lƠ Ω lƠ t p tên đ i t ợng:

4

1.1.3 Mô hình và b ản chất của quá trình nhận dạng

Mô hình quá trình nh n d ng

Vi c ch n l a một quá trình nh n d ng có liên quan m t thi t đ n ki u mô t

mƠ ng i ta s d ng đ đặc t đ i t ợng Trong nh n d ng, ng i ta phân chia theo hai

vi c l a ch n đặc tr ng nƠo lƠ hoƠn toƠn ph thuộc vào ng d ng Trong nh n d ng

ch , các tham s là các d u hi u: s đi m ch c ba, ch c t , s đi m chu trình, s đi m ngoặt, s đi m k t thúc

- Mô hình c u trúc

Cách ti p c n c a mô hình này d a vào vi c mô t đ i t ợng nh một s khái

ni m bi u th các đ i t ợng c s trong ngôn ng t nhiên Đ mô t đ i t ợng, ng i ta dùng một s d ng nguyên th y nh đo n thẳng, cung Chẳng h n một hình ch nh t

đ ợc đ nh nghĩa gồm 4 đo n thẳng vuông góc v i nhau t ng đôi một Trong mô hình

Vi c nh n d ng chính là tìm ra quy lu t và các thu t toán đ có th gán đ i

t ợng vào một l p hay nói một cách khác gán cho đ i t ợng một tên

- H c có giám sát (supervised learning)

K thu t phân lo i nh ki n th c bi t tr c g i là h c có giám sát.[1] Đặc đi m

c b n c a k thu t nƠy lƠ ng i ta có một th vi n các m u chuẩn M u c n nh n

d ng s đ ợc đem so sánh v i m u chuẩn đ xem nó thuộc lo i nào Ví d nh trong

h th ng đ có th đ i sánh đ i t ợng trong nh v i m u chuẩn và quy t đ nh gán cho chúng vào một l p Vi c đ i sánh nh vào các th t c ra quy t đ nh d a trên một công

c g i là hàm phân l ớp hay hàm ra quyết định

- H c không có giám sát (non supervised learning)

K thu t này ph i t đ nh ra cách l p khác nhau vƠ xác đ nh các tham s đặc

tr ng cho t ng l p.[1] H c không có giám sát khó khăn h n Một mặt, do s l p không đ ợc bi t tr c, mặt khác nh ng đặc tr ng c a l p cũng không bi t tr c K thu t này nhằm ti n hành m i cách gộp nhóm có th và ch n l a cách t t nh t Bắt đ u

k t qu mong mu n K t qu đ u ra c a một quá trình x lý nh có th là một nh

“t t h n” hoặc một k t lu n

Đ u tiên, nh t nhiên t th gi i ngoƠi đ ợc thu nh n qua các thi t b thu (máy

nh, máy quay, ) Tr c đơy, nh thu đ ợc là các nh t ng t (lo i camera ng ki u CCIR) G n đơy, v i s phát tri n cua công ngh , nh màu hoặc đen trắng đ ợc l y ra

t máy nh vƠ đ ợc truy n tr c ti p thành nh s t o thu n lợi cho x lý ti p theo Ngoài ra, nh cũng có th ti p nh n t v tinh, có th quét t nh ch p bằng máy quét

nh

S đồ tổng quát các b c c b n x lý nh:

Hình 1.2 S đồ các b c c b n x lý nh

7

- Thu nh n nh (Image Acquisition)

nh có th nh n qua camera màu hoặc đen trắng Th ng nh nh n qua camera

camera đư s hóa (lo i CCD - Change Coupled Device) là lo i photodiot t o c ng độ sáng t i mỗi đi m nh

Camera th ng dùng là lo i quét dòng, nh t o ra có 2 chi u Ch t l ợng một

nh thu nh n đ ợc ph thuộc vào thi t b thu, vào môi tr ng (ánh sáng, phong c nh)

- Ti n x lý (Image Processing)

Sau bộ thu nh n, nh có th nhi u độ t ng ph n th p nên c n đ a vƠo bộ ti n

t ng ph n đ làm nh rõ h n, nét h n

Phân vùng nh là tách một nh đ u vào thành các vùng thành ph n đ bi u di n phân tích, nh n d ng nh Đơy lƠ ph n ph c t p nh t trong x lý nh vƠ cũng d gây

công đo n này

Đ nh n d ng ch hoặc mã v ch trên phong bì th cho m c đích phơn lo i b u

hoặc v ch riêng bi t đ nh n d ng

- Bi u di n nh (Image Representation)

Đ u ra nh sau khi phơn đo n ch a các đi m nh c a vùng nh ( nh đư phơn

đo n) cộng v i mã liên k t v i các vùng lân c n Vi c bi n đổi các s li u này thành

d ng thích hợp là c n thi t cho x lý ti p theo bằng máy tính Vi c ch n các tính ch t

đ th hi n nh g i là trích ch n đặc tr ng (Feature Selection) gắn v i vi c tách các đặc tính c a nh d i d ng các thông tin đ nh l ợng hoặc lƠm c s đ phân bi t l p

đ i t ợng này v i đ i t ợng khác trong ph m vi nh n đ ợc

Trong nh n d ng kí t trên phong bì th , chúng ta miêu t các đặc tr ng c a

t ng kí t giúp phân bi t kí t này v i kí t khác

- Nh n d ng và nội suy nh (Image Recognization and Interpetation)

Nh n d ng nh lƠ quá trình xác đ nh nh th ng thu bằng cách so sánh v i m u

nh n d ng Một lo t ch s và nét g ch ngang trên phong bì th có th đ ợc nội suy thƠnh mư đi n tho i

Có nhi u cách phân lo i khác nhau v nh có th phân theo hai lo i nh n d ng

nh c b n là nh n d ng theo tham s và nh n d ng theo c u trúc Một s đ i t ợng

nh n d ng khá phổ bi n hi n nay đang đ ợc áp d ng trong khoa h c và công ngh là

nh vƠ đi m nh (pixel): nh là m ng s th c hai chi u ( , ) có kích th c

M c xám: là k t qu s mư hóa t ng ng một c ng độ sáng c a mỗi đi m

nh v i một giá tr s (k t qu c a quá trình l ợng hóa).[3] Cách mư hóa kinh đi n

th ng dùng là 16, 32, 64 Mã hóa 256 m c là phổ d ng nh t do lý do k thu t (vì

8 = nên v i 256 m c, mỗi pixel đ ợc mã hóa 8 bit)

Đ i t ng nh: Xét một nh nh phân, kí hi u E là t p các đi m vùng (đi m đen)

�̅) đ ợc g i là 4 liên thông (hoặc 8 liên thông) n u tồn t i một dưy các đi m g i là

Chu tuy n c a nh: chu tuy n c a một đ i t ợng nh , lƠ dưy các đi m c a

là 4 láng gi ng c a và ≡ Khi đó g i n lƠ độ dài hay chu vi c a chu tuy n

Ph ng pháp tách dò ng ỡng t động

Gi s có: h(g) là tổng s m c xám g

� = ∑ ℎ

≤�

Biên (đ ng bao c a nh): là t p hợp các đi m biên.[3] Một đi m nh có th

coi lƠ đi m biên n u có s thay đổi đột ngột và m c xám hay biên lƠ đi m có c p xám

có giá tr khác hẳn các đi m xung quanh

1.3 Công ngh Tesseract OCR

Nh n d ng kí t quang h c (Optical Character Recognition) là k thu t đ ợc s

Đ u vào c a quá trình này là t p tin hình nh vƠ đ u ra s là các t p tin văn b n ch a

nội dung là các ch vi t, kí hi u có trong hình nh đó.[2]

Vì Tesseract hi n nay là bộ th vi n mã nguồn m hoàn toàn mi n phí nên trên

th gi i đư có nhi u ph n m m nh n d ng kí t quang h c ra đ i d a trên bộ Tesseract

v i giao di n vƠ các tính năng d s d ng h n so v i giao di n đ n gi n c a Tesseract ban đ u nh : VietOCR cho nh n d ng ti ng vi t, Tessenet2 bộ nh n di n Tesseract trên n n Net c a Microsoft, giao di n Java (Java GUI frontend) cho Tesseract

Đ i v i các ngôn ng khác nhau, độ chính xác c a Tesseract có s khác bi t,

t HP nên Tesseract nh n đ u vào là một nh nh phân v i các vùng đa giác tùy ch n

đ u s đ ợc nh n d ng l i l n n a Cu i cùng bộ nh n di n s tổng hợp l i các thông tin trên và cho ra k t qu nh n di n hoàn chỉnh

11

CH NG 2 BÀI TOÁN NH N D NG BI N S XE 2.1 Nh n d ng bi n s xe

2.1.1 Khái ni ệm

H th ng nh n d ng bi n s xe là h th ng có kh năng phơn tích hình nh và xác đ nh bi n s xe, thông qua video, thi t b ghi hình và hình nh Sau cùng là xác

đ nh các thông tin nh ch s h u xe, theo dõi xe v i t c độ ch m

ng d ng nh n d ng bi n s xe là ng d ng có kh năng phơn tích hình nh và xác đ nh bi n s xe t các hình nh ch p đ ợc t các thi t b thu hình Nguồn hình nh cho ng d ng có r t nhi u và phát tri n h n lƠ tr c ti p thu t camera

Có nhi u cách th c khác nhau đ phân lo i các ng d ng nh n d ng bi n s xe

Lo i 1: Gi i h n vùng nhìn

Đ u vào: nh thu tr c ti p t các thi t b , ghi nh n nh k thu t s nh đ ợc ghi nh n th ng chi gi i h n trong vùng có bi n s xe

Nguyên lý ho t động: Các ph ng ti n giao thông ph i ch y v i một t c độ đ

Nguyên lý ho t động: do đặc tính không gi i h n vùng nhìn mà nh đ u vào có

là dò tìm trong nh, đ xác đ nh đúng vùng nƠo lƠ bi n s xe Sau đó, th c hi n tách vùng và nh n d ng Cu i cùng tùy thuộc vào m c đích s d ng ma k t qu nh n d ng

đ ợc truy n đi hay l u tr đ ph c v nhu c u c a ng i dùng cu i

ng d ng: vì không ph thuộc vào ph m hình nh thu đ ợc nên có dùng ng

d ng t i nhi u n i nh t i nh ng đi m đi u ti t giao thông, t i các v trí nh y c m c a giao thông nh ngư ba, ngư t đ ng giao nhau Ki m soát, phát hi n nh ng hành vi vi

ph m an toàn giao thông

Yêu c u thi t b :

+ Máy quét

h th ng nh n d ng bi n s xe:

Thu phí giao thông: Lắp đặt h th ng Nh n d ng bi n s xe t i các tr m thu phí

Ki m soát xe t i các đ ng biên gi i: Mỗi qu c gia đ có nh ng quy đ nh riêng

v bi n s xe, đ ph c v cho công tác qu n lý và phát hi n nh ng ph ng ti n giao thông v ợt biên b t hợp phá Vi c lắp đặt h th ng nh n d ng bi n s xe t i các tr m

ki m soát s góp ph n hỗ trợ công tác ki m tra và an ninh qu c gia

Các tr m gác cổng: Vi c lắp đặt h th ng s hỗ trợ hoặc t động hóa công tác

X lý vi ph m giao thông: Khi lắp đặt h th ng s hỗ trợ vi c x lý vi ph m giao thông đ ng bộ và có th t động báo lỗi vi ph m Hi n đang đ ợc thí đi m trên

Ngoài ra, h th ng còn đ ợc ng d ng vào công tác ch ng trộm xe, các bãi gi

xe t động, đi u ti t giao thông,ầ

2.1.2 Phân lo ại biển số xe

Quy đ nh bi n s c a 63 tỉnh thành (Bi n đen ch trắng)

2.1.3 Nh ững quy định về màu sắc và chữ số đặc biệt

+ Tr c thuộc chính ph là bi n xanh 80

+ Tr c thuộc tỉnh thành thì theo s t ng ng

+ AD: Quơn ĐoƠn 4, Binh đoƠn c u long

+ Vi n ki m soát nhân dân t i cao

+ Tòa án nhân dân t i cao

+ ĐƠi truy n hình Vi t Nam

+ ĐƠi ti ng nói Vi t Nam

+ Thông t n xã Vi t Nam

+ Báo nhân dân

+ H c vi n Chính tr qu c gia

+ Ban qu n lỦ Lăng, B o tàng, khu di tích l ch s Hồ Chí Minh

+ Trung tơm l u tr qu c gia

+ y ban Dân s k ho ch hóa gia đình

+ y ban Ch ng khoán nhƠ n c

+ C c hàng không dân d ng Vi t Nam