Nghiên cứu đặc trưng haar và mạng neuron trong nhận dạng biển báo giáo thông đường bộ

“Nghiên cứu đặc trưng Haar và mạng Neuron trong nhận dạng biển báo giao thông đường bộ” nhằm hỗ trợ cho người điều khiển phương tiện giao thông đi theo đúng các thông báo, hiệu lệnh trên

TRƯỜNG ĐẠI HỌC VINH CAO HÙNG TOÀN

NGHIÊN CỨU ĐẶC TRƯNG HAAR VÀ MẠNG NEURON TRONG NHẬN DẠNG BIỂN

BÁO GIAO THÔNG ĐƯỜNG BỘ

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

Vĩnh Long, tháng 7/2018

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH CAO HÙNG TOÀN

NGHIÊN CỨU ĐẶC TRƯNG HAAR VÀ MẠNG NEURON TRONG NHẬN DẠNG BIỂN

BÁO GIAO THÔNG ĐƯỜNG BỘ

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

Người hướng dẫn Khoa học: TS Phan Lê Na

Vĩnh Long, tháng 7/2018

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn này được hoàn thành trên các kết quả nghiên cứu của tôi dưới sự hướng dẫn tận tình của TS Phan Lê Na Các kết quả của nghiên cứu này chưa được dùng cho bất cứ luận văn cùng cấp nào khác Ngoại trừ phần lý thuyết và các kết quả của các công trình nghiên cứu khác được ghi rõ trong luận văn

Vĩnh Long, ngày 21 tháng 7 Năm 2018

Người cam đoan

Cao Hùng Toàn

LỜI CẢM ƠN

Để có thể hoàn thành đề tài luận văn thạc sĩ một các hoàn chỉnh, bên cạnh sự

nỗ lực cố gắng của bản thân còn có sự hướng dẫn nhiệt tình của quý Thầy Cô, cũng như sự động viên ủng hộ của gia đình và bạn bè trong suốt thời gian học tập nghiên cứu và thực hiện luận văn thạc sĩ

Để hoàn thành quá trình nghiên cứu và hoàn thiện luận văn này, lời đầu tiên

em xin chân thành bày tỏ lòng biết ơn đến cô TS Phan Lê Na người đã hết lòng giúp đỡ và tạo mọi điều kiện tốt nhất cho em để hoàn thành luận văn này Ngoài ra

em xin cảm ơn quý Thầy Cô khoa Công nghệ Thông tin đã giúp đỡ, hướng dẫn, truyền đạt những kiến thức quan trọng, quý báu trong suốt quá trình học tập Chính nhờ những kiến thức được học từ quý Thầy Cô mà em có thể thực hiện luận văn này

Tôi cũng xin cảm ơn các anh chị và bạn bè trong lớp Công nghệ thông tin K24

đã giúp đỡ, cổ vũ, động viên tôi trong quá trình học tập

Mặc dù đã cố gắng rất nhiều để thực hiện luận văn trong phạm vi và khả năng nhưng chắc chắn sẽ không tránh khỏi những thiếu sót Kính mong nhận được sự

góp ý, chỉ dẫn tận tình của quý Thầy Cô và bạn bè

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 2

DANH MỤC BẢNG 7

DANH MỤC HÌNH ẢNH, ĐỒ THỊ 8

MỞ ĐẦU 10

1 Lý do chọn đề tài 10

2 Mục tiêu nghiên cứu đề tài 10

3 Đối tượng và phạm vi nghiên cứu 10

3.1 Đối tượng nghiên cứu 10

3.2 Phạm vi nghiên cứu 10

4 Nội dung nghiên cứu 11

4.1 Nghiên cứu lý thuyết 11

4.2 Thực nghiệm 11

5 Bố cục luận văn 11

CHƯƠNG 1: TỔNG QUAN BÀI TOÁN NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ 12

1.1 Biển báo giao thông đường bộ trên thế giới và Việt Nam 12

1.1.1 Biển báo giao thông đường bộ trên thế giới 12

1.1.2 Biển báo giao thông đường bộ ở Việt Nam 13

1.2 Một số nghiên cứu nước ngoài 15

1.3 Một số nghiên cứu trong nước 15

1.4 Bài toán nhận dạng biển báo giao thông đường bộ 16

1.5 Mô hình màu RGB và YUV (YCbCr) 16

1.5.1 Giới thiệu mô hình màu 16

1.5.2 Không gian màu RGB 16

1.5.3 Không gian màu YUV (YCbCr) 18

1.6 Một số phương pháp lọc ảnh trong miền không gian 19

1.6.1 Lọc trung vị 19

1.6.2 Lọc Gaussian Blur 19

1.7 Phương pháp phát hiện biên ảnh 20

1.7.1 Phương pháp Canny 20

1.7.2 Phương pháp Wavelet (xem 56 - 61, [7]) 22

1.8 Phương pháp trích chọn đặc trưng 27

1.8.1 Trích chọn đặc trưng Haar – like 27

1.8.2 Biến đổi Hough (HT- Hough Transform) 29

1.9 Thuật toán Adaboost 30

1.10 Viola – Jones Classifier 31

1.11 Mô hình Cascade 32

1.12 Phương pháp phân tích thành phần chính (Primciple Component Analysis_PCA) 33

1.12.1 Giới thiệu 33

1.12.2 Thuật toán PCA 33

1.13 Mạng Neuron 36

1.13.1 Giới thiệu 36

1.13.2 Mạng Neuron lan truyền thẳng MLP 38

1.13.2.1 Giới thiệu 38

1.13.2.2 Huấn luyện mạng Neuron MLP 39

1.14 Tiểu kết luận 40

CHƯƠNG 2: ĐẶC TRƯNG HAAR VÀ MẠNG NEURON TRONG NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ 41

2.1 Sơ đồ tổng quát giải quyết bài toán 41

2.2 Thu thập dữ liệu 41

2.3 Chuyển đổi không gian màu 44

2.4 Phát hiện vùng ứng viên 44

2.4.1 Phát hiện và cắt vùng ứng viên với biến đổi Hough dựa trên đặc trưng Haar 44

2.4.2 Phát hiện vùng ứng viên với Adaboost 46

2.5 Phân tích thành phần chính biển báo giao thông với PCA 47

2.6 Huấn luyện mô hình phân lớp ứng viên và nhận dạng biển báo giao 49

2.6.1 Mô hình phân lớp 49

2.6.2 Huấn luyện mạng Neuron MLP với đặc trưng Haar 50

2.6.3 Phân lớp nhận dạng 50

2.7 Tiểu kết luận 50

CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM ĐẶC TRƯNG HAAR - LIKE VÀ MẠNG NEURON TRONG NHẬN DẠNG BIỂN BÁO GIAO THÔNG ĐƯỜNG BỘ 51

3.1 Môi trường thực nghiệm 51

3.2 Kết quả thực nghiệm mạng Neuron MLP với đặc trưng Haar – like 51

3.3 Chương trình nhận dạng biển báo giao thông đường bộ 52

3.4 Kết quả kiểm thử 53

3.5 Đánh giá kết quả 57

3.6 Tiểu kết luận 57

KẾT LUẬN 58

PHỤ LỤC 59

TÀI LIỆU THAM KHẢO 61

DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT

Thuật ngữ và từ

viết tắt Diễn giải

Adaboost Adaptive Boosting

ANNs Artificial Neural Networks (mạng Nơ ron nhân tạo)

Histogram Tổ chức đồ của ảnh

Classifiers Bộ phân loại

Weak classifiers Bộ phân loại yếu

Classifiers ttrong Bộ phân loại mạnh

Integral Image Tích phân ảnh

PCA Principal Component Analysis (phân tích thành phần chính)

DANH MỤC BẢNG

Bảng 2 1: Trình bày tập huấn luyện 1 và tập kiểm tra 2 44

Bảng 3 1: Trình bày kết quả huấn luyện mạng MLP 522

Bảng 3 2: Trình bày kết quả kiểm thử các tập ảnh có biển báo 544

Bảng 3 3: Trình bày kết quả kiểm thử các tập ảnh có biển báo 564

DANH MỤC HÌNH ẢNH, ĐỒ THỊ

Hình 1 1: Biển báo giao thông cổ điển 122

Hình 1 2: Một số biển báo cấm 133

Hình 1 3: Một số biển báo nguy hiểm 144

Hình 1 4: Một số biển báo hiệu lệnh 144

Hình 1 5: Một số biển báo chỉ dẫn 144

Hình 1 6: Không gian màu RGB 177

Hình 1 7: Hình biển báo giao thông sau khi tách ngưỡng 177

Hình 1 8: Minh họa lọc trung bình 199

Hình 1 9: Minh họa lọc Gauss 200

Hình 1 10: Dùng DWT cho biến đổi Neurite 222

Hình 1 11: Biên ảnh của một hộp đơn 244

Hình 1 12: Biên ảnh con chó nằm ở bậc thang 244

Hình 1 13: Sử dụng 3 tiêu chuẩn cho ảnh con chó nằm bậc thang 255

Hình 1 14: Sử dụng ba tiêu chuẩn cho ảnh Filopodia 255

Hình 1 15: Sử dụng liên kết tự dộng trong ảnh hộp đơn 255

Hình 1 16: Sử dụng liên kết tự động trong ảnh con chó nằm bậc thang 266

Hình 1 17: Sử dụng liên kết tự động trong của Filopodia 266

Hình 1 18: Bốn đặc trưng cơ bản của Haar - like 277

Hình 1 19: Cách tính Integral Image của ảnh 288

Hình 1 20: Cách tính tổng các giá trị pixel vùng cần tính 288

Hình 1 21: Mô hình Cascade 333

Hình 1 22: Cấu trúc tổng quát của 1 mạng Neuron 366

Hình 1 23: Mạng Neuron MLP ba tầng 388

Hình 2 1: Mô hình nhận dạng báo hiệu giao thông 411

Hình 2 2: Hình sau khi chuyển đổi không gian màu 444

Hình 2 3: Lấy biên và lấp đầy điểm ảnh 455

Hình 2 4: Cắt vùng ứng viên trên ảnh gốc 466

Hình 2 5: Cắt vùng ứng viên trên ảnh gốc 477

Hình 3 1: Giao diên của chương trình nhận dạng biển báo giao thông 523 Hình 3 2: Kết quả nhận dạng với biến đổi Hough 556 Hình 3 3: Kết quả nhận dạng với Adaboost 556

“Nghiên cứu đặc trưng Haar và mạng Neuron trong nhận dạng biển báo giao thông đường bộ” nhằm hỗ trợ cho người điều khiển phương tiện giao thông đi theo đúng các thông báo, hiệu lệnh trên các biển báo nhằm đảm bảo an toàn giao thông

Trong đề tài này, chúng tôi sử dụng phương pháp phân đoạn màu, dò biên tổng quát và phân tích rút trích đặc trưng Haar – like của biển báo đề tìm ra các đặc trưng của ứng viên, đồng thời sử dụng máy học Neuron để xây dựng mô hình phân lớp nhận dạng biển báo giao thông

2 Mục tiêu nghiên cứu đề tài

Nghiên cứu đặc trưng Haar – like và mạng Neuron trong nhận dạng biển báo giao thông đường bộ ở Việt Nam

3 Đối tượng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu

Biển báo giao thông đường bộ ở Việt Nam

Lý thuyết xử lý ảnh: Xử lý màu; phân đoạn tách biên đối tượng; kỹ thuật rút trích đặc trưng Haar – like; thuật toán tăng tốc Adaboost và huấn luyện đặc trưng với mạng Neuron để nhận dạng biển báo giao thông đường bộ

4 Nội dung nghiên cứu

4.1 Nghiên cứu lý thuyết

Nghiên cứu đặc trưng Haar – like, thuật toán tăng tốc Adaboost và mạng Neuron nhân tạo

Phân tích và nghiên cứu các mô hình màu, các thuật toán phân đoạn, tách biên, lọc ảnh, phương pháp rút trích đặc trưng Haar, học máy mạng Neuron cho mục đích phát hiện và xây dựng các mô hình nhận dạng biển báo giao thông

4.2 Thực nghiệm

Thu thập dữ liệu hình ảnh biển báo giao thông từ mạng Internet, video và chụp ngoài thực tiễn, xây dựng mô hình để nhận dạng và đánh giá kết quả đạt được

5 Bố cục luận văn

Cấu trúc luận văn gồm:

Mở đầu: Giới thiệu đề tài bao gồm lý do chọn đề tài; mục tiêu; đối tượng

phạm vi nghiên cứu; nội dung nghiên cứu đề tài; bố cục luận văn

Chương 1: Tổng quan bài toán nhận dạng biển báo giao thông đường bộ Chương 2: Đặc trưng Haar và mạng Neuron trong nhận dạng biển báo giao

thông đường bộ

Chương 3: Kết quả thực nghiệm đặc trưng Haar – Like và mạng Neuron trong

nhận dạng biển báo giao thông đường bộ

CHƯƠNG 1: TỔNG QUAN BÀI TOÁN NHẬN DẠNG BIỂN BÁO

GIAO THÔNG ĐƯỜNG BỘ 1.1 Biển báo giao thông đường bộ trên thế giới và Việt Nam

1.1.1 Biển báo giao thông đường bộ trên thế giới

Trên thế giới, biển báo giao thông đường bộ ra đời cùng lúc với sự xuất hiện của những con đường Từ cổ xưa, những người lữ khách đầu tiên đã biết khắc kí hiệu đặc biệt trên thân cây hoặc đặt tên những hòn đá có những hình thù xác định trên suốt dọc đường để đánh dấu những đoạn đường đi qua Biển báo giao thông xuất hiện đầu tiên tại Roma (thế kỷ thứ III, TCN) những biển báo được dựng nên dọc theo đường chính đến thủ đô Roma, những biển báo hình trụ này ghi lại khoảng cách từ điểm đặt của cột đến nghị viện Roma

Hình 1.1: Biển báo giao thông cổ điển

Sự phát triển bùng nổ của các phương tiện ô tô đã đặt ra cho các quốc gia một bài toán làm thế nào để nâng cao hiệu quả tổ chức giao thông và đảm bảo an toàn trên đường, để giải quyết bài toán đó, vào năm 1909 các quốc gia châu âu đã họp tại Pari và đưa ra công ước quốc tế và sự di chuyển ô tô, theo công ước có bốn biển báo giao thông được thông qua, đó là: “Đường không bằng phẳng”, “ngã tư”, “Giao nhau với đường sắt” và “đường khúc khửu” Công ước cũng quy định khoảng cách

từ nơi đặt biển báo tới nơi đoạn đường nguy hiểm là 250 mét Sau dần các biển báo giao thông đường bộ đã được thống nhất theo các quy chuẩn của từng vùng Trong

đó quy chuẩn về biển báo giao thông phổ biển nhất trên thế giới là công ước UNESCO tổ chức (từ 7/10 -8/11/1968) tại thủ đô Viên, Áo các nước tham dự đã kí kết “Công ước Viên về báo hiệu và tín hiệu giao thông đường bộ” Theo công ước, biển báo giao thông đường bộ được chia thành 8 nhóm:

 Biển báo nguy hiểm

 Biển báo ưu tiên

 Biển báo cấm hoặc báo hiệu hạn chế

 Biển báo hiệu lệnh

 Biển báo có quy định riêng biệt

 Biển báo cung cấp thông tin

 Biển chỉ dẫn hướng đi, di chuyển

 Biển báo bổ sung khác

1.1.2 Biển báo giao thông đường bộ ở Việt Nam

Hệ thống biển báo giao thông đường bộ tại Việt Nam được quy định tại quy chuẩn kỹ thuật quốc gia về báo hiệu đường bộ (QCVN 41:2016/BGTVT do Tổng cục Đường bộ Việt Nam biên soạn, Bộ Khoa học và Công nghệ thẩm định, Bộ trưởng Bộ Giao thông vận tải ban hành theo Thông tư số 06/2016/TT-BGTVT ngày

8 tháng 4 năm 2016) [1]

Biển báo giao thông đường bộ hiện nay được sử dụng tại Việt Nam, được chia thành 6 nhóm chính:

Biển báo cấm: Là hệ thống biển báo nhằm cảnh báo người tham gia giao

thông không được làm và tuyệt đối tuân theo cảnh báo của biển báo Nhóm biển báo cấm có điểm chung là hình tròn, viền biển báo có màu đỏ, nền biển báo có màu trắng Những vạch kẻ kéo dài từ góc trên bên trái xuống góc dưới bên phải hay vạch

kẻ thẳng từ góc trên bên phải xuống góc dưới bên trái đều có màu đỏ Hình và ký tự phía trong biển báo có màu đen Trừ biển báo số 122 “Dừng lại’ có hình 8 cạnh đều bát giác Hình 1.2 Một số biển báo cấm Nhóm biển báo này được đánh số thứ tự từ

101 – 140

Hình 1.2: Một số biển báo cấm

Biển báo nguy hiểm: Là hệ thống biển báo có tính chất báo hiệu cho người

tham gia giao thông biết đặc điểm, tính chất nguy hiểm của đoạn đường phía trước

mà họ chuẩn bị đi vào để người tài xế có những biện pháp phòng, tránh hay kịp xử

lý tình huống Hệ thống biển báo nguy hiểm có đặc điểm là hình tam giác, nền biển màu vàng, viền biển báo có màu đỏ, những nét vẽ có màu đen Nhóm biển báo được đánh số thứ tự từ biển số 201 đến biển số 247

Hình 1.4: Một số biển báo hiệu lệnh

Biển chỉ dẫn: là loại biển báo hướng dẫn di chuyển cho các phương tiện hay

hướng dẫn những người điều khiển phương tiện giao thông biết những hướng đi cần thiết, những điều có ích khác Biển báo chỉ dẫn có đặc điểm là hình chữ nhật, kích thước khác nhau Biển báo có nền biển báo màu xanh dương Nhóm biển báo được đánh số từ 401 đến biển số 447

Hình 1.5: Một số biển báo chỉ dẫn

Biển phụ: Biển báo phụ là biển báo được đặt kèm với các biển báo nguy

hiểm, biển báo hiệu lệnh, biển chỉ dẫn, biển cấm ở trên nhằm chú thích cho người tham gia giao thông hiểu rõ hơn về các loại biển báo cấm, biển báo chỉ dẫn….Biển báo phụ có đặc điểm nhận dạng là hình chữ nhật và luôn được đặt kèm các biển chỉ dẫn, hiệu lệnh Nhóm biển phụ được đánh số thứ tự từ biển số 504 điến biển số

510

1.2 Một số nghiên cứu nước ngoài

Đã có nhiều công trình nghiên cứu nhận dạng biển báo giao thông đường bộ trên thế giới Sau đây là một số các công trình nghiên cứu về bài toán nhận dạng biển báo giao thông trên thế giới: Tác giả công trình [14], Traffic Sign Detection and Recognition Using Open CV Traffic Sign Detection System for Locating Road Intersections and Roundabouts: The Chilean Case, của tác giả [11] Tác giả [12], Traffic and Road Sign Recognition Nghiên cứu, Traffic Sign Detection and Recognition for Intelligent Vehicle của tác giả [13] vv Và một số các công trình

nghiên cứu khác

1.3 Một số nghiên cứu trong nước

Bài toán nhận dạng biển báo giao thông đường bộ đã có một số các công trình nghiên cứu trong nước nhưng vẫn còn ít, Trong [3], nhóm tác giả kết hợp đặc trưng màu, kỹ thuật phát hiện biên Canny, đặc trưng hình học của các biển báo và mạng Neuron để xây dựng ứng dụng phát hiện và nhận dạng biển báo trên thiết bị di động Phương pháp phân đoạn màu với SVM kết hợp thuật toán hội tụ màu để có được vùng ứng cử, kỹ thuật biến đổi Hough và kỹ thuật tìm biên được sử dụng trong [8] Tác giả của công trình [5] ứng dụng bộ lọc Gabor và mạng neuron để nhận dạng biển báo giao thông đường bộ Phương pháp dùng bộ lọc màu và tối ưu hóa nhóm hạt để phát hiện các biển báo được sử dụng trong [9] Tác giả [2], xây dựng bộ công cụ phát hiện và nhận dạng bảng hiệu điều khiển giao thông dựa trên đặc trưng HOG và mạng neuron nhân tạo

1.4 Bài toán nhận dạng biển báo giao thông đường bộ

Bài toán “Nghiên cứu đặc trưng Haar và mạng Neuron trong nhận dạng biển báo giao thông đường bộ” gồm các công việc sau:

- Phát hiện vùng ứng viên

Qua nghiên cứu chúng tôi nhận thấy, để nhận dạng biển báo giao thông đường

bộ nhanh, không bị mất thời gian trong quá trình xử lý thì việc làm đầu tiên đó là phát hiện ra vùng ứng viên và bỏ bớt giai đoạn tiền xử lý

- Cắt vùng ứng viên

Sau khi phát hiện vùng ứng viên bằng các đặc trưng Haar – Like, thì việc cần làm tiếp là cắt vùng ứng viên đó Ta sẽ được vùng ảnh chứa biển báo giao thông đường bộ

- Nhận dạng biển báo giao thông đường bộ với mạng Neuron nhân tạo

Biển báo giao thông đường bộ được cắt ra sẽ được đưa vào mạng Neuron để nhận dạng

1.5 Mô hình màu RGB và YUV (YCbCr)

1.5.1 Giới thiệu mô hình màu

Một trong những cách tiếp cận phổ biến để phát hiện dấu hiệu là sử dụng thông tin màu sắc Bằng cách sử dụng phương pháp phân chia ngưỡng hoặc phương pháp phân đoạn nâng cao, việc tìm ra các vùng của một hình ảnh chứa màu sắc của sự quan tâm là có thể Tuy nhiên, nhược điểm chính của phương pháp này là độ nhạy cao với điều kiện chiếu sáng thay đổi Tùy thuộc vào thời gian trong ngày và điều kiện thời tiết, màu sắc có thể không phù hợp Các loại không gian màu khác nhau được sử dụng trong tài liệu hiện tại Các ứng dụng được sử dụng rộng rãi nhất là RGB, YUV

1.5.2 Không gian màu RGB

RGBlà không gian màu được sử dụng nhiều nhất cho hầu hết các ứng dụng trong xử lý hình ảnh và tầm nhìn của máy tính Các giá trị cường độ của các thành phần RGB nằm trong khoảng từ 0 đến 255 Vì có ba thành phần màu chính là: R

(Red), G (Green) và B (Blue), tổng cộng là 2563 = 16777216 màu sắc có thể được

hiển thị Hình 2.1 đại diện cho không gian màu RGB Trong nhiều hệ thống, phân đoạn màu RGB được sử dụng cho nhiệm vụ phát hiện dấu vết

Hình 1.6: Không gian màu RGB

Một trong những phương pháp mới để phát hiện các dấu hiệu trắng bằng cách

sử dụng không gian màu RGB, đó là sử dụng các bộ lọc màu sắc để phát hiện các dấu hiệu trắng Cách tính như sau:

Hình 1.7: Hình biển báo giao thông sau khi tách ngưỡng

Để chuẩn hóa RGB, trong điều kiện chiếu sáng biến thiên Mỗi màu được chuẩn hóa như sau:

R r

R G B



G g

R G B



B b

1.5.3 Không gian màu YUV (YCbCr)

Mô hình màu YUV YCbCr quy định một không gian màu được tạo bởi một độ sáng và hai thành phần màu (chrominance) YUVđược sử dụng trong hệ thống phát sóng truyền hình theo chuẩn PAL, đây là chuẩn ở phần lớn các nước

Mô hình YUV giúp tạo ra màu đúng với nhận thức của con người hơn chuẩn RGB,

là loại được dùng trong các thiết bị đồ họa máy tính, nhưng không chuẩn bằng không gian màu HSV, các thành phần của mô hình màu YUV:

Y là đại diện cho thành phần độ sáng, U và V là đại diện cho các thành phần màu Các tín hiệu YUV đều xuất phát từ các nguồn RGB Các giá trị số của R, G và B

được cộng lại với nhau để tạo ra một tín hiệu Yđơn, để biểu diễn độ sáng chung tại

1 điểm đó Tín hiệu U Cb sau đó được tạo ra bằng cách trừ Ykhỏi tín hiệu xanh lam (B của RGB), và được nhân với 1 tỉ lệ có sẵn; còn V Cr  được tính bằng cách trừ Y khỏi màu đỏ (R của RGB), và nhân tỉ lệ với một hệ số khác

Các công thức sau có thể dùng để tính toán Y U, và V từ R, Gvà B

0.299 0.587 0.436 0.492( )

0.147 0.289 0.436 0.877( )

Ở đây R, G và B được giả sử là nằm trong khoảng từ 0 đến 1, với 0 biểu diễn cường

Ý tưởng chính của thuật toán lọc trung vị là sử dụng một cửa sổ lọc ma trận 3x3, 5x5 hoặc 7x7 quét lần lượt từng điểm ảnh đầu vào input Tại vị trí mỗi điểm ảnh lấy giá trị của các điểm ảnh tương ứng trong vùng 3x3, 5x5 hoặc 7x7 của ảnh gốc vào ma trận lọc Sau đó sắp xếp các điểm ảnh trong cửa sổ này theo thứ tự (tăng dần hoặc giảm dần tùy ý) Cuối cùng, gán điểm ảnh nằm chính giữa (trung vị) của dãy giá trị điểm ảnh đã được sắp xếp ở trên cho giá tị điểm ảnh đang xét của ảnh đầu ra Output

Hình 1.8: Minh họa lọc trung bình

1.6.2 Lọc Gaussian Blur

Lọc Gaussian Blur là một trong những phương pháp lọc bằng cách làm mờ ảnh, giảm nhiễu Để thực hiện việc làm mờ ảnh cần phải tính tích chập (Convolution) hình đó với hàm Gaussian và biến đổi Fourier của một Gaussian sẽ tạo ra một Gaussian khác cho nên nếu xét trên miền tầng số thì phương pháp này sẽ làm giảm các thành phần có tầng số cao trong hình, hay nói cách khác Gaussian Blur là một bộ lọc tầng số cao (Low pass fitter: chỉ giữ lại các thành phần tầng số

thấp) Trước đây, là phương trình hàm Gaussian dùng trong không gian một chiều

và hai chiều

 Công thức Gauss một chiều (1-D)

2 2

2 2

1( )

2 2

1( )2

Hình 1.9: Minh họa lọc Gauss

1.7 Phương pháp phát hiện biên ảnh

1.7.1 Phương pháp Canny

Phương pháp Canny là phương pháp định vị đúng vị trí bằng cách cực tiểu hóa bình phương  2của vị trí các điểm cắt “Zero” hoặc hạn chế số điểm cực trị cục bộ

để chỉ tạo ra một đường bao

Các ràng buộc mà phương pháp phát hiện biên Canny thực hiện đó là:

Mức lỗi: Tìm ra các điểm biên và không có điểm biên nào bỏ sót

Định vị: Khoảng cách giữa các điểm biên được tìm thấy trong giải thuật và biên trong thực tế càng nhỏ càng tốt

Hiệu suất: Chỉ tìm ra một biên duy nhất

Canny đã giả thiết rằng nhiễu trong ảnh tuân theo phân bố Gauss và ông cho rằng một phương pháp phát hiện biên thực chất là một bộ lọc nhân xoắn có khả

năng làm mịn nhiễu và định vị cạnh Vấn đề là tìm một bộ lọc sao cho thỏa mãn tối

ưu nhất các ràng buộc trên

Bộ lọc f với biên G trên đoạn w; w được tính bởi tích chập:

w w ( ) ( )

H G x f x dx



  (1.9) Giả sử bộ lọc ở ngoài đoạn w; wlà bằng 0 f 0 , khi đó ba tiêu chuẩn trên được biểu diễn như sau:

0

0

w w 2 w

( ) dx

( ) dx

n

A f x SNR

(0)

( )

n

A f LocaLization

2 2

Đạo hàm của hàm số G theo cả hai hướng x và y, ta được một xấp xỉ với bộ

lọc tối ưu của thuật toán Canny chính là G, do vậy bằng việc nhân xoắn vào ảnh

G ta thu được ảnh E được tách biên ngay cả trong trường hợp ảnh có nhiễu nhiều

Việc nhân xoắn với mảng hai chiều khó trong quá trình tính toán Để khắc phục với mảng hai chiều Gaussian có thể chia thành hai phép nhân xoắn với mặt nạ Gaussian một chiều việc vi phân cũng có thể được thực hiện bằng phép nhân xoắn ở

mảng một chiều tạo nên hai ảnh : ảnh một là nhân xoắn thành phần của x với mảng một chiều, ảnh hai là việc nhân xoắn thành phần của y

Các bước thực hiện :

Bước 1 : Đọc ảnh I, thực hiện nhân xoắn với bộ lọc Gaussian

Bước 2 : Đạo hàm ảnh I theo hai hướng x và y

Bước 3 : Tạo mặt nạ cho các đạo hàm bậc nhất Gaussian theo hai hướng x và y

gọi là G x , G y và giá trị vẫn giữ ở bước 2

Bước 4 : Nhân xoắn ảnh I vùng với G dọc theo các hàng tạo ảnh thành phần

gọi là I x và theo các cột tạo ra ảnh I y

Bước 5 : Nhân xoắn I x với Gx để sinh ra I  x thành phần x của I được nhân xoắn với đạo hàm của Gaussian, và nhân xoắn I y với G y để tạo ra I y

Bước 6 : Để xem kết quả thành phần X, Y phải được kết hợp khi độ lớn tại

điểm (x, y) được tính

, x( , ) x( , )

M x y  I x y I x y (1.14)

1.7.2 Phương pháp Wavelet (xem 56 - 61, [7])

Phương pháp này sử dụng biến đổi Wavelet rời rạc (DWT) nhằm để phân tích ảnh thành nhiều ảnh có đặc điểm và xấp xỉ Xấp xỉ giống như ảnh gốc, theo tỉ lệ ¼

Hình 1.10: Dùng DWT cho biến đổi Neurite

Xem hình 1.10 cho thấy, đặc điểm ảnh chứa thông tin biên Ngoài ra, quan sát hình ảnh trên cho thấy các hình ảnh xấp xỉ chứa nhiều thông tin biên Để tìm ra thông tin của biển báo thì kỹ thuật nổi trội nhất là đa phân giải

Trong đó:

1 0

tỷ lệ

Khi tín hiệu biến đổi chậm và được duy trì trong kênh qua bộ lọc mức thấp, trong khi một số biến đổi nhanh lại tuân theo kênh qua bộ lọc mức cao, dẫn đến biên trong ảnh sẽ xuất hiện như sự biến đổi đột ngột Vì vậy, quy trình sẽ riêng biệt Tín hiệu có thể khôi phục lại bởi sự biến đổi Xấp xỉ giống như ảnh gốc, khi đó ta

bổ sung thêm nội dung, ta quay lại nơi ta bắt đầu

 Với biến đổi 2 –D, ta có thể lọc theo hàng, thành hai ảnh phụ tương tự, mỗi phần là nửa ảnh gốc Chiều cao như ảnh gốc nhưng ảnh phụ có độ rộng bằng nửa

Ta lọc ảnh phụ bộ lọc thấp và cao dọc theo cột, tạo ra hai ảnh nữa thành bốn ảnh phụ Ta gắn nhãn kết quả ảnh phụ từ tiêu chuẩn của DWT là LL (xấp xỉ), LH, HL

và HH, theo bộ lọc dùng tạo ra ảnh phụ Ví dụ, KL nghĩa là ta sử dụng qua bộ lọc cao theo hàng và qua bộ lọc thấp theo cột, cứ thế có thể lặp lại với LL, ta làm với sáu tiêu chuẩn, kiểm tra phương pháp, đặc điểm với tiêu chuẩn tiếp theo là một đến bốn kích thước của tiêu chuẩn liền trước Quan sát hình 1.12 là một hình phụ là tìm được biên ngang, trong khi cần tìm một biên dọc nữa và đặc điểm cuối ảnh phụ là đường chéo, ta kết hợp ba đặc điểm ảnh phụ của mỗi tiêu chuẩn để xây dựng toàn

bộ đặc điểm ảnh cho tiêu chuẩn Thực hiện việc đồng dạng chứa nội dung ảnh mang lại cho ta đường biên tốt của đối tượng nội dung ảnh

Dữ liệu thể hiện hình 1.12 đã biến đổi từ quan sát ảnh phụ Trước ứng dụng DWT dữ liệu là không rõ ràng, không thay đổi mức xám thì ta thường dùng chuẩn

độ lệch giá trị điểm ảnh như hình 1.11 Màu đen miêu tả năm độ lệch chuẩn từ giá trị trung bình và màu trắng dùng cho giá trị còn lại

Hình 1.11: Biên ảnh của một hộp đơn

Hình 1.12: Biên ảnh con chó nằm ở bậc thang

Qua thực nghiệm cho thấy rằng năm độ lệch chuẩn cung cấp các kết quả tốt, những điểm ảnh trong phạm vi lớn tương ứng với đặc điểm ảnh phụ trong trị số lớn Như vậy, độ lệch chuẩn được giữ lại ở phạm vi lớn

 Khi dùng DWT, ở đó một số sóng được chọn (ta thay đổi sóng đơn bằng thay đổi hệ số bộ lọc) ảnh gốc nhằm mục đích là thực thi DWT và tỷ lệ liên quan dò tìm biên, sau đó sóng Daubechies và tìm kết quả tốt nhất, ngoài ra ta sử dụng sóng Biorthogonal Bởi vậy, ta sử dụng Wavelet hệ số 4 Daubechies và Wavelet Biorthogonal

Bởi vì việc biến đổi sóng sử dụng giải pháp, cũng có các giải pháp kết hợp được lựa chọn để tìm ra các giá trị thực của phương pháp Điều này dường như rất

tự nhiên tổng hợp kết quả đầu ra từ nhiều tiêu chuẩn Một phương pháp đã tìm ra bản đồ n-kind: ví dụ thông qua hàng ngang, gọi 6 tiêu chuẩn và tìm nhiều hơn (n) hoặc trong trường hợp này thông thường là 2 hoặc 3 điểm ảnh Như vậy sẽ thu được biên rõ nét, hình 1.13 và hình 1.14 chỉ ra kết quả của phương pháp này

Hình 1.13: Sử dụng 3 tiêu chuẩn cho ảnh con chó nằm bậc thang

Hình 1.14: Sử dụng ba tiêu chuẩn cho ảnh Filopodia

Một phương pháp khác đã được kiểm nghiệm thì liên kết tự động trong phương pháp này các biên rõ nét trong mỗi ảnh được phóng đại, cho phép tự động nhận dạng các vùng cần thiết Hình 1.15, 1.16, 1.17 minh họa ảnh kết quả từ việc kết hợp ba tiêu chuẩn sử dụng liên kết tự động Phương pháp này đưa ra hầu hết các kết quả của các ảnh Bởi vì sóng được phân li trong tự nhiên, số các tiêu chuẩn được giải quyết một cách phù hợp Trong thực nghiệm, tiêu chuẩn đầu tiên chứa nhiều thông tin chi tiết nhưng chỉ một số ít được sử dụng, tiêu chuẩn thứ 2 và thứ 3 dường như chỉ phù hợp riêng với ứng dụng, từ khi chúng chứa các thông tin chi tiết thì nó chưa đề cập tới hầu hết các thay đổi nhỏ

Hình 1.15: Sử dụng liên kết tự dộng trong ảnh hộp đơn

Hình 1.16: Sử dụng liên kết tự động trong ảnh con chó nằm bậc thang

Hình 1.17: Sử dụng liên kết tự động trong của Filopodia

Thực tế, công việc là biến đổi DWT thành 6 tiêu chuẩn tuy nhiên chỉ cần 3 tiêu chuẩn là đủ Mỗi ảnh được chọn có một nguyên nhân khác nhau, hình chiếc hộp đơn, nó được chọn bởi vì thẳng và phẳng Nó cũng được sử dụng để kiểm tra kết quả mã nguồn thực hiện có đúng và chính xác không Hơn nữa, ảnh hộp đơn đưa ra đường biên chính xác, cả hai ảnh này được xây dựng bởi chương trình Ảnh hộp đơn và ảnh kết quả có kích cỡ 640x480 pixel Khi một tiêu chuẩn của DWT đưa ra

4 ảnh con có chiều cao và chiều rộng bằng một nửa của tiêu chuẩn bên trên, kích cỡ phù hợp của ảnh con là 20x15 tại 6 tiêu chuẩn Ảnh tiếp theo con chó trên bậc thang được chọn vì nó đổ bóng và chi tiết Đường biên chính xác của ảnh được tạo bằng tay Ảnh này có kích cỡ là 256x256 và kích cỡ phù hợp của ảnh con tại 6 tiêu chuẩn

là 8x8

Hiện thời phép đo được thực hiện thông dụng cho một ảnh Một nhà sinh vật

đã ra ảnh trả lời chính xác Trong ảnh này chỉ có filopodia phù hợp được thể hiện Ảnh trả lời kích thước là 480x640 pixel

Trong tất cả các ảnh được sử dụng bởi 6 tiêu chuẩn thì các thông tin hữu ích

là ảnh mờ hoàn chỉnh Trên thực tế, ta tìm thấy bằng thực nghiệm kết quả tốt chỉ cần ba tiêu chuẩn đầu tiên Thông tin biên dường như là tín hiệu của những biến đổi chính trong ảnh nó đã được đưa ra trong các tiêu chuẩn trước đó

1.8 Phương pháp trích chọn đặc trưng

1.8.1 Trích chọn đặc trưng Haar – like

Hệ thống phát hiện đối trượng trên hình ảnh dựa vào các đặc trưng đơn giản

có nhiều lý do để chọn việc xử lý dựa trên đặc trưng mà không thực hiện với việc

xử lý trực tiếp trên các điểm ảnh Nhưng lý do phổ biến nhất là các đặc trưng có thể dựa trên các tri thức hữu hạn của các dữ liệu huấn luyện để mã hóa ra các tri thức nhận dạng Ngoài ra một hệ thống phát hiện đối tượng sử dụng đặc trưng thì xử lý

sẽ nhanh hơn so với hệ thống dựa trên xử lý điểm ảnh

Một loại đặc trưng đơn giản được sử dụng là đặc trưng Haar – like, đặc trưng này thường được dùng cho bài toán nhận dạng trên ảnh Đặc trưng Haar – like được công bố bởi Viola và Jones [12] Đặc trưng này có bốn đặc trưng cơ bản để xác định đối tượng trong ảnh Đặc trưng Haar – like được xây dựng từ các hình chữ nhật có kích thước bằng nhau, dùng để tính độ chênh lệch giữa các điểm ảnh trong vùng kề nhau

Hình 1.1: Bốn đặc trưng cơ bản của Haar - like

Ngoài ra để xác định khuông của đối tượng, bốn đặc trưng cơ bản trên còn được mở rộng và chia làm ba tập đặc trưng như sau:

 Đặc trưng cạnh

 Đặc trưng đường

 Đặc trưng xung quanh tâm

Để tính toán giá trị đặc trưng Haar – like cần phải tính toán tổng các vùng pixel trên ảnh Do đó, để có thể đáp ứng yêu cầu về xử lý thời gian thực Viola và Jones đã trình bày khái niệm “Intergral Image” để giải quyết bài toán “Intergral Image” tại vị trí x y, được tính theo công thức

Hình 1.19: Cách tính Integral Image của ảnh

Gọi vùng cần tính tổng các giá trị pixel là vùng “A4”

1.8.2 Biến đổi Hough (HT- Hough Transform)

Biến đổi Hough là một kỹ thuật có thể dùng để tách ra các đặc điểm của một hình dáng cụ thể trong một ảnh nhị phân Khi dùng các chương trình máy tính để nhận diện một đối tượng nào đó có hình dạng bất kỳ, phương pháp hữu hiệu hiện nay là sử dụng biến đổi Hough Các bài toán tìm kiếm từ những mức đơn giản như tìm đường thẳng tới các bài toán phức tạp hơn như tìm hình tròn, hình elipse hoặc các hình phức tạp đều có thể thực hiện bằng biến đổi Hough (với điều kiện các hình dạng này biểu diễn toán học được)

Với n điểm x y i i, i 1,n và ngưỡng , kiểm tra n có tạo thành một đường thẳng không (n có nằm trên một đường thẳng hay không)

Ý tưởng: Giả sử n điểm nằm trên một đường thẳng, đường thẳng có phương trình yax b

Vìx y i i, i 1,n thuộc đường thẳng nên y i ax i  b, i 1,n 

giao nhau tại một điểm và điểm giao chính là a b, Chính là hệ số xác định phương trình của đường thẳng mà các điểm nằm vào

Phương pháp:

- Xây dựng một mảng chỉ số a b, và gán các giá trị 0 ban đầu cho các phần tử mảng

- Với mỗi điểm x y i, i và a b, là chỉ số phần tử mảng thỏa mãn b ax iy i

tăng giá trị của phần tử tương ứng lên 1

- Từ phần tử mảng có giá trị lớn nhất nếu giá trị lớn nhất tìm được so sánh với

số phần tử lớn hơn hoặc bằng ngưỡng  thì ta có thể kết luận các điểm nằm trên cùng một đường thẳng và đường thẳng đó có phương trình yax b , trong đó

,

a b tương ứng với chỉ số của phần tử mảng có giá trị lớn nhất tìm được

1.9 Thuật toán Adaboost

AdaBoost (Adaptive Boost) là một bộ phân loại mạnh phi tuyến phức dựa trên hướng tiếp cận Boosting được Freund và Schapire đưa ra vào năm 1995, đã giải quyết nhiều thực tế khó khăn của các thuật toán Boosting trước đó Adaboost giúp đẩy nhanh việc tạo ra một bộ phân loại mạnh, bằng cách chọn các đặc trưng tốt trong một họ các bộ phân loại yếu và kết hợp chúng lại tuyến tính bằng cách sử dụng các trọng số Điều này thật sự cải thiện dần độ chính xác nhờ áp dụng hiệu quả một chuỗi các bộ phân loại yếu

Để có thể kết hợp các bộ phân loại yếu Adaboost sử dụng trọng số (weight)

để đánh dấu các mẫu khó nhận dạng Thuật toán này ban đầu duy trì một phân bố chuẩn (tương đồng nhau) các trọng số đối với mỗi mẫu huấn luyện Trong quá trình huấn luyện trọng số để chuẩn bị cho việc xây dựng bộ phân loại yếu kế tiếp là: tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu được nhận dạng đúng bởi bộ phân loại yếu vừa xây dựng Bằng cách này, các bộ phân loại yếu tiếp theo có thể tập trung vào các mẫu mà các bộ phân loại yếu trước nó chưa làm tốt Sau cùng, các bộ phân loại yếu sẽ được kết hợp tùy theo mức độ “tốt” của chúng để tạo dựng nên bộ phân loại mạnh

Dữ liệu đầu vào của giải thuật AdaBoost là tập dữ liệu

{ i, i 1| }

S  x y  i  m với x iX và y iX Trong đó x i thuộc một miền giá

trị X, mỗi y i là một giá trị nhãn thuộc một tập hợp nhãn Y Giả sử Y  1, 1 

nghĩa là tập hợp nhãn chỉ có hai nhãn là -1 và + 1 Các nhãn này được dùng để gán cho các mẫu dữ liệu

Giải thuật boosting AdaBoost:

Cho tập dữ liệu: S  {x y i, i 1|  i  m},với x i X và y i Y

Các bước:

Khởi tạo D i1   1/m

For t   1, ,T do

Huấn luyện bộ lọc yếu bằng trọng số của tập dữ liệu học D t

Lấy giả thuyết yếu ht : X    1, 1 với lỗi t