Nghiên cứu phát triển một số thuật toán phát hiện và phân loại phương tiện từ dữ liệu video giao thông

DANH MỤC CÁC KÝ HIỆU  Giá trị ngưỡng cho trước trong trừ nền Bx,y Giá trị nền cố định tại điểm ảnh x,y Itx,y Giá trị điểm ảnh tại điểm ảnh x,y Dtx,y Mặt nạ nhị phân của đối tượng tiề

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

NGUYỄN VĂN CĂN

TOÁN PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN

TỪ DỮ LIỆU VIDEO GIAO THÔNG

LUẬN ÁN TIẾN SĨ TOÁN HỌC

HÀ NỘI, NĂM 2015

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

NGUYỄN VĂN CĂN

TOÁN PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN

TỪ DỮ LIỆU VIDEO GIAO THÔNG

Mã số : 62 46 01 10

LUẬN ÁN TIẾN SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Những nội dung, số liệu và kết quả trình bày trong luận án là hoàn toàn trung thực

và chưa có tác giả nào công bố trong bất cứ một công trình nào khác

Tác giả luận án

Nguyễn Văn Căn

LỜI CẢM ƠN

Trước hết tôi xin bày tỏ lòng biết ơn chân thành của tôi với tập thể giáo viên hướng dẫn của tôi, PGS TS Nguyễn Đức Hiếu, Giám đốc Trung tâm Công nghệ thông tin, Học viện Kỹ thuật Quân sự Việt Nam; TS Phạm Việt Trung, Phó cục trưởng Cục Công nghệ thông tin - Bộ Quốc phòng trực tiếp hướng dẫn cho tôi thông qua sự tiến bộ nghiên cứu

Tôi muốn cảm ơn tất cả các giảng viên mà tôi đã có vinh dự được cùng làm việc hoặc tham gia các khóa học trong quá trình làm nghiên cứu sinh Cảm

ơn các thầy giáo, cô giáo Viện Công nghệ thông tin, phòng Quản lý đào tạo sau đại học thuộc Viện Khoa học và Công nghệ quân sự - Bộ quốc phòng

Tôi muốn đặc biệt cảm ơn PGS TS Ngô Quốc Tạo, TS Nguyễn Đức Dũng, phòng Nhận dạng và Xử lý tri thức, thuộc Viện Công nghệ thông tin, Viện hàn lâm Khoa học Việt Nam; cảm ơn các đồng nghiệp công tác tại Trường Đại học Kỹ thuật – Hậu cần Công an nhân dân đã có những bàn luận, thảo luận hữu ích, cài đặt thử nghiệm trong công việc nghiên cứu của tôi

Cuối cùng, tôi dành luận án này cho gia đình tôi và bạn bè của tôi Nếu không có sự hỗ trợ của họ đầy đủ, tôi sẽ không có can đảm để đi qua tất cả những khó khăn trong việc nghiên cứu

MỤC LỤC

DANH MỤC CÁC KÝ HIỆU iii

DANH MỤC CHỮ VIẾT TẮT iv

DANH MỤC CÁC BẢNG v

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ vi

MỞ ĐẦU 1

Chương 1 TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO 8

1.1 Cơ sở lý thuyết và những khái niệm cơ bản 8

Dữ liệu video số 8

1.1.1 Mô-men bất biến 12

1.1.2 Hình dạng và Khối đối tượng chuyển động 13

1.1.3 Đường viền đối tượng 13

1.1.4 Nền và đối tượng chuyển động 21

1.1.5 Entropy của khối 22

1.1.6 Biểu diễn hình dạng đối tượng theo vector khoảng cách 25

1.1.7 1.2 Một số phương pháp và công trình nghiên cứu liên quan 29

Hệ thống điều khiển giao thông và giám sát an ninh 30

1.2.1 Hệ thống phát hiện và phân loại xe dựa trên video 32

1.2.2 Hệ thống giám sát giao thông dựa trên độ dài 34

1.2.3 Hệ thống giám sát tích hợp phát hiện, theo dõi, phân loại 36

1.2.4 Phát hiện đối tượng 38

1.2.5 Phân loại đối tượng 41

1.2.6 1.3 Hướng tiếp cận của luận án 45

Sơ đồ khái quát hướng tiếp cận xử lý bài toán 45

1.3.1 Xác định vùng quan tâm và nhiệm vụ của luận án 47

1.3.2 1.4 Kết luận chương 1 49

Chương 2 PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG TỪ VIDEO DỰA TRÊN MÔ HÌNH GAUSS HỖN HỢP THÍCH NGHI VỚI THAY ĐỔI ÁNH SÁNG 51

2.1 Một số thuật toán phát hiện chuyển động 51

Thuật toán trừ nền cơ bản 51

2.1.1 Thuật toán trừ nền trung bình: 53

2.1.2 Thuật toán Σ-Δ: 54

2.1.3 Thuật toán Σ-Δ cải tiến: 56 2.1.4

Thuật toán thống kê khác biệt cơ bản 58

2.1.5 Mô hình Gauss hỗn hợp 61

2.1.6 Đánh giá các thuật toán trừ nền thông qua một số phép đo 66

2.1.7 2.2 Mô hình và thuật toán đề nghị 72

Mô hình GMM đề nghị 72

2.2.1 Thuật toán trích chọn khối chuyển động (EMB) 77

2.2.2 2.3 Phương pháp đếm phương tiện giao thông áp dụng mô hình GMM thích nghi thay đổi ánh sáng kết hợp luồng quang học 78

Sơ đồ khối tổng quát 79

2.3.1 Thuật toán phát hiện và gán nhãn cho khối (SLBBI) 82

2.3.2 Thuật toán trích chọn luồng quang học (EBOF) 83

2.3.3 Kết quả thực nghiệm 86

2.3.4 2.4 Kết luận chương 2 91

Chương 3 PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO DỰA TRÊN ĐẶC TRƯNG HÌNH DẠNG 93

3.1 Phân đoạn khối phương tiện dựa trên kích thước 93

Phân tích kích thước phương tiện 93

3.1.1 Thuật toán phân loại theo kích thước 95

3.1.2 3.2 Phân loại phương tiện bằng kết hợp kích thước ảnh và hình chiếu hình dạng khối phương tiện 98

Ý tưởng phương pháp 99

3.2.1 Giai đoạn chuẩn bị CSDL 100

3.2.2 Thuật toán phân loại dựa trên độ dài và hình chiếu đối tượng 101

3.2.3 3.3 Phân loại phương tiện dựa trên đường viền biểu diễn bằng số phức 103 Sơ đồ khái quát 104

3.3.1 Xấp xỉ độ dài đường viền và thuật toán Douglas Peucker 104

3.3.2 Thuật toán CCAVC 107

3.3.3 Kết quả thực nghiệm: 111

3.3.4 3.4 Kết luận chương 3 114

PHẦN KẾT LUẬN 116

PHỤ LỤC 1

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ 118

TÀI LIỆU THAM KHẢO 119

DANH MỤC CÁC KÝ HIỆU

 Giá trị ngưỡng cho trước trong trừ nền

B(x,y) Giá trị nền cố định tại điểm ảnh (x,y)

It(x,y) Giá trị điểm ảnh tại điểm ảnh (x,y)

Dt(x,y) Mặt nạ nhị phân của đối tượng tiền cảnh

α,,, Hằng số tỷ lệ học cho trước

 t (x,y) Giá trị tuyệt đối của hiệu giá trị điểm ảnh trừ giá trị nền của điểm ảnh

(x,y) tại thời điểm t

Vt(x,y) Giá trị điểm ảnh (x,y) của khung hình đang xét thời gian t

xy Giá trị trung bình của các điểm ảnh tương ứng của tập hợp điểm ảnh

(x,y) theo các khung hình đang xét

xy Trung bình độ lệch chuẩn của điểm ảnh (x,y)

Mô hình nền thích nghi biến đổi cosin rời rạc

Khoảng cách Ơclit giữa các mô hình nền thích nghi P(Xt) Xác suất quan sát của điểm ảnh tại thời điểm t

(Xt, , ) Hàm mật độ xác suất tại thời điểm t

i,t Ma trận hiệp phương sai của phân bố Gauss thứ i tại thời gian t

i,t Giá trị trung bình của các điểm ảnh tại thời điểm t

Biến nhận giá trị 1/0 thể hiện sự phù hợp mô hình của điểm ảnh mới

k,t Hệ số cập nhật nền K mô hình tại thời điểm t

t Hệ số biểu thị mức độ ánh sáng thay đổi

Et Giá trị thông tin Entropy của điểm ảnh tại thời điểm t

D(t,t-1) Hàm biểu diễn cường độ sáng

i Hệ số lựa chọn sự thay đổi ánh sáng

IL(x,y) Ảnh điểm ảnh (x,y) biểu diễn mức L trong mô hình kim tự tháp

Tập biểu diễn kết quả phát hiện đối tượng tại thời điểm t

i Tính chất thứ i của mô-men bất biến

 Hằng số xấp xỉ diện tích hai hình đa giác

Lrounded Khoảng cách giữa các điểm cơ bản trên biên

D(si,c) Khoảng cách giữa điểm mẫu và trọng tâm đa giác

SIM(D1,D2) Độ đo tương tự giữa 2 đa giác D 1 và D2

u Chiều dài đối tượng tính xấp xỉ

v Chiều rộng đối tượng tính xấp xỉ

 Đường viền Vector

 Vector cơ sở đường viền

 Tích vô hướng giữa 2 đường viền

(m) Hàm tương quan giữa 2 đường viền m đỉnh ( )

( ) {

DANH MỤC CÁC CHỮ VIẾT TẮT

ACF Hàm tự tương quan (Auto Correlation Function)

BMC Thách thức mô hình trừ nền (Background Models Challenge)

BSM Trừ nền (Background Subtraction Method)

BGS Thư viện trừ nền (Background Subtraction Library)

CA Phân tích đường viền (Contour Analys)

CSDL Cơ sở dữ liệu (Database)

EV Vector cơ sở (Elementary Vector)

FG Tiền cảnh (Foreground)

GMM Mô hình hỗn hợp Gauss (Gauss Mixture Model)

ICF Hàm tương quan (Intercorrelation Function)

NSP Tích vô hướng chuẩn hóa (Normalized Scalar Product)

ROI Vùng quan tâm (Region of Interest)

TVH Tích vô hướng

VC đường viền vector (Vector Contour)

VVDC Phát hiện và phân loại phương tiện dựa trên video (Video-based

Vehicle Detection and Classification)

DANH MỤC CÁC BẢNG

Bảng 1.1 Phân loại các phương pháp mô hình nền 40

Bảng 1.2 Kết quả sử dụng độ dài đường biên hình chiếu 42

Bảng 2.1 Ưu điểm và nhược điểm các thuật toán BSM đã trình bày 64

Bảng 2.2 Hệ số đánh giá toàn cục các thuật toán BS trong tập dữ liệu BMC [36] 69

Bảng 2.3 Dữ liệu thực nghiệm 87

Bảng 2.4 Phản ứng với mật độ xe trên các cung đường 90

Bảng 2.5 So sánh thời gian xử lý của thuật toán với mỗi khung hình 90

Bảng 3.1 Kết quả thực nghiệm thuật toán CVIL 98

Bảng 3.2 Bảng kết quả thực nghiệm thuật toán VCALOS 103

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1 Cấu trúc phân đoạn của video 8

Hình 1.2 Các biến đổi hình dáng đối tượng trong không gian 2D 12

Hình 1.3 Biểu diễn đường viền bằng vector số phức 14

Hình 1.4 NSP trên đường viền vector 18

Hình 1.5 Biểu diễn đường viền và lược đồ xám 21

Hình 1.6 Mô tả hình dạng hình tròn 26

Hình 1.7 Đa giác xấp xỉ đối tượng có n cạnh 27

Hình 1.8 Điểm mẫu căng đều trên mỗi cạnh biên 28

Hình 1.9 Kiến trúc tổng thể hệ thống CadProTMS 31

Hình 1.10 Trạm nghiệp vụ xử lý phạt nguội vượt đèn đỏ ngã tư 32

Hình 1.11 Cấu trúc hệ thống phát hiện và phân loại xe dựa trên video 33

Hình 1.12 Sơ đồ của hệ thống giám sát giao thông tự động 35

Hình 1.13 Cấu trúc hệ thống tích hợp phát hiện, phân loại, theo dõi đối tượng 36 Hình 1.14 Cấu trúc hệ thống phát hiện đối tượng chuyển động 37

Hình 1.15 Lược đồ khái quát phân loại đối tượng dựa trên hình chiếu 38

Hình 1.16 Cấu trúc khái quát hệ thống nhận dạng đối tượng chuyển động 46

Hình 1.17 Sơ đồ xác định vùng nghiên cứu 47

Hình 1.18 Hướng tiếp cận xử lý bài toán 49

Hình 2.1 Lược đồ khái quát thuật toán CCA-GMMOF 80

Hình 2.2 Minh họa thuật toán gán nhãn cho khối 83

Hình 2.3 Dữ liệu video quay trên đường quốc lộ 5, hướng Hải phòng - Hà Nội 88

Hình 2.4 Một số hình ảnh từ camera đưa vào thực nghiệm 89

Hình 2.5 Giao diện kết quả thực nghiệm của hệ thống 89

Hình 3.1 Phân tích kích thước khối xe ô tô con 93

Hình 3.2 Sơ đồ tổng quát phân giải theo độ dài 95

Hình 3.3 Sơ đồ tổng quát phân loại theo hình dạng 99

Hình 3.4 Sơ đồ khối tổng quát phân loại theo đường viền 104

Hình 3.5 Đơn giản hóa đường công theo thuật toán Douglas Peucker 105

Hình 3.6 Xấp xỉ hóa đường viền 106

Hình 3.7 Giao diện hệ thống thực nghiệm thuật toán CCAVC 111

Hình 3.8 Giao diện hệ thống thực nghiệm thuật toán CCAVC 112

Hình 3.9 Ví dụ về tập mẫu để so sánh 113

Hình 3.10 Ví dụ kết quả nhận dạng xe ô tô và xe máy 114

MỞ ĐẦU

Phần này giới thiệu bài toán phát hiện và phân loại phương tiện giao thông, những vấn đề đặt ra cho bài toán để giải quyết vấn đề tăng độ chính xác với điều kiện giao thông đông đúc và đa dạng ở Việt Nam Tiếp theo, trình bày mục tiêu, phạm vi, nội dung và phạm vi nghiên cứu của luận án Cuối cùng là giới thiệu cấu trúc của luận án

1 Tính cấp thiết của vấn đề nghiên cứu

Giám sát và quản lý giao thông đã và đang được các nhà khoa học thế giới

và Việt Nam quan tâm nghiên cứu phát triển Trong điều kiện giao thông Việt Nam, từ các tuyến đường quốc lộ, đường cao tốc, đến giao thông đô thị, giao thông nông thôn mật độ phương tiện rất dày đặc, đa dạng về chủng loại, trong đó hai thành phần chính đó là ô tô và xe máy Nếu mật độ xe dày đặc, tức là số lượng xe trên một vùng quan sát là lớn, khi đó ảnh giao thông thu được tồn tại các phương tiện trước sau, bên cạnh liên tiếp nhau, các phương tiện tạo thành khối phương tiện, khi đó các đường viền có thể bị che khuất thì việc phân tích đường viền các phương tiện để phát hiện, đếm, phân loại gặp rất nhiều khó khăn

Nhiều nghiên cứu trên thế giới và Việt Nam đã quan tâm đến vấn đề phát hiện và phân loại phương tiện giao thông, tuy nhiên chưa có nghiên cứu đầy đủ nào quan tâm đến mức độ dày đặc của phương tiện trên đường, cũng như quan tâm đặc biệt đến phương tiện giao thông chủ yếu là xe máy và xe ô tô

Việc lựa chọn phương pháp, thuật toán, hay phối kết hợp các thuật toán sử dụng trong hệ thống giám sát tự động, cũng như cải tiến một số thông số kỹ thuật trong thuật toán mang lại lợi ích cho việc phát hiện và phân loại phương tiện giao thông trong bối cảnh Việt Nam là điều cần thiết có ý nghĩa cả về lý thuyết và thực tiễn

Bài toán phát hiện và phân loại phương tiện giao thông dựa trên video là xét xem tại một thời điểm, trong vùng quan tâm, có những loại phương tiện gì,

số lượng tương ứng Về ứng dụng, bài toán thuộc nhóm các ứng dụng liên quan

đến giao thông thông minh Bài toán được ứng dụng nhiều trong lĩnh vực quản

lý giao thông, trong nhiều hoạt động an ninh, quốc phòng, kinh tế xã hội, như cảnh báo trộm, cảnh báo cháy, giám sát bảo vệ các mục tiêu quan trọng, thu thập các chứng cứ tại những tình huống nhạy cảm

Yêu cầu cơ bản của bài toán phát hiện và phân loại giao thông là với dữ liệu đầu vào là video giao thông, yêu cầu đầu ra là loại phương tiện tham gia giao thông trong vùng quan sát (ô tô, xe máy và các phương tiện thô sơ khác)

Hướng tiếp cận giải quyết bài toán:

Thứ nhất, cần xem xét cấu trúc và phương pháp xử lý dữ liệu video Cấu

trúc dữ liệu video được kết cấu từ tập các khung hình, tốc độ hiển thị các khung hình trong một đơn vị thời gian (giây), mỗi khung hình là một ảnh tĩnh, Phương pháp xử lý dữ liệu video là việc xử lý lưu trữ, trích chọn khung hình, phân đoạn, phân tích, trích chọn đặc trưng dựa trên cơ sở dữ liệu (CSDL) tri thức có sẵn Từ những tập dữ liệu video, qua quá trình xử lý, mang lại những thông tin hữu ích theo mục đích yêu cầu của con người

Thứ hai, cần xác định tập các đặc trưng riêng có của video giao thông Các

đặc trưng của phương tiện chuyển động trong video được chia thành 2 mức tiếp cận: mức cục bộ và mức toàn cục Mức toàn cục quan tâm đến các đặc trưng toàn cảnh như nền, đối tượng chuyển động, khối, đốm sáng Mức cục bộ quan tâm đến các vấn đề xử lý hình dạng, khoảng cách, đường biên,

Đặc trưng tiếp cận ở mức toàn cục gồm:

 Vùng quan tâm (ROI), hướng quan sát, khoảng cách quan sát;

 Video và khung hình;

 Đối tượng chuyển động và nền (Moving Object and Background);

 Khối chuyển động (Block);

 Đốm sáng (Blob)

Đặc trưng ở mức toàn cục ảnh hưởng nhiều đến trích chọn đối tượng chuyển động ROI ảnh hưởng đến việc xét điểm bắt đầu và điểm kết thúc thời điểm quan sát, hướng quay ảnh hưởng đến hình dạng đối tượng; Video ảnh

hưởng đến chất lượng hình ảnh, độ phân giải, tốc độ hình; Khung hình được trích chọn từ video thành ảnh tĩnh để phân tích,

Đặc trưng tiếp cận ở mức cục bộ gồm:

 Đối tượng chuyển động và bóng của nó (Moving Object, Shadow);

 Độ dài (Visual Length);

 Hình dạng đối tượng (Edge, Contour), hình dạng và đường viền;

 Mức xám khu vực đèn trước/sau xe;

 Mức xám và đặc điểm khu vực biển số xe, kính trước xe;

 Các đường biên ngang trên xe

Đặc trưng ở mức cục bộ, đặc biệt là độ dài, hình dạng đối tượng, các đường biên bên ngoài và bên trong phương tiện là những đặc trưng quan trọng trong việc phân loại phương tiện Sử dụng một đặc trưng, hoặc kết hợp 2 hay nhiều đặc trưng và một số kỹ thuật liên quan để phân loại phương tiện là rất hiệu quả

Yếu tố ảnh hưởng đến phương pháp tiếp cận:

Về màu sắc phương tiện thay đổi liên tục theo thời gian, thêm vào đó có nhiều loại phương tiện có màu sắc tương đồng nhau, do vậy việc phân loại dựa trên màu sắc là khó khăn và không mang lại kết quả

Về hình dạng, các phương tiện có thể đi sát nhau trong khung hình quan sát, hợp thành các khối và dẫn đến khó xác định được chính xác đó là phương tiện gì bằng biện pháp thông thường Đặc biệt trong điều kiện giao thông tại Việt Nam, mật độ phương tiện di chuyển trên đường dày đặc về mật độ, đa dạng về chủng loại thì việc phân loại càng khó khăn Tuy nhiên hình dạng xe ô tô, hình dạng xe máy, phương tiện thô sơ khác là một tập có thể xác định kể cả khi chúng hợp khối

Ngoài việc xác định tập đặc trưng của phương tiện chuyển động trong video, để có thể nhận dạng, xác định mật độ phương tiện, cần xác định các yếu

tố, tình huống ảnh hưởng đến phương pháp xác định các tập thuộc tính liên quan đến phương pháp tiếp cận phát hiện và phân loại phương tiện giao thông

Tình huống liên quan đến chuyển động gồm:

 Đối tượng bắt đầu vào vùng quan sát;

 Đối tượng ra khỏi vùng quan sát;

 Đối tượng đang đi rồi dừng lại;

 Đối tượng đang dừng thì chuyển động;

 Nền động (dao động tự nhiên)

Tình huống liên quan đến khối chuyển động gồm:

 Các đối tượng di chuyển cạnh nhau tạo thành một khối đối tượng;

 Đối tượng đang di chuyển tách khối;

 Đối tượng đang di chuyển thì hợp khối

Tình huống liên quan đến chất lượng ảnh gồm nhiều yếu tố liên quan, nhưng chủ yếu là:

 Ánh sáng thay đổi;

 Điều kiện thời tiết

2 Mục tiêu nghiên cứu của luận án

- Mục tiêu chung: Từ dữ liệu video thu được từ các đường quốc lộ, tìm một

số thuật toán hợp lý để phân loại và xác định phương tiện chuyển động

- Mục tiêu cụ thể:

+ Lựa chọn và cải tiến phương pháp phát hiện phương tiện chuyển động phù hợp với môi trường ngoài trời, chịu tác động nhiều của sự thay đổi ánh sáng

+ Trích chọn các đặc trưng của phương tiện chuyển động, phân tích và biểu diễn đặc trưng phù hợp để đề xuất và áp dụng thuật toán phân loại phương tiện chuyển động

+ Trên cơ sở phân tích tập thuật toán, đề xuất sự cải tiến, kết hợp các thuật toán cho mục đích phát hiện, phân loại phương tiện giao thông trong điều kiện giao thông đông đúc và đa dạng về chủng loại phương tiện

3 Đối tượng và phạm vi nghiên cứu

Vấn đề "Nghiên cứu phát triển một số thuật toán phát hiện và phân loại

phương tiện từ dữ liệu video giao thông” được thực hiện chủ yếu trên môi

trường ngoài trời Dữ liệu video giao thông có thể thu được từ những cung đường khác nhau: từ các cung đường nông thôn (quận, huyện), từ các đường quốc lộ (cao tốc), từ các đường trong đô thị (thành phố) Trong điều kiện ở Việt Nam hiện nay, việc gắn các camera giao thông của các cơ quan quản lý và điều khiển giao thông ở các đường quốc lộ (đường cao tốc) là phổ biến, tập dữ liệu dùng cho việc thực nghiệm cũng thu được một cách dễ dàng hơn Dữ liệu video nghiên cứu trong luận án tập trung vào việc nghiên cứu dữ liệu video thu được

từ các cung đường quốc lộ Chẳng hạn như quốc lộ 1, quốc lộ 5 và một số đường

cao tốc mới xây dựng như đại lộ Thăng long, Bắc Thăng long - Nội bài

Luận án tập trung trình bày và giải quyết cốt lõi của hệ thống phát hiện và phân loại phương tiện giao thông thông qua quá trình xử lý hình ảnh và đưa ra thông tin Bản chất của quá trình này là: phân tách video thành các khung hình; phát hiện đối tượng chuyển động trong cảnh video; dựa vào các đặc trưng hình học, chuyển động để phân loại và kết hợp với những đặc tính không gian, thời gian khác để đếm các loại đối tượng chuyển động có trong video Đối tượng nghiên cứu của luận án gồm: Bài toán phát hiện, theo dõi và phân loại đối tượng chuyển động; Các công trình đã và đang nghiên cứu trong và ngoài nước về vấn

đề phát hiện, theo dõi và phân loại đối tượng chuyển động; Các thuật toán, phương pháp đã áp dụng trong vấn đề này Các đoạn video quay cảnh giao thông

Tổng quát lại, đây là một phạm vi rộng, bao gồm: phát hiện, phân loại và theo dõi đối tượng chuyển động Luận án tập trung vào việc nghiên cứu một số thuật toán phát hiện và phân loại đối tượng chuyển động trong vùng quan tâm; giải quyết vấn đề ô tô, xe máy trong video giao thông mà lưu lượng giao thông đông đúc ("dày đặc") có sự và "dính nhau" trong điều kiện Việt Nam

4 Phương pháp nghiên cứu

Thu thập và nghiên cứu tài liệu về các nghiên cứu đã thực hiện trên thế giới

và Việt nam về vấn đề giám sát thông minh bằng hình ảnh

Phân tích cấu trúc một hệ thống giám sát thông minh bằng hình ảnh; thống

kê, phân tích và đánh giá các phương pháp đã sử dụng; trên cơ sở đó thực hiện một số công việc giải quyết bài toán:

 Lựa chọn phương pháp phù hợp trong từng điều kiện hoàn cảnh khác nhau của bài toán giám sát tự động

 Phân tích và cải tiến hệ thống về mặt cấu trúc, quy trình, khung làm việc của hệ thống giám sát tự động

 Lựa chọn và đề xuất cải tiến một số thuật toán áp dụng

Thử nghiệm và đánh giá kết quả một số phương pháp đề xuất:

 Thu thập dữ liệu video trên một số cung đường tại đường quốc lộ

 Viết chương trình thử nghiệm bằng ngôn ngữ lập trình C++ trên môi trường NET

 Đánh giá và phân tích kết quả

5 Ý nghĩa khoa học và thực tiễn của luận án

 Đặc trưng khối chuyển động

 Đặc trưng hình dạng và kích thước đối tượng

 Đặc trưng luồng quang học

 Đặc trưng đường viền đối tượng

Đề xuất khung làm việc chung cho bài toán xác định mật độ phương tiện trong video giao thông

Ý nghĩa thực tiễn:

Mở ra khả năng tính toán mới để xác định đối tượng trong ảnh nhanh hơn;

có sự phân loại tốt hơn, tránh được những thông tin dư thừa do mật độ đối tượng

chuyển động dày đặc, đan xen gây ra phục vụ cho các ứng dụng thực tế như đo lưu lượng giao thông, xác định hiện trường tai nạn giao thông, chứng thực xe đã

đi qua đoạn đường trong khoảng thời gian t, phục vụ trong công tác an ninh

6 Cấu trúc của luận án

Phần mở đầu Giới thiệu tổng quát bài toán, phương pháp tiếp cận, phạm vi nghiên cứu, những thách thức đặt ra cho bài toán, hướng nghiên cứu, ý nghĩa khoa học, ý nghĩa thực tiễn của bài toán nghiên cứu

Chương 1 Tổng quan về bài toán phát hiện và phân loại phương tiện trong video giao thông Đặt vấn đề về bài toán nghiên cứu; trình bày kết quả của một

số nghiên cứu liên quan Đề xuất vấn đề nghiên cứu của luận án

Chương 2 Trình bày phương pháp trích chọn đặc trưng đối tượng chuyển động từ video Cải tiến phương pháp GMM thích nghi với ánh sáng thay đổi Áp dụng kết hợp GMM thích nghi với phát hiện luồng quang học để đếm số lượng

xe trong vùng quan tâm

Chương 3 Trình bày cách thức phân loại phương tiện giao thông thông qua một số phương pháp: tính toán độ dài; biểu diễn hình dạng đối tượng dựa trên vector khoảng cách từ tâm đến cạnh của đa giác xấp xỉ; kết hợp độ dài và vector khoảng cách để nhận dạng, phân loại phương tiện trong ảnh; Áp dụng một số tính chất của đường viền vector để phân loại phương tiện dựa trên độ dài và hình dáng đường viền dựa trên đối sánh ảnh

Phần kết luận Trình bày những đóng góp và hướng nghiên cứu phát triển tiếp theo của luận án

Chương 1 TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG

TIỆN GIAO THÔNG TỪ VIDEO

Chương này trình bày một số phương pháp, kỹ thuật xử lý, kết quả trong bài toán xác định mật độ phương tiện giao thông đã sử dụng Tập trung phân tích những kỹ thuật, phương pháp liên quan đến hướng tiếp cận của bài toán Bao gồm 3 nhóm phương pháp chính: phát hiện, phân loại và theo dõi Tuy nhiên những kỹ thuật liên quan đến máy camera, nén dữ liệu, tiền xử lý dữ liệu không được đề cập đến trong luận án này

1.1 Cơ sở lý thuyết và những khái niệm cơ bản

Hình 1.1 thể hiện cấu trúc tổng quát của dữ liệu Video: khung hình, cảnh quay, cảnh

Hình 1.1 Cấu trúc phân đoạn của video

Trong kỹ thuật xử lý dữ liệu video tác động đến nhiều thành phần và các đối tượng kéo theo của video như: cảnh, cảnh quay, khung hình, ảnh, điểm ảnh, ngưỡng, tách ngưỡng, đường viền, nền, phép cộng ảnh, phép nhân ảnh với 1 số Dữ liệu video và những thành phần liên quan được đặc tả hình thức bằng ngôn ngữ đặc tả hình thức RAISE như sau:

Point=Nat><Nat, /* Điểm ảnh là số nguyên thể hiện tọa độ dòng và tọa độ cột*/

Cycle ={|pl:Point-list:-Check_Cycle(pl)|} /*Một chu trình điểm ảnh khép kín */

Shotnumber:Scene->Nat

Shotnumber(s) is if s=< > then 0

else Shotnumber(hd(s))+Shotnumber(tl(s))

end, Shotnumber:Shot->Nat

Shotnumber(sh) is if sh=< > then 0

else 1+Shotnumber(tl(sh))

end, /* Định nghĩa phép tổng hai ảnh */

back:Shot->Image /* anh nen*/

back(sh) is if len(sh) = 1 then hd(sh)

else alpha*hd(sh)+(1.0-alpha)*back( tl(sh)) end,

pre len(pl)>0,

end

Đặc trưng của video: Bao gồm màu, kết cấu, hình dạng và chuyển động

- Màu (Color): Màu sắc là một đặc trưng cơ bản của ảnh Với ảnh thì lược

đồ màu là biểu diễn sự phân bố màu trong ảnh Biểu đồ màu không phụ thuộc vào việc quay ảnh, dịch chuyển ảnh, hướng ảnh mà phụ thuộc vào vào hệ màu

và các phương pháp lượng tử hóa ảnh được dùng

- Kết cấu (Texture): là một đặc trưng quan trọng của bề mặt khung hình,

nơi xảy ra việc lặp lại mẫu cơ bản Có hai dạng biểu diễn kết cấu phổ biến: ma trận đồng thời và Tamura Ma trận đồng thời mô tả hướng và khoảng cách giữa các điểm ảnh, ta có thể trích chọn được các thống kê có ý nghĩa Biểu diễn Tamura bao gồm các thuộc tính đo tính thô, độ tương phản, hướng, tính trơn, tính cân đối và độ thô ráp Các đặc tính này rất quan trọng trong việc tìm hiểu nội dung ảnh vì nó biểu diễn rất trực quan

- Hình dạng (Shape): đặc trưng hình dạng có thể được phân chia thành đặc

trưng toàn cục và đặc trưng cục bộ Đặc trưng toàn cục là đặc trưng thu được từ toàn bộ hình dáng đối tượng trong ảnh (Ví dụ: chu vi, tính tròn, hướng trục chính ) Đặc trưng cục bộ là đặc trưng thu được từ việc thao tác với một phần của ảnh, không phụ thuộc vào toàn bộ ảnh

- Chuyển động (Motion): Là thuộc tính quan trọng của video Các đặc

trưng chuyển động như mô-men của trường chuyển động, biểu đồ chuyển động, các tham số chuyển động toàn cục có thể được trích chọn từ vectơ chuyển động

Mô-men bất biến

1.1.2.

Mô-men có nhiều ứng dụng trong kỹ thuật phân đoạn ảnh, đối sánh ảnh và nhận dạng ảnh Năm 2004, Chee-Way Chong and và cộng sự nghiên cứu về lý thuyết môn men và ứng dụng [6] Từ những năm 1962, tác giả Hu M K [13] đã

đề cập đến vấn đề hệ số tương quan trong kỹ thuật phân đoạn ảnh Dựa vào tính chất bất biến và hệ số tương quan của mô-men để đối sánh và phân loại đối tượng trong ảnh theo hình chiếu đối tượng trong không gian 2D

Ứng dụng của mô-men bất biến trong nhận dạng ảnh:

Mô-men bất biến thường được dùng để trích đặc điểm trong xử lý ảnh, và ghi nhận hình dạng đối tượng và phân lớp Mô-men có thể cung cấp các đặc điểm của một đối tượng duy nhất mô tả hình dạng của đối tượng

Hình dạng đối tượng không phụ thuộc vào 3 dạng biến đổi: chuyển đổi (thay đổi vị trí), co giãn (thay đổi kích thước) và hướng (biến đổi quay) Hình 1.2 thể hiện sự bất biến đối với phép biến đổi trong không gian 2 chiều

Tính bất biến của chuyển đổi vị trí được xác định bởi mô-men đã được chuẩn hóa là trọng tâm của đối tượng Tính bất biến của biến đổi kích thước đối tượng là sự bất biến của các giá trị đại số liên quan đã được chuẩn hóa

Một vấn đề thiết yếu trong lĩnh vực phân tích mẫu là việc ghi nhận đối tượng và đặc điểm ký tự cho dù đối tượng đó thay đổi vị trí, thay đổi kích thước hay là biến đổi hướng Mô-men bất biến được tính toán cơ bản dựa trên các thông tin được cung cấp bởi đường biên và miền bên trong của đối tượng

Hình 1.2 Các biến đổi hình dáng đối tượng trong không gian 2D

Hình dạng và Khối đối tượng chuyển động

1.1.3.

Định nghĩa 1.2 Khối đối tượng chuyển động

Khối đối tượng chuyển động là tập hợp các điểm ảnh của các đối tượng chuyển động được trích ra từ các khung hình sau khi loại bỏ các đối tượng không chuyển động Khối đối tượng chuyển động có thể gồm một đối tượng độc lập, hoặc có thể là một tập hợp các đối tượng dính nhau, che khuất nhau một phần Gọi I là khung hình trích ra từ video, B là các đối tượng không chuyển động, X là khối đối tượng chuyển động,  là ngưỡng sai số cho phép Khi đó:

- Phân rã X thành các khối con: X=X1+ + Xn, với tiêu chuẩn phân rã là một ngưỡng xác định để các điểm ảnh tạo thành một khối

- Gán nhãn cho các khối con: Xác định đối tượng có trong khối

Định nghĩa 1.3 Hình dạng khối đối tượng

Hình dạng khối đối tượng [30] là một đa giác được xấp xỉ lên đường biên của nó Biên đối tượng trong ảnh là một tập hợp các điểm ảnh phân biệt giữa vùng bên trong và bên ngoài đối tượng Gọi X là đường biên của đối tượng, DG

là đa giác xấp xỉ lên đường biên đối tượng, DT(X) là diện tích khối ảnh đối tượng, DT(DG) là diện tích của đa giác xấp xỉ lên X Khi đó:

DT(X)  DT(DG) + , với  là ngưỡng xác định cho phép sai số

Đường viền đối tượng

1.1.4.

Định nghĩa 1.4 Đường viền

Tập hợp tất cả các điểm biên của đối tượng, tạo thành một đường khép kín bao quanh đối tượng gọi là đường viền của đối tượng, hay nói cách khác đường viền của một đối tượng là đường biên khép kín bao quanh đối tượng [30]

Một số đặc tính của đường viền như độ dài, hình dáng, trọng tâm diện tích bên trong, rất có ích để tính toán, nhận diện đối tượng là gì Biểu diễn đường viền trong ảnh có nhiều cách khác nhau Trong các hệ thống thị giác máy tính, một vài định dạng mã hóa đường viền được sử dụng như mã hóa Freeman, mã hóa 2 chiều, mã hóa đa giác thường được sử dụng

Phân tích đường viền (CA) [30] cho phép mô tả, lưu trữ, so sánh và tìm ra các đối tượng biểu diễn dưới dạng đường viền Đường viền chứa thông tin cần thiết về hình dạng đối tượng Không quan tâm nhiều đến các điểm bên trong của đối tượng Các trường hợp không quan tâm nhiều đến vùng bên trong đối tượng nhưng quan tâm nhiều về thể hiện đường viền bên ngoài thì cho phép chuyển về không gian 2 chiều của ảnh tức là không gian đường viền, từ đó cho phép giảm thời gian tính toán và độ phức tạp tính toán CA cho phép giải quyết hiệu quả các bài toán cơ bản của nhận dạng mẫu – biến đổi, quay và tỷ lệ của ảnh đối tượng Phương pháp CA là bất biến đối với phép biến đổi

Một phương pháp biểu diễn đường viền được đề nghị là biểu diễn bằng một dãy các số phức (Xem Hình 1.3) Trên một đường viền, điểm bắt đầu cần được xác định Tiếp theo, đường viền sẽ được quét (xoay theo chiều kim đồng hồ), và mỗi vector được biểu diễn bằng một số phức a+ib Với a, b là điểm tương ứng trên trục x, y Các điểm được biểu diễn kế tiếp nhau

Hình 1.3 Biểu diễn đường viền bằng vector số phức

Do tính chất vật lý của các đối tượng ba chiều, đường viền của chúng luôn khép kín và không tự giao nhau Nó cho phép xác định rõ ràng việc duyệt qua

một đường viền (xuôi/ngược chiều kim đồng hồ) Vector cuối cùng của một đường viền luôn luôn dẫn đến điểm khởi đầu

Định nghĩa 1.5 Đường viền vector

Đường viền được biểu diễn dưới dạng một tập các véc tơ số phức được gọi

là đường viền vector (VC) [31] Một vector thành phần của VC được gọi là vector cơ sở (EV)

Đường viền vector VC ký hiệu bằng chữ cái Γ và EV ký hiệu là  Khi đó,

Γ có độ dài p có thể được xác định là:

=(0, 1, , p-1) Thao tác trên đường viền như là thao tác trên vector số phức có chứa nhiều đặc tính toán học hơn là các mã biểu diễn khác Về cơ bản, mã số phức là gần với mã hai chiều khi mà đường viền được định nghĩa phổ biến bằng EV trong tọa độ 2 chiều Nhưng sự khác biệt giữa thao tác tỷ lệ của các vector đối với số phức là khác nhau Trường hợp này cũng ưu tiên cho các phương pháp CA Rohit Kolar và cộng sự, năm 2014, trong công trình [31] đã định nghĩa nhiều khái niệm liên quan đến phương pháp CA như là: tích vô hướng của đường viền vector, tích vô hướng chuẩn hóa, hàm tương quan, hàm tự tương quan,

Định nghĩa 1.6 Tích vô hướng của đường viền vector [31]

Hai số phức của 2 đường viền Γ và N, tích vô hướng (TVH) của nó là:

( ) ∑ ( ) (1.1) với p – kích thước của VC, γn là EV của đường viền Γ, νn là EV của đường viền N (γn, νn) là TVH của hai số phức

Tính chất TVH của đường viền:

TVH của các số phức được tính bằng biểu thức liên hợp [37]:

(a+ib, c+id) = (a+ib) (c-id) = ac + bd + i(bc-ad) (1.2) Trong CA thì VC có chiều đồng nhất, vì thế số EV là trùng nhau

Nếu ta nhân một EV đơn giản như một vector, TVH của chúng:

((a,b),(c,d))=ac + bd (1.3)

So sánh công thức này với công thức (1.2) chú ý rằng:

- Kết quả TVH của các vector là một số thực Và kết quả tích của các số phức là một số phức

- Phần thực của TVH của các số phức trùng với TVH của các vector phù hợp Tích số phức bao gồm TVH vector

Theo đại số tuyến tính, để xác định được chính xác chiều vật lý và các đặc tính của TVH TVH bằng với tích của độ dài vector của góc cosin ở giữa trong đại số tuyến tính Tức là 2 vector vuông góc sẽ luôn có TVH bằng 0 Ngược lại, tích của vector thẳng hàng sẽ cho giá trị TVH tối đa

Những đặc tính của TVH được sử dụng để đo lường độ gần của các vector Nếu tích càng lớn, góc giữa các vector càng nhỏ, các vector này càng gần nhau Với những vector vuông góc, tích này bằng 0, và hơn nữa có thể nhận giá trị âm cho những vector có hướng khác nhau TVH cũng có các đặc tính tương tự

3 Quay ảnh theo một góc độ nào đó tương đương với quay mỗi EV của đường viền trên cùng góc độ đó

4 Việc thay đổi điểm khởi đầu tiến hành theo vòng tròn VC Vì các EV được mã hóa liên quan đến các điểm trước đó, điều này rõ ràng là thay đổi điểm khởi đầu, trình tự của một EV sẽ là như nhau, nhưng EV đầu tiên sẽ là bắt đầu từ điểm khởi đầu

5 Thay đổi tỷ lệ ảnh nguồn có thể được coi là phép nhân của mỗi EV của đường viền với một hệ số tỷ lệ

Chứng minh:

Gọi tọa độ các điểm biên là z1, z2, z3, z4,…zn, z1 Khi quay zp góc  ta được điểm ei 

zp tương tự như vậy các véc tơ hướng biên dp sẽ biến thành ei dp

Do đó từ đầu tiên có dãy d1 d2 d3 dn thì sau biến đổi sẽ là d’1 d’2 d’3 d’n d’1 Trong đó d’p= e-i dp

|∑

| là hằng số với các phép quay ,

Đây là điều cần chứng minh

Định nghĩa 1.7 Tích vô hướng chuẩn hóa đường viền [31]

Tích vô hướng chuẩn hóa (NSP):

Do đó dạng chuẩn của NSP đạt giá trị max, chỉ khi đường viền Γ giống với đường viền N, nhưng xoay theo một số góc và tỉ lệ bởi một hệ số xác định

Hình 1.4 thể hiện giá trị NSP, |NSP| trên đường viền vector

Hình 1.4 NSP trên đường viền vector

Ví dụ, coi một TVH của một đường viền với chính nó, nhưng xoay một góc nhất định:

Nếu nhân NSP của một vector với chính nó, ta sẽ nhận giá trị NSP=1 Nếu xoay đường viền một góc 90o, sẽ nhận giá trị NSP=0+I, xoay một góc 180 độ nhận giá trị NSP=-1 Do vậy, phần thực của một NSP sẽ cho ta cosin của góc giữa các đường viền, và chuẩn của NSP luôn bằng 1

Nếu tăng VC với một hệ số thực nào đó, thì giá trị NSP=1 (công thức 1.9) NSP thì bất biến đối với phép dịch chuyển, xoay và tỷ lệ của đường viền

Do vậy, chuẩn của NSP của đường viền cho giá trị đồng nhất chỉ khi 2 đường viền này bằng nhau cả về độ xoay và tỉ lệ Mặt khác chuẩn của NSP sẽ bị giới hạn ít đồng nhất hơn

Chuẩn NSP là bất biến trong phép chuyển dịch, xoay và tỉ lệ của đường viền Nếu 2 đường viền tương đồng nhau, NSP của chúng sẽ luôn cho giá trị đồng nhất, không phụ thuộc vào vị trí của đường viền, hay độ xoay của góc và tỉ

lệ của chúng Tương tự, nếu các đường viền khác nhau, NSP sẽ bị giới hạn nhỏ hơn 1, và độc lập trong không gian, độ xoay và tỉ lệ

Chuẩn của NSP là phép đo độ gần của các đường viền Chuẩn đưa ra giá trị

đo của một đường viền và tham số của một NSP (bằng atan(b/a)) – đưa ra một góc xoay của đường viền

Định nghĩa 1.8 Hàm tương quan của 2 đường viền [31]

Hàm tương quan ICF của 2 đường viền:

(m) = (,N(m)), m=0, ,p-1 (1.7) Trong đó N(m): là đường viền nhận từ N bởi vòng dịch chuyển bởi vector cơ

sở EV của chính nó trên m phần tử

Ví dụ, nếu N = (n1, n2, n3, n4), N(1) = (n2, n3, n4, n1), N(2) = (n3, n4, n1, n2),… Giá trị của hàm tương quan chỉ ra đường viền Γ và N giống nhau thế nào nếu chuyển điểm bắt đầu N vào vị trí M

ICF được định nghĩa trên một tập số nguyên nhưng vòng tròn chuyển dịch trên tập p dẫn tới đường viền khởi tạo ICF là một chu kỳ, với giai đoạn p Do đó

ta thấy giá trị của hàm này chỉ giới hạn từ 0 cho tới p-1 Độ lớn của chuẩn tối đa giữa các giá trị của ICF:

( ( )) (1.8)

Từ việc xác định một NSP và một ICF, có thể thấy τmax là giá trị đo lường

sự giống nhau của 2 đường viền, bất biến với việc dịch chuyển, xoay, tỉ lệ và sự thay đổi điểm khởi đầu

Chuẩn |τmax| chỉ ra mức độ giống nhau của đường viền và đạt được sự đồng nhất cho đường viền giống nhau, và tham số arg(τmax) cho thấy một góc xoay của một đường viền so với những đường viền khác Độ lớn tối đa của chuẩn ICF được tính bằng sự giống nhau của 2 đường viền Độ lớn tối đa của chuẩn ICF là bất biến với phép dịch chuyển, tỉ lệ, xoay và thay đổi điểm khởi đầu

NSP là được sử dụng trong các công thức để tìm đường viền tương tự nhau Nhưng có một vấn đề, là một trường hợp không cho phép sử dụng trực tiếp Trường hợp này là việc chọn điểm khởi đầu:

Phương trình (1.9) chỉ có thể đạt được khi và chỉ khi điểm khởi đầu của đường viền là trùng nhau Nếu đường viền là đồng nhất nhưng EV bắt đầu với một điểm khác, chuẩn NSP của đường viền sẽ không bằng với giá trị đồng nhất

Định nghĩa 1.9 Hàm tự tương quan của đường viền [31]

Hàm tự tương quan (ACF) là hàm tương quan và có N=Γ TVH của đường viền trên chính nó tại các dịch chuyển khác nhau của điểm khởi đầu được tính theo công thức:

(m) = (, (m)

), m=0, ,p-1 (1.9) Một số đặc tính của ACF:

1 ACF không phụ thuộc vào việc chọn điểm khởi đầu của đường viền Dựa trên việc xác định TVH (1.2), có thể thấy việc thay đổi điểm khởi đầu dẫn tới sự thay đổi thứ tự của phần tử khả tổng và không làm thay đổi tổng

2 Chuẩn ACF có liên quan đối xứng tới quy chiếu trung tâm p/2 Vì ACF

là tổng của tích đôi một EV của một đường viền mà mỗi cặp sẽ giao nhau 2 lần trong một khoảng thời gian từ 0 đến p

Ví dụ, N = (n1, n2, n3, n4), ta có thể viết giá trị của một ACF cho các giá trị m khác nhau

là một ký hiệu số phức liên hiệp

Và |a*|=|a| cho thấy chuẩn ACF(1) và ACF(3) là tương đồng Tương tự, chuẩn ACF(0) và ACF(4) là tương đồng

Thêm vào đó, với 1 ACF ta sẽ hiểu chỉ một phần của hàm trong một khoảng thời gian từ 0 đến p/2 như một phần còn lại của hàm là đối xứng với phần đầu tiên

1 Nếu đường viền có nhiều đối xứng để xoay thì ACF của chúng sẽ có đối xứng tương tự nhau Ví dụ, xét đồ họa một ACF cho một số đường viền (Hình 1.5) sau:

Hình 1.5 Biểu diễn đường viền và lược đồ xám

Trong ảnh trên, chuẩn của ACF được thể hiện bằng màu xanh đậm (1 ACF được thể hiện cho một khoảng thời gian từ 0 đến p/2) Tất cả các đường viền, ngoại trừ đường viền cuối cùng có đối xứng xoay cái mà ACF dẫn tới đối xứng Đường viền cuối cùng không có đối xứng và biểu đồ ACF của nó không có đối xứng

2 Có thể coi một đường viền ACF là một đặc tính của hình dạng của đường viền Đường viền gần tròn có các giá trị duy nhất của chuẩn ACF Hình dạng thon hẳn về một hướng, có độ nghiêng ở phần trung tâm 1 ACF (hình 1.6) Hình dạng này thay đổi theo vòng, lần lượt, có giá trị cực đại ACF ở một vị trí thích hợp

3 Chuẩn ACF không phụ thuộc vào tỉ lệ, vị trí, xoay và việc chọn điểm bắt đầu của đường viền

Nền và đối tượng chuyển động

1.1.5.

Nền hay hình nền [24] là các hình đại diện cho một quang cảnh trong video khi không có đối tượng chuyển động và phải được giữ cập nhật thường xuyên để thích ứng với các điều kiện khác nhau về ánh sáng Nói cách khác trong video,

nền là những đối tượng đứng yên không chuyển động Trên thực tế khó có một nền có được các đối tượng đứng yên tuyệt đối, mà luôn có những dao động nhỏ như cành lá cây đung đưa, mặt nước có sóng, đối tượng đang đi thì đứng lại, hoặc đang đứng yên lại chuyển động Trong các kỹ thuật phát hiện đối tượng chuyển động thường sử dụng phép lấy nền là trung bình của các nền theo thời gian bằng các cách khác nhau Tuy nhiên nền tối ưu là nền có độ lệch so với nền trung bình là bé nhất

Một trong những thao tác cơ bản trong xử lý video là tách đối tượng chuyển động ra khỏi nền Nhiều phương pháp đã sử dụng trong đó có các phương pháp trừ nền Thường được thực hiện bằng cách gán nhãn cho các điểm ảnh trong các khung hình Điểm ảnh thuộc đối tượng chuyển động được gán nhãn là "1" và thuộc nền được gán nhãn là "0"

Entropy của khối

1.1.6.

Định nghĩa 1.10 Entropy

Entropy [28] là một đại lượng toán học dùng để đo lượng tin không chắc chắn (hay lượng ngẫu nhiên) của một sự kiện hay của phân phối ngẫu nhiên cho trước

Yu-Kumg Chen, Tung-Yi Cheng, Shuo-Tsung Chiu (2009), trong công trình [28] đã đề xuất phương pháp phát hiện chuyển động sử dụng lý thuyết Entropy

Entropy của x là giá trị kỳ vọng của biến ngẫu nhiên mà x có thể nhận Trong trường hợp này, biến x là độ lệch về màu sắc giữa khung hình mới đến và khung hình hiện thời Nếu độ lệch màu sắc không có biến đổi gì hoặc giá trị độ lệch chỉ nằm trong 1 khoảng duy nhất (Entropy nhỏ hơn một ngưỡng cho trước) thì ta coi như không có sự thay đổi về màu sắc của x Ngược lại, nếu Entropy lớn hơn ngưỡng trên thì có thể kết luận đã có sự sai khác về màu sắc của x Trong bài toán phát hiện chuyển động, có thể sử dụng giá trị Entropy để xác định xem những điểm ảnh có phải của đối tượng chuyển động không Khi giá trị Entropy của điểm ảnh có sự thay đổi ở một ngưỡng nào đó, thì có thể kết

luận đây là điểm ảnh của đối tượng chuyển động, ngược lại, giá trị Entropy này không thay đổi hoặc thay đổi trong một khoảng nhỏ nào đó (nhỏ hơn giá trị của ngưỡng) xác định đây không phải là điểm ảnh của đối tượng chuyển động

Tính giá trị Entropy của một phân phối:

Xét biến ngẫu nhiên X có phân phối:

H(X) = H(p1, p2, p3, …,pn) = p1h(p1) + p2h(p2) + … + pnh(pn) Tổng quát Entropy của X là: ( ) ∑ ( )

Dạng giải tích của Entropy:

( ) ( ) ∑ ( ) (1.10) trong đó C = const > 0; cơ số logarithm là bất kỳ

Bổ đề: h(p)=-Clog(p)

Trường hợp C = 1 và cơ số logarithm = 2 thì đơn vị tính là bit

Khi đó: h(p)=-log(p) (đvt: bit) và Entropy của X là:

( ) ( ) ∑ ( ) (1.11)

Sử dụng giá trị Entropy của độ lệch (hiệu tuyệt đối) giữa khung hình hiện thời và nền, hay nói khác đi đó chính là độ lệch về màu sắc của hai khung hình video Việc xác định giá trị Entropy của độ lệch này là cơ sở để xác định những điểm ảnh của đối tượng chuyển động

Sau khi xây dựng được nền tối ưu Bt(x,y) tương ứng với mỗi khung hình hiện thời It(x,y), tính hiệu tuyệt đối Δt(x,y) giữa mô hình nền tối ưu và khung hình hiện thời:

( ) ( ) ( ) (1.12) Khối ảnh, thường được sử dụng trong xử lý hình ảnh và bao đối tượng chuyển động trong phát hiện chuyển động [22] Giả sử ký hiệu một khối ảnh có chiều dài và rộng bằng nhau, được ký hiệu là ww, giá trị mức xám điểm ảnh trong khối là ww(i,j) với i,j=1 n, với n là kích thước của khối

Giả sử, với mỗi khối ww(i,j) với hiệu tuyệt đối Δt(x,y) được tạo thành bởi vector xám rời rạc cấp V {L0, L1, …, LV-1} Hàm mật độ xác suất của những điểm ảnh có mức xám h của khối ww(i,j): ( ) được định nghĩa như sau:

( ) ( ) (1.13) Trong đó: h là phần tử tùy ý của {L0, L1, …, LV-1} đại diện cho bất kỳ vector mức xám trong mỗi khối ww(i,j); ( ) là số pixel tương ứng với mức xám h tùy ý; Coi h0 khi h<,  là giá trị ngưỡng chuyển động đối với cấp xám rời rạc

Như vậy, giá trị Entropy của khối theo định nghĩa được tính bởi:

Khi tính giá trị Entropy của khối A(i,j) lớn hơn T (T là ngưỡng cho các giá

trị Entropy), khối A(i,j) được gán bằng ‘1’, có nghĩa A(i,j) chứa những điểm ảnh của đối tượng chuyển động Ngược lại, A(i,j) gán bằng ‘0’, có nghĩa khối đó không chứa điểm ảnh của đối tượng chuyển động

Biểu diễn hình dạng đối tượng theo vector khoảng cách

1.1.7.

Trong công trình [26] của Yigithan Dedeoglu, đã định nghĩa khái niệm về khoảng cách giữa các điểm ảnh, véc tơ trọng tâm đối tượng

Một số vấn đề đặt ra với việc xấp xỉ đối tượng bằng hình dạng:

- Xấp xỉ hình dạng của đối tượng bằng đa giác

- Theo định nghĩa 1.3, tham số  càng bé thì mức độ xấp xỉ càng chính xác, tuy nhiên ảnh hưởng đến độ phức tạp tính toán

- Xác định các đỉnh của đa giác Đỉnh của đa giác được thiết lập khi có sự thay đổi về hướng của đường biên đối tượng

- Xác định điểm trọng tâm của đa giác Điểm trọng tâm được tính toán theo phương pháp hình học phẳng

- Xác định độ dài khoảng cách từ tâm của đa giác lên cạnh của đa giác xấp

xỉ Cần xác định số lượng các điểm chia trên mỗi cạnh của đa giác để tính độ dài khoảng cách

- Xác định điểm bắt đầu biểu diễn xấp xỉ đa giác

- Đối tượng hoàn toàn có thể biểu diễn bằng một chuỗi độ dài các khoảng cách Từ đây có thể thay thế thao tác trên hình học bằng thao tác trên đại số và

có thể lập trình trên máy tính để xác định, kết luận về đa giác xấp xỉ

Xấp xỉ hình dạng đối tượng bằng đa giác:

Biên của đối tượng trong ảnh là đường phân cách giữa đối tượng với nền và các đối tượng khác trong ảnh Giữa biên và nền giá trị mức xám các điểm ảnh thường có sự thay đổi đột ngột Trong xử lý ảnh, bài toán tìm biên của đối tượng

có nhiều phương pháp khác nhau như kỹ thuật Prewitt, Sobel, Laplace, Canny Tuy nhiên theo hướng tiếp cận phương pháp trừ nền thì thu được mặt nạ đối tượng và nền là tách nhau, nên không sử dụng các kỹ thuật Prewitt, Sobel, Laplace, Canny Sau khi có mặt nạ đối tượng chuyển động, trích chọn lấy đường biên, thực hiện xấp hình dạng đối tượng bằng đa giác bằng một số phương pháp chẳng hạn như phương pháp đơn giản hóa đường cong theo thuật toán Douglas Peucker [29]

Về xấp xỉ hình dạng bằng đa giác, năm 2001, George S.K Fung và cộng sự

đã nghiên cứu các phương pháp xấp xỉ hình dạng phương tiện từ chuyển động cho các hệ thống giám sát giao thông bằng hình ảnh [11]

Vector hóa hình dạng đối tượng:

Cho một bức hình chứa một đối tượng, với bố cục nền không phức tạp, dễ dàng phát hiện được biên đối tượng, và trích chọn nội dung đối tượng để làm đặc trưng cho bức ảnh Phương pháp biểu diễn hình ảnh thông qua lược đồ khoảng cách thực hiện dựa trên các hình đa giác và trọng tâm của đa giác (thuộc tính hình học)

a) Đường tròn gốc b) Với 4 điểm cơ bản c) 8 điểm cơ bản d) 16 điểm cơ bản

Hình 1.6 Mô tả hình dạng hình tròn

Hình 1.6 cho thấy, khi số lượng điểm cơ bản trên biên của hình tròn càng tăng thì hình mô tả sẽ gần giống hơn đối với hình ảnh gốc, và các điểm biên cơ bản này luôn được căng đều trên biên, đồng thời dây cung nối giữa các điểm này

sẽ tạo lên đường mô phỏng hình dạng gốc

Hình 1.7 cho thấy, với một hình dạng khối đối tượng bất kỳ, có thể xấp xỉ bằng một đa giác n cạnh

Công việc xác định điểm cơ bản được thực hiện bằng cách, duyệt lần lượt các điểm ảnh biên theo thứ tự ngược chiều kim đồng hồ hoặc xuôi chiều kim đồng hồ Thu được tổng số điểm ảnh trên biên của đối tượng, sau đó chia đều theo số điểm cơ bản cho trước theo công thức sau:

với Lrounded là khoảng cách giữa các điểm cơ bản trên biên đã được làm tròn, Lsum là tổng chiều dài của biên ảnh, N là số lượng điểm cơ bản cho trước

Cho hình đa giác bất kỳ, có các đỉnh (xi,yi) với i = 0,1,2,…n, x0=xn,y0=yn

Hình 1.7 Đa giác xấp xỉ đối tượng có n cạnh

Diện tích của đa giác:

∑ ( ) (1.17) Xác định tọa độ trọng tâm của đa giác theo công thức (định lý Green):

̅ ∑ (( )( ))

∑ ( )

̅ ∑ (( )( ))

∑ ( ) (1.18) Điểm mẫu là tập hợp các điểm được chọn trên đường biên của hình dạng để

mô tả đầy đủ cho một hình dạng (Hình 1.8) Nếu một đa giác có chiều dài các

cạnh là Li(i=1 n), tổng chiều dài của tất cả cạnh là Lsum và số lượng điểm mẫu

cần lấy để tính toán là N thì số lượng điểm mẫu sẽ là Ni tương ứng với cạnh thứ

i là:

N (1.19) Khoảng cách từ điểm mẫu có tọa độ si = (xi,yi) và trung tâm đa giác có tọa

độ c=(xc,yc), được tính theo công thức Ơclit:

( ) √( ) ( ) (1.20)

Hình 1.8 Điểm mẫu căng đều trên mỗi cạnh biên

Lược đồ là một công cụ miêu tả các thuộc tính của dữ liệu Các điểm mẫu

sẽ được đặt cách đều nhau trên biên của đa giác, đặt khoảng cách giữa hai điểm mẫu kề nhau là D, và tổng độ dài của biên sẽ là Dmax, phân tách D thành nhiều phần thông qua các điểm mẫu Dãy sau thể hiện phân tách biên thành R thành phần:

[ ] [ ] [ ] [( ) ]

(1.21)

e) Chuẩn hóa

Gọi D[i] là tập giá trị khoảng cách từ tâm C đến các điểm mẫu trên biên Ta

có tập DS (chuẩn hóa) được chuẩn hóa [ ] { [ ] }

Sau quá trình chuẩn hóa, tất cả khoảng cách chuẩn hóa thu được sẽ nằm trong khoảng [0,1] Bởi vì việc gán điểm mẫu dựa trên chiều dài của biên, và căng đều chúng trên biên, hai đa giác có kích thước khác nhau nhưng hình dạng giống nhau sẽ sinh ra giá trị khoảng cách chuẩn hóa Do đó, phương pháp này là bất biến đối với tỷ lệ sau khi chuẩn hóa

Độ đo tương tự của các đối tượng:

Lược đồ khoảng cách của một đa giác có thể được mô tả bằng: (d0,d1,d2,d3,…dn), n là số lượng khoảng cách trong lược đồ và di, i  [0, n-1] là

số khoảng cách trong vùng khoảng cách này Theo đó cho hai đa giác D1 và D2

với lược đồ khoảng cách tương ứng là D1: (d11,d12,d13,…,D1n) và D2: (d21,d22,d23,…,d2n), có độ tương tự được tính theo khoảng cách Ơclit:

( ) √∑ ( )

Đánh giá về vector hóa hình dạng đối tượng:

Biểu diễn hình dạng đối tượng theo trọng tâm và khoảng cách từ tâm đến biên đối tượng, áp dụng các tính chất bất biến quay, bất biến tỷ lệ của mô-men mang đến khả năng nhận dạng và phân loại đối tượng theo hình dạng Điều này

có thể áp dụng phân loại phương tiện giao thông trên đường trong trường hợp đông đúc, có sự chồng lấp lên nhau về hình dạng sau khi thực hiện phát hiện khối chuyển động Trong điều kiện giao thông đô thị đông đúc, các xe ô tô, xe máy, người đi bộ có thể đi sát nhau và tạo thành các khối chuyển động có hình dạng phức tạp và khó có thể phân định được bằng các phương pháp thông thường Để thực hiện nhận dạng và xác định số lượng đối tượng có thể áp dụng thuật toán máy học Tạo ra một tập huấn luyện các khả năng có thể, sau đó đối sánh và kết luận về số lượng phương tiện chuyển động

1.2 Một số phương pháp và công trình nghiên cứu liên quan

Trên thế giới, nhiều công trình nghiên cứu về hệ thống giám sát giao thông tự động đã công bố và có những kết quả xác định Ví dụ như hệ thống đếm xe ô tô của Clement Chun Cheong Pang và cộng sự [8]; hệ thống phát hiện

và phân loại xe dựa trên video của nhóm Guohui Zhang, trường đại học Washington [12]; hệ thống tích hợp phát hiện, theo dõi và phân loại cho mục đích giám sát video thông minh của Yigithan Dedeoglu [26], năm 2004

Ở Việt nam gần đây, cũng đã có những công trình nghiên cứu về vấn đề này, một vài nghiên cứu đã triển khai ứng dụng hiệu quả trong công tác quản lý giao thông Năm 2014 nhóm Phạm Hồng Quang, Tạ Tuấn Anh, xây dựng cấu trúc hệ thống giao thông thông minh và các quy chuẩn công nghệ thông tin, truyền thông, điều khiển áp dụng trong hệ thống giao thông thông minh tại Việt Nam thuộc đề tài KC01.14/11-15, Trung tâm Tin học và Tính Toán, Viện Hàn