Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh

Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh TIỂU LUẬN TỔNG QUAN Chuyên ngành: CƠ SỞ TOÁN HỌC CHO TIN HỌC Mã số: 62.46.01.10 NCS.. Mục đí

Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống

giám sát thông minh

TIỂU LUẬN TỔNG QUAN

Chuyên ngành: CƠ SỞ TOÁN HỌC CHO TIN HỌC

Mã số: 62.46.01.10

NCS NGUYỄN VĂN CĂN

Nội dung trình bày

1 Phần mở đầu

2 Đặt bài toán

3 Tình hình nghiên cứu trong và ngoài nước

4 Một số phương pháp, thuật toán đã sử dụng

5 Phần kết luận

Phần 1

Phần mở đầu

1 Lý do chọn vấn đề nghiên cứu

• Luận văn tiến sĩ: Nghiên cứu một số thuật toán xác định mật độ phương tiện giao thông trong video giao thông

• Video giao thông => hệ thống giao thông thông minh

• Phương tiện giao thông=>xe ô tô, mô tô, xe máy, người đi bộ

• Xác định mật độ => Đếm số lượng phương tiện

=> Phát hiện, phân loại, theo dõi, thực hiện đếm

2 Mục đích nghiên cứu

• Trên cơ sở tìm hiểu bài toán Phát hiện, theo dõi,

và phân loại đối tượng chuyển động;

• Trên cơ sở tìm hiểu những nghiên cứu trước đây trong và ngoài nước về vấn đề này;

• Tiến hành thống kê, phân tích phương pháp,

thuật toán, kết quả đạt được

• Những vấn đề có thể cải tiến, khắc phục hạn chế,

đề xuất một số cải tiến, phương pháp mới để

nâng cao độ chính xác, tốc độ xử lý của thuật

toán

3 Đối tượng nghiên cứu

• Bài toán phát hiện, theo dõi và phân loại đối

tượng chuyển động

• Các công trình đã và đang nghiên cứu trong và ngoài nước về vấn đề phát hiện, theo dõi và

phân loại đối tượng chuyển động

• Các thuật toán, phương pháp đã áp dụng trong vấn đề này

4 Phạm vi nghiên cứu:

• Bài toán liên quan đến video quay ở chế độ

Outdoor

• Quá trình xử lý hình ảnh và đưa ra thông tin

– Phân tách video thành các khung hình

– Phát hiện đối tượng chuyển động trong cảnh

video

– Phân loại dựa vào các đặc trưng hình học,

chuyển động

– Theo dõi chuyển động dựa vào đặc tính không

gian, thời gian

Phần 2

Đặt bài toán

Lĩnh vực nghiên cứu

• Nhận dạng ảnh là công đoạn cuối cùng và quan trọng trong hệ thống xử lý ảnh

Dữ liệu đầu vào là video

Khung khai

phá dữ liệu

video

Dữ liệu đầu ra là dữ liệu đối tượng quan

tâm

Nhận dạng video

Thu nhận video

Nén dữ liệu

lý

Tách nền

Phân đoạn Phân loại

Theo dõi

Phát hiện

Lĩnh vực nghiên cứu liên quan

Ứng dụng của nhận dạng ảnh và video trong thực tế

Surveilance: giám sát Autonomous navigation: chuyển hướng tự động Robot guidance: Hướng dẫn robot Industrial inspection: Kiểm duyệt công nghiệp Microscopy: Kính hiển vi oceanography: Hải dương học

Ultrasonic imaging: siêu âm Hình ảnh aerial reconnaissance & mapping: Máy bay trinh sát

Astronomy: Thiên văn học radar: Ra đa

Meteorology: khí tượng học remote sensing: Viễn thám

Seismology: địa chấn học Particle physics: Vật lý hạt

Hệ thống giám sát thông minh là gì?

• Là một hệ thống:

– Đầu vào: video, hình ảnh, âm thanh thu được từ

những nơi cần giám sát và tại thời gian xác định

– Đầu ra: Tại khoảng thời gian xác định được

• Đối tượng chuyển động và không chuyển động

– Nền ảnh tĩnh – Đối tượng chuyển động

• Loại đối tượng chuyển động

– Ô tô, xe máy, người đi bộ và phương tiện khác

• Chuyển động của đối tượng như thế nào

– Vận tốc, quỹ đạo

Hệ thống giám sát thông minh bao gồm:

Object Detection

Object Classification

Object Tracking

Phân tách bài toán nhận dạng video

• Bài toán 1: Phát hiện các đối tượng chuyển động

– Tách các đối tượng chuyển động ra khỏi các khung hình

– Phương pháp thường được sử dụng:

• Phương pháp trừ ảnh nền,

• Phương pháp dựa trên thống kê,

• Phương pháp chênh lệch tạm thời,

• Phương pháp dựa trên luồng thị giác

• Bài toán 2: Phân lớp đối tượng

– Phân loại ra các lớp đối tượng đã được định nghĩa trước:

• Lớp người, lớp phương tiện, lớp động vật,…

– Có hai hướng chính tiếp cận:

• Dựa trên hình dáng

• Dựa trên chuyển động của các đối tượng

• Bài toán 3: Theo dõi đối tượng

– Đưa ra chuỗi các hành vi của đối tượng

• Đường đi của đối tượng,

• Tốc độ hay hướng chuyển động của đối tượng

Bài toán 1

Phát hiện

Sơ đồ khái quát hệ thống phát hiện đối tượng

Xử lý các vùng ảnh nổi

• Tiền xử lý mức điểm ảnh nổi

– Loại bỏ nhiễu, phát hiện và loại bỏ bóng, …

• Phân tích liên kết các khối:

– Liên kết các vùng điểm ảnh thành các khối

• Tiền xử lý các vùng ảnh nổi:

– Kết hợp các khổi ảnh nổi đã được phân tích để đưa

ra các đối tượng đã được làm sạch

• Xác định tính chất đối tượng:

– Xác định hình bao, diện tích, vị trí, …

Lược đồ xử lý điểm ảnh nổi

Bài toán 2

Phân loại đối tượng

Ba phương pháp phân loại đối tượng

• Phân loại dựa trên hình dạng

Phân loại dựa trên hình dạng (shape)

Phân loại dựa trên hình dạng (shape)

Phân loại dựa trên sự chuyển động (motion)

Phân loại dựa trên sự kết hợp hình dạng và chuyển động

Bài toán 3 Theo dõi đối tượng

Theo vết đối tượng

Các phương pháp sử dụng theo dõi đối tượng

• Theo vết dựa vào mô hình:

– Hệ thống theo vết dựa vào mô hình 2D-3D Độ chính xác cao,

số lượng đối tượng theo dõi ít

• Theo vết đối tượng dựa vào miền:

– Nhận dạng những miền liên kết với nhau trong ảnh, khối mà

có liên kết với mục tiêu được theo dõi

• Theo vết đối tượng dựa vào đường bao động (Active Contour):

– Đường viền bao đối tượng được theo dõi, và liên tục cập

nhật tự động Hạn chế chính của cách tiếp cận này là xử lý thế nào với trường hợp nhập nhằng

• Theo vết đối tượng dựa vào đặc trưng:

– Các đặc trưng như tâm, màu sắc của đối tượng Cách tiếp cận

này sử dụng mô hình Kalman

Chính xác hóa đối tượng, xử lý nhập nhằng

Phương pháp Dự đoán chuyển động

Phần 3

Tình hình nghiên cứu trong và

ngoài nước

Tình hình nghiên cứu trong và ngoài nước

1 Giới thiệu khái quát các nghiên cứu

2 Giới thiệu một số kết quả nghiên cứu

Giới thiệu khái quát các nghiên cứu

*1+ Giới thiệu tổng quan về 03 bài toán hợp thành trong bài toán phát hiện, phân loại và theo dõi đối tượng chuyển

động

– Trong đó giới thiệu phương pháp phát hiện: giảm trừ nền, các

phương pháp thống kê, phương pháp chênh lệch thời gian; phương pháp phân loại đối tượng: phân loại dựa trên hình dạng, phân loại dựa trên chuyển động; phương pháp theo dõi đối tượng chuyển động: Kalman filter, SSD, MS

*2+ Luận văn tiến sĩ của Lý Quốc Ngọc về xây dựng tìm kiếm ảnh dựa trên nội dung, trong đó xây dựng một phả hệ tri

thức thị giác cho ảnh như:

– Màu (sắc màu, độ thuần khiết, độ sáng)

– Dáng (dáng đối tượng, kích thước đối tượng)

– Dáng đối tượng (dáng toàn cục, dáng cục bộ)

– Dáng toàn cục (tròn, elip, vuông, chữ nhật, cong, )

Giới thiệu khái quát các nghiên cứu

[3] Giới thiệu sơ đồ khái quát về hệ thống nhận dạng

Nguyễn Đăng Bình Đại học Khoa học Tự nhiên Huế 2012 (slide 67)

[4] Tổng quan về phân đoạn ảnh

Đánh giá khái quát về 7 phương pháp sử dụng trong phân đoạn ảnh (trang 47), giới thiệu chi tiết về phương pháp phân đoạn dựa phát hiện biên đối tượng ảnh

[6] Lý thuyết nhận dạng

Giới thiệu khái quát về lý thuyết nhận dạng đối tượng ảnh, trong đó nhận dạng ảnh được phân loại là: nhận dạng dựa trên phân hoạch không gian, nhận dạng dựa trên cấu trúc, nhận dạng dựa trên mạng nơ ron

[8] Tổng hợp và giới thiệu 15 công trình nghiên cứu trên thế giới

về phương pháp và sơ đồ công nghệ nhận dạng xe ô tô trong video giao thông

[9] Giới thiệu khung khai phá dữ liệu video bao gồm 5 tầng

[10] Giới thiệu phương pháp tính toán độ dài thị giác của ô tô qua tiêu cự, độ cao đặt máy quay, góc quay đối tượng, tính toán để xác định loại xe ô dài hay ngắn, cũng như xử lý các trường hợp nhập nhằng trong ảnh giữa các ô tô dính nhau theo chiều dọc và chiều ngang

[11, 12, 14, 17] Công trình và sách chuyên khảo về nhận dạng và xử

lý ảnh

[13] Tổng hợp các công trình nghiên cứu được công bố trong hội nghị về khám phá tri thức và khai phá dữ liệu, năm 2002 tại Ấn Độ [15, 16] Giới thiệu kết quả minh họa các thuật toán xử lý ảnh trên nền Matlab

[18] Giới thiệu việc xây dựng một hệ thống về “The developed system is a multi-view tracking system based on the planar homography”

Một số kết quả nghiên cứu trên thế giới

1 Hệ thống giám sát giao thông tự động dựa trên thị

giác nhận dạng và theo dõi ô tô

2 Tích hợp phát hiện, theo dõi và nhận dạng để phân

loại xe dựa trên video hồng ngoại

3 Thiết kế hệ thống tự động nhận dạng loại xe trong

thời gian thực và ứng dụng

4 Hệ thống phát hiện và phân loại xe nhằm thu thập

dữ liệu các phương tiện trong thời giạn thực dựa trên video quay bởi camera không hiệu chỉnh

Công trình 1

• Hệ thống giám sát giao thông tự động nhận dạng

và theo dõi ô tôdựa trên thị giác

• Automatic Traffic Surveillance System for Based Vehicle Recognition and Tracking

Vision-– Chung-cheng chiu, Min-yu ku and Chun-yi wang,

Department of Electrical and Electronic Engineering, Chung Cheng Institute of Technology, National Defense University, Taoyuan, 335 Taiwan

Sơ đồ khối hệ thống

Công trình 2

• Tích hợp phát hiện, theo dõi và nhận dạng để

phân loại xe dựa trên video hồng ngoại

• Integrated Detection Tracking and Recognition for IR Video-based Vehicle Classification

– Xue Mei, University of Maryland, College Park, MD

20742, xuemei@cfar.umd.edu

– Shaohua Kevin Zhou, Siemens Corporate Research,

Princeton, NJ 08540, kzhou@scr.siemens.com

– Hao Wu, Fatih Porikli, Mitsubishi Electric Research

Labs, Cambridge, MA 02139, fatih@merl.com

Sơ đồ khối

hệ

thống

Công trình 3

• Hệ thống tự động nhận dạng loại xe trong thời

gian thực và ứng dụng

• Real Time and Automatic Vehicle Type

Recognition System Design and Its Application

– Wei Zhan, College of Computer Science Yangtze

University Jingzhou, Hubei, China,

Zhanwei814@gmail.com

– Junkai Yang International School Beijing University

of Posts and Telecommunications, Beijing, China,

yangjunkai91@gmail.com

Sơ đồ khối

hệ thống

Sơ đồ khối

hệ thống

Công trình 4

• Hệ thống phát hiện và phân loại xe nhằm thu thập dữ

liệu các phương tiện trong thời giạn thực dựa trên

video quay bởi camera không hiệu chỉnh

• A Video-based Vehicle Detection and Classification

System for Real-time Traffic Data Collection Using

Uncalibrated Video Cameras

– Guohui Zhang (Corresponding Author), Research Assistant, Box 352700,

Department of Civil and Environmental Engineering, University of

Washington, Seattle, WA 98195-2700, E-mail: zhanggh@u.washington.edu

– Ryan P Avery, Research Assistant, Box 352700, Department of Civil and

Environmental Engineering, University of Washington, Seattle, WA

98195-2700, E-mail: rpavery@u.washington.edu

– Yinhai Wang, Ph.D Assistant Professor, Box 352700, Department of Civil

and Environmental Engineering, University of Washington, Seattle, WA 98195-2700, E-mail: yinhai@u.washington.edu

Sơ đồ khối hệ thống

Phần 4

Một số phương pháp, thuật toán đã sử dụng

1 Phương pháp trừ nền (Background Subtraction)

• Hình ảnh minh họa thuật toán trừ nền

1 Phương pháp trừ nền (tiếp)

• Sơ đồ khối phương pháp trừ nền

1 Phương pháp trừ nền (tiếp)

• Một điểm ảnh It(x,y) trong một khung hình mới và

Bt(x,y) là điểm ảnh trên ảnh nền đều có tọa độ (x, y) Điểm ảnh I được coi là điểm ảnh nổi nếu:

– Trong đó là một ngưỡng được định nghĩa từ trước

• Ảnh nền B được cập nhật công thức sau:

– Trong đó là điểm ảnh nổi tại thời điểm t, là điểm ảnh

nền tại thời điểm t, là tham số được định nghĩa trước

2 Phát hiện bóng đối tượng

• Giả sử:

– là vector có gốc là 0(0,0,0) trong hệ tọa độ màu RGB – là vector tương ứng cho điểm ảnh

3 Xác định độ dài thị giác qua ảnh

• Mô hình:

R: Chiều dài pixel trong ảnh phẳng Dh1: Chiều dài thị giác trên đường

F: Đường tâm của camera R 2 và R 1 là các chiều dài pixel trong ảnh phẳng Rp: là kích thước điểm ảnh của camera H là độ cao của camera,

F: là tiêu điểm của ống kính θ là góc của camera với mặt đường

3 Xác định độ dài thị giác qua ảnh

3 Xác định độ dài thị giác qua ảnh

4 Phát hiện biên

• Đường biên lý tưởng là sự thay đổi giá trị cấp xám tại một vị trí xác định Vị trí của đường biên chính là vị trí thay đổi cấp xám

• Đường biên bậc thang xuất hiện khi sự thay đổi cấp xám trải rộng qua nhiều điểm ảnh Vị trí của đường biên được xem như vị trí chính giữa của đường nối giữa cấp xám thấp và cấp xám cao

dx là khoảng cách giữa các điểm theo hướng x, dy là khoảng cách giữa các điểm theo hướng y Thông thường ta sử dụng dx = dy = 1

– Mặt nạ H0 – cho hướng q0 = 00

– 7 mặt nạ khác nhau từ H1 đến H7 cho 7 hướng còn lại: 450, 900, 1350, 1800, 2250, 2700, 3150

4 Phát hiện biên

c)Toán tử Laplace

– Định nghĩa toán tử Laplace

– Ba mặt nạ thường dùng:

Phần 5

Kết luận

Kết luận

• 4.1 Các vấn đề đã trình bày

• 4.2 Những vấn đề luận án tập trung nghiên cứu, giải quyết

– 4.2.1 Lựa chọn mô hình và thực nghiệm

– 4.2.2 Phân tích, cải tiến phương pháp, thuật toán

Một số vấn đề cần nghiên cứu phát triển

• Phân tích, đánh giá và lựa chọn thuật toán trừ nền

• Tích hợp phối kết hợp các đặc trưng hoặc bổ sung đặc trưng trong bài toán phát hiện đối

tượng áp dụng trong bài toán xác định mật độ giao thông trong hệ thống giám sát giao thông thông minh

• Xử lý các trường hợp nhập nhằng

Dự kiến cấu trúc luận án

• LỜI CAM ĐOAN

• CHƯƠNG 1 GIỚI THIỆU TỔNG QUAN

• CHƯƠNG 2 MỘT SỐ PHƯƠNG PHÁP, THUẬT TOÁN ĐÃ ÁP DỤNG

• CHƯƠNG 3 XÂY DỰNG, PHÁT TRIỂN PHƯƠNG PHÁP MỚI

• CHƯƠNG 4 THỰC NGHIỆM

• KẾT LUẬN

• TÀI LIỆU THAM KHẢO

Dự kiến cấu trúc luận án

• MỞ ĐẦU

– 1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI

– 2 MỤC TIÊU CỦA ĐỀ TÀI

– 3 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU

– 4 PHƯƠNG PHÁP NGHIÊN CỨU

– 5 Ý NGHĨA LÝ LUẬN VÀ THỰC TIỄN CỦA ĐỀ TÀI

Dự kiến cấu trúc luận án

• CHƯƠNG 1 GIỚI THIỆU TỔNG QUAN

– 1.1 ĐẶT BÀI TOÁN

– 1.2 GIỚI THIỆU KẾT QUẢ MỘT SỐ CÔNG TRÌNH

NGHIÊN CỨU

Dự kiến cấu trúc luận án

• CHƯƠNG 2 MỘT SỐ PHƯƠNG PHÁP, THUẬT TOÁN ĐÃ ÁP DỤNG

– 2.1 GIẢM TRỪ NỀN

– 2.2 PHÁT HIỆN BIÊN

– 2.3 PHÁT HIỆN BÓNG ĐỐI TƯỢNG

– 2.4 TÍNH TOÁN ĐỘ DÀI THỊ GIÁC

– 2.5 XÁC ĐỊNH TRỌNG TÂM ĐỐI TƯỢNG

– 2.6 SO KHỚP MẪU

Dự kiến cấu trúc luận án

• CHƯƠNG 3 XÂY DỰNG, PHÁT TRIỂN PHƯƠNG PHÁP MỚI

– 3.1 PHÂN LOẠI XE Ô TÔ VÀ ĐỐI TƯỢNG CHUYỂN

ĐỘNG KHÁC DỰA TRÊN SỰ KẾT HỢP BIÊN VÀ SO

KHỚP MẪU

– 3.2 PHÂN TÁCH ĐỐI TƯỢNG DỰA TRÊN SỰ KẾT HỢP

ĐỘ DÀI THỊ GIÁC VÀ TRỌNG TÂM ĐỐI TƯỢNG

– 3.3 ƯỚC LƯỢNG SỐ LƯỢNG CHUYỂN ĐỘNG TRONG

ĐÁM ĐÔNG DỰA TRÊN BIÊN VÀ SO KHỚP MẪU

3.1 PHÂN LOẠI XE Ô TÔ VÀ ĐỐI TƯỢNG CHUYỂN ĐỘNG KHÁC DỰA TRÊN SỰ

KẾT HỢP BIÊN VÀ SO KHỚP MẪU

3.3 ƯỚC LƯỢNG SỐ LƯỢNG CHUYỂN ĐỘNG TRONG ĐÁM

ĐÔNG DỰA TRÊN BIÊN VÀ SO KHỚP MẪU

3.2 PHÂN TÁCH ĐỐI TƯỢNG DỰA TRÊN SỰ KẾT HỢP ĐỘ DÀI THỊ

GIÁC VÀ THUỘC TÍNH ĐỐI TƯỢNG

Dự kiến cấu trúc luận án

TÀI LIỆU THAM KHẢO

Các tài liệu, luận văn Tiếng Việt

1 “Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám

Tài liệu tham khảo

7 “Xử lý ảnh”

Nguyễn Văn Căn Tập báo cáo học phần bắt buộc NCS Viện CNTT, Viện KH&CN Quân sự 2013 ( >> )

8 “Nhận dạng phương tiện giao thông trong video”

Nguyễn Văn Căn Tổng hợp và biên dịch một số công trình nghiên

9 "Khung khai phá dữ liệu đa phương tiện cho dãy video

tự nhiên"

Nguyễn Văn Căn Tạp chí Khoa học và Công nghệ quân sự Tháng 12/2011 ( >> )

10 “Giám sát giao thông tự động dựa trên độ dài thị giác”

Nguyễn Văn Căn Tạp chí Khoa học và Công nghệ quân sự Tháng 12/2011.( >> )