1.1 Giới thiệu đề tài Hiểu một cách đơn giản, theo vết đối tượng là bài toán xác định tọa độ của đối tượng tại mỗi khung hình frame trong đoạn video quan sát khi đối tượng chuyển động..
Trang 1TRƯỜNG ĐẠI HỌC BÁCH KHOA
ĐẶNG THỊ THU HOA
THEO VẾT ĐỐI TƯỢNG SỬ DỤNG MIXTURE OF GAUSSIAN MODEL VÀ PARTICLE FILTER (Object tracking based on Mixture of Gaussian Model and
Particle Filter)
ĐỀ CƯƠNG LUẬN VĂN THẠC SĨ
TP HỒ CHÍ MINH – 2013
Trang 2TRƯỜNG ĐẠI HỌC BÁCH KHOA
Trang 3MỤC LỤC
MỞ ĐẦU 2
Động lực nghiên cứu, các thách thức 2
Bố cục của đề tài 3
NỘI DUNG 4
CHƯƠNG 1- GIỚI THIỆU 4
1.1 Giới thiệu đề tài 4
1.2 Nội dung đề tài 5
Phát biểu bài toán 5
Giới hạn đề tài 5
1.3 Mục tiêu đề tài 5
1.4 Phương pháp nghiên cứu 6
CHƯƠNG 2 – CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 7
2.1 Giới thiệu về các giải thuật 7
2.2 Các công trình nghiên cứu liên quan 9
CHƯƠNG 3 - BÀI TOÁN THEO VẾT ĐỐI TƯỢNG VÀ HƯỚNG TIẾP CẬN 11 3.1 Quá trình phát hiện và theo vết đối tượng 11
3.1.1 Phát hiện đối tượng chuyển động (Moving object detection) 12
3.1.2 Mô hình đối tượng (Object Modeling) 13
3.2 Giải thuật đề xuất 17
3.2.1 Object Extraction from background 17
3.2.2 Object Tracking 19
CHƯƠNG 4- KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC 23
4.1 Kết quả dự kiến 23
4.2 Phương pháp đánh giá kết quả 23
4.3 Những đóng góp của nghiên cứu 23
DỰ KIẾN KẾ HOẠCH THỰC HIỆN 24 TÀI LIỆU THAM KHẢO
Trang 4MỞ ĐẦU
Động lực nghiên cứu, các thách thức
Theo vết đối tượng (Object Tracking) là bài toán thuộc lĩnh vực thị giác máy tính Trong mười năm trở lại đây, cùng với tốc độ phát triển của khoa học kỹ thuật, con người càng có nhu cầu sử dụng các hệ thống thông minh với mức độ tự động hóa ngày càng cao Một số ứng dụng của lĩnh vực thị giác máy tính bao gồm hệthống: kiểm soát quy trình (trong lĩnh vực robot), điều hướng (trong giao thông và robot), phát hiện sự kiện (an ninh và giám sát), mô hình hóa đối tượng (phân tích ảnh y khoa), giám sát tự động (trong các ứng dụng sản xuất)
Trong lĩnh vực an ninh-giám sát (security and surveillance), thị giác máy tính được ứng dụng rất nhiều Hệ thống giám sát (Surveillance system) bao gồm ba quy trình : Xác định đối tượng (Object extraction), theo vết đối tượng (Object tracking)
và nhận dạng hành vi (Action recognition) Từ đó lưu trữ thông tin thu thập được vào cơ sở dữ liệu hoặc phát hiện bất thường để đưa ra cảnh báo kịp thời
Sơ đồ quy trình của hệ thống giám sát
Theo vết đối tượng trong video có thể định nghĩa là bài toán xác định vị trí của đối tượng theo thời gian khi đối tượng chuyển động Tùy vào từng ứng dụng cụ thể
mà bộ theo vết đối tượng (Tracker) cung cấp các thông tin khác nhau về đối tượng như hình dáng, diện tích, tọa độ trung tâm, hướng chuyển động, … để từ đó có thể
Nhận dạng hành vi
Lưu trữthông tin
Cảnh báo
Trang 5- Đối tượng có chuyển động phức tạp, tốc độ nhanh.
- Đối tượng có kích thước thay đổi, bị che khuất bởi đối tượng khác
- Sự thay đổi của độ chiếu sáng, góc chiếu sáng
- Đối tượng có màu sắc giống với cảnh nền
- Đối tượng di chuyển khỏi vùng quan sát và xuất hiện trở lại
Ngoài ra, yêu cầu theo vết đơn đối tượng hoặc đa đối tượng, hình ảnh thu thập từmột hoặc nhiều camera, yêu cầu xử lý thời gian thực cũng là những thách thức lớn trong bài toán theo vết đối tượng
Vì vậy, theo vết đối tượng là lĩnh vực vẫn được các nhà khoa học quan tâm nghiên cứu
Bố cục của đề tài
Luận văn chia thành 4 chương:
- Chương 1: Giới thiệu về đề tài và nội dung sẽ nghiên cứu
- Chương 2: Tổng quan các giải thuật đã được đề xuất, các công trình nghiên cứu liên quan đến đề tài
- Chương 3: Trình bày các hướng tiếp cận để phân tách và giải quyết bài toántheo vết đối tượng Các giải thuật đề xuất cũng sẽ được trình bày trong chương này
- Chương 4: Sẽ dự kiến kết quả đạt được, đánh giá kết quả và qua đó nêu lên
những đóng góp của đề tài nghiên cứu
Trang 6NỘI DUNG
CHƯƠNG 1- GIỚI THIỆU
Chương một sẽ giới thiệu về vấn đề, mục tiêu và nội dung nghiên cứu của đề tài, giới hạn của đề tài và phương pháp nghiên cứu.
1.1 Giới thiệu đề tài
Hiểu một cách đơn giản, theo vết đối tượng là bài toán xác định tọa độ của đối tượng tại mỗi khung hình (frame) trong đoạn video quan sát khi đối tượng chuyển động
Một vài ứng dụng quan trọng của bài toán theo vết đối tượng như:
- Giám sát tự động (Automated video surveillance): trong những ứng dụng
này hệ thống thị giác máy tính được thiết kế để kiểm soát (monitor) những chuyển động trong một vùng (area), xác định đối tượng chuyển động và cảnh báo khi thấy bất kỳ tình huống khả nghi nào Đòi hỏi hệ thống phải đủ mạnh
để phân biệt được các thực thể tự nhiên và con người
- Robot vision: với robot tự động, hệ thống điều hướng (navigation) cần phải
nhận biết được chướng ngại vật (obstacle) trên đường đi Và nếu đó là những đối tượng di chuyển, robot cần kích hoạt hệ thống theo vết thời gian thực đểtránh va chạm
- Điều phối giao thông (traffic monitoring): Trên các đại lộ hoặc các trục
đường chính, giao thông được giám sát liên tục qua camera Bất kỳ phương tiện nào vi phạm luật giao thông hoặc liên quan đến những hành vi phạm pháp khác đều dễ dàng được phát hiện nếu hệ thống giám sát có tích hợp tính năng theo vết đối tượng
- Animation: giải thuật theo vết có thể sử dụng để mở rộng kỹ thuật làm phim
Trang 7pháp được đề xuất để giải quyết bài toán theo vết đối tượng Tùy vào môi trường quan sát, ngữ cảnh, mục tiêu quan sát mà lựa chọn các giải thuật khác nhau.
1.2 Nội dung đề tài
Vấn đề đặt ra là làm sao từ một đoạn video quan sát, ta xác định được đâu là đối tượng đang chuyển động, theo dõi sự di chuyển của đối tượng và xây dựng quỹđạo chuyển động của đối tượng
Phát biểu bài toán
Cho trước tập dữ liệu là đoạn video chứa đối tượng cần theo vết
Dữ liệu đầu vào (input): đoạn video chứa đối tượng đang chuyển động
Dữ liệu đầu ra (output): sơ đồ quỹ đạo chuyển động của đối tượng
Giới hạn đề tài
Như đã phân tích trong phần mở đầu, có nhiều thách thức trong bài toán theo vết đối tượng khiến cho bài toán trở nên rất phức tạp Vì vậy, mỗi giải thuật đề xuất đều kèm theo những giả thiết quy định những điều kiện ràng buộc nhất định Trong nghiên cứu này luận văn chỉ xác định đối tượng là con người, dữ liệu từ một camera, và quan sát được thực hiện trong điều kiện ánh sáng tốt
1.3 Mục tiêu đề tài
Mục tiêu nghiên cứu là tìm hiểu các kiến thức có liên quan đến hệ thống giám sát, tìm hiểu về các giải thuật để theo vết đối tượng, xây dựng được một giải thuật hiệu quả Cụ thể, phát hiện được đối tượng chuyển động, phân tách đối tượng khỏi cảnh nền và đối tượng khác, xác định tọa độ của đối tượng trong mỗi khung hình, liên kết các tọa độ để có được quỹ đạo chuyển động của đối tượng
Giải thuật theo vết đối tượng
Trang 81.4 Phương pháp nghiên cứu
Luận văn sẽ đi từ việc tham khảo các công trình nghiên cứu trước đây liên quan đến bài toán theo vết đối tượng
- Xem xét các giải thuật tác giả đã sử dụng
- Phân tách các giải thuật theo từng giai đoạn
- Tổng hợp và phân loại thuật toán dựa trên cách lựa chọn đặc trưng và biểu diễn đối tượng
- Đánh giá ưu điểm của từng thuật toán cũng như những hạn chế còn tồn tại
Từ đó lựa chọn thuật toán hiệu quả nhất tại mỗi giai đoạn, kết hợp các thuật toán đểxây dựng nên một giải thuật giải quyết bài toán theo vết đối tượng trong những điều kiện ràng buộc đã nêu trên
Hiện thực giải thuật bằng công cụ Matlab So sánh kết quả đạt được với kết quả của các công trình nghiên cứu trước đó để đánh giá mức độ hiệu quả của giải thuật
Kết luận chương 1:
Chương 1 đã nêu lên các ứng dụng của hệ thống theo vết đối tượng, trình bày về nội dung nghiên cứu, mục tiêu và phương pháp nghiên cứu.
Trang 9CHƯƠNG 2 – CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
Chương hai sẽ tổng hợp một số phương pháp nghiên cứu và trình bày một vài nghiên cứu liên quan đến đề tài
2.1 Giới thiệu về các giải thuật
Bài toán theo vết đối tượng đặt ra nhiều vấn đề cần xem xét khi tìm kiếm giải thuật Như mục tiêu là con người hay phương tiện? Theo vết đơn đối tượng hay đa đối tượng? Môi trường trong nhà hay ngoài trời? Ứng dụng với mục đích phát hiện hành vi bất thường hay ứng dụng theo vết trong cảnh quay thi đấu trong thể thao?
Vì ứng dụng rộng rãi của bài toán mà đã có rất nhiều nhà nghiên cứu đề xuất
và phát triển các giải thuật khác nhau
[1] phân chia các kỹ thuật theo vết đối tượng thành 4 dạng:
- Theo vết dựa trên vùng đối tượng
(Tracking based on a moving object region)
Giải thuật này chủ yếu dựa vào thuộc tính của blob như kích thước, màu sắc, hình dạng, vận tốc (velocity), trọng tâm (centroid) Ưu điểm của giải thuật là thời gian tính toán nhanh và hiệu quả với số lượng đối tượng ít Hạn chế của giải thuật là không hiệu quả khi đối tượng bị che khuất bởi đối tượng khác trong trường hợp nhiều đối tượng
- Theo vết dựa trên đường nét nổi bật của đối tượng
(Tracking based on an active contour of a moving object)
Contour của đối tượng được biểu diễn bởi một snake Giải thuật chủ yếu dựa trên
boundary của đối tượng Ưu điểm là có hiệu quả trong trường hợp theo vết người đi
bộ (pedestrian) bằng cách lực chọn đường nét của đầu; có thể cải thiến thời gian tính toán Hạn chế là không giải quyết được bài toán đối tượng bị che khuất một phần (partial occlusion) và nếu đối tượng bị che khuất hoặc hai đối tượng chồng lấp lên nhau một phần trong quá trình khởi tạo (tức là ở những frame đầu tiên) thì sẽgây ra lỗi
- Theo vết dựa trên mô hình hóa đối tượng
(Tracking based on moving object model)
Mô hình của đối tượng thường được quy về mô hình hình học của đối tượng trong không gian 3D và giải thuật sẽ định nghĩa tham số để xác định đối tượng Giải thuật này giải quyết được bài toán che khuất một phần nhưng lại ảnh hưởng đến thời gian
Trang 10xử lý Ưu điểm của giải thuật là có độ chính xác cao khi số lượng đối tượng không nhiều.
- Theo vết dựa trên xác định đặc trưng của đối tượng
(Tracking based on selected features of moving object)
Lựa chọn những đặc trưng tiêu biểu của đối tượng và xem xét các đặc trưng đó qua các frame liên tiếp để xác định đối tượng di chuyển và theo vết Khi đối tượng bịche khuất, một hoặc hai đặc trưng không thể sử dụng, vẫn có thể dựa vào một trong những đặc trưng còn lại Tuy nhiên, lại nảy sinh bài toán gom cụm đặc trưng (feature clustering), làm sao xác định được những đặc trưng nào là thuộc cùng một đối tượng trong suốt quá trình theo vết (trường hợp theo vết nhiều đối tượng)
Trong [2] theo vết đối tượng được phân loại thành ba phương pháp:
- Theo vết dựa trên điểm (Point tracking)
Đối tượng được biểu diễn bằng tập các điểm và các điểm này được liên kết dựa trên các ràng buộc về chuyển động, vị trí của đối tượng Hạn chế của phương pháp là cần có một cơ chế bên ngoài để phát hiện đối tượng trong mỗi frame
Giải thuật tiêu biểu là Kalman Filter, Particle Filter, Multi Hypothesis Tracking [3]
- Theo vết dựa trên nhân (Kernel tracking)
Mô hình của đối tượng có thể được biểu diễn dưới dạng mẫu (template), hoặc mô hình mật độ (density based model) ví dụ như histogram Theo vết được thực hiện bằng cách tính toán chuyển động của đối tượng qua các frame liên tiếp
Giải thuật tiêu biểu là Mean-shift, Simple Template Matching, Support Vector Machine (SVM) [3]
- Theo vết dựa trên hình chiếu (Silhouette tracking)
Sau khi ước lượng vùng đối tượng (Object region) trong mỗi frame, đối tượng được theo vết bằng cách sử dụng thông tin mã hóa trong vùng đối tượng Các thông tin này có thể dưới hình thức là mô hình về hình dạng hoặc mật độ của đối tượng Khi
có mô hình đối tượng, theo vết được thực hiện bằng phương pháp so khớp hình dạng (shape matching) hoặc mở rộng đường viền (contour evolutions)
Tiêu biểu là Contour Tracking, Shape Matching [3]
Trang 11Hình 2.1 Các giải thuật theo vết đối tượng [2,3]
2.2 Các công trình nghiên cứu liên quan
Object Classification and Tracking in Video Surveillance [1]
Qi Zang and Reinhard Klette
Hệ thống theo vết đối tượng được xây dựng cho ứng dụng trong giám sát giao thông (traffic surveillance)
Ở giai đoạn đầu, sử dụng giải thuật trừ nền để phân tách đối tượng, Mỗi điểm ảnh nền (background pixel) sẽ được mô hình hóa bằng phân phối mixture of Gaussian Giai đoạn hai, gán nhãn cho từng vùng đối tượng (object region) và xác định các đặc trưng: bouding rectangle (hình chữ nhật nhỏ nhất chứa đối tượng), color (không gian màu RGB), center (trọng tâm của hình chữ nhật), velocity (sốpixel di chuyển/giây theo cả 2 hướng dọc ngang) Sử dụng SUSAN (bộ phát hiện góc) để xác định góc của phương tiện trong mỗi bounding box Sử dụng phương pháp lai (hybrid method) kết hợp Kalman Filter với kỹ thuật so khớp (matching) đểtheo vết đối tượng
Ưu điểm của giải thuật là giảm được thời gian tính toán khi sử dụng bộ phát hiện góc trong vùng bounding rectangle Và sử dụng tỉ số cao/rộng trong thông tin góc để phân lớp đối tượng là người đi bộ hay phương tiện, nhưng chỉ có hiệu quảnếu các vùng đối tượng là tách biệt
Object Tracking
Point
Tracking
Kernel Tracking
Silhouette Tracking
Kalman Filter
Particle Filter
Multi Hypothesis Tracking
Mean-shift Simple Template Matching Support Vector Machine
Contour Tracking Shape Matching
Trang 12 Adaptive mean–shift for automated multi object tracking [4]
C Beyan A TemizelĐưa ra bộ theo vết đa đối tượng hoàn toàn tự động dựa trên giải thuật mean-shift Sử dụng Gaussian để loại nhiễu, bóng và rút trích foreground Đồng thời Gaussian để xác định bouding box, dùng như một mặt nạ nhân (kernel mask) đểgiảm vùng tìm kiếm và dự báo vị trí mới của đối tượng
Ưu điểm là phát hiện được khi đối tượng vào hoặc ra khỏi vùng quan sát Cập nhật bộ theo vết với thông tin foreground để cải tiến mean-shift, làm cho giải thuật
có hiệu quả cả trong trường hợp đối tượng thay đổi về hình dáng, kích thước Tuy nhiên, chỉ áp dụng với trường hợp camera tĩnh (static camera)
Object tracking in an outdoor environment using fusion of features and
camera [5]
Quming Zhou, J.K AggarwalBài báo đưa ra một hệ thống theo vết và phân lớp đối tượng chuyển động sửdụng một hoặc nhiều camera trong môi trường ngoài trời (outdoor) Kết hợp các đặc trưng như vị trí, hình dạng, màu sắc để tăng hiệu quả theo vết đối tượng Kết hợp thông tin từ các camera để có được quỹ đạo chuyển động của đối tượng Đồng thời, giải quyết bài toán che khuất bằng cách sử dụng bộ lọc Kalman mở rộng (extended Kalman Filter-EKF) Giải thuật cũng phân lớp đối tượng thành ba nhóm: một người (single person), nhóm người (people group) và phương tiện (vehicle) Tuy nhiên EKF không thành công nếu đối tượng bị che khuất ở cả 2 camera
Kết luận chương 2:
Chương 2 tổng hợp các phương pháp theo vết đối tượng theo một số nghiên cứu trước đây, nêu những đặc điểm cũng như ưu, nhược điểm của các phương pháp đó; trình bày tổng quan về một số nghiên cứu liên quan đến theo vết đối tượng.
Trang 13input
outputTrajectory
CHƯƠNG 3 - BÀI TOÁN THEO VẾT ĐỐI TƯỢNG VÀ
HƯỚNG TIẾP CẬN
Chương ba trình bày quy trình từng bước để theo vết đối tượng, một số giải thuật thường được áp dụng Cuối cùng, nêu mô tả cụ thể về giải thuật đề xuất
3.1 Quá trình phát hiện và theo vết đối tượng
Từ dữ liệu đầu vào là đoạn video, quá trình theo vết đối tượng bao gồm các bước:
- Tách frame: Tách đoạn video thành các frame ảnh
- Trừ nền: Xử lý các frame để xác định cảnh nền (background) và đối tượng
- Tiền xử lý: Khử bóng, nhiễu và phân tách đối tượng khỏi cảnh nền
- Phát hiện đối tượng: Nhận dạng đối tượng chuyển động, biểu diễn đối tượng bằng các đặc trưng
- Theo vết đối tượng: Xác dịnh vị trí của đối tượng tại từng frame
Hình 3.1 Sơ đồ quá trình theo vết đối tượng
