Kỹ thuật xử lý vùng quan sát và phát triển bất thường của các đối tượng trong hệ thống camera giám sát

thuật xử lý vùng quan sát và phát hiện bất thường của các đối tượng trong hệ thống camera giám sát” là không sao chép nội dung cơ bản từ các luận án hay công trình khác, mà là công trìn

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

_

NGÔ ĐỨC VĨNH

KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT HIỆN BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG TRONG HỆ THỐNG CAMERA GIÁM SÁT

LUẬN ÁN TIẾN SĨ TOÁN HỌC

Chuyên ngành: Cơ sở Toán học cho Tin học

Mã số: 62.46.01.10

Người hướng dẫn khoa học:

PGS.TS Đỗ Năng Toàn

Hà Nội – 2016

thuật xử lý vùng quan sát và phát hiện bất thường của các đối tượng trong

hệ thống camera giám sát” là không sao chép nội dung cơ bản từ các luận án

hay công trình khác, mà là công trình nghiên cứu thực sự của bản thân nghiên cứu sinh, được thực hiện trên cơ sở nghiên cứu lý thuyết, kiến thức kinh điển, nghiên cứu khảo sát tình hình thực tiễn và dưới sự hướng dẫn khoa học của PGS.TS Đỗ Năng Toàn

Các kỹ thuật và những kết quả trong luận án là trung thực, đưa ra xuất phát từ những yêu cầu ứng dụng, chưa từng được công bố dưới bất cứ hình thức nào trước khi trình, bảo vệ và công nhận bởi “Hội đồng đánh giá luận án Tiến sĩ”

Tác giả luận án

Ngô Đức Vĩnh

học và Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, dưới sự hướng dẫn của PGS.TS Đỗ Năng Toàn – Viện Công nghệ thông tin ĐH Quốc Gia Hà Nội

Tôi xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS Đỗ Năng Toàn, Thầy đã

có những định hướng quý báu giúp tôi thành công trong công việc nghiên cứu của mình Thầy cũng động viên chỉ bảo cho tôi vượt qua những khó khăn và cho tôi nhiều kiến thức quý báu về nghiên cứu khoa học Nhờ sự chỉ bảo của Thầy, tôi mới có thể hoàn thành luận án

Tôi xin chân thành cảm ơn các Thầy, Cô thuộc Viện Công nghệ thông tin, các anh chị em cán bộ trong phòng Công nghệ Thực tại ảo đã tạo mọi điều kiện thuận lợi và đóng góp ý kiến cho tôi trong quá trình làm nghiên cứu sinh Đặc biệt tôi xin chân thành cảm ơn lãnh đạo Viện Công nghệ thông tin, Học viện Khoa học và Công nghệ – Viện Hàn lâm Khoa học và Công nghệ Việt Nam, Viện Công nghệ thông tin – ĐH Quốc gia Hà Nội, Trường Đại học Công nghiệp Hà Nội đã tạo điều kiện thuận lợi và hỗ trợ tôi trong quá trình học tập và làm luận án

Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, đã tạo cho tôi điểm tựa vững chắc để có được kết quả như hôm nay

MỤC LỤC

LỜI CAM ĐOAN 3

LỜI CẢM ƠN 4

MỤC LỤC 5

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT 8

DANH MỤC CÁC BẢNG 9

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 10

MỞ ĐẦU 12

CHƯƠNG 1:TỔNG QUAN VỀ CHUYỂN TIẾP VÀ PHÁT HIỆN BẤT THƯỜNG TRONG CÁC HỆ THỐNG CAMERA GIÁM SÁT 20

1.1 Hệ thống camera giám sát tự động 20

1.1.1 Giới thiệu 20

1.1.2 Các vấn đề cơ bản trong hệ thống camera giám sát tự động 23

1.2 Chuyển tiếp camera và phát hiện bất thường 27

1.2.1 Theo vết đối tượng với với nhiều camera 27

1.2.2 Bài toán chuyển tiếp camera 34

1.2.3 Phát hiện bất thường trong giám sát video 36

1.3 Kết luận và vấn đề nghiên cứu 41

CHƯƠNG 2:MỘT SỐ KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT TRONG CHUYỂN TIẾP CAMERA 43

2.1 Giới thiệu 43

2.2 Phân vùng giám sát 44

2.2.1 Giới thiệu 44

2.2.2 Giao cắt của hai đa giác 46

2.2.3 Phân chia vùng quan sát của hệ thống camera 48

2.2.4 Thực nghiệm 52

2.3 Chuyển tiếp camera dựa vào đường ranh giới ảo 55

2.3.1 Đường ranh giới ảo 55

2.3.2 Tính toán va chạm của đối tượng với đường ranh giới ảo 59

2.3.3 Kỹ thuật đề xuất 65

2.3.4 Thực nghiệm 66

2.4 Chọn lựa camera dựa trên hướng chuyển động của đối tượng 70

2.4.1 Dự đoán vị trí và hướng chuyển động của đối tượng 71

2.4.2 Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống 74

2.4.3 Thuật toán chọn lựa camera dựa vào hướng chuyển động 75

2.4.4 Thực nghiệm 78

2.5 Kết luận chương 2 80

CHƯƠNG 3:PHÁT HIỆN BẤT THƯỜNG DỰA VÀO QUỸ ĐẠO TRONG CÁC VIDEO GIÁM SÁT 82

3.1 Giới thiệu 82

3.1.1 Tiếp cận dựa trên phân tích hình ảnh dòng video 83

3.1.2 Tiếp cận dựa vào phân tích quỹ đạo 86

3.2 Một số khái niệm, định nghĩa trong mô hình đề xuất 91

3.3 Phân đoạn quỹ đạo 96

3.4 Phát hiện bất thường dựa trên phân đoạn tuyến đường 98

3.5 Thực nghiệm 101

3.5.1 Thực nghiệm với quỹ đạo cho trước 101

3.5.2 Thực nghiệm với dữ liệu thu nhận từ video giám sát 107

3.6 Kết luận chương 3 109

KẾT LUẬN 110

DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ 112

TÀI LIỆU THAM KHẢO 113

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT

AABB Axis Aligned Bounding Boxes

BTF Brightness transfer function

COR Co-occurrence Ratio

FOV Field of View

FSOM fuzzy self-organized map

GMM Gaussian mixture model

HMM Hiden Markov Model

HOG Histogram of oriented gradients

MDT Mixtures of Dynamic Textures

MRF Markov Random Field

NOVL Non – Overlapping

OBB Oriented Bounding Boxes

OVL Overlapping

PCA Principal Component Analysis

RGB Red Green Blue

SRA Sparse Reconstruction Analysis

VSAM Video Surveillance and Monitoring

DANH MỤC CÁC BẢNG

Bảng 2.1 Các giá trị R, R0, R1 65Bảng 3.1 Kết quả phân đoạn các đường đại diện của tuyến đường 104Bảng 3.2 Khảo sát độ tương tự từ quỹ đạo 254 tới các tuyến đường 105Bảng 3.3 Kết quả đo độ chính xác phát hiện bất thường trên dữ liệu video 108

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1 Phòng điều khiển trong Trung tâm giám sát bằng camera 14

Hình 2 Hệ thống giám sát với nhiều camera có vùng quan sát bị chồng chéo [43] 16

Hình 1.1 Sơ đồ hệ thống camera giám sát tự động [97] 23

Hình 1.2 Mô hình xử lý trong bài toán phát hiện đối tượng chuyển động 24

Hình 1.3 Quy trình theo vết đối tượng 26

Hình 1.4 Các phương pháp tiếp cận trong phát hiện bất thường [12] 41

Hình 2.1 Một số hình thức phân vùng giám sát 46

Hình 2.2 Các trường hợp giao nhau của hai đa giác 47

Hình 2.3 Với giao cắt đơn, số điểm giao cắt không quá 2 48

Hình 2.4 Chia cắt phần giao giữa hai đa giác 50

Hình 2.5 Phân chia vùng quan sát của hệ thống camera giám sát 53

Hình 2.6 Phân vùng giám sát cho các camera của hệ thống giám sát 54

Hình 2.7 Đường ranh giới ảo 55

Hình 2.8 Đường ranh giới ảo và khu vực giám sát của mỗi camera 56

Hình 2.9 Vị trí của đối tượng với đường ranh giới ảo 57

Hình 2.10 Phép biến đổi homography 58

Hình 2.11 Đối tượng chuyển động và đường ranh giới ảo trong môi trường 3D 58

Hình 2.12 Mặt phẳng tách và trục tách 60

Hình 2.13 Hình chiếu A lên đường thẳng d với tâm chiếu C0 61

Hình 2.14 Chiếu 8 đỉnh của hình hộp lên trục tách d 61

Hình 2.15 Kết quả chiếu 2 hình hộp lên trục tách d 63

Hình 2.16 Mô hình cấu trúc của hệ thống 66

Hình 2.17 Sơ đồ thực hiện chương trình của hệ thống 67

Hình 2.18 Sơ đồ mặt bằng bố trí camera 68

Hình 2.19 Chuyển tiếp giữa 2 camera 69

Hình 2.20 Biểu đồ so sánh giá trị Precision ở mỗi camera 70

Hình 2.21 Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống 74

Hình 2.22 Chọn lựa camera dựa vào hướng chuyển động của đối tượng 76

Hình 2.23 Biểu diễn mối quan hệ giữa vùng quan sát của hệ thống 78

Hình 2.24 Kết quả thực hiện giải thuật chọn lựa camera 79

Hình 3.1 Phát hiện bất thường dựa vào phân cụm quỹ đạo 89

Hình 3.2 Quỹ đạo chuyển động của đối tượng 92

Hình 3.3 Tuyến đường 95

Hình 3.4 Quỹ đạo được chia thành các giai đoạn 97

Hình 3.5 Sơ đồ khối phát hiện bất thường dựa vào các phân đoạn của tuyến đường 99

Hình 3.6 Tập 200 quỹ đạo bình thường 102

Hình 3.7 Phân nhóm các quỹ đạo 103

Hình 3.8 Đường đại diện của mỗi tuyến đường 103

Hình 3.9 Kết quả phân đoạn đường đại diện của tuyến đường 104

Hình 3.10 Phát hiện các quỹ đạo bất thường 105

Hình 3.11 Các tuyến đường trong khu vực giám sát 107

Hình 3.12 Phát hiện bất thường trên dữ liệu video 108

MỞ ĐẦU

1 Tính cấp thiết của luận án

Xuất hiện từ những năm 1940, ban đầu hệ thống camera giám sát được dùng vào mục đích quân sự Từ đó đến nay, trải qua 3 thế hệ, từ camera tương

tự, đến camera kỹ thuật số và giờ đây là camera IP, hệ thống camera giám sát

đã trở nên phổ biến và đang được sử dụng rộng rãi trong nhiều lĩnh vực Trong giao thông, người ta lắp đặt các camera giám sát ở các ngã ba, ngã tư, đường hầm, nhà ga và các vị trí quan trọng để giám sát giao thông, cảnh báo tình trạng ùn tắc, phát hiện các vi phạm luật giao thông của các phương tiện… Trong các bảo tàng, người ta sử dụng hệ thống camera trong việc giám sát các vật trưng bày để tránh trường hợp bị mất cắp Tại các vùng nhạy cảm về an ninh, các hệ thống giám sát được thiết lập để có thể cảnh báo kịp thời những hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn…

Mặc dù không có thống kê chính thức, tuy vậy theo một nghiên cứu gần đây [33], ước tính có khoảng 1.85 triệu camera giám sát tại Vương quốc Anh, trong đó xấp xỉ 30.000 tại các điểm công cộng, số lượng camera giám sát gia tăng nhanh, điều này đòi hỏi cần thiết phải quản lý chúng và đây là một lĩnh vực nghiên cứu được nhiều nhà khoa học quan tâm nhằm đáp ứng nhu cầu của thực tiễn [9]

Hệ thống camera giám sát có thể được thực hiện thủ công, bán tự động, hoặc hoàn toàn tự động Trong các hệ thống giám sát video thủ công truyền thống, thường có một trung tâm điều khiển với một bức tường có gắn các màn hình hiển thị thông tin thu nhận từ các camera (Hình 1), các luồng video được quan sát bởi các giám sát viên trong thời gian thực, cho phép họ can thiệp nhanh chóng nếu có một sự kiện quan tâm được phát hiện Việc xử lý trực tiếp của tất cả các luồng video là rất khó khăn do số lượng camera được triển khai

nhiều cùng với một lượng lớn dữ liệu thu nhận từ chúng, ước tính mỗi cá nhân trong các trung tâm giám sát theo dõi khoảng 20 – 100 camera cùng một lúc Chính vì vậy, dữ liệu video đã được lưu trữ lại trên các phương tiện truyền thông kỹ thuật số trong một khoảng thời gian xác định, chúng được tái sử dụng

để truy vấn, trích xuất thông tin hữu ích khi cần thiết như nhận dạng hoặc tìm kiếm bằng chứng

Tuy nhiên, khi số lượng camera tăng lên đáng kể thì rõ ràng đây là một nhiệm vụ hết sức khó khăn để một giám sát viên có thể theo dõi đầy đủ tất cả các đối tượng trong hệ thống, điều này dẫn đến khả năng bỏ sót các cảnh quan trọng tại các camera tăng lên Nguyên nhân chính là sự mất tập trung của giám sát viên vào camera ngay tại thời điểm xảy ra sự việc, bởi hầu hết thời gian trong quá trình giám sát không có sự kiện đặc biệt nào xảy ra nên sau một thời gian theo dõi các hình ảnh mà không có vấn đề gì xảy ra, cơn buồn ngủ, sự mệt mỏi và sự giảm mức độ cảnh giác thường gây ra các sai sót trong việc phát hiện sự kiện quan trọng

Hơn nữa, khi cần truy vấn hoặc trích rút thông tin với các dữ liệu đã lưu trữ, đặc biệt là đối với các cơ quan an ninh chính phủ như cảnh sát, tìm kiếm một người nào đó quan tâm trong hàng trăm hoặc hàng ngàn giờ video ghi lại

từ nhiều camera, phải cần một lượng lớn các cán bộ thực thi trong nhiều giờ hoặc nhiều ngày để thực hiện, việc dành quá nhiều nhân lực trong thời gian dài sẽ dẫn lãng phí về thời gian và tài chính

Chính vì vậy, vấn đề giám sát tự động là nhiệm vụ hàng đầu trong hệ thống giám sát bằng camera nhằm hỗ trợ tối đa con người trong việc điều khiển, giám sát, giảm thiểu các sai sót không đáng có, đồng thời qua đó cũng giải phóng sức lao động của các giám sát viên Các hệ thống hoàn toàn tự động

là hệ thống có khả năng thực hiện nhiệm vụ giám sát ở các mức độ khác nhau không có sự can thiệp của con người, từ các tác vụ bậc thấp như: phát hiện

chuyển động tới các tác vụ bậc cao như phát hiện sự kiện, hành vi Các hệ thống này cần có các kỹ thuật thông minh để theo dõi, phân loại và xác định các đối tượng được giám sát Ngoài ra, nó còn thực hiện báo cáo và phát hiện các hành vi đáng ngờ, các hoạt động bất thường của các đối tượng trong khu vực giám sát

Hình 1 Phòng điều khiển trong Trung tâm giám sát bằng camera

Nói chung, một hệ thống giám sát hình ảnh tự động thường thực hiện các giai đoạn: Phát hiện đối tượng chuyển động, phân loại đối tượng, theo vết đối tượng, nhận biết hoạt động, hành vi của đối tượng và chuyển giao camera Phát hiện đối tượng chuyển động là công việc đầu tiên của hầu hết các hệ thống giám sát bằng camera Phát hiện chuyển động nhằm xác định vùng hình ảnh tương ứng với đối tượng di chuyển từ mỗi khung hình Các quá trình tiếp theo như: theo vết đối tượng, phân tích hành vi phụ thuộc rất nhiều vào giai đoạn này Theo vết đối tượng nhằm tìm ra đối tượng chuyển động từ khung hình này sang khung hình khác trong một dãy khung hình Đầu vào của quá trình này là đầu ra của các quá trình phát hiện và phân lớp đối tượng chuyển động Phân tích, nhận biết hành vi của đối tượng giám sát là một công việc quan trọng trong hệ thống giám sát trực quan, trong một số trường hợp, việc phân tích hành vi của đối tượng được giám sát là cần thiết để xác định xem hành vi của chúng là bình thường hay bất thường

Trong thực tế khi triển khai các hệ thống giám sát tự động, một camera

là không đủ để quan sát bởi nó bị giới hạn về độ phân giải, thị trường quan sát

Do vậy, khi giám sát một vùng rộng lớn, người ta thường sử dụng nhiều camera thay vì chỉ dùng một camera Có thể tổ chức một hệ thống giám sát nhiều camera theo hai hướng: Hệ thống các camera có vùng quan sát chồng chéo (OVL) hoặc vùng quan sát không chồng chéo (NOVL) Với mỗi hệ thống theo dõi bằng nhiều camera đều có những thách thức cần giải quyết, và thông thường các nghiên cứu đều giả định giải quyết trong một điều kiện cụ thể [44] Việc sử dụng nhiều camera không chỉ cải thiện vùng theo dõi mà còn mang đến sự linh hoạt hơn khi giám sát đối tượng, đặc biệt là sự theo dõi liên tục khi đối tượng di chuyển qua các khu vực Một vấn đề cần được giải quyết trong hệ thống giám sát có nhiều camera đó là sự xuất hiện hoặc biến mất của đối tượng từ camera này sang camera khác, hay còn gọi là sự chuyển tiếp

camera Chuyển tiếp camera là một quá trình quyết định chuyển giao một đối tượng di chuyển từ camera này tới camera khác và là một bước quan trọng để

có được sự theo dõi liên tục nhãn của các đối tượng cùng với hành trình của

nó trong hệ thống giám sát có nhiều camera [16], với việc chuyển tiếp camera,

hệ thống giám sát với nhiều camera sẽ có được những lợi thế từ các camera đơn lẻ có thị trường bị giới hạn

Tuy nhiên, việc chuyển tiếp giữa các camera là một nhiệm vụ khó khăn [63] bởi nhiều nguyên nhân Nguyên nhân chính là do thông tin về cùng một đối tượng sẽ rất khác nhau khi nhìn từ mỗi camera Thực tế cho thấy, khi quan sát từ các camera thì mỗi camera có một góc nhìn khác nhau về cùng một đối tượng và các đối tượng thường cách xa nhau theo thời gian và không gian Sự xuất hiện của cùng một đối tượng ở camera này có thể rất khác so với camera khác (Hình 2), do khác nhau về sự chiếu sáng, tư thế và các đặc điểm của mỗi camera [44]

Hình 2 Hệ thống giám sát với nhiều camera có vùng quan sát

bị chồng chéo [44]

Đã có nhiều công trình nghiên cứu nhằm giải quyết bài toán theo dõi liên tục khi đối tượng di chuyển qua các camera, phần lớn các nghiên cứu đều tập trung vào việc tìm cách thiết lập sự tương ứng của các đối tượng ở camera này

với các camera khác, thực chất là đối sánh các đối tượng nằm trong vùng giao nhau giữa các trường quan của các camera trong môi trường 2D [44] Nhiều

kỹ thuật đã được áp dụng như: sử dụng lược đồ màu, mô hình xác suất [14],

mạng Beysian, mô hình Markov, hình học pipolar [102], đường FOV [52], [53], [55] Các nghiên cứu này mới chỉ dừng ở việc chuyển tiếp đối tượng, tức

là tìm cách thiết lập sự tương ứng giữa các đối tượng chuyển động ở các góc nhìn khác nhau của mỗi camera, việc xác định một cơ chế để lựa chọn một camera cho một số đối tượng chuyển động và chuyển tiếp chúng từ camera này sang camera khác để việc theo dõi được liền mạch là vấn đề đang được nghiên cứu

Việc chuyển tiếp camera thường yêu cầu khối lượng tính toán lớn khi phải thực hiện các thao tác như: xác định thời điểm và camera nhận chuyển tiếp, bàn giao đối tượng Do vậy, để nâng cao hiệu suất hoạt động của hệ thống thì việc thường xuyên chuyển đổi giữa các camera cần được giảm thiểu, đây

là trọng tâm nghiên cứu của luận án, chi tiết được trình bày trong chương 2 của luận án

Xuất phát từ thực tế trên, luận án lựa chọn đề tài “Kỹ thuật xử lý vùng quan sát và phát hiện bất thường của các đối tượng trong hệ thống camera giám sát”

Luận án tập trung nghiên cứu hai đối tượng chính trong hệ thống camera giám sát đó là: chuyển tiếp camera và phát hiện chuyển động bất thường

2 Mục tiêu nghiên cứu

Luận án tập trung nghiên cứu các vấn đề sau:

 Thứ nhất: Hệ thống camera giám sát và các bài toán liên quan;

 Thứ hai: Các kỹ thuật chuyển tiếp camera trong hệ thống camera giám sát với nhiều camera;

 Thứ ba: Các kỹ thuật phát hiện bất thường trong giám sát video

3 Phương pháp nghiên cứu

Trên cơ sở nghiên cứu sự cần thiết của hệ thống camera giám sát và các mục tiêu chính của luận án, phương pháp nghiên cứu của luận án được xác định gồm:

 Kết hợp nghiên cứu lý thuyết với khảo sát, phân tích và đánh giá thông qua thực nghiệm

 So sánh, phân tích và đánh giá các kết quả nghiên cứu của luận án với các kết quả trong những công trình của các tác giả khác đã công bố Trên cơ

sở đó, đưa ra những phương pháp, kỹ thuật mới và đề xuất cải tiến

 Công bố, trao đổi, thảo luận và báo cáo tại các buổi seminar, hội thảo, hội nghị khoa học…

4 Những đóng góp mới của luận án

Có thể khái quát các kết quả chính của luận án như sau:

 Đề xuất kỹ thuật phân vùng giám sát cố định cho các camera trong hệ thống camera giám sát dựa trên quan hệ hình học giữa thị trường quan sát của các camera, giúp giảm thiểu số lần tính toán chuyển tiếp camera thông qua việc giảm thiểu các cạnh của đa giác quan sát trong vùng giao nhau giữa các camera trong hệ thống OVL Kỹ thuật đề xuất được công bố trong Chuyên san của Tạp chí Công nghệ thông tin và Truyền thông năm

 Đề xuất một kỹ thuật giải quyết việc chuyển tiếp camera thông qua việc lựa chọn camera, nhằm giảm thiểu số lần chuyển tiếp camera khi giám sát đối tượng Kỹ thuật đề xuất đã được trình bày và đăng trong Kỷ yếu Hội nghị Quốc Gia “Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin – FAIR” năm 2013

 Đề xuất một kỹ thuật phát hiện chuyển động bất thường dựa vào quỹ đạo chuyển động của đối tượng Kỹ thuật đề xuất cho phép thao tác trên các quỹ đạo không hoàn chỉnh, đáp ứng được yêu cầu triển khai thời gian thực Kỹ thuật đề xuất được công bố tại Chuyên san của Tạp chí Công nghệ thông tin và Truyền thông năm 2015

5 Bố cục luận án

Luận án bao gồm phần mở đầu, kết luận và 3 chương nội dung:

Chương 1: Tổng quan về chuyển tiếp camera và phát hiện bất thường trong các hệ thống camera giám sát Các vấn đề chung về giám sát tự động trong hệ thống camera giám sát, cùng với các bài toán liên quan được khảo sát

và trình bày trong chương này

Chương 2: Một số kỹ thuật xử lý vùng quan sát trong chuyển tiếp camera

Đề xuất các kỹ thuật xử lý vùng quan sát trong việc giải quyết bài toán chuyển tiếp camera nhằm mục đích giảm thiểu các thao tác tính toán chuyển tiếp camera, từ đó giúp nâng cao hiệu quả hoạt động của hệ thống camera giám sát

Chương 3: Phát hiện bất thường dựa vào quỹ đạo trong giám sát video Chương này trình bày tóm lược về các hướng tiếp cận, các kỹ thuật đã được

áp dụng giải quyết bài toán phát hiện bất thường trong giám sát video, từ đó

đề xuất một kỹ thuật phát hiện bất thường trong giám sát video dựa vào phân tích quỹ đạo chuyển động của đối tượng

CHƯƠNG 1: TỔNG QUAN VỀ CHUYỂN TIẾP VÀ PHÁT HIỆN

BẤT THƯỜNG TRONG CÁC HỆ THỐNG CAMERA GIÁM SÁT

Nghiên cứu về hệ thống camera giám sát thông minh là một trong những chủ đề rất được quan tâm trong lĩnh vực thị giác máy tính, với mục đích nhằm trích xuất một cách hiệu quả những thông tin hữu ích từ một số lượng lớn các video thu được từ các camera giám sát bằng cách tự động phát hiện, theo dõi, nhận biết, phân tích và hiểu các hành vi hoạt động của các đối tượng được giám sát

Trong chương này, luận án trình bày sơ lược về một số vấn đề cơ bản của

hệ thống camera giám sát tự động cùng với các khảo sát liên quan đến bài toán chuyển tiếp camera và phát hiện bất thường trong các hệ thống camera giám sát

1.1 Hệ thống camera giám sát tự động

1.1.1 Giới thiệu

Ra đời từ những năm 1930, camera đã trở thành một phần của cuộc sống hiện nay Với những tiến bộ công nghệ gần đây, camera đã trở nên phổ biến hơn, nó có mặt từ máy tính để bàn, máy tính xách tay, đến thiết bị di động và nhiều thiết bị khác sử dụng hàng ngày Ngày càng nhiều các hệ thống giám sát bằng camera được triển khai và đã chứng minh được tính hiệu quả nhất định trên một số lĩnh vực như giám sát hoạt động con người, giám sát giao thông, Trong giao thông, người ta lắp đặt các camera giám sát ở các nơi đường giao nhau, đường hầm, nhà ga và các vị trí quan trọng để giám sát giao thông, dự báo tình trạng ùn tắc, điều phối phân làn giao thông, phát hiện các vi phạm luật giao thông của các phương tiện… Trong các siêu thị, kho bãi, bảo tàng, người ta sử dụng hệ thống camera để giám sát hoạt động của nhân viên, khách

hàng, các vật trưng bày để tránh trường hợp bị mất cắp Các vùng nhạy cảm

về an ninh, các hệ thống giám sát được triển khai để có thể cảnh báo kịp thời những hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn…

Có nhiều mức độ triển khai các hệ thống camera giám sát, từ hệ thống thủ công, đến bán tự động và hệ thống hoàn toàn tự động Đối với các hệ thống camera giám sát thủ công, công việc giám sát được xử lý trực tiếp bởi các giám sát viên trong thời gian thực, hệ thống chỉ hỗ trợ các thao tác cơ bản như: sao lưu dữ liệu hoặc trích xuất các đoạn video khi cần thiết Các hệ thống hoàn toàn tự động là hệ thống có khả năng thực hiện nhiệm vụ giám sát ở các mức

độ khác nhau không có sự can thiệp của con người, từ các tác vụ bậc thấp như: phát hiện đối tượng chuyển động tới các tác vụ bậc cao như phát hiện sự kiện, hành vi của đối tượng được giám sát

Hiện nay, một số hệ thống giám sát hình ảnh đã được triển khai thành công Ví dụ, hệ thống VSAM (Video Surveillance and Monitoring) được phát triển theo một chương trình do chính phủ Mỹ tài trợ [20] Đây là một hệ thống được thiết kế để phát hiện đối tượng chuyển động, phân loại các đối tượng di chuyển như phương tiện giao thông hoặc người và theo dõi chúng Hệ thống VSAM cũng có khả năng phát hiện các hoạt động đơn giản và tương tác giữa các đối tượng

Hệ thống KNIGHT do Shah và cộng sự đề xuất [94] sử dụng cả hai loại: đơn camera và nhiều camera KNIGHT có khả năng phát hiện đối tượng, phân loại, theo dõi và nhận dạng hoạt động của đối tượng giám sát Ngoài ra, KNIGHT cho phép theo vết đối tượng kết hợp từ các camera khác nhau có thị trường chồng chéo và không chồng chéo mà không cần thao tác hiệu chuẩn camera

Hệ thống giám sát thông minh IBM (S3) [101] có thể tự động phát hiện

và theo dõi đối tượng chuyển động, nó cũng có khả năng xác định các hoạt

động của các đối tượng trong khu vực giám sát, cho phép nhận dạng biển số

xe và chụp hình khuôn mặt Một số hệ thống giám sát khác đã được phát triển

và thương mại hóa như: Acuity, Agent Vi, Avocado, Axis, AxonX, Cernium, Emza, ioimage, Mate, VideoIQ, Vidient, Vistascape (Siemens)

Ở Việt Nam, gần đây nghiên cứu và triển khai các hệ thống camera giám sát rất được quan tâm, một số hệ thống giám sát bằng camera đã được triển khai như: hệ thống gửi xe thông minh, hệ thống phát hiện vi phạm giao thông… Đã có một số nhóm nghiên cứu tập trung vào lĩnh vực này, trong đó điển hình là Trung tâm MICA thuộc Trường đại học Bách khoa Hà Nội [38] với các dự án được hỗ trợ từ quỹ NAFOSTED như: phát hiện bất thường trong giám sát video [61], [103], định vị đối tượng chuyển động trong hệ thống camera giám sát…; Phòng thí nghiệm truyền thông đa phương tiện của Đại học Công nghệ thông tin – Đại học Quốc gia Thành phố Hồ chí Minh [39] với các dự án: phát hiện thông tin bạo lực trong video, phát hiện sự kiện trong kho

dữ liệu video, tìm kiếm đối tượng trong dữ liệu ảnh và dữ liệu video…

Mô hình tổng quát hệ thống camera giám sát tự động với nhiều camera được thể hiện ở Hình 1.1 [99]

Đầu vào của hệ thống là các khung hình video thu nhận được từ các camera Qua quá trình xử lý phát hiện đối tượng chuyển động (Motion and Object Detection), các đối tượng chuyển động trong các khung hình video được đưa ra Các đối tượng được phát hiện sẽ qua quá trình phân lớp đối tượng (Object Classification) để phân lớp các đối tượng đó thuộc lớp nào, sự vật nào Tiếp theo là quá trình xử lý để theo vết đối tượng (Object Tracking) nhằm dự đoán và tìm ra đường chuyển động của đối tượng, từ đó có thể phân tích, nhận biết hành vi của đối tượng giám sát

Hình 1.1 Sơ đồ hệ thống camera giám sát tự động [99]

1.1.2 Các vấn đề cơ bản trong hệ thống camera giám sát tự động

Nhìn chung, quá trình xử lý của hệ thống camera giám sát tự động được thực hiện thông qua việc giải quyết các một số vấn đề cơ bản sau:

1.1.2.1 Phát hiện đối tượng chuyển động

Hầu hết các hệ thống giám sát hình ảnh đều bắt đầu với việc phát hiện đối tượng chuyển động Phát hiện đối tượng chuyển động là bước đầu tiên và quan trọng nhất trong hệ thống camera giám sát tự động Mục tiêu của của việc phát hiện đối tượng chuyển động là xác định vị trí các khu vực đại diện cho các đối tượng di chuyển trong cảnh quay [99] và thực hiện tách chúng ra khỏi nền, mô hình thực hiện được chỉ ra trong Hình 1.2 Các quá trình tiếp

theo như: phân loại đối tượng, theo vết đối tượng, phân tích và nhận biết hành

vi đối tượng phụ thuộc rất nhiều vào quá trình này

Hình 1.2 Mô hình xử lý trong bài toán phát hiện đối tượng chuyển động

Việc trích rút đối tượng chuyển động khỏi nền phụ thuộc và chịu nhiều tác động bởi các yếu tố như: sự thay đổi cường độ ánh sáng, bóng của đối tượng, sự chuyển động và thay đổi của nền

Có nhiều phương pháp phát hiện đối tượng chuyển động khác nhau đã được sử dụng, Teddy [99] phân loại thành ba nhóm chính gồm các kỹ thuật: phương pháp chênh lệch tạm thời, trừ nền, các phương pháp thống kê và các phương pháp sử dụng kỹ thuật luồng quang học

1.1.2.2 Phân loại đối tượng

Trong hệ thống giám sát hình ảnh, phát hiện đối tượng chuyển động là bước quyết định thì bước quan trọng tiếp theo là phân loại các đối tượng chuyển động đã được phát hiện Các vùng ảnh được phân đoạn trong giai đoạn phát hiện đối tượng chuyển động có thể là con người, phương tiện, động vật, những đám mây di chuyển, lá cây, hoặc bất kỳ các loại nhiễu khác…, nhiệm

vụ của công đoạn phân loại đối tượng trong hệ thống giám sát hình ảnh là phân loại các đối tượng chuyển động đã được phát hiện vào các lớp được xác định trước như: một người, nhóm người, hay một chiếc xe,… bởi trên thực tế, các

hệ thống giám sát hình ảnh được sử dụng chủ yếu cho người và phương tiện

Phát hiện các vùng ảnh chuyển động

Xử lý các vùng ảnh chuyển động

Chuỗi video

Các đối tượng chuyển

động

Sau khi phân loại các đối tượng về các lớp phù hợp, các nhiệm vụ tiếp theo như: theo dõi đối tượng, định danh và phân tích hành vi đối tượng có thể được thực hiện hiệu quả và chính xác hơn

Phân loại đối tượng chính là nhận dạng mẫu tiêu chuẩn Nhìn chung việc phân loại đối tượng được chia làm hai giai đoạn xử lý chính: trích rút các đặc trưng và phân loại các véc tơ đặc trưng Trong giai đoạn thứ nhất, các đặc trưng của đối tượng như: chiều cao, độ rộng, diện tích, hình bóng, vị trí góc… được trích rút từ vùng ảnh đại diện cho đối tượng chuyển động Trong giai đoạn thứ hai, các thuật toán phân lớp được sử dụng để phân lớp các thuộc tính vào các lớp đã được xác định trước đó

1.1.2.3 Theo vết đối tượng

Mục đích của theo vết đối tượng là tìm ra đối tượng chuyển động đã được phát hiện trong giai đoạn phát hiện đối tượng chuyển động từ khung hình này sang khung hình khác trong một dãy khung hình [57]

Đầu vào của bài toán theo vết đối tượng chuyển động là vùng ảnh của đối tượng, các đặc trưng của đối tượng đã được phát hiện thông qua khối xử lý phát hiện đối tượng, đồng thời vùng ảnh của đối tượng đó đã được phân loại thuộc các lớp đối tượng cụ thể (lớp đối tượng người, phương tiện giao thông,

đồ vật…) được thực hiện qua khối xử lý phân loại đối tượng Nhiệm vụ của theo vết đối tượng là chính xác hoá sự tương ứng của vị trí đối tượng trong các khung hình liên tiếp từ đó dự đoán đường đi, vận tốc, hướng chuyển động của các đối tượng

Quy trình theo vết đối tượng được thể hiện trong Hình 1.3

Hình 1.3 Quy trình theo vết đối tượng 1.1.2.4 Phân tích, nhận biết hành vi của đối tượng giám sát

Một trong những thách thức khó khăn nhất trong lĩnh vực thị giác máy tính là việc nhận biết các hành vi ngữ nghĩa và sự hiểu biết từ các hoạt động (trực quan) quan sát được trong video giám sát Sự hiểu biết hành vi liên quan đến việc phân tích và nhận dạng các mô hình chuyển động, mô tả mức cao các hành động và sự tương tác giữa hai hoặc nhiều đối tượng

Các nghiên cứu trong lĩnh vực này tập trung chủ yếu vào việc phát triển các phương pháp phân tích các dữ liệu trực quan nhằm trích xuất và xử lý thông tin về các hành vi của các đối tượng vật lý (ví dụ, con người) trong một cảnh quay Trong một số trường hợp, việc phân tích hành vi của đối tượng được giám sát là cần thiết để xác định xem hành vi của chúng là bình thường hay bất thường

Chính xác hóa đối

tượng (Objec Matching)

Xử lý nhập nhằng (Occlution Handling)

Dự đoán chuyển động của đối tượng

Phát hiện đối tượng

1.2 Chuyển tiếp camera và phát hiện bất thường

1.2.1 Theo vết đối tượng với với nhiều camera

Trên thực tế, mỗi camera giám sát đều bị giới hạn về thị trường quan sát của chúng, bởi vậy khi cần mở rộng phạm vi giám sát, hoặc triển khai tại những khu vực mà một camera không thể bao quát đầy đủ khung cảnh, thì hệ thống giám sát cần được xây dựng trên sự kết hợp của nhiều camera Với hệ thống giám sát nhiều camera, một vấn đề đặt ra là cần phải theo dõi liền mạch khi đối tượng di chuyển qua các camera Hệ thống cần phải nhận ra đối tượng khi chúng di chuyển từ vùng quan sát của camera này tới vùng quan sát của một camera khác Nói cách khác, hệ thống phải có khả năng gán nhãn phù hợp hoặc nhận diện cùng một đối tượng khi chúng di chuyển qua các camera khác nhau trong hệ thống giám sát Đây là một nhiệm vụ rất cần thiết đối với việc phân tích hoạt động của đối tượng và có một tầm quan trọng đáng kể khi cần giám sát một khu vực rộng lớn như: sân bay, trường đại học, các trung tâm mua sắm hay các trạm xe lửa sử dụng các hệ thống giám sát nhiều camera Trong môi trường nhiều camera, việc nhận diện một đối tượng khi chúng đi ra

từ thị trường của một camera hoặc tái nhập trong cùng thị trường camera đó hoặc một camera khác là rất cần thiết để có được sự nhất quán về thông tin chuyển động của đối tượng

Có hai cách tiếp cận khi triển khai hệ thống giám sát có nhiều camera: hệ thống các camera có vùng quan sát chồng chéo (OVL) hoặc vùng quan sát không chồng chéo (NOVL) Với mỗi hệ thống đều có những thách thức cần giải quyết cùng với đó nhiều cách tiếp cận đã được đề xuất

1.2.1.1 Theo vết đối tượng với hệ thống NOVL

Đối với hệ thống NOVL việc theo vết được thực hiện riêng cho từng camera, tại một thời điểm đối tượng chỉ được giám sát bởi một camera và trách

nhiệm theo dõi một chủ thể nhất định được chuyển giao từ một camera khác

Hệ thống sẽ gặp nhiều khó khăn để đảm bảo tính liên tục trong việc theo vết đối tượng khi chúng di chuyển qua các camera do thiếu tính liên tục trong không gian và có những vùng “mù” (đối tượng không nằm trong bất cứ vùng quan sát của camera nào) Trong trường hợp này, việc khôi phục quan hệ hình học của đối tượng được giám sát trở nên khó khăn hoặc khó khả thi

Đối sánh dựa trên các đặc trưng thường được sử dụng để giải quyết các vấn đề tái định danh đối tượng khi chúng di chuyển qua các camera Trong môi trường NOVL có nhiều điểm có thể ra/vào, đối tượng có thể được đi ra từ một vị trí và trở lại trong cảnh từ một vị trí khác Chính điều này làm cho việc xác nhận đối tượng khi chúng di chuyển qua các camera dựa trên các đặc trưng chuyển động như vị trí và vận tốc chuyển động của đối tượng gặp nhiều khó khăn Tương tự như vậy, sử dụng các thuộc tính hình học của đối tượng cũng gặp những thách thức do sự chuyển động của các bộ phận riêng lẻ của đối tượng và sự biến động lớn của kích thước đối tượng Bởi vậy trong quá trình thực hiện, các đặc trưng thường được sử dụng kết hợp để so khớp đối tượng như các đặc trưng về sự xuất hiện của đối tượng, các thông tin về sự gắn kết không gian – thời gian giữa các camera

Màu sắc là một trong những đặc trưng xuất hiện thường được sử dụng nhất Thông tin màu sắc thường được biểu diễn bằng biểu đồ màu sắc trong không gian màu RGB hoặc HSV Kỹ thuật đối sánh dựa trên biểu đồ màu được nhiều tác giả [31], [80], [100] lựa chọn để so khớp các đối tượng khi chúng di chuyển qua các camera trong quá trình giám sát

Porikli và Divakaran [86] sử dụng mạng Bayes Họ đối sánh biểu đồ của đối tượng hiện thời với biểu đồ màu trong cơ sở dữ liệu Họ tính toán sự tương

tự giữa hai biểu đồ Nếu một biểu đồ có độ tương tự lớn hơn một ngưỡng, thì chọn đối tượng có xác suất Bayes cao nhất Trong tiếp cận của họ, một hàm

chuyển đổi độ sáng (BTF) được tính toán cho mỗi cặp camera Ci và Cj, do vậy giá trị độ sáng được quan sát tại Ci được ánh xạ tới quan sát tương ứng tại camera Cj

Trên thực tế, màu sắc của đối tượng khi được thu nhận qua các camera

dễ bị ảnh hưởng bởi sự thay đổi chiếu sáng Một hệ thống giám sát nhiều camera có thể gồm các camera giống nhau tuy nhiên chúng lại hoạt động trong điều kiện chiếu sáng khác nhau (như trong nhà dưới ánh đèn huỳnh quang hoặc ngoài trời dưới ánh sáng ban ngày ), hoặc các camera có những đặc tính quang học khác nhau, và ngay cả các camera giống hệt nhau mà có các tính chất quang học và làm việc trong các điều kiện ánh sáng tương tự cũng có thể không so khớp với màu sắc của chúng [5] Bởi vậy, hình ảnh của cùng một đối tượng được thu nhận từ các điểm quan sát sẽ khác nhau về màu sắc, điều này gây khó khăn cho việc đối sánh đối tượng

Cân bằng biểu đồ màu là một trong những kỹ thuật thường được sử dụng nhất để giảm thiểu sự biến đổi màu sắc giữa các camera Hordley và cộng sự [36] đề xuất kỹ thuật cân bằng biểu đồ màu dựa trên sự sắp xếp thứ hạng của

độ nhạy cảm biến Họ cho rằng, sự thay đổi chiếu sáng hoặc thiết bị có ảnh hưởng đến ảnh thu nhận từ các camera, nhưng sự sắp xếp thứ hạng của độ nhạy của các cảm biến phần lớn được bảo toàn Cheng và Piccardi [17], Hamdoun và cộng sự [35] sử dụng các kỹ thuật cân bằng biểu đồ để bù đắp sự thay đổi ánh sáng

Một phương pháp khác được sử dụng khá phổ biến, đó là sử dụng các hàm chuyển giao độ sáng BTF Thực chất các hàm BTF thực hiện chuyển đổi các đặc tính độ sáng từ một camera này tới một camera khác Thông thường khi cân chỉnh màu sắc, một camera được thiết lập là camera tham khảo và các camera khác được hiệu chỉnh theo nó bằng cách sử dụng các đặc trưng từ việc đối sánh ảnh

Porikli [85] đã đề xuất một mô hình hàm tương quan chéo cho từng đôi liên camera cân chỉnh màu sắc thông qua một hàm chuyển giao độ sáng BTF được tính cho mỗi cặp máy ảnh, một giá trị màu được quan sát tại camera này được ánh xạ tương ứng tới camera khác

Prosser và cộng sự [87] đề xuất phương pháp tính toán BTF tích lũy mà chỉ đòi hỏi một tập màu huấn luyện thưa thớt Họ đề xuất sử dụng tiêu chuẩn

so khớp hai chiều nhằm giảm bớt sai xót khi đối sánh

Javed [43] đề xuất một cách tiếp cận không yêu cầu hiệu chỉnh liên camera tường minh Họ chỉ ra rằng, tất cả các BTF giữa các cặp camera nằm trong một không gian con có số chiều thấp Không gian con này được học bằng cách sử dụng xác suất PCA và dùng để so khớp đối tượng

Một số tác giả đã kết hợp các thông số chuyển động của đối tượng với các thông tin không gian của các camera để tái định danh đối tượng trong việc theo vết đối tượng với hệ thống camera không chồng chéo Javed [43] kết hợp các đặc trưng màu sắc với thông tin chuyển động của đối tượng trong việc xây dựng mô hình xuất hiện đối tượng, xác xuất PCA được dùng để so khớp các đối tượng thông qua một không gian con dựa vào hàm chuyển đổi độ sáng Dấu hiệu không gian – thời gian được sử dụng để ràng buộc sự tương ứng giữa các camera trong những khoảng thời gian, vị trí vào/ra và vận tốc chuyển động của đối tượng Kết quả cho thấy rằng việc kết hợp các thông số chuyển động đối tượng với mô hình xuất hiện đối tượng cải thiện đáng kể hiệu suất tái định danh đối tượng

Rahimi và Darrell [89], Zhu và cộng sự [122] sử dụng các thông tin thu được từ việc quan sát vị trí và vận tốc của đối tượng chuyển động qua các camera không chồng chéo để xác định các mối quan hệ không gian giữa các camera trong hệ thống

Makris [73] xác định các cấu trúc liên kết của một mạng camera bằng cách sử dụng một thuật toán hai giai đoạn Đầu tiên các vùng được đánh dấu

là điểm vào/ra của mỗi camera được xác định, sau đó các liên kết giữa các khu vực các camera được tìm thấy bằng cách sử dụng sự kiện đồng xuất hiện sự kiện vào/ra Phương pháp của họ đề xuất giả định cơ bản là trong một khoảng thời gian nhất định, sự kiện vào/ra xuất hiện tại mỗi camera có nhiều khả năng hơn là một sự kiện ngẫu nhiên

Rahimi và Darrell [89] đề xuất một phương pháp nhằm tái tạo lại đường

đi hoàn chỉnh của một đối tượng khi nó di chuyển trong một khu vực được giám sát bằng các camera không chồng chéo Họ mô hình hóa sự chuyển động của các đối tượng như một quá trình Markov Các tác giả cho rằng các đối tượng di chuyển trên một mặt phẳng mặt đất và tất cả các dữ liệu quỹ đạo của các đối tượng đã có sẵn Do đó, phương pháp đề xuất không phù hợp cho việc thực hiện thời gian thực

1.2.1.2 Theo vết đối tượng với hệ thống OVL

Trong hệ thống NOVL, tại một thời điểm chỉ có một camera quan sát đối tượng, việc theo dõi đối tượng được thực hiện riêng cho từng camera và nhiệm

vụ theo dõi một đối tượng nhất định được chuyển giao từ một camera khác Trong khi đó với hệ thống OVL, các camera chia sẻ một phần thị trường quan sát cho nhau, một đối tượng ở một thời điểm nào đó có thể được quan sát bởi nhiều camera, điều này giảm bớt những khó khăn bởi tình trạng nhập nhằng, bít kín gây ra khi giám sát nhiều đối tượng Hệ thống OVL luôn giả định rằng trong mọi thời điểm đối tượng luôn được giám sát bởi ít nhất một camera Thông tin về quan hệ hình học giữa các camera là thông tin quan trọng

và có thể được khôi phục, nhằm thiết lập sự tương ứng của các đối tượng giữa các camera Có nhiều cách tiếp cận đã được giới thiệu

Phương pháp tiếp cận sử dụng đường epipolar để hợp nhất các đối tượng qua các camera được nhiều tác giả sử dụng Một điểm ở khung nhìn camera này được ánh xạ tới khung nhìn của camera khác, tất cả các điểm nằm trên đường epipolar ở khung nhìn thứ hai là những điểm có khả năng tương ứng với các điểm trong khung nhìn thứ nhất Tuy nhiên, ràng buộc epipolar không thể xây dựng một tương ứng duy nhất giữa khung nhìn, bởi vậy một số phương pháp tiếp cận bổ sung thêm việc đối sánh các đặc trưng dọc theo đường epipolar để giúp thiết lập sự tương ứng qua các camera khác nhau

Mittal và Davis [74], sử dụng kỹ thuật trừ nền để phát hiện đối tượng chuyển động, sau đó họ thực hiện đối sánh màu sắc của tất cả vùng ảnh nổi dọc theo đường epipolar của mỗi cặp camera Tiếp theo, các điểm giữa của các vùng so khớp trong mỗi cặp camera được chiếu ngược lại để lấy được các điểm 3D Những điểm này sau đó được chiếu lên mặt phẳng đất, tạo ra một bản đồ phân phối xác suất, kết hợp với sử dụng kỹ thuật loại bỏ ngoại lai để tính toán vị trí của từng đối tượng 2D

Một hướng tiếp cận khác dựa vào phép biến đổi tương quan homography, đây là hướng tiếp cận được nhiều tác giả quan tâm sử dụng [8], [11], [13], [40], [54], [104], với giả định tất cả các đối tượng di chuyển trên cùng mặt đất phẳng Sử dụng một mặt phẳng chung, một điểm trên mặt phẳng ảnh được nắn vào hệ tọa độ thế giới thực, điểm tương ứng của nó trong hệ tọa độ thế giới thực nằm trên giao điểm của mặt phẳng và các đường đi qua tâm của camera pinhole Mặt phẳng chung là một giả định thực tế bởi vì hầu hết các kịch bản giám sát đều gắn liền với mặt đất

Fleuret [30] sử dụng một khuôn khổ xác suất để thực hiện phát hiện và theo dõi đối tượng cùng lúc Mô hình của họ là sự kết hợp giữa mô hình chuyển động đơn giản với mô hình diện mạo Mô hình diện mạo gồm: mật độ màu RGB và một bản đồ chiếm dụng mặt phẳng đất Trong bản đồ chiếm dụng,

mặt phẳng đất được phân chia thành một lưới đều và xác suất chiếm giữ của mỗi ô lưới được ước tính bằng cách sử dụng kết quả từ khâu trừ nền Tuy nhiên, do bản đồ chiếm dụng khởi tạo ban đầu dựa trên kết quả của thuật toán trừ nền, do vậy kết quả theo dõi sẽ giảm đi đáng kể trong trường hợp mật độ đối tượng cao

Arsic [4], Khan [56] thực hiện chiếu các hình ảnh tiền cảnh lên các mặt phẳng ngang trong không gian 3D, vị trí của các đối tượng tại mặt đất được xác định là nơi có nhiều vùng ảnh nổi của nhiều mặt phẳng giao nhau

Eshel và Moses [29] chiếu các khung hình của các camera xuống một mặt phẳng nằm ngang trong không gian 3D, vị trí của đối tượng được xác định thông qua việc so sánh các giá trị điểm ảnh của các khung hình khác nhau được chiếu xuống tại các vị trí tương ứng

Tương tự như vậy, Santos và Morimoto [93] sử dụng hình ảnh có chứa

số lượng điểm ảnh tiền cảnh trên mỗi điểm ảnh để tạo điểm nhận diện 3D tại các vị trí có số điểm tích lũy cao nhất

Có thể nhận thấy rằng vấn đề theo vết đối tượng với hệ thống giám sát có nhiều camera rất được quan tâm bởi tính ứng dụng thực tiễn của nó Có nhiều cách tiếp cận, nhiều kỹ thuật đã được đề xuất, tựu chung là đối sánh đối tượng qua các góc nhìn của mỗi camera hay còn gọi là chuyển tiếp đối tượng

Với hệ thống giám sát tự động có nhiều camera, ngoài việc chuyển tiếp đối tượng, hệ thống cần thực hiện việc chuyển giao nhiệm vụ theo dõi từ camera này tới camera khác để có được sự theo dõi liên tục các đối tượng cùng với hành trình của chúng trong khu vực được giám sát, quá trình này được gọi

là chuyển tiếp camera Phần tiếp theo, luận án trình bày tổng quan về bài toán chuyển tiếp camera

1.2.2 Bài toán chuyển tiếp camera

Chuyển tiếp camera, là quá trình thực hiện xử lý chuyển giao nhiệm vụ theo dõi từ camera này tới camera khác, đây là vấn đề quan trọng cần được giải quyết để có được sự theo dõi liên tục các đối tượng cùng với hành trình của nó trong một hệ thống giám sát có nhiều camera [16], [114] Tuy nhiên, đây là một nhiệm vụ khó khăn vì các yếu tố sau [59]:

 Thứ nhất, các đối tượng chuyển động trong môi trường ngẫu nhiên Do

đó, khó dự đoán được vị trí chính xác của các đối tượng và hiểu mô hình chuyển động của các đối tượng một cách chính xác

 Thứ hai, các yếu tố nhiễu của môi trường bên ngoài gây khó khăn đến việc phát hiện đối tượng

 Thứ ba, mỗi camera có một góc nhìn khác nhau với cùng một đối tượng

và do đó các thông tin về cùng một đối tượng có thể khác nhau ở mỗi góc nhìn của từng camera [62]

Chuyển tiếp camera là một quá trình quyết định chuyển giao một đối tượng di chuyển từ camera này tới camera khác [16] Theo Yiming [114], hầu hết các giải thuật chuyển tiếp camera hiện tại tập trung vào việc phát triển các thuật toán ghi nhãn phù hợp Chen [16] xác định các phương thức ghi nhãn phù hợp có thể được chia thành các nhóm chính: tiếp cận dựa vào đặc trưng, dựa vào hình học, dựa trên sự đồng chỉnh, dựa trên biến đổi tương quan (homography) và kết hợp giữa các cách tiếp cận

Màu sắc và các đặc trưng phân biệt của các đối tượng thường được sử dụng [6], [18], [71] để đối sánh, tìm ra sự tương ứng của các đối tượng giữa các camera

Kang và đồng nghiệp [19] sử dụng kết hợp hai mô hình: mô hình chuyển động và mô hình diện mạo để giải quyết vấn đề theo vết đối tượng liên tục

trong hệ thống giám sát gồm cả hai loại: camera cố định và chuyển động Mô hình chuyển động thực hiện dự đoán vị trí của các đối tượng di chuyển bằng cách sử dụng bộ lọc Kalman; trong khi mô hình diện mạo sử dụng nhiều thành phần phân bố màu sắc để mô tả đối tượng

Lee [64] đề xuất việc tính toán tỷ lệ xuất hiện và đồng xuất hiện COR theo thứ tự của các khối liên đới COR được xác định bằng tỷ lệ của giá trị đồng xuất hiện trên giá trị xuất hiện, nơi trước đó là xác suất của cùng một đối tượng được quan sát giữa hai khối và sau này là xác suất của một đối tượng được quan sát thấy trong một khối Khi giá trị COR của hai khối lớn hơn một giá trị ngưỡng, chúng được xác định là hai khối liên đới Phương pháp của họ khá tốn kém về thời gian Younggwan Jo [48] cũng có cách tiếp cận tương tự Nhóm nghiên cứu khác sử dụng đường thị trường quan sát (FOV) để phân loại các đối tượng, đường FOV được một số tác giả [42], [51] đề xuất sử dụng

để xác định vùng quan sát của góc quay camera, đường FOV của một camera

có thể được vẽ ở camera khác nếu hai camera đó có vùng quan sát chồng lên nhau, việc phân loại các đối tượng sử dụng khoảng cách giữa đối tượng với đường FOV gần nhất Tuy nhiên, cách tiếp cận của họ không phân loại được đối tượng trong tình huống hai đối tượng có cùng vị trí đường FOV

Một vấn đề quan trọng trong việc chuyển tiếp camera là quy định việc cộng tác giữa các camera và trả lời câu hỏi Khi nào (When) và Ai (Who) [15]: When là yêu cầu chuyển tiếp được kích hoạt để đảm bảo đủ thời gian cho việc gán nhãn phù hợp được thành công, Who là camera đủ khả năng nhất để tiếp nhận đối tượng quan tâm trước khi nó đi ra khỏi vùng giám sát của camera hiện thời

Parket [79] xây dựng một bảng tra cứu sự phân bố các camera để thực hiện việc chuyển tiếp camera Mỗi mục của bảng tra cứu của một camera chứa danh sách các camera có khả năng tiếp nhận chuyển tiếp cùng với khoảng cách

từ nó tới camera hiện thời Jo và Han [48] đề xuất sử dụng một hàm chuyển tiếp cho việc theo dõi đối tượng liên tục qua nhiều camera Hàm chuyển tiếp được xác định bằng tỷ lệ đồng xuất hiện tới xuất hiện cho các cặp điểm trong hai góc nhìn Phương pháp của họ không yêu cầu hiệu chỉnh camera Li và Bhanu [70] phát triển một phương pháp dựa trên lý thuyết trò chơi để giải quyết vấn đề chuyển tiếp camera Khi một đối tượng có thể được nhìn thấy trong nhiều camera, khi đó camera được chọn là camera có giá trị hàm hiệu dụng là lớn nhất Các tác giả đề xuất một số tiêu chí để xây dựng các hàm hiệu dụng, như tỷ lệ số lượng điểm ảnh của đối tượng được lựa chọn với kích thước của khung hình, hoặc tỷ lệ số lượng điểm ảnh trên khuôn mặt phát hiện được trên toàn bộ hình bao xung quanh khuôn mặt Monary [76] sử dụng ràng buộc hình học để dự báo hướng mà đối tượng có thể tới, và lựa chọn camera theo hướng đó Một số tiếp cận khác dựa vào việc đánh giá chất lượng giám sát, ví

dụ như chất lượng của việc phát hiện các khuôn mặt, tốc độ di chuyển trong mối quan hệ với thị trường camera [25], [34], hoặc mối liên hệ giữa camera

và vị trí của đối tượng [88], [117] và lựa chọn các camera có hệ số chất lượng tốt nhất Snidaro [96] giới thiệu một phương thức lựa chọn camera dựa trên độ

đo chất lượng được gọi là tỷ lệ diện mạo xuất hiện đối tượng được tính thông qua giá trị màu tại mỗi đốm màu trên tổng số điểm ảnh thuộc đốm màu đó Quá trình chuyển tiếp camera luôn yêu cầu một khối lượng tính toán lớn

do cách tiếp cận nhận dạng (ánh xạ) các đối tượng trong vùng giao nhau của các camera, điều này làm giảm hiệu suất của hệ thống, chính bởi vậy yêu cầu giảm bớt các thao thác chuyển tiếp khi theo dõi đối tượng trong hệ thống giám sát có nhiều camera là cần thiết để giảm chi phí tính toán cho hệ thống

1.2.3 Phát hiện bất thường trong giám sát video

Đối với hệ thống camera giám sát tự động, nhận diện và hiểu được hành

vi của đối tượng là một nhiệm vụ quan trọng và nhận được nhiều sự quan tâm

nghiên cứu do khả năng ứng dụng đời sống xã hội [50] Trong đó, phát hiện hành vi bất thường là một trong các đối tượng nghiên cứu quan trọng trong phân tích nội dung video thông minh Phát hiện tự động các hoạt động bất thường có thể được sử dụng để cảnh báo tới các cơ quan liên quan các hành vi tội phạm hoặc các mối nguy hiểm tiềm tàng, chẳng hạn như cảnh báo tự động khi một đối tượng có dấu hiệu khả nghi ở khu vực được giám sát, hoặc một phương tiện giao thông vi phạm tốc độ trong quá trình lưu thông

Mặc dù có nhiều cách gọi khác nhau, nhưng trong hệ thống video giám sát, bất thường có thể được xác định như một quan sát không tuân theo những

hành vi bình thường mà ta mong đợi [12] Đối với chuỗi video, các sự kiện

bất thường có thể được coi là chuyển động hoặc một chuỗi các chuyển động nổi bật trong khung cảnh xung quanh chúng trong không gian và thời gian [84] Điều này cho phép có thể phát hiện được bất thường thông qua các phương pháp thống kê, bằng cách xem xét bất thường như các sự kiện có xác suất thấp đối với mô hình xác suất của hành vi bình thường [12], [69]

1.2.3.1 Phân loại bất thường

Theo Chandola [12] bất thường được chia thành hai loại: bất thường điểm

và bất thường ngữ cảnh

Bất thường điểm là bất thường được xác định thông qua các giá trị đặc

trưng được trích rút ở một vị trí cụ thể nào đó, bị lệch (khác) đáng kể so với những gì được coi là bình thường Bởi vậy, bất thường điểm không xem xét đến các giá trị quá khứ hoặc các thông tin được đưa ra bởi các đối tượng hoặc điểm gần đó Ví dụ, giả sử ta có một mô hình vận tốc bình thường của đối tượng di chuyển ở tất cả các địa điểm trong một khung cảnh, thì bất kỳ đối tượng nào có vận tốc không phù hợp với mô hình đó có thể được xem như là bất thường

Bất thường ngữ cảnh là bất thường được xác định có xem xét đến thông

tin từ ngữ cảnh thời gian hoặc không gian Ví dụ, trong giám sát giao thông, một chiếc xe lưu thông với tốc độ “bình thường” nhưng lại quay đầu bất hợp pháp tại một ngã tư, khi đó nó được xác định là “bất thường”, do quỹ đạo chuyển động của nó đi chệch khỏi tuyến đường đã được xác định bình thường (hợp lệ) trước đó Thông tin từ các đối tượng xung quanh luôn được xem xét đến trong bất thường ngữ cảnh không gian Ví dụ, Cui và đồng nghiệp [22] sử dụng mối quan hệ giữa các trạng thái hành vi và hành động hiện thời của các đối tượng để phát hiện sự kiện bất thường trong giám sát đám đông Jiang [47] xem xét bất thường kết hợp từ cả hai ngữ cảnh không gian và thời gian, trong ngữ cảnh không gian, họ phân tích các sự kiện của một đối tượng đơn lẻ và của các đối tượng liên quan trong không gian; trong ngữ cảnh thời gian, họ phân tích các sự kiện xảy ra ở thời gian ngắn và thời gian dài

1.2.3.2 Khó khăn, thách thức

Các sự kiện bất thường có thể dễ dàng xác định được bằng trực quan của con người, nhưng để có thể phát hiện được bất thường tự động trong hệ thống giám sát thông minh thì các kỹ thuật phát hiện gặp phải một số yếu tố khó khăn, thách thức sau đây [12]:

Định nghĩa bất thường phụ thuộc nhiều vào cách mô hình hóa những sự kiện bình thường và những đặc trưng được trích rút Đặc biệt, ngữ cảnh, đặc trưng và quy mô mà ở đó các đặc trưng được chiết xuất được dùng để xác định bất thường

Trong một ngữ cảnh không cố định, trạng thái bình thường có thể thay đổi tại những thời điểm khác nhau trong một kịch bản nhất định

Sự kiện bất thường nói chung là không thường xuyên, thưa thớt và không thể đoán trước [69] Điều này làm cho việc lấy mẫu huấn luyện bị giới hạn về

số lượng

1.2.3.3 Các phương pháp tiếp cận

Có nhiều phương pháp tiếp cận khác nhau đã được đề xuất để phát hiện bất thường trong hệ thống video giám sát tự động, nhiều tác giả có những phân loại khác nhau Leon [66] chia các cách tiếp cận thành bốn nhóm:

 Nhóm đầu tiên là các tiếp cận dựa vào xác suất bao gồm các phương pháp chủ yếu dựa trên các mô hình xác suất cổ điển, như chuỗi Markov hoặc suy luận Bayes… để phát hiện các sự kiện bất thường trong chuỗi video

 Nhóm thứ hai là các tiếp cận dựa trên năng lượng và luồng, gồm các phương pháp có nguồn thông tin chính xuất phát từ một ước lượng năng lượng trong cảnh video

 Nhóm thứ ba là các tiếp cận dựa trên phân cụm, nó bao gồm các phương pháp, chủ yếu là dựa vào phân cụm các sự kiện bình thường, khi đó sự kiện bất thường được phát hiện là những sự kiện không có khả năng thuộc

về bất cứ cụm nào đã thiết lập

 Nhóm thứ tư là các tiếp cận dựa trên việc mô hình hóa, bao gồm các phương pháp dựa vào kiến thức tiên nghiệm (mô hình) của các sự kiện trong cảnh quay và xem xét các sự kiện bất thường như là các đối tượng không phù hợp với kiến thức tiên nghiệm trong cảnh quay

Chandola [12] dựa trên kỹ thuật áp dụng đã chia các phương pháp tiếp cận thành sáu nhóm:

 Nhóm dựa trên phân loại (Classification): Các kỹ thuật dựa trên phân loại hoạt động dựa vào giả định sau: Một bộ phân loại có thể phân biệt giữa

các lớp bình thường và bất thường có thể được học trong không gian đặc trưng nhất định

 Nhóm dựa trên phân cụm (Clustering): Các kỹ thuật trong nhóm này dựa trên dựa trên giả định: Các thể hiện dữ liệu bình thường luôn thuộc về một cụm nào đó trong dữ liệu, trong khi đó bất thường không thuộc về bất cứ cụm nào

 Nhóm dựa vào láng giềng gần nhất (Nearest Neighbor): Các kỹ thuật này dựa trên giả định chủ yếu sau: Các thể hiện dữ liệu bình thường xảy ra ở các vùng lân cận dày đặc, trong khi bất thường xảy ra ở xa láng giềng gần nhất của chúng

 Nhóm dựa vào thống kê (Statistical): Kỹ thuật phát hiện bất thường dựa trên thống kê được dựa trên giả định chủ yếu sau: thể hiện dữ liệu bình thường xảy ra trong vùng có xác suất cao của một mô hình ngẫu nhiên, trong khi đó bất thường xảy ra tại các khu vực xác suất thấp của mô hình ngẫu nhiên

 Nhóm dựa vào lý thuyết thông tin (Information Theoretic): Các kỹ thuật này dựa trên giả định chủ yếu sau đây: Dị thường trong dữ liệu gây ra những vi phạm về nội dung thông tin của các tập dữ liệu

 Nhóm dựa vào phổ (Spectral) dựa trên giả định: Dữ liệu có thể được nhúng vào một không gian con có chiều thấp hơn, trong đó trường hợp bình thường và bất thường xuất hiện khác nhau đáng kể

Trong quá trình nghiên cứu, chúng tôi nhận thấy rằng kết quả thu nhận được trong quá trình giám sát đối với hệ thống camera giám sát là chuỗi hình ảnh dòng video hoặc quỹ đạo chuyển động của đối tượng (thu nhận được sau quá trình theo vết đối tượng) Bởi vậy, luận án xác định chia thành hai nhóm,

đó là: nhóm dựa trên phân tích hình ảnh dòng video và nhóm dựa trên phân