NGHIÊN cứu các PHƯƠNG PHÁP PHÁT HIỆN và PHÂN TÍCH HÀNH VI đám ĐÔNG QUA CAMERA GIÁM sát

Trong một đám đông, các chuyển động đồng nhất thể hiện cho các hành vi của các cá nhân thành phần.. Hầu hết các nghiên cứu hiện tại không thể so sánh hành vi đám đông qua các hoàn cảnh k

1

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn này được thực hiện bằng sự đam mê và công sức của tôi dưới sự hướng dẫn tận tình của TS.Ngô Đức Thành Luận văn được thực hiện tại trường Đại học Công Nghệ Thông Tin, TP.Hồ Chí Minh

Những kết quả thống kê trong luận văn này là do quá trình thực hiện từ hệ thống của tôi trên các bộ dữ liệu đã được liệt kê

Những nội dung cơ sở và kế thừa trong quá trình viết luận văn này tôi đã liệt kê trong mục tài liệu tham khảo một cách trân trọng

Tp Hồ Chí Minh, ngày 15 tháng 01 năm 2016

Học viên thực hiện

Nguyễn Phạm Phú Quý

2

LỜI CẢM ƠN

Tôi xin gửi lời cảm ơn sâu sắc đến Tiến sĩ Ngô Đức Thành, người đã tin tưởng, tận tình hướng dẫn và giúp tôi hoàn thành luận văn này cùng với các thầy cô Trường Đại học Công Nghệ Thông Tin ĐHQG TP.HCM những người đã tận tình giảng dạy

và cung cấp cho tôi các kiến thức nền tảng của việc nghiên cứu

Tôi xin cảm ơn các thành viên làm việc tại phòng thí nghiệm Truyền Thông Đa Phương Tiện (MMLAB) Trường Đại học Công Nghệ Thông Tin đã đóng góp nhiều

ý kiến quý báu trong khi tôi thực hiện luận văn này

Ngoài ra tôi cũng xin cảm ơn tác giả đã cung cấp dữ liệu cho tôi để thực hiện các thực nghiệm của mình

Cuối cùng là lời cảm ơn cao cả dành cho cha mẹ, những người đã hết lòng nuôi dưỡng và luôn động viên tôi trong quá trình nghiên cứu

3

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 2

THUẬT NGỮ VÀ TỪ VIẾT TẮT 5

DANH MỤC CÁC BẢNG 6

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 7

MỞ ĐẦU 8

CHƯƠNG 1 TỔNG QUAN 10

1.1 Giới thiệu chung 10

1.1.1 Tính cấp thiết 10

1.1.2 Mô tả về bài toán phân tích hành vi đám đông 11

1.1.3 Thách thức, hạn chế và vấn đề cần giải quyết 11

1.2 Mục tiêu luận văn 13

1.3 Đóng góp của luận văn 13

1.4 Bố cục luận văn 13

CHƯƠNG 2 TÌNH HÌNH NGHIÊN CỨU 15

2.1 Tình hình nghiên cứu về các hành vi đồng nhất 15

2.2 Phân tích chuyển động đồng nhất trong thị giác máy tính 17

CHƯƠNG 3 PHƯƠNG PHÁP ĐO LƯỜNG TÍNH ĐỒNG NHẤT TRONG CHUYỂN ĐỘNG 20

3.1 Khái niệm cơ sở 20

3.2 Thách thức của bài toán đo lường tính đồng nhất 23

3.3 Đo lường tính đồng nhất đám đông 25

3.3.1 Sự nổi bật của Collective Manifolds trong các đám đông 25

3.3.2 Sự nhất quán hành vi trong vùng lân cận 26

3.3.3 Sự nhất quán toàn cục thông qua các đường (path) 26

3.3.4 Tính đồng nhất tại l-Path Scale 28

3.3.5 Qui tắc hóa tính đồng nhất trên tất cả phạm vi (All-Scale) 30

4

3.4 Hạn chế của phương pháp State-of-The-Art 32

3.5 Tổng kết 33

CHƯƠNG 4 PHƯƠNG PHÁP ĐỀ XUẤT CẢI TIẾN ĐỘ ĐO TÍNH ĐỒNG NHẤT DỰA TRÊN VIỆC LÀM TRƠN TRAJECTORY 34

4.1 Cơ sở lý thuyết 34

4.1.1 Trajectory 34

4.1.2 Làm trơn (Smooth) Trajectory 34

4.1.3 Moving Average (MA) Filter 35

4.1.4 Savitzky-Golay (SGL) Filter 36

4.2 Phương pháp đề xuất 37

4.3 Tổng kết 40

CHƯƠNG 5 THỰC NGHIỆM VÀ ĐÁNH GIÁ 41

5.1 Tiêu chuẩn đánh giá 42

5.1.1 Hệ số tương quang (Correlation Coefficient) 42

5.1.2 Phân lớp nhị phân (Binary Classification) 42

5.1.3 Đồ thị ROC (Receiver Operating Characteristic) 44

5.2 Bộ dữ liệu 45

5.3 Phân tích giá trị Max, Min, Aveg của L 46

5.4 So sánh với cảm quan của người (Human Perception) 48

5.5 Độ chính xác phân lớp (Classification Accuracy) 49

5.6 Tổng kết 50

CHƯƠNG 6 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TƯƠNG LAI 52

6.1 Kết luận 52

6.2 Hướng nghiên cứu tương lai 52

TÀI LIỆU THAM KHẢO 53

PHỤ LỤC 59

5

THUẬT NGỮ VÀ TỪ VIẾT TẮT

tượng theo thời gian

KLT-Tracker

(Kanade-Lucas-Tomasi

Feature Tracker)

Một phương pháp dùng để trích xuất các đặc trưng chuyển động của đối tượng trong video

[8]

Bộ lọc Moving Average

(Moving Average Filter)

Một phương pháp làm trơn dữ liệu bằng cách thay thế mỗi điểm bằng giá trị trung bình của các điểm dữ liệu lân cận

Bộ lọc Savitzky-Golay

(Savitzky-Golay Filter)

Một phương pháp làm trơn dạng đa thức (Polynomial Smoothing) hay bình phương tối thiểu (Least-squares Smoothing), thường được sử dụng với dữ liệu tần số hoặc với dữ

l-Path Similarity Đường tương đồng giữa hai cá nhân với

6

DANH MỤC CÁC BẢNG

Bảng 5.1 Các kết quả trong bảng sự kiện ngẫu nhiên 43 Bảng 5.2 Các độ đo và công thức tính toán của phân lớp nhị phân 44

7

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1 Minh họa việc phát hiện và phân tích tính đồng nhất

Hình 1.2 Minh họa sự phức tạp của hành vi đám đông 12

Hình 2.1 Minh họa các chuyển động đồng nhất của các đám

Hình 3.1 Tập các đặc trưng chuyển động đã được trích xuất 21 Hình 3.2 Minh họa cho tính đồng nhất trong chuyển động 22 Hình 3.3 Minh họa cho sự đồng nhất đa nếp gấp 23

Hình 3.4 Minh họa cho các thách thức của việc đo lường tính

Hình 3.5 Minh họa cho sự nhất quán hành vi của các cá nhân

trên cùng Collective Manifold

27

Hình 3.6 Minh họa cho việc kết nối các đường tương đồng

Hình 3.7 Minh họa cho trường hợp sai sót trong cách đo lường

tính đồng nhất của phương pháp State-of-The-Art 33

Hỉnh 4.1 Minh họa cho việc làm trơn Trajectory với 2

Hình 4.2 Minh họa kết quả đo lường tính đồng nhất của hai

trường hợp sai sót sau khi đã cải tiến thuật toán 38 Hình 4.3 Minh họa tổng quát toàn bộ Framework 39 Hình 5.1 Minh họa cho bộ dữ liệu Collective Motion 46

Đồ thị 5.1 Hiển thị các giá trị Max, Min, Average của L tương

Đồ thị 5.2 Hiển thị tốc độ thực thi của phương pháp với từng

8

MỞ ĐẦU

Phân tích hành vi đám đông gần đây đã trở thành một chủ đề nóng bỏng trong lĩnh vực thị giác máy tính vì nhu cầu lớn về giám sát đám đông Nhiều nghiên cứu chỉ ra rằng các đám đông khác nhau chia sẻ chung một tập các đặc tính phổ biến bởi vì các kiểu hành vi đám đông khác nhau đều có một vài nguyên tắc chung làm nền tảng Việc đo lường một cách định lượng các đặc tính đó và so sánh chúng qua lại giữa các hệ thống đám đông khác nhau đóng một vai trò quan trọng cho việc hiểu biết các nguyên tắc chung nền tảng và trong các ứng dụng giám sát

Một trong số những hướng nghiên cứu phổ biến của phân tích hành vi đám đông là các nghiên cứu về chuyển động đồng nhất của đám đông Trong một đám đông, các chuyển động đồng nhất thể hiện cho các hành vi của các cá nhân thành phần Một ví

dụ điển hình là các đàn cá sẽ chuyển động cuộn tròn như một chất lỏng được khuấy mãnh liệt để chống lại sự tấn công của kẻ săn mồi Vì vậy chuyển động đồng nhất

có thể được xem như là một thể hiện của hành vi đồng nhất Nhiều nghiên cứu đã được tiến hành để khám phá các nguyên tắc nền tảng này Các cá nhân trong một đám đông sẽ có xu hướng chuyển động đồng nhất nếu chúng điều phối hành vi của mình với các cá nhân lân cận mà không có sự tác động bên ngoài Việc dò tìm các chuyển động đồng nhất trong đám đông thì thách thức vì sự đa dạng của các chuyển động, chất lượng video cũng như là sự tồn tại của dữ liệu theo vết nhiễu (Tracking Noise)

Hầu hết các nghiên cứu hiện tại không thể so sánh hành vi đám đông qua các hoàn cảnh khác nhau vì chúng thiếu những bộ mô tả tổng quát dùng cho việc đặc trưng hóa các trạng thái của đám đông hoặc chỉ đo lường một cách đơn giản vận tốc trung bình của các cá nhân thành phần và xem nó như là tính đồng nhất cho toàn bộ đám đông Hướng tiếp cận State-of-The-Art đã đề xuất một bộ mô tả dùng cho việc đo lường tính đồng nhất dựa trên việc xét các chuyển động của đám đông qua từng cặp frame kế cận liên tiếp nhau nhưng phương pháp này thì đo lường không chính xác đối với các video có chứa dữ liệu nhiễu, chuyển động chậm (không tồn tại sự

Nội dung chương được chia thành 4 phần:

 Giới thiệu chung: Trình bày về tính cấp thiếp, mô tả bài toán và các thách thức

 Mục tiêu luận văn: Trình bày các mục tiêu của việc nghiên cứu

 Đóng góp của luận văn: Giới thiệu về các đóng góp khoa học của luận văn

 Bố cục luận văn: Giới thiệu bố cục tổng thể của luận văn

1.1 Giới thiệu chung

1.1.1 Tính cấp thiết

Với sự phát triển nhanh chóng của khoa học công nghệ, các hệ thống camera giám sát ngày càng phổ biến với chi phí triển khai thấp Các hệ thống camera này thường được sử dụng để theo dõi và đánh giá tình hình trật tự ở các địa điểm công cộng (công viên, trường học, quảng trường, nhà ga, sân bay…), các cơ quan trọng yếu (tòa nhà/trụ sở quốc hội, trụ sở tiếp dân), cơ quan an ninh Một trong những đối tượng quan trọng cần giám sát thông qua camera này là đám đông (hoặc nhóm tụ tập đông người) Phát hiện và phân tích hành vi đám đông (bao gồm cả hành vi thông thường và bất thường) là cơ sở quan trọng để đánh giá tình hình an ninh, trật

tự trong phạm vi giám sát

Việc triển khai và ứng dụng các hệ thống camera giám sát để theo dõi và đánh giá hành vi đám đông ngày càng phổ biến nhưng cho đến nay việc phân tích các hành vi trên chủ yếu vẫn dựa vào sức người, mức độ tự động hóa thấp Khi số lượng camera lớn (vài chục đến hàng trăm camera) có thể dẫn đến tình trạng quá tải, sai sót trong quá trình giám sát Do đó, rất cần thiết xây dựng một hệ thống tự động phát hiện và

11

phân tích hành vi đám đông qua camera giám sát Hệ thống này có thể hỗ trợ người giám sát và cơ quan an ninh bằng cách tự động gởi cảnh báo khi đám đông tụ tập ở những địa điểm cấm, phát hiện hành vi bất thường của đám đông hoặc cá nhân trong đám đông, phân tích mẫu hành vi đám đông thu thập được nhằm đưa ra các giải pháp an ninh hiệu quả

Bên cạnh đó, hệ thống này có thể kết hợp với các hệ thống nhận dạng nhân vật, nhận dạng hành vi cá nhân để trở thành một hệ thống giám sát an ninh hoàn chỉnh

1.1.2 Mô tả về bài toán phân tích hành vi đám đông

Dữ liệu đầu vào là các video giám sát Đầu ra là kết quả của quá trình phân tích gồm thông tin về vị trí, hình thái, hành vi đám đông (hướng di chuyển, phân bố), cảnh báo nếu phát hiện hành vi bất thường được định nghĩa trước Luận văn này tập trung vào việc phân tích sự chuyển động đồng nhất của đám đông (Hình 1.1)

Hình 1.1: Minh họa về phát hiện và phân tích tính đồng nhất trong chuyển động Các mẫu cùng màu là các nhóm chuyển động đồng nhất theo cùng hướng chuyển động

1.1.3 Thách thức, hạn chế và vấn đề cần giải quyết

1.1.3.1 Thách thức

Đám đông thường bao gồm 4 thuộc tính cơ bản:

12

 Tính đồng nhất: Thể hiện mức độ hoạt động theo tập thể của các thành viên trong đám đông

 Tính bền vững: Đặc trưng cho sự tồn tại của đám đông theo thời gian

 Tính đồng bộ: Mô tả sự phân bố đồng điều theo không gian giữa các thành viên trong đám đông

 Tính đụng độ: Phản ánh sự tương tác qua lại của các thành viên từ các nhóm khác nhau

Các thuộc tính này phụ thuộc vào nhiều yếu tố như môi trường, văn hóa, ngữ cảnh ứng dụng và cấu trúc nội tại nên có độ phúc tạp cao (Hình 1.2) Ví dụ như một nhóm hình thành từ các thành viên có mối quan hệ quen biết với nhau như bạn bè, gia đình thì tính bền vững sẽ cao hơn một nhóm chỉ hình thành tạm thời hay một nhóm hình thành trong ngữ cảnh là một cuộc diễu hành thì tính đồng bộ giữa các thành viên sẽ cao hơn của các nhóm bình thường khác Các thuộc tính này cũng đóng vai trò quan trọng trong việc phân tích và hiểu hoàn cảnh đám đông trong các

hệ thống giám sát

Hình 1.2: Minh họa sự phức tạp của hành vi đám đông Hình ảnh được sắp xếp từ trái qua phải theo thứ tự các thuộc tính nhóm: tính đồng nhất, tính bền vững, tính đồng bộ, tính đụng độ Hàng trên đại diện cho các thuộc tính ở mức độ thấp, hàng duới đại diện cho các thuộc tính ở mức độ cao Các đặc tính này luôn tồn tại ở các cấp độ khác nhau và phục thuộc vào nhiều yếu tố như môi trường, văn hóa, ngữ cảnh Nguồn: Hình ảnh được trích

dẫn từ [25]

Đối với một số loại dữ liệu như video giám sát, chất lượng và độ phân giải kém

1.2 Mục tiêu luận văn

Nghiên cứu các phương pháp tiên tiến hiện nay về phát hiện và phân tích hành vi đám đông Cụ thể là tập trung chủ yếu vào phân tích tính đồng nhất trong chuyển động của đám đông

Đưa ra đề xuất cải tiến hiệu quả phân tích đặc trưng, tính đồng nhất trong chuyển động trên dữ liệu chuẩn

Xây dựng chương trình thử nghiệm

1.3 Đóng góp của luận văn

Qua quá trình tìm hiểu và thực nghiệm, luận văn có những đóng góp sau:

 Đề xuất một phương pháp hiệu quả nhằm mục đích tiền xử lý thông tin chuyển động của các cá nhân dùng cho việc đo lường tính đồng nhất trong chuyển động của đám đông

 Xây dựng chương trình thử nghiệm, đánh giá cho phương pháp đã đề xuất

 So sánh kết quả thực nghiệm so với phương pháp State-of-The-Art [5]

1.4 Bố cục luận văn

Phần còn lại của luận văn được tổ chức như sau:

 Chương 2: Trình bày các công trình nghiên cứu liên quan về hành vi đồng nhất

 Chương 3: Trình bày về các khái niệm cơ bản và chi tiết cách thức đo lường tính đồng nhất trong chuyển động của phương pháp State-of-The-Art

14

 Chương 4: Trình bày về các cơ sở lý thuyết và phương pháp đề xuất để cải thiện phương pháp State-of-The-Art

 Chương 5: Trình bày các tiêu chuẩn đánh giá, bộ dữ liệu và thực nghiệm

 Chương 6: Trình bày các kết luận và kiến nghị

15

Mục tiêu của Chương 2 nhằm cho người đọc cái nhìn tổng quan về tình hình nghiên cứu hành vi đồng nhất và phân tích chuyển động đồng nhất trong đám đông

Nội dung chương được trình bày gồm 2 phần:

Trong sinh học bằng cách sử dụng các phương pháp tiếp cận thực nghiệm hoặc lý thuyết nhiều tiến bộ đáng kể đã đạt được trong việc hé mở những nguyên tắc của các hành vi đồng nhất của những đám đông khác nhau Một đánh giá cô đọng có thể được tìm thấy trong [67] Đối với các hướng tiếp cận thực nghiệm, dữ liệu hành vi của các đám đông khác nhau như là đàn vi khuẩn [20], đàn châu chấu [23], đàn cá [39],và đàn chim [31] đã được thu thập và phân tích Con người nghiên cứu các cơ chế nền tảng của việc tổ chức sự đồng nhất của cá nhân [21], nguồn gốc tiến hóa của quần thể động vật [24] và việc xử lý thông tin đồng nhất (Collective Information) trong đám đông [36] ở cả hai cấp độ vĩ mô và vi mô Nhiều qui luật và yếu tố quan trọng ảnh hưởng đến chuyển động đồng nhất (Collective Motion) đã được khám phá và phân tích, chẳng hạn như sự chuyển pha (Phase Transition), tính quyết định của mật độ đám đông, và tự tổ chức (Self-organization) [50],[22] Zhang

et al [20] đã nghiên cứu mối tương quan giữa những chuyển động đồng nhất và mật

16

độ vi khuẩn Makris et al [39] đã tiến hành nghiên cứu định lượng về những quá trình đồng nhất theo không gian - thời gian (The Collective Temporal and Spatial Processes) được hình thành bởi các đàn cá trong đại dương bao la

Đối với các hướng tiếp cận lý thuyết, các phương trình vi phân liên tục (Differential Equations of Continuum) [26], các mô hình vật lý thống kê, như là mô hình maximum entropy [62], đã được đề xuất để hiểu được cơ chế của chuyển động đồng nhất Bên cạnh đó, dựa trên một số quy tắc hành vi cục bộ nhiều mô hình dựa trên tác nhân (Agent-based Model) đã được đề xuất cho việc mô hình hóa và mô phỏng đám đông [9], [58], [12] Vicsek et al [58] và Chate et al [19] đã đề xuất mô hình self-drive particle (SDP) và quan sát một sự chuyển pha nhanh từ hỗn loạn đến sự đồng bộ cao của các hành vi trong các hệ thống đám đông như mật độ đám đông đạt đến một mức độ quan trọng Việc hiểu một quá trình chuyển đổi như vậy thì rất quan trọng đến nhiều ứng dụng liên quan đến các hệ thống đám đông, chẳng hạn như quản lý các đại dịch châu chấu Sự phân tích chi tiết định lượng của các chuyển động đồng nhất trở nên thiết yếu để hiểu được khi nào, như thế nào và ở đâu chúng xảy ra và làm sao để cải thiện sự kiểm soát của các hệ thống đám đông Buhl et al [23] đã ghi hình những chuyển động châu chấu, nghiên cứu thực nghiệm các pha dịch chuyển và đánh giá SDP

Trong lĩnh vực khoa học mạng và lý thuyết điều khiển (Network Science and Control Theory), khối của các đơn vị tương tác (con người, robot, agent, và các hệ thống động) được kết nối vào mạng lưới thay đổi động Sau đó, các cấu trúc cộng đồng (Community Structure) với chia sẻ cùng hành vi đồng nhất được phát hiện [34] Các hoạt động tiến hóa mạng lưới và cộng đồng tiếp tục được phân tích [18] Trong khi đó, các thuật toán từ lý thuyết điều khiển đã được đề xuất để kiểm soát các hệ thống được phân phối phức tạp này trong đó các đơn vị này có thể được đồng bộ hóa trong sự di chuyển đồng nhất bất chấp sự vắng mặt của sự điều phối trung tâm [48]

Tuy nhiên với một lượng lớn tài liệu về những hành vi đồng nhất đã được cho thì các nghiên cứu về các thước đo định lượng của tính đồng nhất (Collectiveness) rất

17

hạn chế Hầu hết các công trình hiện [58] chỉ đơn giản là đo tính đồng nhất như vận tốc trung bình của các particle trong một hệ thống đám đông, và giả định rằng độ lớn của vận tốc trung bình của một hệ thống đám đông hỗn loạn là gần bằng không Petitjean et al [30] đã tính toán nó như là trung bình của cos( 𝜙𝑖) điều kiện 𝜙𝑖 là

hướng chuyển động của mỗi cá nhân i Những đo lường như vậy không thể đối phó

với những chuyển động đồng nhất với các cấu trúc Manifold (Tạm dịch: Đa nếp gấp) như trong Hình 2.1 hoặc kết hợp của các mẫu vừa đồng nhất vừa hỗn tạp

Hình 2.1: Minh họa cho những chuyển động đồng nhất của đàn cá, đàn cừu, đàn chim và đám đông người chạy bộ trên cấu trúc đa nếp gấp (Manifold)

2.2 Phân tích chuyển động đồng nhất trong thị giác máy tính

Trong thị giác máy tính, rất nhiều công trình đã được nghiên cứu về việc học các mẫu chuyển động toàn cục liên quan đến các hành vi đám đông [3], [6], [7], [14], [43], [46], [49], [55], [64], [65], [66], dò tìm chuyển động liền mạch hoặc không liền mạch từ các cụm đám đông [1] , [4], [16], [28], [37], [53], [54], [59], [60], [61],

và phân tích những tương tác giữa các cá nhân trong đám đông [12], [29], [42], [45], [52], [56], [57], [63] Một đánh giá ngắn gọn được đưa ra như bên dưới

Hiện đã có một lượng đáng kể các công trình về việc học các mẩu chuyển động của các hành vi đám đông Ali et al [49] và Lin et al [14], [15] đã mô hình hóa các luồng đám đông với Lagrangian Coherent Structures (Tạm dịch: Cấu trúc liên kết Lagrangian) hoặc đại số Lie (Lie algebra) dựa trên các vùng lưu lượng đã tính toán

18

Mehran et al [46] đã đề xuất một đại diện streakline cho các luồng đám đông.Với chủ đề các mô hình, Wang et al.[66] đã khám phá sự xảy ra liên tục của các điểm ảnh chuyển động để học các mẩu chuyển động trong đám đông Chủ đề các mô hình được bổ sung bằng cách thêm sự phụ thuộc không gian-thời gian (Spatio-Temporal) giữa các mẩu chuyển động [43], [55] Một vài hướng tiếp cận [3], [6], [7], [64], [65] học các mẩu chuyển động thông qua việc gom cụm các quỹ đạo (Trajectory) hoặc tracklets trong cảnh đông đúc Ví dụ, Zhou et al [7] đã dùng một sự kết hợp của các

hệ thống động để học hành vi người đi bộ và áp dụng nó để mô phỏng đám đông Tuy nhiên, không có hướng tiếp cân nào kể trên đã đo lường tính đồng nhất của các hành vi đám đông hoặc khai thác các ứng dụng tiềm năng của nó

Trong khi đó, việc dò tìm các hành vi (bất thường) dính liền và rời rạc trong đám đông là những mối quan tâm lớn trong việc theo dõi và quản lý đám đông Rabaud

et al [60] và Brostow et al [16] đã dò tìm các chuyển động độc lập để đếm các đối tượng di chuyển Zhou et al [4] đã đề xuất một phương pháp dựa trên đồ thị để dò tìm các chuyển động liền mạch từ các tracklet Brox et al [54] đã mở rộng cụm quan phổ (Spectral Clustering) để gom nhóm các quỹ đạo dày đặc dài (Long-term Dense Trajectories) cho phân đoạn của các đối tượng chuyển động trong video Các phương pháp dò tìm chuyển động liền mạch này trích xuất và gom cụm các mục tiêu chuyển động đồng nhất từ các điểm di chuyển ngẫu nhiên Một số phương pháp

đã được đề xuất để mô hình hóa các biến đổi không gian-thời gian cục bộ cho việc

dò tìm tính bất thường với kết cấu động [1], [59], HMM [28], sự phân bổ của năng lượng hướng không gian–thời gian (Distributions of Spatio-temporal Oriented Energy) [37], những bất biến hỗn loạn (Chaotic Invariants) [53], và các bộ mô tả chuyển động cục bộ (Local Motion Descriptors) [61] Những phương pháp này là cảnh cụ thể và những đặc trưng hoặc mô tả của chúng không thể được sử dụng để so sánh các video đám đông được bắt từ những cảnh khác nhau

Các cá nhân trong các nhóm xã hội có cùng đích đến và mối quan hệ gần gũi hơn

Họ có nhiều khả năng để hình thành những hành vi tập thể hơn Để phân tích các tương tác và ảnh hưởng xã hội giữa những người đi bộ, các mô hình lực lượng xã hội, lần đầu tiên được đề xuất bởi Helbing et al [12] cho sự mô phỏng đám đông,

19

đã được giới thiệu đến cộng đồng thị giác máy tính gần đây và đã được áp dụng cho việc theo vết nhiều mục tiêu (Multi-target Tracking) [42] và dò tìm tính bất thường (Abnormality Detection) [45] Ge et al [63] đã đề xuất một phương pháp gom cụm phân cấp để dò tìm nhóm và Chang et al [33] đề xuất một chiến lược ngẫu nhiên để nhẹ nhàng gán các cá nhân thành các nhóm Moussaid et al [35] đã biến đổi các mô hình lực lượng xã hội để giải thích cho sự ảnh hưởng của các nhóm xã hội Lan et

al [57] đã phân tích các hành vi cá nhân bằng cách xét bối cảnh của các nhóm xã hội với các mô hình phân cấp Gần đây Kratz et al [29] đã đề xuất cách hiệu quả để

đo lường sự khác biệt giữa chuyển động thực tế và chuyển động ý định của người đi

bộ trong đám đông để theo dõi và dò tìm tính bất thường

Trong đồ họa máy tính, mô phỏng các hành vi đồng nhất của các đám đông ảo đã thu hút nhiều sự chú ý do tính ứng dụng rộng rãi của nó đến giải trí kỹ thuật số, đào tạo khẩn cấp, và quy hoạch đô thị Một cuộc khảo sát gần đây có thể được tìm thấy trong [40] Các Agent-based Model thì thường được sử dụng để mô hình hóa các hành vi phức tạp của đám đông [9], [13], [27] Các công trình ảnh hưởng mạnh của Reynolds [9] đã chứng minh các cụm nổi bật và các hành vi đồng nhất khác bằng cách sử dụng các quy tắc cục bộ đơn giản Các Flow-based model đã được sử dụng

để mô phỏng các luồng di chuyển và hoạt động đám đông [47] Một hướng tiếp cận

có thể học các thông số mô hình từ dữ liệu thực tế của các di chuyển của đám đông sau đó mô phỏng đám đông [2] Gần đây một độ đo lý thuyết-thông tin đã được đề xuất để đo lường sự tương đồng của các kết quả giữa di chuyển của đám đông thực

và ảo [51] Nó thì liên quan đến việc đo lường tính đồng nhất của phương pháp State-of-The-Art Thay vì trực tiếp so sánh sự di chuyển của đám đông như [51], trước tiên chúng ta tính toán tính đồng nhất của một đám đông đơn, sau đó so sánh tính đồng nhất của các đám đông khác Nó sẽ rất thú vị để tích hợp hai phép đo này trong tương lai để ước lượng chéo tính đồng nhất đám đông

Nội dung chính của chương được phân bố như sau:

 Các khái niệm cơ sở phục vụ cho phương pháp đo lường tính đồng nhất của Zhou et al [5]

 Phương pháp đo lường tính đồng nhất của Zhou et al [5]

 Các hạn chế trong phương pháp của Zhou et al [5]

3.1 Khái niệm cơ sở

Video:

Một đoạn video là một tập hợp gồm nhiều khung hình (frame) đặt liên tiếp nhau để tạo nên sự chuyển động Một khung hình có thể xem như là một ảnh tĩnh Có nhiều chuẩn video khác nhau, mỗi chuẩn có số khung hình khác nhau Ví dụ: Tiêu chuẩn PAL (Châu Âu, Châu Á, Úc…) và SECAM (Pháp, Nga…) là 25 khung hình/giây,trong khi tiêu chuẩn NTSC (USA, Canada, Nhật Bản…) là 29,97 khung hình Tỷ lệ khung hình tối thiểu để tạo nên ảo giác một hình ảnh chuyển động là khoảng mười sáu khung hình mỗi giây Ngoài ra, việc nhận dạng và phân tích hành

vi của đối tượng trên một video không chỉ đơn thuần là xét từng khung hình riêng biệt mà nó còn xét trên khía cạnh mối liên hệ của nhiều khung hình đặt liên tiếp nhau theo thời gian

Camera giám sát:

Camera giám sát là các loại máy quay video được sử dụng cho mục đích quan sát một khu vực Chúng thường được kết nối với một thiết bị thu (âm thanh, hình ảnh) hoặc mạng IP, và có thể được theo dõi bởi nhân viên an ninh hoặc viên chức thi hành luật của nhà nước

21

Video giám sát: Các video thu được từ camera giám sát

Đặc trưng chuyển động: Những thông tin về vị trí (x, y) của các cá nhân

Trích xuất đặc trưng chuyển động:

Là việc trích xuất những thông tin chuyển động của các cá nhân qua nhiều khung hình liên tiếp Trong luận văn này học viên đã sử dụng KLT-Tracker từ [8] để trích xuất các đặc trưng chuyển động Tập các đặc trưng chuyển động đã được trích xuất

có thể được biểu diễn như sau:

Chuyển động đồng nhất (Collective Motion):

Chuyển động đồng nhất là một trong những hiện tượng được quan sát nhiều trong

tự nhiên và tồn tại trong nhiều đám đông khác nhau Trong một đám đông, chuyển

22

động đồng nhất thể hiện cho những hành vi của các cá nhân thành phần Một ví dụ điển hình là sự chuyển động cuộn tròn của đàn cá dưới áp lực của những kẻ săn mồi hay chuyển động vòng cung như nhóm người chạy điền kinh (Hình 3.3)

Tính đồng nhất (Collectiveness): Theo Zhou et al [5] gồm 2 loại

 Tính đồng nhất cá nhân (Individual Collectiveness): Tính đồng nhất cá nhân được hiểu như là sự nhất quán hành vi của một cá nhân với tất cả cá nhân

Collective Manifold (Tạm dịch: Đồng nhất đa nếp gấp):

Là chuyển động đồng nhất dựa trên Spatially Coherent Structures (Tam dịch: Các cấu trúc liên kết không gian) như chuyển động vòng cung trong đám đông người, đàn cá và đàn vi khuẩn (Hình 3.3)

23

Hình 3.3: Minh họa cho sự đồng nhất đa nếp gấp Hình được sắp xếp theo thứ tự từ trái qua phải là những chuyển động đồng nhất của người, đàn cá, đàn vi khuẩn và cấu trúc liên kết không gian Nguồn: Hình được trích dẫn từ [5]

3.2 Thách thức của bài toán đo lường tính đồng nhất

Việc đo lường tính đồng nhất vô cùng thách thức do sự đa dạng của đối tượng chuyển động, loại chuyển động, che khuất, chất lượng của video giám sát cũng như

sự tồn tại của dữ liệu theo vết nhiễu (Hình 3.4)

24

Hình 3.4: Minh họa cho các trường hợp thách thức của việc đo lường tính đồng nhất với các dạng chuyên động như chuyển động tự do trong các video hàng đầu, dạng vòng cung trong video người chạy ma-ra-tông ở hàng 2, dạng sóng trong video người chạy bộ cùng hướng nhìn ở hai video sau, chuyển động đồng nhất và chất lượng video thấp trong ba video cuối cùng

Hầu hết các công trình hiện tại đều chủ yếu tập trung vào mô hình và học hành vi người đi bộ [7], [66] hay dò tìm các chuyển động đồng nhất từ các cụm đám đông [4] Một số khác thì tập trung vào việc phân tích hành vi đám đông trên các ứng dụng giám sát như dò tìm hoạt động bất thường [59], phân tích vùng ngữ nghĩa [6] Nhưng không có công trình nào kể trên tập trung vào việc đo lường định lượng tính đồng nhất Hướng tiếp cận State-of-The-Art của Zhou et al [5] đã đề xuất được một

bộ mô tả dùng cho việc đo lường tính đồng nhất của đám đông nhưng theo các thực nghiệm của học viên thì phương pháp này còn hạn chế dẫn đến sự thiếu chính xác

so với cảm nhận của con người đặt biệt trong các video chứa chuyển động dạng sóng của người chạy bộ theo cùng hướng nhìn (video ở hàng 2, cột 2 trong Hình 3.4) Luận văn này hướng đến việc cải thiện độ chính xác của phương pháp trên

25

3.3 Đo lường tính đồng nhất đám đông

3.3.1 Sự nổi bật của Collective Manifolds trong các đám đông

Như trong Hình 3.3, từ những bầy đàn cấp thấp như vi khuẩn, cá, cừu cho tới những đám đông người cấp cao đều hiện rõ lên một cấu trúc dính liền theo không gian - thời gian hình thành từ những chuyển động đồng nhất của các cá nhân thành phần Chúng ta định nghĩa những cấu trúc đó như là đồng nhất đa nếp gấp (Collective Manifold) của chuyển động đồng nhất Có 2 thuộc tính mấu chốt của Collective Manifold mà giúp phân biệt chuyển động đồng nhất với chuyển động tự do

 Sự nhất quán hành vi trong vùng lân cận (Neighborhood): Các cá nhân lân cận nhau có những hành vi nhất quán

 Sự nhất quán toàn cục giữa các các cá nhân không lân cận: Mặc dù các cá nhân thành phần có thể khác hành vi khi ở khoảng cách xa nhưng chúng có

sự tương quan với nhau bởi sự tương đồng hành vi thông qua các cá nhân trung gian trong những vùng lân cận trên manifold

Vì vậy những cá nhân trong một hệ thống đám đông điều phối những hành vi của chúng trong vùng lân cận cục bộ, nhưng sự nhất quán hành vi giữa các cá nhân tại một khoảng cách xa có thể có một số bất định, như là sự tương quan vận tốc thấp giữa những cá nhân màu đỏ và màu xanh đã được minh họa như trong Hình 3.5 Tính đồng nhất đám đông đo lường sự nhất quán hành vi toàn diện của Collective Manifold Trong khi đó, tính đồng nhất cá nhân đo lường sự nhất quán hành vi của mỗi cá nhân với tất cả các cá nhân khác Nhưng do sự bất định hành vi giữa những

cá nhân có khoảng cách xa làm cản trở việc ước lượng tính đồng nhất đám đông nên chúng ta không thể đo lường trực tiếp tính đồng nhất cá nhân Để xử lý vấn đề này, chúng ta nghiên cứu sự nhất quán hành vi theo các đường (Path) trên Collective Manifold Vì vậy việc đo lường tính đồng nhất có thể được thực hiện theo một cách

từ dưới lên (Bottom-up): Từ sự nhất quán hành vi trong vùng lân cận của các cá nhân tới sự nhất quán hành vi giữa các cặp cá nhân theo các đường trong đám đông,

từ tính đồng nhất cá nhân tới tính đồng nhất đám đông

26

3.3.2 Sự nhất quán hành vi trong vùng lân cận

Đầu tiên, chúng ta đo lường sự tương đồng của các hành vi cá nhân trong vùng lân cận Khi cá nhân 𝑗 ở trong vùng lân cận của 𝑖, thì sự tương đồng được định nghĩa như phương trình sau:

𝑤𝑡(𝑖, 𝑗) = max⁡(𝐶𝑡(𝑖, 𝑗), 0) (3.2) Với:

 𝑖: Thành viên thứ 𝑖

 𝑗: Thành viên kế cận thứ 𝑗 của 𝑖 tại thời điểm 𝑡 , 𝑗𝜖ℕ(𝑖)

 𝐶𝑡(𝑖, 𝑗): Hệ số tương quan về vận tốc tại thời điểm 𝑡 giữa 𝑖 và 𝑗 𝐶𝑡(𝑖, 𝑗) =

cả các láng liềng trong khoảng cách không gian cố định (Fixed Spatial Distance) [32] Vì vậy, 𝑤𝑡(𝑖, 𝑗) đo lường sự nhất quán hành vi của một cá nhân trong vùng lân cận của nó

Bởi vì sự bất định hành vi giữa các cá nhân không phải là lân cận của nhau sẽ sản sinh ra một kết quả ước lượng không chính xác nên một sự tương đồng hành vi khác, tốt hơn dựa trên tính kết nối của Collective Manifold được đề xuất như bên dưới

3.3.3 Sự nhất quán toàn cục thông qua các đường (path)

Bởi vì sự nhất quán hành vi không thể được ước tính trực tiếp khi hai cá nhân không ở trong vùng lân cận, nên chúng ta sẽ ước lượng tính nhất quán theo một cặp tương đồng mới dựa trên một cấu trúc quan trọng của Collective Manifold: Đó là các đường (Path), mà biểu diễn cho các kết nối của các mạng gắn với một đồ thị

27

[38] Trong các hệ thống đám đông, các đường có những vai trò quan trọng trong việc đặc trưng hóa sự nhất quán hành vi giữa các cá nhân bên ngoài vùng lân cận trong đám đông (Hình 3.5)

Hình 3.5: Các cá nhân trong đám đông chỉ nhất quán hành vi với cá nhân lân cận của nó Các cá nhân ở xa có thể có sự tương quan thấp hơn mặc dù chúng có cùng Collective Manifold Nguồn: Hình được trích dẫn từ [5]

Đặt W là ma trận trọng số kề của đồ thị, điều kiện là cạnh 𝑤𝑡(𝑖, 𝑗) là sự tương đồng giữa cá nhân 𝑖 và 𝑗 ở trong cùng vùng lân cận của nó Đặt 𝛾𝑙 ={𝑝0⁡𝑝1…𝑝𝑙}⁡(𝑝0 = 𝑖, 𝑝𝑙 = 𝑗) là một đường có chiều dài 𝑙 thông qua các node

𝑝0, 𝑝1, … , 𝑝𝑙 trên 𝑊 giữa 𝑖 và 𝑗 Thì 𝑣𝛾𝑙 = ∏𝑙 𝑤𝑡(𝑝𝑘, 𝑝𝑘+1)

𝑘=0 thì được định nghĩa như đường tương đồng (Path Similarity) trên một đường cụ thê 𝛾𝑙 Hình 3.6 minh họa 5 đường cụ thể cho 4 chiều dài khác nhau giữa hai cá nhân không có mối quan

hệ láng giềng

Hình 3.6: Minh họa việc kết nối các đường giữa hai cá nhân Các gạch nối với các màu riêng biệt biễu diễn các giá trị chiều dài đường tương ứng 𝑙 = 3, 4, 5, 6 giữa hai cá nhân

28

màu đỏ và xanh lá Mặc dù chúng không là lân cận của nhau nhưng có sự nhất quán hành

vi thông qua đường tương đồng nối giữa chúng Nguồn: Hình được trích dẫn từ [5]

Bởi vì có thể có nhiều hơn một đường với chiều dài bằng 𝑙 (l-Path Similarity) giữa 𝑖

và 𝑗 nên l-Path Similarity được định nghĩa như sau:

(3.4)

Với:

 𝒫𝑙: Chứa tất cả các đường có chiều dài 𝑙 giữa cá nhân 𝑝0 và 𝑝𝑙

 𝑊𝑙(𝑖, 𝑗): Tổng của tích các trọng số trên tất cả các đường với chiều dài 𝑙 mà bắt đầu tại đỉnh 𝑖 và kết thúc tại đỉnh 𝑗 trong đồ thị 𝑊

3.3.4 Tính đồng nhất tại l-Path Scale

Bởi vì l-Path Similarity 𝑣𝑙(𝑖, 𝑗) đo lường sự nhất quán hành vi giữa 𝑖 và 𝑗 tại l-Path Scale, nên chúng ta định nghĩa tính đồng nhất cá nhân của cá nhân 𝑖 tại l-Path Scale

cả các Path-Scales Tuy nhiên, do sự tăng theo hàm mũ của Φ𝑙 với 𝑙 (xem phần

chứng minh) nên tính đồng nhất cá nhân tại các Path Scales khác nhau không thể

được cộng trực tiếp Vì vậy, chúng ta sẽ định nghĩa một hàm sinh cho việc tổng tất

cả các đường tương đồng để sự hội tụ của phép tổng được bảo đảm

Chứng minh 2: Đặt 𝐴 là ma trận kề (0, 1) theo 𝐾 người láng giềng gần nhất tương

ứng với 𝑊 Thì chúng ta dể dàng có 𝐴𝑒 = 𝐾𝑒 Chúng ta sử dụng phương pháp quy nạp toán học để chứng minh biểu thức 𝑒𝑇𝑊𝑛𝑒 ≤ |𝐶|𝐾𝑛 cho bất kỳ 𝑛 như sau

 Khi 𝑛 = 1, bởi vì 𝑤(𝑖, 𝑗) ≤ 𝑎(𝑖, 𝑗) = 1 nếu 𝑗 ∈ ℕ(𝑖) Chúng ta có

 Khi 𝑛 = 𝑚, chúng ta giả sử biểu thức 𝑒𝑇𝑊𝑚𝑒 ≤ |𝐶|𝐾𝑚 đúng và đặt

𝑤𝑚(𝑖, 𝑗)⁡được hiểu là mục (𝑖, 𝑗) của 𝑊𝑚

Ta có:

𝑒𝑇𝑊𝑚+1𝑒 = 𝑒𝑇𝑊𝑚𝑊𝑒 = ∑ 𝑤𝑚(𝑖, 𝑘)𝑤(𝑘, 𝑗)

𝑖,𝑗,𝑘

⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡(2𝑎) Mà:

30

Từ (2𝑎), (2𝑏) và (2𝑐) ta có biểu thức 𝑒𝑇𝑊𝑚+1𝑒 ≤ |𝐶|𝐾𝑚+1 đúng

Vậy 𝑒𝑇𝑊𝑛𝑒 ≤ |𝐶|𝐾𝑛 đúng với bất kỳ 𝑛

Vậy chúng ta chứng minh rằng Φ𝑙 = 1

|𝐶|𝑒𝑇𝑊𝑙𝑒 ≤ 𝐾𝑙 Chặn trên đạt được khi 𝑊 =

𝐴 điều kiện 𝐴 là ma trận kề (0,1) theo 𝐾 người láng giềng gần nhất

3.3.5 Qui tắc hóa tính đồng nhất trên tất cả phạm vi (All-Scale)

Qui tắc hàm sinh thì được dùng để gán một giá trị có nghĩa cho tổng của một chuỗi

có khả năng phân kỳ [10] Có nhiều dạng khác nhau của hàm sinh Chúng ta định

nghĩa hàm sinh cho l-Path Similarity như sau:

𝜌(𝑊), điều kiện 𝜌 là Max giá trị riêng của ma trận 𝑊

Chứng minh 3: Đặt Eigendecomposition của ma trận 𝑊 là 𝑊 = 𝑄𝛬𝑄−1, và 𝜆1~|𝐶| là

các phần tử trên đường chéo của ma trận chéo 𝛬