Tìm hiểu một số phương pháp phát hiện đối tượng đột nhập

Tìm hiểu một số phương pháp phát hiện đối tượng đột nhập

LỜI CẢM ƠN

Sau thời gian thực tập và nghiên cứu tại trường ĐHDL Hải Phòng em đãhoàn thành việc tìm hiểu đề tài: Tìm hiểu một số phương pháp phát hiện đốitượng đột nhập, trong thời gian làm đồ án tốt nghiệp em đã nhận được sự giúp

đỡ hết sức nhiệt tình của Th.s Ngô Trường Giang và cùng với sự nỗ lực củabản thân nên em đã hoàn thành đề tài được giao

Em xin chân thành cảm ơn sự giúp đỡ của các thầy cô khoa công nghệthông tin, thầy giáo Th.s Ngô Trường Giang và toàn thể các bạn sinh viênkhoa Công nghệ thông tin, trường Đại học Dân lập Hải Phòng cùng với giađình đã ủng hộ giúp đỡ và tạo mọi điều kiện thuận lợi cho em trong suốt quátrình học tập và nghiên cứu để hoàn thành tốt đồ án tốt nghiệp này

Hải Phòng, tháng 07 năm 2007

Sinh viên

Nguyễn Quỳnh Nga

MỤC LỤC

LỜI CẢM ƠN 1

Nguyễn Quỳnh Nga 1

MỤC LỤC 2

MỞ ĐẦU 3

CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ VIDEO 4

1.1 Giới thiệu 4

1.2 Các thuộc tính đặc trưng của video 5

1.3 Kỹ thuật trừ ảnh 6

CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN CHUYỂN ĐỘNG TRONG VIDEO 14

2.1 Tổng quan phương pháp trừ nền 14

2.2 Phát hiện đối tượng chuyển động dựa vào sự biến thiên cục bộ của véctơ kết cấu SP 15

CHƯƠNG 3: THỬ NGHIỆM PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP 20

3.1 Mô tả bài toán 20

3.2 Môi trường test 20

3.3 Một số giao diện 20

3.4 Đánh giá 22

KẾT LUẬN 25

TÀI LIỆU THAM KHẢO 26

MỞ ĐẦU

Ngày nay, sự phát triển của công nghệ thông tin đã xâm nhập vào hầu hết các mặt của đời sống xã hội với những ứng dụng rộng rãi hỗ trợ chocon người trên nhiều lĩnh vực, trong đó có lĩnh vực an toàn an ninh, chốngxâm nhập.Việc đảm bảo an ninh là một vấn đề quan trọng và cần thiết (Vd : Trong các nút giao thông quan trọng, trong các siêu thị, trong các ngânhàng hay bảo tàng là những nơi mà vấn đề an ninh được đặt lên hàng đầu )

Có nhiều phương pháp nhằm đảm bảo an ninh sao cho đạt được hiệu quả cao, trong đó có phương pháp áp dụng các hệ thống camera để quan sát sựchuyển động của các đối tượng trong khu vực Ngày nay với sự tiến bộ vượtbậc của khoa học, ta có thể xây dựng một hệ thống cảnh báo tự động pháthiện đối tượng đột nhập mà không cần con người phải trực tiếp theo dõicamera, điều này giúp cho con người giảm thiểu được thời gian và sức lựcđồng thời vẫn cho một kết quả chính xác

Với bài toán phát hiện đối tượng đột nhập có 2 hướng tiếp cận để giảiquyết đó là: dựa vào phần cứng và dựa vào các kĩ thuật xử lý ảnh Trong đồ

án tốt nghiệp này em xin trình bày một số phương pháp phát hiện đối tượngchuyển động trong đoạn video dựa vào các kĩ thuật xử lí ảnh Cấu trúc của bàikhóa luận gồm phần mở đầu, phần kết luận, phần phụ lục và 3 chương với nộidung:

Chương 1: Trình bày tổng quan về video và các kĩ thuật trừ ảnh

Chương 2: Một số phương pháp phát hiện chuyển động trong video Chương 3: Thử nghiệm phát hiện đối tượng đột nhập.

CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ

VIDEO 1.1 Giới thiệu

Video là tập hợp các khung hình được đặt liên tiếp nhau, mỗi khung hình

là một ảnh số

Hình 1.1: Cấu trúc phân đoạn của video

Frame (khung) : Video được tạo nên bởi chuỗi các ảnh tĩnh Một

chuỗi các khung tĩnh đặt cạnh nhau tạo nên các cảnh phim chuyển động Mộtkhung đơn là một ảnh tĩnh

Shot (lia): là đơn vị cơ sở của video Một lia là một đơn vị vật lý của

dòng video, gồm các chuỗi một hay nhiều khung hình liên tiếp, không thểchia nhỏ hơn, ứng với một thao tác camera đơn

Scene (cảnh ) : là các đơn vị logic của dòng video, một cảnhgồm một hay nhiều shot liên quan đến nhau về không gian và liền kề về thờigian, cùng mô tả một nội dung ngữ nghĩa hoặc một tình tiết

Ngoài ra có thể biểu diễn cấu trúc video dựa trên đối tượng:

Hình 1.2: Biểu diễn video dựa trên đối tượng

1.2 Các thuộc tính đặc trưng của video

- Color: Với mỗi một ảnh đều có một biểu đồ màu để biểu diễn sự

phân bố màu trong ảnh, biểu đồ màu không phụ thuộc vào việc quay ảnh, dịchchuyển ảnh, chiều nhìn ảnh mà phụ thuộc vào vào hệ màu và các phươngpháp định lượng được dùng

- Texture: Đây là một đặc trưng quan trọng của bề mặt, nơi xảy ra việc

lặp lại mẫu cơ bản Có hai dạng biểu diễn Texture phổ biến: biểu diễn dạng

ma trận đồng thời và biểu diễn Tamura

+ Ma trận đồng thời mô tả hướng và khoảng cách giữa các điểmảnh, ta có thể trích chọn được các thống kê có ý nghĩa

Color, texture, shap Feature Motion, trajectotry

+ Biểu diễn Tamura được thúc đẩy nhờ các nghiên cứu về tâm lítrong việc thu nhận trực giác của con người, nó bao gồm các thuộc tính đotính thô, độ tương phản, hướng, tính trơn, tính cân đối và độ thô ráp Các đặctính này rất quan trọng trong việc tìm hiểu nội dung ảnh vì nó biểu diễn rấttrực quan.

- Shape: Các đặc trưng có thể được phân chia thành đặc trưng toàn

- Motion: Là thuộc tính quan trọng của video Các đặc trưng chuyển

động: mô-men của trường chuyển động, biểu đồ chuyển động, các tham sốchuyển động toàn cục có thể được trích chọn từ vectơ chuyển động

1.3 Kỹ thuật trừ ảnh

Một luồng Video bao gồm N (f1, f2,…, fn) khung hình mỗi khung hình làmột ảnh tĩnh, có thể hiểu video là một sự nối tiếp các ảnh tĩnh Các khunghình này được hiện thị tuần tự trong một đoạn video, độ sáng của mộtđiểm ảnh đã cho có thể coi là một hàm của thời gian f(x,y,t).Hiểu theo nghĩa hẹp, trừ hai ảnh có cùng kích thước là việc xây dựng ảnhmới từ sự khác biệt của hai ảnh Theo nghĩa rộng hơn, trừ ảnh là việc tínhtoán độ chênh lệch giữa hai ảnh trên một đặc trưng ảnh nào đó như cường độ,màu sắc, texture (kết cấu), shape (hình dáng), chuyển động…

Có nhiều kỹ thuật trừ ảnh khác nhau, nhưng có thể chia thành 3 loại:

- Dựa vào điểm ảnh: So sánh các cặp điểm ảnh tương ứng trên hai ảnh

- Dựa vào khối: Chia ảnh thành các miền và so sánh các miền tươngứng.

- Dựa vào biểu đồ: So sánh sự phân bố của thuộc tính nào đó của ảnh.Kết hợp các loại này với các thuộc tính so sánh của ảnh, ta sẽ có nhiều

kỹ thuật trừ ảnh khác nhau

1.3.1 Dựa vào so sánh điểm ảnh

Đây là phương pháp để tính toán sự sai khác giữa hai frame bằng việctính toán các giá trị, nó mô tả mọi thay đổi về cường độ điểm ảnh trong các

ảnh Có nhiều phương pháp để tính sự sai khác này, Nagasaka và Tanaka đã

đưa ra một phương pháp tính tổng toàn bộ những thay đổi khác nhau vềcường độ điểm ảnh giữa hai khung hình như là độ chênh lệch khung D(f1, f2)

X f

f

Sau khi tính được độ chênh lệch D, tiến hành so sánh D với ngưỡng Txác định xem có chuyển động hay không

Nhược điểm của phương pháp này là:

- Không thể phân biệt được thay đổi lớn cho vùng ảnh nhỏ và thay đổinhỏ cho vùng ảnh lớn Ví dụ như các cắt cảnh rất dễ bị bỏ sót khi một phầnnhỏ của khung hình có sự thay đổi lớn hoặc nhanh

- Nhạy với nhiễu và các di chuyển của camera

Một bước phát triển hơn được Otsuji đề xuất đó là thay vì tính toán trựctiếp tổng những điểm khác biệt lớn về cường độ thực tế, tiến hành đếm các sốđiểm ảnh có thay đổi lớn hơn một ngưỡng nào đó, so sánh tổng đó vớingưỡng khác để phát hiện chuyển động

(1.2)

X f

f

Nếu tỷ lệ số điểm ảnh thay đổi D(f1, f2) lớn hơn ngưỡng T2 thì đã cóchuyển động Tuy nhiên phương pháp này vẫn nhạy cảm với những di chuyểncamera và di chuyển của đối tượng khi camera quay hướng theo đối tượng, rấtnhiều điểm ảnh thay đổi dù chỉ một số ít điểm ảnh dịch chuyển

Một nhược điểm nữa của phương pháp phân biệt điểm ảnh là tính nhạycảm những thay đổi về độ sáng của ảnh, ví dụ điển hình là các chớp đèn (đènflash )

Phương pháp trừ giá trị điểm ảnh cơ bản là tính toán từ các giá trị cường

độ, nhưng có thể mở rộng với các ảnh màu Ví dụ với ảnh màu RGB, ta tínhtổng có trọng số các sai khác của ba giá trị Red, Green và Blue của các điểmảnh

f

D

0 0 2

i i

i f x y f x y

w

, ,

2

1.3.2 Dựa vào khối

Hướng tiếp cận phân khối sử dụng các đặc tính cục bộ nhằm tăng tínhđộc lập với các di chuyển của camera và đối tượng Mỗi khung hình đượcchia thành b khối Các khối trên khung hình f1 được so sánh với khối tương ứng trên khung hình f2 Về cơ bản, độ chênh lệch giữa hai khung hìnhđược tính như sau:

, Nếu , ngược lại

D

1

2 1 2

1.3.3 Dựa vào so sánh biểu đồ

Có thể dùng biểu đồ màu hoặc biểu đồ mức xám để tínhtoán sự sai khác giữa hai khung hình vì sự phân bố màu giữa cácframe liên tục không bị ảnh hưởng nhiều bởi chuyển động của camera vàchuyển động của đối tượng

Biểu đồ màu (mức xám) của khung hình i là một vectơ G chiều

Hi = (Hi(1), Hi(2), … , Hi(G)) Trong đó G là số màu (mức xám), Hi(j) là sốđiểm ảnh của khung hình i có màu (mức xám ) j Phương pháp trừ ảnh dựatrên biểu đồ có thể sử dụng hai loại biểu đồ để biểu diễn là biểu đồ toàn cụchoặc biểu đồ cục bộ

- Biểu đồ toàn cục là biểu đồ biểu diễn sự phân bố giá trị màu (mứcxám) của toàn bộ khung hình

- Biểu đồ cục bộ là biểu đồ chỉ mô tả sự phân bố màu hay mức xám củamột phần nào đó của khung hình

a) Biểu đồ toàn cục

Phương pháp đơn giản nhất là tính tổng sự sai khác các cột của biểu đồ

H f

f

D

0

2 1

f S

0

2 1

2 ,

k H k H

k H k H f

f S

0

2 1

0

2 1

2 1

)) ( )

( max(

)) ( )

( min(

) ,

Như vậy có thể tính độ chênh lệch biểu đồ hai khung hình theo côngthức:

k H k H

k H k

H f

f S f

f D

0

2 1

0

2 1

2 2

1

)) ( )

( max(

)) ( )

(

min(

1 ) , 1 ( 1 ) ,

Nhược điểm của phương pháp này là:

- Biểu đồ chỉ mô tả sự phân bố các giá trị điểm ảnh (màu hay mứcxám) chứ không chứa đựng các thông tin nào về không gian Như vậy hai ảnh

có cùng biểu đồ màu nhưng vẫn có thể có nội dung khác nhau do không gianphân bố khác nhau

Hình 1.4: Các ảnh có cùng biểu đồ màu nhưng nội dung khác nhau

- Với những vùng cảnh nhỏ, khi thay đổi vẫn gây ra chú ý nhưng lạikhông đóng vai trò quan trọng trong biểu đồ và như vậy thì rất dễ bị bỏ quakhi tiến hành kĩ thuật trừ ảnh để tìm ra sự sai khác

b) Biểu đồ cục bộ

Biểu đồ cục bộ là biểu đồ mô tả sự phân phối các giá trị điểm ảnh trênmột phần của khung hình Như đã đề cập ở trên, phương pháp trừ ảnh dựa vàobiểu đồ là phương pháp ít chịu ảnh hưởng của nhiễu và sự di chuyển đốitượng Tuy nhiên với biểu đồ toàn cục thì vẫn gặp một số trở ngại, để khắcphục những nhược điểm của biểu đồ toàn cục, chúng ta sẽ kết hợp trừ ảnh dựavào biểu đồ với kỹ thuật trừ ảnh phân khối Trừ ảnh phân khối quan tâm đếnthông tin về không gian Về cơ bản phương pháp này tốt hơn việc so sánhtừng cặp điểm ảnh, nhưng nó vẫn chịu tác động của sự di chuyển của camera

và đối tượng và cũng tốn kém Còn kỹ thuật trừ ảnh dựa vào biểu đồ không

chịu ảnh hưởng nhiều của camera hay sự di chuyển của đối tượng, nhưng lại

có nhược điểm là không chứa đựng thông tin về không gian Như vậy việc kếthợp hai phương pháp này sẽ bù đắp được những thiếu sót cho nhau, chúng tavừa có thể giảm được tác động của sự di chuyển camera và đối tượng, vừa sửdụng thông tin về không gian ảnh, và cho kết quả phân đoạn tốt hơn

Ý tưởng là, ta sẽ chia khung hình thành b khối, đánh số từ 1 đến b Sosánh biểu đồ của các khối tương ứng rồi tính tổng chênh lệch để có kết quảtrừ ảnh cuối cùng

f

D

1

2 1 2

j H f

f

DP

0

2 1

2

Trong đó H(j,k) là giá trị biểu đồ tại mức xám j ứng với khối thứ k

1.3.4 Dựa vào phương pháp thống kê

Phương pháp sai khác thống kê dựa vào phương pháp trừ giá trị điểmảnh, nhưng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnhthành các miền rồi so sánh các đại lượng thống kê điểm ảnh của các miền đó

Ta sử dụng thống kê tỷ lệ số điểm ảnh thay đổi trên toàn bộ khung hình,

sử dụng một giá trị d là ngưỡng sai khác được tính giữa hai điểm ảnh tươngứng

Gọi S là tập các điểm ảnh có độ sai khác lớn hơn d:

S = {(x,y) \ |f1(x,y) – f2(x,y)| > d} (1.12)

Độ sai khác giữa hai khung hình được tính bằng tỷ lệ các điểm ảnh có độchênh lệch lớn hơn d

Y X

count S

f f D

*

) ,

Chúng ta có thể sử dụng cách khác là dùng các đại lượng thống kê chotừng miền, như biểu đồ chẳng hạn Phương pháp này có khá nhiều sai sóttrong phát hiện cảnh phim

CHƯƠNG 2:

MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN CHUYỂN ĐỘNG

TRONG VIDEO 2.1 Tổng quan phương pháp trừ nền

2.1.1 Giới thiệu

Phương pháp chung để nhận dạng đối tượng chuyển động là trừ nền, ở

đây mỗi khung video được so sánh với mô hình tham chiếu hoặc mô hình nền

Các pixel trong frame hiện thời mà lệch đáng kể so với nền sẽ được xem như

là đối tượng chuyển động Một giải thuật trừ nền tốt phải xử lý được sự thay

đổi độ sáng, sương mù, tuyết, đổi bóng…Ngoài ra, nó phải tính toán nhanh và

có yêu cầu bộ nhớ ít, trong khi vẫn có khả năng xác định những đối tượng

chính xác trong video

2.1.2 Giải thuật trừ nền.

Bốn bước chính trong giải thuật trừ nền là: Tiền xử lý, mô hình hóa nền,

phát hiện đối tượng và hợp lệ hóa dữ liệu

Hình 2.1: Biểu đồ luồng chung của các giải thuật trừ nền

Video

Frames Preprocessing Background Modeling Foreground Detection Foreground Masks

Delay

Data Validation

Background Subtraction

- Tiền xử lí bao gồm những tác vụ xử lí ảnh đơn giản cho video đầuvào tạo điều kiện cho xử lí trong những bước tiếp theo.

- Mô hình hóa nền sử dụng những frame video mới để tính toán và cậpnhật một mô hình nền Mô hình nền này cung cấp phần mô tả thống kê củatoàn bộ cảnh nền

- Dò tìm đối tượng là xác định những pixel trong frame video khôngtương ứng với mô hình nền

- Hợp lệ dữ liệu khảo sát mặt nạ thích hợp này, loại bỏ những pixel

không tương ứng với những đối tượng chuyển động thật

2.2 Phát hiện đối tượng chuyển động dựa vào sự biến thiên cục bộ của véctơ kết cấu SP

2.2.1 Giới thiệu

Chúng ta hãy tập trung vào một vị trí cố định trong một ảnh video vàquan sát chuỗi các vectơ trực quan ( ví dụ: mức xám, tia hồng ngoại, màu haycác vectơ kết cấu) tại mỗi vị trí này trong một video Giả thiết rằng, camerakhông chuyển động Nếu quan sát nền cảnh tại vị trí này, thì ta sẽ chỉ thấy sựthay đổi rất nhỏ của các vectơ trực quan do có những thay đổi nhỏ về ánhsáng và các lỗi của thiết bị thu video Mặt khác, nếu có một đối tượng chuyểnđộng qua vùng này, thì chúng ta sẽ thấy sự khác nhau giữa các vùng của đốitượng, những vùng này sẽ cho những kết cấu khác nhau Bởi vậy, tính kết cấutại một vị trí đã cho rất phù hợp để phát hiện những thay đổi lớn

Trước tiên đoạn video được chia thành các khối spatiotemporal 3D và ápdụng một kỹ thuật giảm số chiều để thu được biểu diễn cô đọng về màu sắc,hồng ngoại hay giá trị mức xám ở mỗi khối Vectơ kết cấu SP thu được cungcấp một biểu diễn mối quan hệ giữa kết cấu và mẫu chuyển động trong video

và được sử dụng là dữ liệu đầu vào cho giải thuật phân tích video Như đãtrình bày ở trên, kết cấu tại một vị trí đã cho trên video rất thích hợp chonhững thay đổi lớn khi mà đối tượng chuyển động qua vị trí quan sát Bởi vậycần phải có một phương pháp phát hiện chuyển động dựa trên cơ sở nhữngbiến đổi cục bộ của vectơ kết cấu SP Ronand Mezianko và DragoljubPokrajac xác định là cần đo trong một cửa sổ giới hạn và càng ngắn càng tốt.

Họ định nghĩa biến đổi cục bộ là giá trị riêng lớn nhất của vectơ kết cấu SPtrong một khoản thời gian nhỏ Nó được tính toán bằng cách áp dụng phươngpháp PCA vào ma trận hiệp phương sai của vectơ kết cấu SP trong mộtkhoảng thời gian nhỏ Như vậy trong cách tiếp cận này, ta sử dụng phươngpháp PCA hai lần, lần đầu dùng để tính toán vectơ kết cấu SP, và lần thứ haidùng để tính toán sự biến đổi của vectơ kết cấu Sau đó sử dụng một ngưỡngđộng để quyết định xem đây là đối tượng chuyển động hay là nền tĩnh tại vịtrí không gian đã cho

2.2.2 Biểu diễn video với vectơ kết cấu SP

Các vectơ được mô tả là những mảng 3D của mức xám hoặc các giá trịpixel hồng ngoại đơn sắc gi,j,t tại thời điểm t, vị trí pixel (i,j) Một video đượcđặc trưng bởi chiều thời gian là Z tương ứng với số khung, và hai chiều khônggian đặc trưng số vectơ trong phương ngang và phương thẳng đứng của mỗiframe Các ảnh trong video được chia thành chuỗi những hình vuông rời rạc

NBLOCK× NBLOCK ( chẳng hạn hình vuông 8x8), những hình vuông này bao trùmtoàn bộ ảnh Những khối spatiotemporal 3D có được là do sự kết hợp củanhiều hình vuông liên tiếp trên các frame tại cùng một vị trí của video Cáckhối được biểu diễn bằng các vectơ N chiều bi,j,t với chỉ số không gian ( i,j )và tại thời điểm t Các vectơ bi,j,t bao gồm các giá trị mức xám gi,j,t củacác pixel trong khối 3D tương ứng Như vậy, những khối đã cho với chỉ số