Hệ thống xử lý ảnh

Một trong những bài toán then chốt của kĩnh vực giám sát tự động, trong khuôn khổ của đồ án em tập trung trình bày về các kỹ thuật trừ ảnh và ứng dụng các kỹ thuật này để giải quyết bài

PHẦN MỞ ĐẦU

Trong thời đại ngày nay công nghệ thông tin hầu như đã thâm nhập vào toàn

bộ các lĩnh vực của đời sống xã hội Xã hội ngày càng phát triển nên đòi hỏi

về nhu cầu về công nghệ thông tin ngày càng cao, vì vậy mà dữ liệu số không

còn xa lạ đối với mọi người Trong mọi lĩnh vực các ứng dụng công nghệ

thông tin đã trợ giúp con người rất nhiều

Hiện nay, thông tin hình ảnh đóng vai trò rất quan trọng trong trao đổi

thông tin, bởi phần lớn các thông tin mà con người thu nhận được đều thông

qua thị giác Trong lĩnh vực công nghệ thông tin thì lĩnh vực giám sát tự động

đã và đang thu hút được nhiều sự nghiên cứu Cùng với sự phát triển của sức

mạnh máy tính, các hệ thống giám sát tự động ngày càng tinh vi và hiện đại

đã trợ giúp con người rất nhiều trong việc bảo vệ an ninh, giám sát giao

thông, …

Ở nước ta hiện nay, lĩnh vực giám sát tự động cũng đã có những bước

phát triển đáng kể Tuy nhiên, nó chỉ mới dựa trên nền tảng là phần cứng và

cũng chưa được ứng dụng nhiều trong thực tế vì điều kiện kinh tế xã hội Việc

giải quyết bài toán này theo hướng tiếp cận sử dụng phần mềm chưa được

quan tâm phát triển Do vậy em nghiên cứu đề tài: “Phát hiện đối tượng đột

nhập dưới sự trợ giúp của Camera” Một trong những bài toán then chốt của

kĩnh vực giám sát tự động, trong khuôn khổ của đồ án em tập trung trình bày

về các kỹ thuật trừ ảnh và ứng dụng các kỹ thuật này để giải quyết bài toán

phát hiện đối tượng đột nhập thông qua WebCam Nội dung của đồ án gồm

Xử lý ảnh là quá trình thu nhận ảnh nhằm biến đổi từ ảnh này sang

ảnh khác cho ra kết quả như mong muốn

Tiền

xử lý

Đối sánh

Trích chọn đặc trưng

Kết quả

thường được đặc trưng bởi toạ độ màu RGB tương ứng với nó trong hệ toạ độ

màu cơ bản sau:

G

Video là một tập hợp các khung hình(Frames), mỗi khung hình là một ảnh

Shot(lia) là một đơn vị cơ sở của video Một lia là một đơn vị vật lý

của dòng video, gồm chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn

Scene(cảnh) là các đơn vị logic của dòng video Cấu trúc phân cấp của

video được mô tả trong hình vẽ:

Lia

Frame

1.2.2.Một số thuộc tính đặc trưng của video Video có 4 đặc tính chung là: màu(color), kết cấu(texture), hình dáng(shape), chuyển động(motion) 1.2.2.1 Màu(Color) Màu là một thuộc tính đặc trưng của ảnh Biểu đồ màu, biểu diến sự phân bố màu, là một đặc trưng màu phổ biến nhất hiện nay Biểu đồ màu không phụ thuộc vào sự quay, dịch chuyển ảnh cũng như chiều nhìn ảnh Tuy nhiên với biểu đồ màu không biểu diễn thông tin về không gian phân bố các điểm ảnh, do đó hai điểm ảnh có cùng biểu đồ màu có thể lại có nội dung khác nhau

Hình 1.8: Các ảnh khác nhau nhưng có cùng biểu đồ

r k

Dark image Bright image

Low-contrast image High-contrast image

P(r k )

P(r k )

r k

r k

r k

1.2.2.2 Kết cấu (Texture)

Đây là một đặc trưng quan trọng của bề mặt, nơi xảy ra việc lặp lại

mẫu cơ bản Có hai dạng biểu diễn texture phổ biến đó là : biểu diễn dạng ma

trận đồng thời và biểu diễn Tamura

1.2.2.3 Hình dáng (Shape)

Các đặc trưng hình dánh có thể được biểu diễn sử dụng phân tích

truyền thống như bất biến mômen, mô tả Fourier, mô hình học tự động quay

lui, và các thuộc tính hình học

1.2.2.4 Chuyển động (Motion)

Motion là một thuộc tính quan trọng của video Thông tin về chuyển

động có thể được sinh ra bằng các kỹ thuật ghép khối hoặc luồng ánh sáng

Chương 2: PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP

Có 2 cách tiếp cận chính để giải quyết bài toán phát hiện đối tượng đột nhập đó là:

-Dựa hoàn toàn vào phần cứng

-Dựa vào các kỹ thuật xử lý ảnh

2.1 BÀI TOÁN PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP

Sự phát triển của công nghệ thông tin đẩy nhanh sự phát triển của các

lĩnh vực xã hội khác Với sự phát triển của phần cứng cả về phương diện thu

nhận và hiển thị cũng như tốc độ xử lý đã mở ra nhiều phương hướng cho sự

phát triển phần mềm Trong đó phải kể đến lĩnh vực giám sát tự động

Một trong những bài toán quan trọng và then chốt là bài toán phát hiện

đối tượng đột nhập dưới sự trợ giúp của camera

Ở nước ta hiện nay, việc giải quyết bài toán phát hiện đối tượng đột

nhập còn chủ yếu dựa vào phần cứng và chưa được ứng dụng nhiều trong

thực tế Trong phần tiếp theo chúng ta sẽ tìm hiểu từng cách tiếp cận để giải

quyết bài bài toán này

2.2 PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG

Trong cách tiếp cận này các hệ thống giám sát tự động này thường sử

dụng các camera có gắn chip cảm ứng và đặt tại các nơi nhạy cảm hoặc sử

dụng hệ thống các tia quét Mỗi camera có thể được gắn với các thiết bị báo

động, khi phát hiện thấy có biến động thì nó sẽ tự động báo động

Ưu điểm của hướng tiếp cận sử dụng phần cứng là cho độ chính xác và

độ tin cậy cao, tốc độ xử lý nhanh Tuy nhiên nó có một nhược điểm là chi phí

cho một hệ thống giám sát có thể rất lớn không phù hợp với mức thu nhập của

người Việt Nam hiện nay

2.3 PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO CÁC KỸ THUẬT

XỬ LÝ ẢNH

Ta có thể sử dụng nhiều kỹ thuật xử lý ảnh khác nhau để phát hiện ra

đối tượng đột nhập như sử dụng phép trừ nền (background subtraction), dò

biên (edge detection),…

2.3.1 Các kỹ thuật trừ ảnh

Ký hiệu D(f1, f2) là sự sai khác nhau giữa hai khung hình f1,f2 Sự sai

khác này lớn hơn một ngưỡng nào đó sẽ xác định được có đối tượng chuyển

động giữa hai khung hình Sự thay đổi trên khung hình được tính toán trên

một đặc trưng nhất định Người ta thường dùng đặc trưng là nội dung màu

sắc, là biểu đồ (biểu đồ màu, biểu đồ mức xám), hoặc đôi khi là cạnh, vector

chuyển động, góc hay kết cấu (texture)

Như vậy khi thực hiện việc phát hiện có sự biến động giữa các khung

hình, trước hết ta phải xác định đặc trưng mang ra so sánh, thứ hai là xác định

công thức trừ ảnh D, và cuối cùng là quyết định ngưỡng sai khác Tb Giá trị

ngưỡng này thường được xác đinh trước Hoặc đôi khi người ta cũng dùng

ngưỡng thích ứng Chỉ những sai khác lớn hơn ngưỡng Tb mới được xem xét

và xử lý

Hiện nay có nhiều kỹ thuật trừ ảnh và có thể chia thành 5 loại như sau:

- Trừ ảnh dựa vào điểm ảnh

- Trừ ảnh dựa vào khối

- Trừ ảnh dựa vào biểu đồ

- Trừ ảnh dựa vào đặc trưng

- Trừ ảnh dựa vào thống kê

Để thống nhất chúng ta giả sử xét hai ảnh I1 và I2 có cùng kích thước

Trừ hai ảnh I1 và I2 là thực hiện việc tính toán sự sai khác giữa hai ảnh đó

2.3.1.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh

Phương pháp đơn giản nhất để trừ hai khung hình là tính giá trị biểu

diễn sự chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng

trên hai khung hình:

1 0 2

y

X x

y x f y x f Y

X f f D

So sánh giá trị tìm được với ngưỡng chuyển cảnh Tb để xác định xem

có chuyển cảnh hay không

Kỹ thuật trừ ảnh dựa vào điểm ảnh rất đơn giản Nhược điểm lớn

nhất của kỹ thuật này là không phân biệt được sự thay đổi lớn trong một vùng

ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn Nói chung tất cả các kỹ

thuật trừ giá trị điểm ảnh đều nhạy với nhiễu và các di chuyển camera Có thể

cải tiến kỹ thuật này bằng cách đếm tổng số điểm ảnh có thay đổi lớn hơn một

ngưỡng nào đó và so sánh giá trị tính được với một ngưỡng khác để phát hiện

1

, y x

Y y

X x

y x DP Y

X f

f D

Nếu tỷ lệ số điểm ảnh thay đổi D(f1,f2) lớn hơn ngưỡng T1 thì đã có sự

chuyển cảnh do cắt Tuy các thay đổi không liên quan trong khung hình đã

được loại bỏ bớt nhưng hướng tiếp cận này vẫn nhạy với các di chuyển

camera và đối tượng Chẳng hạn, khi camera quay theo đối tượng, rất nhiều

điểm ảnh được cho là thay đổi, dù cho có ít điểm ảnh dịch chuyển Có thể

giảm tác động này bằng cách sử dụng một bộ lọc trơn: trước khi so sánh, mỗi

điểm ảnh được thay thế bằng giá trị trung bình của các điểm lân cận

Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm

ảnh với việc chiếu sáng Khi đó người ta điều chỉnh độ sai khác giá trị điểm

ảnh bằng cách chia nó cho cường độ của điểm ảnh trên khung hình thứ hai

Hampapur[3] gọi ảnh thu được từ độ chênh lệch hiệu chỉnh là ảnh chromatic:

1 0 2

1

,

,,

x f Y

X f

f D

Phương pháp trừ giá trị điểm ảnh là tính toán từ các giá trị điểm ảnh,

nhưng có thể mở rộng đối vưới các ảnh màu Ví dụ với ảnh màu RGB, ta tính

tổng có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh

, Nếu f1( )x,y − f2( )x,y >T1

, ngược lại

2 1

0 0 2

i

i i

i Y

y

X x

y x f y x f w f

f D

2.3.1.2 Trừ ảnh phân khối

Sử dụng các đặc tính độc lập với các di chuyển của camera và đối

tượng Mỗi khung hình được chia làm b khối Các khối trên khung hình f1

được so sánh với các khối tương ứng trên khung hình f2.Về cơ bản, độ chênh

lệch giữa hai khung hình được tính như sau:

f D

2

Trong đó Ck là hệ số cho trước, DP(f1,f2, k) là độ chênh lệch giữa hai

khối thứ k của hai khung hình f1 và f2

Kasturi[4] đưa ra công thức:

k k

k k k

k

2 1

2 2 2 1 2k 1

.

2 2

σ σ

μ μ σ

=

Trong đó μ1k, μ2k là giá trị cường độ trung bình của khối thứ k σ1k,σ2k

là độ chênh lệch tương ứng với hai khối đó

1 , , 2

1 f k f

DP Một cắt cảnh xảy ra khi số các khối thay đổi đủ lớn, nghĩa là D(f1,f2) >

T2 và Ck=1 cho tất cả các khối

Một hướng tiếp cận khác nhau với kỹ thuật trừ ảnh phân phối do

Shaharay[5] đưa ra Ông chia khung hình thành 12 miền và tìm miền thích

hợp nhất cho mỗi miền ở khung hình kia Độ chênh lệch tính bằng kỹ thuật

trừ ảnh dựa vào điểm ảnh của từng miền được sắp xếp Tổng có trọng số của

các chênh lệch đã được sắp xếp cho ta kết quả D cuối cùng

Xiong[6] phát triển phương pháp trừ ảnh, gọi là so sánh thực, phát

hiện chuyển cánh do ngắt chỉ bằng viếc so sánh một phần của ảnh Phương

pháp này chỉ ra rằng, sai sót mắc phải hoàn toàn có thể bỏ qua nếu ít hơn một

nửa số các cửa sổ cơ sở (các ô vuông chồng nhau) đều được kiểm tra Với giả

thiết rằng, trong trường hợp thay đổi nhiều nhất giữa hai khung hình thì kích

thước các cửa sổ được chọn đủ lớn để bất biến với các thay đổi không làm vỡ

và đủ nhỏ để có thể chứa thông tin về không gian chừng nào có thể Các cửa

sổ cơ sở được so sánh và tính độ chênh lệch mức xám hoặc giá trị màu của

điểm ảnh Khi giá trị chênh lệch lớn hơn một ngưỡng khác thì sự chuyển cảnh

so ngắt đã xảy ra Thực nghiệm cho thấy rằng hướng tiếp cận này cho tốc độ

nhanh hơn phương pháp so sánh từng cặp điểm

Một số nghiên cứu đã mở rộng ý tưởng lấy mẫu theo không gian và thời gian

Thuật toán có sử dụng bước nhảy phát hiện cả chuyển cảnh đột ngột và

chuyển cảnh dần dần Thuật toán này so sanh hai khung hình i và j, ở đó

j=i+step Nếu không có sự thay đổi đáng kể nào, thì chuyển sang so sánh các

khung hình cách nửa bước nhảy, nghĩa là so sánh hai khung hình i+step/2 và

j+step/2 Ngược lại tìm kiếm nhị phân được dùng để định vị chuyển cảnh

Nếu i và j liên tiếp nhau và sự chênh lệch của hai khung hình lơn hơn ngưỡng

thì đó là chuyển cảnh đột ngột do ngắt Nếu không, sử dụng thuật toán trừ ảnh

dựa trên việc phát hiện cảnh để phát hiện chuyển cảnh dần dần Thuật toán

này phụ thuộc vào bước nhảy step: bước nhảy lớn thì tăng hiệu quả nhưng

Hình 2.1:Các cửa sổ cơ sở trong thuật toán so sánh thực

cũng tăng khả năng sai sót, bước nhảy nhỏ quá sẽ bỏ qua những chuyển cảnh

dần dần Thuật toán này có độ nhạy rất cao với sự di chuyển của đối tượng và

sự di chuyển của camera

2.3.1.3 Phương pháp biểu đồ

Một bước xa hơn để giảm ảnh hưởng của sự chuyển camera và đối

tượng và thực hiện trừ ảnh dựa vào biểu đồ Biểu đồ mô tả sự phân bố giá trị

điểm ảnh cuả khung hình Ý tưởng của cách tiếp cận này là các ảnh có nền

không đổi và đối tượng không đổi sẽ có chênh lệch ít trong biểu đồ.Hơn nữa

biểu đồ bất biến với việc quay ảnh và thay đổi ít khi góc nhìn thay đổi

Có thể dùng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai khác

giữa hai khung hình Biểu đồ màu(mức xám) của khung hình I là một vector

G chiều Hi =(Hi(1), Hi(2),…, Hi(G)) Trong đó G là số màu(mức xám), Hi(j) là

số điểm ảnh của khung hình i có màu(mức xám) j Phương pháp trừ ảnh dựa

trên biểu đồ có thể sử dụng biểu đồ toàn cục hoặc biểu đồ cục bộ Biểu đồ

toàn cục là biểu đồ biểu diễn sự phân bố giá trị màu(mức xám) của toàn bộ

khung hình Còn biểu đồ cục bộ chỉ mô tả sự phân bố của một phần nào đó

của khung hình mà thôi

f D

0

2 1

2

1,

Có thể sử dụng thêm trọng số nếu có một số màu(mức xám) quan

trọng hơn với mục tiêu so sánh

f D

0

2 1

2

Trong đó W(k) là trọng số ứng với giá trị màu (mức xám) k

Hình 2.2:So sánh biểu đồ giữa hai ảnh

Các thứ ba là sử dụng phần giao nhau giữa hai biểu đồ Vùng biểu đồ

chồng nhau, phần gạch chéo trong hình 2.2, cho biết độ tương tự về nội dung

hai ảnh có thể định nghĩa như sau:

f S

0

2 1

k H k H

k H k H f

f S

0

2 1

0

2 1

2 1

,max

,min

,

Như vậy dựa vào phần giao nhau của hai biều đồ, có thể tính độ

chênh lệch biểu đồ hai khung hình theo công thức:

k H k H

k H k H f

f S f

f D

0

2 1

0

2 1

2 1 2

1

,max

,min

1,

1,

2.3.1.3.2 Biểu đồ cục bộ

Phương pháp trừ ảnh dựa vào biểu đồ là phương pháp ít chịu ảnh

hưởng của nhiễu và di chuyển đối tượng Nhưng có một số trở ngại:

+ Biểu đồ chỉ mô tả sự phân bổ các giá trị màu hay mức xám mà

không bao hàm bất cứ thông tin nào về không gian Hai ảnh có cùng biểu đồ

màu nhưng có nội dung khác nhau

+ Trở ngại khác là rất có thể các vùng ảnh nhỏ khi thay đổi sẽ gây

chú ý nhưng lại không có vai trò gì trong biểu đồ và do đó có thể bị bỏ qua

khi thực hiện trừ ảnh

Để giải quyết một số trở ngại của phương pháp trừ ảnh chúng ta sẽ

kết hợp trừ ảnh dựa vào biểu đồ với kỹ thuật trừ ảnh phân khối

Trừ ảnh phân phối quan tâm đến thông tin về không gian Về cơ bản

phương pháp này tốt hơn việc so sánh từng cặp điểm ảnh, nhưng nó vẫn chịu

tác động của sự di chuyển camera và di chuyển của đối tượng bằng cách kết

hợp hai ý tưởng, chúng ta vừa có thể giảm được sự tác động của các di

chuyển camera và đối tượng, vừa sử dụng thông tin về không gian ảnh Do đó

cho kết quả phân đoạn tốt hơn

Ý tưởng là chúng ta sẽ chia khung hình thành b khối, đánh số từ 1- b

So sánh biểu đồ của các khối tương ứng rồi tính tổng chênh lệch để có kết quả

f D

1

2 1 2

f DP

2

Trong đó H(j,k) là giá trị biểu đồ tại màu (mức xám) j ứng với khối thứ k

Hướng tiếp cận khác trong kỹ thuật trừ ảnh dựa vào biểu đồ cục bộ

được Swanberg đưa ra Sự chênh lệch DP(f1,f2,k) giữa các khối được tính

bằng cách so sánh biểu đồ màu RGB sử dụng công thức sau:

B G R

k j H k

j H k

f f

DP

2 2

1 ,

, 2

1

,

,,

,,

2.3.1.4 Phương pháp thống kê

Phương pháp sai khác thống kê dựa vào phương pháp trừ giá trị điểm

ảnh, nhưng thay vì tính tổng sự sai khác của tất cả điểm ảnh, ta chia ảnh

thành các miền rồi so sánh các đại lượng thống kê điểm ảnh của miền đó Ta

sử dụng một giá trị d là ngưỡng sai khác được tính giữa hai điểm ảnh tương

ứng Gọi S là tập các điểm ảnh có sai khác lớn hơn d:

count S f f

D 1, 2 .

Chúng ta cũng có thể sử dụng các đại lượng thống kê cho từng

miền-như biểu đồ

2.3.1.5 Trừ ảnh dựa vào đặc trưng

2.3.1.5.1 Đặc trưng là vector chuyển động

Trong các đoạn video, người ta thường thấy các hiệu ứng do chuyển

động của camera , như pan(quét), zoom(zoom in – phóng to, zoom out – thu

nhỏ ), tilt(nghiêng)

2.3.1.5.2 Đặc trưng là cạnh

Một hướng tiếp cận khác cho việc phân loại và phát hiện chuyển cảnh

là sự phát hiện sự xuất hiện các cạnh (biên cường độ) trong một khung hình,

chúng cách các cạnh trong khung hình trước một khoảng nhất định Kỹ thuật

này không chỉ phát hiện mà còn phân loại được các loại chuyển cảnh : cắt

cứng, chồng mờ, fade, wipe

2.3.2 Kỹ thuật trừ nền(Background subtraction)

Kỹ thuật trừ nền thông thường thực hiện việc trừ ảnh hiện tại cho ảnh