Một phương pháp bám mục tiêu dựa trên các đặc trưng biểu đồ thu từ ảnh camera không tĩnh

Bài báo trình bày thuật toán bám các mục tiêu ảnh động có tính tới các tham số chuyển động ngẫu nhiên của camera và tăng độ rời rạc ảnh của đối tượng trên cơ sở tổ hợp các dấu hiệu biểu đồ. Thuật toán bảo đảm khả năng bám ổn định bằng thị giác máy tính trong chế độ thời gian thực thông qua việc giảm độ bất định của mô hình động học và nhờ việc sử dụng phương pháp biểu đồ tích phân.

This paper is available online at http://stdb.hnue.edu.vn

MỘT PHƯƠNG PHÁP BÁM MỤC TIÊU DỰA TRÊN CÁC ĐẶC TRƯNG

BIỂU ĐỒ THU TỪ ẢNH CAMERA KHÔNG TĨNH

Nguyễn Văn Hùng

Viện Vũ khí, Tổng cục Công nghiệp Quốc phòng

Email: hungitd@yahoo.com

Tóm tắt Bài báo trình bày thuật toán bám các mục tiêu ảnh động có tính tới các

tham số chuyển động ngẫu nhiên của camera và tăng độ rời rạc ảnh của đối tượng trên cơ sở tổ hợp các dấu hiệu biểu đồ Thuật toán bảo đảm khả năng bám ổn định bằng thị giác máy tính trong chế độ thời gian thực thông qua việc giảm độ bất định của mô hình động học và nhờ việc sử dụng phương pháp biểu đồ tích phân Hệ thống đã thử nghiệm bám thành công với mục tiêu ôtô chuyển động với vận tốc tối

đa 70km/h và cách xa camera quan sát là 500m

Từ khóa: Thuật toán bám mục tiêu, chuyển động, biểu đồ tích phân.

1 Mở đầu

Phát hiện và bám theo mục tiêu chuyển động ngày càng trở nên quan trọng trong thị giác máy tính, nó có ứng dụng rộng rãi trong các hệ thống quan sát bảo vệ, các hệ thống kiểm tra giao thông, và đặc biệt trong các hệ thống ứng dụng cho an ninh quốc phòng Một trong những phương pháp hiệu quả để giải bài toán này đó là dùng bộ lọc cục bộ [3] Một loạt các thuật toán truyền thống sử dụng các dấu hiệu từ biểu đồ màu [4, 5] làm mô hình bám mục tiêu thông qua bộ lọc cục bộ, cách này bảo đảm được mức độ bất biến nhất định của mô hình khi thay đổi tỉ lệ hình ảnh hoặc thay đổi hình dạng Dù có ưu điểm về các dấu hiệu từ biểu đồ màu như vậy, nhưng việc sử dụng chúng vẫn có thể không hiệu quả (trong trường hợp các gam màu của mục tiêu gần giống gam màu nền) hoặc không thể xác định (trong trường hợp luồng ảnh đơn sắc)

Bài báo đề xuất thuật toán bám hiệu quả cho các mục tiêu động có tính tới các tham

số chuyển động ngẫu nhiên của camera và tăng độ rời rạc ảnh của đối tượng trên cơ sở tổ hợp các dấu hiệu biểu đồ

2 Nội dung nghiên cứu

2.1 Xác định các tham số chuyển động của camera

Chuyển động ngẫu nhiên của camera có thể gây ra độ bất định đáng kể cho mô hình động học của đối tượng [2], điều này dẫn tới việc giảm tính chính xác trong thuật

toán bám Như vậy, việc tính toán và đánh giá các tham số chuyển động của camera là rất cần thiết Trong trường hợp camera được hiệu chuẩn, để định dạng ảnh cần thực hiện các phương trình hình chiếu phối cảnh, các tọa độ đồng nhất của các điểm tương ứng trên hai ảnh liên hệ với nhau thông qua ma trận cộng tuyến:





x′ω

y′ω ω



= H ·





x y 1



Trong đó: Các điểm (x′, y′) và (x, y) là tọa độ các điểm tương ứng trong hai ảnh liên tiếp; H là ma trận cộng tuyến có kích thước 3 × 3; ω là hệ số tỷ lệ của các tọa độ đồng nhất

Phương pháp mô tả thay đổi ảnh kèm theo chuyển động của camera chứa đựng các phép biến đổi phối cảnh là trường hợp chung cho các phép biến đổi affin (xoay, xê, dịch, kéo) áp dụng khi chiếu vuông góc phối cảnh Bằng cách, đánh giá chuyển động tổng thể được đưa về đánh giá ma trận biến đổi hình chiếu H Để xác định ma trận biến đổi hình chiếu H, trên ảnh thứ nhất của cặp cảnh, các điểm dấu hiệu được đánh dấu để có thể tiếp tục tìm chúng trên ảnh thứ hai Để tìm và bám các điểm dấu hiệu từ cảnh này sang cảnh khác, ta dùng thuật toán Lucas-Kanade-Tomasi [8, 9] Kết quả của thuật toán này là bộ các điểm dấu hiệu tương ứng trên ảnh gốc và ảnh hiện tại:



pi ref

nF i=1 ⇔pi

cur

nF i=1

Với một bộ xác định các điểm dấu hiệu có kích cỡ nF >= 4 các tham số của phép biến đổi hình chiếu H được tính bằng thuật toán biến đổi tuyến tính trực tiếp (DLT - Direct Linear TraNsform) [10]

Thuật toán này bao gồm các bước sau

Bước1 Định dạng ma trận A cho một bộ tương ứng xác định từ:



pi ref

nF i=1 ⇔pi

cur

nF i=1

Với một cặp tương ứng các điểm dấu hiệu:

(x, y) ∈pi

cur

nF i=1; (x′, y′) ∈pi

ref

nF i=1

liên hệ với nhau bằng phép biến đổi hình chiếu H, ta có ma trận bù 2 × 9

Ai =



0 0 0 −x′ −y′ −1 y.x′ y.y′ y

x′ y′ 1 0 0 0 −x.x′ −x.y′ −x



Ma trận A được định dạng thông qua ma trận bù Ai:

A =AT1AT2 ATr (2.2)

Bước 2 Ma trận cộng tuyến H được định dạng bằng khai triển đơn nhất ma trận A.

Véc tơ h = [h1h2 h9]T tham số của phép biến đổi hình chiếu H là véc-tơ riêng, tương ứng với một giá trị nhỏ nhất và đơn nhất của khai triển ma trận A Ma trận cộng tuyến H

có được bằng cách sắp xếp lại các phần tử của véc-tơ h như sau:

H =





h1/h9 h2/h9 h3/h9 h4/h9 h5/h9 h6/h9



Để tìm tham số cho ma trận cộng tuyến trong trường hợp số lượng bộ điểm bị tăng lên, ta áp dụng thuật toán robust [11], dùng để tính toán các tham số ma trận biến đổi hình chiếu H với thuật toán DLT

2.2 Đánh giá véc tơ trạng thái của hệ thống ngẫu nhiên bằng phương pháp tuần tự Monte-Carlo

Hình 1 Quan hệ giữa các trạng thái rời rạc của hệ thống ngẫu nhiên tương quan với quá trình quan sát

Hệ thống ngẫu nhiên phi tuyến tính với trạng thái tại các thời điểm rời rạc tạo thành dãy Markov (Markovian), tại thời điểm tncó thể biểu diễn bằng phương trình rời rạc trong không gian trạng thái như sau:

Trong đó: xn- véc tơ trạng thái của hệ thống; wn- véc tơ nhiễu động học; fn- hàm quyết định liên hệ trạng thái tiên nghiệm của hệ thống xnở trạng thái hiện tại xn−1 Quá trình quan sát được biểu diễn tổng quát bằng phương trình phi tuyến:

Trong đó zn- véc tơ quan sát tại thời điểm tn; vn - véc tơ nhiễu khi quan sát; hn -hàm quyết định liên hệ trạng thái hiện tại của hệ thống xnvới véc tơ quan sát zn

Hình vẽ 1 biểu diễn mối liên hệ giữa các trạng thái của hệ thống ngẫu nhiên và quá trình quan sát các trạng thái này tương ứng với (2.4) và (2.5) Bài toán đánh giá Bayes đưa

về việc xác định mật độ phân phân phối xác xuất (PB) tiêu nghiệm p(xn|z1:n) của véc tơ trạng thái hệ thống trên bộ quan sát z1:n = {z1, z2, , zn} Một cách tổng quát, mô hình phi tuyến non-Gaussian động cho hệ thống (4) trong không gian trạng thái có thể đưa ra mật độ xác xuất điều kiện từ trước p(xn|xn−1, z1:n) cho trạng thái hiện tại dựa trên trạng

thái trước đó của hệ thống xn−1 và dựa trên tổng thể bộ quan sát z1:n cho đến thời điểm hiện tại tn Hàm gần đúng p(zn|xn) của bộ quan sát hiện tại được xác định thông qua phương trình của tiến trình quan sát (2.5) PB tiêu nghiệm p(xn|z1:n−1) của véc tơ trạng thái xncó thể biểu diễn ở dạng:

p (xn|z1:n−1) =

Z

p (xn|xn−1, z1:n−1) × p (xn−1|z1:n−1) dxn−1 (2.6) Trong đó p(xn−1|z1:n−1) - PB quy nạp của véc tơ trạng thái của hệ thống tại thời điểm tn−1 PB quy nạp ở thời điểm tn theo quy tắc tính toán Bayes được xác định qua công thức:

p (xn|z1:n−1) = c.p (zn|xn) p (xn|z1:n−1) (2.7) Trong đó c là hệ số hiệu chuẩn

p(zn|z1:n−1) =

1 R

p(zn|xn)p(xn|z1:n−1)dxn

Kết quả của phép lọc thường là một đánh giá xn nào đó, đánh giá này bảo đảm cực tiểu của hàm trung bình đã cho với hao hụt λ(.) :

⌢

xn = arg min E [λ(xn, ˜xn)] = arg min

˜

x n

Z λ(xn, ˜xn)p(xn, z1:n−1)dxn (2.8)

Thuật toán đánh giá trên cơ sở phương pháp tuần tự Monte-Carlo[1] đưa ra giá trị xấp xỉ của PB tiên nghiệm p(xn|z1:n) trong phép chọn với kích thước Ns, trong

đó {xi

n|i = 0, , Ns} - là tập hợp n điểm mốc trong không gian trạng thái với lượng tương ứng:

(

ωin|i = 1, , Ns,

N s

X

i=1

ωni = 1

)

PB tiên nghiệm p(xn|z1 : n) tại thời điểm tn có thể được tính xấp xỉ bằng phương trình:

p(xn|z1:n) ≈

N s

X

i=1

trong đó δ(.) - là hàm delta

Giá trị của lượng {ωi

n|i = 1, , Ns} được xác định bằng phương pháp chọn theo giá trị trên cơ sở thuật toán bộ lọc cục bộ với phép chọn tuần tự theo giá trị (Sequential

Importance Sampling particle Filter) Biểu thức truy toán để phục hồi lượng của phần tử thứ i trong phép chọn xấp xỉ có dạng [12]:

ωin∞ωn−1i p(zn|x

i

n)p(xn|zi

n−1) q(xi

n|xi

Trong đó q(xi

n|xi n−1, z1:n) - hàm giá trị dùng để xác định phép chọn

Thuật toán tính bộ lọc cục bộ với phép chọn theo giá trị

Bước 1 Khởi tạo phép chọn Ở thời điểm ban đầu B với thời điểm t0 mỗi phần tử của phép chọn xấp xỉ được sinh ra theo xác xuất phân bố đều P (x0):

x10 ∼= p(x0), ωi0 = 1/Ns (2.11)

Bước 2 Phục hồi phép chọn và quy chuẩn các lượng.

Trên cơ sở phép chọnxi

n−1, ωi n−1

N s

i = 1 PB tiên nghiệm xấp xỉ cho thời điểm

tn−1, được xác định bởi phép chọn phục hồi {xi

n, ωi

n}N si = 1, tương ứng với hàm giá trị

qxi

n|xi

n−1, z1:n

Lượng giá trị của các phần tử trong phép chọn xấp xỉ được tính theo công thức (2.10) và hiệu chuẩn theo công thức sau:

ωni = ωni/

N s

X

j=1

Bước này được thực hiện hồi quy cho đến khi kết thúc toàn bộ quá trình của bộ lọc cục bộ Nghiệm tối ưu theo nghĩa mức phân tán tối thiểu lượng giá trị là phép chọn hàm giá trị có dạng sau [13]:

qopt(xin−1|xin−1, zn) = p(xin−1|xin−1, zn) = p(z

i

n|xi

n)p(xi

n|xi n−1) p(zi

n|xi

p(xi

n|xi n−1) =

Z p(zi

n|xi

n)p(xi

n|xi

Không phải lúc nào cũng có thể sử dụng được hàm giá trị tối ưu (2.13) bởi khó thành lập phép chọn theo PB p(xn|xi

n−1, zn) và khó tính được tích phân:

Do vậy, trên thực tế hàm giá trị tối ưu lớp con thường được dùng Ta dùng PB điều kiện dạng p(xn|xi

n−1) với vai trò hàm giá trị, biểu thức khôi phục lượng (2.10) lúc này có dạng:

ωni∞ωn−1i p(zn|xin) (2.15)

Khi lựa chọn hàm giá trị tối ưu lớp con, vấn đề tái sinh phép chọn được giải quyết thông qua phép chọn lặp lại Như vậy, quá trình tái lựa chọn xác định bộ mới từ bộ xấp xỉ của PB tiên nghiệm p(xn|z1:n) Lúc này, bộ chọn mới có lượng giá trị ωi

n= 1/Ns



∼ i ∼ i

xn ωn

N i

i=1



∼ i ∼ i

xn ωn

N i

i=1

2.3 Thuật toán bám mục tiêu dùng camera không tĩnh trên cơ sở dùng

bộ lọc cục bộ

Bộ lọc cục bộ với bootstrap nêu trên là công cụ hiệu quả để tính toán đánh giá phép lọc cho véc tơ trạng thái khi giải bài toán bám mục tiêu động trên dải băng hình

Véc tơ trạng thái của hệ thống bao gồm các tọa độ (X, Y ) của mục tiêu cần bám, tốc độ tuyến tínhnX,. Y.o, chiều rộng và chiều dài của khung bao (W, H):

xn = (X, Y, ˙X, ˙Y , W, H)T

n

Theo công thức (4) mô hình tuyến tính động với nhiễu trắng Gaussian không kể các tham số chuyển động của camera có dạng:

















˜

X

˜

Y

˙

X

˙

Y

W

H

















n

=

















































X Y

˙ X

˙ Y W H

















n−1

+

















wx

wy

w˙x

w˙y

ww

wH

















n

(2.16)

Trong đó ∆t - tích phân thời gian giữa hai ảnh liên tiếp trong chu trình video;

wx wx w˙x w˙x ww wH

T

n = ~wn

véc tơ nhiễu Gaussian động với kỳ vọng toán rỗng (bằng không) E( ~Wn) và ma trận hiệp phương sai Qn có dạng đường chéo

Qn = E( ~wnT) = diagσ2x, σy2, σ2˙x, σ2˙y, σw2, σH2 Việc tính toán các tham số chuyển động của camera biểu diễn ở dạng ma trận đánh giá cộng tuyến (1), được thực hiện theo các công thức:

Xn= h1 ˜Xn+ h2 ˜Yn+ h3 h7 ˜Xn+ h8 ˜Yn+ h9, Yn=

h4 ˜Xn+ h5 ˜Yn+ h6 h7 ˜Xn+ h8 ˜Yn+ h9 (2.17)

Hình 2 Phép chia ảnh trong vùng quan sát

Các dấu hiệu dựa vào cường độ biểu đồ khá ổn định với các mức biến dạng khác nhau của đối tượng (quay, xoay, uốn, gập, ) trong khi các dấu hiệu dựa vào gradient định hướng là ổn định trong điều kiện thay đổi mức ánh sáng Như vậy, tổ hợp các dấu hiệu trên cho phép bù đắp phần hạn chế của từng loại dấu hiệu nếu xét riêng, bảo đảm có thể thể hiện toàn vẹn thông tin ứng với các dấu hiệu biểu đồ Muốn tăng mức rời rạc của các dấu hiệu biểu đồ, cần tính tới phân bố không gian của các dấu hiệu trong vùng quan sát Với các đối tượng có dạng gần vuông hình học, việc tính toán phân bố không gian cho các dấu hiệu biểu đồ được thực hiện khi phân tách vùng quan sát thành 12 ô không gian đều nhau và tính toán các dấu hiệu biểu đồ trong từng ô một Hình vẽ 2 thể hiện phép chia hình ảnh trong vùng quan sát ImROI với kích cỡ Sx× Sy trên từng ô riêng

2.3.1 Thuật toán để tính describtor H (Histogram of InteNsities) dựa vào cường

độ biểu đồ dành cho ảnh trong vùng quan sát ImROI

Bước 1 Tính toán biểu đồ cường độ của các ô con không gian trong vùng quan sát.

Với mỗi ô con thứ i, thành lập một biểu đồ cường độ ~qi = (q1, , qm, , qN b), với

Nb vùng, giá trị của chúng được tính theo biểu thức

k,l∈Q m

1, Qm =



x, y

Imx,y ∈ (2d− 1)(m − 1)

Nb

,(2

d− 1)m

Nb

  , m = 1, , Nb

(2.18) Trong đó d - là độ sâu theo bit của hình ảnh; (k, l) và (x, y) ∼ tọa độ của các pixel, giá trị cường độ của chúng tương ứng với vùng thứ m trên biểu đồ cường độ

Bước 2 Thành lập describtor cho vùng quan sát và chuẩn hóa nó.

Describtor chuẩn H trong vùng quan sát có dạng:

Trong đó HI = (~q1, , ~qi, , ~q9) - là describtor chưa hiệu chuẩn; ||.|| - lượng hiệu chuẩn véc tơ

2.3.2 Thuật toán để tính describtor HOG (Histogram of Oriented Gradients) [7]

dựa vào biểu đồ gradient định hướng cho ảnh trong vùng quan sát ImROI Bước 1 Tính toán các gradient trong vùng quan sát Với mỗi ảnh trong vùng quan

sát ImROI với kích cỡ Sx× Sy ta thành lập ma trận định hướng và giá trị biên độ của các gradient A = {Ax,y|x = 1 ςx, y = 1 ςy}

P h = {P hx,y|x = 1 ςx, y = 1 ςy, P hx,y ∈ (0 2Π)}

Để tính giá trị của các phần tử trong ma trận, ta dùng hình ảnh dọc và ngang của các gradient cục bộ chúng được tính bằng tích chập của các ảnh trong vùng quan sát với

V = [−101] và H = [−101]T tương ứng:

ImV = ImVx,y|x = 1 ςx, y = 1 ςy

,

ImH = ImH

x,y|x = 1 ςx, y = 1 ςy

P hx,y = arctg(ImVx,y/ImHx,y), Ax,y =

q (ImVx,y)2 + (ImHx,y)2 (2.20)

Bước 2 Thành lập biểu đồ định hướng trong không gian ô con.

Với mỗi ô con thứ i, thành lập một biểu đồ định hướng cho biên độ các gradient

~hi = (h1, , hm, , hMb) với Mb bin, giá trị của chúng được tính theo biểu thức:

k,l∈Q m

Ak,l, Qm =



x, y|phx,y ∈ 2 Q(m − 1)

Mb

,2Q m

Mb



, m = 1, , Mb (2.21)

Giá trị của các phần tử trong biểu đồ các gradient định hướng hm thể hiện giá trị tổng Ak,lcủa tất cả các gradient trong vùng không gian ô co có hướng P hx, y tương ứng với giá trị bin của ô định hướng

Bước 3 Thành lập describtor cho vùng quan sát và tiến hành hiệu chuẩn.

Describtor chuẩn HOG của vùng quan sát có dạng:

Trong đó HOG = (~h1, , ~hi, , ~h9) - là describtor chưa hiệu chuẩn

Bậc tương tự của describtor ~Htrg mẫu cho mục tiêu cần bám và describtor ~Hhyp

trong vùng quan sát của một trong các giả thiết được đánh giá bằng trạng thái Battachari DH[4]:

DH~ =

r

1 −

q

~

HT

Với mẫu quan sát (2.5), dựa trên đánh giá trạng thái Battachari, trong điều kiện tương thích với nhiễu Gaussian có phương sai δ2H thì hàm gần chuẩn cho mỗi giả thiết xin có dạng:

p(zn= DH~|xin) ∝ exp(−D2H~/2σH2~) (2.24) Trong trường hợp hai describtor biểu đồ độc lập tĩnh HOG và H hàm chung cho mỗi giả thiết xin được tính theo công thức:

p(zn= {DHOG, DHI} |xi

n) ∝ exp(−D2HGO/2σHOG2 − D2HI/2σHI2 ) (2.25) Dùng các biểu thức (2.12), (2.15) - (2.25) sẽ thu được các đánh giá tham số cho véc

tơ trạng thái của hệ thống bất ổn định xn = (X, Y, ˙X, ˙Y , W, H)T

n

2.4 Một số kết quả thử nghiệm

Để đánh giá hiệu quả của thuật toán bám dựa vào các dấu hiệu biểu đồ trong điều kiện sử dụng camera không tĩnh, ta dùng chương trình viết bằng ngôn ngữ Borland C++ Chuỗi hình ảnh đơn sắc thử nghiệm với tần số ảnh 24 farme/s và kích thước ảnh 320×2480 pixel có hình ảnh chuyển động của người qua đường Các điều kiện lấy ảnh đã bao gồm

cả quá trình xoay không định trước của camera trong mặt phẳng ngang

Để đánh giá các tham số chuyển động của camera, tiến hành bám theo nF = 150 điểm dấu hiệu, các cặp tương tứng của chúng được dùng khi xác định ma trận đơn hình H giữa hai cảnh nối tiếp Kích thước của biểu đồ được chọn bằng Nb = 14 bin cho describtor

H và Mb = 9 bin cho describtor HOG Việc tính toán sẽ dễ hơn trong các vùng quan sát dạng vuông của chuỗi ảnh video theo phương pháp tích phân biểu đồ [13]

Hình 3 Bám mục tiêu theo các dấu hiệu biểu đồ HOG và HI

không tính tới chuyển động của camera (cảnh 5, 50, 150)

Bộ chọn xấp xỉ của bộ lọc cục bộ có Ns = 200 điểm Ma trận hiệp phương sai cho các loại nhiễu động có giá trị Qn = diag(1, 1, 400, 400, 0.0025, 0.0025) phương sai của đánh giá trạng thái Battacharia khi tính giá trị của hàm gần đúng có các giá trị bằng:

σ2HOG = 0, 05, σ2HI = 0, 05

Hình 4 Bám mục tiêu theo các dấu hiệu biểu đồ HOG và HI

có tính tới chuyển động của camera (cảnh 5, 50, 150)

tương ứng cho các describtor biểu đồ HOG và H Khởi tạo thuật toán bám được thực hiện thông qua xác định thủ công vị trí và kích thước khung bao mục tiêu Trên hình 3 và 4 thể hiện các ảnh của chuỗi thử nghiệm, chúng phản ánh kết quả của thuật toán bám mục tiêu

ở dạng khung bao, không tính tới và cả tính tới chuyển động của camera Hình 6 thể hiện sai số bám trong các trường hợp đã nêu

Hình 5 Sai số bám có tính và không tính tới các tham số chuyển động của camera

3 Kết luận

Bài báo đã đưa ra thuật toán bám các mục tiêu động trong điều kiện sử dụng camera không tĩnh, dựa trên việc tính toán ma trận biến đổi hình chiếu, sử dụng bộ lọc cục bộ với bootstrap và tổ hợp các describtor có tính toán tới phân bố không gian của các dấu hiệu biểu đồ (biểu đồ cường độ và biểu đồ định hướng gradient) Thuật toán này cho phép bám các mục tiêu trong điều kiện thời gian thực (24fps) có tính tới sử dụng các biểu đồ tích phân và tránh bị ngắt quãng khi camera chuyển động ngẫu nhiên nhờ làm giảm độ bất định của mục tiêu thông qua mô hình của mục tiêu trên mỗi khung ảnh

TÀI LIỆU THAM KHẢO

[1] Phạm Thế Ngọc, Nguyễn Trần Dũng, 1977 phương pháp Monte-Carlo và các vấn đề liên quan Nxb Khoa học Kĩ thuật, Hà Nội.

Hình Bám mục tiêu theo dấu hiệu biểu đồ HOG HI

khơng tính tới chuyển động camera (cảnh 5, 50, 150)... data-page="10">

Hình Bám mục tiêu theo dấu hiệu biểu đồ HOG HI

có tính tới chuyển động camera (cảnh 5, 50, 150)

tương ứng cho describtor biểu đồ HOG H Khởi tạo thu? ??t toán bám