Thuật toán phát hiện chuyển động

4 biến đơn này có thể được biểu diễn dạngvéc-tơ trạng thái xk cùng với dạng ma trận chuyển phù hợp như sau: và Tuy nhiên, khi sử dụng máy quay để thực hiện phép đo trạng thái của đốitượn

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

ĐÀO NGỌC ANH

THUẬT TOÁN PHÁT HIỆN CHUYỂN ĐỘNG

LUẬN VĂN THẠC SĨ

HÀ NỘI - 2010

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

ĐÀO NGỌC ANH

THUẬT TOÁN PHÁT HIỆN CHUYỂN ĐỘNG

Ngành: Công nghệ Điện tử - Viễn thông

Chuyên ngành: Kỹ thuật điện tử

LUẬN VĂN THẠC SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGÔ DIÊN TẬP

HÀ NỘI - 2010

LỜI CẢM ƠN

Trước hết em xin gửi tới PGS TS Ngô Diên Tập lời cảm ơn chân thành

và sâu sắc đã trực tiếp hướng dẫn, chỉ bảo tận tình trong suốt quá trình em làmLuận văn Thạc sĩ

Em cũng xin chân thành cảm ơn các thầy cô giáo trong Trường Đại họcCông Nghệ - Đại học Quốc Gia Hà Nội đã hết lòng dạy bảo, giúp đỡ em trongsuốt quá trình học, giúp em có những kiến thức và kinh nghiệm quý báu trongchuyên môn và cuộc sống Những hành trang đó là một tài sản vô giá nâng bướccho em tới được với những thành công trong tương lai

Cuối cùng, em xin cảm ơn những người thân trong gia đình và các bạn đãgiúp đỡ, động viên em hoàn thành Luận văn Thạc sĩ này

Hà nội, ngày 8 tháng 10 năm 2010

LỜI CAM ĐOAN

Tôi là Đào Ngọc Anh, học viên Cao học K15, khoa Điện tử - Viễn thông,trường Đại học Công nghệ, xin cam đoan đây là công trình nghiên cứu của riêngtôi Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được aicông bố trong bất kỳ công trình nào khác

Hà Nội, ngày 08 tháng 10 năm 2010

Học viên

Đào Ngọc Anh

MỤC LỤC

Chương 1 THUẬT TOÁN PHÁT HIỆN CHUYỂN ĐỘNG

1.1Bộ lọc Kalman

1.2Mô hình hỗn hợp nền thích nghi thời gian thực

1.2.1 Phương pháp mô hình hóa hỗn hợp nền thích nghi

1.2.2 Ước lượng mô hình nền

1.3Mô hình không tham số thích nghi

1.3.1 Mô hình nền cơ bản

1.3.2 Ước lượng độ rộng lõi

1.3.3 Giảm các phát hiện sai

1.3.4 Cập nhật nền

1.3.5 Phát hiện vùng tối

1.4Mô hình từ điển thích nghi thời gian thực

1.4.1 Mô hình nền và phát hiện nền

1.4.2 Phát hiện vật thể từ nền

1.4.3 So sánh mô hình sử dụng từ điển với các mô hình khác

1.4.4 Mô hình nền sử dụng từ điển phân lớp

1.5Mô hình từ điển hai lớp thích nghi thời gian thực

1.5.1 Mô hình từ điển cơ bản

1.5.2 Thuật toán tách nền

Chương 2 THƯ VIỆN CHƯƠNG TRÌNH XỬ LÝ ĐỒ HỌA OPENCV

2.1Kiến trúc của thư viện

2.1.1 Cấu trúc dữ liệu khởi thủy

2.2Thư viện người dùng đồ họa mức cao

2.3Các khái niệm cần thiết trong cài đặt mô hình nền sử dụng từ điển

2.3.1 Không gian nhớ

2.3.2 Dãy đối tượng liên kết

2.3.3 Đường bao

3.1Cấu trúc dữ liệu

3.2Giải thuật thực hiện mô hình hóa nền sử dụng từ điển hai lớp thích nghi

3.3Phân tích thông tin chuyển động

3.4Kết quả

KẾT LUẬN

DANH MỤC HÌNH VẼ

Hình 1 Sự kết hợp giữa phân bố đã biết với kết quả phép đo thu được

Hình 2 Giá trị cường độ sáng theo thời gian

Hình 3 Histogram của giá trị cường độ sáng

Hình 4 So sánh kết quả sau khi hạn chế các phát hiện sai

Hình 5 Kết quả phát hiện chuyển động

Hình 6 Giá trị cường độ sáng theo thời gian và cách Hình 7 Biểu diễn giá trị màu trong không gian màu RGB

Hình 8 Mô hình phân tách giá trị màu đề xuất

Hình 9 Các thành phần chính trong thư viện OpenCV

Hình 10 Quan hệ kế thừa giữa các cấu trúc trong OpenCV

Hình 11 Ảnh lối vào và biểu diễn kết quả sau khi tách đường bao

Hình 12 Quá trình cập nhật vệt theo thời gian

Hình 13 Các vệt mẫu chuyển động của 2 đối tượng

Hình 14 Tính độ chuyển vết của chuyển động

Hình 15 Tách các chuyển động cục bộ trong ảnh

Hình 16 Tổ chức dữ liệu lưu trữ từ điển

Hình 17 Chương trình mô phỏng quá trình nhận dạng chuyển động

BẢNG KÝ HIỆU VIẾT TẮT

STT Kí hiệu

1 MOG

2 EM

MỞ ĐẦU

Lĩnh vực xử lý tín hiệu, cụ thể là xử lý hình ảnh đã phát triển từ lâu với đadạng các lĩnh vực như tăng cường chất lượng ảnh, tách thành phần nền, dựđoán, theo dõi chuyển động, nhận dạng đối tượng,… Với sự phát triển mạnh mẽtrong công nghệ phần cứng máy tính và sự hỗ trợ của các hệ thống mô phỏng,thư viện mã nguồn mở thư viện xử lý đồ họa đã cho phép thực hiện nhiều thuậttoán phức tạp đòi hỏi số lượng tính toán lớn được nghiên cứu, đánh giá, cải tiến

và áp dụng trong thực tế Trong đó, các phương pháp phát hiện chuyển động làmột lớp ứng dụng liên quan tới khá nhiều các kĩ thuật trong xứ lý ảnh như tăngcường chất lượng ảnh, mô hình hóa nền – tách nền, theo dõi chuyển động, dựđoán chuyển động,…

Do thời gian nghiên cứu và khuôn khổ nội dung Luận văn có hạn nên chúng

ta sẽ đi vào tập trung nghiên cứu các thuật toán phát hiện chuyển động dựa trênviệc mô hình hóa nền được trình bày chủ yếu trong chương 1 Các phươngpháp mô hình hóa sẽ được trình bày theo thứ tự phát triển tăng dần Thứ nhất là

mô hình sử dụng bộ lọc Kalman để dự đoán trong việc ước lượng nền thíchnghi Thứ hai là mô hình nền hỗn hợp thích nghi sử dụng K phân bố Gauss để

mô hình hóa nền có các chuyển động nhỏ, phức tạp với các tham số mô hình.Thứ ba là mô hình nền không tham số sử dụng các ước lượng hàm lõi cho phépthích nghi tốt với thay đổi của môi trường, loại bỏ các yếu tố tham số của môhình Thứ tư là mô hình nền sử dụng từ điển cho phép mô hình hóa nền phức tạptrong khoảng thời gian dài và thích nghi thời gian thực Và cuối cùng là mô hìnhcải tiến của mô hình nền sử dụng từ điển nhằm tăng tốc độ xử lý khung hình vàkhắc phục vấn đề thích nghi với thay đổi nhỏ trong thời gian dài của mô hìnhtrước đó

Tiếp đó, ở chương 2 sẽ đi tìm hiểu thư viện xử lý đồ họa mã nguồn mởOpenCV Chúng ta chủ yếu đề cập tới các khái niệm, nguyên mẫu hàm cần thiếtcho việc xây dựng chương trình thực hiện mô hình hóa nền sử dụng từ điểnnhư: khởi thủy cấu trúc dữ liệu, các hàm xử lý đồ họa người dùng mức cao, cácthuật toán xử lý hình ảnh phổ biến…

Cuối cùng, ở chương 3 sẽ mô tả quá trình, kết quả xây dựng chương trình,những lưu ý cụ thể khi cài đặt Chương trình nguồn thu được có thể dùng đểnghiên cứu thuật toán hoặc sử dụng trong các ứng dụng thương mại liên quantới nhận dạng chuyển động

Chương 1 THUẬT TOÁN PHÁT HIỆN CHUYỂN ĐỘNG

1.1 Bộ lọc Kalman

Được giới thiệu năm 1960, bộ lọc Kalman đã được chú ý đặc biệt tronglĩnh vực xử lý tín hiệu Bộ lọc Kalman,với các điều kiện ràng buộc, cho phépchúng ta xây dựng một mô hình trạng thái với cực đại xác suất trước mà khôngcần giữ giá trị của nhiều giá trị đo trước đó Thay vì phải lưu lại các giá trị này,chúng ta chỉ cập nhật mô hình trạng thái hệ thống và chỉ giữ lại mô hình để sửdụng ở bước tiếp theo[6]

Trước khi tìm hiểu chi tiết về ý nghĩa thực tế của bộ lọc này, chúng ta hãyphân tích các giả thiết cũng là điều kiện ràng buộc khi sử dụng của bộ lọc Có 2giả thiết quan trọng về mặt lý thuyết khi xây dựng bộ lọc Kalman đó là:

 Hệ thống được mô hình hóa là tuyến tính Có nghĩa là trạngthái của hệ thống tại thời điểm k có thể được mô hình hóa như làtích của một số ma trận (ta sẽ không định nghĩa tường minh các matrận này) với trạng thái tại thời điểm (k-1)

 Ồn trong phép đo là ồn trắng và có phân bố Gauss Nghĩa là ồn

sẽ không tương quan trong miền thời gian và biên độ của nó có thểđược mô hình hóa thông qua giá trị trung bình và phương sai

Ý nghĩa của phép “cực đại hóa xác suất trước của các phép đo đã thựchiện” có nghĩa là một mô hình mới được xây dựng sau khi thực hiện một phép

đo được tính toán dựa trên mô hình trước đó với độ không chắc của nó và phép

đó mới cũng cùng với độ không chắc chắn của nó Và mô hình nào được tìm ra

có xác suất cao nhất thì được gọi là mô hình được chọn Với mục đích này, bộlọc Kalman với 2 điều kiện ràng buộc là cách tốt nhất để kết hợp dữ liệu từ cácnguồn khác nhau hoặc từ cùng một nguồn tại các thời điểm khác nhau Khi cóthông tin mới thì chúng ta quyết định thay đổi trên cơ sở thông tin đã có vàthông tin mới sử dụng phép lấy trung bình theo trọng số giữa các giá trị này.Giả sử ta thực hiện 2 phép đo xác định vị trí của x Do có ồn nên chúng ta

có 2 kết quả đo không chắc chắn – theo quan điểm Gauss – là x1 và x2 Bởi vì có

độ không chắc chắn Gauss trong phép đo nên chúng có giá trị trung bình và với phương sai chuẩn ζ1 và ζ2 Phương sai ở đây mang thông tin về độ không

chắc chắn của phép đo Phân bố xác suất mô tả của phép đo là hàm phân bốGauss.

Trong trường hợp này i = 1,2 Chúng ta kì vọng rằng mật độ xác suất chogiá trị của x cho bởi hai phép đo này sẽ tỉ lệ với Như ta

đã biết thì tích của 2 phân bố Gauss là một phân bố Gauss tương đương với giátrị trung bình và phương sai chuẩn được tính như sau:

Do phân bố Gauss cực đại tại giá trị trung bình, mà ta có thể xác định giátrị này một cách dễ dàng thông qua việc tính đạo hàm của p12(x) theo x và chođạo hàm này bằng 0

Vì hàm phân bố xác suất p(x) luôn khác 0 nên biểu thức trên tươngđương với biểu thưc trong dấu ngoặc bằng 0 Giải biểu thức đó theo x cho tamối quan hệ hết sức quan trọng:

Như vậy, giá trị trung bình là trung bình theo trọng số của hai giá trịtrung bình của hai phép đo; với trọng số xác định độ không chắc chắn liên quangiữa 2 phép đo Nếu độ không chắc chắn ζ2 của phép đo thứ 2 đặc biệt lớn thìgiá trị trung bình thu được sẽ gần với giá trị trung bình của x1 với độ chính xáchơn

Với giá trị trung bình có được, chúng ta thay vào trong biểu thức xácsuất p12(x) và tính được độ không chắc chắn tương ứng là:

Công thức này nói lên rằng: chúng ta có thể tạo ra một phép đo mới vớigiá trị trung bình và độ không chắc chắn tương ứng bằng cách kết hợp các phép

đo trước đó Tính chất này của hai phép đo Gauss có nghĩa là: nếu chúng ta có

M phép đo thì có thể kết hợp hai phép đo đầu, sau đó kết hợp phép đo thứ 3 vớikết quả hai phép đo đó và cứ như vậy đến hết Cuối cùng ta sẽ thu được kết quả

là phép đo tương đương của M phép đo đó mong muốn

Giả sử với mỗi phép đo có , chúng ta có thể tính trạng thái của ước

lượng hiện tại như sau:

Khi đó sẽ thu được dạng biểu thức đệ quy đơn giản hơn:

Ở phần trước, chúng ta nói đến là việc thực hiện nhiều phép đo đối vớimột đối tượng x cố định mà chưa đề cập đến vấn đề là đối tượng đó có thể

chuyển động trong quá trình đo Trường hợp này chúng ta sẽ gọi là pha dự đoán.Trong suốt pha dự đoán này, chúng ta sử dụng các thông tin đã biết để dự đoán

về kết quả phép đo mới mà hệ thống sẽ diễn ra

Trong thực tế, pha dự đoán được hoàn thành ngay sau khi một phép đomới được thực hiện nhưng trước khi phép đo mới được đưa vào ước lượngtrạng thái hệ thống Ví dụ như khi chúng ta đo vị trí của một ô tô tại thời điểm t

và sau đó là (t+dt) Nếu ô tô đó đang chuyển động với vận tốc v thì chúng takhông thể kết hợp phép đo đó một cách trực tiếp Đầu tiên, chúng ta cần tiến tịnhtiến mô hình của chúng ta về phía trước dựa trên cơ sở những thông tin đã biếttại thời điểm t vì thế chúng ta có một mô hình không chỉ của hệ thống tại thờiđiểm t mà cả (t+dt) ngay trước khi thông tin mới được kết hợp Theo cách này,thông tin mới nhận được tại thời điểm (t+dt) phù hợp với cả mô hình cũ và môhình tại thời điểm (t+dt) của hệ thống

 Chuyển động ngẫu nhiên: là các chuyển động mà chúng ta không biết

hoặc không điều khiển được Như giả thiết trước kia thì chuyển độngngẫu nhiên ở đây cũng có phân bố Gauss hay ít nhất là có thể được môhình hóa bởi phân bố này

Như đã cấp ở trên, để thêm yếu tố chuyển động vào trong mô hình thì chúng

ta cần một bước cập nhật trước khi có thể thêm kết quả phép đo mới Bước cậpnhật này sẽ đòi hỏi thông tin đã có về chuyển động của đối tượng cùng với cácthông tin mà chúng ta có hoặc biết khác - mang hàm ý điều khiển được

và thêm tính ngẫu nhiên của sự kiện để xác định trạng thái có thể xảy ra của hệthống từ phép đo trước.

Chúng ta đã có một nhận xét là: Nếu độ không chắc chắn của phép đo mới

là lớn thì phép đo đó không có nhiều ý nghĩa và không được giữ lại trong kếtquả Còn nếu phép đo đầu có phương sai lớn và sau đó là một phép đo chính xáchơn thì chúng ta tin rằng đó là kết quả của phép đo mới Khi cả hai phép đo cócùng độ chắc chắn – phương sai – thì giá trị mới là đáng tin cậy

Giá trị đã đo

Giá trị biết ở hiện tại Giá trị đã biết trong quá khứ

Hình 1 Sự kết hợp giữa phân bố đã biết với kết quả phép đo thu được.

Ý tưởng về cách cập nhật nhạy với độ không chắc chắn có thể được tổngquát hóa thành rất nhiều các biến trạng thái Ví dụ như khi theo dõi chuyển độngcủa vật thể trong đoạn video thì đối tượng có thể di chuyển theo nhiều hướng.Thông thường có thêm các thông khác như vật tốc mà đối tượng được theodõi… Chúng ta sẽ mô hình hóa các mô tả về trạng thái tại thời điểm k bằng hàmtrạng thái tại thời điểm (k-1):

Trong đó, là véc-tơ n chiều của các thành phần trạng thái và F là matrận chuyển kích thước nxn Véc-tơ uk cho phép thêm vào các điều khiển mongmuốn, là véc-tơ c chiều như là nguồn điều khiển B là ma trận nxc liên quan tớilối vào điều khiển wk là biến ngẫu nhiên để mô tả yếu tố ngẫu nhiên của hệthống Giả thiết rằng thành phần wk có phân bố Gauss N(n,Qk) với ma trận hiệpphương sai kích thước nxn

Thông thường, chúng ta tiến hành thực hiện phép đo zk có thể là trực tiếphoặc gián tiếp trên biến trạng thái xk Chúng ta có thể tóm tắt bằng phép đo véc-

tơ m chiều của phép đo zk như sau:

Với Hk là ma trận mxn và vk là sai số phép đo có phân bố Gauss N(0,Rk)với Rk là ma trận hiệp phương sai mxm.

Giả sử trạng thái của đối tượng được mô tả bằng 2 biến vị trí x và y, haibiến tốc độ theo 2 hướng là vx và vy 4 biến đơn này có thể được biểu diễn dạngvéc-tơ trạng thái xk cùng với dạng ma trận chuyển phù hợp như sau:

và

Tuy nhiên, khi sử dụng máy quay để thực hiện phép đo trạng thái của đốitượng thì chúng ta thường chỉ đo giá trị vị trị

Khi đó cấu trúc của H sẽ là:

Trong trường hợp này, chúng ta có thể không tin rằng vận tốc của đốitượng là hằng số nên sẽ gán một giá trị Qk để phản ảnh yếu tố này Ta chọn Rktrên cơ sở ước lượng độ chính xác của phép đo vị trí của đối tượng thu được sửdụng các kĩ thuật phân tích ảnh trong luồng video

Bây giờ ta sẽ thay các biểu thức trên vào dạng tổng quát của biểu thức cậpnhật Trước hết, chúng ta đi tính ước lượng trước của trạng thái , ước lượngngay trước khi nhận được giá trị mới Khi đó ta có:

Kí hiệu để chỉ sai số tự tương quan trong ước lượng tự tương quantại thời điểm k thu được từ các giá trị tại thời điểm k-1

Biểu thức này tạo nên cơ sở cho phần dự đoán của ước lượng cho ta biếtthông tin mà ta kì vọng dựa trên những thông tin đã biết Hệ số nhân Kalman Khay hệ số trộn cho ta biết trọng số của thông tin mới so với những thứ chúng ta

đã biết:

Hệ số K cho phép chúng ta có thể tính một cách tối ưu các giá trị đượccập nhật xk và Pk với mỗi phép đo mới

1.2 Mô hình hỗn hợp nền thích nghi thời gian thực

Phương pháp chung để tách các vùng chuyển động theo thời gian thực từchuỗi các ảnh có liên quan tới việc tách nền hay xác định ngưỡng sai khác giữamột ước lượng của ảnh không có đối tượng chuyển động với ảnh hiện tại Cónhiều đề xuất liên quan tới vấn đề này đã được đưa ra cùng với các mô hình nềnkhác nhau trong việc sử dụng và cập nhật mô hình Trong phần này, chúng ta đinghiên cứu về việc mô hình hóa mỗi điểm ảnh như là hỗn hợp của nhiều thànhphần mà mỗi thành phần được biểu diễn bằng một phân bố Gauss và sử dụngphép xấp xỉ để cập nhật [2] Phân bố Gauss của mô hình hỗn hợp thích nghi sau

đó được ước lượng để xác định ra thành phần gần nhất từ quá trình xử lý nền.Mỗi một điểm ảnh được phân nhóm trên cơ sở phân bố Gauss đặc trưng cho nósao cho việc biểu diễn cho nền hiệu quả nhất Kết quả sẽ cho ta một mô hình ổnđịnh, thời gian thực sử dụng để theo dõi chuyển động ngoài trời với sự thay đổi

về độ sáng, có các đối tượng chuyển động và các thay đổi xét trong thời giandài

Trước kia, do những hạn chế trong tính toán đã giới hạn các ứng dụng xử

lý video thời gian thực phức tạp Kết quả là phần lớn các hệ thống đều chậmđược đưa vào ứng dụng hoặc khả năng ứng dụng thực tế khá hạn chế Ngày nay,với sự phát triển của máy tính cho phép các nhà nghiên cứu có thể xây dựng các

mô hình mạnh mẽ, phức tạp hơn đối với việc phân tích thời gian thực luồng dữliệu Phương pháp nghiên cứu mới này cho phép các nhà nghiên cứu có thể bắtđầu nghiên cứu việc mô hình hóa các quá trình trong thế giới thực dưới nhiềuđiều kiện khác nhau

Một hệ thống tốt sẽ có thể làm việc với các vị trí đặt máy quay, các điềukiện ánh sáng thay đổi, có vật thể chuyển động trong thời gian mô hình hóa nền,

… Đây chính là điều mà các phương pháp trước kia vẫn chưa giải quyết được.Hầu hết các nhà nghiên cứu đi mô hình hóa nền không thích nghi nên cần cácthiết lập khá tỉ mỉ để việc mô hình có thể hoạt động được Nếu không có cácthông số phù hợp thì sai số nền sẽ được tích lũy theo thời gian và sẽ làm cho cácphương pháp này chỉ hoạt động trong thời gian ngắn hoặc không có khả năngthích nghi với các thay đổi

Một phương pháp cơ bản cho mô hình hóa nền thích nghi là trung bình hóacác ảnh theo thời gian tạo nên một nền được xấp xỉ với nền thực tế khi không cócác đối tượng chuyển động Tuy vậy, phương pháp này sẽ không hiệu quả khi

có các đối tượng chuyển động liên tục khiến cho nền ít được xuất hiện, các đốitượng chuyển động chậm, đa nền,… Đã có nhiều phương pháp đưa ra để xử lývấn đề thay đổi về độ sáng của nền: Ridder [ 3] đã mô hình hóa mỗi điểm ảnhvới một bộ lọc Kalman giúp cho hệ thống xử lý tốt hơn với những thay đổi đó.Mặc dù phương pháp này có một ngưỡng thích nghi cho mỗi điểm ảnh nhưngvẫn thích nghi chậm và không xử lý được các trường hợp đa nền Pfinder [7] sửdụng mô hình thống kê nhiều lớp cho các đối tượng được theo dõi, nhưng môhình nền vẫn chỉ sử dụng một phân bố Gauss cho mỗi điểm ảnh Với quá trìnhkhởi tạo trong phòng trống, hệ thống cho kết quả tốt Nhưng lại không hoạtđộng trong điều kiện ngoài trời

Để giải quyết các vấn đề tồn tại ở trên, thay vì mô hình hóa giá trị của tất cảcác điểm ảnh theo một kiểu phân bố nào đó, chúng ta chỉ đơn giản mô hình hóacác giá trị điểm ảnh như là một hỗn hợp các phân bố Gauss Trên cơ sở tính cốđịnh và sai khác của mỗi phân bố trong tập, chúng ta có thể xác định được cácphân bố nào thuộc màu nền Các giá trị điểm ảnh không phù hợp với phân bốnền thì được coi như là thuộc vật thể cho tới khi có một phân bố Gauss chứachúng Hệ thống này thích nghi tốt với các thay đổi ánh sáng, các thành phầnchuyển động lặp lại, các đối tượng chuyển động,… Các đối tượng chuyển độngchậm sẽ mất nhiều thời gian hơn để được sáp nhập vào nền bởi vì màu củachúng có một phương sai lớn hơn nền Các phương sai lặp lại được cập nhật,một mô hình cho phân bố nền được duy trì hoặc có thể được thay thế bởi mộtphân bố khác Mô hình có 2 tham số quan trọng là α – hằng số học hay hằng sốthích nghi – và T là lượng thông tin sẽ được lấy như nền

1.2.1 Phương pháp mô hình hóa hỗn hợp nền thích nghi

Với mỗi điểm ảnh ở một vùng có độ sáng nhất định thì chỉ cần một phân

bố Gauss là có thể mô hình hóa được giá trị điểm ảnh với các giá trị nhiễu thayđổi Nếu chỉ có sự thay đổi về độ sáng thì một phân bố Gauss đơn thích nghi là

đủ Trong thực tế, thì các giá trị của điểm ảnh thường có độ sáng khác nhau.Chính vì vậy, chúng ta cần sử dụng hỗn hợp các phân bố Gauss thích nghi đểxấp xỉ quá trình này Tại mỗi thời điểm, tham số của Gauss lại được cập nhật vàđược ước lượng sử dụng các giá trị thu được để tìm ra thành phần nào gần vớiquá trình nền nhất Các giá trị điểm ảnh không phù hợp với phân bố Gauss nền –điểm ảnh thuộc vật thể - sẽ được nhóm lại thành các thành phần liên kết Cácthành phần liên kết này được theo dõi từ khung hình này tới khung hình khác sửdụng bộ theo dõi đa giả thiết

Chúng ta xét các giá trị của mỗi điểm ảnh theo thời gian như là một quátrình điểm ảnh Quá trình này là một chuỗi theo thời gian các giá trị của điểmảnh Tại thời điểm t, tất cả các thông tin đã biết về điểm ảnh {x0,y0}, là lịch sửcủa nó

{X1,X2, Xt} = {I(x0,y0,i) với 1 ≤ i ≤ t} Trong đó, I là chuỗi ảnh

Giá trị của mỗi điểm ảnh được biểu diễn bằng số đo của độ chói của nó Vớimột nền tĩnh và độ sáng cố định, giá trị này gần như là cố định Nếu chúng ta giảthiết rằng nhiễu Gauss độc lập xuất hiện trong quá trình lấy mẫu có thể mô tả bởimột phân bố Gauss trung tâm tại giá trị trung bình của điểm ảnh Tuy vậy, trong hầuhết các chuỗi video thì độ sáng thay đổi, cảnh nền thay đổi và có các đối tượngchuyển động Nếu ánh sáng thay đổi trong một nền cố định thì nó cần một phân bốGauss để theo dõi sự thay đổi này Nếu một đối tượng đứng yên được thêm vàonền thì sẽ không được coi như là một thành phần của nền cho tới khi nó tồn tại đủlâu Điều này dẫn tới nó được coi như vật thể trong suốt thời gian dài Việc tích lũycác sai số trong việc ước lượng vật thể, kết quả làm cho việc theo dõi chuyển độngkhông hiệu quả Các yếu tố này cũng có nghĩa là kết quả phát hiện gần với thờiđiểm hiện tại đóng vai trò quan trọng trong việc ước lượng các tham số Gauss hơn

so với trong quá khứ Khi có các thay đổi do các đối tượng chuyển động thì sự cốđịnh về màu của các đối tượng chuyển động được sử dụng làm căn cứ để phân biệtvới các đối tượng đứng yên Thường thì chúng ta sẽ cần nhiều thông tin để mô tảcho phân bố của nền do tính lặp lại

trong khi các giá trị điểm ảnh của các đối tượng khác nhau thường có màu khácnhau.

Các giá trị của điểm ảnh {X1, Xt} được mô hình hóa bằng một hỗn hợp

K phân bố Gauss Xác suất xảy ra giá trị điểm ảnh hiện tại là

Trong đó, K là số lượng phân bố; ωi,t là ước lượng của các hệ số củaphân bố Gauss trong hỗn hợp tại thời điểm t – phần chia dữ liệu được mô tả chophân bố Gauss thứ i; μi,t là giá trị trung bình của Gauss thứ i trong tập tại thờiđiểm t Σi,t là ma trận phương sai của phân bố Gauss thứ i trong hỗn hợp tại thờiđiểm t và η là hàm mật độ xác suất Gauss

Giá trị K phụ thuộc vào dung lượng bộ nhớ và khả năng tính toán chophép Tại thời điểm phương pháp này đề xuất thì tác giả đề xuất K nhận giá trị

từ 3 đến 5 Cũng vì lý do để hạn chế số lượng tính toán cần thiết thì ma trận hiệpphương sai giả thiết có dạng:

Giả thiết mang ý nghĩa các giá trị điểm ảnh màu đỏ, xanh lá cây và xanhnước biển phải có cùng phương sai Nó cho phép chúng ta đơn giản hóa việctính ma trận nghịch đảo với độ chính xác biết trước

Từ đó phân bố của giá trị thu được gần nhất của điểm ảnh có thể đượcđặc trưng bởi một hỗn hợp các phân bố Gauss Mỗi một giá trị điểm ảnh mớithông thường sẽ được biểu diễn bởi một trong số các thành phần của mô hìnhhỗn hợp và được dùng để cập nhật mô hình này

Nếu quá trình điểm ảnh có thể được được xem như là một quá trình dừngthì một phương thức chuẩn cho việc cực đại hóa tính gần đúng của dữ liệu thôngqua xác định kì vọng cực đại Tuy vậy, mỗi quá trình điểm ảnh lại khác nhautheo thời gian khi các yếu tố bên ngoài thay đổi Vì thế nên chúng ta sử dụngquy tắc học chuẩn để bổ sung các dữ liệu mới

Do mỗi một điểm ảnh có một mô hình hỗn hợp biểu diễn cho nó nên việccài đặt thuật toán EM trên cửa sổ dữ liệu mới nhận được sẽ khá tốn tài nguyên.Thay vào đó chúng ta cài đặt ước lượng K thành phần được cập nhật liên tục.Với mỗi giá trị ảnh mới Xt sẽ được kiểm tra xem có tồn tại trong K phân bốGauss đã có không Sự phù hợp ở đây được định nghĩa là giá trị điểm ảnh nằmtrong khoảng 2,5 giá trị độ lệch chuẩn của phân bố đã có Ngưỡng lấy mẫu này

có thể bị nhiễu do một vài hiệu ứng Nếu không tìm ra phân phối nào phù hợpthì phân bố xác suất nhỏ nhất sẽ được thay thế bằng phân bố của điểm ảnh hiệntại cùng với giá trị trung bình, phương sai khởi tạo lớn và một trọng số thấp

Trọng số của K phân bố tại thời điểm t là ωk,t có thể được điều chỉnh theocông thức:

Trong đó, α là tốc độ học – như đã nói ở phần trên Mk,t = 1 cho mô hìnhphù hợp và 0 cho các mô hình còn lại Sau khi tiến hành ước lượng, các hệ sốđược chuẩn hóa 1/ α được hiểu là hằng số thời gian, xác định tốt độ các tham

số phân bố thay đổi ωk,t đóng vai trò như phép lấy trung bình thông qua sửdụng bộ lọc thông thấp nhân quả các xác suất thu được mà giá trị phù hợp với

mô hình k trong khoảng thời gian từ 1 đến t Điều này tương đương với xácđịnh kì vọng của giá trị này với một cửa sổ mũ trên các giá trị đã có

Tham số μ, ζ cho các phân bố không phù hợp là không đổi Các tham sốcho các phân bố phù hợp được cập nhật theo công thức

Trong đó,

Các thông số này cũng có tác dụng như bộ lọc thông thấp nhân quả như

đã trình bày ở trên ngoại trừ chỉ có dữ liệu phù hợp với mô hình mới được nhómvào trong ước lượng

Một trong những đặc điểm nổi bật của phương pháp này là khi một thànhphần mới được hiểu như là nền thì nó sẽ không làm phá vỡ mô hình nền hiện có.Màu nền gốc được giữ lại trong tập cho đến khi nó trở thành xác suất thứ thườngxảy ra nhất – ít xảy ra nhất trong K xác suất hiện có - thì một màu mới được thiếtlập Vì vậy, nếu một đối tượng là đứng yên trong khoảng thời gian đủ dài

nó sẽ trở thành nền và khi nó di chuyển trở lại thì phân bố mô tả nền trước đâyvẫn tồn tại với cùng giá trị μ, ζ2 nhưng ω sẽ thấp hơn và sẽ sớm được đưa trởlại nền.

1.2.2 Ước lượng mô hình nền

Khi các tham số của mô hình nền hỗn hợp thay đổi, chúng ta sẽ xác địnhđược các phân bố Gauss nào tạo nên quá trình nền Khi một đối tượng mới xuấthiện, thông thường nó sẽ không phù hợp với các phân bố đã có và kết quả là tạo

ra một phân bố mới hoặc làm tăng phương sai của phân bố đã có Ngoài ra,phương sai của các đối tượng chuyển động được coi có giá trị lớn hơn của cácđiểm ảnh nền cho tới khi đối tượng này dừng lại Để mô hình hóa nó, chúng tacần một phương thức để quyết định phần nào của mô hình hỗn hợp có thể biểudiễn tốt nhất quá trình nền

Đầu tiên, các phân bố Gauss được sắp xếp theo giá trị ω/ζ Giá trị nàytăng cả khi phân bố tăng và khi phương sai giảm Sau khi dự đoán lại các tham

số của mô hình, ta có đủ căn cứ để sắp xếp và tìm ra các phân bố phù hợp để tạocác phân bố Bởi vì chỉ có các giá trị liên quan tới mô hình phù hợp mới thayđổi Thứ tự được thiết lập sẽ là các phân bố gần với nền nhất ở đầu, tiếp đó làcác các phân bố ít gần hơn ở cuối cùng và có thể được thay thể bởi các phân bốmới

Từ đó, B phân bố đầu tiên được chọn như là mô hình hóa của nền:

Với T là số đo phần dữ liệu nhỏ nhất được coi như là nền Việc này sẽthiết lập các phân bố tốt nhất cho tới khi một phân bố mới được thiết lập Nếugiá trị T được chọn là nhỏ, mô hình nền thường là đơn-mốt Trong trường hợpnày, chỉ có các phân bố thường xảy ra nhất mới được giữ lại Nếu chọn T lớn thìmột phân bố đa-mốt sẽ được tạo ra do các yếu tố nền chuyển động lặp lại Kếtquả là hiệu ứng trong suốt cho phép nền được chấp nhận với hai hay nhiều hơncác màu khác nhau

Phương pháp được mô tả ở trên cho phép chúng ta phát hiển ra các điểmảnh thuộc vật thể trong mỗi một khung hình mới trong khi cập nhật các thông tinquá trình của mỗi điểm ảnh Các điểm ảnh tìm được có thể được nhóm vào mộtvùng thông qua thuật toán tìm thành phần liên kết được trình bày trong “Robot

Vision” của B K P Horn Đây là một cách hiệu quả để xác định toàn bộ vật thể,đối tượng chuyển động được đặc trưng không chỉ qua vị trí của nó mà còn làkích thước, mô-men hay các thông tin hình dạng khác Các đặc tính này khôngchỉ hữu dụng trong các bước xử lý sau này mà còn đặc biệt hỗ trợ rất nhiềutrong việc theo dõi quá chuyển động.

1.3 Mô hình không tham số thích nghi

Trong phần này chúng ta sẽ xây dựng một mô hình không tham số có thể

xử lý các tình huống nền có ồn và không hoàn toàn tĩnh – như chứa các chuyểnđộng nhỏ như cành cây rung rinh Mô hình ướng lượng xác suất của các giá trịcường độ của điểm ảnh dựa trên cơ sở các mẫu cường độ mỗi điểm ảnh Môhình thích nghi nhanh với các thay đổi môi trường cho phép phát hiện nhạy vớivật chuyển động Chúng ta cũng tìm ra bằng cách mà mô hình có thể sử dụngthông tin màu để chặn các phát hiện sai ở vùng tối Thuật toán này có thể ứngdụng cho cả ảnh mức xám và ảnh màu

Nếu giả thiết nền là tĩnh hoàn toàn thì giá trị cường độ của điểm ảnh có thểđược mô hình hóa bằng một phân bố chuẩn N(μ,ζ2) Nếu thêm các yếu tố nhiễutheo thời gian thì có thể được mô hình hoá bằng phân bố chuẩn trung bình 0N(0,ζ2) Mô hình phân bố chuẩn này cho các giá trị cường độ của một điểm ảnh

là mô hình cơ bản cho rất nhiều kĩ thuật tách nền Ví dụ, một kĩ thuật tách nềnđơn giản nhất là tính ảnh trung bình của nền khi không có các đối tượng chuyểnđộng, tách khung hình mới từ ảnh này và lấy mẫu kết quả

Mô hình cơ bản có thể thích nghi với các thay đổi chậm bằng cách cập nhậtliên tục mô hình bằng bộ lọc thích nghi đơn giản Trong hầu hết các ứng dụnghoạt động ngoài trời thì nền thường chứa các thành phần không tĩnh hoàn toàn.Chính điều này là nguyên nhân làm các giá trị cường độ điểm ảnh thay đổi theothời gian Ví dụ: một điểm ảnh có thể là ảnh của bầu trời trong một khung hìnhnhưng lại là lá cây trong khung hình khác hay cành cây trong khung hình thứba,

Hình 2 Giá trị cường độ sáng theo thời gian

Hình 3 Histogram của giá trị cường độ sáng

Hình 3 mô tả histogram mức sáng của điểm ảnh theo thời gian 30 giây với

900 khung hình Giản đồ histogram này cho thấy phân bố cường độ sáng là mốt vì thế nên mô hình phân bố chuẩn không thể mô tả được điểm ảnh này

đa-Trong một số mô hình công trình nghiên cứu về việc tách chuyển động từchuỗi các ảnh lối vào, một tập gồm 3 phân bố chuẩn đã được sử dụng để môhình giá trị điểm ảnh trong ứng dụng theo dõi lưu lượng phương tiện giaothông Cường độ sáng của điểm ảnh được mô hình hóa như là tổng theo trọng

số của các phân bố chuẩn biểu diễn: phân bố đường – giao thông, vùng tối vàcác phương tiện giao thông Thuật toán EM được sử dụng để học và cập nhậtcác tham số của mô hình Mặc dù trong trường hợp này, cường độ sáng củađiểm ảnh được mô hình hóa bằng 3 phân bố nhưng vẫn là phân bố đơn được sửdụng cho nền – thành phần đường giao thông

Trong mô hình hỗn hợp nền thích nghi thời gian thực [2], được trình bày

ở phần 1, thì độ sáng của điểm ảnh được mô hình hóa bằng hỗn hợp của K phân

bố Gauss để mô hình hóa các thành phần thay đổi của nền như là chuyển động

của lá cây hay các chuyển động nhỏ khác khi làm việc ở ngoài trời Xác suấtđiểm ảnh nhận giá trị cường độ sáng xt tại thời điểm t xác định bởi:

Trong đó, ωj là trọng số, μj là giá trị trung bình, là phương saicho phân bố thứ j K phân phối được sắp xếp theo và chỉ có B phân phốiđầu tiên được sử dụng như là mô hình của nền Trong đó B được ước lượngnhư sau:

Việc tách nền được thực hiện bằng cách đánh dấu các điểm có phương sailớn hơn 2,5 lần phương sai chuẩn của mọi B phân phối đã xác định như là thuộcvật thể

Trong trường hợp khi nền thay đổi với tần suất lớn, mô hình này gặp pháthiện sai Ví dụ: histogram cường độ sáng trong 30 giây thể hiện rằng phân bốcường độ sáng nằm trên một dải rộng các mức xám (điều này cũng đúng chotrường hợp ảnh màu) Tất cả các thay đổi này diễn ra trong thời gian ngắn (chỉ

cỡ 30 giây) Việc mô hình hóa thay đổi nền với một số ít các phân bố Gauss sẽkhông còn chính xác Hơn nữa, phân bố nền rất rộng sẽ cho kết quả phát hiệnkém bởi vì phổ mức xám sẽ bị chiếm hầu hết bởi mô hình nền

Một yếu tố quan trọng khác là mô hình nền thay đổi nhanh như thế nào đểthích nghi với các thay đổi Qua trở lại giản đồ histogram ở trên, với cùng mộtđiểm ảnh được quan sát trong 9 khoảng thời gian bằng nhau - mỗi khoảng gồm

100 khung hình, ta nhận thấy rằng phân bố cường độ sáng thay đổi đột ngộttrong những thời gian ngắn Sử dụng nhiều các phân bố trong thời gian ngắn sẽcho phép chúng ta thu được độ nhạy phát hiện tốt hơn Tuy nhiên, chúng ta phảiđối mặt với sự đánh đổi là: nếu mô hình nền thích nghi quá chậm với thay đổicủa môi trường thì sẽ thu được một mô hình không chính xác – có độ nhạy pháthiện thấp Mặc khác, nếu mô hình thích nghi quá nhanh thì sẽ dẫn tới vấn đề: môhình sẽ tự tương thích với các đối tượng của chính chúng, cũng giống nhưtrường hợp trên cũng sẽ dẫn tới kết quả không chính xác

Mục tiêu của chúng ta là đi mô hình hóa quá trình nền không cần tham số.

Mô hình hướng tới hướng tới ở phần này sẽ thích nghi nhanh với các thay đổicủa nền và phát hiện các đối tượng với độ nhạy cao Mô hình này giữ các mẫucho mỗi điểm ảnh của khung hình và dự đoán xác suất một điểm ảnh mới nhậnđược có giá trị thuộc nền Mô hình sẽ ước lượng các xác suất một cách độc lậpcho các khung hình

1.3.1 Mô hình nền cơ bản

Trong phần này, chúng ta sẽ mô tả mô hình nền cơ bản và quá trình táchnền Mục tiêu của mô hình là bắt được toàn bộ các thông tin gần nhất về cácchuỗi ảnh và liên tục cập nhật thông tin này để bắt nhanh các thay đổi của nền

Do phân bố cường độ sáng của các điểm ảnh thay đổi nhanh vì thế nên chúng taphải ước lượng các hàm mật độ của phân bố tại mỗi thời điểm để tìm ra thôngtin nhằm cải thiện độ nhạy phát hiện

Giả sử x1,x2,…xN là các mẫu gần của các giá trị cường độ sáng cho mộtđiểm ảnh Sử dụng các mẫu này, hàm mật độ xác suất của điểm ảnh sẽ có giá trịcường độ sáng xt tại thời điểm t có thể được ước lượng mà không cần tham sốnào khác sử dụng bộ ước lượng lõi K như sau:

Nếu chúng ta chọn hàm ước lượng lõi K là hàm chuẩn N(0,Σ) trong đó Σbiểu diễn băng thông hàm lõi thì mật độ có thể được ước lượng như sau:

Nếu chúng ta giả thiết sự độc lập giữa các kênh màu khác nhau sẽ có cùngmột độ rộng băng lõi khác nhau cho kênh màu thứ j thì:

Và khi đó ước lượng mật độ được đơn giản còn

Sử dụng ước lượng này, điểm ảnh có thể được xác định là thuộc vật thểnếu Pr(xt) nhỏ hơn giá trị ngưỡng toàn cục – có thể được điều chỉnh sao cho tỉ

lệ cảnh báo sai là nhỏ nhất Trong thực tế, biểu thức ước lượng trên có thể đượctính theo cách rất nhanh là thiết lập bảng tra cứu các giá trị đã tính cho các giá trịhàm lõi với các giá trị cường độ sáng khác nhau, (xt - xi) và độ rộng băng hàmlõi Hơn nữa, một biểu thức thành phần của tổng trong biểu thức ước lượngthường được đủ lớn hơn giá trị ngưỡng Điều này cho phép chúng ta xây dựngmột thuật toán rất nhanh trong việc ước lượng giá trị xác suất

Ước lượng mật độ sử dụng hàm lõi chuẩn là một cách tổng quát hóa của

mô hình hỗn hợp Gauss, trong đó mỗi một mẫu trong N mẫu được xem nhưchính là một phân bố Gauss N(0,Σ) Điều này cho phép chúng ta ước lượng hàmmật độ chính xác hơn và chỉ phụ thuộc vào các thông tin gần với hiện tại củachuỗi (ảnh) Đồng thời, chúng ta đã bỏ đi được các sai số không thể tránh đượctrong việc ước lượng các tham số, việc thường đòi hỏi một lượng lớn dữ liệuyêu cầu cả điều kiện chính xác và đồng đều(không có trọng số)

1.3.2 Ước lượng độ rộng lõi

Có ít nhất hai nguyên nhân tạo ra sự thay đổi trong giá trị cường độ sángcủa điểm ảnh Thứ nhất, đó là sự thay đổi nhanh của giá trị cường độ sáng giữacác đối tượng khác nhau ( bầu trời, cành cây, lá cây,…) tại các thời điểm khácnhau Thứ hai, trong các khoảng thời gian ngắn đó thì các điểm ảnh cùng thuộcmột đối tượng nhưng lại có phương sai cường độ sáng cục bộ liên quan tới độ

mờ, độ nhiễu của ảnh Độ rộng băng lõi, Σ, sẽ phản ảnh phương sai cục bộ liênquan tới tính cục bộ của ảnh và không có tỉnh nhảy đột ngột Phương sai cục bộnày khác tùy thuộc vào mỗi ảnh và thay đổi theo thời gian Đồng thời nó cũngkhác nhau tùy thuộc vào mỗi kênh màu và đòi hỏi các độ rộng băng khác nhaucho mỗi kênh màu trong việc tính lõi

Để ước lượng băng thông lõi cho kênh màu thứ j của điểm ảnh đangxét, chúng ta cần tính độ lệch tuyệt đối trung vị giữa 2 giá trị cường độ sáng liêntiếp của điểm ảnh Khi đó, giá trị trung vị m của cho mỗi cặp liêntiếp của mẫu được tính độc lập trên mỗi kênh Nếu chúng ta giả thiết

phân bố cục bộ theo thời gian là N(μ,ζ2) thì độ lệch là N(0,ζ2) Vì vậy

độ lệch chuẩn của phân bố thứ nhất có thể được ước lượng bằng:

Từ giải thiết các giá trị độ lệch là nguyên, phép nội suy tuyến tính được

sử dụng để thu được các giá trị xấp xỉ chính xác hơn

1.3.3 Giảm các phát hiện sai

Ở môi trường ngoài trời với nền thay đổi, có 2 nguyên nhân làm cho việcphát hiện trở nên không chính xác Thứ nhất, là do các nhiễu ngẫu nhiên thường

có tính chất giống nhau trên toàn bộ ảnh Thứ hai, đó là các chuyển động nhỏxảy ra ở nền nhưng không được biểu diễn trong mô hình nền Nó có thể do do

sự chuyển động của các đối tượng như cành cây chuyển động nhanh trong quátrình khởi tạo mô hình Phát hiện sai cũng có thể do chất lượng các máy quaydùng trong ứng dụng Loại này thường chỉ tác động tới các vùng nhất định củaảnh nên không thể triệt dễ dàng bằng các sử dụng các bộ lọc nhiễu toàn cục bởi

vì nó chỉ tác động tới một số vùng có tính chất nhất định của ảnh

Như vậy, sau giai đoạn phát hiện vật thể thì chúng ta cần tiến hành giảm cácphát hiện sai do các dao động nhỏ hoặc không thể mô hình hóa trong nền Nếu mộtphần của nền di chuyển tới các vị trí điểm ảnh khác thì nó sẽ không được hiểu nhưnền – được phát hiện như là vật thể Tuy nhiên, đối tượng này có một xác suất cao

là một phần của phân bố nền tại điểm ảnh gốc Giả thiết rằng có một sự đổi chỗ nhỏ

có thể diễn ra giữa khung hình liên tiếp, chúng ta quyết định rằng: nếu điểm ảnhđược phát hiện được tạo ra bởi đối tượng nền thông qua việc xác định phân bố nềntrong các lân cận của điểm phát hiện thì đó là nền Cho xt là giá trị thu được củamột điểm ảnh x, được phát hiện như là điểm ảnh thuộc nền ở trong phần trước –quá trình tách nền – tại thời điểm t Chúng ta

định nghĩa xác suất hoán đổi điểm ảnh là xác suất cực đại mà giá trị nhậnđược thuộc về phân bố nền của các điểm trong lân cận N(x) của x

với y thuộc lân cận N(x) của xTrong đó By là mẫu nền cho điểm ảnh y, ước lượng xác suất

được tính sử dụng ước lượng hàm lõi trong công thức tính Pr(xt) đã đề cập ở1.3.1 Bằng cách lấy mẫu PN cho các điểm ảnh phát hiện, chúng ta có thể loại bỏcác phát hiện sai cho các chuyển động nhỏ trong nền Tuy nhiên, cũng đồng

nghĩa với việc sẽ loại bỏ cả các phát hiện đúng Điều này thường diễn ra với ảnhmức xám Để loại bỏ trường hợp này, chúng ta cần thêm một điều kiện ràngbuộc rằng toàn bộ đối tượng phát hiện được phải di chuyển từ vị trí cũ gần đóchứ không phải một vài điểm ảnh Chúng ta định nghĩa xác suất hoán đổi thànhphần PC là xác suất thành phần liên kết được phát hiện C đã hoán đổi từ vị trígần đó Xác suất được ước lượng bởi

Đối với các thành phần liên kết là đối tượng chuyển động thực sự thì xácsuất mà thành phần này hoán đổi từ nền sẽ rất nhỏ Vì vậy, điểm ảnh được pháthiện x sẽ được xem như là nền chỉ khi PN(x) > th1 và PC(x) > th2 Trong đó,ngưỡng th1 được thiết lập bằng giá trị ngưỡng được sử dụng trong quá trìnhtách nền trước và được điều chỉnh sao cho tỉ lệ phát hiện sai là nhỏ nhất Giá trịngưỡng th2 dùng để phân biệt giữa thành phần chuyển động thực sự và thànhphần khác

Hình 4 So sánh kết quả sau khi hạn chế các phát hiện sai

Hình (4.a) biểu diễn ảnh ban đầu Kết quả sau khi phát hiện nền thể hiện ởảnh (4.b) Trong ví dụ này, nền không được cập nhật trong vài giây và máy quayhơi thay đổi vị trí một chút trong thời gian này vì thế nên chúng ta thấy có rấtnhiều các phát hiện sai ở các đường biên Hình (4.c) hiển thị kết quả sau khi đãgiảm các điểm ảnh phát hiện sai với xác suất hoán đổi lớn Chúng ta nhận thấyrằng đã loại bỏ hầu hết các nhiễu chỉ còn lại các điểm ảnh có nhiễu ngẫu nhiênkhông tương quan với nền là bị phát hiện sai Tuy nhiên, một số các điểm pháthiện đúng cũng bị loại bỏ Kết quả cuối cùng ở hình (4.d) là khi chúng ta đãthêm ràng buộc về xác suất hoán đổi thành phần Kết quả này cho kết quả tốthơn mọi kết quả trước đó

1.3.4 Cập nhật nền

Trong các phần trước, chúng ta đã phân tích cách để phát hiện các vùngvật thể thông qua các mẫu trước đó như là mô hình của nền Mẫu này chứa Ngiá trị cường độ trong cửa sổ trên miền thời gian với kích thước W Ước lượng

độ rộng băng lõi đòi hỏi tất cả các mẫu phải liên tục với nhau trong miền thờigian Ví dụ N=W hoặc cặp N/2 mẫu của các giá trị cường độ liên tục trongkhoảng thời gian W

Mẫu này cần được cập nhật liên tục để thích nghi với những thay đổitrong nền Việc cập nhật được thực hiện theo kiểu FIFO – vào trước ra trước.Nghĩa là: các mẫu, các cặp cũ nhất sẽ được thay thế bởi các mẫu, cặp mới trong

mô hình Mẫu mới được chọn ngẫu nhiên trong khoảng W/N khung hình

Với một mẫu điểm ảnh mới, có 2 cơ chế khác nhau khi cập nhật nền đó là:

 Cập nhật chọn lọc: thêm mẫu mới vào mô hình chỉ khi nó được

phân lớp như là mẫu nền

 Cập nhật mù: luôn thêm mẫu mới vào mô hình.

Tùy theo mỗi cách mà phát sinh các nhược điểm khác nhau Cơ chế thứnhất nâng cao các đích phát hiện từ đó các điểm ảnh đích sẽ không được thêmvào mô hình Điều này đòi hỏi phải có một quyết định khi cập nhật: là điểm ảnhthuộc nền hay không Cũng có nghĩa là việc quyết định sai điểm ảnh trước sẽảnh hưởng tới quyết định phát hiện của điểm ảnh sau đó và có thể rơi vào tìnhtrạng dead-lock (không thoát ra để tìm ra kết quả được) Lấy ví dụ như trườnghợp cành cây có thể là chuyển động hay đứng yên cố định trong một thời giandài tại một vị trí mới thì nó vẫn sẽ được phát hiện như là vật thể Cơ chế thứ hai

không bị hiện tượng dead-lock vì không phải tiến hành quyết định khi cập nhật.

Nó cho phép các giá trị cường độ được thêm vào mô hình mà không quan tâm

là thuộc nền hay không Điều này dẫn tới việc phát hiện sai khi chúng trở thànhmột thành phần nền sai của mô hình Hiệu ứng này có thể giảm khi chúng tatăng cửa sổ thời gian của các mẫu được lấy, khi nhỏ hơn tỉ lệ các điểm ảnh pháthiện sẽ được bao hàm trong mẫu Nhưng khi chúng ta tăng cửa sổ thời gian thìnhiều lỗi phát hiện sai sẽ xảy ra bởi vì việc thích nghi với những thay đổi làchậm và các sự kiện ít xảy ra thường không được lặp lại trong mẫu

Mục đích của chúng ta vẫn là xây dựng một mô hình nền có khả năngthích nghi tốt với những thay đổi của nền để có thể phát hiện nhạy hơn và có tỉ

lệ lỗi phát hiện sai thấp Kết quả này có thể đặt được bằng cách kết hợp kết quảcủa hai mô hình nền (theo thời gian ngắn và theo thời gian dài) như là một cách

để đặt được quyết định tốt hơn khi cập nhật và loại bỏ các nhược điểm đã trìnhbày ở phần trên Hai mô hình được thiết lập để lưu trữ theo các tiêu chí khácnhau

 Mô hình theo thời gian ngắn: là mô hình gắn với hiện tại của nền Nó thích nghi với các thay đổi nhanh cho phép phát hiện rất nhạy.

Mô hình này bao gồm N các giá trị mẫu gần nhất của nền Mẫu đượccập nhật sử dụng cơ chế cập nhật chọn lọc và việc quyết định cập nhậtdựa vào mặt nạ M(p,t) Trong đó, M(p,t) =1 nếu điểm ảnh p sẽ đượccập nhật tại thời điểm t và ngược lại là giá trị 0 Mặt nạ này được điềukhiển bởi kết quả cuối cùng là sự kết hợp của hai mô hình Mô hìnhnày sẽ chứa hai loại phát hiện sai: liên quan tới các sự kiện ít xảy rakhông được mô hình hóa và liên quan tới việc quyết định pháthiện/cập nhật sai do các thay đổi của nền

 Mô hình theo thời gian dài: mô hình này biểu diễn ổn định hơn nền và chỉ thích nghi với các thay đổi chậm Mô hình này chứa N mẫu

lấy trong cửa sổ thời gian lớn hơn Các mẫu này sử dụng cơ chế cậpnhật mù vì thế mọi mẫu mới đều được thêm vào mô hình không quantâm tới quyết định khác Mô hình này sẽ có nhiều phát hiện sai hơn bởi

vì nó không mang thông tin gần với nền hiện tại và giá trị điểm ảnhphát hiện có thể nằm trong số các mẫu đã có Mô hình chỉ thích nghivới các thay đổi có tốc độ chậm hơn W/N

Việc tính vùng giao giữa kết quả phát hiện của hai mô hình sẽ hạn chế cáclỗi phát hiện Chỉ có các lỗi phát hiện do các sự kiện không được mô hình hóa

Theo thời gian, các sự kiện này cũng sẽ được thích nghi trong mô hình theo thờigian dài và lỗi sẽ được giảm dần Tuy vậy, điều này cũng sẽ làm giảm tỉ lệ pháthiện đúng trong mô hình đầu tiên và thứ hai bởi vì mô hình theo thời gian dàithích nghi tốt với các đối tượng nếu chúng đứng yên hoặc chueyern động chậm.

Để giải quyết vấn đề này, tất cả các điểm ảnh được phát hiện trong mô hình theothời gian ngắn phải là lân cận của các điểm ảnh được phát hiện bởi sự kết hợpcủa cả hai mô hình trong kết quả cuối cùng

1.3.5 Phát hiện vùng tối

Phát hiện trong các vùng tối như là vùng có các đối tượng gây rất nhiềukhó khăn Thông tin màu rất hữu dụng trong việc giảm các phát hiện trong vùngtối bằng cách tách thông tin màu từ thông tin độ sáng Giả sử có 3 biến màu R,

Căn cứ vào đặc tính này sẽ làm giảm độ nhạy với các thay đổi về cường độ sángtrong các vùng tối

Hình 5 Kết quả phát hiện chuyển động

So sánh kết quả của hình (5.b) là phát hiện sử dụng không gian màu RBG

và hình (5.c) là phát hiện sử dụng không gian sắc độ thì thấy kết quả cải thiện rõrệt

1.4 Mô hình từ điển thích nghi thời gian thực

Như đã trình bày ở phần 1.2, mô hình MOG [2] đã được sử dụng để mô hìnhcác nền phức tạp, không tĩnh Tuy nhiên, MOG cũng có một vài nhược điểm: Cácnền có mức độ thay đổi lớn sẽ khó để có thể mô hình hóa với một vài phân bốGauss dẫn tới rất nhạy với thay đổi – được đề cập tới trong [1] Thêm vào đó, việcphụ thuộc vào tốc độ học để thích nghi với sự thay đổi của môi trường thì MOGđối mặt với một số điều mâu thuẫn: Với một tốc độ học thấp thì

sẽ tạo ra một mô hình lớn nên khó có thể phát hiện một thay đổi đột ngột của môtrường Nếu mô hình thích nghi quá nhanh thì một đối tượng vật thể sẽ đượchiểu như là nền và kết quả là tỉ lệ phát hiện sai tăng lên.

Để khắc phục các vấn đề này, một kĩ thuật không tham số trong việc ướclượng hàm mật độ xác suất tại một điểm từ rất nhiều mẫu sử dụng ước lượngphân bố nhân được phát triển [1] Điều này cho phép thích nghi nhanh với cácthay đổi của nền để xử lý và phát hiện các vật thể với độ nhạy cao Tuy vậy, các

kĩ thuật không tham số này khó có thể được sử dụng trong thực tế vì cần cáckhoảng thời gian dài cho việc lấy mẫu nền Điều này cũng dẫn đến một hệ quả làđòi hỏi một dung lượng lưu trữ lớn cho thuật toán hoạt động Để khắc phục điềunày, chúng ta sẽ phát triển các mô hình nền có độ nén cao để khắc phục điều này.Các kĩ thuật xử lý dựa trên cơ sở điểm ảnh giả thiết rằng chuỗi theo thờigian của các điểm ảnh là độc lập với các điểm ảnh khác Điều này trái ngược vớimột số nhà nghiên cứu dựa trên khái niệm liên quan tới vùng điểm trong ảnhhoặc khung hình để tách một ảnh bằng lọc phân lớp cấp thấp thu được tại mỗimức Thuật toán tách nền sử dụng từ điển (codebook) [4] được tạo nên từ cácgiá trị mẫu theo thời gian mà không cần tới các tham số Các nền hỗn tạp có thểđược mô hình hóa bằng nhiều từ mã (codeword) Ưu điểm nổi bật của thuậttoán này là:

 Một mô hình đơn giản có khả năng thích nghi có thể bắt đượccác cấu trúc nền thay đổi trong một khoảng thời gian dài với dunglượng bộ nhớ sử dụng hạn chế

 Khả năng kiểm soát được các thay đổi độ sáng một cách cục bộhay toàn cục

 Cho phép có cả vật thể chuyển động ngay trong thời gian học cấu trúc nền

 Có thể xây dựng mô hình phân lớp về cấu trúc nền cho phépbiểu diễn nhiều lớp nền khác nhau – nền tồn tại vĩnh viễn(tườnggạch,

đường xá,…), nền tồn tại tạm thời(xe ô tô đang đỗ, vật thể đứng yên,

…), vật thể chuyển động

1.4.1 Mô hình nền và phát hiện nền

Trong thuật toán xây dựng mô hình nền sử dụng từ điển, mỗi điểm ảnh sẽứng với một từ điển chứa một hoặc nhiều hơn các từ mã Các mẫu ứng với mỗiđiểm sẽ được phân nhóm thành tập từ mã dựa trên độ sai khác màu và giới hạncường độ sáng Không phải mọi điểm ảnh đều có cùng số từ mã mà phụ thuộcvào tính chất thay đổi của chúng Việc phân nhóm dựa trên các từ mã không liênquan tới các tham số như một số phương pháp đã trình bày ở phần 1.3[1] Toàn

bộ đặc tính của nền được mã hóa dựa trên cơ sở điểm ảnh Việc phát hiện nềndựa trên sự sai khác giữa ảnh hiện tại với mô hình nền theo 2 tiêu chí: màu và độsáng Nếu một điểm ảnh tới thỏa mãn hai điều kiện: (1) độ sai khác màu giữa nó

và từ mã nào đó nhỏ hơn ngưỡng phát hiện; (2) độ sáng của nó nằm trongkhoảng độ sáng cho phép của từ mã đó thì khi đó nó là điểm thuộc nền; cònkhông sẽ là điểm ảnh thuộc vật thể

1.4.1.1 Khởi tạo từ điển mô hình hóa nền

Trước khi đi vào chi tiết về Thuật toán khởi tạo từ điển mô hình hóa nềnthì chúng ta cũng cần lưu ý rằng các vấn đề đề cập ở đây theo quan điểm ảnhmàu nhưng cũng có thể được sử dụng cho ảnh mức xám với một vài thay đổithích hợp

Giả sử: X là chuỗi đào tạo cho một điểm ảnh bao gồm N véc-tơ RGB:X={x1,x2,…,xN} Và L={c1,c2,…,cL} biểu diễn từ điển với L từ mã ứng vớiđiểm ảnh đó Mỗi điểm ảnh sẽ có một kích thước từ điển khác nhau phụ thuộcvào phương sai mẫu của nó

Với mỗi từ mã ci với i=1 L gồm véc-tơ RBG vi=(Ri,Gi,Bi) và tập 6 biếnauxi=<Imin,Imax,fi,,pi,qi> cụ thể như sau:

 Imin, Imax là độ sáng nhỏ nhất và lớn nhất của tất cả các điểm ảnh được đại diện bởi từ mã hiện tại

 f là tần số từ mã lặp lại – cũng được hiểu là số lần đã xuất hiện từ trước tới hiện tại

  là khoảng thời gian dài nhất mà từ mã không được sử dụng cho tới thời điểm xét

 p, q lưu lại thời điểm đầu tiên và cuối cùng truy nhập tới từ mã.

Trong khoảng thời gian học nền, mỗi giá trị điểm ảnh tới xt, mẫu tại thờiđiểm t, sẽ được so sánh với từ điển để tìm ra từ mã cm(nếu có) phù hợp với nó –

m là chỉ số của từ mã trong từ điển Chúng ta sử dụng từ mã này như là sự xấp

xỉ việc mã hóa mẫu Để xác định từ mã nào là phù hợp nhất thì chúng ta dựa trên

độ sai khác màu và giới hạn độ sáng

Thuật toán khơi tạo từ điển

iv Nếu tìm thấy thì cập nhật từ mã cm gồm vm=(Rm,Gm,Bm)

và auxm = <Imin,Imax,fm,,pm,qm> như sau:

Từ điển thu được từ bước trước như là từ điển phẳng – không có độ ưutiên giữa các từ mã Nó chứa tất cả các từ mã biểu diễn cho chuỗi điểm ảnh đào

nhiễu Trong bước lọc theo thời gian, chúng ta lọc từ điển bằng cách tách các từ

mã chứa các đối tượng chuyển động với các từ mã nền thực sự Chính điều này chophép có sự xuất hiện của các vật thể chuyển động ngay trong thời gian học nền –

mô hình hóa nền Nền thực sự chứa cả các điểm tĩnh và các điểm nền chuyển độnggần như tuần toàn(diễn ra trong khoảng chu kì giới hạn) Việc tách này làm đượcchính là nhờ tham số  được định nghĩa như là khoảng thời gian lớn nhất mà từ mãkhông được sử dụng trong suốt giai đoạn học Ví dụ: một điểm ảnh trên cành câyđược lấy mẫu cường độ sáng thay đổi theo thời gian Với từ điển của điểm ảnhnày, từ mã biểu diễn thông tin màu bầu trời sẽ có  nhỏ cỡ khoảng 15, mang màu lácây là 100 và màu xanh của nhân vật trong ảnh là 280

Giả sử M, TM là mô hình nền hay từ điển sau giai đoạn lọc này và giá trịngưỡng lọc tương ứng Thông thường, TM được chọn bằng N/2 – trong đó N là

số mẫu trong giai đoạn học

M = {cm|cm ϵ C và m ≤ TM}

Hình 6 Giá trị cường độ sáng theo thời gian và cách  được sử dụng.

Các từ mã có giá trị  lớn sẽ được loại bỏ theo công thức trên Mặc dù nó cóthể có tần số f lớn nhưng  lớn nghĩa là thuộc về sự kiện của vật thể gần như đứngyên trong suốt chu kì f Nói cách khác, với các từ mã có giá trị f nhỏ và  nhỏ cũng

có thể là một sự kiện nền ít gặp trong một chu kì gần như tuần hoàn Chúng ta cóthể sử dụng  như là một đặc điểm để phân biệt từ mã của nền thực sự với từ mãcủa vật thể chuyển động Nếu TM=N/2 thì tất cả các từ mã sẽ phải lặp lại ít nhất sauN/2 khung hình Qua kết quả thí nghiệm cho thấy rằng kết quả của việc kết hợpgiữa điều kiện f và  cũng giống như chỉ xét với  Cũng dựa trên rất nhiều các thửnghiệm trên các đoạn video cho thấy rằng: trung bình chỉ có 6,5 từ mã là có thể môhình hóa được 5 phút của đoạn video quay ngoài trời với tốt độ khung hình 30khung/giây Ngược lại, trong môi trường trong nhà thì chỉ cần 1 cho đến 2 từ mã.Chính vì lý do này nên mô hình nền đạt được tỉ lệ nén

cao, cho phép mô hình hóa nền trong một khoảng thời gian dài với dung lượngnhớ giới hạn.

Để giải quyết vấn đề thay đổi cường độ sáng cục bộ hoặc toàn cục nhưcác vùng tối, sáng thì các thuật toán thường sử dụng các màu được chuẩn hóa.Những kĩ thuật này thường làm việc kém với các khu vực tối của ảnh Các điểmảnh tối có độ không chắc chắn cao hơn các điểm ảnh sáng; như vậy độ khôngchắc chắn có mối liên hệ với độ sáng Độ sáng nên được sử dụng như là mộtnhân tố trong việc so sánh tỉ lệ màu Chính độ không chắc chắn này làm choviệc phát hiện trong các vùng tối là không ổn định Việc phát hiện sai có xuhướng tập trung vào các vùng tối

Sau đây, chúng ta quan sát các giá trị điểm ảnh thay đổi theo thời giandưới độ sáng thay đổi

Hình 7 Biểu diễn giá trị màu trong không gian màu RGB.

Hình trên (7.b) mô tả phân bố giá trị các điểm ảnh trong không gian RBG

từ chuỗi ảnh của bảng màu trong hình (7.a) Trong chuỗi thu được, cường độsáng thay đổi theo thời gian bằng các tăng hoặc giảm cường độ sáng của đènlàm các điểm ảnh sáng hoặc tối đi Các giá trị điểm ảnh có phân bố kéo dài và có

xu hướng tụ về điểm gốc (0,0,0)

Giới hạn quyết định(từ mã)

(điểm ảnh nhận được)

Hình 8 Mô hình phân tách giá trị màu đề xuất

Trên cơ sở thu được, chúng ta phát triển một mô hình miêu tả trong hình

8 bằng cách tách độ sai khác màu và độ sáng Đặc trưng của mô hình này là cácgiá trị điểm ảnh nền nằm dọc theo trục chính của từ mã cùng với giới hạn giá trịcao thấp của độ sáng, từ đó độ sai khác màu có mỗi quan hệ mật thiết với giá trị

độ sáng Khi chúng ta có một điểm ảnh nhận được xt=(R,B,G) và một từ mã civới vi=(Ri,Gi,Bi) ta xác định được:

Độ sai khác màu δ có thể được tính bởi công thức:

Phép đo độ sai khác màu có thể được hiểu như là phiên bản có trọng sốcủa độ sáng trong không gian màu được chuẩn hóa Điều này tương đương vớithay đổi tỉ lệ theo quan điểm hình học(việc chuẩn hóa) véc-tơ từ mã với độ sángcủa điểm ảnh lối vào Bằng cách này, chúng ta đã đưa độ sáng vào trong phép

độ sai khác màu và loại bỏ sự không ổn định của các màu được chuẩn hóa

Để cho phép sự thay đổi độ sáng khi tách nền, chúng ta lưu trữ 2 giá trịthống kê Imin, Imax là độ sáng nhỏ nhất và lớn nhất của tất cả các điểm được biểudiễn bởi từ mã này Giá trị độ sáng có thể thay đổi trong khoảng giới hạn mức tối

và mức sáng Giá trị đó là [Ilow,Ihi] được định nghĩa như sau:

Trong đó, α<1 và β>1 Thường thì α nằm trong khoảng 0,4 tới 0,7; βtrong khoảng 1,1 đến 1,5 Chính khoảng [Ilow,Ihi] tạo nên khoảng ổn định trongsuốt quá trình cập nhật từ mã

Hàm logic về độ sáng được định nghĩa như sau:

1.4.2 Phát hiện vật thể từ nền

Việc tách vật thể với mô hình nền tương đối đơn giản sau quá trình khởitạo từ điển Không giống như MOG [2] hay các mô hình không tham số [1] cầnphải tính các xác suất thì thuật toán này việc đó là không cần thiết Thay vì điước lượng xác suất dựa trên các mẫu gần nhất trong quá trình đào tạo thì chúng

ta chỉ đơn giản là đi tính khoảng cách từ mẫu tới vùng giá trị trung bình gầnnhất Việc này có thể được tiến hành nhanh chóng và hiệu quả Giả sử quá trìnhtách nền một điểm ảnh tới x là BGS(x) Khi đó ta định nghĩa BGS(x) như sau:

1 ; trong đó R, G, B là 3 thành phần màu của x

2 Tìm từ mã cm trong M phù hợp với x dựa trên 2 điều kiện:

1.4.3 So sánh mô hình sử dụng từ điển với các mô hình khác

Mô hình tách nền sử dụng từ điển có một khác biệt so với mô hình hỗ tạpcác phân bố Gauss thích nghi MOG [2] và mô hình không tham số sử dụng ướclượng mật độ xác suất hàm lõi [1] ở một số điểm như sau:

 Khác với MOG, chúng ta không giả thiết rằng nền là các quá trìnhGauss đa-mốt Nếu giả thiết này đúng, nếu có thể, thì MOG sẽ nhận cáctham số chính xác Nhưng điều này không phải lúc nào cũng đúng vìphân bố nền có thể rất khác nhau

 Cũng khác so với mô hình không tham số, chúng ta không lưu trữ cácmẫu gốc trong suốt quá trình làm việc với mô hình nền Chính do sốlượng mẫu lớn nên chúng ta không thể lưu được toàn bộ trong một thờigian dài Trong khi đó thì mô hình sử dụng từ điển lại khá đơn giản, nhỏgọn có thể sử dụng trong thời gian dài với không gian nhớ giới hạn.

 Mô hình sử dụng từ điển làm việc tốt với tình huống đa-nền và cũngkhông giới hạn về số nền Nó có thể mô hình các cây có chuyển độngtrong một thời gian dài hơn so với các mẫu gốc của mô hình không thamsố

 Việc lọc giá trị  cho phép xuất hiện các vật thể chuyển động ngay trong quá trình đào tạo

 Mô hình chúng ta đang đề cập không cần ước lượng xác suất, là phéptoán yêu cầu tính toán khác phức tạp, mà thay vào đó là việc tính khoảngcách với các vùng giá trị trung bình Chính điều này giúp cho thuật toánthực hiện nhanh hơn

 MOG sử dụng các biến RGB gốc và không căn cứ vào độ sáng và màu

MOG không mô hình hóa phương sai, thường lớn và là nguyên nhân gây

ra sai khác về độ sáng Điều này chỉ có ích cho các trường hợp có độ sángxác định Mô hình không tham số thì sử dụng các màu được chuẩn hóa và

độ sáng – hai giá trị này chưa chắc đã liên quan tới nhau Để đối phó vớivấn đề độ sáng thay đổi mô hình này sẽ tính độ sáng đồng thời với độ saikhác màu dựa trên giá trị RGB