Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và ứng dụng giám sát tự động trong siêu thị

Việc phát hiện ra các đối tượng chuyển động trong camera nhờ các kỹ thuật xử lý ảnh đã đoán nhận một số hành vi của đối tượng là một việc làm có ý nghĩa khoa học và thực tiễn.. Do vậy em

TRƯƠNG MINH THƯƠNG

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG TỪ CAMERA VÀ ỨNG DỤNG

GIÁM SÁT TỰ ĐỘNG TRONG SIÊU THỊ

Chuyên ngành : Khoa học máy tính

Người hướng dẫn: TS Lê Thị Kim Nga

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu,

kết quả nêu trên trong luận văn là trung thực và có nguồn gốc rõ ràng

Quy Nhơn, ngày 26 tháng 07 năm 2019

Học viên

Trương Minh Thương

Trước hết em xin được bày tỏ lòng biết ơn sâu sắc đối với cô giáo hướng

dẫn TS Lê Thị Kim Nga, Khoa Công nghệ thông tin – Trường Đại học Quy

Nhơn đã tận tình giúp đỡ, hướng dẫn em trong thời gian vừa qua và đã dành

rất nhiều thời gian quý báu để giúp em hoàn thành đề tài luận văn được giao

Em xin chân thành cảm ơn cô

Em xin gửi lời cảm ơn đến các Thầy cô giáo trong Khoa Công nghệ

thông tin, trường Đại học Quy Nhơn đã giảng dạy em trong suốt quãng thời

gian qua, cung cấp cho chúng em những kiến thức chuyên môn cần thiết và

quý báu giúp chúng em hiểu rõ hơn các lĩnh vực đã nghiên cứu để hoàn thành

đề tài luận văn được giao

Cuối cùng, em xin cảm ơn gia đình và bạn bè đã động viên cổ vũ, đóng

góp ý kiến cho em trong suốt quá trình học cũng như làm luận văn tốt nghiệp,

giúp em hoàn thành đề tài luận văn đúng thời hạn

Quy Nhơn, ngày 26 tháng 07 năm 2019

Học viên

Trương Minh Thương

LỜI CAM ĐOAN

LỜI CẢM ƠN

DANH MỤC CÁC HÌNH

MỞ ĐẦU 1

1 Lý do chọn đề tài: 1

2 Tổng quan tình hình nghiên cứu đề tài: 1

3 Mục đích và nhiệm vụ nghiên cứu: 2

4 Đối tượng và phạm vi nghiên cứu: 2

5 Phương pháp nghiên cứu: 2

CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG 4

1.1 Khái quát về xử lý ảnh 4

1.1.1 Xử lý ảnh là gì? 4

1.1.2 Một số vấn đề cơ bản trong xử lý ảnh 5

1.1.3 Một số ứng dụng của xử lý ảnh 6

1.2 Vấn đề xử lý video 6

1.2.1 Sơ lược về lịch sử video 6

1.2.2 Một số khái niệm 7

1.2.3 Một số vấn đề cơ bản trong xử lý video 8

1.3 Bài toán phát hiện đối tượng chuyển động 9

1.4 Hệ thống giám sát đối tượng đối với bài toán phát hiện đối tượng chuyển động 10

1.4.1 Lịch sử phát triển của hệ thống giám sát đối tượng 11

1.4.2 Các thành phần trong xây dựng hệ thống giám sát đối tượng 13

1.5 Kết luận chương 1 14

2.1.1 Trừ ảnh dựa vào điểm ảnh 16

2.1.2 Trừ ảnh dựa vào khối 17

2.1.3 Trừ ảnh dựa vào biểu đồ 19

2.1.4 Trừ ảnh dựa vào thống kê 24

2.1.5 Trừ ảnh dựa vào đặc trưng 25

2.1.6 Kỹ thuật trừ nền 26

2.2 Hậu xử lý với các phép toán hình thái 32

2.2.1 Phần tử cấu trúc 33

2.2.2 Phép toán giãn nở 34

2.2.3 Phép toán co 35

2.2.4 Phép mở 36

2.2.5 Phép đóng 36

2.3 Kết luận chương 2 37

CHƯƠNG 3 ỨNG DỤNG PHÁT HIỆN ĐỔI TƯỢNG CHUYỂN ĐỘNG TRONG GIÁM SÁT TẠI SIÊU THỊ 38

3.1 Mô tả bài toán 38

3.1.1 Phát biểu bài toán 38

3.1.2 Phân tích yêu cầu bài toán và trình bày giải thuật 39

3.2 Thử nghiệm và đánh giá 41

3.2.1 Chương trình hoàn chỉnh 41

3.2.2 Kết quả thử nghiệm thực tế 42

3.2.3 Điều kiện ràng buộc của chương trình 44

3.2.4 Đánh giá 44

3.3 Kết luận chương 3 45

1.1 Về mặt lý thuyết 46

1.2 Về mặt thực tiễn 46

2 Hạn chế 46

3 Hướng phát triển 47

DANH MỤC TÀI LIỆU THAM KHẢO 48 PHỤ LỤC

QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)

Hình 1.1 Quá trình xử lý ảnh 4

Hình 1.2 Các bước cơ bản trong một hệ thống xử lý ảnh 5

Hình 1.3 Mô tả khung hình 8

Hình 1.4 Các khối xử lý trong bài toán phát hiện đối tượng 10

Hình 1.5 Phòng điều khiển hệ thống giám sát bằng đĩa từ truyền thống 12

Hình 1.6 Phòng điều khiển hệ thống giám sát hiện đại 13

Hình 1.7 Mô hình hệ thống giám sát đối tượng 14

Hình 2.1 Các cửa sổ cơ sở trong thuật toán 19

Hình 2.2 So sánh biểu đồ giữa hai ảnh 21

Hình 2.3 Mẫu vector cho các di chuyển camera 25

Hình 2.4 Quy trình trừ nền 26

Hình 2.5 Ví dụ phần tử cấu trúc 33

Hình 2.6 Ví dụ phép giãn nở 35

Hình 2.7 Ví dụ phép co 35

Hình 2.8 Ví dụ phép mở 36

Hình 2.9 Ví dụ phép đóng 36

Hình 3.1: Kết quả phát hiện đối tượng chuyển động 39

Hình 3.2: Sơ đồ thực hiện chương trình 40

Hình 3.3 Cách truyền video vào chương trình thử nghiệm 42

Hình 3.4 Kết quả chương trình với Video 01 43

Hình 3.5 Kết quả chương trình với Video 02 44

MỞ ĐẦU

1 Lý do chọn đề tài:

Ngày nay, Sự phát triển của công nghệ thông tin đã xâm nhập vào hầu hết các mặt của đời sống xã hội với những ứng dụng rộng rãi hỗ trợ cho con người trên nhiều lĩnh vực, trong đó có lĩnh vực giám sát, an ninh

Hiện nay, thông tin hình ảnh đóng vai trò rất quan trọng trong trao đổi thông tin, bởi vì phần lớn các thông tin mà con người thu nhận được đều thông qua thị giác Trong các lĩnh vực công nghệ thông tin thì lĩnh vực giám sát tự động đã và đang thu hút được sự quan tâm của các nhóm nghiên cứu trong và ngoài nước Giám sát tự động là một hướng mới được nghiên cứu và phát triển trong lĩnh vực nhận dạng và xử lý ảnh và tạo cách tiếp cận cho phần mềm thiết kế chuyên dụng cho các thiết bị giám sát tự động Việc phát hiện ra các đối tượng chuyển động trong camera nhờ các kỹ thuật xử lý ảnh đã đoán nhận một số hành vi của đối tượng là một việc làm có ý nghĩa khoa học và thực tiễn

Ở nước ta hiện nay, lĩnh vực giám sát tự động đã có những bước phát triển đáng kể Tuy nhiên, trong lĩnh vực siêu thị thì mới chỉ dựa vào phần cứng và sự phân tích giám sát của con người Việc giải quyết vấn đề này theo hướng phần mềm đang được nghiên cứu và phát triển Do vậy em chọn đề tài:

“Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và

ứng dụng giám sát tự động trong siêu thị” nhằm nghiên cứu và ứng dụng phát

hiện đối tượng khách hàng trong các gian hàng của siêu thị

2 Tổng quan tình hình nghiên cứu đề tài:

Vấn đề phát hiện đối tượng đang được nghiên cứu và có nhiều ứng dụng trong cuộc sống Các đối tượng được phát hiện nhờ những thông tin trong một

frame ảnh Có rất nhiều hướng tiếp cận để giải quyết vấn đề trên

Việc lựa chọn phương pháp áp dụng phải dựa vào tình huống cụ thể, đối với trường hợp có ảnh nền không thay đổi việc phát hiện đối tượng chuyển động có thể bằng các phương pháp trừ nền Hướng giải quyết là xây dựng mô hình nền, sau đó sử dụng mô hình này cùng với frame hiện tại để rút ra được

các foreground chuyển động Để có thể tiếp cận cần phải xây dựng được mô hình background

Trong luận văn này, Thuật toán trừ nền xác định mức xám của ảnh Video từ một camera tĩnh, sau đó khởi tạo một nền tham khảo với frame đầu tiên của Video đầu vào Sau đó, thực hiện trừ giá trị cường độ của mỗi điểm ảnh trong ảnh hiện thời cho giá trị tương ứng trong ảnh nền tham khảo

3 Mục đích và nhiệm vụ nghiên cứu:

Nghiên cứu cơ sở lý thuyết, sơ đồ thuật toán, hoạt động của một số kỹ thuật phát hiện đối tượng chuyển động từ camera, trên cơ sở đó áp dụng thử nghiệm với dữ liệu video thu được từ hệ thống camera giám sát trong siêu thị

4 Đối tượng và phạm vi nghiên cứu:

4.1 Đối tượng:

 Nghiên cứu các kỹ thuật xử lý ảnh và video phục vụ phát hiện đối tượng

chuyển động từ camera

 Nghiên cứu bài toán phát hiện đối tượng chuyển động

 Các công trình đã nghiên cứu về phát hiện đối tượng chuyển động

 Các thuật toán, phương pháp áp dụng trong vấn đề này

4.2 Phạm vi:

Phạm vi nghiên cứu là với các dữ liệu video thu từ nguồn camera giám sát, cụ thể là từ hệ thống camera an ninh siêu thị MM Mega Market Quy

Nhơn

5 Phương pháp nghiên cứu:

Phương pháp nghiên cứu của đề tài là lý thuyết kết hợp với thực nghiệm

 Bước 1: Sưu tập tài liệu liên quan

 Bước 2: Nghiên cứu lý thuyết về xử lý ảnh

 Bước 3: Nghiên cứu các kỹ thuật, thuật toán phát hiện đối tượng

chuyển động trong camera

 Bước 4: Tìm hiểu về bài toán phát hiện đối tượng chuyển động

 Bước 5: Xây dựng chương trình thực nghiệm

 Bước 6: Đánh giá và hiệu chỉnh thuật toán, chương trình

Chương 1 TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG

1.1 Khái quát về xử lý ảnh

1.1.1 Xử lý ảnh là gì?

Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người máy

Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn Kết quả đầu ra của một quá trình xử lý ảnh có thể

là một ảnh “tốt hơn” hoặc một kết luận nào đó

Hình 1.1 Quá trình xử lý ảnh

Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như

là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của

đối tượng trong không gian và nó có thể xem như một hàm n biến P(c1, c2, ,

cn) Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều

Sơ đồ tổng quát của một hệ thống xử lý ảnh:

Hình 1.2 Các bước cơ bản trong một hệ thống xử lý ảnh

Trong sơ đồ trên, ảnh cần được xử lý được thu nhận thông qua hệ thống thu nhận ảnh Hệ thống thu nhận ảnh này bao gồm các thiết bị chụp như camera, máy quét scanner, máy chụp hình… Ảnh sau khi thu nhận được qua

hệ thống thu nhận, ảnh sẽ được lấy mẫu và số hóa, sau đó sẽ được phân tích theo các loại ảnh Có rất nhiều loại ảnh khác nhau, chúng được lưu trữ dưới các file khác nhau như: file Bitmap, file PCX, file Gif… Ảnh sau khi phân tích sẽ được lưu trữ và tùy theo từng ứng dụng cụ thể mà chọn ra cách thích hợp để phân tích

Vì vậy, Mục đích của xử lý ảnh là:

 Biến đổi ảnh và làm cho ảnh đẹp

 Tự động phân tích nhận dạng ảnh hay đoán nhận ảnh và đánh giá các nội dung của ảnh

1.1.2 Một số vấn đề cơ bản trong xử lý ảnh

Tiền xử lý: Tiền xử lý là giai đoạn đầu tiên trong xử lý ảnh số Tùy thuộc

vào quá trình xử lý tiếp theo trong giai đoạn này sẽ thực hiện các công đoạn khác nhau như: nâng cấp, khôi phục ảnh, nắn chỉnh hình học, khử nhiễu…

Trích chọn đặc điểm: Các đặc điểm của đối tượng được trích chọn tùy

theo mục đích nhận dạng trong quá trình xử lý ảnh Trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các đối tượng ảnh chính xác, với tốc độ tính toán cao và dung lượng nhớ, lưu trữ giảm

Đối sánh, nhận dạng: Nhận dạng tự động, mô tả đối tượng, phân loại và

phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, được ứng dụng trong nhiều ngành khoa học khác nhau Mẫu có thể là ảnh của vật nào

 Công nghiệp tự động hóa: Công nghệ chế tạo rô-bốt, xe tự hành…

 Xử lý ảnh y tế: Phân tích ảnh điện tâm đồ ECG- Electrocardiogram, điện não đồ EEG- Electroencephalogram, đo điện cơ EMG- Electromyography; phân tích ảnh X-quang,…

 Viễn thám: Nghiên cứu và quản lý tài nguyên thiên nhiên, kiếm soát ô nhiễm môi trường, dự báo thời tiết, xác định thay đổi thời tiết dựa vào ảnh thu nhận từ vệ tinh, phân tích mẫu mây…

 Kiểm soát tội phạm (Criminology): nhận dạng vân tay, đối sánh mặt người, giám định pháp y…

1.2 Vấn đề xử lý video

1.2.1 Sơ lược về lịch sử video

Khái niệm video đã xuất hiện từ rất lâu theo sự xuất hiện của những phát kiến về hình ảnh chuyển động Năm 1834, nhà toán học William George Horner phát minh ra máy Zeotrope, một thiết bị dùng để tạo sự chuyển động

từ một dãy ảnh liên tục Phát minh này có thể coi là sự mở màn cho công cuộc khai sinh ra ảnh video Năm 1877, Emile Reynaud cải tiến chiếc zeotrope thành praxinoscope Hình ảnh thu nhận được từ máy này rõ ràng hơn từ

zeotrope Năm 1889, George Eastman đã phát minh ra phim chụp ảnh linh hoạt, cho phép lưu trữ nhiều hình ảnh trên một cuộn phim Đến năm 1895, Louis Lumiere là một trong những người đầu tiên đưa ra hệ thống máy chiếu phim Đây cũng là thời điểm đánh dấu sự phát triển của phim với hình ảnh chuyển động

Kỹ thuật video được phát triển đầu tiên cho hệ thống ti vi sử dụng bóng cathode CRT Trong thời kỳ này cũng có nhiều nhà khoa học nghiên cứu để phát minh ra những kỹ thuật mới cho thiết bị hiển thị video Charles Ginsburg

đã cùng với đội nghiên cứu của mình phát triển chiếc băng ghi hình đầu tiên VTR-Video Tape Recorder Năm 1951, băng từ lần đầu tiên được sử dụng để ghi lại hình ảnh và đã thu được 50,000 bảng vào năm 1956 Tiếp sau đó lần lượt là sự ra đời của băng cát sét ghi VCR- Video Cassette Recorder năm

1971 Ngày nay, công nghệ máy tính phát triển chúng ta đã có thể ghi, lưu trữ, chỉnh sửa và truyền thông tin hình ảnh qua mạng máy tính dưới dạng các video clips

1.2.2 Một số khái niệm

Video là một tập hợp các khung hình (frames) Mỗi khung hình là một hình ảnh, là đơn vị dữ liệu cơ bản nhất của video Video có thể được hiểu là một chuỗi các hình ảnh liên tiếp Để mắt người có thể cảm nhận được sự chuyển động của các hình ảnh thì các khung hình phải được phát liên tục với một tốc độ nhất định Thông thường, tốc độ đó là 25 hình/giây hoặc 30 hình/giây

vị trí đã xuất hiện trước

1.2.3 Một số vấn đề cơ bản trong xử lý video

Video là do một chuỗi ảnh liên tiếp chuyển động tạo thành Để có thể truyền tải video, các thông tin và dữ liệu này được mã hóa Do đó, để có thể

xử lý được các tín hiệu video bên cạnh việc xử lý các vấn đề khách quan như điều kiện ánh sáng, vị trí đặt camera… ta cũng cần quan tâm tới các vấn đề về tiêu chuẩn nén của video

Về cơ bản hệ thống xử lý video gần giống với hệ thống xử lý ảnh Tuy nhiên,

do đặc trưng chuyển động của hình ảnh nên ta cần quan tâm tới các vấn đề:

 Xác định đối tượng, số lượng đối tượng có trong ảnh

 Xác định đối tượng chuyển động trong ảnh: các đối tượng dời đi hay chuyển tới, chuyển động đơn hay chuyển động trong đám đông

 Tách đối tượng từ một nhóm đối tượng chuyển động

 Tách đối tượng với bóng của bản thân

1.3 Bài toán phát hiện đối tượng chuyển động

Phát hiện chuyển động là một bài toán quan trọng có ứng dụng rộng rãi trong các hệ thống phân tích dữ liệu video Chẳng hạn với các hệ thống giám sát tự động với các vấn đề yêu cầu tri thức từ lĩnh vực nhận dạng và xử lý ảnh

và tạo cách tiếp cận cho phần mềm thiết kế chuyên dụng cho các thiết bị giám sát tự động Việc phát hiện ra các đối tượng chuyển động trong camera nhờ các kỹ thuật xử lý ảnh để đoán nhận một số hành vi của đối tượng là một việc làm có ý nghĩa khoa học và thực tiễn Kết quả của việc phát hiện chuyển động nhằm vào những gì thay đổi trên khung hình video, đây là cơ sở để thực hiện rất nhiều thao tác xử lý, như phát hiện chuyển cảnh video, phát hiện trộm cắp

từ camera an ninh, phát hiện vi phạm giao thông như vượt đèn đỏ, lấn làn, ngược chiều từ camera đường phố…

Phát hiện đối tượng chuyển động là quá trình đưa ra các đối tượng chuyển động từ các khung hình video Với mỗi khung hình xử lý, hệ thống cần đưa ra được các vị trí, các vùng là đối tượng chuyển động trong video Quá trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn video để phát hiện ra đối tượng chuyển động trong một đoạn hình ảnh theo

mô hình sau đây:

Hình 1.4 Các khối xử lý trong bài toán phát hiện đối tượng

Đối với bài toán phát hiện đối tượng chuyển động thường có hai cách tiếp cận chính sau đây:

 Dựa hoàn toàn vào phần cứng

 Dựa vào các kỹ thuật xử lý ảnh trên cơ sở xử lý các hình ảnh thu được, phân tích và kết luận xem có đối tượng chuyển động tại khu vực quan sát hay không? Nếu có thì là đâu?

1.4 Hệ thống giám sát đối tượng đối với bài toán phát hiện đối tượng chuyển động

Việc xuất hiện và phổ biến các hệ thống camera giám sát cùng với các

mô đun giám sát đối tượng trên đó đóng một vai trò quan trọng đối với việc nghiên cứu bài toán phát hiện đối tượng trên video Khá nhiều hệ thống camera giám sát hiện nay khi được triển khai đều sẽ có đi kèm một số tính

năng phát hiện chuyển động một cách đơn giản, hoặc thậm chí đó có thể là một tính năng được xây dựng nhúng trong nhiều dòng camera hiện đại Việc triển khai phổ biến các hệ thống camera là một động lực quan trọng đối với những nhà nghiên cứu xử lý ảnh cũng như những nhà đầu tư trong lĩnh vực công nghệ thông tin dồn nhiều sức lực và tiền bạc để tìm kiếm những giải pháp cho bài toán phát hiện đối tượng chuyển động trên dữ liệu video

1.4.1 Lịch sử phát triển của hệ thống giám sát đối tượng

Dù ra đời muộn, vào nửa cuối của thập niên 90, hệ thống giám sát đối tượng đã trải qua những thăng trầm và có những kết quả đáng khích lệ và vẫn đang được tiếp tục nghiên cứu, phát triển

Hệ thống giám sát đối tượng trước tiên là thời kỳ của mạch tivi khép kín (CCTV-Closed Circuit Television) CCTV là một hệ thống gồm các camera được kết nối theo một mạch kín hay vòng với các hình ảnh được gửi tới màn hình trung tâm hay được lưu trữ lại

Tiếp đến là sự ra đời của tín hiệu analog cùng với đĩa từ đã giúp lưu trữ lại những thông tin giám sát Các hình ảnh thu nhận được từ camera được lưu lại trong các băng từ (VHS- Video Home System) Tuy nhiên, trong thời kỳ này thì hình ảnh được lưu lại chậm và tốn nhiều không gian lưu trữ Hằng ngày, nhân viên phụ trách hệ thống phải thay băng, đĩa từ Hệ thống băng từ này được lưu trong khoảng thời gian 1 tháng, rồi được xóa đi để lưu lại cho tháng kế tiếp

Hình 1.5 Phòng điều khiển hệ thống giám sát bằng đĩa từ truyền thống

(Nguồn video surveillance E6998-007 senior/feris/tian…)

Sự phát triển của kỹ thuật số đã đem lại những kết quả đáng ghi nhớ cho

hệ thống giám sát Các dữ liệu thu nhận được từ hệ thống camera được lưu lại trực tiếp trên ổ đĩa cứng của máy tính Các dữ liệu này được bảo mật nhờ tính năng khóa mã của máy tính và sự phát triển của Internet giúp các thông tin được truyền đi từ máy này sang máy khác trong một khoảng thời gian ngắn

mà vẫn đảm bảo tính chính xác của dữ liệu

Hình 1.6 Phòng điều khiển hệ thống giám sát hiện đại (Nguồn: http://www securite-surveillance com/blog/index php/video-surveillance-la-

ville-de-mexico-signe-avec-thales/)

1.4.2 Các thành phần trong xây dựng hệ thống giám sát đối tượng

Trong hệ thống giám sát đối tượng, tất cả các thông tin về hình ảnh thu nhận được từ camera hoặc hệ thống camera được truyền về trung tâm Tại đây, các thông tin sẽ được phân tích, xử lý để đưa ra các quyết định phù hợp

Hệ thống giám sát đối tượng với quy mô nhỏ hay lớn đều cần có:

 Camera (hoặc hệ thống camera - với quy mô lớn): Trong hệ thống nhỏ

có thể chỉ cần một camera Đối với các hệ thống lớn, ta có một hệ thống camera được đặt tại các khu vực cần quan sát Ví dụ như tại một tòa nhà

ta cần đặt camera tại bãi đỗ xe, tại sảnh, cầu thang (cầu thang bộ, cầu thang máy), tại các tầng…

 Màn hình theo dõi (hoặc hệ thống màn hình): Trên một màn hình có thể đặt tương ứng với một camera hoặc chia chế độ màn hình hiển thị với các phân vùng ứng với số lượng camera…

 Đầu ghi hình DVR độc lập ( hoặc card DVR cắm máy tính)

 Phòng điều khiển (giám sát): Tại đây đặt màn hình theo dõi của hệ thống Phòng có bố trí nhân viên để phụ trách quản lý và điều hành hệ thống

Hình 1.7 Mô hình hệ thống giám sát đối tượng

1.5 Kết luận chương 1

Chương 1 đã giới thiệu cơ bản về xử lý ảnh số và video Trên cơ sở đó

đã trình bày một bài toán quan trọng đó là bài toán phát hiện đối tượng chuyển động Việc giải quyết bài toán phát hiện đối tượng chuyển động đã và đang được ứng dụng vào các lĩnh vực trong đời sống xã hội đồng thời nó vẫn đang thu hút được sự quan tâm của nhiều nhóm nghiên cứu Một số kỹ thuật

xử lý ảnh đang được ứng dụng cho bài toán này có thể kể đến là: Kỹ thuật trừ ảnh dựa vào điểm ảnh, phương pháp biểu đồ, kỹ thuật trừ nền (Background Subtraction) Trong chương 2 chúng ta sẽ tìm hiểu một số kỹ thuật phát hiện đối tượng chuyển động này

Chương 2 KỸ THUẬT PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG

Như đã phân tích ở chương 1, video được xem là một dãy N khung hình liên tiếp (f1, f2, …, fN), mỗi khung hình là một ảnh tĩnh Các hình ảnh có tính liên tục được hiển thị lần lượt Độ sáng của một điểm ảnh cụ thể trong khung hình được coi là một hàm của thời gian f(x, y, t) trong đó (x, y) là tọa độ của điểm ảnh trong không gian và t là thời gian xét khung hình

Quá trình phát hiện đối tượng chuyển động trong video được thực hiện bằng việc phân tích các khung hình liên tiếp và cần đưa ra được các đối tượng chuyển động đối với khung hình hiện tại Thông thường, quá trình này được thực hiện bằng một kỹ thuật trừ ảnh và sau đó đi kèm một số thao tác hậu xử lý

2.1 Kỹ thuật trừ ảnh

Với kỹ thuật trừ ảnh, mục tiêu chính để kiểm tra xem giữa hai ảnh có

sự sai lệch nhau hay không và xác định được vị trí của vùng sai lệch Cần phải lưu ý rằng sai lệch ở đây là sai lệch về vị trí và đồng thời là sai lệch về giá trị màu

Ký hiệu D(f1,f2) là sự sai khác giữa hai khung hình f1, f2 Sự sai khác này lớn hơn một ngưỡng nào đó sẽ xác định được có đối tượng chuyển động giữa hai khung hình Sự thay đổi trên khung hình được tính toán trên một đặc trưng nhất định Thông thường, các đặc trưng được sử dụng là nội dung màu sắc là biểu đồ (biểu đồ màu hoặc biểu đồ mức xám), cạnh, vectơ chuyển động, góc hay kết cấu hình ảnh (texture)

Để thực hiện được kỹ thuật này ta cần:

 Xác định đặc trưng cần so sánh

 Xác định công thức trừ ảnh D

 Xác định ngưỡng sai khác Tb Những sai khác lớn hơn ngưỡng là những giá trị cần xem xét và là dấu hiệu có đối tượng

2.1.1 Trừ ảnh dựa vào điểm ảnh

Về cơ bản, đây là thao tác thực hiện so sánh các cặp điểm ảnh tương ứng trên hai ảnh liên tiếp Trừ ảnh dựa vào điểm ảnh là phương pháp đơn giản nhất để xác định sự khác biệt giữa hai khung hình Phương pháp này được tính dựa vào giá trị biểu diễn sự chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng trên hai khung hình:

( )

∑ ∑| ( ) ( )|

( ) { | ( ) ( )|

( )

∑ ∑ ( )

Nếu tỷ lệ số điểm ảnh thay đổi D(f1,f2) lớn hơn ngưỡng T1 thì đó có sự khác biệt về hình ảnh, có sự chuyển động Tuy các thay đổi không liên quan trong khung hình đó được loại bỏ bớt nhưng hướng tiếp cận này vẫn nhạy với các di chuyển camera và đối tượng Chẳng hạn, khi camera quay theo đối

(2.1)

(2.2)

(2.3)

tượng, rất nhiều điểm ảnh được cho là thay đổi, dù trên thực tế có ít điểm ảnh dịch chuyển Kết quả này là do khi camera quay theo đối tượng thì cường độ của một số điểm ảnh dịch chuyển ít bị thay đổi nên sẽ bị hiểu là có sự dịch chuyển của các điểm ảnh này Để làm giảm sự ảnh hưởng này, ta có thể sử dụng một bộ lọc trơn: trước khi so sánh, mỗi điểm ảnh được thay thế bằng giá trị trung bình của các điểm ảnh lân cận

Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm ảnh với việc chiếu sáng Khi đó người ta điều chỉnh độ sai khác giá trị điểm ảnh bằng cách chia nó cho cường độ của điểm ảnh trên khung hình thứ hai Ảnh thu được từ độ chênh lệch hiệu chỉnh là ảnh chromatic:

Phương pháp trừ giá trị điểm ảnh cơ bản là tính toán từ các giá trị điểm ảnh nhưng có thể mở rộng đối với các ảnh màu Ví dụ với ảnh màu RGB (RED, GREEN, BLUE – màu đỏ, màu xanh lá, màu xanh dương), ta tính tổng

có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh

( ) ∑ ∑ ∑ | ( ) ( )|

* +

2.1.2 Trừ ảnh dựa vào khối

Với ý tưởng chia ảnh thành các miền sau đó tiến hành so sánh các miền tương ứng nên trái ngược với hướng tiếp cận sử dụng các đặc tính toàn cục của cả khung hình, hướng tiếp cận phân khối sử dụng các đặc tính cục bộ nhằm tăng tính độc lập với các di chuyển của camera và đối tượng Mỗi khung hình được chia thành b khối Các khối trên khung hình f1 được so sánh với các khối tương ứng trên khung hình f2 Về cơ bản, độ chênh lệch giữa hai khung hình được tính như sau:

(2.4)

(2.5)

(2.6) ( ) ∑ ( )

, là giá trị cường độ trung bình của khối thứ k

, là độ chênh lệch tương ứng với hai khối

( ) { Chuyển động được coi là xảy ra khi số các khối thay đổi đủ lớn, nghĩa là D(f1,f2) > T2 và Ck=1 cho tất cả các khối

Một hướng tiếp cận khác là chia khung hình thành nhiều miền và tìm miền thích hợp nhất cho mỗi miền ở khung hình kia Độ chênh lệch tính bằng

kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền được sắp xếp Tổng các trọng số của các chênh lệch đó sắp xếp cho ta kết quả D cuối cùng

Một phương pháp khác phát hiện chuyển động chỉ bằng việc so sánh một phần của ảnh Phương pháp này chỉ ra rằng, sai sót mắc phải hoàn toàn có thể

bỏ qua nếu ít hơn một nửa số các cửa sổ cơ sở (các ô vuông chồng nhau) đều được kiểm tra Với giả thiết rằng, trong trường hợp thay đổi nhiều nhất giữa hai khung hình thì kích thước các cửa sổ được chọn đủ lớn để bất biến với các thay đổi không làm vỡ và đủ nhỏ để có thể chứa thông tin về không gian

(2.7)

(2.8)

nhiều chừng nào có thể Các cửa sổ cơ sở được so sánh và tính độ chênh lệch mức xám hoặc giá trị màu của các điểm ảnh Khi giá trị chênh lệch lớn hơn một ngưỡng nào đó thì xem như miền đang xét đó thay đổi Khi số miền thay đổi lớn hơn một ngưỡng khác thì sự chuyển động xảy ra Thực nghiệm cho thấy rằng hướng tiếp cận này cho tốc độ nhanh hơn phương pháp so sánh từng cặp điểm

Hình 2.1 Các cửa sổ cơ sở trong thuật toán.

Một số nghiên cứu mở rộng ý tưởng lấy mẫu theo không gian thành lấy mẫu theo không gian và thời gian Thuật toán này so sánh hai khung hình I và

2.1.3 Trừ ảnh dựa vào biểu đồ

Với ý tưởng là so sánh sự phân bố thuộc tính ví dụ như biểu đồ màu, biểu đồ mức xám,… Tiếp cận này hường đến mục tiêu làm giảm ảnh hưởng của sự chuyển camera và đối tượng là thực hiện trừ ảnh dựa vào biểu đồ Biểu

đổ mô tả sự phân bố giá trị điểm ảnh của khung hình Ý tưởng của cách tiếp

cận này là các ảnh có nền không đổi và đối tượng không đổi sẽ có chênh lệch

ít trong biểu đồ Hơn nữa biểu đồ bất biến với việc quay ảnh và thay đổi ít khi góc nhìn thay đổi

Có thể dựng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai khác giữa hai khung hình Biểu đồ màu (mức xám) của khung hình i là một vector G chiều

( ( ) ( ) ( )) Với G là số màu (mức xám),

Hi(j) là số điểm ảnh của khung hình i có màu (mức xám) j

Phương pháp trừ ảnh dựa trên biểu đồ có thể sử dụng biểu đồ toàn cục hoặc biểu đồ cục bộ Biểu đồ toàn cục là biểu đồ biểu diễn sự phân bố giá trị màu (mức xám) của toàn bộ khung hình Còn biểu đồ cục bộ chỉ mô tả sự phân bố của một phần nào đó của khung hình mà thôi

Biểu đồ toàn cục là phương pháp đơn giản nhất là tính tổng sự sai khác các cột của biểu đồ

Hình 2.2 So sánh biểu đồ giữa hai ảnh

Cách thứ ba là sử dụng phần giao nhau của hai biểu đồ Vùng biểu đồ chồng nhau, phần gạch chéo trong hình trên, cho biết độ tương tự về nội dung hai ảnh có thể được định nghĩa như sau:

( ) ( ) ∑ ( ( ) ( ))

∑ ( ( ) ( ))Một hướng tiếp cận sử dụng biểu đồ khác là xem một biểu đồ là vectơ và

Để biểu diễn sự phân bố của màu với ảnh 24 bit, phải tạo biểu đồ với

2563 cột, mỗi cột ứng với một bộ ba RGB có thể có Có thể dựng thuật toán nhanh tính toán với biểu đồ, nhưng ta thường áp dụng giải pháp thô: dựng biểu đồ với số cột ít hơn Yihong dựng giải pháp biểu đồ 8 mức RGB kết quả

là biểu đồ có 28 = 256 cột

( ) Trong đó, DG, DB, DR là chênh lệch biểu đồ màu thành phần green, blue, red

Trọng số có thể lựa chọn như sau:

( ) Nói chung, người thường chỉ dựng 20 cột có số điểm ảnh nhiều nhất để

so sánh Còn có một cách khác làm giảm số cột của biểu đồ là chỉ dựng 2 bit cao nhất cho cường độ mỗi màu thành phần để mã hoá màu của điểm ảnh Như vậy việc so sánh biểu đồ chỉ cần thực hiện với 64 cột Các nghiên cứu chỉ ra rằng 256 màu là đủ biểu diễn sự phân bố màu của các cảnh Novak

và Safer thì chỉ chia các cột biểu đồ thành hai loại “full” và “Empty” để ước

lượng thuộc tính bề mặt và điều kiện ánh sáng cho các đối tượng đơn

Chênh lệch biểu đồ có thể được tính bằng công thức Kolmogorov– Sminov như sau:

( ) ( )

( ) ( )Trong đó :

là phần chung giữa hai biểu đồ

, là phần khác nhau của hai biểu đồ

m, n là số cột tương ứng của hai biểu đồ

Công thức này có thể áp dụng cho cả những trường hợp hai biểu đồ có số cột khác nhau

Một hướng khác là dùng biểu đồ cục bộ Như đã đề cập, phương pháp trừ ảnh dựa vào biểu đồ là phương pháp ít chịu ảnh hưởng của nhiễu và di chuyển đối tượng Tuy vậy cũng có một số trở ngại Đầu tiên, biểu đồ chỉ mô

tả sự phân bổ các giá trị màu hay mức xám mà không bao hàm bất cứ thông tin nào về không gian Hai ảnh có cùng biểu đồ màu nhưng có nội dung rất khác nhau Trở ngại khác là rất có thể các vùng ảnh nhỏ khi thay đổi sẽ gây chú ý nhưng lại không có vai trò gì trong biểu đồ và do đó có thể bị bỏ qua khi thực hiện trừ ảnh Để giải quyết vấn đề đó chúng ta sẽ kết hợp trừ ảnh dựa vào biểu đồ với kỹ thuật trừ ảnh phân khối Trừ ảnh phân khối quan tâm đến thông tin về không gian Về cơ bản phương pháp này tốt hơn việc so sánh từng cặp điểm ảnh, nhưng nó vẫn chịu tác động của sự di chuyển camera và di chuyển của đối tượng Bằng cách kết hợp hai ý tưởng, chúng ta vừa có thể giảm được sự tác động của các di chuyển camera và đối tượng, vừa sử dụng thông tin về không gian ảnh, và do đó cho kết quả phân đoạn tốt hơn

(2.19)

(2.20)

Ý tưởng chính là ta sẽ chia khung hình thành b khối, đánh số từ 1 đến b

So sánh biểu đồ của các khối tương ứng rồi tính tổng chênh lệch để có kết quả trừ ảnh cuối cùng

( ) ∑ ∑( ( ) ( ))

( )

* +

2.1.4 Trừ ảnh dựa vào thống kê

Phương pháp sai khác thống kê dựa vào phương pháp trừ giá trị điểm ảnh, nhưng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnh thành các miền rồi so sánh các đại lượng thống kê điểm ảnh của miền đó Một cách là ta sử dụng thống kê tỉ lệ số điểm ảnh thay đổi trên toàn bộ khung hình Ta sử dụng một giá trị d là ngưỡng sai khác được tính giữa hai điểm ảnh tương ứng Gọi S là tập các điểm ảnh có sai khác lớn hơn d:

2.1.5 Trừ ảnh dựa vào đặc trưng

Với việc coi đặc trưng là các vector chuyển động trong các đoạn video, người ta thường thấy các hiệu ứng do chuyển động của camera, như pan (quét), zoom (zoom in – phóng to, zoom out – thu nhỏ), tilt (nghiêng) Để nâng cao hiệu quả phân đoạn, kỹ thuật trừ ảnh dựa vào đặc trưng là vectơ chuyển động được sử dụng để phát hiện các hiệu ứng kiểu này

Các mẫu vector chuyển động thu được từ các di chuyển camera khác nhau được thể hiện trong hình dưới đây

Hình 2.3 Mẫu vector cho các di chuyển camera

Để phát hiện xem đoạn phim được phóng to hay thu nhỏ ta có thể sử dụng vectơ chuyển động để nghiên cứu Tuy nhiên, một số nghiên cứu khác lại sử dụng vectơ chuyển động như là một phần của việc trừ ảnh phân khối dựa vào điểm ảnh để quyết định xem có phải có một lượng lớn các đối tượng

di chuyển hay camera trong chuyển cảnh

Với việc coi đặc trưng là cạnh, ta có một hướng tiếp cận khác cho việc phân loại và phát hiện có chuyển động là sự phát hiện sự xuất hiện các cạnh (biên cường độ) trong một khung hình, chúng cách các cạnh trong khung hình trước một khoảng nhất định Phương pháp này tỏ ra chính xác hơn phương pháp dựa vào biểu đồ và độ nhạy với chuyển động thấp hơn nhiều so với gam màu

là tách nền Quy trình tổng quan của kỹ thuật trừ nền có thể được mô tả như lược đồ trên

Các thay đổi chính đối với nền được phân loại thành:

 Theo sự thay đổi độ sáng (illumination changes)

o Thay đổi độ sáng từ từ do nguồn sáng (mặt trời) chuyển động

o Thay đổi độ sáng đột ngột do nguồn sáng bị thay đổi: trời chuyển giữa mưa và nắng, đèn trong phòng chuyển từ bật sang tắt hoặc ngược lại

o Ảnh hưởng của nguồn sáng tới bóng của vật trên nền

 Thay đổi chuyển động (motion changes)

o Hình ảnh thay đổi do camera dịch chuyển

o Chuyển động trong các thành phần của nền như cành cây đung đưa, nước chảy…

 Thay đổi được báo trước: Chuyển động của chiếc ô tô từ từ dời khỏi điểm đỗ, người di chuyển ra khỏi phòng…

Một trong những phương pháp hiệu quả và hay được sử dụng để mô hình hóa nền đó là mô hình Gauss hỗn hợp

Ta nhận thấy rằng tại thời điểm t bất kỳ, điểm ảnh trong khung hình I chịu tác động của nhiều yếu tố như ánh sáng, môi trường cũng như sự chuyển động của chính điểm ảnh Chính vì vậy, nếu chỉ dùng một mô hình Gauss thì

sự biến động của các biến cố là không được cập nhật hết Do đó, cần thiết phải sử dụng mô hình Gauss hỗn hợp

Tại mỗi thời điểm, giá trị của các tham số phân phối Gauss được cập nhật, mô hình lại đánh giá lại các điểm ảnh một cách heuristic để xác định xem điểm ảnh nào có xu hướng thuộc về mô hình nền Các điểm ảnh được

đánh giá là nổi trội sẽ được gom nhóm lại và được “bám sát” trong các khung

hình kế tiếp

Ta coi giá trị của một điểm ảnh cụ thể theo thời gian như một tiến trình

xử lý điểm ảnh Tiến trình này là một chuỗi thời gian gồm các giá trị điểm ảnh có thể là vô hướng cho ảnh xám hay vectơ với ảnh màu Tại một thời điểm bất kỳ, điểm ảnh t có giá trị * + được xác định trong tập:

* + * ( ) +Trong đó, I là chuỗi ảnh Một số tiến trình xử lý điểm ảnh được mô tả bằng sự phân phối màu, mô tả tính cần thiết của hệ thống ngưỡng tự động Giá trị của mỗi điểm thể hiện một phép đo độ sáng theo hướng của cảm biến của đối tượng đầu tiên bị phân cắt bởi tia sáng tới điểm Trong một nền

(2.26)

tĩnh và ánh sáng động, giá trị này sẽ là một hằng số Với giả định độc lập, nhiễu Gauss không xuất hiện trong tiến trình lấy mẫu và mật độ phân phối được mô tả bằng một phân phối Gauss đơn tập trung tại giá trị điểm trung bình Nhưng trên thực tế, chuỗi video thường gồm các thay đổi về ánh sáng

về cảnh và cả các đối tượng di chuyển

Nếu ánh sáng thay đổi trong một khung cảnh tĩnh ta cần một hàm Gauss

để theo những thay đổi này Khi một đối tượng tĩnh được thêm vào khung cảnh mà không được tích hợp vào nền thì đối tượng đó sẽ được xem là điểm nổi trội trong một khoảng thời gian chấp nhận được Chính điều này gây ra lỗi tích lũy đối với xấp xỉ nổi trội và gây lỗi cho quá trình bám sát Những nhân

tố này cho thấy các quan sát trong thời điểm gần là quan trọng trong xác định tham số Gauss

Bên cạnh đó, một số đặc tính khác cũng xuất hiện khi thêm một đối tượng có chuyển động vào khung hình Đối tượng chuyển động sẽ sinh ra nhiều dao động hơn đối tượng tĩnh Tuy nhiên, một cách tổng quan, vẫn cần

có thêm dữ liệu để hỗ trợ phân phối nền vì các dữ liệu được lặp lại trong khi các giá trị điểm với các đối tượng khác nhau thường không cùng màu

Các nhân tố này được lựa chọn để cập nhật thủ tục Với các điểm ảnh được mô hình bằng phân phối Gauss thứ K Khả năng quan sát được điểm ảnh hiện tại được tính bằng công thức

( ) ∑ ( ∑

Trong đó:

K là số lượng phân phối Gauss

là xấp xỉ của trọng số của hàm phân phối Gauss thứ i tại thời điểm

t trong công thức

là giá trị trung bình của phân phối Gauss thứ thứ i tại thời điểm t

(2.27)

là hàm mật độ phân phối Gauss được tính theo công thức

( ∑ ) ( ) |∑ | ( )( ) ∑ ( )

K được xác định bằng bộ nhớ trống và khả năng tính toán Thông thường, ta hay lấy giá trị trong khoảng [3,5]  là ma trận hiệp phương sai cấp

n, có các phần tử dạng ∑ Công thức ∑ được tính dựa vào tính chất các màu trong kênh RGB là độc lập và có cùng độ lệch

Phân phối quan sát được của mỗi điểm ảnh trong khung cảnh được mô hình hóa bằng hàm hỗn hợp Gauss Một giá trị điểm ảnh mới được thể hiện bằng các thành phần chính của mô hình hỗn hợp và được sử dụng để cập nhật

mô hình

Tiến trình xử lý điểm ảnh được xem là tiến trình tĩnh, một phương pháp chuẩn để cực đại hóa dữ liệu quan sát được là dùng giá trị kỳ vọng cực đại Nhưng trong thực tế, các điểm ảnh trong khung hình là chuyển động do đó ta cần sử dụng phương pháp xấp xỉ, phương pháp này coi các tập quan sát mới

là một tập mẫu với kích thước là 1 và sử dụng các luật học chuẩn để tích hợp vào dữ liệu mới

Với các điểm ảnh trong khung hình, ta xây dựng một mô hình hỗn hợp,

do đó, chi phí cài đặt thuật toán EM trong cửa sổ dữ liệu hiện tại sẽ tốn kém Thay vào đó chúng ta cài đặt một xấp xỉ K-mean trực tuyến Mọi giá trị điểm ảnh mới Xt sẽ được kiểm tra xem với phân phối Gauss K cho tới khi tìm thấy

sự phù hợp Điểm ảnh được kết luận là phù hợp nếu có sự sai lệch 2.5 đơn vị

so với phân phối chuẩn Ngưỡng này là chấp nhận được và hiệu quả trong trường hợp các vùng khác nhau có ánh sáng khác nhau; các đối tượng trong vùng tối (bóng của ánh sáng) không bị nhiễu như đối tượng ở vùng sáng Nếu không có giá trị nào phù hợp với phân phối K, phân phối nhỏ nhất được thay thế bằng phân phối với giá trị hiện tại, giá trị khởi tạo biến động lớn và trọng số thấp Trọng số ưu tiên của phân phối K tại thời điểm t, ( )

(2.28)

được điều chỉnhnhư sau:

( ) ( )Trong đó:

là tỷ lệ học

bằng 1 với mô hình phù hợp và có giá trị bằng 0 trong các trường hợp còn lại

Sau khi tính xấp xỉ, các trọng số được thiết lập lại ⁄ định nghĩa hằng

số thời gian xác định tốc độ tham số phân phối thay đổi là bộ lọc trung bình của khả năng trước đó, khi giá trị điểm ảnh phù hợp với mô hình k quan sát được trong thời gian từ 1 tới t Điều này là phù hợp với sự mong đợi của giá trị này trong cửa sổ số mũ của giá trị trước đó

Tham số  và  được sử dụng cho những phân phối không phù hợp Các tham số của phân phối phù hợp với quan sát mới được cập nhật theo công thức

( ) ( ) ( ) ( ) Trong đó : ( | )

Phương pháp này có ưu điểm chính là khi kết nạp thêm điểm vào nền thì

mô hình nền cũ không bị ảnh hưởng Màu nền của nền gốc sẽ được duy trì cho tới khi tìm được phân phối thứ K thích hợp nhất và màu mới quan sát được Do đó, một đối tượng xuất hiện đủ lâu để trở thành nền rồi mới di chuyển thì phân phối mô tả nền trước đó tồn tại với tham số và trọng số

 thấp sẽ được nhanh chóng kết hợp vào nền

Để xấp xỉ mô hình nền, ta cần xác định phân phối Gauss nào là thích hợp nhất trong tiến trình sinh nền Thông thường ta lựa chọn phân phối Gauss có nhiều căn cứ hỗ trợ và ít biến đổi

(2.29)

(2.30) (2.31)

Khi có một đối tượng tĩnh xuất hiện trong khung hình trong một khoảng thời gian dài, ta coi các căn cứ hỗ trợ và hằng số biến đổi cho nền là thấp Ngược lại, khi có đối tượng mới chiếm giữ đối tượng nền thì sẽ không có sự phù hợp với phân phối hiện tại Lúc này sẽ có một phân phối mới được hình thành và làm tăng mức biến đổi của phân phối hiện tại Mức biến đổi của đối tượng chuyển động được kỳ vọng là lớn hơn điểm ảnh nền cho tới khi đối tượng dừng di chuyển Để mô hình trường hợp này ta cần phương pháp quyết định phần nào của mô hình hỗn hợp phù hợp với tiến trình thể hiện nền

Trước hết phân phối Gauss được sắp xếp theo giá trị ⁄ Giá trị này tăng khi các chứng cứ hỗ trợ và các biến của phân phối thay đổi Sau khi xác định lại giá trị của hỗn hợp ta cần sắp xếp lại từ các phân phối thích hợp nhất tới phân phối nền có thể, vì chỉ có giá trị mô hình phù hợp tương ứng mới thay đổi Trật tự mô hình này hiệu quả vì các phân phối nền phù hợp nhất ở trên và những phân phối ít phù hợp được sắp dưới cùng Các phân phối phía dưới có thể được thay bằng phân phối mới

Sau đó, phân phối B đầu tiên được lựa chọn làm mô hình nền là

(∑

)

Với T là phép đo phần nhỏ nhất của dữ liệu được tính cho nền

Phân phối này là phân phối tốt nhất trong vùng dữ liệu đang xem xét Khi có một giá trị T nhỏ hơn được chọn thì mô hình nền thường là phương thức duy nhất Trong trường hợp này phân phối có khả năng cao nhất sẽ được lưu lại

Nếu có giá trị lớn hơn T thì phân phối đa phương thức được thực hiện bởi phép lặp nền chuyển động (ví dụ: lá trên cây, cờ treo trước gió…) Quá trình này có thể có nhiều hơn một màu được chứa trong mô hình nền Kết quả này cho phép mô hình nền có thể có nhiều hơn một màu

(2.32)

2.2 Hậu xử lý với các phép toán hình thái

Với các kỹ thuật trừ ảnh, thông thường kết quả trực tiếp ta thu được sẽ là một ảnh nhị phân với những vùng trắng là vùng chuyển động, các vùng đen là vùng nền Trong thực tế, với những video có chuyển động phức tạp với nhiều đối tượng di chuyển, chẳng hạn như video từ camera quay đường phố Với tình trạng giao thông như ở Việt Nam, các đối tượng di chuyển khá lộn xộn và điều kiện chiếu sáng phức tạp dẫn đến tình trạng ánh sáng thay đổi mạnh trong ngày đối với camera cũng như việc bóng của đối đối tượng dính vào các đối tượng khác Các phép toán hình thái là một công cụ để xây dựng những giải pháp cho những tình huống như vậy, nhờ vào đó, ta có thể giảm thiểu sự ảnh hưởng của việc các đối tượng bị dính hoặc một đối tượng bị chia thành nhiều vùng sát nhau

Các phép toán hình thái là một lý thuyết và kỹ thuật trong xử lý ảnh để phân tích và xử lý cấu trúc hình học trong ảnh dựa trên sử dụng lý thuyết tập hợp các cấu trúc liên kết và cả những chức năng ngẫu nhiên Ngoài hình ảnh

kỹ thuật số, lý thuyết về các phép toán hình thái toán học nó có thể được vận dụng vào nhiều các cấu trúc không gian khác

Các phép toán hình thái được phát triển cho hình ảnh nhị phân và sau đó được mở rộng cho ảnh đa mức xám, Đây là một trong những kỹ thuật được

áp dụng trong giai đoạn tiền xử lý Ta có hai phép toán thường dùng là phép giãn nở và phép co Sau đó từ hai phép toán cơ bản này người ta phát triển thành một số phép toán như phép đóng và phép mở

 Dilation gọi là D(i): giãn nở

 Erosion gọi là E(i): co

 Một chu trình E(i)-D(i) gọi là phép mở

 Một chu trình D(i)-E(i) gọi là phép đóng

Trong các ứng dụng thị giác máy tính, xử lý hình thái học có thể được sử