Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và ứng dụng giám sát tự động trong siêu thị

Việc pháthiện ra các đối tượng chuyển động trong camera nhờ các kỹ thuật xử lý ảnh đã đoán nhận một số hành vi của đối tượng là một việc làm có ý nghĩa khoahọc và thực tiễn.. Do vậy em c

TRƯƠNG MINH THƯƠNG

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG TỪ CAMERA VÀ ỨNG DỤNG GIÁM SÁT TỰ ĐỘNG TRONG SIÊU THỊ

Chuyên ngành

Mã số

: Khoa học máy tính : 8480101

Người hướng dẫn: TS Lê Thị Kim Nga

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu,kết quả nêu trên trong luận văn là trung thực và có nguồn gốc rõ ràng.

Quy Nhơn, ngày 26 tháng 07 năm

2019 Học viên

Trương Minh Thương

Trước hết em xin được bày tỏ lòng biết ơn sâu sắc đối với cô giáohướng dẫn TS Lê Thị Kim Nga, Khoa Công nghệ thông tin – Trường Đạihọc Quy Nhơn đã tận tình giúp đỡ, hướng dẫn em trong thời gian vừa qua và

đã dành rất nhiều thời gian quý báu để giúp em hoàn thành đề tài luận vănđược giao Em xin chân thành cảm ơn cô

Em xin gửi lời cảm ơn đến các Thầy cô giáo trong Khoa Công nghệthông tin, trường Đại học Quy Nhơn đã giảng dạy em trong suốt quãng thờigian qua, cung cấp cho chúng em những kiến thức chuyên môn cần thiết vàquý báu giúp chúng em hiểu rõ hơn các lĩnh vực đã nghiên cứu để hoàn thành

đề tài luận văn được giao

Cuối cùng, em xin cảm ơn gia đình và bạn bè đã động viên cổ vũ, đónggóp ý kiến cho em trong suốt quá trình học cũng như làm luận văn tốt nghiệp,giúp em hoàn thành đề tài luận văn đúng thời hạn

Quy Nhơn, ngày 26 tháng 07 năm

2019 Học viên

Trương Minh Thương

MỞ ĐẦU

1 Lý do chọn đề tài:

Ngày nay, Sự phát triển của công nghệ thông tin đã xâm nhập vào hầuhết các mặt của đời sống xã hội với những ứng dụng rộng rãi hỗ trợ cho conngười trên nhiều lĩnh vực, trong đó có lĩnh vực giám sát, an ninh

Hiện nay, thông tin hình ảnh đóng vai trò rất quan trọng trong trao đổithông tin, bởi vì phần lớn các thông tin mà con người thu nhận được đềuthông qua thị giác Trong các lĩnh vực công nghệ thông tin thì lĩnh vực giámsát tự động đã và đang thu hút được sự quan tâm của các nhóm nghiên cứutrong và ngoài nước Giám sát tự động là một hướng mới được nghiên cứu

và phát triển trong lĩnh vực nhận dạng và xử lý ảnh và tạo cách tiếp cận chophần mềm thiết kế chuyên dụng cho các thiết bị giám sát tự động Việc pháthiện ra các đối tượng chuyển động trong camera nhờ các kỹ thuật xử lý ảnh

đã đoán nhận một số hành vi của đối tượng là một việc làm có ý nghĩa khoahọc và thực tiễn

Ở nước ta hiện nay, lĩnh vực giám sát tự động đã có những bước pháttriển đáng kể Tuy nhiên, trong lĩnh vực siêu thị thì mới chỉ dựa vào phần cứng và

sự phân tích giám sát của con người Việc giải quyết vấn đề này theo

hướng phần mềm đang được nghiên cứu và phát triển Do vậy em chọn đề

tài: “Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera

và ứng dụng giám sát tự động trong siêu thị” nhằm nghiên cứu và ứng dụng

phát hiện đối tượng khách hàng trong các gian hàng của siêu thị

2 Tổng quan tình hình nghiên cứu đề tài:

Vấn đề phát hiện đối tượng đang được nghiên cứu và có nhiều ứng dụngtrong cuộc sống Các đối tượng được phát hiện nhờ những thông tin trong

một frame ảnh Có rất nhiều hướng tiếp cận để giải quyết vấn đề trên.

Việc lựa chọn phương pháp áp dụng phải dựa vào tình huống cụ thể, đốivới trường hợp có ảnh nền không thay đổi việc phát hiện đối tượng chuyểnđộng có thể bằng các phương pháp trừ nền Hướng giải quyết là xây dựng môhình nền, sau đó sử dụng mô hình này cùng với frame hiện tại để rút ra được

các foreground chuyển động Để có thể tiếp cận cần phải xây dựng được mô hình background.

Trong luận văn này, Thuật toán trừ nền xác định mức xám của ảnh Video

từ một camera tĩnh, sau đó khởi tạo một nền tham khảo với frame đầu tiên củaVideo đầu vào Sau đó, thực hiện trừ giá trị cường độ của mỗi điểm ảnh trongảnh hiện thời cho giá trị tương ứng trong ảnh nền tham khảo

3 Mục đích và nhiệm vụ nghiên cứu:

Nghiên cứu cơ sở lý thuyết, sơ đồ thuật toán, hoạt động của một số kỹthuật phát hiện đối tượng chuyển động từ camera, trên cơ sở đó áp dụng thửnghiệm với dữ liệu video thu được từ hệ thống camera giám sát trong siêu thị

4 Đối tượng và phạm vi nghiên cứu:

4.1 Đối tượng:

 Nghiên cứu các kỹ thuật xử lý ảnh và video phục vụ phát hiện đối tượngchuyển động từ camera

 Nghiên cứu bài toán phát hiện đối tượng chuyển động

 Các công trình đã nghiên cứu về phát hiện đối tượng chuyển động

 Các thuật toán, phương pháp áp dụng trong vấn đề này

4.2 Phạm vi:

Phạm vi nghiên cứu là với các dữ liệu video thu từ nguồn camera giám sát, cụ thể là từ hệ thống camera an ninh siêu thị MM Mega Market Quy

Nhơn

5 Phương pháp nghiên cứu:

Phương pháp nghiên cứu của đề tài là lý thuyết kết hợp với thực nghiệm

 Bước 1: Sưu tập tài liệu liên quan.

 Bước 2: Nghiên cứu lý thuyết về xử lý ảnh.

 Bước 3: Nghiên cứu các kỹ thuật, thuật toán phát hiện đối tượng

chuyển động trong camera

 Bước 4: Tìm hiểu về bài toán phát hiện đối tượng chuyển động.

 Bước 5: Xây dựng chương trình thực nghiệm.

 Bước 6: Đánh giá và hiệu chỉnh thuật toán, chương trình.

Chương 1 TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN

Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vàonhằm cho ra kết quả mong muốn Kết quả đầu ra của một quá trình xử lý ảnh

có thể là một ảnh “tốt hơn” hoặc một kết luận nào đó.

Hình 1.1 Quá trình xử lý ảnh.

Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như

là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của

đối tượng trong không gian và nó có thể xem như một hàm n biến P(c1, c2, ,

cn) Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều.

Sơ đồ tổng quát của một hệ thống xử lý ảnh:

Hình 1.2 Các bước cơ bản trong một hệ thống xử lý ảnh.

Trong sơ đồ trên, ảnh cần được xử lý được thu nhận thông qua hệ thốngthu nhận ảnh Hệ thống thu nhận ảnh này bao gồm các thiết bị chụp nhưcamera, máy quét scanner, máy chụp hình… Ảnh sau khi thu nhận được qua

hệ thống thu nhận, ảnh sẽ được lấy mẫu và số hóa, sau đó sẽ được phân tíchtheo các loại ảnh Có rất nhiều loại ảnh khác nhau, chúng được lưu trữ dướicác file khác nhau như: file Bitmap, file PCX, file Gif… Ảnh sau khi phântích sẽ được lưu trữ và tùy theo từng ứng dụng cụ thể mà chọn ra cách thíchhợp để phân tích

Vì vậy, Mục đích của xử lý ảnh là:

 Biến đổi ảnh và làm cho ảnh đẹp

 Tự động phân tích nhận dạng ảnh hay đoán nhận ảnh và đánh giá các nộidung của ảnh

1.1.2 Một số vấn đề cơ bản trong xử lý ảnh.

Tiền xử lý: Tiền xử lý là giai đoạn đầu tiên trong xử lý ảnh số Tùy thuộc

vào quá trình xử lý tiếp theo trong giai đoạn này sẽ thực hiện các công đoạnkhác nhau như: nâng cấp, khôi phục ảnh, nắn chỉnh hình học, khử nhiễu…

Trích chọn đặc điểm: Các đặc điểm của đối tượng được trích chọn tùy

theo mục đích nhận dạng trong quá trình xử lý ảnh Trích chọn hiệu quả cácđặc điểm giúp cho việc nhận dạng các đối tượng ảnh chính xác, với tốc độtính toán cao và dung lượng nhớ, lưu trữ giảm

Đối sánh, nhận dạng: Nhận dạng tự động, mô tả đối tượng, phân loại và

phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, được ứngdụng trong nhiều ngành khoa học khác nhau Mẫu có thể là ảnh của vật nào

 Công nghiệp tự động hóa: Công nghệ chế tạo rô-bốt, xe tự hành…

 Xử lý ảnh y tế: Phân tích ảnh điện tâm đồ ECG- Electrocardiogram, điệnnão đồ EEG- Electroencephalogram, đo điện cơ EMG- Electromyography; phântích ảnh X-quang,…

 Viễn thám: Nghiên cứu và quản lý tài nguyên thiên nhiên, kiếm soát ônhiễm môi trường, dự báo thời tiết, xác định thay đổi thời tiết dựa vào ảnh thunhận từ vệ tinh, phân tích mẫu mây…

 Kiểm soát tội phạm (Criminology): nhận dạng vân tay, đối sánh mặt người, giám định pháp y…

1.2 Vấn đề xử lý video

1.2.1 Sơ lược về lịch sử video

Khái niệm video đã xuất hiện từ rất lâu theo sự xuất hiện của những phátkiến về hình ảnh chuyển động Năm 1834, nhà toán học William GeorgeHorner phát minh ra máy Zeotrope, một thiết bị dùng để tạo sự chuyển động

từ một dãy ảnh liên tục Phát minh này có thể coi là sự mở màn cho công cuộckhai sinh ra ảnh video Năm 1877, Emile Reynaud cải tiến chiếc zeotropethành praxinoscope Hình ảnh thu nhận được từ máy này rõ ràng hơn từ

zeotrope Năm 1889, George Eastman đã phát minh ra phim chụp ảnh linhhoạt, cho phép lưu trữ nhiều hình ảnh trên một cuộn phim Đến năm 1895,Louis Lumiere là một trong những người đầu tiên đưa ra hệ thống máy chiếuphim Đây cũng là thời điểm đánh dấu sự phát triển của phim với hình ảnhchuyển động.

Kỹ thuật video được phát triển đầu tiên cho hệ thống ti vi sử dụng bóngcathode CRT Trong thời kỳ này cũng có nhiều nhà khoa học nghiên cứu đểphát minh ra những kỹ thuật mới cho thiết bị hiển thị video Charles Ginsburg

đã cùng với đội nghiên cứu của mình phát triển chiếc băng ghi hình đầu tiênVTR-Video Tape Recorder Năm 1951, băng từ lần đầu tiên được sử dụng đểghi lại hình ảnh và đã thu được 50,000 bảng vào năm 1956 Tiếp sau đó lầnlượt là sự ra đời của băng cát sét ghi VCR- Video Cassette Recorder năm

1971 Ngày nay, công nghệ máy tính phát triển chúng ta đã có thể ghi, lưutrữ, chỉnh sửa và truyền thông tin hình ảnh qua mạng máy tính dưới dạng cácvideo clips

1.2.2 Một số khái niệm

Video là một tập hợp các khung hình (frames) Mỗi khung hình là mộthình ảnh, là đơn vị dữ liệu cơ bản nhất của video Video có thể được hiểu làmột chuỗi các hình ảnh liên tiếp Để mắt người có thể cảm nhận được sựchuyển động của các hình ảnh thì các khung hình phải được phát liên tục vớimột tốc độ nhất định Thông thường, tốc độ đó là 25 hình/giây hoặc 30hình/giây

1.2.3 Một số vấn đề cơ bản trong xử lý video

Video là do một chuỗi ảnh liên tiếp chuyển động tạo thành Để có thểtruyền tải video, các thông tin và dữ liệu này đƣợc mã hóa Do đó, để có thể

xử lý đƣợc các tín hiệu video bên cạnh việc xử lý các vấn đề khách quan nhƣđiều kiện ánh sáng, vị trí đặt camera… ta cũng cần quan tâm tới các vấn đề vềtiêu chuẩn nén của video

Về cơ bản hệ thống xử lý video gần giống với hệ thống xử lý ảnh Tuy nhiên,

do đặc trƣng chuyển động của hình ảnh nên ta cần quan tâm tới các vấn đề:

 Xác định đối tượng, số lượng đối tượng có trong ảnh

 Xác định đối tượng chuyển động trong ảnh: các đối tượng dời đi hay chuyển tới, chuyển động đơn hay chuyển động trong đám đông

 Tách đối tượng từ một nhóm đối tượng chuyển động

 Tách đối tượng với bóng của bản thân

1.3 Bài toán phát hiện đối tượng chuyển động

Phát hiện chuyển động là một bài toán quan trọng có ứng dụng rộng rãitrong các hệ thống phân tích dữ liệu video Chẳng hạn với các hệ thống giámsát tự động với các vấn đề yêu cầu tri thức từ lĩnh vực nhận dạng và xử lý ảnh

và tạo cách tiếp cận cho phần mềm thiết kế chuyên dụng cho các thiết bị giámsát tự động Việc phát hiện ra các đối tượng chuyển động trong camera nhờcác kỹ thuật xử lý ảnh để đoán nhận một số hành vi của đối tượng là một việclàm có ý nghĩa khoa học và thực tiễn Kết quả của việc phát hiện chuyển độngnhằm vào những gì thay đổi trên khung hình video, đây là cơ sở để thực hiệnrất nhiều thao tác xử lý, như phát hiện chuyển cảnh video, phát hiện trộm cắp

từ camera an ninh, phát hiện vi phạm giao thông như vượt đèn đỏ, lấn làn,ngược chiều từ camera đường phố…

Phát hiện đối tượng chuyển động là quá trình đưa ra các đối tượngchuyển động từ các khung hình video Với mỗi khung hình xử lý, hệ thốngcần đưa ra được các vị trí, các vùng là đối tượng chuyển động trong video.Quá trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạnvideo để phát hiện ra đối tượng chuyển động trong một đoạn hình ảnh theo

mô hình sau đây:

Hình 1.4 Các khối xử lý trong bài toán phát hiện đối tượng

Đối với bài toán phát hiện đối tượng chuyển động thường có hai cách tiếp cận chính sau đây:

 Dựa hoàn toàn vào phần cứng

 Dựa vào các kỹ thuật xử lý ảnh trên cơ sở xử lý các hình ảnh thu được,phân tích và kết luận xem có đối tượng chuyển động tại khu vực quan sát haykhông? Nếu có thì là đâu?

1.4 Hệ thống giám sát đối tượng đối với bài toán phát hiện đối tượng chuyển động

Việc xuất hiện và phổ biến các hệ thống camera giám sát cùng với các

mô đun giám sát đối tượng trên đó đóng một vai trò quan trọng đối với việcnghiên cứu bài toán phát hiện đối tượng trên video Khá nhiều hệ thốngcamera giám sát hiện nay khi được triển khai đều sẽ có đi kèm một số tính

năng phát hiện chuyển động một cách đơn giản, hoặc thậm chí đó có thể làmột tính năng được xây dựng nhúng trong nhiều dòng camera hiện đại Việctriển khai phổ biến các hệ thống camera là một động lực quan trọng đối vớinhững nhà nghiên cứu xử lý ảnh cũng như những nhà đầu tư trong lĩnh vựccông nghệ thông tin dồn nhiều sức lực và tiền bạc để tìm kiếm những giảipháp cho bài toán phát hiện đối tượng chuyển động trên dữ liệu video.

1.4.1 Lịch sử phát triển của hệ thống giám sát đối tượng

Dù ra đời muộn, vào nửa cuối của thập niên 90, hệ thống giám sát đốitượng đã trải qua những thăng trầm và có những kết quả đáng khích lệ và vẫnđang được tiếp tục nghiên cứu, phát triển

Hệ thống giám sát đối tượng trước tiên là thời kỳ của mạch tivi khép kín(CCTV-Closed Circuit Television) CCTV là một hệ thống gồm các camerađược kết nối theo một mạch kín hay vòng với các hình ảnh được gửi tới mànhình trung tâm hay được lưu trữ lại

Tiếp đến là sự ra đời của tín hiệu analog cùng với đĩa từ đã giúp lưu trữlại những thông tin giám sát Các hình ảnh thu nhận được từ camera đượclưu lại trong các băng từ (VHS- Video Home System) Tuy nhiên, trong thời

kỳ này thì hình ảnh được lưu lại chậm và tốn nhiều không gian lưu trữ Hằngngày, nhân viên phụ trách hệ thống phải thay băng, đĩa từ Hệ thống băng từnày được lưu trong khoảng thời gian 1 tháng, rồi được xóa đi để lưu lại chotháng kế tiếp

Hình 1.5 Phòng điều khiển hệ thống giám sát bằng đĩa từ truyền thống

(Nguồn video surveillance E6998-007 senior/feris/tian…)

Sự phát triển của kỹ thuật số đã đem lại những kết quả đáng ghi nhớ cho

hệ thống giám sát Các dữ liệu thu nhận được từ hệ thống camera được lưulại trực tiếp trên ổ đĩa cứng của máy tính Các dữ liệu này được bảo mật nhờtính năng khóa mã của máy tính và sự phát triển của Internet giúp các thôngtin được truyền đi từ máy này sang máy khác trong một khoảng thời gianngắn mà vẫn đảm bảo tính chính xác của dữ liệu

Hình 1.6 Phòng điều khiển hệ thống giám sát hiện đại (Nguồn: http://www securite-surveillance com/blog/index php/video-surveillance-la-

ville-de-mexico-signe-avec-thales/)

1.4.2 Các thành phần trong xây dựng hệ thống giám sát đối tượng

Trong hệ thống giám sát đối tượng, tất cả các thông tin về hình ảnh thunhận được từ camera hoặc hệ thống camera được truyền về trung tâm Tạiđây, các thông tin sẽ được phân tích, xử lý để đưa ra các quyết định phù hợp

Hệ thống giám sát đối tượng với quy mô nhỏ hay lớn đều cần có:

 Camera (hoặc hệ thống camera - với quy mô lớn): Trong hệ thống nhỏ

có thể chỉ cần một camera Đối với các hệ thống lớn, ta có một hệ thống camerađược đặt tại các khu vực cần quan sát Ví dụ như tại một tòa nhà ta cần đặt cameratại bãi đỗ xe, tại sảnh, cầu thang (cầu thang bộ, cầu thang máy), tại các tầng…

 Màn hình theo dõi (hoặc hệ thống màn hình): Trên một màn hình có thểđặt tương ứng với một camera hoặc chia chế độ màn hình hiển thị với các phânvùng ứng với số lượng camera…

 Đầu ghi hình DVR độc lập ( hoặc card DVR cắm máy tính).

Phòng có bố trí nhân viên để phụ trách quản lý và điều hành hệ thống

Hình 1.7 Mô hình hệ thống giám sát đối tượng.

1.5 Kết luận chương 1

Chương 1 đã giới thiệu cơ bản về xử lý ảnh số và video Trên cơ sở đó

đã trình bày một bài toán quan trọng đó là bài toán phát hiện đối tượngchuyển động Việc giải quyết bài toán phát hiện đối tượng chuyển động đã vàđang được ứng dụng vào các lĩnh vực trong đời sống xã hội đồng thời nó vẫnđang thu hút được sự quan tâm của nhiều nhóm nghiên cứu Một số kỹ thuật

xử lý ảnh đang được ứng dụng cho bài toán này có thể kể đến là: Kỹ thuật trừảnh dựa vào điểm ảnh, phương pháp biểu đồ, kỹ thuật trừ nền (BackgroundSubtraction) Trong chương 2 chúng ta sẽ tìm hiểu một số kỹ thuật phát hiệnđối tượng chuyển động này

Chương 2 KỸ THUẬT PHÁT HIỆN ĐỐI TƯỢNG

CHUYỂN ĐỘNG

Như đã phân tích ở chương 1, video được xem là một dãy N khung hìnhliên tiếp (f1, f2, …, fN), mỗi khung hình là một ảnh tĩnh Các hình ảnh có tínhliên tục được hiển thị lần lượt Độ sáng của một điểm ảnh cụ thể trong khunghình được coi là một hàm của thời gian f(x, y, t) trong đó (x, y) là tọa độ củađiểm ảnh trong không gian và t là thời gian xét khung hình

Quá trình phát hiện đối tượng chuyển động trong video được thực hiệnbằng việc phân tích các khung hình liên tiếp và cần đưa ra được các đốitượng chuyển động đối với khung hình hiện tại Thông thường, quá trình nàyđược thực hiện bằng một kỹ thuật trừ ảnh và sau đó đi kèm một số thao táchậu xử lý

2.1 Kỹ thuật trừ ảnh

Với kỹ thuật trừ ảnh, mục tiêu chính để kiểm tra xem giữa hai ảnh có sựsai lệch nhau hay không và xác định được vị trí của vùng sai lệch Cần phảilưu ý rằng sai lệch ở đây là sai lệch về vị trí và đồng thời là sai lệch về giá trịmàu

Ký hiệu D(f1,f2) là sự sai khác giữa hai khung hình f1, f2 Sự sai khác nàylớn hơn một ngưỡng nào đó sẽ xác định được có đối tượng chuyển động giữahai khung hình Sự thay đổi trên khung hình được tính toán trên một đặctrưng nhất định Thông thường, các đặc trưng được sử dụng là nội dung màusắc là biểu đồ (biểu đồ màu hoặc biểu đồ mức xám), cạnh, vectơ chuyển động,góc hay kết cấu hình ảnh (texture)

Để thực hiện được kỹ thuật này ta cần:

 Xác định đặc trưng cần so sánh

 Xác định công thức trừ ảnh D

 Xác định ngưỡng sai khác Tb Những sai khác lớn hơn ngưỡng là nhữnggiá trị cần xem xét và là dấu hiệu có đối tượng.

2.1.1 Trừ ảnh dựa vào điểm ảnh

Về cơ bản, đây là thao tác thực hiện so sánh các cặp điểm ảnh tương ứngtrên hai ảnh liên tiếp Trừ ảnh dựa vào điểm ảnh là phương pháp đơn giảnnhất để xác định sự khác biệt giữa hai khung hình Phương pháp này đượctính dựa vào giá trị biểu diễn sự chênh lệch tổng cộng về cường độ của tất cảcác điểm ảnh tương ứng trên hai khung hình:

tượng, rất nhiều điểm ảnh được cho là thay đổi, dù trên thực tế có ít điểm ảnhdịch chuyển Kết quả này là do khi camera quay theo đối tượng thì cường độcủa một số điểm ảnh dịch chuyển ít bị thay đổi nên sẽ bị hiểu là có sự dịchchuyển của các điểm ảnh này Để làm giảm sự ảnh hưởng này, ta có thể sửdụng một bộ lọc trơn: trước khi so sánh, mỗi điểm ảnh được thay thế bằnggiá trị trung bình của các điểm ảnh lân cận.

Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểmảnh với việc chiếu sáng Khi đó người ta điều chỉnh độ sai khác giá trị điểmảnh bằng cách chia nó cho cường độ của điểm ảnh trên khung hình thứ hai.Ảnh thu được từ độ chênh lệch hiệu chỉnh là ảnh chromatic:

có trọng số các sai khác của ba giá trị Red, Green, Blue của các điểm ảnh

2.1.2 Trừ ảnh dựa vào khối

Với ý tưởng chia ảnh thành các miền sau đó tiến hành so sánh các miềntương ứng nên trái ngược với hướng tiếp cận sử dụng các đặc tính toàn cụccủa cả khung hình, hướng tiếp cận phân khối sử dụng các đặc tính cục bộnhằm tăng tính độc lập với các di chuyển của camera và đối tượng Mỗikhung hình được chia thành b khối Các khối trên khung hình f1 được so sánhvới các khối tương ứng trên khung hình f2 Về cơ bản, độ chênh lệch giữa haikhung hình được tính như sau:

Trong đó:

Ck là hệ số cho trướcDP(f1, f2, k) là độ chênh lệch giữa hai khối thứ k của hai khung hình f1

và f2

Ta có công thức:

Trong đó:

, là giá trị cường độ trung bình của khối thứ k

nhiều chừng nào có thể Các cửa sổ cơ sở được so sánh và tính độ chênh lệchmức xám hoặc giá trị màu của các điểm ảnh Khi giá trị chênh lệch lớn hơnmột ngưỡng nào đó thì xem như miền đang xét đó thay đổi Khi số miền thayđổi lớn hơn một ngưỡng khác thì sự chuyển động xảy ra Thực nghiệm chothấy rằng hướng tiếp cận này cho tốc độ nhanh hơn phương pháp so sánhtừng cặp điểm.

Hình 2.1 Các cửa sổ cơ sở trong thuật toán.

Một số nghiên cứu mở rộng ý tưởng lấy mẫu theo không gian thành lấymẫu theo không gian và thời gian Thuật toán này so sánh hai khung hình I và

2.1.3 Trừ ảnh dựa vào biểu đồ

Với ý tưởng là so sánh sự phân bố thuộc tính ví dụ như biểu đồ màu,biểu đồ mức xám,… Tiếp cận này hường đến mục tiêu làm giảm ảnh hưởngcủa sự chuyển camera và đối tượng là thực hiện trừ ảnh dựa vào biểu đồ Biểu

đổ mô tả sự phân bố giá trị điểm ảnh của khung hình Ý tưởng của cách tiếp

cận này là các ảnh có nền không đổi và đối tượng không đổi sẽ có chênh lệch

ít trong biểu đồ Hơn nữa biểu đồ bất biến với việc quay ảnh và thay đổi ít khigóc nhìn thay đổi

Có thể dựng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai khác giữahai khung hình Biểu đồ màu (mức xám) của khung hình i là một vector Gchiều

Với G là số màu (mức xám),

Hi(j) là số điểm ảnh của khung hình i có màu (mức xám) j

Phương pháp trừ ảnh dựa trên biểu đồ có thể sử dụng biểu đồ toàn cụchoặc biểu đồ cục bộ Biểu đồ toàn cục là biểu đồ biểu diễn sự phân bố giá trịmàu (mức xám) của toàn bộ khung hình Còn biểu đồ cục bộ chỉ mô tả sựphân bố của một phần nào đó của khung hình mà thôi

Biểu đồ toàn cục là phương pháp đơn giản nhất là tính tổng sự sai kháccác cột của biểu đồ

Hình 2.2 So sánh biểu đồ giữa hai ảnh.

Cách thứ ba là sử dụng phần giao nhau của hai biểu đồ Vùng biểu đồ

chồng nhau, phần gạch chéo trong hình trên, cho biết độ tương tự về nội dung

hai ảnh có thể được định nghĩa như sau:

Như vậy, dựa vào phần giao nhau của hai biểu đồ, có thể tính độ chênh

lệch biểu đồ hai khung hình theo công thức:

Để biểu diễn sự phân bố của màu với ảnh 24 bit, phải tạo biểu đồ với

2563 cột, mỗi cột ứng với một bộ ba RGB có thể có Có thể dựng thuật toánnhanh tính toán với biểu đồ, nhưng ta thường áp dụng giải pháp thô: dựngbiểu đồ với số cột ít hơn Yihong dựng giải pháp biểu đồ 8 mức RGB kết quả

Nói chung, người thường chỉ dựng 20 cột có số điểm ảnh nhiều nhất để

so sánh Còn có một cách khác làm giảm số cột của biểu đồ là chỉ dựng 2 bitcao nhất cho cường độ mỗi màu thành phần để mã hoá màu của điểm ảnh.Như vậy việc so sánh biểu đồ chỉ cần thực hiện với 64 cột Các nghiêncứu chỉ ra rằng 256 màu là đủ biểu diễn sự phân bố màu của các cảnh Novak

và Safer thì chỉ chia các cột biểu đồ thành hai loại “full” và “Empty” để ước

lượng thuộc tính bề mặt và điều kiện ánh sáng cho các đối tượng đơn

Chênh lệch biểu đồ có thể được tính bằng công thức Kolmogorov–

của hai biểu đồ.

Công thức này có thể áp dụng cho cả những trường hợp hai biểu đồ có

số cột khác nhau

Một hướng khác là dùng biểu đồ cục bộ Như đã đề cập, phương pháp

trừ ảnh dựa vào biểu đồ là phương pháp ít chịu ảnh hưởng của nhiễu và di

chuyển đối tượng Tuy vậy cũng có một số trở ngại Đầu tiên, biểu đồ chỉ mô

tả sự phân bổ các giá trị màu hay mức xám mà không bao hàm bất cứ thông

tin nào về không gian Hai ảnh có cùng biểu đồ màu nhưng có nội dung rất

khác nhau Trở ngại khác là rất có thể các vùng ảnh nhỏ khi thay đổi sẽ gây

chú ý nhưng lại không có vai trò gì trong biểu đồ và do đó có thể bị bỏ qua

khi thực hiện trừ ảnh Để giải quyết vấn đề đó chúng ta sẽ kết hợp trừ ảnh dựa

vào biểu đồ với kỹ thuật trừ ảnh phân khối Trừ ảnh phân khối quan tâm đến

thông tin về không gian Về cơ bản phương pháp này tốt hơn việc so sánh

từng cặp điểm ảnh, nhưng nó vẫn chịu tác động của sự di chuyển camera và

di chuyển của đối tượng Bằng cách kết hợp hai ý tưởng, chúng ta vừa có thể

giảm được sự tác động của các di chuyển camera và đối tượng, vừa sử dụng

thông tin về không gian ảnh, và do đó cho kết quả phân đoạn tốt hơn

Ý tưởng chính là ta sẽ chia khung hình thành b khối, đánh số từ 1 đến b Sosánh biểu đồ của các khối tương ứng rồi tính tổng chênh lệch để có kết quả

()∑ ∑ ( ( ) ( ))

2.1.4 Trừ ảnh dựa vào thống kê

Phương pháp sai khác thống kê dựa vào phương pháp trừ giá trị điểmảnh, nhưng thay vì tính tổng sự sai khác của tất cả các điểm ảnh, ta chia ảnhthành các miền rồi so sánh các đại lượng thống kê điểm ảnh của miền đó Mộtcách là ta sử dụng thống kê tỉ lệ số điểm ảnh thay đổi trên toàn bộ khung hình

Ta sử dụng một giá trị d là ngưỡng sai khác được tính giữa hai điểm ảnhtương ứng Gọi S là tập các điểm ảnh có sai khác lớn hơn d:

2.1.5 Trừ ảnh dựa vào đặc trưng

Với việc coi đặc trưng là các vector chuyển động trong các đoạn video,người ta thường thấy các hiệu ứng do chuyển động của camera, như pan(quét), zoom (zoom in – phóng to, zoom out – thu nhỏ), tilt (nghiêng) Đểnâng cao hiệu quả phân đoạn, kỹ thuật trừ ảnh dựa vào đặc trưng là vectơchuyển động được sử dụng để phát hiện các hiệu ứng kiểu này

Các mẫu vector chuyển động thu được từ các di chuyển camera khácnhau được thể hiện trong hình dưới đây

Hình 2.3 Mẫu vector cho các di chuyển camera.

Để phát hiện xem đoạn phim được phóng to hay thu nhỏ ta có thể sửdụng vectơ chuyển động để nghiên cứu Tuy nhiên, một số nghiên cứu kháclại sử dụng vectơ chuyển động như là một phần của việc trừ ảnh phân khốidựa vào điểm ảnh để quyết định xem có phải có một lượng lớn các đối tượng

di chuyển hay camera trong chuyển cảnh

Với việc coi đặc trưng là cạnh, ta có một hướng tiếp cận khác cho việcphân loại và phát hiện có chuyển động là sự phát hiện sự xuất hiện các cạnh(biên cường độ) trong một khung hình, chúng cách các cạnh trong khung hìnhtrước một khoảng nhất định Phương pháp này tỏ ra chính xác hơn phươngpháp dựa vào biểu đồ và độ nhạy với chuyển động thấp hơn nhiều so với gammàu

2.1.6 Kỹ thuật trừ nền

Hình 2.4 Quy trình trừ nền

Phát hiện đối tượng được xây dựng bằng phương pháp xác định thểhiện của khung hình gọi chung là mô hình nền, sau đó tiếp cận với các khungnhìn kế tiếp Bất kỳ thay đổi nào so với mô hình nền cũng sẽ được ghi nhậnnhư có một đối tượng dịch chuyển Các điểm thay đổi này được gom nhómlại tạo thành một vùng thay đổi để xử lý Tiến trình này được gọi với một tênchung là tách nền Quy trình tổng quan của kỹ thuật trừ nền có thể được mô

tả như lược đồ trên

Các thay đổi chính đối với nền được phân loại thành:

 Theo sự thay đổi độ sáng (illumination changes)

o Thay đổi độ sáng từ từ do nguồn sáng (mặt trời) chuyển động

o Thay đổi độ sáng đột ngột do nguồn sáng bị thay đổi: trời chuyểngiữa mưa và nắng, đèn trong phòng chuyển từ bật sang tắt hoặc

ngược lại

o Ảnh hưởng của nguồn sáng tới bóng của vật trên nền

 Thay đổi chuyển động (motion changes)

o Hình ảnh thay đổi do camera dịch chuyển

o Chuyển động trong các thành phần của nền như cành cây đung

đưa, nước chảy…

 Thay đổi được báo trước: Chuyển động của chiếc ô tô từ từ dời khỏi

điểm đỗ, người di chuyển ra khỏi phòng…

Một trong những phương pháp hiệu quả và hay được sử dụng để mô hình

hóa nền đó là mô hình Gauss hỗn hợp

Ta nhận thấy rằng tại thời điểm t bất kỳ, điểm ảnh trong khung hình Ichịu tác động của nhiều yếu tố như ánh sáng, môi trường cũng như sựchuyển động của chính điểm ảnh Chính vì vậy, nếu chỉ dùng một mô hìnhGauss thì sự biến động của các biến cố là không được cập nhật hết Do đó,cần thiết phải sử dụng mô hình Gauss hỗn hợp

Tại mỗi thời điểm, giá trị của các tham số phân phối Gauss được cập nhật,

mô hình lại đánh giá lại các điểm ảnh một cách heuristic để xác định xem điểmảnh nào có xu hướng thuộc về mô hình nền Các điểm ảnh được đánh giá là nổi

trội sẽ được gom nhóm lại và được “bám sát” trong các khung

hình kế tiếp

Ta coi giá trị của một điểm ảnh cụ thể theo thời gian như một tiến trình

xử lý điểm ảnh Tiến trình này là một chuỗi thời gian gồm các giá trị điểm ảnh

có thể là vô hướng cho ảnh xám hay vectơ với ảnh màu Tại một thời

điểm bất kỳ, điểm ảnh t có giá trị * + được xác định trong tập :

Trong đó, I là chuỗi ảnh Một số tiến trình xử lý điểm ảnh được mô tả

bằng sự phân phối màu, mô tả tính cần thiết của hệ thống ngưỡng tự động

Giá trị của mỗi điểm thể hiện một phép đo độ sáng theo hướng của cảm biến của đối tượng đầu tiên bị phân cắt bởi tia sáng tới điểm Trong một nền

tĩnh và ánh sáng động, giá trị này sẽ là một hằng số Với giả định độc lập,nhiễu Gauss không xuất hiện trong tiến trình lấy mẫu và mật độ phân phốiđược mô tả bằng một phân phối Gauss đơn tập trung tại giá trị điểm trungbình Nhưng trên thực tế, chuỗi video thường gồm các thay đổi về ánh sáng

về cảnh và cả các đối tượng di chuyển

Nếu ánh sáng thay đổi trong một khung cảnh tĩnh ta cần một hàm Gauss

để theo những thay đổi này Khi một đối tượng tĩnh được thêm vào khungcảnh mà không được tích hợp vào nền thì đối tượng đó sẽ được xem là điểmnổi trội trong một khoảng thời gian chấp nhận được Chính điều này gây ralỗi tích lũy đối với xấp xỉ nổi trội và gây lỗi cho quá trình bám sát Nhữngnhân tố này cho thấy các quan sát trong thời điểm gần là quan trọng trong xácđịnh tham số Gauss

Bên cạnh đó, một số đặc tính khác cũng xuất hiện khi thêm một đốitượng có chuyển động vào khung hình Đối tượng chuyển động sẽ sinh ranhiều dao động hơn đối tượng tĩnh Tuy nhiên, một cách tổng quan, vẫn cần

có thêm dữ liệu để hỗ trợ phân phối nền vì các dữ liệu được lặp lại trong khicác giá trị điểm với các đối tượng khác nhau thường không cùng màu

Các nhân tố này được lựa chọn để cập nhật thủ tục Với các điểm ảnhđược mô hình bằng phân phối Gauss thứ K Khả năng quan sát được điểmảnh hiện tại được tính bằng công thức

()∑(∑)

Trong đó:

K là số lượng phân phối Gauss

là xấp xỉ của trọng số của hàm phân phối Gauss thứ i tại thời điểm

t trong công thức

là giá trị trung bình của phân phối Gauss thứ thứ i tại thời điểm t

là hàm mật độ phân phối Gauss được tính theo công thức

( )( ) ∑ ( )

(2.28)

ta hay lấy giá trị trong khoảng [3,5]  là ma trận hiệp phương sai cấp

n, có các phần tử dạng ∑ Công thức ∑ được tính dựa

vào tính chất các màu trong kênh RGB là độc lập và có cùng độ lệch

Phân phối quan sát được của mỗi điểm ảnh trong khung cảnh được mô

hình hóa bằng hàm hỗn hợp Gauss Một giá trị điểm ảnh mới được thể hiện

bằng các thành phần chính của mô hình hỗn hợp và được sử dụng để cập nhật

mô hình

Tiến trình xử lý điểm ảnh được xem là tiến trình tĩnh, một phương pháp

chuẩn để cực đại hóa dữ liệu quan sát được là dùng giá trị kỳ vọng cực đại

Nhưng trong thực tế, các điểm ảnh trong khung hình là chuyển động do đó ta

cần sử dụng phương pháp xấp xỉ, phương pháp này coi các tập quan sát mới

là một tập mẫu với kích thước là 1 và sử dụng các luật học chuẩn để tích hợp

vào dữ liệu mới

Với các điểm ảnh trong khung hình, ta xây dựng một mô hình hỗn hợp,

do đó, chi phí cài đặt thuật toán EM trong cửa sổ dữ liệu hiện tại sẽ tốn kém

Thay vào đó chúng ta cài đặt một xấp xỉ K-mean trực tuyến Mọi giá trị điểm

ảnh mới Xt sẽ được kiểm tra xem với phân phối Gauss K cho tới khi tìm thấy

sự phù hợp Điểm ảnh được kết luận là phù hợp nếu có sự sai lệch 2.5 đơn vị

so với phân phối chuẩn Ngưỡng này là chấp nhận được và hiệu quả trong

trường hợp các vùng khác nhau có ánh sáng khác nhau; các đối tượng trong

vùng tối (bóng của ánh sáng) không bị nhiễu như đối tượng ở vùng sáng

Nếu không có giá trị nào phù hợp với phân phối K, phân phối nhỏ nhất được thay thế bằng phân

phối với giá trị hiện tại, giá trị khởi tạo biến động lớn và trọng số thấp Trọng số ưu tiên của phân phối

K tại thời điểm t, ( )

được điều chỉnhnhư sau:

Trong đó:

là tỷ lệ họcbằng 1 với mô hình phù hợp và có giá trị bằng 0 trong các trườnghợp còn lại

số thời gian xác định tốc độ tham số phân phối thay đổi là bộ lọc trungbình của khả năng trước đó, khi giá trị điểm ảnh phù hợp với mô hình k quansát được trong thời gian từ 1 tới t Điều này là phù hợp với sự mong đợi củagiá trị này trong cửa sổ số mũ của giá trị trước đó

Tham số  và  được sử dụng cho những phân phối không phù hợp.Các tham số của phân phối phù hợp với quan sát mới được cập nhật theocông

thức

Phương pháp này có ưu điểm chính là khi kết nạp thêm điểm vào nền thì

mô hình nền cũ không bị ảnh hưởng Màu nền của nền gốc sẽ được duy trìcho tới khi tìm được phân phối thứ K thích hợp nhất và màu mới quan sátđược Do đó, một đối tượng xuất hiện đủ lâu để trở thành nền rồi mới di

chuyển thì phân phối mô tả nền trước đó tồn tại với tham số và trọng số

 thấp sẽ được nhanh chóng kết hợp vào nền

Để xấp xỉ mô hình nền, ta cần xác định phân phối Gauss nào là thích hợpnhất trong tiến trình sinh nền Thông thường ta lựa chọn phân phối Gauss cónhiều căn cứ hỗ trợ và ít biến đổi

Khi có một đối tượng tĩnh xuất hiện trong khung hình trong một khoảngthời gian dài, ta coi các căn cứ hỗ trợ và hằng số biến đổi cho nền là thấp.Ngược lại, khi có đối tượng mới chiếm giữ đối tượng nền thì sẽ không có sựphù hợp với phân phối hiện tại Lúc này sẽ có một phân phối mới được hìnhthành và làm tăng mức biến đổi của phân phối hiện tại Mức biến đổi của đốitượng chuyển động được kỳ vọng là lớn hơn điểm ảnh nền cho tới khi đốitượng dừng di chuyển Để mô hình trường hợp này ta cần phương phápquyết định phần nào của mô hình hỗn hợp phù hợp với tiến trình thể hiện nền.Trước hết phân phối Gauss được sắp xếp theo giá trị ⁄ Giá trị này tăngkhi các chứng cứ hỗ trợ và các biến của phân phối thay đổi Sau khi xác địnhlại giá trị của hỗn hợp ta cần sắp xếp lại từ các phân phối thích hợp nhất tớiphân phối nền có thể, vì chỉ có giá trị mô hình phù hợp tương ứng mới thayđổi Trật tự mô hình này hiệu quả vì các phân phối nền phù hợp nhất ở trên vànhững phân phối ít phù hợp được sắp dưới cùng Các phân phối phía dưới cóthể được thay bằng phân phối mới.

Sau đó, phân phối B đầu tiên được lựa chọn làm mô hình nền là

Với T là phép đo phần nhỏ nhất của dữ liệu được tính cho nền

Phân phối này là phân phối tốt nhất trong vùng dữ liệu đang xem xét.Khi có một giá trị T nhỏ hơn được chọn thì mô hình nền thường là phươngthức duy nhất Trong trường hợp này phân phối có khả năng cao nhất sẽ đượclưu lại

Nếu có giá trị lớn hơn T thì phân phối đa phương thức được thực hiệnbởi phép lặp nền chuyển động (ví dụ: lá trên cây, cờ treo trước gió…) Quátrình này có thể có nhiều hơn một màu được chứa trong mô hình nền Kết quảnày cho phép mô hình nền có thể có nhiều hơn một màu

2.2 Hậu xử lý với các phép toán hình thái

Với các kỹ thuật trừ ảnh, thông thường kết quả trực tiếp ta thu được sẽ

là một ảnh nhị phân với những vùng trắng là vùng chuyển động, các vùng đen

là vùng nền Trong thực tế, với những video có chuyển động phức tạp vớinhiều đối tượng di chuyển, chẳng hạn như video từ camera quay đường phố.Với tình trạng giao thông như ở Việt Nam, các đối tượng di chuyển khá lộnxộn và điều kiện chiếu sáng phức tạp dẫn đến tình trạng ánh sáng thay đổimạnh trong ngày đối với camera cũng như việc bóng của đối đối tượng dínhvào các đối tượng khác Các phép toán hình thái là một công cụ để xây dựngnhững giải pháp cho những tình huống như vậy, nhờ vào đó, ta có thể giảmthiểu sự ảnh hưởng của việc các đối tượng bị dính hoặc một đối tượng bịchia thành nhiều vùng sát nhau

Các phép toán hình thái là một lý thuyết và kỹ thuật trong xử lý ảnh đểphân tích và xử lý cấu trúc hình học trong ảnh dựa trên sử dụng lý thuyết tậphợp các cấu trúc liên kết và cả những chức năng ngẫu nhiên Ngoài hình ảnh

kỹ thuật số, lý thuyết về các phép toán hình thái toán học nó có thể được vậndụng vào nhiều các cấu trúc không gian khác

Các phép toán hình thái được phát triển cho hình ảnh nhị phân và sau đóđược mở rộng cho ảnh đa mức xám, Đây là một trong những kỹ thuật được

áp dụng trong giai đoạn tiền xử lý Ta có hai phép toán thường dùng là phépgiãn nở và phép co Sau đó từ hai phép toán cơ bản này người ta phát triểnthành một số phép toán như phép đóng và phép mở

 Dilation gọi là D(i): giãn nở

 Erosion gọi là E(i): co

 Một chu trình E(i)-D(i) gọi là phép mở

 Một chu trình D(i)-E(i) gọi là phép đóng

Trong các ứng dụng thị giác máy tính, xử lý hình thái học có thể được sử

dụng để nhận dạng đối tượng, nâng cao chất lượng ảnh, phân đoạn ảnh vàkiểm tra khuyết điểm trên ảnh, được sử dụng rất nhiều để giảm các lỗi trongquá trình xử lý hình ảnh Một số ví dụ:

 Trích biên ảnh

 Tính toán các thành phần liên thông

 Làm mỏng đối tượng trong ảnh

 Làm dày đối tượng trong ảnh

 Tìm xương đối tượng trong ảnh

 Cắt tỉa đối tượng trong ảnh

2.2.1 Phần tử cấu trúc

Phần tử cấu trúc ảnh là một hình khối được định nghĩa sẵn nhằm tươngtác với ảnh xem nó có thỏa mãn một số tính chất nào đó Là một ma trận nhỏ

có hai giá trị 0 và 1, các giá trị 0 được bỏ qua trong quá trình tính toán Một

số hình dáng của phần tử cấu trúc thường xuyên sử dụng trên ảnh nhị phân:

 Dạng đường theo chiều ngang và dọc

 Hình dáng của phần tử cấu trúc.

trong một số trường hợp thì gốc phần tử mang giá trị 0

Trong các phép toán hình thái học, một phần tử cấu trúc có kích thước(NxN) được di chuyển khắp ảnh và thực hiện phép tính toán với từng điểmảnh của ảnh với (N2 -1) điểm ảnh lân cận Phép tính toán ở đây tùy thuộc vàonội dung của phép toán hình thái học mà từ đó cho ra một kết quả phù hợp:

 Nếu gốc của phần tử cấu trúc nằm ở phía bên trái thì ảnh sẽ có xu hướng

co và giãn nở về phía bên phải

 Nếu gốc của phần tử cấu trúc nằm ở phía bên phải thì ảnh sẽ có xu

hướng co và giãn về nở phía bên trái

Trong các kết quả của phép toán xử lý hình thái học thì yếu tố quantrọng là phần tử cấu trúc Chú ý rằng những nội dung kiến thức trên đây làphần tử cấu trúc dùng trong các phép toán hình thái học trên ảnh nhị phân.Với ảnh đa mức xám thì phần tử cấu trúc tương tự nhưng khác ở chỗ là cácgiá trị phần tử từ 0 đến 255 chứ không phải là chỉ 0 với 1 như phần tử cấutrúc trên ảnh nhị phân

2.2.2 Phép toán giãn nở

Phép giãn nở là một trong các hoạt động cơ bản trong hình thái toán học.Phép toàn này có tác dụng làm cho đối tượng ban đầu trong ảnh tăng lên vềkích thước

Công thức:

⋃

Trong đó:

X: Ảnh nhị phân