đồ án tốt nghiệp phương pháp luận sáng tạo khoa học

Nói đơn giản hơn là làm việc với các ảnh số, vi vậy chúng ta phải áp dụng một số kỹ thuật của image processing để thực hiện vấn đề này.. Để có thể áp dụng phương pháp lấy ngưỡng, ta cần

PHƯƠNG PHÁP LUẬN SÁNG TẠO

KHOA HỌC

SỬ DỤNG CÁC PHƯƠNG PHÁP LUẬN SÁNG TẠO ĐỂ GIẢI

QUYẾT BÀI TOÁN MOTION DETECT

Giảng viên hướng dẫn GS,TS Hoàng Văn Kiếm

Sinh viên Nguyễn Hoài Phương - 06520356

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

TỔNG QUAN

Hiện nay, có rất nhiều phương pháp detect motion trong video Nhưng hầu hết

chúng đều có chung một phương pháp cơ sở là việc so sánh giữa frame hiện tại với

một hoặc các frame trước đó Nói đơn giản hơn là làm việc với các ảnh số, vi vậy

chúng ta phải áp dụng một số kỹ thuật của image processing để thực hiện vấn đề

này

Để tiếp cận dễ dàng hơn vấn đề của bài viết, ta đi vào tìm hiểu một khái niệm có

nhiều diểm tương đồng với motion detect, đó là phương pháp nén video

Một file video gồm 2 phần chính, đó là hình ảnh và âm thanh Ở đây chúng ta chỉ

cần quan tâm đến yếu tố hình ảnh Chẳng hạn, với cách lưu trữ video theo chuẩn

NTSC: cứ mỗi giây së tương ứng 30 frame Trong quá trình hiển thị, các frame xếp

chồng lên nhau với tốc độ rất nhanh, vì vậy ta sẽ có cảm giác các đối tượng trong

frame đang chuyển động Nói như vậy, ta cần phải quan tâm đến vấn đề lưu trữ

frame Nếu như lưu trữ một cách thông thường theo các frame, ta lấy ví dụ chẳng

hạn một frame có dung lượng 10 Kb thì để lưu trữ 1 giây thì ta sẽ mất đến 3 Mb

Dung lượng cần để lưu trữ như vậy là quá lớn, chính vì vậy khái niệm nén video đã

được ra đời

Nhận thấy rằng trong 1 scene sẽ có một số thành phần không thay đổi trong suốt quá

trình diễn ra scene đó Vi vậy dẫn đến ý tưởng ta có thể tách những thành phần

không đổi đó ra thành một frame chung, còn được gọi là “background” Tại những

frame còn lại của scene ta chỉ cần lưu trữ các đối tượng còn lại, hay còn gọi là

foreground Thao tác này sẽ giảm bớt việc lưu trữ các “background” lập lại ở mỗi

frame Nhờ đó mà dung lượng lưu trữ sẽ giảm đáng kể

Từ ý tưởng của phương pháp nén video, ta đã có ý niệm tổng quát để xây dựng

phương pháp detect motion trong phần còn lại

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

CÁC PHƯƠNG PHÁP SỬ DỤNG

NGUYÊN TẮC PHÂN NHỎ

Chia nhỏ đối tượng thành các thành phần độc lập

Tăng mức độ phân nhỏ của đối tượng

Bài toán detect motion được phân thành nhiều vấn đề nhỏ, với mỗi vấn đề nhỏ có

phương pháp riêng để giải quyết chúng Các phương pháp được dùng như sau đây

Một chương trình detect mộtion hiểu hay tiếp cận một cách đơn giản nhất là làm sao

để detect được những đối tượng có sự thay đổi giữa các frame Để thực hiện điều

này, ta có thể sử dụng một số phương pháp:

• Phương pháp tách background, cập nhật background

• Phương pháp tách đối tượng (foreground) từ các frame đang xét và

background

• Phương pháp lấy ngưỡng (threshold) để loại bỏ nhiễu

• Phương pháp erosion và dilatation khử nhiễu

• Và một số phương pháp khác để tối ưu tốc độ xử lí của chương trình

Trước tiên ta cần xem xét vấn đề làm sao để cải thiện được tốc độ xử lý của chương

trình, đồng thời phải tiếp cận được phương pháp lấy ngưỡng Một frame hay ảnh có

nhiều đặc trưng, chẳng hạn như đặc trưng về không gian giữa các pixel, đặc trưng về

màu sắc, về texture hay shape Để có thể áp dụng phương pháp lấy ngưỡng, ta cần

phải thực hiện phép so sánh với ít nhất một trong các đặc trưng trên Mà màu sắc là

một yếu tố cơ bản vô cùng quan trọng Tuy nhiên, ảnh số được lưu trữ bởi không

gian màu RGB với mỗi pixel lưu trữ ba giá trị kênh màu rời rạc gồm 256 mức

Chính vì vậy, chúng ta cần phải biến đổi giá trị màu ấy về một dải màu (hay kênh

màu) duy nhất Không gian màu có thể đáp ứng được yêu cầu trên là grayscale

NGUYÊN TẮC TÁCH KHỎI

Tách phần gây phiền phức (tính chất gây phiền phức) hay ngược lại, tách phần duy

nhất cần thiết (tính chất cần thiết) ra khỏi đối tượng

Ở đây ta tách bỏ các màu sắc không cần thiết và chỉ lại yếu tố màu cần thiết bằng

phương pháp lọc grayscale

GRAYSCALE

Trong hầu hết quá trình xử lí ảnh, chúng ta chủ yếu chỉ quan tâm đến cấu trúc của

ảnh và bỏ qua ảnh hưởng của yếu tố màu sắc Do đó bước chuyển từ ảnh màu thành

ảnh xám là một công đoạn phổ biến trong các qua trình xử lí ảnh vì nó làm tăng tốc

độ xử lí là giảm mức độ phức tạp của các thuật toán trên ảnh Chúng ta có công thức

chuyển các thông số giá trị màu của một pixel thành mức xám tương ứng như sau:

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

G = α.C R + β.C G + δ.C B

Trong đó các giá trị CR, CG, CB lần lượt là các màu đỏ, xanh lá và xanh biển của

pixel màu Các hệ số α, β, và δ là các giá trị thay đổi tùy thuộc hệ màu Với hệ màu

NTSC thì α = 0.29890, β = 0.58662, δ = 0.11448 Ta sẽ được:

G = 0.29890CR + 0.58662.CG + 0.ll448.CB

PHƯƠNG PHÁP SAI BIỆT FRAME

Để định nghĩa phương pháp này, trước tiên ta làm quen với cụm từ “phương pháp

trừ ảnh nền” (background subtraction) Đây là phương pháp được sử dụng rộng rãi

để nhận diện các đối tượng chuyển động trong video Để thực hiện việc trừ ảnh nền

đầu tiên ta phải học một mô hình của ảnh nền Sau đó mô hình ảnh nền được dùng

để so sánh với ảnh hiện tại, loại bỏ đi những phần ảnh nền đã biết Các đối tượng

sau trừ được xem là không phải nền (foreground) Các đối tượng đó có thể là các đối

tượng chuyển động (moving object, mộtion) Một phương pháp trừ ảnh nền phổ biến

là phương pháp sai biệt frame

Phương pháp trừ ảnh nền đơn giản nhất là trừ frame này với frame khác, sau đó gán

nhãn các vùng khác biệt ‘đủ lớn’ là phần ảnh không phài nền (foreground) Lý do

chi gán nhãn cho các vùng khác biệt đủ lớn (threshold) là để loại trừ các trường hợp

khác biệt do nhiễu

PHƯƠNG PHÁP NỀN TRUNG BÌNH

Tuy nhiên, để tăng hiệu quả, chúng ta có thể giữ lại thông tin thống kê về trung bình

và sự khác biệt trung bình của các pixel trong cảnh Đó là cách làm của phương

pháp cải tiến: phương pháp nền trung bình

Nguyên tắc

Về cơ bản, phương pháp ảnh nền trung bình học giá trị trung bình và độ lệch chuẩn

của từng pixel để xây dựng mô hình của ảnh nền trung bình Sau đó, ta sử dụng mô

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

hình ảnh nền đã học được để tách ảnh ra làm phần nền (background) và đối tượng

không phải nền (foreground) Đối tượng không phải nền đó chính là đối tượng

chuyển động

Nhận xét về phương pháp ảnh nền trung bình

Đây là phương pháp đơn giản để học ảnh nền và phân tách ành ra làm phần nền và

không nên Tuy nhiên, phương pháp này chi hiệu quả trong các trường hợp ảnh có

nội dung là các cảnh không chứa các thành phần nền có chuyển động (vi dụ như một

tấm màn phất phơ, hay các cây xanh có lá rung rinh); đồng thời độ sáng tương đối

không thay đổi (các ảnh tịnh trong nhà)

Ví dụ phương pháp sai biệt frame

Cửa sổ 1 : frame hiện tại

Cửa sổ 2 : frame trước đó

Cửa sổ 3 : ảnh sai biệt giữa frame hiện tại và frame trước đó (lấy frame hiện tại trừ

cho frame trước đó)

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

Cửa sổ 4 : loại bỏ bớt nhiễu chỉ giữ lại những sai biệt “đủ lớn”

MORPHOLOGY OPERATION

Sử dụng ảnh camera, ta sẽ không tránh khỏi trường hợp có “nhiễu” (nhiễu do môi

trường, do nhiệt, do không khí ) khi đó vùng foreground của mỗi frame tách ra sẽ

xảy ra hiện tượng bị thừa ra ngoài hoặc khuyết một số pixel Điều đó làm cho việc

lấy ngưỡng thiếu chính xác hoặc có thể bị sai lệch Vì thế ta cần tìm ra phương pháp

để “cắt đi” những pixel thừa và “lấp đầy” những pixel khuyết Bằng các phương

pháp Morphology ta có thể thực hiện điều đó; cụ thể với phương pháp Erosion, ta có

thể thực hiện thao tác cắt và với phương pháp Dilatation, ta “lấp” được chỗ khuyết

AForge.NET hỗ trợ các đối tượng Erosion, Dilatation, Openning Và Closing để thực

hiện việc khử nhiễu (ImaginglFilterslMorphology/* Cs)

Erosion là phương pháp làm co biên của đối tượng đi một pixel để loại bỏ các pixel

thừa; hay nói cách khác, những pixel của foreground mà thuộc background sẽ được

chuyển thành pixel của background (hinh b) Dilatation thi ngược lại, nó làm giãn

biên của đối tượng thêm một pixel, dựa vào đó mà nhũng lỗ khuyết sẽ được lấp đầy;

hay nói cách khác những pixel của background thuộc về foreground nó sẽ được

chuyển thành các pixel của foreground

Thao tác Erosion và Dilatation có một khuyết điểm, đó là nó co hay giãn biên 1

pixel, sẽ làm cho đối tượng gốc bị co lại hay giãn ra và từ đó độ lớn của đối tượng sẽ

không còn chính xác nữa Chính vì vậy mà phải xuất hiện thêm hai phương pháp:

Openning và Closing để lấy lại độ lớn chính xác của đối tượng Đây là hai phương

pháp sử dụng liên tiếp hai phương pháp cũ Openning dùng Erosion để cắt bớt

những pixel thừa trước rồi dùng Dilatation để làm giãn đối tượng về độ lớn cũ Còn

Closing dùng Dilatation để làm đầy những pixel trước rồi dùng Erosion để co đối

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

tượng về độ lớn cũ Nếu kết hợp cả hai phương pháp này, ta có thể đồng thời lọai bỏ

những pixel thừa và lấp đầy những pixel khuyết Kết quả mặc dù có chính xác hơn

tuy nhiên thao tác lặp lại trong tính toán là rất lớn dẫn đến làm chậm hệ thống, nên

tùy theo bài toán mà ta áp dụng một trong bốn phương pháp trên

EDGE DETECTION

Trong phần cài đặt trên AForge.NET sắp xét tới đây, chúng ta cần thực hiện thao tác

tách biên cho những vùng pixel (region) trả về nhằm xác định đối tượng Có rất

nhiều phương pháp hỗ trỡ cho thao tác nay, và thông thường ta chỉ cần áp dụng mã

xích, hoặc mã crack để dò biên là dủ Tuy nhiên cần chú ý các đối tượng nhận được

thường là một cụm các pixel liền kề nên ta có thể áp dụng một số phương pháp

thuộc Edge Detection để dò biên AForge.NET cung cấp cho chúng ta bộ lọc Edge

để sử dụng các phương pháp về Edge Detection

Khái niệm:

Ta thấy một hình ảnh không phải là một hàm liên tục a(x, y) theo cac biến tọa độ,

mà chỉ là những hàm rời rạc a[m, n] với các biến tọa độ nguyên Vì thế để lấy được

các cảnh quan trọng ta cần phải sử dụng việc lấy đạo hàm

Với bộ lọc Edge ta có 4 kĩ thuật phổ biến:

- Bộ lọc Sobel

- Bộ lọc Difference of Gauss

- Bộ lọc Laplace

- Bộ lọc Canny

Sobel

Bộ lọc sobel sử dụng các mặt nạ để xấp xỉ đạo hàm bậc nhất Nói cách khác bộ lọc

sobel sử dụng gradient theo một hướng (từ thấp đến cao hoặc từ cao đến thấp) tại

điểm tâm trong một lân cận được tính theo bộ lọc sobel Bộ lọc có kích cỡ ma trận

3x3

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

Khi muốn lấy cạnh của một ảnh nguồn ta sử dụng phép nhân ảnh nguồn với ma trận

3x3 ví dụ ta có ảnh nguồn là A, Gx, Gy là 2 ảnh lọc theo 2 hướng x và y

Laplace

Phương pháp vi phân bậc 1 làm việc khá tốt khi độ sáng thay đổi rõ nét Khi mức

grayscale thay đổi chậm, miền chuyển tiếp trải rộng thì phương pháp sobel làm việc

không hiệu quả Và laplace là phương pháp hiệu quả hơn, laplace là phương pháp vi

phân bậc 2

Toán tử laplace được định nghĩa :

Kỹ thuật laplace sử dụng nhiều ma trận khác nhau để xấp xỉ đạo hàm bậc 2 có 3

kiểu ma trân thường dùng:

Trong cài đặt thư viện Aforge ta chỉ sử dụng ma trận H1.

Canny

Bộ tác sườn ảnh Canny dựa trên cặp đạo hàm riêng bậc nhất với việc làm sạch

nhiễu Mục này được để riêng vì đây là phương pháp tách đường biên khá phổ biến

được dùng theo toán tử đạo hàm Như đã nói phương pháp đạo hàm chịu ảnh hưởng

lớn của nhiễu Phương pháp đạt hiệu quả cao khi xấp xỉ đạo hàm bậc nhất của

Gauss.

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

Lấy đạo hàm riêng ta được:

Do bộ lọc Gauss là tách được, ta có thể thực hiện riêng biệt các tích chập theo x và

y

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

CÀI ĐẶT DỰA TRÊN AFORGE.NET FRAMEWORK

Aforge.NET là một C# framework được thiết kế nhằm phục vụ cho các nhà phát

triển và các nhà nghiên cứu trong 2 mảng đề tài về tin học : Computer Vision và

Artificial Intelligent Hỗ trợ trực tiếp các lĩnh vực như : image processing, neural

network, genetic algorithms, machine learning….Framework này được chia làm 5

mảng chính :

1 AForge.Imaging : thư viện hỗ trợ xử lí ảnh.

2 AForge.Neuro : thư viện hỗ trợ lập trình mạng noron.

3 AForge.Genetic : thư viện hỗ trợ lập trình tiến hóa.

4 AForge.Vision : thư viện hỗ trợ lập trình thị giác máy tính

5 AForge.MachineLearning : thư viện máy học.

MODE 1

Mode 1 chỉ đơn giản áp dụng duy nhất phương pháp sai biệt frame trình bày ở trên

Qua trình xử lý của mode 1 gồm 3 bước cơ bản như sau:

1 Ảnh từ camera đưa vào được chuyển đổi sang grayscale.

2 So sánh sự khác biệt giữa frame hiện tại và frame trước đó

3 Kết thúcquá trình so sánh ta sẽ gán background thành background.

Rõ ràng ta có thể thấy đây là sự so sánh các ảnh grayscale của các frame 1 và 2, 2 và

3, đến frame thứ n – l và frame thứ n Những pixel khác biệt đó chính là các đối

tượng có chuyển độn g

Lưu ý: tại lần 1, do không có background nên không thực hiện quá trình xử lý,

cuối lần 1 current frame được gán thành background vi vậy quá trình xử lý ta chi

thực hiện từ lần 2 trở đi Với n frame ta lặp lai thao tác xử lý thì có đụoc n - 2 lần so

sánh

Khi so sánh sự khác biệt giữa frame hiện tại và frame trước đó (background) Ta

phải sử dụng những bộ lọc sau đây:

• Difference

• Threshold

• Erosion

• Merge

• ExtractChannel

• ReplaceChannel

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

Để có thể báo hiệu khi nào xảy ra motion ta chỉ cần tính số white pixel (số pixel

khác biệt hay foreground); nếu vượt qua một ngưỡng đặt sẵn thì có thể nói frame

hiện tại có đối tượng chuyển động Ngưỡng này sẽ hữu ích trong phần cài đặt nâng

cao

Trong hệ màu RGB ta có 3 kênh màu riêng biệt 8 bit nên 1 pixel chứa 2563 = 28x3 =

224 bit Vì thế muốn chuyển từ 1 pixel này sang 1 pixel khác ta phải dịch chuyển

sang phải 23 bit Nhưng trong hệ màu grayscale chỉ sử dụng 8 bit màu tương ứng

với 256 nên muốn chuyển từ pixel này sang pixel khác ta chỉ cần dịch phải 7 bit

Ở mode 1 ta thấy có khuyết điểm như sau: nếu đối tượng di chuyển mượt chúng ta

sẽ nhận được những thay đổi rất nhỏ giữa hai frame kề nhau Vì thế sẽ tồn tại rất

nhiều đối tượng nhỏ hơn threshold nên không thể nào detect được toàn bộ đối

tượng chuyển động Việc detect sẽ càng trở nên tồi tệ khi đối tượng di chuyển quá

chậm, lúc đó thuật toán sẽ không cho ra được bất kì kết quả nào Bên cạnh đó

chuyện gì sẽ xảy ra nếu đối tượng trong 2 frame chuyển động qua nhanh, frame

trước còn thể hiện nhưng đến frame thứ hai lại biến mất? Trong trường hợp này ta

y T ín h & T r u y ền T h ô n g – T r ư ờ n g Đ ạ i h ọ c C ô n g N g h ệ T h ô n g T in

vẫn có thể khẳng định được đối tượng detect là phần bị mất đi, tuy nhiên đó là trong

trường hợp tốt, chuyện gì sẽ xảy ra nếu ngay frame sau xuất hiện một đối tượng

tương tự tại cùng vị trí trước, như vậy ta cũng sẽ không detect được đối tượng

chuyển động Cho nên sau khi nhận thấy 2 khuyết điểm trên, chúng ta se có cách

tiếp cận khác là so sánh giữa frame hiện thời với frame đầu tiên của chuỗi ảnh thuộc

video Nếu không có những đối tượng trong khung ban đầu, việc so sánh giữa frame

hiện thời với frame đầu tiên sẽ cho ta toàn bộ sự chuyển động của đối tượng mà

không phụ thuộc vào tốc độ di chuyển của nó

Chúng ta sẽ lấy frame đầu tiên của chuỗi video như là một frame background, và ta

se luôn so sánh frame hiện thời với background đó Tuy nhiên phương pháp này

cũng có khuyết điểm nếu background về sau bị thay đổi quá nhiều (hoặc thay đổi

cả background) Và kết quả là viêc detect sẽ không chính xác Nên ta phải sử dụng

một phương pháp khác là di chuyển frame background đến frame hiện thời rồi ước

lượng sự thay đổi giữa background trước và frame hiện thời, sau đó cập nhật lại

background đó Phương pháp này còn gọi là bộ lọc MoveTowards, sẽ được sử dụng

chính trong các mode cài đặt sau