Báo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIAN

Báo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIANBáo cáo đồ án môn học XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH ĐỀ TÀI : KHẢO SÁT BỘ DÒ ĐIỂM TRỌNG YẾU VÀ ĐẶC TRƯNG PHỤ THUỘC KHÔNG GIAN – THỜI GIAN

KHOA CÔNG NGHỆ THÔNG TIN

LÊ VĂN TRANG – 1311064 NGUYỄN VĂN THANH – 1311060 HOÀNG VĂN TÀI – 1311056

ĐỒ ÁN MÔN HỌC

XỬ LÝ ẢNH VÀ THỊ GIÁC MÁY TÍNH

TP.HCM 5/2013

Mục lục

PHẦN 1: MỞ ĐẦU 3

1 Sự cần thiết của đề tài 3

2 Mục tiêu của đề tài 3

3 Ý nghĩa của đề tài 3

PHẦN 2: NỘI DUNG NGHIÊN CỨU 4

1 Điểm trọng yếu và đặc trưng cục bộ không gian thời gian 4

2 Khảo sát bộ dò điểm trọng yếu không gian thời gian 4

2.1 Bộ dò Harris 3D 4

2.2 Bộ dò Hessian 3D 4

2.3 Bộ dò Harris-Affine 3D 4

2.4 Bộ dò Hessian-Affine 3D 4

3 Khảo sát đặc trưng quanh điểm trọng yếu không gian thời gian 4

3.1 Đặc trưng 3D SIFT 4

3.2 Đặc trưng MoSIFT 4

3.3 Đặc trưng HOG3D 4

3.4 Đặc trưng Trajectories 4

4 Mô hình giỏ đặc trưng 5

5 Biểu diễn ảnh thông qua các đặc trưng dựa vào mô hình giỏ đặc trưng 5

PHẦN 3: KẾT LUẬN 6

Tài liệu tham khảo 7

Đồ án môn xử lý ảnh và thị giác máy tinh

Bảng chữ viết tắt

STIP Spatial – Temporal Interest Point

Điểm trọng yếu không gian – thời gian SIFT Scale-Invariant Feature Transform

Biến đổi đặc trưng tỉ lệ bất biến MoSIFT Motion Scale-Invariant Feature Transform

Biến đổi đặc trưng cử động bất biến tỉ lệ

Giỏ đặc trưng HOG Histogram of (Orientation) Gradient

Biểu đồ Gradient HOF Histogram of (Optical) Flow

Biểu đồ luồng sáng

2

PHẦN 1: MỞ ĐẦU

1 Sự cần thiết của đề tài

Đặc trưng phụ thuộc không gian thời gian đã cho thấy sự thành công trong nhiều bài toán nhận dạng như: Nhận dạng đối tượng trong cảnh trí, nhận dạng hành động người trong các video giám sát Nhiều phương pháp nhằm phát hiện và mô tả các đặc trưng phụ thuộc không gian thời gian đã được đề xuất trong nhiều công trình nghiên cứu và đã đạt được nhiều kết quả hứa hẹn khả quan Tuy nhiên, việc khảo sát các phương pháp một cách tổng quát vẫn chưa được xem xét

2 Mục tiêu của đề tài

Đề tài này nhằm khảo sát lại một cách khái quát các phương pháp phát hiện và mô tả đặc trưng phụ thuộc không gian thời gian Qua đó nêu bật được

ưu điểm và hạn chế của từng phương pháp

Trong phạm vi của đề tài, chúng em chỉ khảo sát dựa trên 4 phương pháp phát hiện điểm trọng yếu: Harris 3D, Hessian 3D, Harris – Affine 3D, Hessian – Affine 3D và 4 đặc trưng quanh điểm trọng yếu là: 3D – SIFT, MoSIFT, HOG3D, Trajectories

3 Ý nghĩa của đề tài

Từ việc khảo sát các phương pháp phát hiện và mô tả đặc trưng phụ thuộc không gian thời gian, sẽ đưa ra một cái nhìn tổng quát nhất về phương pháp phát hiện và mô tả đặc trưng để từ đó lựa chọn phương pháp thích hợp vào từng bài toán nhận dạng cụ thể

Đồ án môn xử lý ảnh và thị giác máy tinh

PHẦN 2: NỘI DUNG NGHIÊN CỨU

1 Điểm trọng yếu và đặc trưng cục bộ không gian thời gian

Điểm trọng yếu không gian thời gian là những điểm có sự bất biến về tỉ

lệ cũng như các phép biến đổi cơ bản như: xoay, phóng to, thu nhỏ, thay đổi cường độ sáng…Vì vậy có thể xem đây là các đặc trưng mang tính cục bộ của ảnh hoặc video Có thể xem tập các đặc trưng của một video là thể hiện cho nội dung của video đó Vì vậy kết quả của việc nhận dạng sẽ có độ chính xác rất cao

Trong các bài toán nhận dạng đối tượng trong ảnh hoặc video ngày nay hướng nghiên cứu phổ biến trên thế giới là việc sử dụng các điểm bất biến trong ảnh hoặc video làm đặc trưng để nhận dạng

Đặc trưng cục bộ không gian thời gian là …

Phương pháp đặc trưng cục bộ lưu giữ đặc trưng dáng và chuyển động cho một vùng cục bộ, ít nhạy cảm với nhiễu, che khuất một phần, không bị ảnh hưởng bởi các bước tiền xử lý Tuy nhiên phụ thuộc vào hiệu quả và độ chính xác của việc phát hiện điểm đặc trưng

2 Khảo sát bộ dò điểm trọng yếu không gian thời gian

2.1 Bộ dò Harris 3D

Phát hiện góc (corner detection) hoặc một thuật ngữ tổng quát hơn là phát hiện điểm quan tâm (interest point detection) là m ột hướng tiếp cận được sử dụng trong các hệ thống thị giác máy tính để trích chọn các loại đặc trưng và suy luận ra các nội dung của một ảnh Việc phát hiện góc được dùng thường xuyên trong phát hiện, theo dõi

chuyển động, mô hình 3D và nhận dạng đối tượng

Phương pháp phát hiện góc Harris là một phương pháp phát hiện điểm quan tâm phổ biến vì nó bất biến đối với phép quay, thay đổi độ sáng

và tạp nhiễu ảnh Phương pháp này dựa trên hàm tương quan tự động

4

cục bộ của một tín hiệu; ở đó hàm tương quan tự động cục bộ đo các thay đổi cục bộ của tín hiệu với các mảnh ảnh được dịch chuyển một lượng nhỏ theo các hướng khác nhau

Cho trước sự dịch chuyển (Δx, Δy) và một điểm (x,y), hàm tương quan

tự động được định nghĩa như sau:

c(x, y) =∑

w ¿¿ (1)

trong đó I(·,·) biểu thị hàm ảnh và (xi,yi) là các điểm trong cửa sổ W đặt ở vị trí (x,y) Ảnh được dịch chuyển được xấp xỉ bởi phép khai triển Taylor được lượt bớt thành các hạng thức bậc nhất

I(x i +∆ x , y i +∆ y)≈ I(x i , y i)+ ¿ (2)

ở đây I x(·,·) và Iy(·,·) biểu thị các đạo hàm từng phần tương ứng theo x

và y Thế công thức (2) vào (1), ta được:

c(x, y) =∑

w ¿¿

¿∑

w ¿¿¿

¿∑

w ¿¿¿

¿∑

w ¿¿¿

2.2 Bộ dò Hessian 3D

Cơ sở toán học:

Đồ án môn xử lý ảnh và thị giác máy tinh

Trong miền không gian thời gian, mỗi ảnh được biểu diễn dưới dạng hàm với 3 tham số là x, y, t Trong đó, (x, y) là tọa độ của điểm ảnh và t l

Bộ dò Hessian 3D tìm kiếm các vị trí ảnh mà biểu hiện sự biến đổi mạnh theo ba hướng trực giao Nó dựa trên ma trận đạo hàm bậc hai Hessian:

H(x, y ,t ,σ2,τ2)=(L x x L xy L xt

L yx L yy L yt

L tx L ty L tt)

Biểu diễn không gian tỉ lệ trong miền không gian - thời gian của tín hiệu

f(x , y,t)

L(x, y ,t ,σ2,τ2)=g( x, y ,t ,σ2,τ2)∗f (x , y ,t)

với g(x , y ,t ,σ2,τ2)= 1

√(2 π3)σ4τ2e

− x2+ y2

2σ2 − t2 2τ2

Xây dựng biểu diễn từ đạo hàm của tín hiệu trong không gian tỉ lệ không gian - thời gian:

L x k y l t m(x , y,t ,σ2,τ2)=∂ x k y l t m(g(x, y ,t ,σ2,τ2)∗f (x, y ,t))

¿∂ x k

y l

t m f(x, y ,t)∗g(x, y ,t ,σ2,τ2)¿∂ x k

y l

t m g(x , y,t ,σ2, τ2)∗f(x , y,t) Chuẩn hóa:

L x k

y l

t m

norm (x , y,t ,σ2,τ2)=σ k+l τ m L x k

y l

t m(x , y ,t ,σ2,τ2) Cường độ sáng của các điểm trọng yếu được tính bằng định thức của ma trận Hessian:

S=¿det(H) ∨¿

Bộ dò tính các đạo hàm bậc hai L xx , L xy , L xt ,L yy , L yt ,L tt cho mỗi điểm ảnh

và sau đó tìm ra các điểm có định thức của Hessian lớn nhất như là điểm trọng yếu không gian thời gian

Giải thuật phát hiện điểm trọng yếu bằng bộ dò Hessian 3D

2.3 Bộ dò Harris-Affine 3D

6

2.4 Bộ dò Hessian-Affine 3D

3 Khảo sát đặc trưng quanh điểm trọng yếu không gian thời gian

3.1 Đặc trưng 3D SIFT

3.2 Đặc trưng MoSIFT

Cơ sở toán học:

Giải thuật phát hiện và mô tả đặc trưng MoSIFT:

3.3 Đặc trưng HOG3D

3.4 Đặc trưng Trajectories

4 Mô hình giỏ đặc trưng

5 Biểu diễn ảnh thông qua các đặc trưng dựa vào mô hình giỏ đặc trưng

Đồ án môn xử lý ảnh và thị giác máy tinh

PHẦN 3: KẾT LUẬN

8

Tài liệu tham khảo

[1] Ming-Yu Chen, Alexander Hauptmann, MoSIFT: Recognizing Human Actions in Surveillance Videos, 9-2009

[2]

[3]

[4]