Description of interest regions with LBP

Chúng tôi đã thông qua ý kiến cho rằng sự xuất hiện của một vùng quan tâm có thể được đặc trưng tốt bởi các đặc trưng trên mỗi vùng của nó.. Kết hợp có chọn lọc những thế mạnh của SIFT

with Local Binary Patterns

ÂN CỤC BỘ

Nhóm thực hiện:

1

KHÁI QUÁT CHUNG:

Bài viết này trình bày một phương pháp mới để mô tả vùng quan tâm

Chúng tôi đã thông qua ý kiến cho rằng sự xuất hiện của một vùng quan tâm có thể được đặc trưng tốt bởi các đặc trưng (trên mỗi) vùng của

nó

Mô tả hoàn thiện nhất đã được xây dựng dựa trên ý tưởng này là mô tả SIFT sử dụng gradient như đặc trưng vùng

Trong bài viết này, chúng tôi giới thiệu một kết cấu đặc trưng mới, gọi là CS-LBP, là bản chỉnh sửa của đặc trưng LBP nổi tiếng Kết hợp có chọn lọc những thế mạnh của SIFT và LBP, chúng tôi sử dụng CS-LBP như đặc trưng cục bộ trong thuật toán SIFT Kết quả của mô tả được gọi là mô tả CS-LBP.

Mô tả vùng, phát hiện vùng, mô hình nhị phân cục bộ (LBP), SIFT, trùng lặp hình ảnh, công nhận đối tượng

1 GIỚI THIỆU

 Phát hiện đặc trưng vùng của hình ảnh và mô tả những gì nhận được gây được rất nhiều chú ý trong những năm gần đây

 Ý tưởng cơ bản là trước tiên phát hiện vùng quan tâm có sự biến đổi so với 1 lớp chuyển đổi

 Sau đó, với mỗi vùng phát hiện được, một mô tả bất biến sẽ được xây dựng

 Một khi chúng ta có sự tính toán các mô tả, chúng ta có thể thấy được những vùng trùng lặp giữa các ảnh

 Các vùng quan tâm được sử dụng làm đầu vào của phương pháp mô tả vùng được cung cấp bởi thiết bị dò vùng quan tâm

 Có rất nhiều cách tiếp cận khác nhau để dò tìm khu vực đã được đề xuất; lấy ví dụ, một số máy dò phát hiện góc giống như vùng trong khi những máy khác lại trích xuất các đốm màu

 Bài viết này tập trung vào mô tả vùng quan tâm, chúng tôi mời độc giả theo dõi để [6] có thêm thông tin về việc phát hiện vùng quan tâm

1 GIỚI THIỆU

 Với việc phát hiện vùng quan tâm, nhiều cách tiếp cận khác nhau để mô tả vùng quan tâm đã được chúng tôi đề xuất

 Các phương pháp nhấn mạnh những thuộc tính hình ảnh khác nhau như cường độ pixel, màu sắc, kết cấu và các cạnh Nhiều đề xuất mô tả dựa trên sự phân phối, nghĩa là sử dụng biểu đồ để đại diện cho những đặc điểm khác nhau xuất hiện hay những hình dạng

 Mô tả SIFT [3] là biểu đồ 3D của vị trí gradient và định hướng nơi đóng góp vào vị trí và hướng là weighted bởi cường độ dốc và một cửa

1 GIỚI THIỆU

 Một vài nghiên cứu gần đây so sánh các mô tả vùng [15, 7, 16] Hầu như không có ngoại lệ, những kết quả tốt nhất được báo cáo đều

dành cho mô tả dựa trên sự phân bổ (distributionbased) cũng như SIFT

 Gần đây, một nghiên cứu về mô tả vùng đã được công bố Các tác giả phân tách tiến trình khai thác mô tả ra một số modules và đặt chúng vào những sự kết hợp khác nhau Có rất nhiều sự kết hợp được phát triển để các mô tả được công bố như SIFT nhưng nhiều trong số chúng chưa được kiểm tra.

• Hiện nay, rất nhiều toán tử kết cấu tồn tại đã không được sử dụng để mô tả vùng quan tâm [18] Một lý do có thể là, bằng cách sử dụng các phương pháp này, thường là một số lượng lớn kích thước được đề nghị để xây dựng mô tả đáng tin cậy

• Toán tử kết cấu mô hình nhị phân cục bộ LBP [19-21], đã rất thành công cho việc tính toán các vấn đề vision máy tính khác nhau như nhận dạng khuôn mặt [22], background subtraction [23], và nhận dạng cấu trúc bề mặt 3D [24], nhưng hiện cho tới nay nó không được sử dụng

để mô tả vùng quan tâm

1 GIỚI THIỆU

• LBP có những đặc tính có lợi cho việc sử dụng nó trong mô tả vùng quan tâm như dung sai với những thay đổi ánh sáng và đơn giản tính toán

• Nhược điểm là các toán tử tạo ra những biểu đồ khá dài và không phải quá mạnh mẽ trên những vùng hình ảnh phẳng

• Để giải quyết vấn đề này, trong bài viết này, chúng tôi đề xuất LBP mới dựa trên những đặc trưng kết cấu, gọi là mô hình LBP đối xứng (CS-LBP), nó phù hợp hơn cho những vấn đề nhất định.

• Trong bài viết này, chúng tôi đề xuất một mô tả vùng quan tâm mới, ký hiệu là mô tả CS-LBP, kết hợp những đặc tính tốt của SIFT và LBP

Điều này đạt được bằng cách áp dụng mô tả SIFT và sử dụng những đặc trưng mới (novel) CS-LBP thay vì đặc trưng gradient ban đầu

Đặc trưng mới cho phép đơn giản hóa một vài bước của thuật toán làm cho sự tính toán mô tả đạt kết quả đơn giản hơn so với SIFT Nó cũng có vẻ mạnh mẽ hơn trong việc thay đổi ánh sáng so với mô tả SIFT.

2 Phương pháp SIFT và LBP

• Trước khi trình bày chi tiết toán tử CS-LBP và mô tả CS-LBP, chúng tôi cung cấp một đánh giá ngắn về phương pháp SIFT và LBP làm cơ sở cho công việc của chúng ta.

2.1 Mô tả SIFT (1/2)

• Mô tả SIFT là một biểu đồ 3D vùng gradient và định hướng Vị trí được lượng tử hóa trong một vùng lưới kích thước 4x4 và góc gradient được lượng

tử hóa trong 8 hướng, kết quả là một mô tả 128 chiều

2 Phương pháp SIFT và LBP

2.1 Mô tả SIFT (2/2)

• Đầu tiên, độ lớn gradient và hướng trong vùng quan tâm được tính toán

• Sau đó, biên độ gradient cùng với cửa sổ Gaussian bao trùm vùng

• Để tránh những ảnh hưởng của các vùng nhỏ vào vùng hiện tại của vùng chúng ta đang quan tâm, một sự suy diễn tam giác (trilinear interpolation) được sử dụng để phân bổ giá trị của mỗi mẫu gradient vào bin biểu đồ liền kề

• Cuối cùng, mô tả thu được bằng cách ghép các biểu đồ có hướng trên tất cả các bins Để giảm sự ảnh hưởng của sự thay đổi ánh sáng, mô tả được

chuẩn hóa (normalized) về đơn vị chiều dài Sau đó, ảnh hưởng của cường độ gradient lớn được giảm ngưỡng, như vậy mà mỗi vùng mô tả không lớn hơn 0.2, và chuẩn hóa lại tới đơn vị độ dài

2.2 Hệ thống LBP (1/3)

• Mô hình LBP là một kết cấu bất biến ánh sáng powerful nguyên thủy Biểu đồ của mô hình nhị phân tính toán trên một vùng được sử dụng để mô tả kết cấu Toán tử mô tả mỗi điểm ảnh bởi quan hệ graylevels với các điểm ảnh lân cận, xem hình ảnh 1 điểm minh họa cùng với 8 điểm lân cận Nếu graylevel của điểm lân cận là cao hơn hoặc bằng, giá trị được thiết lập là 1, ngược lại là 0 Hệ mô tả này mô tả kết quả trong khu vực như 1 số nhị phân (binary pattem):

• Trong đó, nc tương ứng với graylevel của các điểm ảnh trung tâm của một vùng lân cận và ni là để cho các graylevel của N cách đều những điểm ảnh trên một bán kính R

2 Phương pháp SIFT và LBP

2.2 Hệ thống LBP (2/3)

• Từ mối tương quan giữa các điểm ảnh với khoảng cách, rất nhiều thông tin kết cấu thu được từ các vùng lân cận Do đó, bán kính R thường được giữ nhỏ Trong thực tế, (1) có nghĩa là những dấu hiệu của sự khác biệt trong một vùng lân cận được hiểu là một số nhị phân N bit, kết quả là 2N giá trị riêng biệt cho các mô hình nhị phân Từ đó, dễ dàng tìm ra rằng LBP có một vài đặc tính có lợi cho việc sử dụng nó trong mô tả vùng quan tâm Các đặc tính được chứng minh là chống lại sự thay đổi ánh sáng mạnh mẽ, chúng rất nhanh cho việc tính toán, và không đòi hỏi quá nhiều thông số thiết lập [21]

2.2 Hệ thống LBP (3/3)

2.2 Đối xứng tâm LBP

• Toán tử LBP, mô tả trong phần 2.2, tạo ra các biểu đồ khá dài và do đó rất khó sử dụng trong nội dung mô tả vùng

• Để giải quyết vấn đề, chúng ta sửa đổi scheme làm sao để so sánh các điểm ảnh trong vùng lân cận Thay bởi so sánh một điểm ảnh với điểm trung tâm, chúng ta so sánh các cặp đối xứng tâm của những điểm ảnh như minh họa trong hình 1 Điều này làm giảm số lượng bước so sánh cho cùng một

số điểm lân cận

• Chúng ta có thể nhìn 8 điểm, LBP tạo ra 256 (28) mô hình nhị phân khác nhau, trong khi đó, CS-LBP là 16 (24) Hơn nữa, sự mạnh mẽ trong vùng ảnh phẳng thu được bởi sự khác biệt các ngưỡng graylevel với một giá trị T nhỏ như đề xuất trong [23]:

3 ĐỐI XỨNG TÂM LBP

(a) Một vùng ảnh elip phát hiện bởi máy dò Hessian-Affline

(b) Vùng với lưới vùng Cartesian sau khi chuẩn hóa (normalized) affine

(c) Kết quả mô tả CS-LBP tính toán cho vùng chuẩn hóa (normalized) Cũng như các ứng dụng khác nữa

4.1 Khai thác các đặc tính với CS-LBP

4 Mô tả CS-LBP

• Một weighting có liên quan tới mỗi điểm ảnh của vùng đầu vào dựa trên việc sử dụng các đặc trưng Một sự so sánh 3 chiến lược weighting khác nhau,

cụ thể là thống nhất (uniform), Gaussian-weighted gradient magnitude (SIFT), và Gaussian, cho thấy rằng mẫu weighting thống nhất là thích hợp nhất cho việc lựa chọn đặc trưng CS-LBP Nói cách khác, bước đặc trưng weighting có thể bị bỏ qua trong trường hợp của chúng tôi

4.2 Đặc trưng weighting

• Để kết hợp không gian thông tin vào các mô tả, vùng đầu vào được chia ra thành các ô với một lưới Chúng tôi đã thử trong 2 lưới khác nhau, tên chúng là Cartesian và log-polar, và nhận thấy rằng Cartesian cho hiệu suất tốt hơn Trong thí nghiệm được trình bày trong bài báo này, chúng tôi sử dụng lưới Cartesian 3x3 (9 ô) hoặc 4x4 (16 ô) Ứng với mỗi ô, một biểu đồ CS-LBP được xây dựng Như vậy, kết quả mô tả là biểu đồ 3D của đặc trưng vùng CS-LBP và những giá trị Như đã giải thích trước đó, số lượng giá trị đặc trưng khác nhau (2N/2) phụ thuộc vào kích thước điểm lân cận (N) mà toán tử CS-LBP lựa chọn.

4 Mô tả CS-LBP

• Để tránh những tác động gianh giới trong đó mô tả những thay đổi đột ngột khi một đặc trưng chuyển từ một ô tới một ô khác, bilinear interpolation over kích thước x và y được sử dụng để chia sẻ đặc trưng giữa 4 ô gần nhất Chia sẻ cho một ô được xác định bởi bilinear interpolation weighting Chúng tôi không suy hơn kích thước giá trị đặc trưng bởi đặc trưng CS-LBP bị lượng tử hóa bởi bản chất của nó

4.3 Xây dựng mô tả

• Mô t cu i đả ố ược xây d ng b ng cách ghép các bi u đ đ c tr ng tính toán cho các ô đ t o thành m u MxMx2N/2 chi u vecto, trong đó, M và N tự ằ ể ồ ặ ư ể ạ ẫ ề ương ng là kích ứ

thướ ước l i và kích thước CS-LBP li n k Cho (M = 3, N = 6), (M =3, N = 8), (M = 4, N = 6) và (M = 4, N= 8), đ dài c a mô t CS-LBP tề ề ộ ủ ả ương ng là 72, 144, 138 và 256 Mô t ứ ả

là chu n hóa (normalized) sang đ n v chi u dài nh hẩ ơ ị ề Ả ưởng r t l n c a các thành ph n mô t đấ ớ ủ ầ ả ược gi m ngả ưỡng m i thành ph n là không l n h n so v i m t ỗ ầ ớ ơ ớ ộ

ngưỡng Đi u này có nghĩa r ng s phân b các đ c tr ng có t m quan tr ng h n c các giá tr l n Sau khi ki m tra th c nghi m, chúng tôi n đ nh ngề ằ ự ố ặ ư ầ ọ ơ ả ị ớ ể ự ệ ấ ị ưỡng 0.2 là chính xác gi ng nh giá tr đố ư ị ượ ử ục s d ng trong thu t toán SIFT Cu i cùng, mô t đậ ố ả ược chu n hóa l i (renormalized) v đ n v chi u dài.ẩ ạ ề ơ ị ề

• Mô tả chi tiết trong các tính toán liên quan tới các bước khác nhau, cụ thể là đặc trưng extraction, đặc trưng weighting, xây dựng mô tả và normalization

mô tả, được đưa ra

• Đặc trưng Extraction đặc trưng được sử dụng bởi mô tả SIFT là hướng gradient Trong hình 1, nếu chúng ta thiết lập bán kính lân cận là 1, hướng

gradient cho các điểm ảnh trung tâm nc bằng Các đặc trưng CS-LBP sử dụng bởi mô tả CS-LBP được tính toán sử dụng (2) Dễ thấy rằng đặc trưng CS-LBP chỉ cần những phép tính toán đơn giản trong khi hướng gradient yêu cầu tiêu thụ tính toán tiếp tuyến ngược thời gian

• Đặc tính Weighting Trong trường hợp mô tả SIFT, đặc trưng weight là độ lớn gradient Gaussianweighted,

Ở đây x và y là tọa độ của các điểm ảnh trung tâm gc Lưu ý rằng, điều này đòi hỏi tốn nhiều thời gian tính nhiều căn bậc hai Trong trường hợp mô tả CS-LBP, đặc trưng weight là 1 khi chúng ta sử dụng weighting thống nhất.

4 Mô tả CS-LBP

• Xây dựng mô tả Các kích thước của bộ mô tả SIFT là x, y và hướng gradient, lượng tử hóa thành 4, 4 và 8 bins tương ứng Mô tả được xây dựng

bằng cách phân phối weight của mỗi điểm ảnh vào bins biểu đồ liền kề Chia sẻ cho mỗi bin được xác định bằng triliear interpolation weights Điều này

có nghĩa rằng mỗi weight được chia sẻ giữa 8 bins Tương tự, kích thước của mô tả CS-LBP là x, y, và giá trị CS-LBP Sự khác biệt để mô tả SIFT là nội suy là chỉ sự cần thiết cho kích thước x và y Điều này là do giá trị CS-LBP được lượng tử hóa bản chất của nó Do đó, mỗi weight được chia sẻ giữa 4 bins Rõ ràng rằng, bilinear interpolation tính toán hiệu quả hơn so với một trilinear

4.5 Độ phức tạp tính toán

• Chuẩn hóa (normalized) mô tả Bước này giống hệt nhau cho cả 2 mô tả Từ bảng 1, chúng ta thấy rằng bước tốn thời gian hết là khai thác đặc trưng

(bao gồm tính toán weight) Sự đơn giản của toán tử CS-LBP trên một gradient được thể hiện rõ trong thời gian tính toán

4 Mô tả CS-LBP

4.5 Độ phức tạp tính toán

• Chúng tôi sử dụng 2 giao thức nổi tiếng để đánh giá đề xuất mô tả CS-LBP Cả 2 đều sẵn có và miễn phí trên internet

• Giao thức đầu tiên là một giao thức phù hợp được thiết kết để phù hợp với các vùng quan tâm trùng lặp giữa 2 cặp hình ảnh [27]

• Giao thức thứ 2 là PASCAL Visual Object Classes Challenge 2006, một danh mục đối tượng giao thức classification [28]

5.1 Phát hiện vùng quan tâm và chuẩn hóa

5.2 Trùng ảnh

• Các máy dò khu vực quan tâm trích xuất các vùng được sử dụng để tính toán các mô tả Trong các thí nghiệm, chúng tôi sử dụng 4 máy dò khác nhau: Hessian-Affine (HesAff), Harris-Affine (HarAff), Hessian-Laplace (HesLap), and Harris-Laplace (HarLap) [6,29].

5.1 Phát hiện vùng quan tâm và chuẩn hóa

5 Đánh giá thử nghiệm

• Giao thức có sẵn trên internet cùng với dữ liệu thử nghiệm [27] Các dữ liệu thử nghiệm bao gồm hình ảnh với biển đổi hình học và photometric transformations and for different scene types 6 lần biến đổi khác nhau được đánh giá: Thay đổi quan điểm, thay đổi quy mô, quay ảnh, làm mờ ảnh, thay đổi ánh sáng, và nén JPEG 2 kiểu scene khác nhau được cấu trúc và kết cấu scene

• Những hình ảnh thử nghiệm được trình bày trong hình 3

5.2 Trùng ảnh (1/4)

5.2 Trùng ảnh (2/4)

5 Đánh giá thử nghiệm

5.2 Trùng ảnh (3/4)

• Để nghiên cứu chi tiết hơn dung sai của mô tả, chúng tôi chụp cặp 4 hình ảnh bổ sung trong hình 4 Tiêu chí đánh giá dựa trên số lượng điểm trùng là đúng hoặc sai giữa mỗi cặp hình ảnh Định nghĩa một sự trùng lặp dựa trên chiến lược phù hợp (matching strategy) Như trong [7], chúng ta tuyên bố 2 vùng quan tâm trùng lặp nếu khoảng các Euclidean giữa mô tả của chúng dưới một ngưỡng Số lượng trung lặp đúng được sác định với các lỗi chồng chéo nhau [30] Các biện pháp như thế nào khu vực A và B tương ứng dưới một homography H được biết đến, và được xác định bởi intersection và union của các vùng:

5.2 Trùng ảnh (4/4)

5 Đánh giá thử nghiệm

• Một sự trùng lặp được giả định là đúng nếu Một mô tả có thể có một số trùng lặp và một số chúng có thể đúng Các kết quả trình bày với recall versus 1-precision:

• Ở đây # correspondences viết tắt cho the ground truth number of matching regions between the images

• Các đường cong thu được bằng cách thay đổi khoảng các ngưỡng và một mô tả hoàn thành sẽ cho phép thu hồi bằng 1 với sự chính xác bất kỳ Tiếp

5.2.1 Tham số đánh giá

5 Đánh giá thử nghiệm

Kết quả đánh giá tham số Chỉ có một tham số được thay đổi tại một thời

điểm trong khi những tham số khác đã được cố định ở giá trị M = 4, W =

WU, R = 2, N = 8, và T = 0,01 Chữ viết tắt: M = kích thước lưới

Cartesian, W = Phương pháp đo trọng lượng, WU = thông nhất, WGG =

độ lớn gra-diên trọng số Gauss, WG = Gaussian, (R, N, T) = tham số toán

tử CS-LBP

5.2.1 Tham số đánh giá

• Từ những kết quả chúng ta thấy rằng trong tất cả đề án trọng số, lưới 4 × 4 cung cấp hiệu suất tốt nhất tiếp theo là 3×3 và 5×5 Lưới Đề các 4x4 cũng

là một trong những cái được sử dụng trong mô tả SIFT Trong ba đề án trọng số hiệu suất tốt nhất được báo cáo cho trọng số thống nhất Trọng số Gaussian cho gần như chính xác cùng một hiệu suất nhưng là tính toán tốn kém hơn Độ lớn Gra-điên trọng lượng Gaussian được sử dụng bởi các SIFT cho các kết quả rõ ràng /tồi tệ /nhất Các giá trị tốt nhất cho các tham số liên quan CS-LBP, tức là R, N, T, tương ứng như 2, 8, và 0.01 Trong kết luận, lưới 4 × 4 và CS-LBP 2, 8,0.01 với trọng số thống nhất là một lựa chọn tốt