nghiên cứu phương pháp truy vấn ảnh theo đặc trưng hình dạng

MỘT SỐ VẤN ĐỀ TRONG TRUY VẤN ẢNH DỰA VÀO HÌNH DẠNG Các phương pháp trích chọn đặc điểm hình dạng thường được chia thành hai loại là: - Trích chọn theo đường biên xấp xỉ đa giác, mô hì

Trang 1

NGHIÊN CỨU PHƯƠNG PHÁP TRUY VẤN ẢNH

THEO ĐẶC TRƯNG HÌNH DẠNG

Trang 2

MỤC TIÊU LUẬN VĂN

Hiểu rõ lý thuyết về xử lý ảnh và các thuật toán để giải quyết bài toán truy vấn ảnh theo đặc trưng hình dạng Xây dựng bài toán về truy vấn ảnh các biển báo giao thông đường bộ và ứng dụng nhỏ để giải quyết bài toán

Trang 3

NỘI DUNG TRÌNH BÀY

Trang 4

ĐẶT VẤN ĐỀ

 Hình ảnh (sau đây gọi là ảnh) đóng một vai trò quan trọng, ảnh đã cùng len lõi vào tất cả các lĩnh vực của con người trong cuộc sống hiện tại, mang lại các giá trị thiết thực, giúp làm phong phú quá trình phục vụ một nhu cầu nhất định của con người

 Công nghệ Internet được phát minh và WWW ra đời cho phép khả năng lưu trữ hình ảnh rộng rãi và tra cứu thông tin trên môi trường mạng trong đó có hình ảnh=>lĩnh vực nghiên cứu liên quan đến ảnh như thu thập, xử lý, tìm kiếm, truy vấn hình ảnh ngày càng được quan tâm

Trang 5

ĐẶT VẤN ĐỀ

 Với mục đích nghiên cứu áp dụng các thuật toán để tạo ra một phương pháp truy vấn ảnh theo đặc trưng hình dạng

=> Giải quyết bài toán trước mắt là truy vấn các biển báo trong giao thông đường bộ

=> CSDL ảnh sử dụng phục vụ nghiên cứu chỉ xem xét đến phạm vi ảnh tĩnh các biển báo giao thông đường bộ

Trang 6

MỘT SỐ VẤN ĐỀ TRONG TRUY VẤN ẢNH

DỰA VÀO HÌNH DẠNG

Các phương pháp trích chọn đặc điểm hình dạng thường được chia thành hai loại là:

- Trích chọn theo đường biên (xấp xỉ đa giác, mô hình

phần tử hữu hạn, mô tả hình dạng theo Fourier)

- Trích chọn theo vùng ảnh (mô hình thống kê)

Trang 8

Một điểm ảnh được gọi là biên nếu ở đó có sự thay đổi đột ngột về mức xám Tập hợp các điểm biên tạo thành biên của ảnh

- Phương pháp phát hiện biên trực tiếp: Phương

pháp này làm nổi biên dựa vào sự biến thiên độ xám của ảnh Kỹ thuật chủ yếu dùng để phát hiện biên là kỹ thuật đạo hàm

- Phương pháp phát hiện biên gián tiếp: ta phân

được ảnh thành các vùng thì ranh giới giữa các vùng là đó

Trang 9

Phương pháp phát hiện biên trực tiếp:

Kỹ thuật phát hiện biên Gradient:

Trang 10

Kỹ thuật phát hiện biên Gradient:

- Mặt nạ Prewitt;

- Mặt nạ Sobel;

- Kỹ thuật La bàn;

Trang 11

Kỹ thuật phát hiện biên Laplace:

2

2 2

y

f x

f f

Trang 12

Phương pháp phát hiện biên gián tiếp:

Kỹ thuật dò biên gián tiếp đơn giản:

Giả sử đã tìm được một vị trí (x, y) nằm trên biên của một vùng ảnh hoặc đối tượng ảnh nào đó

Đánh dấu điểm đó là "đã sử dụng" (để điểm đó không

bị sử dụng lại) và đánh giá tất cả giá trị gradient Sobel 3×3 (hoặc lớn hơn) có trung tâm lần lượt là các điểm trong 8 điểm lân cận với (x, y)

12

Trang 13

Chọn ra ba điểm có biên độ gradient tuyệt đối lớn nhất Đẩy vị trí của ba điểm đó vào một mảng có 3 cột, mỗi cột tương ứng với vị trí của một điểm, sắp xếp thành từng hàng theo độ lớn của biên độ gradient Chọn điểm có biên độ gradient lớn nhất

Trang 14

Bây giờ điểm này sẽ là một trong 8 hướng từ 0 đến 7 xung quanh điểm (x, y) sắp xếp theo mô hình sau (trong

đó * là vị trí điểm (x, y)):

4 5

6

3

* 7

2 1

0

Trang 15

Kỹ thuật dò biên gián tiếp bằng cách xác định chu tuyến của đối tượng ảnh:

Kỹ thuật này chỉ xét với ảnh nhị phân vì mọi ảnh đều

có thể đưa về ảnh nhị phân bằng kỹ thuật phân ngưỡng

Trang 16

Xử lý ảnh trong miền tần số và biến đổi Fourier:

Biến đổi Fourier cho tín hiệu 2 chiều được biểu diễn

qua công thức toán học như sau:

H ( , ) ( , ) j2 (ux vy)

) sin(

) cos(

,

Trang 17

Có thể biến đổi dữ liệu ảnh từ miền tần số về miền

không gian thông qua phép biến đổi Fourier ngược:

h ( , ) ( , ) j2 (ux vy)

Trang 18

Biến đổi Fourier yêu cầu đầu vào là dạng số phức Có

thể biểu diễn số phức thông qua cường độ và góc pha như sau

) , ( )

, ( )

) ,

( tan

) ,

v u R

v u

I v

u



Trang 19

Biến đổi Fourier rời rạc:

2

) , (

1 )

, (

ux j

e y x

h MN

v u

Công thức để chuyển về miền không gian sẽ là:

Trang 20

Biến đổi Fourier nhanh:

Phép biến đổi Fourier rời rạc có độ phức tạp rất cao, cần phải có N2 phép nhân số phức khi tính chuỗi Fourier cho N phần tử

Người ta phát hiện ra rằng có thể chia dãy biến đổi Fourier rời rạc có đội dài N thành 2 dãy có độ dài mỗi dãy

là N/2 Sau đó mỗi dãy con lại có thể chia đôi tiếp đến khi chỉ còn dãy chỉ còn 2 phần tử

20

Trang 21

Kỹ thuật chia để trị được sử dụng để xây dựng phép biến đổi Fourier nhanh (FFT), thuật toán này giúp làm giảm độ phức tạp của thuật toán từ cấp N2 xuống cấp NlogN

Để thực hiện trước khi thực hiện FFT, dãy tín hiệu vào

Trang 22

Trong xử lý ảnh, tính chất chia đôi được của dãy Fourier cho phép chúng ta tách phép biến đổi một phép biến đổi 2 chiều thành 2 phép biến đổi 1 chiều, có nghĩa

là ta sẽ tính biến đổi Fourier cho từng hàng trước sau đó biến đổi Fourier cho các cột

Hai thuật toán cơ bản để thực hiện biến đổi Fourier nhanh là thuật toán con bướm (Butterfly) để tính toán cho

2 phần tử và thuật toán Đảo bit (Bit reversal) để sắp xếp dãy đầu vào theo thứ tự hợp lý để thực hiện biến đổi 22

Trang 23

có thể định nghĩa ba loại biểu diễn đường biên là biểu

diễn bằng độ cong, bằng khoảng cách trọng tâm và bằng

hàm toạ độ phức

Độ cong K(s) tại một điểm s nằm trên biên có thể được

định nghĩa là tốc độ thay đổi hướng của tiếp tuyến của

Trang 24

Mô tả Fourier:

Khoảng cách trọng tâm được định nghĩa là hàm khoảng

cách giữa giữa một điểm ảnh nằm trên biên và trọng tâm (xc, yc) của đối tượng ảnh

2 2

) (

) ( s xs xc ys yc

Hàm toạ độ phức đơn giản là biểu diễn toạ độ của

các điểm ảnh biên bằng một số phức

Z(s) = (x - x ) + j(y - y )

Trang 25

F F

F

F là thành phần hệ số thứ i của biến đổi Fourier, ta

Trang 26

Mô tả Fourier:

Mô tả Fourier của hàm toạ độ phức là:

F1 là thành phần khác 0 đầu tiên sử dụng để chuẩn hoá các hệ số biến đổi, thành phần tần số âm và dương đều được xét đến Thành phần một chiều DC phụ thuộc vào vị trí của đối tượng và do đó bị bỏ qua

2 1

1 1

) 1 2 / (

, ,,

, ,

F

F F

F

Trang 27

Các bất biến moment:

Đối tượng ảnh R được biểu diễn dưới dạng ảnh nhị

phân thì moment trung tâm bậc p+q của hình dạng của

đối tượng ảnh R được định nghĩa là:

q c

p c q

) , (



Moment trung tâm này có thể được chuẩn hoá để không

Trang 28

Các hàm xoay/ góc xoay:

Hàm xoay hay góc xoay (s) là hàm đo góc giữa các

tiếp tuyến như là một hàm của độ dài cung s tương ứng với một điểm tham chiếu nằm trên đường biên của đối tượng:

tan)

xs'  s

Trang 29

năng có thể của t và góc quay , tức là:

p p

B A

t R

d

1 1

] 1 , 0 [

min )

Trang 30

Hướng trục chính có thể được định nghĩa là hướng

của véctơ riêng lớn nhất của ma trận hiệp phương sai bậc hai của một vùng hay của một đối tượng

Độ lệch tâm là tỉ số giữa véctơ riêng nhỏ nhất và

véctơ riêng lớn nhất

Trang 31

Đánh giá độ tương tự và xây dựng sơ đồ đánh chỉ số:

Đánh giá độ tương tự:

Phương pháp tra cứu ảnh theo nội dung sẽ tính toán sự

tương tự trực quan giữa một ảnh mẫu và các ảnh trong một cơ sở dữ liệu và do đó kết quả của sự tra cứu không chỉ trả về một tấm ảnh mà nó trả về một danh sách các ảnh được xếp hạng dựa trên độ tương tự với ảnh mẫu

Ký hiệu D(I,J) là số đo khoảng cách (về độ tương tự) giữa ảnh mẫu I và một ảnh J bất kỳ và f i (I) là số điểm ảnh

trong bin thứ i của ảnh I, f (J) là số điểm ảnh trong bin thứ

Trang 32

f J

I D

/ 1

)()

()

Trang 33

- Mỗi phần tử a ij là độ tương tự giữa bin i và bin j

- F I và F J là các véctơ liệt kê tất cả các đề mục của f i (I)

và f (J)

) (

) , ( I J FI FJ T A FI FJ

Trang 34

) (

) , ( I J FI FJ T C 1 FI FJ

Trang 35

Đánh giá độ tương tự:

Độ phân kỳ Kullback-Leibler và độ phân kỳ Jeffrey:

Độ phân kỳ Kullback-Leibler (KL) giữa hai ảnh I và J

J f

I

f I

f J

I

D

) (

)

( log

) ( )

, (

Trang 36

Xây dựng sơ đồ đánh chỉ số:

Biến đổi Karhumen-Loeve: Với một ảnh thực U kích

thước M×N, các véctơ cơ bản của biến đổi KLo là các

véctơ riêng trực giao của ma trận tự tương quan R u

U MxN : ma trận điểm ảnh; V MxN: ma trận ảnh đã biến đổi

u n,, v n : véctơ cột thứ n của ảnh U,V (0 ≤ n ≤ N-1)

R u: ma trận tự tương quan của ảnh U

R v: ma trận tự tương quan của ảnh đã biến đổi

v n = T u n

Trang 37

1 1

max arg

k

i

T i i

T w

w

Trang 38

Tương tác với người sử dụng:

Đặc tả truy vấn:

- Truy vấn bằng phác thảo là cho phép người sử dụng

vẽ một hình phác thảo của một bức ảnh bằng một công cụ soạn thảo đồ hoạ của chính hệ thống tra cứu hoặc sử dụng công cụ đồ hoạ của phần mềm khác

- Truy vấn bằng ví dụ mẫu là cho phép người sử dụng

tạo truy vấn bằng cách chỉ ra một ảnh mẫu Hệ thống sẽ chuyển đổi ảnh mẫu này thành dạng biểu diễn nội tại bằng các đặc trưng của ảnh Các ảnh trong cơ sở dữ liệu

có đặc trưng tương tự sẽ được tìm kiếm

38

Trang 39

Đặc tả truy vấn:

- Truy vấn bằng một nhóm ảnh mẫu là cho phép người

sử dụng lựa chọn nhiều ảnh mẫu Hệ thống sẽ phải tìm những ảnh phù hợp nhất với các đặc điểm chung của nhóm ảnh mẫu đó Bằng cách này, mục tiêu cần tìm có thể được định nghĩa một cách chính xác hơn bằng cách xác định được những biến thể hợp lý và loại bỏ những biến thể không hợp lý trong truy vấn

Trang 40

Xử lý phản hồi:

- Phản hồi thích hợp là kỹ thuật học tích cực có giám

sát sử dụng để tăng cường hiệu quả của các hệ thống thông tin Ý tưởng là sử dụng các mẫu tích cực và các mẫu phủ định do người sử dụng cung cấp để cải thiện hiệu năng hệ thống

Trang 41

Xử lý phản hồi:

- Đối với một truy vấn cho trước, đầu tiên hệ thống sẽ

một danh sách các ảnh được xếp hạng theo hệ đo độ tương tự đã được định nghĩa trước Sau đó, người sử dụng

sẽ đánh dấu những kết quả nào là thích hợp (những ví dụ tích cực) với truy vấn và những kết quả nào không thích hợp (những ví dụ phủ định) Hệ thống sẽ "làm mịn" lại kết quả tìm kiếm dựa trên những phản hồi của người sử dụng và đưa ra một danh sách mới các ảnh phù hợp hơn

41

Trang 42

BÀI TOÁN VÀ CHƯƠNG TRÌNH

THỬ NGHIỆM

 Bài toán truy vấn biển báo giao thông đường bộ Việt Nam

 Các bước thực hiện giải quyết bài toán

 Chương trình thử nghiệm - query traffic signs

Trang 43

Bài toán truy vấn biển báo giao thông

đường bộ Việt Nam

Biển báo giao thông là biển ký hiệu thông báo cho người tham gia giao thông tình trạng đường, đưa ra những chỉ dẫn, hay cảnh báo giúp người tham gia giao thông xử lý và đưa ra những hành vi hợp lý, đảm bảo an toàn giao thông Mỗi người tham gia giao thông đòi hỏi phải nắm bắt và hiểu hết toàn bộ ý nghĩa của tất cả các biển báo giao thông phù hợp với phương tiện mình đang vận hành trên đường Việc này trở nên khá khó khăn khi số lượng biển báo quá lớn Vì lý do trên, tôi mong muốn xây dựng

Trang 44

Một số biển báo cấm đường bộ Việt Nam: Nhóm biển báo

cấm này gồm có 48 kiểu được đánh số thứ tự từ số 101 đến số

137 nhằm báo điều cấm hoặc hạn chế mà người sử dụng đường

bộ phải tuyệt đối tuân theo

Một số biển báo nguy hiểm đường bộ Việt Nam: Nhóm

biển báo nguy hiểm gồm 56 kiểu được đánh số thứ tự từ số 201 đến số 245 nhằm báo cho người sử dụng đường bộ biết trước tính chất của sự nguy hiểm trên đường để có biện pháp phòng ngừa, xử trí

Một số biển hiệu lệnh đường bộ Việt Nam: Nhóm biển hiệu

lệnh gồm có 18 kiểu được đánh số thứ tự từ số 301 đến số 309

Trang 45

Nhiệm vụ của bài toán là xây dựng hệ thống tra cứu ảnh biển

báo giao thông có một số các chức năng sau:

- Khi người sử dụng cung cấp một ảnh mẫu biển báo giao thông cần tra cứu Hệ thống có nhiệm vụ tìm kiếm trong một cơ

sở dữ liệu ảnh đã có sẵn và cho ra một danh sách 5 ảnh tương tự như ảnh mẫu theo thứ tự ảnh nào được coi là giống với ảnh mẫu hơn thì được xếp phía trên

- Người sử dụng có thể thiết lập khoảng cách ngưỡng cho từng đặc điểm: chương trình chỉ trả lại các kết quả mà khoảng

Trang 46

- Ảnh có định dạng phổ biến JPG, BMP, GIF, PCX, đã qua khâu tiền xử lý để loại bỏ nhiễu

Trang 47

Các bước thực hiện giải quyết bài toán

- Ảnh mẫu được đọc vào cấu trúc DIB bằng hàm

Trang 48

Các bước thực hiện giải quyết bài toán

- Đọc từng ảnh trong cơ sở dữ liệu, thực hiện các bước giống như với ảnh mẫu để được vector đặc trưng của ảnh vừa đọc

- So sánh vector đặc trưng của ảnh mẫu và ảnh đọc từ CSDL bằng cách tính khoảng cách Euclide của 2 vector đặc trưng bằng

hàm GetShape Distance

- Thêm ảnh vừa đọc vào danh sách ảnh tìm thấy, ảnh có sai khác so với ảnh mẫu nhỏ hơn được xếp lên trên

Trang 49

Chương trình thử nghiệm - query traffic signs

Chương trình được phát triển trên nền tảng Microsoft NET và phân tách thành các module riêng rẽ sau:

- Module đọc ảnh

- Module dò biên đối tượng ảnh

- Module chuẩn hoá kích thước – Resample

- Module biến đổi FFT;

Định dạng
Số trang	59
Dung lượng	0,97 MB