Nghiên cứu một số kỹ thuật hỗ trợ tìm kiếm ảnh theo nội dung

• T ìm hiểu các hệ thống tra cứu ảnh theo: các đặc trưng toàn cục, các điểm nổi bật, đặc trưng hình dạng, kết hợp các đấu hiệu và cấu trúc, độ tương tự của các ảnh và các đối tượng trong

ĐINH ĐỨC HÙNG

NGHIÊN CỨU MỘT SỐ KĨ THUẬT Hỗ TRỢ• m m

TÌM KIẾM ẢNH THEO NỘI DUNG

Chuyên ngành: Công nghệ Thông tin

MỤC LỤC

LỜI CẢM ƠN 1

Chương 1 TỔNG QUAN VỀ TRA ctnu ẢNH 5

1.1 Giới thiệu về xử lí ảnh 5

ỉ 1.1 C ác g ia i đoạn trong x ử lí ả n h 5

L 1 2 M ộ t s ố kh á i niệm trong x ử lí ả n h 7

1.2. Giới thiệu về tìm kiếm ảnh 8

L3 Mục tiêu của luận văn 10

1.4 Kết luận •••••••••••: ••••••••••••••••••••"••••••••••••• 11 Chương 2 MỘT số KĨ THUẬT CHUNG VỀ TÌM KIẾM ẢNH THEO NỘI DUNG 12 21 Giới thiệu _ _ -•••••••••••••• 12 2.2 Phạm vi của tìm kiếm ảnh theo nội 12 2.2.7 Phân loại theo ứng dụng 12

2.2.2 Vùng ảnh và lỗ hổng cảm giác 13

2.2.3 T ri thức vùng 14

2.3 Biểu diễn nội dung ảnh, xử lí ảnh 16

2 3 L Xử lí màu sắ c 17

2.3.2 Xử lí hình dạng cục bộ 17

2.3.3 Xử lí cấu trúc ả n h 18

2 3 4 K ết lu ậ n 18

2A. Thể hiện nội dungỉ Các đặc trư n g """" 18

2.4.1 Gộp dữ liệ u 19

2.4.2 C ác đặc trưng 19

2 4 3 M ô tả cấu trú c 21

2.5 Sự thể hiện và độ tương tự •••••••••••••••••••• 22

2 5 1 T h ể h iện n g ữ n g h ĩa 22

2.5.2 Đ ộ tương tự 22

2.5.3 Thảo luận về sự th ể hiện và độ tương tự 25

2.6 Tương tác : : . 25

2.6.1 Không gian truy vấ n 25

2.6.2 H iển thị không gian truy v ấ n 26

2.6.3 Tương tác với không gian truy vấn 27

2.6.4 K ết lu ậ n 27

2.7* Hệ thống •••••••••••••••••••••••••••••• 28

2.7.7 Lưu trữ và đánh ch ỉ số 28

2.7.2 K iến trúc hệ thống 29

2.7.3 Đ ánh giá hệ thống 29

2 7 4 K ết lu ậ n 31

2.8 Một số kết luận chung 31

Chlĩơng 3 HAI Kĩ THUẬT Hỗ TRỢ TÌM KIẾM ẢNH THEO NỘI DUNG

3.1 Giới thiệu

3.2 Kĩ thuật phân đoạn ảnh sử dụng kì vọng lớn n h ất

3.2.1 T rích chọn các đặc trư n g

3.2.2 N hóm các điểm ảnh thành các vùng

3 2 3 Biểu diễn các vù n g

3.3 Kĩ thuật so khớp theo qui hoạch động

3.3.1 B iểu diễn hình dạng trong D P

3 3 2 , C ác trường hợp cần so khớp

3.3.3 Bảng qui hoạch động (DP ta b le )

3.3.4 Đ ánh giá so khớp bằng hàm khoảng c á c h

3 3 5 C ác yếu tố ảnh hưởng đến giá so k h ớ p

Chương 4 ÚNG DỤNG TRONG TÌM KIẾM ẢNH THEO NỘI DUNG •••••• 4丄 Giới thiệu

4.2 ứng dụng của k ĩ thuật phàn đoạn sử dụng kì vọng lớn nhất 4.3 ứ n g dụng k ĩ th u ậ t q u i hoạch đ ộ n g

4 3 1 Q uá trìn h so k h ớ p

KẾT LUẬN VÀ KIẾN NGHỊ

TÀI LIỆU THAM KHẢO

PHỤ LỤC

34 34 34

34 38 40

41

41 42 43 45

46

50

50

50

52 52

57

58 60

DANH MỤC BẢNG BIỂU VÀ HÌNH VẼ

Bảng 1 : Ba sự phân loại theo mục đích của các hệ thống tìm kiếm ảnh

theo nội dung 13

Bảng 2: So sánh vùng rộng và vùng h ẹ p 14

Hình 1 : Các giai đoạn chính trong xử lí ảnh 5

Hình 2: Các thành phần của một hệ thống xử lí ảnh 6

Hình 3: Các nguồn tri thức chung theo thứ tự bằng nhau 15

Hình 4: Các module xử lí ảnh 16

Hình 5: Các cách khác nhau để nhóm dữ liệu ảnh 18

Hình 6 : Sơ đổ k ĩ thuật phân đoạn ảnh sử dụng kì vọng lớn nhất 34

Hình 7: Các cửa sổ khởi tạo thuật toán EM 37

(a)K = 2 ,(b )K = 3 ,(c)K = 3và(d)K = 4, (e) K= 5 Hình 8: V í dụ vể một bảng DP với ；VI=5 (shape A) và A)=7 (shape B) 44

s， X và T là các ô trong phần khởi động, tính toán và kết thúc Hình 9: Các con số hình học cho việc định nghĩa độ quan trọng cùa đoạn 46

Hình 10: Tóm tắt thuật toán so khớp 53

H ình 11 : Các trường hợp biểu diễn đường cong 55

Aj là đường cong ban đầu, A2 là đường cong đối xứng,

A 3 minh hoạ quá trình duyệt theo hướng ngược lại

và A4 là đối xúng của Aj với hướng duyệt ngược ỉại.

TỔNG QUAN VỂ TRA c ứ u ẢNH

Trong những năm gần đây, cùng vớ i sự phát triển như vũ bão của các ngành K hoa học K ĩ thuật nói chung đặc biệt là Công nghệ Thông tin thì x ử lí ảnh, m ột K hoa học của Công nghệ Thông tin thuộc chuyên ngành T rí tuệ nhân tạo đã có những phát triển và ứng dụng đáng kể trong nhiều ĩĩn h vực khác nhau Khoâ học xử lí ảnh so vớ i nhiều ngành khoa họe khác còn tương đối

m ới mẻ, nhất là trên quy mô công nghiệp, x ử lí ảnh cũng đã thu được nhiều kết quả và ứng dụng lớn ở V iệ t nam cũng như rất nhiều nước trên thế giới

Các giai đoạn trong xử lí ảnh

Chương 1

Bài toán xử lí ảnh bao gồm các g iai đoạn tổng quát như sau [1]:

H ình 1: Các giai đoạn chính trong xử lí ảnh

• Thu nhận ảnh: ảnh có thể được thu nhận qua camera nó có thể là tín hiệu tương tự cũng có thể là tín hiệu số N goài ra ảnh cũng có thể được thu nhận từ vệ tin h thông qua các bộ cảm ứng (sensor), hoặc tranh ảnh được quét bằng scanner,

• Ảnh sau k h i được thu nhận có thể được số hoá để lưu trữ hoặc sẽ được♦ 攀 • • •phân tích trong giai đoạn tiếp theo (phân tích ảnh Phân tích ảnh gồm

nhiẻu giai đoạn nhỏ hơn: tăng cường, nâng cao chất lượng ảnh (khắc phục những thiếu xót của quá trình thu nhận ảnh như： nhiểu, m éo.v.v)，

làm nổi bật những đặc trưng chính của ảnh hoặc làm cho ảnh trở về tình trạng ban đầu.v.v.x tiếp theo là việc phát hiện các đặc trưng của ảnh như： biên, vùng ảnh，trích chọn các đặc trưng của ảnh

• C uối cùng ảnh sẽ được nhận dạng, phân lớ p hoặc phục vụ cho các mục đích khác nhau

Đé xử lí các quá trìn h trên đây thì m ột hệ thống xử lí ảnh bao gồm m ột

số thành phần sau đây (phần cứng) [1 ]:

H ình 2: Các thành phần của m ột hệ thống xử lí ảnh

• Camera: cũng giống như con m ắt của hệ thống Camera có hai lo ại: loại CCIR ứng với chuẩn C C IR quét ảnh v ớ i tần số 1/25，m ỗi ảnh gồm 625 dòng; loại CCD gồm các photo đ iố t tương ứng m ột cường độ sáng tại

m ột điểm ảnh ứng v ớ i m ột phần tử ảnh (p ixe l)

• Bộ xử lí tương tự (analog processor) thực hiện các chức năng:

- Chọn camera thích hợp nếu hệ thống có nhiều camera

一 Chọn màn hình hiển th ị tữ i hiệu*

- Thu nhận tín hiệu video bởi bộ số hoá (digita lize r) Thực hiện lấy mẫu và mã hoá.

一 Tiển xử lí ảnh khi thu nhận.

• Bộ xử lí ảnh số gồm nhiều bộ xử lí chuyên dụng: xử lí lọc, trích chọn đường bao, nhị phân hoá ảnh

• Máy chủ đóng vai trò điểu khiển các thành phần nêu trên.

• Bộ nhớ ngoài: lưu trữ dữ liệu ảnh cũng như các kiểu dữ liêu khác, để có thể chuyển giao cho quá trình khác

1.1.2 Một số khái niệm trong xử lí ảnh.

• Pixel (phần tử ảnh hay điểm ảnh): Để xử lí được ảnh bằng máy tính điện

tử cần số hoá nó hay nói cách khác là biến đổi các ảnh từ tín hiệu liên tục sang tín hiệu rờ i rạc thông qua việc lấy mẫu và lượng tử hoá Trong quá trình này người ta sử dụng khái niệm pixe l M ỗ i pixe l được đặc trưng bởi cặp toạ độ (x，y) và màu sắc của nó

• Ảnh là m ột tập hợp các pixel (điểm ảnh) ta có thể coi ảnh là m ột mảng hai chiếu I(n，p) có n dòng và p cột, với ảnh này sẽ có nxp pixel Ta k í hiệu I(x，y) để chỉ m ột pixel

• Mức xám (G ray level): đó là kết quả cua việc mã hoá ứng với m ột cường độ sáng của m ỗi điểm ảnh với m ột giá trị số Thông thường ảnh được mã hoá dưới dạng 16，32 hay 64 mức

• Biẻu diển ảnh: trong biểu diễn ảnh người ta ữiường đùng các phần tử đặc trưng của ảnh là pixel M ộ t hàm hai biến chứa các thông tin như

m ột biểu diẽn ảnh M ộ t số mô hình thường dùng để biểu diẽn ảnh là:

mô hình toán (biểu diễn ảnh nhờ các hàm cơ sở), mô hình thống kê (ảnh

được coi như m ột phần tử của m ột tập hợp đặc trưng bởi kì vọng toán, hiệp biến, phương sai, moment V.V.).

• Tăng cường ảnh: đây là m ột bước tiền xử lí quan trọng bao gồm các k ĩ thuật lọc độ tương phản, khử nhiễu, nổ i m àu.v.v

• Biến đổi ảnh (Image Transform ) nói tớ i m ột lớp các ma trận đơn v ị và các k ĩ thuật dùng để biến đổi ảnh: Biến đổi Fourier, Sin, Cosin, tích

K ronecker, biến đổi Karhum en Loeve.v.v

• Phân tích ảnh: liê n quan đến việc xác đinh các độ đo đinh lượng của

m ột ảnh để đưa ra m ột mô tả đầy đủ về ảnh Có nhiều k ĩ thuật hổ trợ phân tích ảnh: xác định biên của ảnh, các k ĩ thuật lọc v i phân, dò theo quy hoạch động, các k ĩ thuật phân vùng ảnh dựa trên các tiêu chuẩn đánh giá về màu sắc，cường độ.v.v

• Nhận dạng ảnh: quá trình này liên quan đến các mô tả đố i tượng mà người ta m uốn đặc tả nó Nhận dạng ảnh thường đ i sau quá trình trích chọn các đặc trưng chủ yếu của đối tượng

• Tra cứu ảnh (hay tìm kiếm ảnh): để có thể tra cứu được ảnh cũng cần

mô tả được ảnh như trong quá trình nhận dạng ảnh Tra cứu ảnh có nhiệm vụ tìm được ảnh theo yêu cầu của người sử dụng N hiều hệ thống nhận dạng và tra cứu ảnh đã được nghiên cứu rất thành công trong những năm gần đây [13]

• Nén ảnh: nhằm giảm kích cỡ ảnh để có thể truyền tải ảnh qua mạng hay

để giảm bộ nhớ lưu trữ giữ liệu ảnh [1 ]

1.2 Giới thiệu về tìm kiếm ảnh.

Gần đây có m ột sự bùng nổ mạnh mẽ về thông tin , nhiều cơ sở dữ liệu

đã được xây dựng [13] Nó là nguồn tài sản vô cùng quý giá đối vớ i nhiều

ngành k in h tế cũng như nhiều ngành khoa học k ĩ thuật Tuy nhiên, để có thể

sứ đụng m ột cách hiệu quả những cơ sở dữ liệu ảnh này thì cần phải có những phương pháp đồng bộ bao gồm tất cả các khâu trong quá trình xử lí ảnh

• X ử lí các nhiẻu méo trong quá trình thu nhận ảnh để ảnh lưu trữ trung thực nhất với hình ảnh ban đầu Đồng thời đưa ra các thuật toán tố i ưu

để xử lí nhiễu méo Gắn mô đun xử lí này vào hệ thống tra cứu ảnh để nâng cao hiệu quả của hệ thống

• Tìm cách lưu trữ ảnh một cách hiệu quả tiế t kiệm nhất không gian bộ nhớ lưu trữ, [5 ], [1 0 ]，[11] vì dữ liệ u ảnh là rất lớn so với dữ liệu dưới dạng văn bản Ngoài ra việc lưu trữ dữ liệu ảnh như thế nào còn giúp cho việc xử lí thuận lợ i dữ liệu này, chẳng hạn để tra cứu ảnh đúng yêu cầu với tốc độ nhanh, thuật toán xử lí ảnh dẻ cài đặt, để có thể đưa ảnh lên mạng Internet và truyền đ i vớ i tốc độ cao

• Biểu diễn dữ liệu ảnh theo phương pháp nào để tìm kiếm ảnh đạt hiệu quả cao nhất [5]

• Tra cứu (tìm kiếm ) m ột ảnh đúng theo yêu cầu，với tốc độ và độ chính xác cao M ộ t hệ thống tìm kiếm ảnh rất cần trong các thư viện điện tử, ngày càng được phát triển rộng rãi Để giải quyết bài toán tìm kiếm ảnh cần g iả i quyết tố t nhiểu bài toán liê n quan: lưu trữ, biểu diễn, tăng cường ảnh (sửa chữa nhiễu, méo nhất là đố i với những ảnh khảo cổ học với chất lượng rất xấu) Ngoài ra thuật toán tra cứu ảnh phải chạy được trên tập dữ liệu ảnh cực 1ÓĨ1

• X ây dựng hệ thống tìm kiếm tương tác trực quan với người sử dụng: cho phép người sử dụng đặc tả yêu cầu lần thứ nhất và những lần tìm kiếm tiếp theo m ột cách thuận lợ i thoải m ái [5 ], [13]

• Hệ thống tra cứu ảnh có thể tra cứu ở mức cao hơn đó là tìm theo đối tượng theo yêu cầu nằm trong các ảnh (tìm theo nộ i dung).

M ộ t cách tổng quát, tìm kiếm ảnh là dùng m ột phương pháp nào đó để c5 tìm ra m ột ảnh thoả mãn yêu cầu củâ người sử dụng T im kiếm ảnh theo

rùi dung là m ột trường hợp riêng của tìm kiếm ảnh nói chung, Tìm kiếm ảnh theo nội dung là việc tìm kiếm ảnh theo những đặc trưng thuộc về ảnh mà ta g?i là n ộ i dung: theo vùng, theo đối tượng trong ảnh, theo sơ đồ mức xám.v.v

1.3 Mục tiêu của luận văn

Trong khuôn khổ m ột luận văn cao học và m ột khoảng thời gian hạn chế chúng tôi không đặt ra mục tiêu quá cao đối vớ i m ột vấn đề quá lớn Luận vin chỉ đề cập đến m ột số vấn đế dư óiđây:

• N ghiên cứu, phân tích và đưa ra cái nhìn chung nhất vể tìm kiếm ảnh theo nội dung và các phương pháp tìm kiếm ảnh theo nội dung trong những năm gần đây [13] trên m ột số khía cạnh sau: các đặc trưng, kiểu loại ảnh, chỗ hổng cảm ứng và chỗ hổng ngữ nghĩav

• T ìm hiểu các hệ thống tra cứu ảnh theo: các đặc trưng toàn cục, các điểm nổi bật, đặc trưng hình dạng, kết hợp các đấu hiệu và cấu trúc, độ tương tự của các ảnh và các đối tượng trong ảnh Tương tác của người

sử dụng và hệ thống

• N ghiên cứu đánh giá phương pháp phân đoạn ảnh B lobw orld và sử dụng

k ì vọng cực đại để tru y vấh ảnh; phương pháp tìm kiếm ảnh bằng qui hoạch động [1 3 ]，[8 ]，[5]

• M ộ t số thử nghiệm của các thuật toán đưa ra

• V iệ c cải tiến, đưa ra thuật toán và ứng dụng vào thực tế trong các bài toán Nhận dạng và tìm kiếím ảnh dành cho những nghiên cứu lớn hơn

1 A Kết luận

Trong chương 1 chúng tôi giới thiệu một số khái niệm về xử lí ảnh, khái quát về một hệ xử lí ảnh Trong chương này chúng tôi cũng giới thiệu tổng quát vế một số vấn đề trong tra cứu ảnh và mục tiêu luận văn cần đạt được.

MỘT SỔ K ĩ THUẬT CHUNG VỂ TÌM KIẾM ẢNH

THEO NỘI DUNG

Các ảnh trong thực tế được quan tâm dưới nhiều khía cạnh khác nhau như là một ảnh, là một đối tượng hay với mục đích khác Từ những năm 90 của thế kỉ trước cho tới nay vắn đề tra cứu ảnh theo nội dung đã được nghiên cứu và có nhiểu ứng dụng Theo chúng tôi việc tổng kết đánh giá và đưa ra một số khái niệm về vấn đề này là cần thiết cho việc phát triển, ứng dụng các

kĩ thuật đó ờ Việt nam Nội dung của chương được đưa ra theo thứ tự sau:

phạm vi của tìm kiếm ảnh, các phương pháp xử lí ảnh theo màu sắc, cấu trúc， ••” phân chia dữ liệu, tính toán đặc trưng, độ tương tự giữa hai ảnh, truy vấn ảnh.

2.2. Phạm vi của tìm kiếm ảnh theo nội dung

2.2.1 Phân loại theo ứng dụng

Tìm kiếm ảnh theo nội dung được phân chiâ theo ứng dụng thành 3 loại sau: tìm kiếm bằng cách duyệt một tập dữ liệu ảnh từ các cơ sở dữ liệu không được đặc tả; tìm kiếm đích trên các ảnh được đặc tả; tìm theo hạng loại (theo lớp tương tự) và tìm kiếm kết hợp Sự phân loại trên có thể được tóm tắt như bảng 1 trên các khía cạnh: mục tiêu cần đạt được, truy vấn bằng mẫu，độ tương tự, các sự kiện trong không gian, sự phản hồi, cập nhật tương tác (ảnh, đặc trưng, độ tương tự.)

Chương 2

Tìm kiếm Đích, tìm theo lạng loại và tim kiếm kết hợp trong tra cứu ảnh

Mục tiêu đối tượng

Phản hỗi thích đáng trên các giá tri kết hợp

Cập nhật tương tác:

Của ảnh của truy vấn

Của đặc trưng truy vấn

Của độ tương tự

Lọc từng bước

Truy vấn mở rộng Lọc tửng bướcThích hợp YỚi nhóm

Lọc từng bước Thay đổi từng bước Tao lai hỉnh dang cho đích •

Bảng 1 : Phân loại các hệ thống tìm kiếm ảnh theo nội dung

2.2.2 Vùng ảnh và lỗ hổng cảm giác

Vùng ảnh z cần nghiên cứu được phân chia thành hai loại: vùng rộng và hep 1) V ùng hẹp là m ộ t vùng m à sự b iến th iên củ a nó được giớ i hạn và xá c định trong tấ t cả các kh ía cạnh thích đáng của s ự x u ấ t h iện của vùng. 2) V ùng

rộng có sự b iến th iên không giớ i h ạ n ，không xá c đ ịn h tro n g tấ t cả các sự x u ấ t hiện của vùng thậm c h í cả với ỷ nghĩa tương tự.

Trong một vùng hẹp, người ta tìm kiếm một tính chất thay đổi được giới hạn cua nội dung ảnh Trong một vùng rộng ngữ nghĩa của ảnh được diễn tả chỉ là cục bộ.

Khi tìm kiếm ảnh theo nội dung, cần quan tâm đến một khái niệm là

“ chỗ hổng cảm giác” C h ỗ hổng cảm g iá c là c h ỗ hổng giữa đ ố i tượng trong

th ế giới và thông tin tro n g m ột sự th ể hiện (tín h to á n ) th u được từ việc thu ảnh đó.

Chỗ hổng cảm giác đã đặt ra cho việc thể hiện đối tượng ảnh m ột vấn

đề đó ỉà sự không chắc chắn trong trạng thái của đối tượng Chỗ hổng cảm

giác là m ột thiếu xót k h i m ột tri thức chính xác của điều kiện thu nhận ảnh bị mất Hầu hết các thiếu xót của các hệ thống tìm kiếm ảnh gần đây xuất phát từ

việc không tìm ra chỗ hổng ngữ nghĩa và khắc phục những hậu quả của nó cho

hộ thống X é t trên khía cạnh người sử dụng ta có thể c o i ch ỗ hổng cảm giác là

sự thiếu sự trù n g khớp giữa thông tin m à người ta có th ể trích ra từ cơ sỏ d ữ

liệu nhìn thấy và sự biễu diễn các dữ liệu đó do người sử dụng đưa ra.

So sánh các vùng rộng và hẹp trong tìm kiếm ảnh

Bảng 2: So sánh vùng rộng và vùng hẹpKhác vớ i văn bản luôn cần đến ngữ cảnh còn ảnh thì tự nó đã cho ta biết nội dung Các giá trị đặc trưng ngữ nghĩa được thêm vào cùng với các từ khoá hoặc các chú giả i là g iả i pháp để giảm chi phí lớn trong việc tru y cập vào nội dung ảnh trong các cơ sở dữ liệu ảnh quá lớn

2.2,3 T ri thức vùng

Trong tìm kiếm ảnh thể hiện chính xác tri thức vùng là rất quan trọng để làm giảm chỗ hổng cảm giác Và sau đây là m ột số quy tắc cần tuân thủ:

• Các quy tắc về sự bằng nhau và sự tương tự vể cú pháp định nghĩa các mối quan hệ liên quan giữa các điểm ảnh hoặc giữa các đặc trưng ảnh mà bỏ qua những nguyên nhân cảm ứng hay vật lí.

• Các quy tắc biểu diễn tri giác của con người về sự bằng nhau và sự tương tự là rất quan trọng bở i vì chúng định nghĩa độ bằng nhau trên các nguyên tắc nẻn tảng giống nhau như độ bằng nhau về kin h nghiệm của người

sử dụng

• Các quy tắc vật lí diễn tả sự bằng nhau và khác nhau của các ảnh dưới

sự khác nhau về tri giác và đặc tính bể m ặt của đối tượng

• Các quy tắc về cấu trúc và tính chất hình học diễn tả sự bằng nhau và

sự khác nhau của các đặc trưng trong không gian

• Các quy tắc dựa trên các phạm trù để mã hoá các đặc điểm thông thường vào lớp z của không gian tất cả các k í hiệu z

• Các quy tắc bằng nhau và khác nhau dựa trên văn hoá

N hư vậ y: Đ iểm chủ chốt trong tìm kiếm ảnh theo nộ i dung là tìm ra sự tương tự về nội dung của ảnh cần tìm trong cơ sở dữ liệ u Các ứng đụng của tìm kiếm ảnh theo n ộ i dung theo được phân chia thành: tìm kiếm đích, tìm kiếm theo phạm trù và tìm kiếm kết hợp

H ình 3: Các nguồn tri thức chung theo thứ tự bằng nhau

Chỗ hổng cảm giác giữa các tính chất trong m ột ảnh và các đặc điểm của đối tượng ảnh hưởng lớn đến tìm kiếm ảnh theo nội dung Các hệ thống tìm kiếm ảnh theo nội dung phải có khả năng khắc phục chỗ hổng ngữ nghĩa giữa các đặc trưng và làm giàu ngữ nghĩa của người sử dụng.

Việc phân tích các đặc điểm của vùng ảnh, vùng tri thức và các kiểu sửdụng các yếu tố sẵn có để xác định chức năng của m ột hệ thống tìm kiếm ảnh theo nội dung

2.3 Biểu diễn nội dung ảnh， xử lí ảnh*

Đầu tiên, hãy thảo luận vể các toán tử xử lí ảnh, biến đổi dữ liệu ảnhthành m ột mảng dữ liệ u không gian khác, xem hình 4

Hình 4: Các m odule xử lí ảnhCác phương pháp được phân chia theo màu cục bộ, cấu trúc cục bộ，tính chất hình học cục bộ Công thức biến đổi tổng quát như sau:

Trong đó /(X ) là ảnh, g là m ột toán tử trên các ảnh, f (jc) là ảnh kếtquả Ở đây, có thể sử dụng bất biến như m ột công cụ để xử lí những hiện tượng bị méo trong thông tin ảnh [3 ] H ai đ ố i tượng tị nào đó là tương đương dưới m ột nhóm biến đ ổ i w nếu chúng ở trong m ột lớp tương đương:

M ộ t tính chất f của t là bất biến dưới w nếu và chỉ nếu f t không đổi dưới

Sự bất biến về màu sắc là khả năng của con người có thể nhận biết được các màu xuất hiện giống nhau trong các sự biến thiên của độ rọ i sáng mà sự thay đổ i phổ vật lí của độ sáng thu được, Sự bất biến này được sử dụng để tìm kiếm bằng cách sử dụng m ột thể hiện màu bất biến về độ chói sáng

2.X2. Xử lí hình dạng cục bộ

Tất cả các chi tiế t hình học tỉ m ỉ, rõ ràng trong m ột ảnh (hình dạng cục bộ) đều cần được quan tâm Các đặc điểm hình dạng cục bộ thu được từ đạo hàm màu theo hướng cũng được sử dụng, ứng dụng trong các m áy dò ảnh

L í thuyết vể không gian tỉ lệ cung cấp cơ sở phát hiện các ch i tiế t chuứì xác trên bất k ì tỉ lệ nào H ình dạng cục bộ và thông tin cường độ cho điểm nhìn và tìm kiếm đố i tượng bất biến

K ế t hợp giữa hình dạng cục bộ và màu sắc trong thể hiện bất biến là

m ột sự kết hợp hữu ích; trong đó màu sắc ở trong và ngoài của độ cong lớnnhất trong cạnh màu được lưu trong đố i tượng nhận dạng

2.3.3 Xử lí cấu trúc ảnh

Các cấu trúc ảnh được tạo bởi nhiều thành phần, số các thành phần này thường lớn hơn rất nhiểu con số nhận được kh i các đối tượng bị tách ra Các thành phần có thể được thay thế bởi nhiều hoặc ít hơn m ột cách ngẫu nhiên Trong khuôn khổ tìm kiếm ảnh, các nghiên cứu tập trung vào các phương pháp sinh ra hay phân tích sự biểu th ị đặc điểm từng phần

2.3.4 Kết luận

X ử lí ảnh nhằm mục đích nâng cao chất lượng thông tin ảnh để tìm kiếm ảnh theo nội dung Trong đó, xử lí màu sắc ảnh để giảm các lỗ i do điéu kiện ngẫu nhiên gây ra (ví dụ chỗ hổng cảm giác), ứ ig dụng thể hiện hình học thu được từ lí thuyết không gian tỉ lệ cho thấy m ột góc độ và cảnh độc lập với tập điểm nổi bật vì vậy sẽ có cách tìm tính tương tự của ảnh trén các vùng hoặc m ột vài điểm chứa thông tin*

Thảo luân ờ trên đã phân b iệt màu sắc, hình học cục bộ và cấu trúc Các vùng đồng nhất được biểu diễn như các tập hợp của các elipsolid của các màu

và cấu trúc đồng nhất Trong tìm kiếm ảnh theo nội dung bước đầu tiên là tạo nên khả năng phân biệt các tính chất bất biến

2.4 Thể hiện nội dung: Các đặc trưng

Gộp ảnh

■ phân <ỉoạiì 0iạob

- — ■夢 Phao doạ» yếu

Trong tìm kiếm ảnh theo nội dung các ảnh thường được phân chia thànhcác phần trước kh i các đặc trưng được tính toán trên m ỗi phần đó, xem hình 5.Việc phân chia các ảnh thành các phần nhằm mục đích thu được các đặc trưngđược theo lựa chọn Có các sự phân đoạn như sau:• • • t Ẵ •

• P hân đoạn m ạnh là sự p hân ch ia d ữ liệu ảnh thành các vùng, tro n g

đó vùng T c h ỉ chứa các điểm ảnh của hình ch iếu của đ ố i tượng o trong th ế

giới thực, được đặc tả bởi: T= ỡ

• P hân đoạn yếu là việc nhóm dữ liệu ảnh trong m ột vùng T chính xác đồng nhất bên trong theo m ột s ố tiêu chuẩn, với T c O Tiêu chuẩn được thoả mãn nếu vùng T ở bên trong biên của đối tượng o ，nhưng không đảm bảo rằng vùng bao phủ toàn bộ vùng đối tượng

• K h i m ột đối tượng có m ột hình dạng cố định thì: khoanh vùng các dấu hiệu là tìm m ột đối tượng với hình dạng và ngữ nghĩa c ố định, với T= xcenIer

Các dấu hiệu rất hữu ích trong tìm kiếm ảnh dựa trên n ộ i dung kh i chúng biểu diễn m ột sự thể hiện ngữ nghĩa duy nhất và trực tiếp

• D ạ n g gộp yếu nhất là phân chia S ự p h â n ch ia ở đây chính chính là

phân chia dãy dữ liệu bất chấp dữ liệu, được k í hiệu là: T ^ o V ùng T ở đây

có thể là toàn bộ ảnh, hoặc là trung tâm ảnh, bên trên, bên trá i，bên phải M ộ t cách phân chia khác là ảnh được chia thành các phần bằng nhau, m ỗi phần được gán m ộ t nhãn

2.4.2* Các đặc trưng

• C ác đặc trưng toàn cục: là các đặc trưng được tính toán từ toàn bộ ảnh Đặc trưng tích lu ỹ tính theo công thức sau:

2.4.1 Gộp dữ liệu

F j - ỵ h o f ( x ) (2.4)

h

Trong đó z là toán tử kết hợp; Fj là tập các đặc trưng tích luỹ hoặc là tập các đặc trưng tích lu ỹ đánh số trong m ột biểu đồ mức xám; Tj là phần phân chia qua giá trị Fj được tính Toán tử/ỉ là trọng số liê n quan

Để tính các đặc trưng tích lu ỹ có thể sử dụng biểu đồ mức xám Nó cũng tỏ rõ m ột số ưu điểm : không cần thông tin vế v ị trí đối tượng trong ảnh, thay đổi rất chậm so vớ i các tiêu chuẩn khác T uy nhiên, đ ố i vớ i cơ sở dữ liệu lớn dùng biểu đồ mức xám đơn giản không thể phân b iệ t được Để giải quyết vấn để này người ta đã thêm vào cấu trúc cục bộ, đặc trưng cục bộ, cạnh định hướng, khoảng cách cục bộ, biểu đồ mức xám , các đặc trưng hình học

• C ác đặc trưng Dổi b ậ t: Để tránh sự các nhược điểm của phân đoạn mạnh là sử dụng phân đoạn yếu Đ iều này đã dẫn đến việc gộp dữ liệ u thành các vùng và việc lựa chọn phải dựa trên các đặc trưng nổi bật của vùng Các dặc trưng n ổ i bật có thể được đưa ra trong phương trìn h tổng quát sau:

FẢ x) = A h o f ( x) (2 -5)

Tj

Trong đó, 八 là một toán tử lựa chọn cục bộ, h cho ta max của trường

ảnh được xử lí f(x) Vùng Tj được xét trên giá trị củâ Fj được tìm trên toàn ảnh.

Thông tin của ảnh chỉ được thể hiện trong m ột số giá tr ị đặc trưng nổi bật Những giá tr ị này được lưu trữ để tìm kiếm ảnh N goài ra những giá trị bất biến cũng cần được gh i lạ i và được coi như các điểm n ổ i bật

• C ác dấu h iệ u : k h i m ột thể hiện của m ột ảnh có ưu thế (mang ý nghĩa của ảnh) thì ảnh có dấu hiệu và được biểu diễn bằng xác suất p trên sự thể hiện z như công thức sau:

(2.6)

với các kí hiệu như trong phương trình (2.5) Sự phân tích này dẫn đến

vấn để là tìm vị trí của dấu hiệu với xác suất nào đó Các dấu hiệu ta thường

thấy đó là: biểu tượng, kí tự，nhãn mác，v.v.

• C ác đặc trư n g hình dạng và đối tượng: Phân đoạn ảnh là cách tố t

nhất để nâng cao chất lượng thông tin vế đối tượng chứa trong ảnh Nhưng

phương pháp này dẽ đổ vỡ trong các vùng rộng Còn trong vùng hẹp ta có:

tj( x ) = sJ o f ( x ) (2.7)

Trong đ ó f(x ) là trường dữ liệu thu được từ quá trình xử lí ờ trên (là ảnh

i(x ) khi g là toán tử đồng nhất), Sj là toán tử phân đoạn cho đối tượng ỹ, và tj(x)

trưng:

Trong đó z là toán tử kết hợp và h là chức năng tính toán hình dạng

Một phương pháp khác là trích chọn ra các chu tuyến của đối tượng từ

ảnh, tăng dần độ trơn bằng cách phân chia chúng thành các vùng của các tùi

hiệu hằng của các đạo hàm bậc hai và giảm từ từ số lượng các vùng để thu

được elipsoid mà có thể được đặc trưng bởi một số đặc trưng nào đó.

2.4.3 Mô tả cấu trúc

Trong quá trình tính toán, các đặc trưng củâ các thực thể có thể được

lưu trữ với mối liên hệ với nhau Một tạp đặc trưng cấu trúc như vậy có thể

chứa các giá trị đặc trưng cộng với các mối liên hệ không gian, một cấu trúc

thứ tự của các giá trị đặc trưng, hoặc mối liên hệ giữa tập các điểm hoặc tập

các đối tượng

Quá trình trên được biểu diẻn bằng phương trình sau:

Trong đó Tjtk là thành phần thứ k của đối tượng thứ ý, và H jtk là một mối

liên hệ không gian diễn tả đối tượng ý trong k thành phần

2.5, Sự thể hiện và độ tương tự

2.5.1 Thể hiện ngữ nghĩa

Trong tìm kiếm ảnh theo nội dung sẽ rất hữu ích nếu đưa vào sự thể

hiện ngữ nghĩa của các đặc trưng thu được từ ảnh Đ ặc trưng ngữ nghĩa nhằm

vào mục đích m ã hoá sự th ể hiện của ảnh mà thích đáng với các ứng dụng

Giả sử m ột véc tơ đặc trưng F thu được từ ảnh /• Đ ố i v ớ i những sự thể hiện

ngữ nghĩa z thu được từ tập tất cả các sự thể hiện hiện z ，ta có xác suất điều

kiện:

M ộ t đặc trưng ngữ nghĩa mạnh với sự thể hiện Zj sẽ có xác suất được

tữih bằng P (z I F) = - Zj). Nếu m ột đặc trưng không mang ngữ nghĩa thì ta

có P (z I F) = P (z) độc lập v ớ i giá tr ị đặc trưng

2.5.2 Độ tương tự

trưng có thể sử dụng hàm tương tự Khi tìm ảnh /*^(x) trong số các thành phần

của cơ sở dữ liệu ảnh, id(x), tri thức vùng sẽ được biểu diễn bằng độ đo tương

tự Sq d giữa ảnh q trên cơ sở tập các đặc trưng Độ tương tự của hai véc tơ

đặc trưng F nói chung được cho bởi công thức:

Trong đó g là hàm dương không tăng, và d là hàm khoảng cách Công

thức này phù hợp với các truy vấn theo mẫu

Biểu đồ mức xám có thể được xem như m ột tập các đặc trưng có thứ tự

và độ đo khoảng cách giữa chúng được cho bởi:

ổ(¥q ,¥ d) = g od(¥ q， ) (2.13)

Trong đó d có thể là khoảng cách giao: d{ (F^,Fư) = ^ n m in (F /,F /) hay

khoảng cách M in ko w ski: dr( ĩ \ ĩ d) - r ； ( F 1 và F* là hai biể đồ

mức xám chứa n điểm )

• Độ tương tự của các đặc trưng cấu trúc: kết quả của một thể hiện

cấu trúc là m ột tập thứ tự các giá trị đặc trưng H Đ ộ tương tự của các đặc

trưng cấu tróc cho bởi:

Cây thứ tự được so sánh với m ục đích tìm kiế m bằng việc chuyển chúng

thành các xâu M ộ t độ đo tương tự dựa trên khoảng cách cho ta độ đo tương tự

giữa các lá tương ứng trong cây

K h i các ảnh được biến đổi thành các vùng đồng nhất nhằm tìm kiếm

dựa trên cấu trúc, màu sắc Các vùng được chuyển thành m ột xâu trong từ điển

th ị giác Các xâu được biểu diễn bằng các biểu đồ mức xám liê n vùng F (/j/)

Trong quá trìn h truy vấn， độ tương tự giữa q d được cho bởi

F9Frf，đó là từng thành phần tương ứng của các biểu đồ mức xám theo thứ tự vùng

• Đ ộ tương tự giữa các đặc trưng nổi bật: các đặc trưng nổi bật được

sử dụng thu được thông tin trong ảnh Sau đó độ tương tự có thể được tữih theo

các véc tơ đặc trưng n ổ i bật:

Trong đó và ¥d là các véc tơ đặc trưng nổi bật và g ỉà m ột hàm đơn

điệu tố i ưu M ộ t độ đo tương tự giữa các giá trị đặc trưng để đo kết quả từ các

điểm màu từ sự phân đoạn yếu bao gồm m ột khoảng cách M ahalanobis giữa

các véc tơ đặc trưng của màu sắc, cấu trúc, v ị trí, diện tích, độ lệch tâm và

hướng của 2 elip Nếu các đặc trưng của e lip được thể bằng véc tơ F ，khoảng

cách giữa p q được cho bởi dq d = [(F q - F^)r (¥q - F^)]^ trong đó z là ma

trận trọng số đường chéo được đặt b ở i người sử dụng Đ ộ tương tự giữa hai

điểm màu được định nghĩa là Sqd: exp( - tí^ /2 )

V ớ i các điểm nổi bật được tính theo biểu đồ mức xám , độ tương tự giữa

các biểu đồ mức xám F^và xác đinh sự có m ặt của các điểm nổi bật được

tính như sau:

Sq^ g o d ( F \ ¥ d) (2.16)

Khoảng cách nhằm đo sự hiện diện của các tập giống nhau các

điểm nổi bật Sự khác nhau giữa văn bản d trong tệp dữ liệu và truy vấn

ợ được tính là khoảng cách giao dx ( F ' ) = E u ("/ .) ，trên tất cả

các chiếu

Độ tương tự của các điểm nổ i bật chỉ tập trung vào các m ối liê n hệ

không gian trong số tập các điểm nổi bật ¥ q và p 小

tập các điểm í(x )，độ tương tự được tính theo công thức:

SqÀ^ s ụ q( x ịt d(x )\ (2.18)

• Độ tư ơng tự ngữ n g h ĩa : m ột khái niệm chung về độ tương tự là cần phải có truyến lù i thích đáng, trong đó độ tương tự tính v ớ i toàn bộ ảnh được

yêu cầu M ố i liê n hệ được biểu diễn giữa độ tương tự và hàm khoảng cách

đ ịnh nghĩa m ột độ đo trọng số củâ hai độ tương tự đơn giản hơn S (s ， S ị ， S2) =

M^exp(-í/(iS/，5)) + W 2exp(-(i(5^)) M ục đích cùa độ đo này là tìm ra tất cả các

vùng mà tương tự với hai truy vấn điểm được đặc tả

2.5.3 Thảo luận về sự thể hiện và độ tương tự

Chỉ k h i ảnh tự nó đã cho ta m ột sự thể hiện rõ, các hệ thống dựa trên

nộ i dung sẽ có được thông tin trong trường hợp lí tưởng M ộ t sự thể hiện ngữ

nghĩa mạnh xuất hiện kh i m ột dấu hiệu có thể được đồng nhất trong ảnh Các

ngữ nghĩa yếu phụ thuộc vào sự phân loại không chính xác đã được kết luận

bởi độ đo tương tự thích hợp tương tác trực tuyến

Đ ộ tương tự là m ột trong những sự thể hiện của ảnh dựa trên sự khác

nhau vớ i các ảnh khác Đ ố i vớ i m ỗi m ột kiểu đặc trưng khác nhau độ đo tương

tự là cần thiế t vì ảnh hưởng độ đo này đến tìm kiếm

2.6 Tương tác

Trong tìm kiếm ảnh theo nội dung, tương tác là m ột sự ảnh hưởng qua

lại giữa người sử dụng, các ảnh, và sự thể hiện ngữ nghĩa của chúng

2.6A. Không gian truy vấn

K hông gian ư uy vấn Q là m ột m ục tiêu phụ thuộc 4 thành phần

{IqJq^q^Zq} Trong đó: Iq^là sự lựa chọn ảnh từ tập I; Fq^c F là sự lựa chọn đăc

trưng từ Iq； ôq^là hàm tương tự; ZqJZ z là tập các nhãn,

M ộ t tru y vấn Q = ự QyFQìSQìZQ} là m ột phần tử của không gian tru y vấn

Các tru y vấn được phân thành các lo ạ i sau:

• Truy vấn chính xác bằng xác định ảnh là m ột sự đặc tả của v ị từ trên các sự thể hiện ảnh toàn cục，thường trong dạng của v ị từ vùng.

• T ruy vấn chính xá c bằng xác định nhóm là tru y vấn sử dụng m ột thành phần ZE Iq

• T ruy vấn xấp x ỉ bang các m ẫu không gian thu được kết quả trong m ột ảnh hoặc trong cấu true không gian tương ứng v ớ i giá trị ảnh và các m ối liê n

hộ không gian của chúng

• T ruy vấn xấp x ỉ bởi các mẫu ảnh cung cấp cho hệ thống m ột chuỗi

ề

hoàn chỉnh các điểm ảnh và các truy vấn cho những ảnh tương tự nhất, trong

kh i kết quả yêu cầu k • láng giềng gần nhất trong không gian tra y ván

• T ruy vấn xấp x ỉ bởi các nhóm m ẫu là m ột sự đặc tả thông qua m ột sự lựa chọn các ảnh chỉ rõ đích Nhân tố căn bản là phải đưa m ột ảnh trong ngữ nghĩa của chính nó để tạo nên m ột sự thể hiện có thể Z€ Zq

2.6.2 Hiển thỉ không gỉan truy vấn

Có nhiều cách để trình bày kết quả tru y vắn cho người sử dụng Trước tiên phải đinh nghĩa toán tử th ị giác Toán tử th ị giác V ánh xạ từ không gian

tru y vấn Q vào không g ian h iển th ị D cố sô ch iều d.

Chú rằng d là số chiếu trong kết quả tru y vấn hoặc d được thu gọn bởi hàm chiếu trong V nếu kết quả truy vấn là quá lớ n để trực tiếp th ị giác K h i truy vấn là chính xác, kết quả của tru y vấn là m ột tập các ảnh được xác định đầy đủ Đối với các truy vấn xấp xỉ, ảnh trong Iq được đưa ra với một độ tương

tự dựa trôn Sq đối vớ i tru y vấn

K hông gian đã m ở rộng bởi các đặc trưng trong F q là không gian với số chiều lớn K h i các ảnh được thể hiện bằng véc tơ đặc tnm g, m ọi ảnh có m ột sự

kết hợp trong không gian này Toán tử V ánh xạ không gian đặc trưng có số chiều lớn lên trên m ột không gian thể hiện vớ i d=3 M ộ t tập ảnh hiển th ị phụ thuộc vào sự lựa chọn tốt hay xấu của người sử dụng phù hợp với sự lựa chọn được tạo ra trong đa số người sử dụng.

2.63. Tương tác với không gian truy vấn

Trong các hệ tìm kiếm sự đặc tả tru y vấn và hiển th ị sẽ được lặp lạ i để tiến gần đến đích Trước hết ta để cập đến khái niệm phiên truy VỂÙ1 tương tác

M ột phiên truy vấn tương tác là m ột dãy các không gian truy vấn {Q0, Q 1

Ợ ^ \Ợ } v ớ iA n(q )^ V (Q r ).

Trong m ột phiên kết thúc thành công A n(q) là kết quả tìm kiếm của người sử dụng Đ ố i với các mục đích tìm kiếm khác nhau cần phải xem xét đến khía cạnh người sử dụng và cập nhật vào không gian truy vấn, vớ i RFị là

sự phản hổi thích đáng trong lần lặp thứ l Công thức cập nhật chung là:

{V q ^ q X q } - > ự ỉ \ F ^ \ s ỵ \ z ^ x} (2.19)

Trong các hệ thống tìm kiếm , việc tương tác giữa người sử dụng và không gian tru y vấn là cần thiết V iệc cập nhật có thể trên từng thành phần của không gian truy vấn

2.6.4 Kết luận

Sự tương tác vớ i người sử dụng đóng vai trò quan trọng trong bất kì hệ thống tìm kiếm ảnh nào Nhưng trong thực tế，chủ đề là m ột tập các đặc trưng thích đáng và hàm tương tự phụ thuộc vào đích cùa người sử dụng Ván đề hiển th ị kết quả truy văứi cũng cần được quan tâm V iệ c nâng cao khả năng th ị giác của các kết quả tru y vấn là cần th iế t trong việc tương tác giữa hệ thống và người sử dụng Để có kết quả truy vấn đúng theo yêu cầu thì cần quá trình tương tác tố t giữa người sử dụng và hệ thống Các mẫu tương tác ở đây cho

thấy rằng sự phản hồi dẫn tớ i m ột sự cập nhật của chỉ m ột trong những thành phẩn của không gian tru y vấn.

O ựogN ). N goài ra R -tree cũng là m ột cấu trúc dữ liệ u được dùng để đánh chỉ

số các siêu chữ nhật trong không gian M chiều M ộ t cách đánh chỉ số khác là R+-tree được cải tiến từ R -tree không cho phép hình chữ nhật có biên nhỏ nhất trong m ột nút overlap Trong R*-tree các hình chữ nhật có biên bé nhất có overlap

Các cấu trúc đánh chỉ số dựa trên khoảng cách là các k ĩ thuật phân chia dìông gian dựa trên mẫu, và vì vậy sẽ rất thuận lợ i cho tru y vấn bởi mẫu kh i diông gian đặc trưng là không gian m etric Quan điểm trước đây là lọc m ột ỉiể m v í dụ, và chia phần còn lại của không gian đặc trưng thành MU nhóm Tong các vòng tròn đổng tâm quanh mẫu.

ỉ.7.2 Kiến trúc hệ thống

K iế n trúc là tâm điểm của m ột Hệ quản lí cơ sở dữ liệu nói chung trên ihững mô đun phân tích, đánh chỉ số, huấn luyện, tìm kiếm v.v Những khía :ạnh này đã được giải quyết trong bài toán quản tr ị cơ sở dữ liệ u nói chung Điều thuận lợ i ở đây chính là các thành phần xử lí cho kiể u dữ liệu m ới và có thể đưa vào m ột cách nhanh chóng Đ iều trở ngại ở đây chính là sự khác nhau giữa các đặc trưng mang thông tin và các đặc trưng mang dữ liệ u làm biến đổi mức tri thức trong hệ thống, và vì vậy sẽ cản trở phân tích dựa trên tr i thức

Có kiến trúc hệ thống theo m ột sự phân biệ t các đặc trưng tương tự Nó thêm vào m ột chiều m ới cho kiến trúc của hệ thống dựa trên nộ i dung bằng việc tạo chính xác tri thức cho các vùng đa dạng của hệ thống N goài ra, sự tích hợp nghiên cứu cơ sở dữ liệu và th ị giác đã mang lạ i m ột k ĩ thuật cho tường tượng kiế n trúc và n ộ i dung của m ột cơ sở dữ liệ u ảnh Các hệ thống đã

sử dụng độ tương tự dựa trên nội dung, sự tương tác và th ị giác, cũng đạt kết quả tốt như các k ĩ thuật cơ sở dữ liệu cho tìm kiếm ảnh thích đáng

2.7.3 Đánh giá hệ thống

Đánh giá hệ thống là m ột việc khó nhưng hết sức cần th iế t cho sự triển khai thành công của các hệ ứiống và tính hữu ích của nó trong các ứng dụng thực tế Để đánh giá m ột hộ tìm kiếm ảnh, phải dựa trên độ gọi lạ i và độ chính xác Giả sử cần m ột tru y vấn q trên cơ sở dữ liệ u D Tập dữ liệ u ảnh được phân chia thành tập thích đáng cho tru y vấn R (q \ và phần còn lạ i là không

thích đáng R {q) và A (q) là kết quả của tru y vấn q. Đ ộ chính xác của câu trả

lờ i được tính như sau:

Đ ộ chính xác và độ gọi lại là công cụ hữu ích trong việc đánh giá m ột

hệ tìm kiếm thông tin nói chung T uy nhiện，trong đ ố i v ớ i cơ sở dữ liệu ảnh thì không hiệu quả tốt vì lựa chọn tập thích đáng trong m ột cơ sở dữ liệu ảnh là

m ột vấn để khó hơn trong cơ sở dữ liệu văn bản Đ ố i vớ i cơ sở dữ liệu ảnh chung ta không thể định nghĩa tường m inh ý nghĩa của m ột ảnh Nhưng m ột danh sách các kết quả được đánh thứ tự số hoặc các cấu hình phức tạp hơn cho

ta m ối liên quan giữa các kết quả truy vấn M ặc dừ có những hạn chế này, nhưng độ chính xác và độ gọ i lại (hoặc m ột độ đo nào đó thu được từ nó) đều

là các độ đo hữu ích trong các tình huống đặc biệt

M ộ t cách khác đánh giá hệ thống là sử dụng độ đo hiệu năng của m ột

cơ sở dữ liệu không sử dụng các khái niệm về tập thích đáng H ọ giả sử rằng

m ột cơ sở dữ liệ u lí tưởng cần phải có m ột tru y vấn q và cung cấp m ột thứ tự lí tưởng của cơ sở dữ liệu : z = • Cơ sở dữ liệ u lí tưởng sẽ cung cấp m ột

độ đo thích đáng cho m ỗi ảnh là S Ụ j) e [0 ,1 ] Cơ sở dữ liệ u được thử sẽ đánh thứ tự ảnh, đưa ra tru y vấn q , k h i Z Q = [ \ ，…，〜 ] , trong đó [7ĩx^.^7 ik] là hoán

v ị của [厶…,k]. Sự đổ i chỗ của ảnh lị giữa hai thứ tự được cho bởi \j-7 T j I, và