slike bài giảng cơ sở dữ liệu đa phương tiện - nguyễn thị oanh chương 4b tìm kiếm dl đptp2 dữ liệu ảnh

CSDL ảnh …: General database General database : Photo collection, Internet – Nội dung đa dạng, không đồng nhất – Biểu diễn dựa trên các đặc trưng chung shape, color, texture,... Kiểu tr

 Phân đoạn (segmentation)

 Key points (characters points)

 Đánh chỉ mục (chỉ số hóa) (indexing)

 Đối sánh ảnh: tương tự, không gian

Ảnh và lưu trữ

5

 Ảnh là tín hiệu 2D (x,y)

– Ảnh là một ma trận biểu diễn tín hiệu

– Ảnh chứa các thông tin về ngữ nghĩa

Phân loại ảnh

– camera, microscope, tomography, infrared, satellite, …

– Đồ họa máy tính (computer graphics), thực tại ảo (virtual reality)

Ảnh mức xám

I(x,y)  [0 255]

Ảnh nhị phân I(x,y)  {0 , 1}

Ảnh màu

IR(x,y) IG(x,y) IB(x,y)

Source : Tal Hassner Computer Vision Weizmann Institute of Science (Israel).

7

Phân loại ảnh

Ảnh màu trong hệ tọa độ RGB

Bên cạnh hệ tọa độ màu RGB ta còn có các hệ tọa độ màu khác

Cơ sở dữ liệu ảnh

9

 2 kiểu CSDL ảnh:

– CSDL chung (General database) : Photo collection, Internet

– CSDL hẹp/cụ thể (Specific database): face database, medicaldatabase

CSDL ảnh (…): General database

 General database : Photo collection, Internet

– Nội dung đa dạng, không đồng nhất

– Biểu diễn dựa trên các đặc trưng chung (shape, color, texture, )

– Vùng ứng dụng rộng

CSDL ảnh (…): Specific database

11

 Specific database: Nội dung khá thuần nhất

– Thường dành cho các ứng dụng đặt biệt (ảnh sinh trắc học bimometry, ảnh y học – medical images)

(-– Đặc trưng được trích chọn tùy thuộc vào mỗi lĩnh vực ứngdụng

http://rad.usuhs.edu/medpix/master.php3?mode=slide_sorter&pt_id=13985

Tìm kiếm ảnh

 Tìm các bức hình của « Steve Jobs » ?

 Đây là bức hình của ai ? / Đây là cái gì ? / Bức hình

Where ?

Kiểu truy vấn: từ khóa

13

 Tìm các bức hình của « Steve Jobs » ?

 Được sử dụng rộng rãi nhất: Google, youtube, …

Kiểu truy vấn: từ khóa

 Hạn chế:

– Từ khóa được lấy từ:

 Văn bản xung quanh ảnh (Google Image, Google Video)

 Đánh dấu thủ công  giá thành cao

– Nhập nhằng: chọn từ khóa thế nào ?

 Tính chủ quan của người đánh dấu keyword-image

 Phụ thuộc ngôn ngữ

 Phụ thuộc ngữ cảnh

Kiểu truy vấn: dựa trên nội dung

15

http://www-roc.inria.fr/imedia/index.php?option=com_content&view=article&id=95&Itemid=60

Kiểu truy vấn: dựa trên nội dung

Kiểu truy vấn: dựa trên nội dung

17

 Đặc điểm:

– Truy vấn chứa hình ảnh

– Mục đích tìm kiếm : «tương tự »: đối sánh không chính xác

 Trích chọn tự động các đặc trưng và tìm kiếm dựa trên độ tương tự giữa các đặc trưng

 Lĩnh vực nghiên cứu đang được quan tâm

 Truy vấn:

– Bằng ví dụ

– Bộ phận

– Bằng hình vẽ (Sketch)

Kiểu truy vấn: dựa trên nội dung

 Vấn đề:

– Nội dung đa dạng

– Khối lượng dữ liệu cần xử lý lớn và thường trùng lặp: Numeric gap

– Vấn đề về ngữ nghĩa: Semantic gap

 VD: làm thế nào để biết 1 người đang vui /buồn

19

Source: Slides of Muriel Visani

CBIR – các bước chính

 Trích chọn đặc trưng (Biểu diễn ảnh):

chương 3)

 Lựa chọn thước đo độ tương tự ?

Trích chọn đặc trưng

21

Biểu diễn ảnh – trích chọn đặc trưng

 Đặc trưng toàn cục:

– Màu sắc, hình dáng, kết cấu, …

 Đặc trưng cục bộ:

 Phân vùng

 Key points (characters points)

 Đặc trưng riêng: tùy thuộc vào từng ứng dụng cụ thể

 Nhận dạng vân tay: minuties (các điểm đầu, điểm rẽ nhánh)

 Nhận dạng mặt: EigenFaces, …

Đặc trưng toàn cục

23

Đặc trưng màu sắc

 Histogram: 1 đặc trưng màu sắc

– Thể hiện sự phân bố màu sắc trên ảnh

 Cách tính:

– Lấy mẫu màu của ảnh VD, ảnh màu 24 bit : 8 x 8 x8 màu (bin)

– Tính số điểm ảnh tương ứng với mỗi màu  chuẩn hóa: chia

g h





) ,

min(

G) (H,



Vấn đề gặp phải với phân bố màu

 Vấn đề gặp phải:

– Không tính đến sự gần giống giữa

các màu trong các màu (bin) gần

nhau

– Việc phân bố trong không gian các

màu điểm ảnh: 2 ảnh khác nhau,

histogram có thể giống nhau

Vấn đề gặp phải với phân bố màu

27

– Ảnh hưởng của nền: d(I1,I2) ? d(I1, I3)

– Phụ thuộc cách biểu diễn màu (không gian màu), phụ thuộcthiết bị, …

I1

I2

I3

Đặc trưng kết cấu

 Kết cấu (texture) ?

– Khó mô tả và biểu diễn

– Tập các primitive (mẫu) được sắp sếp theo quy tắc sắp chỗ

nào đó

– Primitive: tập 1 hoặc nhiều điểm liên thông với nhau có độxám (màu sắc) gần giống nhau

Đặc trưng kết cấu (…)

29

Đặc trưng kết cấu (…)

Đặc trưng kết cấu (…)

31

 Kết cấu có thể mô tả dựa trên

– Phân tích thống kê

 Tham số tính từ biểu đồ phân bố màu (histogram)

 Phân tích ma trận đồng xuất hiện (Co-occurrence matric)

– Phân tích trên miền tần số

 Biến đổi Fourrier

 Biến đổi Gabor, …

– Mô hình

Đặc trưng kết cấu(…)

 Ma trận đồng xuất hiện :

}) )

, ( 2

, 1 ({

}) )

, ( ,

) ( , )

( ,

({

) , (

2 1 ,

2 1 ,

2 2

1 1

2 1 ,

true p

p N

p p card

true p

p N

c p

I c p

I p p

card c

c CM

d

d j

p

Nd, ( 1, 2)  p2 là lân cận của p1 ở khoảng cách d theo hướng 

i ) ( , )

)) ,

( log(

) ,

Đặc trưng hình dạng

 Các biểu diễn dựa trên đường biên (contour)

 Chuỗi mã hóa, sấp xỉ đa giác, B-splines, …

 Chu vi, tỷ số nén, độ lệch tâm, …

 Các biểu diễn dựa trên vùng (region)

 Bao lồi, trục trung vị, …

 Diện tích, moments hình học (invariant moments),

Ví dụ: chuỗi mã hóa Freeman

35

Câu 2: Tính ma trận đồng xuất hiện d=1, ß=90

Bài tập – Đặc trưng toàn cục

Câu 1: Tính khoảng cách giữa hai ảnh sau dựa trên phân

bố màu (histogram)

Đặc trưng cục bộ

37

 Mục đích:

 Tìm các vùng/ các đối tượng tương tự

 Truy vấn bộ phận (partial query)

 Giải pháp:

 Mô tả cục bộ các vùng

 Thêm mối liên hệ về không gian

Source: Slides of Valérie Goudet-Brunet

Tìm những bức ảnh có chưa bông hoa hướng dương

Phân vùng ảnh

Trích chọn các điểm đặc trưng

Chia tự động

theo kế hoạch

định sẵn

 Định nghĩa các vùng thế nào ?

Biểu diễn ảnh – phân đoạn ảnh

39

Phân đoạn ảnh

41

 Dựa trên:

– Sự không liên tục: các biên (edge, contour)

 Sự thay đổi về giá trị ở biên giữa các vùng

– Sự đồng nhất: tương ứng cho các vùng

 Cùng màu sắc, kết cấu,…

 Một biên khép kín  1 vùng

Phân đoạn ảnh – cách tiếp cận

Phân đoạn bằng ngưỡng

43

phân đoạn các đối tượng trong ảnh

 Ý tưởng chính:

– IF value(pixel) >= threshold THEN value(pixel) = 1

– IF value(pixel) < threshold THEN value(pixel) = 0

 Ảnh nhị phân

 Không thuộc vào cách tiếp cận vùng

– Dựa trên điểm ảnh  thường cần thêm các phép xử lý sau khiphân đoạn

Phân vùng bằng ngưỡng (…)

– Toàn cục: một ngưỡng cho toàn bộ ảnh

– Cục bộ: một ngưỡng cho 1 vùng của ảnh

– Thích nghi: ngưỡng được lựa chọn phù hợp với từng ảnhhoặc từng vùng của ảnh

 Lựa chọn ngưỡng thế nào ??

Ngưỡng dựa trên phân bố

Ngưỡng dựa trên phân bố (…)

 Nhược:

– Cần biết trước số lớp

– Không có ràng buộc về không gian

 Xác định giá trị ngưỡng ?

– Bằng thử nghiệm, TB mức xám, TB max & min

– Giá trị cho phép cân bằng giữa các vùng của phân bố

 Tự động: T sao cho lỗi là nhỏ nhất

Vấn đề với ngưỡng toàn cục

47

 Thay đổi về ánh sáng

Vấn đề với ngưỡng toàn cục ( )

Ví dụ với ngưỡng cục bộ

49

Ví dụ với ngưỡng cục bộ

2 if f(x,y)>T ( , ) 1 if f(x,y) T ( , )

Giải thuật K-means

53

(K vùng)

– Các điểm được phân vào K nhóm (clusters)

– Tâm của nhóm: giá trị trung bình của tất cả các phần tử trongnhóm

 Dựa trên điểm ảnh , không tính đến phân bố điểm ảnh trong không gian

Giải thuật K-means (…)

Giải thuật K-means (…)

55

Source : Christelle Scharff, Pace Univ www.csis.pace.edu/~scharff/DMIFI/cluster9.ppt

Giải thuật K-means (…)

Phân đoạn dựa trên điểm ảnh

Các vùng thu được có thể không liên thông

Xử lý: Xóa bỏ các điểm ảnh rời rạc

Phân đoạn dựa trên vùng

 Dựa trên sự đồng nhất trong các vùng

 Tính đến phân bố trong không gian của điểm ảnh

Split-and-Merge (Chia và hợp)

59

 Bước 1: Chia

– Chia đệ quy các vùng không đồng nhất

theo một tiêu chuẩn nào đó (phương sai,

– 4 phần này sẽ trở thành nút con của F

 Giải thuật tiếp tục cho đến khi không

Source : Jean-Christophe Baillie, ENSTA, uei.ensta.fr/baillie/assets/ES322%20-%20Segmentation.ppt

Đồng nhất được tính dựa trên phương sai hoặc chênh lệch giữa max và min

Split-and-Merge (…): Hợp

Cây tứ phân

Nối các vùng lân cận đồng nhất

Region growing (Phát triển vùng)

63

 Ý tưởng:

– Giải thuật bắt đầu với 1 điểm ảnh và lựa chọn các điểm ảnh

lân cận để gộp lại theo tiêu chuẩn nào đó: phương sai nhỏ,

– Điểm ảnh khởi tạo được gọi là hạt giống/nhân

– Vùng sẽ được phát triển từ hạt giống

– Các hiểu biết về ảnh cần phân đoạn được sử dụng để lựa chọn hạt giống tốt

Region growing (…)

 Lựa chọn hạt giống:

– Tự động

– Thủ công

Phát triển vùng với nhiều hạt giống

65

Source : Jean-Christophe Baillie, ENSTA, uei.ensta.fr/baillie/assets/ES322%20-%20Segmentation.ppt

 Giá trị tương đối (%, trung bình, …)

 Giá trị được tính toán bằng thuật toán

Lưu ý: …

67

tùy thuộc ứng dụng

 Nếu có thể tránh  tránh bài toán phân đoạn

 Nên thực hiện các phép tiền xử lý để phân đoạn đạt hiệu quả

 Xác định rõ mục đích của phân đoạn :

 các phần ta muốn nhìn thấy trong ảnh

 Kết quả phân đoạn dùng để làm gì  tăng hiệu quả

không khách quan

Phân vùng: hạn chế

 Phân vùng không cho phép chúng ta xác định được tất

cả các đối tượng

 1 vùng có thể không chứa 1đối tượng

Source : [Malik 2001].

Phân vùng: hạn chế

 Dựa trên nghiên cứu về cách quan sát của con người

 Thông tin ngữ cảnh xung quanh: quan trọng

Cách tiếp cận Gestalt

 Một số tiêu chuẩn nhóm:

 Proximity : các đối tượng gần nhau

 Similarity : các đối tượng giống nhau

 Common faith : các đối tượng có kiểu di chuyển giống nhau

 Common region : các đối tượng trong cùng 1 vùng

 Parallel : các đường song song

 Closing : các cung và đối tượng có hình dạng đóng

 Continuity : các cung và đối tượng kéo dài

Cách tiếp cận Gestalt (…)

 Trích chọn các điểm đặc trưng

– Ảnh mức xám : Moravec (1977), Harris et Stephens (1988),

Harris (1996), Susan (Smith et Brady, 1997), SIFT (1999), …

– Ảnh màu: Kitchen et Rosenfeld couleur (1998), Harris préciscouleur (1998)

 Xác định mô tả/đặc trưng trong vùng lân cận của điểm đặc trưng

– SIFT(1999)

Đối sánh

73

Đối sánh

 To be continued

75

 Systèmes industriels

– QBIC (IBM, 1995) : http://wwwqbic.almaden.ibm.com

– ImageFinder (Attrasoft) : http://www.attrasoft.com

– Tineyes: http://www.tineye.com

– Virage (Virage Technologies, 1996) : http://www.virage.com

– Ikona (INRIA Rocquencourt– IMEDIA): http://www-rocq.inria.fr/imedia/

– Blobworld (Université de Californie – Berkeley)

– Photobook (Massachussetts Institute of Technology)

– Viper (Université de Genève – Computer Vision Group)

– SIMPLIcity (Stanford University)