Nghiên cứu phương pháp phân đoạn ảnh sử dụng phân cụm và ứng dụng trong tra cứu ảnh dựa vào nội dung

Hệ thống tra cứu ảnh dựa trên nội dung CBIR-Content-Based Image Retrieval là hệ thống truy vấn ảnh dựa trên việc tự động rút trích một số thông tin đặc trưngtrong ảnh như: màu sắc, kết c

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

TRẦN DOÃN HIỂN

NGHIÊN CỨU PHƯƠNG PHÁP PHÂN ĐOẠN ẢNH

SỬ DỤNG PHÂN CỤM VÀ ỨNG DỤNG TRONG TRA CỨU

ẢNH DỰA VÀO NỘI DUNG

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên, năm 2013

LỜI MỞ ĐẦU

Xử lý ảnh là lĩnh vực nghiên cứu đang phát triển không ngừng bởi tính trực quansinh động cũng như khả năng áp dụng vào thực tế lớn Hiện xử lý ảnh đang giành đượcnhiều sự quan tâm của các nhà nghiên cứu trong và ngoài nước Trong xử lý ảnh, tracứu ảnh có thể nói là lĩnh vực đòi hỏi sự nghiên cứu tổng hợp: nghiên cứu xử lý ảnh đểrút trích các đặc trưng, áp dụng các tính toán toán học cao cấp để xác định mức độtương đồng giữa hai ảnh Hơn nữa, cùng với sự phát triển của phần mềm và phầncứng, khối lượng ảnh phát triển không ngừng và ngày càng lớn Một số lượng lớn cácảnh đang được sử dụng ở trong thư viện ảnh số và trên web Vì vậy nhu cầu tìm kiếm

ảnh là một nhu cầu tất yếu Hiện tại, tra cứu ảnh ứng dụng trong khá nhiều lĩnh vực

như: quản lý biểu trưng(logo), truy tìm tội phạm, ứng dụng trong y khoa, quân sự…

Hệ thống tra cứu ảnh dựa trên nội dung (CBIR-Content-Based Image Retrieval)

là hệ thống truy vấn ảnh dựa trên việc tự động rút trích một số thông tin đặc trưngtrong ảnh như: màu sắc, kết cấu, vị trí, hình dạng Phương pháp này đã được nhiềungười nghiên cứu với nhiều cách tiếp cận khác nhau; do đó rất nhiều hệ thống tra cứuảnh dựa trên nội dung đã ra đời như: QBIC, VisualSeek, WebSeek và BlobWorld Phân cụm là bài toán đã được nhiều người nghiên cứu trước đây, nhưng cho đếnnayvẫn có vai tròquan trọng và cần thiết trong nghiên cứu khai phá dữ liệu cũng nhưtrong nhiều lĩnh vực đời sống: thương mại, sinh học, phân tích dữ liệu không gian Đềtài này nghiên cứu kỹ thuật phân cụm ảnh thành từng vùng rồi trích chọn đặc trưng củatừng vùng, dựa vào đó ta có thể tra cứu các bức ảnh một cách nhanh chóng và chínhxác từ một cơ sở dữ liệu ảnh cho trước Có nhiềuphương pháp phân cụm khác nhaunhư K-Means, HAC Mỗi phương pháp có những ưu điểm, thế mạnh riêng và có yêucầu riêng về cách biểu diễn dữ liệu, độ đo So sánh các thuật toán khác nhau ở cácphạm vi khác nhau là khôngđơn giản, do vậy việc đánh giá thường dựa vào chất lượngkết quả phân cụm.Phân cụm tích lũy phân cấp (Hierarchical Agglomerative ClusteringHAC) là thuật toán phân cụm cây phâncấp có tính gia tăng cao và tạo ra được một câyphân cấp các pixel dựa theo yếu tố nào đó, theo hướng tiếp cận này khóa luận sẽ ápdụng phương pháp phâncụm HAC để phân cụm dữ liệu trước khi đưa vào tra cứu ảnh.Nội dung của luận văn giới thiệu tổng quan về tra cứu ảnh dựa vào nội dung và đi

sâu vào đề tài “Nghiên cứu phương pháp phân đoạn ảnh sử dụng phân cụm và ứng dụng trong tra cứu ảnh dựa vào nội dung” Trên những cơ sở phương pháp tra

cứu ảnh dựa vào phân cụm, tiến hành xây dựng chương trình thử nghiệm cho phép đọc

vào một ảnh mẫu và tìm kiếm những ảnh tương tự với ảnh mẫu trong một tập hợp cácảnh cho trước.

Nội dung khoá luận gồm có 3 chương:

CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG, giớithiệuphương pháp tra cứu ảnh dựa vào nội dung và một số hệ thống tra cứu ảnh tiêubiểu

CHƯƠNG 2: TRA CỨU ẢNH DỰA VÀO NỘI DUNG SỬ DỤNG PHÂN CỤMTHEO MÀU, giới thiệu chi tiết về thuật toán cũng như phương pháp tra cứu ảnh sửdụng phân cụm

CHƯƠNG 3: XÂY DỰNG HỆ THỐNG VÀ KẾT QUẢ ĐẠT ĐƯỢC, xây dựngphân tích thiết kế hệ thống và giới thiệu một số kết quả đạt được khi xây dựng chươngtrình

Trong quá trình thực hiện luận văn này, em luôn nhận được sự hướng dẫn, chỉbảo tận tình của TS Nguyễn Hữu Quỳnh, Khoa Công nghệ Thông tin thuộc trường Đạihọc Điện lực là cán bộ trực tiếp hướng dẫn khoa học cho em Thầy đã giành nhiều thờigian trong việc hướng dẫn cách nghiên cứu, đọc tài liệu, cài đặt các thuật toán và giúp

đỡ về xây dựng hệ thống thực nghiệm

Em xin chân thành cảm ơn các Thầy, Cô giáo trong trường Đại học Công nghệThông tin và Truyền Thông, Đại học Thái Nguyên đã luôn nhiệt tình giúp đỡ và tạođiều kiện tốt nhất cho em trong suốt quá trình học tập tại trường

Xin chân thành cảm ơn các anh, các chị và các bạn học viên lớp Cao học - trườngĐại học Công nghệ Thông tin và Truyền Thông thuộc Đại học Thái Nguyên đã luônđộng viên, giúp đỡ và nhiệt tình chia sẻ với tôi những kinh nghiệm học tập, công táctrong suốt khoá học

Và lời cuối cùng, tôi xin bày tỏ lòng chân thành và biết ơn tới cha mẹ, anh chị,những người trong gia đình và bạn bè đã luôn ở bên cạnh tôi những lúc khó khăn nhất,giúp tôi vượt qua khó khăn trong học tập cũng như trong cuộc sống

Thái Nguyên, ngày 25 tháng 2 năm 2013

Lời mở đầu

Trang

Chương 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1

1.1 Giới thiệu 1

1.2 Đặc trưng ảnh 3

1.2.1 Màu sắc 3

1.2.2 Kết cấu 7

1.2.3 Hình dạng 7

1.3 Độ tương tự giữa các ảnh 8

1.3.1 Độ đo về màu sắc 8

1.3.2 Độ đo tương đồng hình dạng 9

1.3.3 Độ đo tương đồng cho kết cấu ảnh 9

1.3.4 Độ đo tương đồng cho đặc trưng phân đoạn 9

1.4 Các hệ thống tra cứu ảnh dựa vào nội dung 10

1.4.1 Hệ thống QBIC (Query By Image Content) 10

1.4.2 Hệ thống Blobworld 10

1.4.3 Virage 11

1.4.4 RetrievalWare 11

1.4.5 VisualSeek và WebSeek 11

1.4.6 Photobook 12

1.5 Đánh giá hiệu năng tra cứu 12

1.6 Kết luận chương 1 14

Chương 2 : TRA CỨU ẢNH DỰA VÀO NỘI DUNG SỬ DỤNG PHÂN CỤM THEO MÀU 15

2.1 Giới thiệu về phân cụm 15

2.1.1 Khái niệm 15

2.1.2 Một số vấn đề trong phân cụm 17

2.1.3 Phân cụm phân cấp 18

2.2 Một số kỹ thuật tra cứu dựa vào đặc trưng màu 20

2.2.1 Kỹ thuật tra cứu dựa vào lược đồ màu toàn bộ - GCH 20

2.2.2 Kỹ thuật tra cứu dựa vào lược đồ màu cục bộ - LCH 22

2.2.3 Vector gắn kết màu 22

2.3 Kỹ thuật phân đoạn ảnhsử dụng phân cụm theo màu 22

2.3.1 Khoảng cách Euclid 22

2.3.2 Kỹ thuật phân cụm ảnh 23

2.3.3 Biểu diễn và trích rút đặc trưng 26

2.4 Độ đo tương tự 26

2.5 Kết luận chương 2 29

Chương 3: XÂY DỰNG HỆ THỐNG VÀ KẾT QUẢ ĐẠT ĐƯỢC 30

3.1 Giới thiệu bài toán tra cứu ảnh dựa vào nội dung 30

3.2 Phân tích bài toán 30

3.3 Thiết kế hệ thống 30

3.3.1 Thiết kế hệ thống 30

3.3.2 Thiết kế cơ sở dữ liệu 36

3.4 Mô tả chương trình 37

3.5 Kết quả đạt được 38

3.6 Kết quả đạt được 45

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 47

TÀI LIỆU THAM KHẢO 48

Bảng 3.1 : Bảng cơ sở dữ liệu Image 36

Bảng 3.2 : Bảng cơ sở dữ liệu Cluster 36

Bảng 3.3:Số liệu các loại ảnh trong cơ sở dữ liệu 37

Bảng 3.4 : Bảng kết quả tra cứu với chủ đề Ngựa 45

Bảng 3.5 : Bảng kết quả tra cứu với chủ đề Hoa 45Y Hình 1.1: Kiến trúc hệ thống tra cứu ảnh dựa vào nội dung 2

Hình 1.2: Không gian màu RGB được trực quan hoá như một hình khối 4

Hình 1.3: Mô tả không gian màu HSV 5

Hình 2.1: Biểu diễn phận cụm phân cấp bottom-up của 5 đối tượng 19

Hình 2.2: Ba ảnh và biểu đồ của chúng 21

Hình 2.3: Thuật toán phân cụm 24

Hình 2.4: Thuật toán Single-Linkage 25

Hình 2.5: Thuật toán tính khoảng cách giữa hai ảnh 28

Hình 3.1: Kiến trúc tổng quát của hệ thống tra cứu ảnh 31

Hình 3.2: Mô hình chi tiết của hệ thống tra cứu ảnh 31

Hình 3.3: Biểu đồ UseCase tổng quát hệ thống 33

Hình 3.4: Biểu đồ trình tự tra cứu ảnh 34

Hình 3.5: Biểu đồ trình tự lưu vào cơ sở dữ liệu 35

Hình 3.6: Biểu đồ trình tự xoá ảnh khỏi cơ sở dữ liệu 35

Hình 3.7: Mối quan hệ giữa các bảng 37

Hình 3.8: Giao diện chính hệ thống tra cứu ảnh 38

Hình 3.9: Giao diện hiển thị kết quả truy vấn 38

Hình 3.10: Các vùng ảnh sau khi phân cụm 39

Hình 3.11: Giao diện chính tab cơ sở dữ liệu 39

Hình 3.12: Giao diện thêm một ảnh vào cơ sở dữ liệu 40

Hình 3.13: Giao diện xoá một ảnh khỏi cơ sở dữ liệu 40

Hình 3.14: Ảnh mẫu truy vấn thứ nhất 41

Hình 3.15: Kết quả truy vấn lần thứ nhất 41

Hình 3.16: Ảnh mẫu truy vấn thứ hai 42

Hình 3.17: Kết quả truy vấn lần thứ hai 42

Hình 3.18: Ảnh mẫu truy vấn thứ ba 43

Hình 3.19: Kết quả truy vấn lần thứ ba 43

Hình 3.20: Ảnh mẫu truy vấn thứ ba 44

Hình 3.21: Kết quả truy vấn lần thứ 4 44

CBIR Content Base Image Retrieval Tra cứu ảnh dựa vào nội dungQBIC Query By Image Content Truy vấn theo nội dung ảnh

CIE Commission internationale de

l'éclairage

Uỷ ban quốc tế về màu sắcHAC Hierarchical Agglomerative Clustering Phân cụm tích luỹ phân cấp

MST Minimum Spainning Tree Cây mở rộng tối thiểu

IRM Integrated Region Matching Đối sánh vùng tích hợp

CSDL Cơ Sở Dữ Liệu

Chương 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1.1 Giới thiệu

Thông thường để lưu trữ thông tin, dữ liệu về một nội dung, sự vật, sự việc nào

đó thì người ta thường chọn sử dụng dạng lưu trữ kiểu văn bản Nhưng lưu trữ dữ liệubằng văn bản nhiều khi không thể phản ánh đầy đủ, chân thực về đối tượng được miêu

tả và nhiều khi đó chỉ là do cảm nhận chủ quan củangười viết Vì vậy kết hợp với lưutrữ dữ liệu dạng văn bản người ta còn sử dụng lưu trữ dữ liệu dạng ảnh Khối lượng dữliệu dạng ảnh ngày càng trở nên khổng lồ nhất là khi hiện nay các thiết bị thu nhận ảnh

số ngày càng trở nên phổ biến với giá cả phù hợp Khi ta có nhu cầu tìm kiếm một vàibức ảnh trong một kho dữ liệu ảnh có thể lên tới vài trăm nghìn bức ảnh để minh họacho một đề tài nào đó thì tuyệt đối không phải là chuyện đơn giản nếu chúng ta tìmkiếm một cách thủ công tức là xem lần lượt từng bức ảnh cho tới khi ta tìm thấy đượcbức ảnh có nội dung cần tìm Song song với sự phát triển của các phương tiện kỹ thuật

số trong tương lai, số lượng ảnh sẽ còn tăng nhiều hơn nữa Do vậy nhu cầu thật sự đòihỏi phải có một công cụ hỗ trợ tìm kiếm ảnh chính xác và hiệu quả Vì vậy tra cứu ảnhdựa vào nội dung ra đời để góp phần đáp ứng nhu cầu này

“Tra cứu ảnh dựa vào nội dung” - Đây là một chủ đề nghiên cứu mới trong lĩnhvực công nghệ thông tin Mục đích chính của nó là lấy những ảnh từ cơ sở dữ liệu phùhợp với tiêu chí truy vấn Các yếu tố mô tả nội dung của một bức ảnh có liên quan đếncảm nhận như màu sắc, kết cấu, hình dạng, cấu trúc, mối liên hệ về không gian vàchuyển động Do vậy, phân tích ảnh, nhận dạng ảnh và thị giác máy tính đóng vai trò

cơ bản trong các hệ thống tra cứu ảnh.Nó cho phép tự động trích chọn hầu hết cácthông tin cảm nhận, thông qua việc phân tích phân bố điểm ảnh và rút ra các độ đo nộidung trực quan Các hệ thống truy vấn ảnh dựa vào nội dung hiện nay rất đa dạngnhưng nhìn chung được phân biệt bởi: các đặc trưng mà hệ thống rút trích từ ảnh đểlàm cơ sở truy vấn, phương pháp trích rút đặc trưng ảnh được sử dụng trong hệ thốngtruy vấn, độ đo sự tương tự giữa hai ảnh, phương pháp đánh chỉ số nhiều chiều để tối

ưu việc tìm kiếm

Một hệ thống tra cứu ảnh dựa trên nội dung tiêu biểu không chỉ liên quan tới cácnguồn thông tin trong những dạng khác nhau (ví dụ như văn bản, ảnh và video) màcòn liên quan đến nhu cầu của người sử dụng Về cơ bản nó phân tích cả nội dung củanguồn thông tin cũng như truy vấn của người sử dụng và sau đó đối sánh chúng để tìm

ra những tiêu chí có liên quan này

Tr ích rú

t đặ

c tr

ưn g

Cơ sở dữ liệu ảnh Cơ sở dữ liệu đặc trưng

Tạo truy vấn Trích rút đặc trưng

Các kết quả tra cứu

Phản hồi liên quan

Đầu ra

Thực hiện ngoại tuyến

Những chức năng chính của một hệ thống tra cứu ảnh dựa vào nội dung bao gồm:

 Phân tích nội dung của nguồn thông tin và biểu diễn nội dung của các nguồnthông tin được phân tích phù hợp với sự đối sánh truy vấn của người sử dụng(không gian của thông tin nguồn được chuyển đổi thành không gian đặc điểm vớimục đích đối sánh nhanh trong bước tiếp theo) Bước này thường mất nhiều thờigian cho việc xử lý tuần tự các thông tin nguồn (ảnh) trong cơ sở dữ liệu Nó chỉphải làm một lần và có thể làm độc lập

 Phân tích các truy vấn của người dùng và biểu diễn chúng thành các dạngphù hợp với việc đối sánh với cơ sở dữ liệu nguồn Nhiệm vụ của bước này giốngvới bước trước nhưng chỉ được áp dụng với những ảnh truy vấn

 Xác định chiến lược để đối sánh tìm kiếm truy vấn với thông tin được lưu trữtrong cơ sở dữ liệu Bước này có thể thực hiện trực tuyến và thực hiện rất nhanh.Công nghệ đánh chỉ số có thể được sử dụng để nhận dạng không gian đặc điểm

để tăng tốc độ xử lý đối sánh

 Tạo ra sự điều chỉnh cần thiết trong hệ thống (thường là bằng cách đối chiếucác tham số trong công nghệ đối sánh) dựa trên phản hồi từ người sử dụng hoặcnhững hình ảnh được tra cứu

Các hệ thống tra cứu ảnh dựa vào nội dung thường tuân theomô hình sau:

Hình 1.1: Kiến trúc hệ thống tra cứu ảnh dựa vào nội dung

Chúng ta nhận thấy rằng trên một mặt của một hệ thống tra cứu ảnh dựa vào nộidung, có các nguồn thông tin trực quan ở các khuôn dạng khác nhau và trên mặt kia cócác truy vấn người sử dụng Hai mặt này được liên kết thông qua một chuỗi các tác vụnhư được minh họa trong Hình 1.1 Hai tác vụ phân tích truy vấn người sử dụng vàđánh chỉ số nhiều chiều được tóm lược ở đây trong khi hai tác vụ quan trọng nhất:

“Phân tích các nội dung của thông tin nguồn” (trích rút đặc trưng) và “Định nghĩa mộtchiến lược để đối sánh các truy vấn tìm kiếm với thông tin trong cơ sở dữ liệu đượclưu trữ” (độ đo tương tự), sẽ được mô tả chi tiết hơn trong phần dưới (mục 2.3.3 vàmục 2.4)

1.2 Đặc trưng ảnh

1.2.1 Màu sắc

Mắt người rất nhạy cảm với màu sắc và đặc điểm màu là một trong những thànhphần quan trọng giúp con người có thể nhận biết được hình ảnh Vì vậy, đặc điểm màusắc là đặc điểm cơ bản của nội dung ảnh Đặc điểm màu sắccó thể cung cấp nhữngthông tin rất hữu hiệu cho việc phân loại ảnh và chúng cũng rất hữu ích cho việc tracứu ảnh Cũng vì thế mà tra cứu ảnh dựa trên màu sắc được sử dụng rộng rãi trong các

hệ thống tra cứu ảnh dựa trên nội dung Biểu đồ màu thường được sử dụng để thể hiệnnhững đặc điểm màu của các ảnh Mặc dù vậy trước khi sử dụng biểu đồ màu chúng tacần phải lựa chọn và xác định kiểu không gian màu và lựa chọn độ đo tương tự

1.2.1.1 Không gian màu

Không gian màu là sự biểu diễn tập các màu, một số không gian màu được sử dụngrộng rãi trong đồ họa máy tính Màu sắc thường được xác định trong không gian màu

3 chiều

 Không gian màu RGB

Không gian màu RGB là không gian màu được sử dụng nhiều nhất cho đồ hoạmáy tính Lưu ý rằng R,G và B là viết tắt của các từ đỏ (Red), xanh lục (Green) vàxanh lơ (Blue) Đây là không gian màu cộng: đỏ, xanh lục và xanh lơ được kết hợp lại

để tạo ra các màu khác Không gian này không đồng nhất về nhận thức Không gianmàu RGB có thể được trực quan hoá như một hình khối, như được minh hoạ tronghình 1.2

Hình 1.2: Không gian màu RGB được trực quan hoá như một hình khối.

Mỗi trục màu (R, G, B) có độ quan trọng như nhau Do đó, mỗi trục nên đượclượng hoá với cùng một độ chính xác Khi không gian màu RGB được lượng hoá, sốcác bin sẽ luôn luôn là một hình khối Thông thường, 8 (23), 64 (43), 216 (63), 512 (83)bin được sử dụng trong lượng hoá không gian màu RGB Chuyển đổi từ một ảnh RGBsang một ảnh cấp xám nhận được tổng của R, G và B rồi chia kết quả cho ba

 Không gian màu HSx

Không gian màu HSI, HSV, HSB và HLS thường được gọi là HSx có mối liênquan gần gũi với sự nhận thức về màu sắc của con người hơn là không gian màu RGB.Những trục từ không gian màu HSx mô tả những đặc tính của màu như sắc độ, độ bãohoà và độ sáng Sự khác nhau giữa những không gian màu HSx là sự biến đổi củachúng từ không gian màu RGB, chúng thường được mô tả bằng những hình dạng khácnhau (như hình nón, hình trụ) Trong hình 1.3 không gian màu HSV được mô tả nhưhình nón

Hình 1.3: Mô tả không gian màu HSV.

Sắc độ là thành phần của không gian màu HSx Sắc độ là góc giữa những đườngtham chiếu và điểm gốc màu trong không gian màu RGB Vùng giá trị này từ 00 đến

3600 Theo uỷ ban quốc tế về màu sắc CIE (Commission International d'E clairage) thìsắc độ là thuộc tính của cảm giác có liên quan đến thị giác, qua đó một vùng xuất hiệntương tự với một màu được cảm nhận như red, green, blue hoặc là sự kết hợp của haitrong số những màu được cảm nhận Cũng theo CIE độ bão hoà là màu được đánh giátheo tỷ lệ độ sáng của nó Trong hình nón độ bão hoà là khoảng cách từ tâm đến cạnhhình nón Chiều cao của đường cắt chính là giá trị (value)đây chính là độ sáng hoặc độchói của màu Khi độ bão hoà S bằng 0 thì H không xác định, giá trị nằm trên trục Vbiểu diễn ảnh xám Không gian màu HSV dễ dàng lượng tử hoá Mức lượng tử hoáthông dụng trong không gian màu này là 162 mức với H nhận 18 mức, S và V nhận 3mức

 Không gian màu YUV và YIQ

Các không gian màu YUV và YIQ được phát triển cho truyền hình vô tuyến.Không gian màu YIQ là giống như không gian màu YUV, ở đây mặt phẳng I-Q là mộtmặt phẳng quay 330 của mặt phẳng U-V Tín hiệu Y biểu diễn độ chói của mộtpixel và là kênh duy nhất được sử dụng trong ti vi đen trắng U và V cho YUV và I và

Q cho YIQ là các thành phần màu

Kênh Y được định nghĩa bởi các giá trị năng lượng có trọng số của R(0.299),G(0.587) và B(0.144) Các không gian màu YUV và YIQ không là đồng nhất nhậnthức Khi các không gian màu YUV và UIQ được lượng hoá, mỗi trục được lượng hoávới cùng độ chính xác.

 Không gian màu CIE XYZ và LUV

Không gian màu đầu tiên được phát triển bởi CIE là không gian màu XYZ.Thành phần Y là thành phần độ chói được xác định bởi các tổng có trọng số củaR(0:212671), G(0:715160) và B(0:072169) X và Y là các thành phần màu Khônggian màu XYZ là không đồng nhất nhận thức Trong lượng hoá không gian màu XYZ,mỗi trục được lượng hoá với cùng độ chính xác

Không gian màu CIE LUV là một biến đổi xạ ảnh của không gian màu XYZ làđồng nhất nhận thức Kênh L của không gian màu LUV là độ chói của màu Các kênh

U và V là các thành phần màu Vậy, khi U và V được đặt bằng 0, kênh L biểu diễnmột ảnh cấp xám

Trong lượng hoá không gian LUV, mỗi trục được lượng hoá với cùng độ chínhxác Với cả không gian màu XYZ và LUV, các lược đồ lượng hoá thường sử dụng 8(23), 27 (33), 64 (43), 125 (53) bin

1.2.1.2 Lược đồ màu

Lược đồ màu được xác định bằng một tập các bin, trong đó mỗi bin biểu thị xácsuất của các pixel trong ảnh Một lược đồ màu H của một ảnh đã cho được xác địnhbởi véc tơ:

H={H[0], H[1], H[2], , H[i], H[N]},

Ở đây i biểu diễn một màu trong lược đồ màu và tương ứng với một khối con trong không gian màu RGB, H[i] là số các pixel có màu i trong ảnh và N là số các bin

trong lược đồ màu

Mỗi pixel trong ảnh sẽ thuộc về một bin của lược đồ màu của ảnh, vì thế với lược

đồ màu của một ảnh, giá trị của mỗi bin là số các pixel cùng màu Để so sánh các ảnh

có các kích cỡ khác nhau, các lược đồ màu được chuẩn hóa Lược đồ màu chuẩn hóaH’ được xác định bằng:

1.2.2 Kết cấu

Kết cấu là một mô tả vùng trợ giúptốttrong quá trình tra cứu Kết cấu không cókhả năng tìm ra cácảnh tương tự, nhưng nó có thểđược sử dụng để phân lớp cácảnh kếtcấu từ cácảnh không kết cấu và sau đóđược kết hợp với các thuộc tínhđặc trưng khácnhư màuđể làm cho tra cứu hiệu quả hơn Một trong những biểu diễn phổ biến nhấtcủa đặc trưng kết cấu là ma trậnđồng khả năng đượcđề xuất bởiHaralick và cộng sự[8]

Ma trận dựa trên hướng và khoảng cách pixel Các thống kê từ ma trận đồng khả năngđược trích rút và được biểu diễn như thông tin kết cấu Tamura và cộng sự[6] đã đềxuất phương pháp trích rút sáu thuộc tính kết cấu đặc trưng coarseness, contrast,directionality, likeliness, regularity and roughness

các đặc trưng thuộc về các vùng thu được sẽ được ghi lại Các mã xích[9] sử dụng 4hoặc 8 liên thông để biểu diễn cácđoạn thẳng tạo thành đường biên của vùng Các dấuhiệu, số các hình vàđa giác là các lượcđồ biểu diễn khác

Bước tiếp theo là sử dụng các mô tả thích hợp cho các vùng này sao cho chúng

có thểđược sử dụng trong khi đối sánh các vùng của cácảnh khác nhau Các mô tảhìnhđược chia thành ba loại: Các mô tả dựa vàođường biên xácđịnh các thuộc tínhcủađường biên Các kỹ thuật dựa vào đường biên sử dụng các phác thảo vùngđể tínhtoán hình Mô tả Fourier là một trong những phương pháp phổ biến thuộc về loại này.Trong kỹ thuật này, đường biên của một vùng đã cho được thu và được biến đổiFourier[9] Các hệ số Fourier trội được sử dụng như các mô tả hình Các mô tả kháctrong loại này là các mô men hình [5]

Nếu một vùng có một hình phức hợp, nó có thể được phân tách tiếp thành các hìnhđơn giản hơn như các hình chữ nhật hoặc các hình tròn và một số thuộc tính của cáchình đơn giản này và các quan hệ của chúng có thể được sử dụng cho các mô tả hình.Các mô tả vùng khác gồm màu và kết cấu Một số đặc tính của vùng như trọng tâm,không cụ thể đối với đường biên hoặc nội dung của vùng

1.3 Độ tương tự giữa các ảnh

1.3.1Độ đo về màu sắc

Mộtsốđộđotươngđồngđượcsửdụngnhư:ĐộđokhoảngcáchƠclit,độđo Shannondivergence(JSD)

Jensen-Gọih(I)vàh(M)tươngứnglà2lược đồmàucủahaiảnhIvàảnhM.Khiđócácloạiđộđomàuđượcđịnhnghĩalàmộtsốnguyên(hoặcsốthực)theocácloạiđộ đotươngứng nhưsau:

Khoảngcách Ơclit:

ĐâylàkhoảngcáchƠclitthôngthườnggiữacácKbin:

Intersection (h(I),h(M)) =

2 1

ĐộđoJensen-Shannon divergencesửdụnglượcđộmàuRGBđểtínhtoánđộtươngđồngvềmàusắcgiữa2ảnh:

d JSD (H,H’)=

' '

ảnhtruyvấnvớiđặctrưngcủaảnhtrongcơsởdữliệu

1.3.4 Độ đo tương đồng cho đặc trưng phân đoạn

Mộtsốđộđotươngđồngchoảnh:

 Độ đo Cosin:

d(x,y) =

x y

x y

1.4 Các hệ thống tra cứu ảnh dựa vào nội dung

1.4.1 Hệ thống QBIC (Query By Image Content)

Hệ thống QBIC[5] là hệ thống tra cứu ảnh dựa trên sự phác thảo cho phép người

sử dụng xây dựng một phác thảo, vẽ ra và lựa chọn màu sắc cùng các mẫu kết cấu Cácđặc trưng màu sử dụng trong QBIC là giá trị màu trung bình của không gian RGB.QBIC là một trong các hệ thống dùng cấu trúcđánh chỉ số nhiều chiều dựa trên cấutrúc R*-Tree[3] và là hệ thống đầu tiên có cách tiếp cận tra cứu ảnh dựa trên nội dungđược ứng dụng trong thực tiễn Các kỹ thuật trong hệ thống này là cơ sở nghiên cứucho sự xây dựng và phát triểncủa các hệ thống tra cứu ảnh sau này QBIC cung cấpmột số phương pháp: đơn đặc trưng, đa đặc trưng [12] và Multi-pass:

 Phương pháp truy vấn đơn đặc trưngchỉ sử dụng một đặc điểm cụ thể để tra cứuảnh

 Truy vấn đa đặc trưng bao gồm nhiều hơn một đặc trưngvà mọi đặc trưngđều cótrọng số như nhau trong suốt quá trình tìm kiếm

 TruyvấnMulti-pass sử dụng đầu ra của các truy vấn trước làm cơ sở cho bướctiếp theo Người sử dụng có thể vẽ ra và chỉ định màu, kết cấu mẫu của hìnhảnh yêu cầu

Trong hệ thống QBIC,tương tựmàu được tính toán bằng độ đo bình phương sử

dụng biểu đồ màu k phần tử và màu trung bình được sử dụng như là bộ lọc để cải tiến

hiệu quả của truy vấn

nhau về màu sắc và không gian kết cấu để hợp thành một tập hợp nhỏ gọi là vùngriêng biệt.

Hệ thống này cũng cho người sử dụng thấy được sự trình bày kết cấu bên trong củaảnh truy vấn và các kết quả truy vấn của nó Ngoài ra, việc hiển thị ngẫu nhiên của hệthống cho người sử dụng biết nguyên nhân tại sao các ảnh không đồng dạng với ảnhtruy vấn lại được trả về như kết quả truy vấn và làm sao để cải tiến điều đó

1.4.3 Virage

Virage là một máy tìm kiếm ảnh dựa vào nội dung được phát triển tại liên hợpVirage Tương tự với QBIC, Virage hỗ trợ các truy vấn trực quan dựa trên màu, thànhphần cấu tạo (bố cục màu), kết cấu và cấu trúc (thông tin đường bao đối tượng).Nhưng Virage tiến một bước xa hơn QBIC Nó cũng hỗ trợ các kết hợp tuỳ ý của bốntruy vấn trên Người sử dụng có thể điều chỉnh các trọng số được kết hợp với các đặctrưng theo sự nhấn mạnh riêng của họ Jeffrey và cộng sự đã đề xuất tiếp một khuônkhổ mở cho quản lý ảnh Họ đã phân loại các đặc trưng trực quan thành tổng quát (nhưmàu, hình, hoặc kết cấu) và lĩnh vực cụ thể (nhận dạng mặt người, phát hiện khối u,v.v ) Nhiều đặc trưng gốc hữu ích có thể được thêm vào cấu trúc mở, phụ thuộc vàocác yêu cầu lĩnh vực Để đi ra ngoài giới hạn chế độ truy vấn bởi ví dụ, Gupta và Jain

đã đề xuất một khung công việc ngôn ngữ truy vấn chín thành phần Hệ thống sẵn cónhư một thành phần có thể thêm vào các hệ quản trị cơ sở dữ liệu như Oracle hoặcInformix

1.4.4 RetrievalWare

RetrievalWare là một máy tra cứu ảnh dựa vào nội dung được phát triển bởi tậpđoàn công nghệ Excalibur Từ một trong các công bố đầu tiên của họ, chúng ta có thểthấy rằng tầm quan trọng của nó là ứng dụng của các mạng neural để tra cứu ảnh Máytìm kiếm gần đây của họ sử dụng màu, hình, kết cấu, độ sáng, bố cục màu, và hướng tỷ

lệ của ảnh, như các đặc trưng truy vấn Nó cũng hỗ trợ các kết hợp của các đặc trưngnày và cho phép người sử dụng điều chỉnh các trọng số kết hợp với mỗi đặc trưng.Trang demo của nó tại http://vrw.excalib.com/cgi-bin/sdk/cst/cst2.bat

1.4.5 VisualSeek và WebSeek

VisualSEEk là một máy tìm kiếm đặc trưng trực quan và WebSEEk là một máytìm kiếm văn bản/ảnh trên web, cả hai sản phẩm đã được phát triển tại đại họcColumbia Các đặc trưng nghiên cứu chính là truy vấn quan hệ không gian của cácvùng ảnh và trích rút đặc trưng trực quan lĩnh vực được nén Các đặc trưng trực quanđược sử dụng trong các hệ thống của họ là các tập màu và các đặc trưng kết cấu dựavào biến đổi sóng Để tăng tốc quá trình tra cứu, họ cũng đã phát triển các thuật toánđánh chỉ số dựa vào cây nhị phân VisualSEEk hỗ trợ các truy vấn dựa vào cả các đặctrưng trực quan và các quan hệ không gian của chúng Điều này cho phép người sửdụng chuyển một truy vấn hoàng hôn bằng vùng màu đỏ-cam trên đỉnh và vùng xanh

lơ hoặc xanh lá cây ở dưới bằng phác thảo của nó WebSEEk là một máy tìm kiếmhướng Web Nó gồm ba module chính, tức là module tập hợp ảnh/video, module phânloại chủ đề và đánh chỉ số, và module tìm kiếm, duyệt, và tra cứu Nó hỗ trợ các truyvấn dựa trên cả các từ khoá và nội dung trực quan Bản demo trực tuyến có tạihttp://www.ee.columbia.edu/sfchang/demos.html

1.4.6 Photobook

Photobook là một tập các công cụ tương tác để duyệt và tìm kiếm các ảnh đượcphát triển tại phòng thí nghiệm MIT Media Photobook gồm ba quyển nhỏ từ đó cácđặc trưng hình, kết cấu, và bề mặt được trích rút tương ứng Sau đó những người sửdụng có thể truy vấn trên cơ sở các đặc trưng tương ứng trong mỗi quyển con Trongphiên bản Photobook gần đây nhất của nó, bốn mắt, Picard và cộng sự đã đề xuất gồmnhững người sử dụng trong lặp và chú thích tra cứu ảnh Động cơ cho việc này là dựatrên quan sát rằng không có đặc trưng nào có thể mô hình các ảnh tốt nhất từ mỗi vàmọi lĩnh vực Hơn nữa, nhận thức của con người là chủ quan Họ đã đề xuất một cáchtiếp cận “hội các mô hình” để liên kết nhân tố người Các kết quả thực nghiệm chỉ rarằng cách tiếp cận này là hiệu quả trong chú thích ảnh tương tác

1.5 Đánh giá hiệu năng tra cứu

Để đánh giá hiệu năng của hệ thống tra cứu, người ta đưa ra hai số đo đó là độtriệu hồi (recall) và độ chính xác (precision) Các số đo này được mượn từ hệ thống tracứu thông tin truyền thống

Đối với một truy vấn q, tập hợp các ảnh trong cơ sở dữ liệu thích hợp với truy

vấn q được ký hiệu là R(q) còn kết quả tra cứu của truy vấn q được ký hiệu là Q(q)

Độ chính xác của việc tra cứu được định nghĩa là tỉ lệ những kết quả thu được

Ngoài ra, việc lựa chọn R(q) lại rất không ổn định do sự đa đạng của cách hiểu vềmột bức ảnh Hơn nữa, khi số lượng ảnh thích hợp lại lớn hơn số lượng ảnh hệ thốngtìm được thì lúc đó khái niệm độ triệu hồi trở thành vô nghĩa

Do đó, độ chính xác và độ triệu hồi chỉ là các mô tả ở dạng thô về hiệu năng củamột hệ thống truy vấn mà thôi

Gần đây MPEG7 có khuyến nghị một cách đánh giá mới về hiệu năng của các hệ

thống tra cứu gọi là ANMRR (average normalized modified retrieval rank) Theo

cách này độ chính xác và độ triệu hồi được kết hợp thành một số đo duy nhất

Ký hiệu số lượng ảnh hoàn toàn đúng với truy vấn q là N(q) và số lượng lớn nhất của các ảnh hoàn toàn đúng với tất cả Q truy vấn tức là max{N(q 1 ), N(q 2 ), ,N(q Q )} là

M Sau đó đối với mỗi truy vấn q thì mỗi bức ảnh hoàn toàn đúng k được gán một giá

trị xếp hạng rank(k) giá trị này là thứ hạng của nó trong số những ảnh hoàn toàn đúng nếu ảnh đó nằm trong K kết quả truy vấn đầu tiên (ở đây K = min{4N(q), 2M}) hoặc

có giá trị K+1 nếu ảnh đó không nằm trong K kết quả truy vấn đầu tiên

Thứ hạng trung bìnhAVR(q) đối với truy vấn q được tính như sau:

AVR( q)= ∑k=1 N ( q ) rank(q) N ( q)

(1-27)Thứ hạng tra cứu sửa đổi MRR(q) được tính là:

MRR(q)=AVR(q)-0.5-0.5*N(q) (1-28)

MRR(q) nhận giá trị 0 khi tất cả các ảnh hoàn toàn đúng đều nằm trong K kết quả

truy vấn đầu tiên

Thứ hạng tra cứu sửa đổi và chuẩn hoá NMRR(q) nhận giá trị từ 0 đến 1 đượctính như sau:

Chương 2 : TRA CỨU ẢNH DỰA VÀO NỘI DUNG SỬ DỤNG PHÂN CỤM 2.1 Giới thiệu về phân cụm

2.1.1 Khái niệm

Phân cụm dữ liệu[2] là một kỹ thuật trong khai phá dữ liệu, nhằm đưa ra các cụm

mà các phần tử trong cụm có độ tương đồng cao và các phần tử khác cụm nhau lại có

độ tương đồng thấp.

Như vậy, phân cụm dữ liệu là kỹ thuật sử dụng quan sát đối tượng, mục đích để tổchức một tập các đối tượng cụ thể hoặc trừu tượng vào các nhóm, cụm phânbiệt.Những đối tượng có nội dung tương tự nhau sẽ được xếp vào cùng một cụm vànhững đối tượng có nội dung khác nhau được xếp vào các cụm khác nhau

Sau đây sẽ giới thiệu một số tính chất của dữ liệu và yêu cầu của một thuật toánphân cụm Hầu hết các nghiên cứu và phát triển các thuật toán phân cụm dữ liệu nóichung đều nhằm thỏa mãn các yêu cầu cơ bản sau:

 Có khả năng mở rộng, gia tăng: Thuật toán phân cụm cần có khả năng gia tăng,

mở rộng Rất nhiều thuật toán phân cụm có thể làm việc tốt với lượng dữ liệu nhỏ, íthơn 100 đối tượng dữ liệu mà khônglàm tốt với lượng dữ liệu lớn, trong khi đó cơ

sở dữ liệu lớn chứa hàng triệu đối tượng vì vậy ta cần mở rộng bộ phân cụm đó đểbao trùm cả tập dữ liệu lớn

 Khả năng thích nghi với các kiểu và thuộc tính dữ liệu khác nhau: có nhiềuthuật toán phân cụmphù hợp với dữ liệu số vàcó một sốthuật toán áp dụng cho loại

dữ liệu nhị phân hay dữ liệu ảnh …

 Nhận biết được các cụm với hình thù bất kỳ: một số thuật toán xác định cụmdựa vào việc tính khoảng cách Euclid hay Manhattan với mục đích nhận biết độ dày

và giống nhau của các tài liệu trong cụm Tuy nhiên, một cụm có thể có hình dạngbất kỳ vì vậy mà việc phát triển thuật toán có khả năng xác định các cụm với hìnhthù bất kỳ là quan trọng và cần thiết

 Khả năng thích nghi với dữ liệu nhiễu: Phần lớn các cơ sở dữ liệu thực tế chứađựng ngoại lệ hoặc thiếu, không xác định hay không đúng Các thuật toán nhạy cảmvới nhiễu là nguyên nhân dẫn đến việc tạo ra các cụm kém chất lượng

 Phân cụm trên một số ràng buộc: Trong một số ứng dụng, chúng ta cần phâncụm trên cơ sở dữ liệu chứa các liên kết bắt buộc giữa hai hay nhiều đối tượng Việcphân cụm cần đảm bảo các đối tượng này thỏa mãn các ràng buộc đó

 Dễ hiểu, dễ cài đặt và khả thi: một thuật toán càng dễ hiểu và dễ cài đặt vàmang tính khả thi cao sẽ được người dùng tin cậy và sử dụng rộng rãi

Các kiểu biến dữ liệu

 Biểu diễn dưới dạng ma trận của các biến cấu trúc hay các thuộc tính của đốitượng Ví dụ đối tượng người sẽ có các thuộc tính là tên, tuổi, chiều cao, cân nặng,

màu mắt, … Nếu ta có n đối tượng, mỗi đối tượng có p thuộc tính thì sẽ có một ma trận với n dòng, p cột.

 Biểu diễn dữ liệu dưới dạng độ đo khoảng cách giữa các cặp đối tượng Nếu ta có

n đối tượng, chúng sẽ được biểu diễn bằng một ma trận với n hàng và n cột như sau:

Trong đó d(i, j) là khoảng cách giữa đối tượng i và j; thể hiện sự khác biệt giữa đối tượng i và j; được tính tuỳ thuộc vào kiểu của các biến/thuộc tính và thỏa mãn các

Việc tính toán khoảng cách có thể được thực hiện bằng nhiều cách khác nhau

dựavào mục đích của phân cụm Khoảng cách giữa hai đối tượng x, y hay độ đo phi

tương tượng giữa hai đốitượng được xác định bằng một ma trận Một số phương pháp

đo khoảng cách phổ biến là: Khoảng cách Euclid, khoảng cách Manhattan được địnhnghĩa bằng khoảng cách Minkowski:

 Độ đo khoảng cách Minkowski :

 Độ đo khoảng cách Manhattan (q = 1)

 Độ đo khoảng cách Euclid(q = 2)

Phép đo khoảng cách cho dữ liệu thuộc tính nhị phân

a: Tổng số thuộc tính có giá trị là 1 trong cả i và j

b: Tổng số các thuộc tính có giá trị là 1 trong i và có giá trị là 0 trong j.

c: Tổng số các thuộc tính có giá trị là 0 trong i và có giá trị là 1 trong j.

d: Tổng số thuộc tính có giá trị là 0 trong cả i và j.

Dò tìm phần tử ngoại lai: Phần tử ngoại lai là một nhóm nhỏ các đối tượng dữliệu khá bất thường so với các dữ liệu trong cơ sở dữ liệu Loại bỏ những dữ liệu này

để tránh ảnh hưởng đến kết quả phân cụm

Phân cụm hiện nay đang là vấn đề mở và khó: Vì phân cụm đang phải giải quyếtmột số vấn đề cơ bản: Xây dựng hàm tính khoảng cách (hay độ tương tự), xây dựngcác tiêu chuẩn phân cụm, xây dựng mô hình cho cấu trúc dữ liệu, xây dựng các thuậttoán phân cụm và xác lập các điều kiện khởi tạo, xây dựng các thủ tục biểu diễn và

đánh giá kết quả phân cụm Hiện nay chưa có một phương phápphân cụm tổng quát

nào có thể giải quyết trọn vẹn cho tất cả các dạng cấu trúc dữ liệu Với những dữ

liệu hỗn hợp thì việc phân cụm càng khó khăn hơn và đây đang là một thách thứctrong ngành khai phá dữ liệu

2.1.3 Phân cụm phân cấp

Phương pháp phân cụm phân cấp(hierachical clustering)[4, 13] xây dựng một

cấu trúc cây phân cấp chocác đối tượng và có hai phương pháp chính là xây dựng cây

theo hướng từ trên xuống(top-down) và xây dựng theo hướng từ dưới lên (bottom-up) Với phương pháp bottom-up, đầu tiên mỗi đối tượng được coi như một cụm

phânbiệt và sau đó tiến hành ghép lần lượt 2 cụm giống nhau nhiều nhất hay khác nhauítnhất làm một đến khi tất cả các cụm được ghép vào một cụm duy nhất chứa tất cả

cácđối tượng Còn phân cụm phân cấp top-down lại ngược với bottom-up, tất cả các

đôi tượng coi như một cụm và được tách thành mỗi đối tượng thành một cụm duynhất Phương pháp này được thực hiện bằng thuật toán đệ quy, tiến hànhtách đôi các

cụm đến khi từng đối tượng phân biệt được đưa ra.Phân cụm phân cấp bottom-up cònđược gọi là phân cụm tích lũy phân cấp (hierachical agglomerativeclustering-

HAC)

Trong thực tế phân cụm phân cấp bottom-up được sử dụng rộng rãi hơn là downdo các tiêu chí để ghép cụm trong bottom-up đơn giản và dễ thực hiện hơn việcđánh giá tách cụm trong top-down Trong báo cáo này tôi tập trung vào

top-phươngpháp bottom-uptức là HAC.

Phương pháp HAC

HAC dựa theo đặc thù của thuật toán phân cụm đệ quy và coi mỗi đối tượng

nhưmột điểm dữ liệu trong không gian Euclide Việc tính toán độ tương tự giữa cáccụmdựa vào cách tính khoảng cách trong không gian Euclide [14].Bằng cách đi lên từlớp dưới cùng lên nút trên đầu, sơ đồ cây phân cấp cho chúngta thấy các bước kết hợpđôi một từng nhóm Ví dụ nhìn vào sơ đồ Hình 2.1 ta có thểthấy rằng 2 cụm mang

nhãn 1 và 2 đầu tiên được nhóm với nhau, sau đó được nhómvới cụm mang nhãn 3 trở

thành cụm 123 được đưa ra Cụm 4 và 5 được nhóm vớinhau tạo thành cụm 45, cuối

cùng hai cụm 123 và 45 ghép lại thành một cụm tổng thếchứa cả 5 đối tượng là 12345

để tạo thành một cây với gốc 12345 và các lá lần lượt là 1,2, 3, 4, 5

Hình2.1: Biểu diễn phận cụm phân cấp bottom-up của 5 đối tượng

Phân cụm phân cấp không yêu cầu cố định số cụm và nếu tất cả các đối tượngđều thuộc một cụm thì việc phân cụm là vô nghĩa Vì thế, trong việc phân cụm chúng

ta cần bỏ đi một số bước, tức cần dùng một nhát cắt để đưa ra kết quả phân cụm củamình

Một số phương pháp tính khoảng cách cụm của HAC

 Single link hay single-linkage

Với phương pháp này, khoảng cách giữa các cụm được định nghĩa là khoảngcáchgiữa những đối tượng giống nhau nhất giữa 2 nhóm:

D (r , s)=Min(d (i , j))

Trong đó:

r, s: hai cụm

i, j: hai đối tượng bất kỳ thuộc hai cụm

Với 2 cụm, ta tính tất cả các khoảng cách giữa 2 phần tử bất kỳ thuộc 2 cụmđóvàkhoảng cách nhỏ nhất tìm được chính là khoảng cách giữa 2 cụm đó Tại mỗibước,2 cụm gần nhau nhất sẽ được chọn để ghép lại với nhau

 Complete linkage hay còn gọi là fatherest neighbour – người hàng xóm xa nhất