Nâng cao hiệu quả tra cứu ảnh dựa trên hiệu chỉnh độ đo tương tự và phản hồi liên quan (tt)

Các hệ thống sử dụngcông nghệ này thực hiện nhiệm vụ tìm kiếm và tra cứu bằng cách phân tích màu sắccủa hình ảnh, hình dạng của các đối tượng trong hình ảnh, sự phân bố các kết cấu củahì

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC

VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

…… ….***…………

NGÔ TRƯỜNG GIANG

NÂNG CAO HIỆU QUẢ TRA CỨU DỰA TRÊN HIỆU CHỈNH

ĐỘ ĐO TƯƠNG TỰ VÀ PHẢN HỒI LIÊN QUAN

Chuyên ngành: Cơ sở Toán học cho Tin học

Mã số: 62 46 01 10

TÓM TẮT LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội – 2017

Công trình được hoàn thành tại: Học viện Khoa học và Công nghệ -

Viện Hàn lâm Khoa học và Công nghệ Việt Nam

Người hướng dẫn khoa học 1: PGS.TS Ngô Quốc Tạo

Người hướng dẫn khoa học 2: TS Nguyễn Đức Dũng

Có thể tìm hiểu luận án tại:

- Thư viện Học viện Khoa học và Công nghệ

- Thư viện Quốc gia Việt Nam

Nói chung, có hai kỹ thuật tra cứu ảnh cơ bản, tra cứu ảnh dựa trên từ khóa vàtra cứu ảnh dựa trên nội dung Các kỹ thuật dựa vào từ khóa tốn nhiều thời gian, chiphí cao và phụ thuộc vào cảm nhận chủ quan của chuyên viên kỹ thuật Hơn nữa, hệthống dựa vào từ khoá rất khó thay đổi về sau này Để khắc phục các khó khăn này,tra cứu ảnh dựa vào đặc trưng thị giác của ảnh đã được đề xuất Trong công nghệnày, các đặc trưng mức thấp của ảnh như màu sắc, kết cấu và hình dạng sẽ được tríchchọn một cách tự động mà không có sự can thiệp của con người Các hệ thống sử dụngcông nghệ này thực hiện nhiệm vụ tìm kiếm và tra cứu bằng cách phân tích màu sắccủa hình ảnh, hình dạng của các đối tượng trong hình ảnh, sự phân bố các kết cấu củahình ảnh, hoặc bất kỳ thông tin đại diện khác được trích chọn từ hình ảnh, chứ khôngphải bất kỳ siêu dữ liệu nào như từ khóa, thẻ hoặc chú thích.

Một loạt các hệ thống tra cứu ảnh đã được phát triển dựa trên công nghệ này như

hệ thống QBIC, Virage, NEC AMORE Đây là các hệ thống được phát triển sớm nhấtcho mục đích thương mại Trong cùng thời gian, một số nhà nghiên cứu khác đã phátminh ra hệ thống CBIR cho mục đích học tập, chẳng hạn như MIT Photobook bởiPentland, Columbia VisualSEEK và WebSEEK, UCSB Netra và Standford WBIIS.Những ưu điểm của hệ thống CBIR đã được các nhà nghiên cứu tìm thấy trong nhiềuứng dụng thế giới thực như kiến trúc và thiết kế kỹ thuật, bộ sưu tập nghệ thuật,phòng chống tội phạm, thông tin địa lý, sở hữu trí tuệ, điều trị nội khoa, quân sự, tìmkiếm sản phẩm,

Tiềm năng của tra cứu ảnh dựa trên nội dung là rất hứa hẹn Rất nhiều công việc

đã được báo cáo trong hai thập kỷ qua Tuy nhiên, vẫn còn một số thách thức cần phảikhắc phục để có thể nâng cao hiệu quả của hệ thống tra cứu ảnh dựa trên nội dung.Một trong những thách thức cơ bản trong tra cứu ảnh dựa trên nội dung là khoảngcách ngữ nghĩa giữa đặc trưng mức thấp và các khái niệm mức cao Đây cũng chính

là động lực nghiên cứu của luận án này

Mục tiêu của luận án là cải tiến một số phương pháp CBIR để nâng cao hiệu quảtra cứu ảnh dựa trên hiệu chỉnh độ đo tương tự và phản hồi liên quan Các mục tiêu

cụ thể bao gồm tiến hành nghiên cứu trên hai vấn đề cơ bản trong lĩnh vực CBIR đólà: 1) Xây dựng độ đo tương tự, 2) Thu hẹp khoảng cách ngữ nghĩa dựa trên thông tinphản hồi từ người dùng

- Mục tiêu nghiên cứu đầu tiên là tiến hành nghiên cứu xây dựng độ đo tương tựhiệu quả Với mục tiêu này, luận án giải quyết hai vấn đề cụ thể: 1) Cải tiếnphương pháp tính toán độ đo tương tự cho hình dạng dựa trên đối sánh xươngcủa chúng và 2) Xây dựng mô hình phù hợp cho việc kết hợp nhiều đặc trưng đểxây dựng độ đo tương tự.

- Mục tiêu thứ hai là tiến hành nghiên cứu khai thác hiệu quả thông tin phản hồi

từ người dùng để điều chỉnh kết quả truy vấn Trong tra cứu ảnh với phản hồiliên quan, hệ thống cần phải thực hiện một số vòng lặp Trong mỗi vòng lặp, hệthống sẽ trả lại một danh sách các ảnh tương tự nhất với ảnh truy vấn dựa trên

độ tương tự giữa chúng Sau đó, các ảnh này sẽ được đưa cho người sử dụng gánnhãn liên quan hoặc không liên quan với ảnh truy vấn Sử dụng những ảnh đãđược gán nhãn này như là những mẫu, những kỹ thuật học sẽ được áp dụng đểđiều chỉnh độ đo tương tự sao cho phù hợp với mong muốn của người dùng Vớimục tiêu này, luận án sẽ tập trung giải quyết vấn đề làm thế nào để hệ thốngcho ra kết quả tốt sau ít vòng phản hồi nhất

Nội dung nghiên cứu của luận án tập trung vào các vấn đề cơ bản sau

Chương 1 Trình bày một số vấn đề cơ bản trong tra cứu ảnh dựa trên nội dung vớiphản hồi liên quan, trên cơ sở đó đưa ra một số kết luận định hướng cho nghiêncứu tiếp theo

Chương 2 Trình bày chi tiết về các thách thức trong đối sánh hình dạng sử dụngxương, đề xuất phương pháp hiệu quả cho đối sánh đồ thị xương thông qua việcnhúng thông tin cấu trúc vào bài toán đối sánh đồ thị xương

Chương 3 Trình bày mô hình tích hợp nhiều đặc trưng để xây dựng độ đo tương tựcho tra cứu ảnh Đề xuất mô hình kết hợp độ đo tương tự của các đặc trưng dựatrên tích phân Choquet

Chương 4 Giải quyết vấn đề thu hẹp khoảng cách ngữ nghĩa trong CBIR với phảnhồi liên quan dựa trên mô hình học chủ động Luận án đề xuất kỹ thuật xâydựng tập huấn luyện hiệu quả dựa trên thông tin phản hồi từ người dùng để cảithiện hiệu năng tra cứu

Chương 1

Tra cứu ảnh dựa trên nội dung

Tra cứu ảnh dựa trên nội dung nhằm mục đích tìm kiếm các ảnh bằng việc phântích nội dung ảnh thực tại, mà nó thường được miêu tả đặc trưng trực quan như màusắc, kết cấu và hình dạng Phần này sẽ giới thiệu việc tra cứu ảnh dựa trên nội dungnhằm cung cấp một cái nhìn tổng quát về lĩnh vực CBIR

1.1.1 Kiến trúc tổng quan của hệ thống CBIR

Sơ đồ kiến trúc chung của hệ thống tra cứu ảnh dựa trên nội dung được chỉ ratrong hình 1.1 Trong một quy trình tra cứu thông thường, người dùng đầu tiên đưavào một ảnh mẫu để truy vấn hệ thống CBIR Ảnh mẫu được sử dụng để miêu tảnhững thông tin người dùng cần Để trả lời truy vấn, hệ thống CBIR tìm trong tậpảnh để đưa ra những ảnh tương tự như ảnh mẫu Trong ngữ cảnh của CBIR, độ tương

tự được xác định dựa trên nội dung ảnh được mô tả bởi các đặc trưng trực quan Do

đó, trước tiên hệ thống CBIR sẽ trích xuất các đặc trưng trực quan từ ảnh mẫu Sau

đó các phép đo tương tự được thực hiện dựa trên những đặc trưng trực quan của ảnhmẫu và mỗi ảnh trong bộ sưu tập ảnh Cuối cùng, những ảnh trong bộ sưu tập đượcxếp hạng theo thứ tự tương đồng với ảnh truy vấn, và các ảnh được xếp hạng phíacao hơn sẽ được trả về kết quả tìm kiếm Để cải thiện hiệu suất hệ thống, một vài kỹthuật được đưa vào hệ thống CBIR Phản hồi liên quan được đưa vào hệ thống CBIRnhằm thu lượm các thông tin phản hồi từ người dùng để hiệu chỉnh kết quả truy vấn.Các kỹ thuật phân lớp và phân cụm ảnh được đưa vào hệ thống CBIR nhằm cải tiếntốc độ và độ chính xác tra cứu ảnh

Các đặc trưng của

Cơ sở dữ liệu Trích chọn đặc trưng

Kĩ thuật đối sánh

Các đặc trưng của truy vấn

Ảnh truy vấn

Phân tích truy vấn

sử dụng những phương pháp được tự động Khả năng máy tính thực hiện nhận dạngđối tượng tự động trên ảnh vẫn đang là vấn đề nghiên cứu mở Hầu hết những nghiêncứu cũng như các hệ thống mang tính thương mại đều tập trung xây dựng những hệthống thực hiện truy vấn dựa trên phương pháp QBE(Query by Example) Đây cũng

là mô hình truy vấn được sử dụng trong các thực nghiệm đánh giá của luận án

1.1.3 Trích chọn đặc trưng

Dữ liệu ảnh thô không được sử dụng trực tiếp trong hầu hết các hệ thống thị giácmáy vì hai lý do: Thứ nhất, tốn nhiều không gian để lưu trữ ảnh và độ phức tạp tínhtoán lớn Thứ hai, nhiều thông tin của ảnh dư thừa và (hoặc) không hữu ích Thay

vì sử dụng toàn bộ ảnh, chúng ta chỉ cần sử dụng một số biểu diễn quan trọng nhất.Bước biểu diễn ảnh được gọi là trích chọn đặc trưng và kết quả của biểu diễn là véc-tơđặc trưng Trích chọn đặc trưng có thể xem như việc ánh xạ ảnh từ không gian ảnhsang không gian đặc trưng Trong ngữ cảnh của CBIR, các đặc trưng ảnh có thể đượcphân thành đặc trưng thị giác và đặc trưng ngữ nghĩa Các đặc trưng thị giác bao gồmmàu, kết cấu, hình dạng và quan hệ không gian Đặc trưng ngữ nghĩa không dễ dàngđược trích rút và thường được suy diễn từ các đặc trưng mức thấp hoặc sử dụng vănbản mô tả ảnh Hiệu quả tra cứu ảnh phụ thuộc vào khả năng mô tả nội dung ảnh chocác ứng dụng cụ thể Trong luận án sẽ sử dụng các đặc trưng mức thấp cho đánh giáthực nghiệm

1.1.4 Độ đo tương tự

Trong tra cứu ảnh dựa trên nội dung, độ đo độ tương tự phù hợp với sự tương tựtrong nhận thức của con người là một vấn đề cơ bản vì nó quyết định đến khả năngđáp ứng yêu cầu từ người dùng của hệ thống Một cách đơn giản để đo độ tương tựgiữa các ảnh là sử dụng các độ đo khoảng cách Trong những năm qua, một số lượnglớn các độ đo tương tự khác nhau đã được đề xuất bởi cộng đồng các nhà nghiên cứu.Lựa chọn của các độ đo tương tự phụ thuộc vào mô tả đặc trưng đã chọn Trong thực

tế, một số mô tả có thể sử dụng với độ đo chuẩn, một số khác đòi hỏi các độ đo đặcbiệt được thiết kế cho phù hợp Do vậy, cần phải phát triển các độ đo hiệu quả hơncho các ứng dụng cụ thể Luận án sẽ nghiên cứu phương pháp xây dựng độ đo tương

tự cho mục đích này

Kết hợp các đặc trưng nhằm mục đích đo độ tương tự của ảnh sử dụng nhiều đặctrưng thị giác Có hai hướng tiếp cận kết hợp đặc trưng, hợp nhất các đặc trưng và tíchhợp các đặc trưng Hợp nhất đặc trưng sử dụng một độ đo thống nhất để xây dựng độ

đo tương tự trên một biểu diễn ảnh thống nhất được hình thành từ nhiều đặc trưng thịgiác Trong trường hợp này, mỗi đặc trưng được biểu diễn bởi một véc-tơ Các véc-tơcủa các đặc trưng được kết hợp với nhau thành một véc-tơ tổng thể để biểu diễn mộtảnh Ngược lại với phương pháp hợp nhất đặc trưng, tích hợp đặc trưng sử dụng tiếpcận khác đó là kết hợp nhiều độ đo khoảng cách đặc trưng để xây dựng độ đo tương tựcủa ảnh Các đặc trưng khác nhau có thể đòi hỏi các độ đo khoảng cách khác nhau để

đo độ tương tự Lợi thế của kết hợp đặc trưng là các độ đo khoảng cách riêng có thểđược áp dụng cho các đặc trưng thị giác khác nhau Hơn nữa, độ đo khoảng cách cóthể được thiết kế đặc biệt bằng cách xét đến các tính chất tự nhiên của các đặc trưngthị giác sao cho phù hợp với cảm nhận về độ tương tự Làm thế nào để có thể kết hợpcác đặc trưng một cách hiệu quả sẽ được nghiên cứu trong luận án

Trong tra cứu ảnh dựa trên nội dung (CBIR), ảnh được đánh chỉ mục và tra cứudựa trên nội dung trực quan của chúng, chẳng hạn như màu sắc, kết cấu, hình dạng,đây là các đặc trưng mức thấp Tuy nhiên, Trong thực tế, con người có xu hướng sửdụng các đặc trưng mức cao (khái niệm), chẳng hạn như từ khóa, mô tả văn bản đểgiải thích hình ảnh và đo độ tương tự của chúng Trong khi những đặc trưng đượctrích chọn một cách tự động bằng cách sử dụng kỹ thuật của thị giác máy chủ yếu làcác đặc trưng mức thấp thấp (màu, kết cấu, hình dạng, vị trí không gian ) Mặc dùnhiều thuật toán phức tạp đã được thiết kế để mô tả màu sắc, hình dáng và đặc trưngkết cấu nhưng các thuật toán này vẫn không thể phản ánh thỏa đáng ngữ nghĩa ảnh

Do vậy, khoảng cách ngữ nghĩa giữa các đặc trưng mức thấp và các khái niệm mức cao

vẫn còn lớn nên hiệu suất của CBIR là vẫn chưa thỏa mãn được mong đợi của ngườidùng

Phản hồi nhằm mục đích cải thiện hiệu năng tra cứu thông qua học cùng với sựđiều chỉnh của người dùng trên kết quả tra cứu Theo cách này, hệ thống cần phải chạyqua một số vòng lặp Trong mỗi vòng lặp, hệ thống trước tiên sẽ trả về một danh sáchcác ảnh kết quả đã được sắp xếp gần nhất với ảnh truy vấn dựa trên một độ đo tương

tự Sau đó, một số ảnh được đưa ra để người dùng gán nhãn liên quan hoặc khôngliên quan tới ảnh truy vấn Sử dụng các ảnh đã được gán nhãn này như là các mẫu,các kỹ thuật học máy sẽ được sử dụng để học và định nghĩa lại kết quả tra cứu Tuynhiên, trong ngữ cảnh CBIR, việc học gặp nhiều khó khăn do sự khan hiếm và mấtcân bằng các thông tin phản hồi Người dùng không muốn thao tác nhiều số lần lặpphản hồi để có được kết quả tốt nhất nên số lượng ảnh được gán nhãn từ người dùngtrong một phiên RF để làm dữ liệu huấn luyện là khá nhỏ so với chiều không gian đặctrưng Với tập dữ liệu huấn luyện nhỏ thì hầu hết các thuật toán máy học không thểcho ra kết quả chính xác Hơn nữa, số lượng ảnh được gán nhãn không liên quan (mẫuâm) thường lớn hơn số lượng ảnh được gán nhãn có liên quan (mẫu dương) Sự mấtcân đối của tập dữ liệu huấn luyện sẽ ảnh hưởng tới hiệu năng của các thuật toán họcmáy Do vậy, làm thế nào để có thể thiết kế các mô hình phản hồi liên quan khai tháchiệu quả thông tin phản hồi từ người dùng, cải thiện hiệu năng tra cứu Vấn đề này

sẽ được nghiên cứu và giải quyết trong luận án

Chương này giới thiệu khái quát về tra cứu ảnh dựa trên nội dung bao gồm: Cácđặc trưng ảnh, các độ đo sự tương tự giữa các đặc trưng, kỹ thuật phản hồi liên quan

Có ba chủ đề nghiên cứu quan trọng sẽ được nghiên cứu trong luận án này

Phát triển độ đo tương tự hiệu quả cho đơn đặc trưng Trong thực tế, một số mô

tả có thể sử dụng với độ đo chuẩn, một số khác đòi hỏi các độ đo đặc biệt được thiết

kế cho phù hợp Làm thế nào để xây dựng độ đo tương tự hiệu quả cho các đặc trưngảnh sử dụng các biểu diễn phức tạp Vấn đề này sẽ được giải quyết trong chương 2.Kết hợp đặc trưng để xây dựng độ đo tương tự Mỗi đặc trưng chỉ có thể mô tảmột vài khía cạnh nội dung ảnh Kết hợp nhiều đặc trưng sẽ giúp mô tả đầy đủ hơnnội dung ảnh Làm thế nào để xây dựng mô hình phù hợp cho kết hợp các đặc trưng,

và làm thế nào để điều chỉnh độ quan trọng của các đặc trưng cho xây dựng độ đotương tự Hai vấn đề này sẽ được giải quyết trong chương 3

Thu hẹp khoảng cách ngữ nghĩa dựa trên phản hồi liên quan với vấn đề nghiên cứu

cụ thể là làm thế nào để thiết kế các mô hình phản hồi liên quan để có thể khai tháchiệu quả thông tin phản hồi từ người dùng, cải thiện hiệu năng tra cứu Vấn đề này

sẽ được giải quyết trong chương 4

Chương 2

Đo độ tương tự hình dạng dựa trên đối sánh đồ thị xương

2.1 Giới thiệu

Xương hay còn gọi là trục trung vị là một dạng mô tả hình dạng với các đặc trưng

tô pô và cấu trúc hình học của đối tượng Độ tương tự của hình dạng dựa trên đốisánh xương thường cho kết quả tốt hơn đối sánh dựa trên đường bao hoặc dựa trên các

mô tả khác trong những trường hợp đối tượng có một phần bị biến dạng, bị chồng lấphoặc có khớp nối Tuy nhiên, nhận dạng đối tượng tự động sử dụng xương của chúng

là nhiệm vụ khó khăn do xương nhạy cảm với đường bao của đối tượng Thông thường,các nhánh xương cần phải được cắt tỉa trước khi đối sánh, nhận dạng đối tượng Ngoài

ra, kiến trúc xương vẫn thực sự là phức tạp cho dù được chỉnh sửa trong một vài thaotác như cắt hoặc trộn Do đó, độ chính xác của các phương pháp đối sánh hình dạngdựa trên xương bị ảnh hưởng lớn bởi những hạn chế này

Xương chứa các thông tin cấu trúc quan trọng của hình dạng Vì vậy, việc tổ chứcchúng thành đồ thị quan hệ thuộc tính (ARG) đó là điều hết sức tự nhiên Sau đó,các điểm tương đồng giữa hai đối tượng có thể được đo bằng cách đối sánh các đồ thịARG của chúng Do công việc đối sánh ARG đã được chứng minh là bài toán NP-hardnên nhiều thuật toán được đề xuất để tìm ra các giải pháp xấp xỉ Zaboli và cộng sự

đã định nghĩa khoảng cách chỉnh sửa giữa hai đồ thị xương Tuy nhiên, độ phức tạptính toán cao do các phép toán sửa đổi phức tạp, hơn nữa phương pháp này có thểthất bại khi các đối tượng có khớp nối hoặc bị chồng lấp một phần Một vài phươngpháp khác có thể nhận được sự tương quan giữa các đỉnh bằng cách chuyển đổi đồ thịxương thành cây và các hình dạng được so sánh bằng cách đối sánh các cây Tuy nhiên,

sự chuyển đổi này đòi hỏi lựa chọn và tối ưu gốc và cần các luật theo kinh nghiệm.Hơn nữa, một sự thay đổi tương đối nhỏ trong hình dạng sẽ làm cho gốc thay đổi và

dẫn đến một tô pô khác hoàn toàn cho xương tương tự Việc chuyển đổi thành mộtcây xương có thể dẫn tới mất các thông tin cấu trúc quan trọng và do đó, gây ra ảnhhưởng xấu tới kết quả đối sánh Một phương pháp được đề xuất bởi Bai và cộng sự chokết quả đối sánh khá tốt Trong phương pháp này, mỗi điểm cuối của xương được biểudiễn bằng các đường đi ngắn nhất của xương bắt đầu từ nó và đối sánh đồ thị xươngđược giải quyết bằng cách đối sánh chuỗi các điểm cuối của các xương đã được cắt tỉa.Tuy nhiên, phương pháp này không xem xét một cách rõ ràng cấu trúc tô pô của đồthị xương Thay vào đó, nó tập trung vào độ tương tự của các đường kết nối giữa cácđiểm cuối xương Hơn nữa, phương pháp của họ phụ thuộc rất lớn vào sự lựa chọn cáctham số tỉa Trong đề xuất này, luận án cải tiến phương pháp của Bai bằng việc thiếtlập sự tương quan giữa hai đồ thị xương với các thông tin cụm đỉnh Dựa trên xương

đã được tính toán, đầu tiên luận án đề xuất một mô hình siêu đồ thị xương, với cácmối quan hệ cụm đỉnh được biểu diễn bằng các siêu cạnh Luận án coi mỗi đỉnh của

đồ thị như là một đỉnh "trọng tâm" và lập một siêu cạnh bởi một "trọng tâm" và kláng giềng gần nhất của nó Theo cách này, cả thông tin nhóm và mối quan hệ cục bộgiữa các đỉnh sẽ được mô tả trong các siêu cạnh Sau đó, đối sánh giữa hai hình dạngđối tượng được mô hình hóa bằng bài toán đối sánh siêu đồ thị, nó được giải bằng giảithuật xếp hạng trên siêu đồ thị kết hợp dựa trên bước ngẫu nhiên (RW) Bằng cáchlặp lại nhiều lần việc cập nhật trọng số và khai thác độ tin cậy của các tương quan,phương pháp đề xuất phản ánh hiệu quả các ràng buộc đối sánh để tạo ra sự đối sánhhiệu quả, loại bỏ các đối sánh không tin cậy do bị ảnh hưởng bởi nhiễu và sự biếndạng Do vậy, độ chính xác đối sánh đã được cải thiện

2.2.1 Xây dựng siêu đồ thị xương

Để biểu diễn đồ thị xương, luận án coi tập các điểm xương S là một tập kết nối vàliên tục các điểm xương của đường bao đóng và giả thiết rằng đường bao có độ dày làmột điểm ảnh

Định nghĩa 2.2.1 Đồ thị xương Đồ thị xương được xây dựng theo quy ước sau: Tậpcác điểm xương cuối và các điểm xương giao gọi là đỉnh của đồ thị xương, chuỗi cácđiểm xương kết nối giữa các đỉnh gọi là cạnh giữa hai đỉnh Các đỉnh được tạo bởi cácđiểm xương cuối gọi là các đỉnh cuối, và các đỉnh tạo bởi các điểm xương giao gọi làcác đỉnh giao của đồ thị xương

Định nghĩa 2.2.2 Siêu đồ thị xương (SHG): Siêu đồ thị xương là một bộ ba không

có thứ tự tập không có thứ tự G= (V, E, A) Trong đó:

• V là tập hữu hạn các đỉnh cuối của đồ thị xương

• E là tập (họ) các siêu cạnh trong đồ thị xương Một siêu cạnh e ∈ E là một tậpcon các đỉnh với cỡ δ(e) từ V, với δ(e) = |e| là ký hiệu bậc của siêu cạnh

• A là tập trọng số được gán cho các siêu cạnh.

Ví dụ xây dựng siêu đồ thị như trong hình 2.1

Hình 2.1: Xây dựng siêu đồ thị xương Bên trái là siêu đồ thị xương với các đỉnh

xương

Trong đối sánh đồ thị, sử dụng siêu cạnh bậc cao hơn sẽ làm tăng sự bất biếnhình học, đồng thời cũng làm tăng độ phức tạp của mô hình biểu diễn Nếu sử dụngδ(e) = 2, chúng ta có thể so sánh khoảng cách của tập hai đỉnh để tính toán giá trịtương tự từng cặp Tuy nhiên độ đo này nhạy cảm với biến đổi co dãn Trong luận

án sử dụng δ(e) = 3 để xây dựng siêu đồ thị xương bằng việc xem xét mỗi đỉnh như

là đỉnh trung tâm và hình thành siêu cạnh bởi hai đỉnh láng giềng gần nhất với nó

Độ tương tự được xây dựng dựa trên việc so sánh các thuộc tính của tam giác, saocho có thể bất biến với tỷ lệ và các biến đổi affine Ý tưởng cơ bản là nếu các đỉnh

p1, vP

p2, vP

đỉnh này nên tương tự nhau

2.2.2 Đối sánh đồ thị xương

với σ là hằng số điều chỉnh Khoảng cách giữa hai đỉnh của tam giác được xấp xỉ bởikhoảng cách giữa hai đỉnh Để đơn giản trong tính toán, công thức (2.2) có thể thaythế bằng việc sử dụng độ lệch của sin các góc.

Algorithm 1 Đối sánh siêu đồ thị xương

Output: Ma trận gán tối ưu X xác định các tương quan giữa các đỉnh của hai đồ thị.Procedure:

sánh đồ thị con giữa G và G Sử dụng các thống kê của bước ngẫu nhiên, bài toánnày được chuyển thành bài toán xếp hạng và lựa chọn đỉnh bởi RW trên SHG kết hợp

mà nó biểu diễn sẽ tốt hơn Áp dụng thuật toán RRW với ma trận khoảng cách (2.3),chúng ta có thể xác định được các tương quan và giá trị đối sánh giữa hai đồ thị xương

Bảng 2.1: Số lượng ảnh đối sánh đúng của k hình gần nhất với truy vấn trên tập dữliệu Kimia’s 99 Giá trị tốt nhất là 99

Phương pháp 1st 2nd 3rd 4th 5th 6th 7th 8th 9th 10th

Many-to-many 99 99 98 99 98 97 98 97 92 84Path Similarity 99 99 99 99 96 97 95 93 89 73

Trong các thí nghiệm, mỗi hình dạng trong tập dữ liệu được so sánh với tất cả cáchình dạng khác, và đếm số lượng hình cùng lớp Chúng tôi tính toán hiệu quả dựatrên số lượng đối sánh gần nhất thứ k cùng lớp với truy vấn, với k=1, ,10 trên tập

dữ liệu Kimia’s 99 và k=1, ,11 trên tập dữ liệu Kimia’s 216 Kết quả trình bầy trongbảng 2.1 và bảng 2.2 chỉ ra rằng phương pháp đề xuất thực hiện hiệu quả hơn so với

Bảng 2.2: Số lượng ảnh đối sánh đúng của k hình gần nhất với truy vấn trên tập dữliệu Kimia’s 216 Giá trị tốt nhất là 216