Khai thác mẫu phổ biến cực đại trong đồ thị đơn bằng phương pháp so sánh gần đúng

TỔNG QUAN

Giới thiệu

1.1.1 Giới thiệu khái quát về sự phát triển của khai thác dữ liệu đồ thị

Dữ liệu đồ thị đang ngày càng thu hút sự chú ý từ những năm gần đây nhờ vào sự phát triển nhanh chóng của nó Loại dữ liệu này được ứng dụng rộng rãi trong nhiều lĩnh vực như hóa học, giải quyết vấn đề, phân tích tài liệu và phân tích mạng xã hội.

Mẫu đồ thị phổ biến là một loại đồ thị con trong một tập hợp đồ thị, xuất hiện thường xuyên hơn so với ngưỡng mà người dùng xác định Những mẫu này chứng minh tính hữu ích trong việc khai thác đồ thị và đã trở thành một bài toán quan trọng trong lĩnh vực Khoa học Dữ liệu.

Quá trình khai thác đồ thị thường nhằm tìm kiếm các tập con phổ biến với số lần xuất hiện nhất định, và một đồ thị con được coi là biểu diễn của mẫu đồ thị khi giải quyết các bài toán về đồ thị đẳng cấu Nhiều thuật toán hiệu quả như GraphSig, Gaston, gSpan và gRed đã được phát triển để tìm MPB trong ngữ cảnh này Tuy nhiên, vẫn tồn tại những bài toán mới cần được mô phỏng qua đồ thị, tạo ra những thách thức mới trong khai thác mẫu đồ thị.

Nghiên cứu này tập trung vào việc khai thác tất cả các mẫu phổ biến cực đại (MPBCD) trong đồ thị đơn bằng phương pháp so sánh gần đúng Việc khai thác MPB từ đồ thị đơn đơn giản hơn so với từ tập hợp các đồ thị, nhưng vẫn đối mặt với thách thức trong việc tìm kiếm các mẫu cực đại Sự bùng nổ số lượng mẫu đồ thị con thường dẫn đến việc sản sinh ra một lượng lớn kết quả, gây khó khăn trong nghiên cứu và ứng dụng Do đó, trong những năm gần đây, các thuật toán khai thác đã có sự biến đổi đáng kể, chuyển từ tìm kiếm tối đa mẫu đồ thị phổ biến sang tìm các tập con, giúp dễ dàng hơn trong việc phân tích một tập nhỏ hơn.

Một phương pháp phổ biến để lọc các mẫu dư thừa là xác định các mẫu đồ thị phổ biến cực đại, tức là những MPB không phải là đồ thị con của các MPB khác Tập hợp các mẫu cực đại thường quan trọng hơn so với tập hoàn chỉnh của các mẫu, vì mẫu không cực đại có thể được xây dựng từ các mẫu cực đại Do đó, thông tin về mẫu không cực đại không cần phải lưu trữ, nhưng tất cả các đồ thị con phổ biến vẫn được thể hiện trong các mẫu cực đại mà không mất thông tin Dù đã có nhiều thuật toán được đề xuất để tìm các mẫu tiêu biểu, mẫu phân biệt và mẫu lớn nhất, mẫu cực đại vẫn là một trong những phương pháp hiệu quả nhất để giảm bớt số lượng tập MPB.

Nghiên cứu thứ hai tập trung vào việc khảo sát chi tiết tình trạng khai thác đồ thị, nhằm phát hiện tính mềm dẻo trong các mẫu dữ liệu Phương pháp so sánh gần đúng được xem là lựa chọn khả thi trong một số ngữ cảnh đặc biệt, như trường hợp của Jia et al [11], nơi khai thác các mẫu hữu ích từ dữ liệu đồ thị tạp nhiễu Việc nhận diện sự khác biệt giữa các nhãn của đỉnh hoặc cạnh, cùng với xác suất gán sai nhãn, là điều cần thiết Tương tự, Chen et al [12] nghiên cứu kho dữ liệu protein, nhấn mạnh tầm quan trọng của MPB gần đúng trong sinh học Khác với các thuật toán trước, nghiên cứu này chú trọng vào việc sử dụng phương pháp so sánh gần đúng để thừa nhận sự khác biệt cấu trúc giữa các đỉnh, cho phép xem xét hai đồ thị có các đỉnh khác nhau là tương thích.

Hình.01:Sự biểu diễn của đồ thị sử dụng phương pháp so sánh gần đúng

P1 là một biểu diễn của G khi sự khác nhãn được chấp nhận, trong đó nhãn F thay thế nhãn B Đây là một phương pháp so sánh gần đúng được áp dụng cho thuật toán APGM.

P2 là một biểu diễn của G khi sự khác biệt cấu trúc được chấp nhận, với các cạnh được gán nhãn B bị thiếu Đây là một phương pháp so sánh gần đúng áp dụng cho việc nghiên cứu các thuật toán, bên cạnh việc sử dụng các nhãn khác.

Việc giảm số lượng mẫu đã khai thác và tạo ra những mẫu không hoàn toàn phù hợp với biểu diễn đồ thị có thể dẫn đến việc bỏ sót thông tin hữu ích trong một số trường hợp nhất định, nếu chỉ áp dụng phương pháp so sánh chính xác.

Luận văn sẽ tập trung vào việc nghiên cứu và đánh giá một thuật toán đã được đề xuất nhằm khai thác tất cả các MPBCĐ trong đồ thị, dựa trên những phương pháp và hạn chế đã nêu.

Hình 1 minh họa sự biểu diễn của đồ thị thông qua phương pháp so sánh gần đúng đơn Từ đó, bài viết đề xuất một phương pháp cải tiến hiệu quả cho thuật toán, góp phần đáng kể vào việc khai thác các MPBCĐ.

1.1.2 Mục tiêu của đề tài

Nghiên cứu, đánh giá và đề xuất cải tiến hiệu quả thuật toán khai thác MPBCĐ trong đồ thị đơn thông qua phương pháp so sánh gần đúng.

Tìm hiểu các phương pháp khai thác đồ thị bao gồm khai thác đồ thị đơn và tập hợp các đồ thị

Khám phá các thuật toán khai thác MPBCĐ trong đồ thị đơn và tập hợp các đồ thị Nghiên cứu phương pháp so sánh gần đúng giữa hai đồ thị cùng các thuật toán liên quan Định hướng cải tiến và kiểm chứng thuật toán khai thác MPBCĐ trong đồ thị đơn thông qua phương pháp so sánh gần đúng.

Tổng quan về mẫu phổ biến cực đại

Vào năm 2004, Huan et al [6] đã nghiên cứu việc khai thác các đồ thị con cực đại nhằm nâng cao hiệu quả khai thác dữ liệu, giảm thiểu bộ nhớ và số lượng mẫu cần thiết Thuật toán SPIN được sử dụng để khai thác cây phổ biến từ một tập hợp các đồ thị, sau đó mở rộng thành đồ thị tuần hoàn phổ biến và cuối cùng là xây dựng đồ thị con phổ biến cực đại, với sự hỗ trợ của các kỹ thuật cắt tỉa để tối ưu hóa quá trình khai thác.

Vào năm 2006, Thomas et al [14] đã đề xuất thuật toán Margin nhằm khai thác mẫu cực đại trong tập đồ thị Thuật toán này sử dụng một lưới đồ thị để mô tả không gian tìm kiếm và xác định các ứng viên là đồ thị phổ biến cực đại, tức là các đồ thị con phổ biến không có đồ thị con phổ biến nào khác Để tìm mẫu cực đại, tác giả bắt đầu bằng cách tìm một đồ thị con liên thông phổ biến và mở rộng nó đến khi đạt cực đại, sau đó biểu diễn đồ thị cực đại bằng một điểm trên lưới Tiếp theo, họ nghiên cứu lưới để nhận diện các ứng viên cực đại khác Cuối cùng, trong bước hậu xử lý, tác giả kết hợp các ứng viên và chọn các MPBCĐ.

Vào năm 2012, Chen và cộng sự đề xuất một phương pháp tìm mẫu cực đại trong tập hợp đồ thị thông qua khai thác từ trên xuống dưới Phương pháp này bắt đầu bằng việc gán lại nhãn cho các đỉnh và định nghĩa các cạnh đối xứng dựa trên nhãn của chúng Tiếp theo, họ xây dựng một cấu trúc cây cho các đồ thị lớn, trong đó mỗi cấp của cây chứa các đồ thị con được tạo ra bằng cách loại bỏ các cạnh không phổ biến từ cấp trước Dựa vào tính chất chống đơn điệu và tính đối xứng trong nhãn, thuật toán loại bỏ các cạnh cho đến khi tìm ra đồ thị phổ biến, được coi là cực đại nếu các đồ thị cha không phổ biến Cuối cùng, thuật toán tiếp tục thêm các đồ thị còn lại vào cây cấu trúc, sắp xếp theo kích thước giảm dần, xác định cấp độ tương ứng cho mỗi đồ thị và sử dụng phương pháp đồng hình để so sánh các đồ thị con cùng cấp độ.

Khai thác đồ thị trong đồ thị đơn

Vào năm 2004, Kuramochi và Karypis đã giới thiệu các thuật toán Hsigram, Vsigram và GREW để khai thác MPB trong đồ thị đơn Mặc dù ý tưởng của ba thuật toán này tương tự nhau, Hsigram sử dụng phương pháp tìm kiếm theo chiều rộng trước, trong khi Vsigram áp dụng phương pháp tìm kiếm theo chiều sau trước GREW là một cải tiến đáng kể của Vsigram, tập trung vào việc nâng cao hiệu suất bằng cách chú trọng vào các đồ thị đặc trưng Để tính toán độ hỗ trợ của một mẫu đồ thị, thuật toán xây dựng đồ thị bao phủ cho tất cả các biểu diễn của mẫu, định nghĩa độ hỗ trợ là số lượng phần tử trong một tập độc lập cực đại (MIS) của đồ thị bao phủ Tuy nhiên, việc tìm kiếm tập MIS trong đồ thị bao phủ là rất khó khăn, dẫn đến quy trình tính toán độ hỗ trợ trở nên phức tạp.

Năm 2008, Bringmann và Nijssen đã đề xuất một phương pháp tính độ hỗ trợ với ít tính toán hơn Giả thuyết về đồ thị G và mẫu đồ thị P, thuật toán xác định độ hỗ trợ theo công thức: σ(P,Q) = min|{φ(v) vϵV : φ là phép ánh xạ giữa P và một trong những biểu diễn của nó trong G}.

Độ hỗ trợ của mẫu P được xác định dựa trên số lượng đỉnh trong đồ thị G mà mỗi đỉnh v của mẫu P ánh xạ đến, với yêu cầu là số lượng đỉnh ánh xạ tối thiểu.

Khai thác đồ thị sử dụng phương pháp so sánh gần đúng

Nghiên cứu về tìm kiếm MPB bằng phương pháp so sánh gần đúng còn rất hạn chế, đặc biệt là sự khác biệt về cấu trúc giữa MPB và các biểu diễn của nó chưa được công nhận Năm 2011, Jia et al đã phát triển thuật toán APGM để khai thác MPB từ tập hợp đồ thị lớn, đối mặt với dữ liệu có thể có sai sót nhãn Để khắc phục điều này, họ sử dụng ma trận thay thế để xác định xác suất nhãn bị gán sai Thuật toán định nghĩa hai đồ thị là đẳng cấu nếu độ tương đồng của chúng thấp hơn ngưỡng cho phép, tuy nhiên chỉ giải quyết trường hợp thay đổi nhãn ở đỉnh Năm 2012, Acosta et al đã giới thiệu thuật toán VEAM, cải tiến từ APGM, cho phép xử lý cả thay đổi ở đỉnh và cạnh Cả hai thuật toán yêu cầu các đồ thị kết hợp phải có cấu trúc liên kết tương đồng.

Vào năm 2007, Chen và các cộng sự đã giới thiệu thuật toán gApprox để tìm các MPB, có thể khác biệt với các biểu diễn về nhãn hoặc cấu trúc cạnh Các mẫu khai thác từ một đồ thị đơn được xuất dựa trên độ hỗ trợ và tính toán sự giống nhau của các đồ thị thông qua khoảng cách điều chỉnh Mặc dù vấn đề này liên quan đến hướng nghiên cứu hiện tại, tác giả không khai thác MPBCĐ.

Kiến trúc, hạ tầng của một hệ thống khai thác dữ liệu đồ thị

Dữ liệu đồ thị được sử dụng để kiểm chứng thuật toán là hình ảnh bộ xương có cấu trúc, bao gồm 36 đồ thị thể hiện bộ khung của các hình bóng thực tế.

Dữ liệu này bao gồm 9 lớp: con voi, cái nĩa, quả tim, con ngựa, ngôi sao lớn, ngôi sao, con rùa và con cá voi, với mỗi lớp chứa 4 đồ thị Trong các đồ thị này, mỗi đỉnh được gán nhãn là một bộ phận của cơ thể, trong khi nhãn của mỗi cạnh thể hiện khoảng cách giữa hai đỉnh mà chúng kết nối.

Bằng cách sử dụng thuật toán khai thác MPBCĐ trong đồ thị đơn với phương pháp so sánh gần đúng, một tập hợp các MPBCĐ sẽ được khai thác từ dữ liệu đồ thị mẫu Để xác định MPBCĐ của một đồ thị mới, ta sẽ so sánh đồ thị này với từng mẫu trong tập mẫu đã tìm được và chọn ra mẫu tương thích nhất Qua đó, quá trình phân lớp một đồ thị mới trở nên dễ dàng hơn, với lớp dự đoán của đồ thị mới là lớp của MPB tương thích nhất.

Hình 2: Tổng quan về hệ thống khai thác mẫu phổ biến cực đại

KHAI THÁC MẪU PHỔ BIẾN CỰC ĐẠI TRONG ĐỒ THỊ ĐƠN BẰNG PHƯƠNG PHÁP SO SÁNH GẦN ĐÚNG

Tổng quan

Chương này giới thiệu thuật toán khai thác MPBCĐ trong đồ thị đơn thông qua phương pháp so sánh gần đúng Đầu tiên, các khái niệm cơ bản về đồ thị sẽ được trình bày để phục vụ cho các phần tiếp theo Tiếp theo, chương sẽ mô tả hàm f(sim) gần đúng nhằm so sánh các đồ thị có cấu trúc khác nhau Thuật toán sẽ được giải thích qua chiến lược tìm kiếm để xác định những đồ thị biểu diễn khác nhau của mẫu, có thể khác nhãn hoặc cấu trúc Cuối cùng, luận văn sẽ minh họa kỹ thuật toán bằng một ví dụ nhỏ.

Khái niệm cơ bản và các ký hiệu

Trong phần này, thuật toán áp dụng một số khái niệm cơ bản về đồ thị Nghiên cứu về đồ thị đã quen thuộc với đồ thị có gán nhãn, bao gồm bốn thành phần chính là G=(V,E, £, Ψ).

V: là tập hợp các đỉnh của đồ thị

E: là tập hợp các cạnh của đồ thị E { (u,v) | u,v∈V , u≠v } £ : là một tập hữu hạn các nhãn gán cho đỉnh và cạnh của đồ thị Ψ: là một chức năng để gán các nhãn trong £ cho cách đỉnh và cạnh của đồ thị

Ký hiệu V(G), E(G), và ΨG để tham chiếu đến một tập các đỉnh, một tập các cạnh và một hàm gán nhãn cho đồ thị G

Một đồ thị H được gọi là đồ thị con của đồ thị G, được biểu diễn bằng H G, nếu V(H) V(G) , E(H) E(G) , và ∀𝑣 ∈ 𝑉(𝐻) suy ra ΨH(v) = ΨG(v)

Giả sử V’ là một tập con các đỉnh của đồ thị G Đồ thị con G’ được tạo ra từ V’ nếu V(G’) = V’ và với mọi đỉnh u, v thuộc V’, ta có (u,v) thuộc E(G’) nếu và chỉ nếu (u,v) thuộc E(G).

Thuật toán sử dụng ký hiệu để biểu diễn mối liên kết giữa một đồ thị con và một đỉnh mới Cụ thể, nếu H là một đồ thị con của G và v là một đỉnh thuộc V(G), thì Hv sẽ tạo ra đồ thị con mới của G thông qua việc kết hợp tập hợp đỉnh V(H) và đỉnh v.

Thuât toán ImaxAFG (cải tiến từ thuật toán MaxAFG)

2.3.1 Bài toán so sánh độ tương đồng

Thuật toán yêu cầu một hàm so sánh đồ thị để xác định sự tương đồng giữa các đồ thị khác nhau, bất kể cấu trúc, đỉnh hay cạnh của chúng.

Theo Xiao [21], các đơn vị đo lường khoảng cách giữa các đồ thị có thể được phân loại dựa trên giá thành, cấu trúc và chức năng Gần đây, một số đơn vị đo lường đã được phân loại dựa trên đồ thị tượng trưng thông qua các Vector, nhưng không phù hợp với nghiên cứu này Trong hai phân loại khác, đo lường dựa trên giá thành là sự kết hợp tốt với thuật toán đang nghiên cứu, trong khi một số đo lường dựa trên cấu trúc cũng tương đương với đo lường dựa trên giá thành.

Trong nghiên cứu này, thuật toán sẽ giới thiệu hàm khoảng cách chỉnh sửa của đồ thị như một phương pháp để tính toán sự tương đồng giữa các đồ thị, được ký hiệu là f_sim.

Khi so sánh hai đồ thị G1 và G2, nếu không yêu cầu quan hệ tương đồng một-một giữa các đỉnh của V(G1) và V(G2), sẽ xuất hiện hai tập hợp: RV1 chứa các đỉnh của V(G1) không tương xứng với đỉnh nào của V(G2), và RV2 chứa các đỉnh của V(G2) không tương xứng với đỉnh nào của V(G1) Nếu thiết lập một quan hệ nhị phân một-một 𝑚 ∈ 𝑉(𝐺1) × 𝑉(𝐺2), nghĩa là có sự tương xứng giữa các tập con của V(G1) và V(G2), từ đó có thể định nghĩa độ giống nhau giữa hai tập đỉnh của hai đồ thị G1 và G2.

Trong đó 𝑑 𝑣 tượng trưng cho chi phí thay thế ΨG1(v) bởi ΨG2(m(v))

Cùng chung một phương pháp phân tích như vậy, độ giống nhau giữa các cạnh của đồ thị được định nghĩa như sau:

Trong đó 𝑅 𝐸1 và 𝑅 𝐸2 là tập hợp các cạnh không tương xứng giữa hai đồ thị

Cuối cùng, độ tương đồng giữa hai đồ thị được tính toán như sau: f 𝑠𝑖𝑚 (𝐺 1 , 𝐺 2 ) = 𝑘𝑣 𝑒𝑑𝑖𝑡 + (1 − 𝑘)𝑒 𝑒𝑑𝑖𝑡

Trong đó: k là một đơn vị đo trọng lượng giữa các cạnh và đỉnh mà hệ thống có thể yêu cầu

Hàm tương đồng là yếu tố quan trọng trong KTDL đồ thị, vì nó cho phép tính toán hiệu quả trong suốt quá trình, đồng thời gia tăng các mẫu đồ thị mà không làm tăng độ phức tạp của thuật toán.

2.3.2 Phương pháp so sánh gần đúng

Thuật toán có khả năng tìm kiếm các mẫu không hoàn toàn tương thích với các biểu diễn của nó Để xác định khi nào một đồ thị con đủ giống với mẫu đồ thị đang phân tích, thuật toán sử dụng NTĐ ∆ và hàm so sánh f 𝑠𝑖𝑚.

Không gian tìm kiếm được khám phá thông qua một phương pháp tiếp cận mô hình tăng trưởng Khi có mẫu P và các sự biểu diễn tương ứng, ta thêm một đỉnh mới để tạo thành mẫu P’ mới, với P’ = P v Các sự biểu diễn của đồ thị P’ sẽ được xác định thông qua việc phân tích và phát triển các sự biểu diễn của P Chiến lược này nhằm thừa nhận sự khác biệt giữa các loại sẽ được mô tả sau đây, đặc biệt là sự khác nhãn trong đồ thị.

Bảng định nghĩa rõ các mối tương đồng giữa các nhãn sẽ giúp tăng cường mẫu thông qua việc chấp nhận một số biểu diễn mới, cho phép thay thế nhãn dựa trên thông tin tương đồng Phương pháp này có thể dẫn đến việc phát hiện các đồ thị biểu diễn mà nhãn không hoàn toàn chính xác Đồng thời, cần xem xét sự khác biệt cấu trúc giữa các đỉnh trong đồ thị để đảm bảo tính chính xác và hiệu quả trong việc phân loại.

Chấp nhận sự khác biệt về cấu trúc đỉnh giữa các đồ thị có nghĩa là một đồ thị biểu diễn của mẫu có thể có số đỉnh ít hơn hoặc nhiều hơn so với mẫu gốc Nếu một biểu diễn của P không thể phát triển thành biểu diễn của P’, thì nó sẽ được lưu vào một tập hợp các biểu diễn của P’ và được đánh dấu là ứng viên cho đồ thị có đỉnh khuyết Ngược lại, những biểu diễn có thể có nhiều đỉnh hơn mẫu của chúng sẽ được xác định bằng cách thay thế yêu cầu của một cạnh giữa các mẫu của P và một đỉnh đối xứng.

Để khám phá các đồ thị với cấu trúc cạnh khác nhau, cần chấp nhận thêm một đỉnh mới liên kết với đồ thị P, tương tự như cách mà thuật toán gApprox thực hiện.

Trong các trường hợp đã định nghĩa, cần lưu ý sự khác biệt về cấu trúc và nhãn giữa các mẫu và các biểu diễn của chúng Để định nghĩa các biểu diễn phù hợp với NTĐ ∆ và tính toán độ hỗ trợ của mẫu đồ thị, có thể sử dụng hàm f 𝑠𝑖𝑚 mà không phát sinh chi phí thêm.

2.3.3 Thuật toán ImaxAFG Để tìm ra các MPBCĐ trong đồ thị, thuật toán đề xuất ImaxAFG là sự kết hợp giữa sách lượt tìm kiến đã giới thiệu ở các phần trước, hàm so sánh tính đồng nhất f 𝑠𝑖𝑚 và sơ đồ tìm kiếm theo chiều sâu Khi tìm ra một mẫu P, khai thác từ mẫu P một danh sách các sự biểu diễn của mẫu; sau đó khi phát triển mẫu P thành P’, các sự biểu diễn của mẫu P’ sẽ được khai thác bằng cách phân tích các biểu diễn của mẫu P Mỗi lần mở rộng một sự biểu diễn, các mẫu và biểu diễn sẽ được lưu trữ và theo dõi giá trị chi phí chỉnh sửa liên quan Bằng cách mở rộng đó thuật toán sẽ dễ dàng phân tích độ tương đồng giữa P’ và bất kỳ các sự biểu diễn thông qua hàm f 𝑠𝑖𝑚 Cuối cùng, để nhận biết được các mẫu cực đại, thuật toán chỉ cần lưu lại những mẫu đồ thị mà không thể mở rộng đến một mẫu mới mà phù hợp với đồ tương đồng

Một sự thay thế nhãn tương đồng được xác định qua từ điển D, hỗ trợ tính toán cho mỗi mẫu thông qua hàm do Bringmann và Nijssen công bố Thuật toán ImaxAFG được mô tả dưới đây, dựa vào việc gọi nhiều hàm như Explore, Traverse, Expand và ExpandOccurrence.

G: Đồ thị được phân tích

𝜎: Ngưỡng tần số phổ biến

D: Từ điển tương đồng giữa các nhãn

P: tập hợp các MPBCĐ của đồ thị G

∆: Ngưỡng tương đồng v: Một đỉnh trong VG dùng để phát triển MPB

D: Từ điển dùng để định nghĩa các nhãn tương đồng

Pv: tập hợp các MPB xuất phát từ đỉnh v

𝑀 𝑣 là một danh sách các đỉnh có nhãn giống hoặc tương đồng

(được tham khảo từ bộ từ điển nhãn đã cung cấp)với nhãn của đỉnh v;

𝐶 𝑣 là một danh sách các edit cost giữa mỗi đỉnh trong M v và mẫu đồ thị;

P: MPB ứng tuyển (sử dụng để duyệt tìm mẫu)

MP: Danh sách các biểu diễn của P

CP: Danh sách các edit cost giữa P và các biểu diễn của P

Pexp: tập hợp các MPB đạt được từ việc duyệt P (phát triển mẫu P)

CP: Danh sách các edit cost giữa P và các biểu diễn của P

Vexp: Danh sách các đỉnh chưa khảo sát mà liên kết đến mẫu P

PP: tập hợp các MPB đạt được từ việc mở rộng P

CP: Danh sách các edit cost giữa P và các biểu diễn của P newVertex: Đỉnh liên kết với mẫu P

M’P: Danh sách các đồ thị biểu diễn của 𝑃 ′ = 𝑃 ∪ {𝑛𝑒𝑤𝑉𝑒𝑟𝑡𝑒𝑥} C’P: Edit cost liên quan đến mỗi đồ thị biểu diễn trong M’P

Thuật toán ImaxAFG cải tiến thực hiện khảo sát đồ thị G chỉ tại một đỉnh v duy nhất, sử dụng hàm Explore để mở rộng MPB từ đỉnh này Sau khi khảo sát thành công, đỉnh v sẽ được đánh dấu và kết hợp các mẫu tìm được với những mẫu đã khảo sát trước đó, chỉ giữ lại các mẫu cực đại.

Việc khảo sát các mẫu cực đại được thực hiện thông qua việc phát triển đỉnh v bằng cách gọi đệ quy đến hàm Traverse và Expand Trong quá trình này, hàm Expand gán nhãn unexplored cho đỉnh vexp liên kết đến mẫu đã chỉ định, đồng thời thực hiện tìm kiếm theo chiều sâu để phát hiện các mẫu bắt nguồn từ P vexp Hàm Expand chỉ lưu trữ những MPB khi chúng không thể phát triển thêm được nữa.

Bài toán tìm mẫu phổ biến cực đại trong đồ thị đơn sử dụng phương pháp so sánh gần đúng

so sánh gần đúng Đồ thị dùng để phân tích thuật toán:

Ký hiệu “x/y”: x là đỉnh, y là nhãn của đỉnh x

Các cạnh của đồ thị: [(0,1),(0,2),(2,3),(3,4),(2,5),(5,6)]

Duyệt từng đỉnh của đồ thị để tìm MPBCĐ với ngưỡng phổ biến δ= 3 và ∆ = 2

I Khảo sát từ đỉnh: [0] có nhãn là A

Tất cả các đỉnh có cùng nhãn với đỉnh [0]: Mp = {[2]}

Số lượng phần tử của tập Mp: len(Mp) = 1

Vì len(Mp) < δ-1 => Dừng việc khảo sát

II Khảo sát từ đỉnh: [1] có nhãn là C

Tất cả các đỉnh có cùng nhãn với đỉnh [1]: Mp = {[4], [6]}

Số lượng phần tử của Mp: len(Mp) = 2

Vì len(Mp) = δ-1 => Mở rộng đồ thị từ đỉnh [1] để tìm mẫu cực đại

Hình 3: Đồ thị đơn có gắn nhãn

Các đỉnh nối với mẫu P

Biểu diễn của mẫu P Các mẫu biểu diễn có độ khác biệt không quá

∆ = 2 Tạm lưu mẫu P là mẫu cực đại

Tìm các đỉnh nối với mẫu P mà chưa duyệt qua

Mở rộng mẫu P từ những đỉnh nối để tìm tất cả các mẫu có độ support > δ

Tạm lưu các mẫu mở rộng ở bước

Mở rộng mẫu P từ những đỉnh nối để tìm tất cả các mẫu có độ support >= δ

Support = 2 < δ => Dừng mở rộng mẫu

Vì độ Support < δ nên dừng việc khảo sát Kết hợp các mẫu cực đại đã tìm được

Bảng 1: Mở rộng đỉnh 1/C tìm mẫu phổ biến

Gán nhãn đã duyệt cho đỉnh [1]

III Khảo sát từ đỉnh: [2] có nhãn là A

IV Khảo sát từ đỉnh: [3] có nhãn là B

V Khảo sát từ đỉnh: [4] có nhãn là C

Các đỉnh nối với mẫu P mà chưa được duyệt

Tạm lưu mẫu P là mẫu cực đại

Tạm lưu các mẫu mở rộng ở bước trên là mẫu cực đại

Support = 2 < δ : Dừng việc mở rộng mẫu

Vì độ support của tất cả các mẫu mở rộng đều nhỏ hơn δ nên dừng việc mở rộng

Hợp các mẫu cực đại tìm được

VI Khảo sát từ đỉnh: [5] có nhãn là B

VII Khảo sát từ đỉnh: [6] có nhãn là C

Các đỉnh nối với mẫu P mà chưa được duyệt

Tạm lưu mẫu P là mẫu cực đại

Support = 2 < δ : Dừng việc mở rộng mẫu

Vì độ support của tất cả các mẫu mở rộng đều nhỏ hơn δ nên dừng việc mở rộng

Hợp các mẫu cực đại tìm được

Tóm tắt kết quả khảo sát 6 đỉnh của đồ thị: Đỉnh Đồ thị phổ biến cực đại

Bảng 4: Tóm tắt quá trình mở rộng tìm mẫu phổ biến

Cuối cùng duyệt qua tất cả các MPBCĐ, chỉ chọn những mẫu tối ưu và lưu vào tập P:

Mẫu #1: Chọn mẫu #1 vào tập P vì mẫu này không phải là đồ thị con của bất kỳ mẫu nào trong P

Mẫu #2: Chọn mẫu #2 vào tập P vì mẫu này không phải là đồ thị con của bất kỳ mẫu nào trong P

Mẫu #3: Không chọn mẫu #3 vào tập P vì mẫu này là đồ thị con của mẫu #2 trong P P= [Mẫu #1, Mẫu #2]

Có 2 MPBCĐ khi khảo sát đồ thị trên là:

Hình 4: Mẫu phổ biến cực đại của đồ thị ví dụ

KẾT QUẢ THỰC NGHIỆM VÀ HƯỚNG PHÁT TRIỂN

Giới thiệu

Dữ liệu đồ thị SIS, bao gồm 36 đồ thị, được sử dụng để kiểm tra tính đúng của thuật toán, với mỗi đồ thị là một hình khung tượng trưng cho bóng của hình ảnh thực Các hình khung được tính toán ở hai trạng thái: bán tự động và điều chỉnh bằng tay Cơ sở dữ liệu này được chia thành 9 lớp: con voi, cái nĩa, trái tim, con ngựa, con người, ngôi sao lớn, ngôi sao trung bình, con rùa và cá voi, mỗi lớp có 4 đồ thị Trong dữ liệu, các đỉnh được gắn nhãn là bộ phận của vật thể, trong khi các cạnh gắn nhãn khoảng cách giữa các đỉnh liên kết Tập hợp này bao gồm 13 nhãn cho đỉnh và 211 nhãn cho cạnh.

Kết quả thực nghiệm thuật toán ImaxAFG dựa vào kỹ thuật kiểm tra ”k-fold

Luận văn này áp dụng phương pháp “4-fold cross validation” để phân chia dữ liệu thành 4 lớp khác nhau, từ đó tạo ra tập học và tập kiểm tra hiệu quả.

Phương pháp “4-fold cross validation” là một kỹ thuật thông thường để đánh giá hiệu quả của việc phân lớp

Trong mỗi trường hợp tìm kiếm MPB của tập học, sử dụng NTS σ = 2 và NTĐ

Giá trị ngưỡng tầng số σ là NTS nhỏ nhất cho phép người dùng tìm kiếm các mẫu khác nhau từ đồ thị NTĐ ∆ chấp nhận sự khác biệt về cấu trúc đỉnh lên đến 3 đỉnh, tương đương với một nửa số lượng đỉnh trung bình trong đồ thị của tập dữ liệu.

1 Sắp xếp thứ tự ngẫu nhiên cho tập dữ liệu học:

Ký hiệu chi tiết của đồ thị:

“t # n c” – t: viết tắt của “tree” là ký hiệu bắt đầu 1 đồ thị, n: là số thứ tự bắt đầu từ 0, c: là lớp của đồ thị

“v i j” – v: viết tắt của “vertex” là đỉnh của đồ thị, i: tên của đỉnh, j: là nhãn của đỉnh

“e x y d” – e: viết tắt của “edge” là cạnh của đồ thị, x,y: là hai đỉnh của cạnh, d: là nhãn của cạnh và cũng là khoảng cách giữa hai đỉnh

Thị Chi tiết Lớp Đồ Thị Chi tiết Lớp Đồ Thị Chi tiết

Bảng 5: Cơ sở dữ liệu đồ thị SIS

2 Chia tập dữ liệu học ra thành 4 nhóm khác nhau:

Nhóm Lớp Đồ Thị Chi tiết

Bảng 6: Cơ sở dữ liệu đồ thị SIS đã phân nhóm ngẫu nhiên

3 Duyệt từng nhóm để tính độ hiệu quả a Duyệt nhóm 1:

- Tập dữ liệu huấn luyện gồm tất cả các đồ thị trong nhóm 2, 3, 4

- Tập dữ liệu kiểm tra gồm tất cả các đồ thị trong nhóm 1

- Huấn luyện sự phân lớp sử dụng tất cả đồ thị trong tập dữ liệu huấn luyện

Sử dụng thuật toán để tìm tất cả các MPBCĐ của các đồ thị trong tập dữ liệu huấn luyện: Đồ Thị Đồ thị phổ biến cực đại

Bảng 7: Mẫu phổ biến của tập huấn luyện nhóm 2, 3, 4

Loại trừ các MPBCĐ mà xuất hiện trong nhiều hơn 1 lớp:

Nhóm Lớp Đồ Thị Mẫu Phổ Biến cực đại Loại

Bảng 8: Loại trừ các mẫu xuất hiện nhiều hơn một lần trong nhóm 2, 3, 4

Rút gọn, sắp xếp MPBCĐ tìm được để tạo ra một tập tối ưu các MPBCĐ:

Mẫu Đồ thị Đồ thị phổ biến cực đại Mẫu phổ biến cực đại

Bảng 9: Mẫu phổ biến cực đại tối ưu của nhóm 2, 3, 4

Để dự đoán MPBCĐ cho từng đồ thị trong dữ liệu kiểm tra (nhóm 1), cần tính toán độ khác nhau giữa từng đồ thị và các MPBCĐ đã tìm được trong tập huấn luyện Dự đoán MPBCĐ tương ứng sẽ được thực hiện bằng cách so sánh độ khác nhau với ngưỡng tối đa cho phép (NTĐ) là ∆ = 6, với điều kiện độ khác nhau phải nhỏ hơn hoặc bằng NTĐ ∆.

Bảng 10: Độ tương đồng các đồ thị nhóm 1 và các mẫu của nhóm 2, 3, 4

- Tính toán độ sai lệch n1, là số lượng đồ thị trong nhóm 1 bị phân loại Sai Đồ Thị Nhóm 1 Lớp Lớp Dự Đoán Kết Quả

Bảng 11: Kết quả phân lớp các đồ thị nhóm 1

Kết luận: Vậy độ sai lệch trong nhóm 1 là n 1 =2 b Duyệt nhóm 2:

- Tập dữ liệu huấn luyện gồm tất tất cả các đồ thị trong nhóm 1, 3, 4

Sẽ sử dụng thuật toán để tìm tất cả các MPBCĐ của các đồ thị trong tập dữ liệu huấn luyện: Đồ Thị Đồ thị phổ biến cực đại

Mẫu Đồ thị Đồ Thị Phổ Biến Cực Đại Mẫu Phổ Biến Cực Đại

Để dự đoán MPBCĐ cho từng đồ thị trong dữ liệu kiểm tra, cần tính toán độ khác nhau giữa từng đồ thị và các MPBCĐ đã tìm được trong tập huấn luyện Việc này được thực hiện bằng cách so sánh độ khác nhau với ngưỡng tối đa cho phép (NTĐ) là ∆ = 6, đảm bảo rằng độ khác nhau phải nhỏ hơn hoặc bằng NTĐ ∆.

Kết luận: Vậy độ sai lệch trong nhóm 2 là n 2 =2 c Duyệt nhóm 3:

Mẫu Đồ Thị Đồ thị phổ biến cực đại

Mẫu Phổ Biến cực đại

Tính toán sự khác biệt giữa các đồ thị trong dữ liệu kiểm tra (nhóm 3) và từng MPBCĐ trong tập huấn luyện Dựa vào sự so sánh này, dự đoán MPBCĐ phù hợp cho mỗi đồ thị trong dữ liệu kiểm tra, yêu cầu độ khác biệt nhỏ hơn hoặc bằng ngưỡng NTĐ (∆ = 6).

Kết luận: Vậy độ sai lệch trong nhóm 3 là n 3 =2 d Duyệt nhóm 4:

Nhóm Lớp Đồ Thị Mẫu Phổ Biến cực đại Loai

Mẫu Đồ Thị Đồ thị phổ biến cực đại

Mẫu Phổ Biến cực đại

Để dự đoán MPBCĐ cho từng đồ thị trong dữ liệu kiểm tra (nhóm 4), cần tính toán độ khác nhau giữa các đồ thị và từng MPBCĐ đã tìm được trong tập huấn luyện Sau đó, so sánh độ khác nhau này với ngưỡng tối đa cho phép (NTĐ) là ∆ = 6, yêu cầu độ khác nhau phải nhỏ hơn hoặc bằng NTĐ ∆.

Kết luận: Vậy độ sai lệch trong nhóm 4 là n 4 =2

4 Đánh giá tính hiệu quả của thuật toán:

Xác xuất sai lệch (E) của sự phân lớp trên là:

𝑚 Trong đó: m – Số lượng đồ thị sử dụng m6

Vậy tính hiệu quả của thuật toán sẽ là:

So sánh kết quả ImaxAFG và MaxAFG

Dựa trên quy trình "k-fold cross validation" với k = 4 cho dữ liệu đồ thị SIS, được chia thành 4 lớp và sử dụng NTS σ = 2 cùng NTĐ ∆ = 6, độ chính xác phân loại trung bình đạt 77,78% khi áp dụng thuật toán ImaxAFG.

Quy trình kiếm chứng "k-fold cross validation" với bộ dữ liệu SIS cho thấy độ chính xác phân loại trung bình đạt 69,44% khi áp dụng thuật toán MaxAFG với các chỉ số k = 4, NTS σ = 2, NTĐ ∆ = 6 Ngược lại, khi sử dụng thuật toán không có phương pháp so sánh gần đúng gAppox, độ chính xác chỉ đạt 66,6%.

Thuật toán ImaxAFG, so với các thuật toán không sử dụng phương pháp so sánh gần đúng, cho thấy độ chính xác phân lớp tốt hơn.

Kết luận và hướng phát triển

Bài luận này giới thiệu thuật toán ImaxAFG, một phương pháp khai thác mẫu đồ thị cực đại (MPBCĐ) trong đồ thị đơn thông qua so sánh gần đúng Thuật toán này nhận diện sự khác biệt về cấu trúc giữa các đỉnh và cạnh của đồ thị, từ đó phát hiện các MPB còn sót lại mà các thuật toán không áp dụng so sánh gần đúng không thể tìm ra Bên cạnh đó, việc tập trung vào khai thác mẫu đồ thị cực đại giúp giảm thiểu đáng kể số lượng mẫu, điều này rất quan trọng vì phương pháp so sánh gần đúng có thể tăng số lượng MPB tìm được lên đến 100 lần so với các thuật toán không sử dụng phương pháp này.

Kết quả thí nghiệm cho thấy các MPBCĐ do thuật toán ImaxAFG phát hiện rất hữu ích trong nhiều ứng dụng, đặc biệt trong phân lớp đồ thị Điều này cho thấy rằng mẫu đồ thị phổ biến cực đại được khai thác qua phương pháp so sánh gần đúng có thể cung cấp thông tin quan trọng, mà có thể bị bỏ lỡ khi áp dụng phương pháp so sánh chính xác tuyệt đối.

Một hạn chế của thuật toán là thời gian yêu cầu và sự phức tạp gia tăng do gọi đệ quy Đây là thách thức chung trong khai thác đồ thị và là hướng nghiên cứu quan trọng cho tương lai Nghiên cứu cải thiện hiệu quả khai thác các MPB với dữ liệu đầu vào lớn hơn sẽ đóng vai trò quan trọng trong việc phát triển tri thức hữu dụng qua MPB gần đúng.

Một hướng nghiên cứu tiềm năng trong tương lai là phát triển phương pháp giảm số lượng mẫu đồ thị mà vẫn đảm bảo thông tin thu được thông qua so sánh gần đúng Điều này bao gồm việc áp dụng các hàm khác nhau để tính toán độ tương đồng giữa các đồ thị và áp dụng thuật toán đã được công bố cho những trường hợp cụ thể như đồ thị động.

Tiêu đề	Khai Thác Mẫu Phổ Biến Cực Đại Trong Đồ Thị Đơn Bằng Phương Pháp So Sánh Gần Đúng
Tác giả	Nguyễn Thanh Tài
Người hướng dẫn	PGS. TS. Lê Hoài Bắc
Trường học	Trường Đại Học Công Nghệ TP. HCM
Chuyên ngành	Công Nghệ Thông Tin
Thể loại	Luận Văn Thạc Sĩ
Năm xuất bản	2016
Thành phố	TP. HỒ CHÍ MINH

Định dạng
Số trang	79
Dung lượng	1,48 MB