Kiểm tra độ khác biệt của logo dùng kỹ thuật so khớp ảnh

Các đặc điểm cơ bản khi phân biệt đối tượng Để phân biệt hai đối tượng với nhau trên ảnh các thuộc tính cơ bản nhất của hai đối tượng cần so sánh là: Hình dạng, màu sắc và kết cấu bề mặ

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS Phạm Đức Long

Thái Nguyên năm 2020

LỜI CAM ĐOAN

Tên tôi là: Lục Thị Thanh Huệ

Sinh ngày: 26/12/1984

Là em lớp cao học CHK17A - Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên

Hiện đang công tác tại: Trường THPT Định Hóa - tỉnh Thái Nguyên

Tôi xin cam đoan: Đề tài “Kiểm tra độ khác biệt của logo dùng kỹ thuật so khớp ảnh” do TS Phạm Đức Long hướng dẫn là công trình nghiên cứu của riêng

tôi Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng

Tôi xin cam đoan tất cả những nội dung trong luận văn đúng như nội dung trong đề cương và yêu cầu của thầy giáo hướng dẫn Nếu sai tôi hoàn toàn chịu trách nhiệm trước hội đồng khoa học và trước pháp luật

Thái Nguyên, ngày 18 tháng 09 năm 2020

Tác giả luận văn

Lục Thị Thanh Huệ

Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp và gia đình đã động viên, khích lệ, tạo điều kiện giúp đỡ tôi trong suốt quá trình học tập, thực hiện và hoàn thành luận văn này

Thái Nguyên, ngày 18 tháng 9 năm 2020

Tác giả luận văn

Lục Thị Thanh Huệ

MỤC LỤC

Trang

Lời cam đoan i

Lời cảm ơn ii

Mục lục iii

Danh mục các bảng iv

Danh mục các hình v

Danh mục các từ viết tắt vi

MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Mục tiêu 1

3 Đối tượng và phạm vi nghiên cứu 1

4 Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu 2

5 Phương pháp nghiên cứu 2

CHƯƠNG 1 NHU CẦU SO KHỚP LOGO QUA ẢNH 3

1.1 Các nhu cầu trong thực tế 3

1.1.1 Logo và tầm quan trọng của chúng 3

1.1.2 Bắt chước thiết kế 6

1.1.3 Luật bảo hộ bản quyền 7

1.2 So khớp qua ảnh 9

1.3 Các đặc điểm cơ bản khi phân biệt đối tượng 10

KẾT LUẬN CHƯƠNG 1 11

CHƯƠNG 2 MỘT SỐ KỸ THUẬT SO KHỚP QUA ẢNH HIỆN NAY 12 2.1 So sánh sự tương xứng về hình dạng 12

2.1.1 Dùng khoảng cách Hausdorff 12

2.1.2 Dùng phương pháp Shape Context 14

2.1.3 Dùng phương pháp Inner Distance 26

2.2 Sử dụng phương pháp phân cấp 31

2.3 Sử dụng học máy (Machine Learning) 33

2.3.1 Những lĩnh vực nghiên cứu quan trọng trong Học máy 33

2.3.2 Liên quan học máy với khai thác dữ liệu và trí tuệ nhân tạo 34

2.3.3 Phân loại các thuật toán học máy 35

2.3.4 So sánh ba thuật toán học máy quan trọng 37

2.4 So sánh các phương pháp 37

2.5 So sánh màu sắc 39

2.6 So sánh kết cấu bề mặt 44

KẾT LUẬN CHƯƠNG 2 47

CHƯƠNG 3 ĐÁNH GIÁ THỰC NGHIỆM 48

3.1 Thực nghiệm so khớp với một số ảnh cũ 48

3.2 Thực nghiệm so sánh với ba thuộc tính 50

3.3 Nhận xét và đánh giá 53

KẾT LUẬN CHƯƠNG 3 53

KẾT LUẬN 54

HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 54

TÀI LIỆU THAM KHẢO 55 PHỤ LỤC

DANH SÁCH CÁC BẢNG

Trang Bảng 1.1 Bốn dạng nhãn hiệu truyền thống được bảo hộ ở Việt Nam

4

Bảng 2.1 Dữ liệu tuổi

17

Bảng 2.2 Thông tin của mẫu dữ liệu

18

Bảng 2.3 So sánh Gaussian NB, SVM and Decision Tree 37

Bảng 2.4 Đặc điểm các phương pháp so khớp đối tượng qua ảnh

37

Bảng 2.5 Tính tham số kết cấu của bốn ảnh

47

Bảng 3.1 Kết quả thực nghiệm so sánh hình dáng và màu 6 cặp ảnh

51

Bảng 3.2 So sánh kết cấu bề mặt

52

DANH SÁCH CÁC HÌNH

Trang

logo

6

Hình 1.2 Làm nhái logo

6

Hình 1.3 Logo của một số thương hiệu trong số 50 thương hiệu nổi tiếng Việt Nam

2019.

7

Hình 1.4 Ý tưởng bị làm “nhái”

8

Hình 1.5 Ví dụ tranh chấp bản quyền:

8

Hình 1.6 Nhái logo của Toyota

8

Hình 1.7 Ví dụ tranh chấp logo

8

Hình 1.8 Doanh nghiệp thành lập mới từ 2012 đến 2019 9

Hình 1.9 So sánh các hình với ba thuộc tính hình dáng, màu và kết cấu bề mặt 10

Hình 2.1 Khoảng cách Hausdorff giữa 2 tập hợp A và B

12

Hình 2.2 Thực hiện truy vấn trên tập dữ liệu ETH-80

14

Hình 2.3 Truy vấn trên tập dữ liệu Kimia

15

Hình 2.4 So khớp mẫu cột trái và độ giống nhau

15

Hình 2.5 Histogram của một ảnh xám

16

Hình 2.6 Một đồ thị dạng histogram độ tuổi và tần suất

16

Hình 2.7 Các bin của histogram quá nhỏ a) hoặc quá lớn b)

18

Hình 2.8 Một ảnh a) và b) histogram của nó

19

Hình 2.9 Biểu diễn Histogram trong tọa độ cực 12 bins

20

Hình 2.10 Ví dụ shape context

21

Hình 2.11 Affine

24

Hình 2.12 Ba đối tượng và inner distance

28

Hình 2.13 Khoảng cách trắc địa trên các hình dạng 2D

28

Hình 2.14 Định nghĩa khoảng cách bên trong

29

Hình 2.15 Tính toán khoảng cách bên trong

30

Hình 2.16 Một cây hình dạng

32

Hình 2.17 Các ảnh màu so sánh với ảnh sucsac

40

Hình 2.18 Một số kết cấu bề mặt

45

Hình 3.1 Ảnh của hai hình cá được so

sánh

48

Hình 3.2 So sánh đặc điểm hai ảnh trên hình 3.1 bằng shape context

49

Hình 3.3 So sánh hai ký tự

49

DANH SÁCH CÁC CHỮ VIẾT TẮT

WIPO - World Intellectual Property Organization Tổ chức Sở hữu Trí tuệ Thế giới

suy dữ liệu và làm mịn

IEEE - Institute of Electrical and Electronics Engineers

Viện kỹ nghệ Điện Điện tử

MỞ ĐẦU

1 Lý do chọn đề tài

Trong nhiệm vụ phân tích ảnh thì việc so sánh đối tượng qua ảnh là một vấn đề

có ý nghĩa học thuật cao và có ý nghĩa ứng dụng vô cùng quan trọng Trong khoa học hình sự các chương trình nhận dạng khuôn mặt, nhận dạng vân tay, tròng mắt đã giúp cho quá trình tìm kiếm, phát hiện truy bắt tội phạm nhanh chóng kịp thời Trong y học những chương trình nhận dạng chuỗi ADN, chẩn đoán bệnh qua ảnh… Trong công nghiệp phát hiện lỗi sản phẩm trên dây chuyền sản xuất, …và nhiều lĩnh vực khác trong thực tế đều có nhu cầu so sánh đối tượng qua ảnh

Các kỹ thuật so khớp ảnh có rất nhiều loại với những ưu nhược điểm khác nhau

về độ chính xác, tốc độ thực hiện Trong luận văn này em trình bày các kết quả nghiên cứu về so khớp các đối tượng qua ảnh màu 2D Cụ thể là so khớp các logo về hình dáng, màu sắc và họa tiết trên logo (không có phân biệt nội dung ký tự) Chương trình thực nghiệm được thực hiên bằng ngôn ngữ lập trình MATLAB với một số ảnh logo thực

2 Mục tiêu

Mục tiêu của luận văn là nghiên cứu xây dựng thuật toán so khớp ảnh để kiểm tra độ khác biệt của Logo Từ đó tiến hành xây dựng mô hình thực nghiệm kiểm tra

độ khác biệt của Logo trên phần mềm Matlab

3 Đối tượng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu:

- Các đặc điểm phân biệt đối tượng

- Lý thuyết so khớp (sharp matching)

- Các phương pháp so khớp ảnh

3.2 Phạm vi nghiên cứu:

- Phân biệt các nhóm đối tượng đã tách rời (không lẫn trong ảnh)

- So sánh sự khác nhau về hình dáng, màu, kết cấu bề mặt

4 Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu

Luận văn hệ thống hóa kiến thức về lý thuyết so khớp đối tượng qua ảnh Đây là một lĩnh vực đã và đang thu hút nhiều sự quan tâm của các nhà khoa học Luận văn thực hiện xây dựng một ứng dụng kiểm tra độ khác biệt logo qua ảnh có tiềm năng cao ứng

dụng trong thực tế

5 Phương pháp nghiên cứu

- Nghiên cứu lý thuyết

- Thực nghiệm kiểm chứng

CHƯƠNG 1 NHU CẦU SO KHỚP LOGO QUA ẢNH

1.1 Các nhu cầu trong thực tế

Những chiếc máy ảnh đầu tiên của loài người đã được định hình từ thế kỷ 11 Tuy nhiên những chiếc máy ảnh thương phẩm mãi mới xuất hiện vào năm 1888 sản phẩm của hãng Eastman Dry Play and Film Ảnh số được chụp đầu tiên vào tháng 12 năm 1975 bằng máy của hãng East man Kodak Từ đó tới nay máy ảnh chiếm một vai trò quan trọng trong cuộc sống con người Ảnh được chụp trong mọi lĩnh vực từ sinh hoạt bình thường đến sản xuất, nghiên cứu, nghệ thuật,… và cả bên ngoài trái đất Ảnh được chụp trên trái đất và cả từ ngoài trái đất qua các máy ảnh đặt trên vệ tinh, trên tàu vũ trụ Một thiết bị nữa mà khi có mặt nó đã làm thay đổi hoàn toàn mọi mặt hoạt động của con người đó là máy tính điện tử Từ chiếc máy tính ENIAC (Electronic Numerical Integrator and Computer) chạy đèn điện tử xuất hiện lần đầu tiên 1946 đến nay đã là các máy tính đa lõi có xung nhịp làm việc tới 5 tỷ Hz Máy

tính và camera cùng với các phần mềm đã tạo ra lĩnh vực thị giác máy tính computer vision mà lĩnh vực liên quan với nó là trí tuệ nhân tạo đang ngày càng thay thế con

người trong hoạt động mà trước đây chỉ làm thủ công bằng tay, bằng mắt Một trong những hoạt động đó là nhận diện, so khớp tự động các đối tượng qua ảnh như nhận diện khuôn mặt, nhận diện tròng mắt, vân tay, … và nhận diện so khớp logo trong lĩnh vực bảo hộ sáng chế và bản quyền [Luật sở hữu trí tuệ Việt Nam]

1.1.1 Logo và tầm quan trọng của chúng:

Thương hiệu và nhãn hiệu [1]:

Thương hiệu (brands) theo định nghĩa của Tổ chức sở hữu trí tuệ thế giới

(WIPO): là một dấu hiệu (hữu hình và vô hình) đặc biệt để nhận biết một sản phẩm hàng hoá hay một dịch vụ nào đó được sản xuất hay được cung cấp bởi một cá nhân hay một tổ chức thương hiệu là nói đến hình tượng về hàng hóa trong tâm trí người tiêu dùng Chẳng hạn khi nói tới điện thoại Nokia, người dùng sẽ hình dung ra một

sản phẩm bền, điện thoại Iphone thì “sang chảnh”,…Thương hiệu thì tồn tại dài lâu hơn nhãn hiệu (nhãn hiệu có thể thay đổi từng thời gian)

Nhãn hiệu (marks) theo định nghĩa tại Khoản 16 Điều 4 Luật Sở hữu trí tuệ

sửa đổi 2009 là dấu hiệu dùng để phân biệt hàng hoá, dịch vụ của các tổ chức, cá nhân khác nhau Với ví dụ trên: Nhãn hiệu của thương hiệu Nokia là một thuộc tính cụ thể;

là dòng ký tự “Nokia”

Tại Việt Nam trên phương diện pháp lý, Luật Sở hữu trí tuệ Việt Nam chưa có định nghĩa về thương hiệu mà chỉ đưa ra định nghĩa về nhãn hiệu, do đó chỉ có nhãn hiệu mới là đối tượng được bảo hộ quyền sở hữu trí tuệ tại Việt Nam Một doanh nghiệp cạnh tranh chỉ có thể “nhái” được nhãn hiệu Vì chỉ có nhãn hiệu là đối tượng của Luật Sở hữu trí tuệ Việt Nam nên nhãn hiệu được các cơ quan quản lý Nhà nước công nhận và bảo hộ còn thương hiệu là kết quả phấn đấu lâu dài của doanh nghiệp

và người tiêu dùng chính là người công nhận Có thể nói nhãn hiệu (phần xác) là một

sự thể hiện của thương hiệu (phần hồn) Doanh nghiệp chỉ có một thương hiệu nhưng

có thể có nhiều nhãn hiệu (ví dụ như thương hiệu Honda có những nhãn hiệu Dream, Air Blade, Vision…)

Bảng 1.1 Bốn dạng nhãn hiệu truyền thống được bảo hộ ở Việt Nam [1]

kết hợp hình và chữ

Dấu hiệu chỉ có hình

Dấu hiệu là cụm từ (slogan, tagline)

(a) Điều kiện 1: Dấu hiệu xin đăng ký nhãn hiệu phải có khả năng tự phân

biệt (inherent distinctiveness), nghĩa là nó không được mô tả chức năng, công dụng,

thành phần, tính chất hoặc các thuộc tính khác của hàng hóa, dịch vụ; và

(b) Điều kiện 2: Dấu hiệu xin đăng ký nhãn hiệu phải không xung đột với nhãn hiệu

có trước của người khác, nghĩa nó không được trùng hoặc tương tự tới mức có thể gây nhầm lẫn với nhãn hiệu có trước đó

 Logo [3 ], [4 ]

Logo là biểu tượng phân biệt sự khác nhau của một mẫu hoặc một thương hiệu khác Logo thường được sử dụng trên áp phích, quảng cáo, tòa nhà, bảng hiệu và màn hình ngoài trời cho Công ty, tập đoàn mà nó đại diện Chúng được dùng để nhớ lại một thương hiệu nào đó trong tâm trí của người tiêu dùng và thường dễ nhận ra Logo được dùng như một phương tiện nhận dạng đặc biệt quan trọng, cũng như là một trong những miêu tả quan trọng nhất về lời nói và hình ảnh chiến lược của một công

ty Chúng là trung gian truyền thông giữa công ty và công ty với người tiêu dùng - những người quyết định cho thành công tài chính của doanh nghiệp Một logo khác với một thương hiệu ở chỗ là thương hiệu là đại diện duy vật của một sản phẩm Một logo có ý nghĩa lớn hơn; nó là một biểu tượng đồ họa đại diện cho các giá trị đích thực của một tập đoàn

Logo cũng giúp tạo điều kiện nhận diện thương hiệu và lòng trung thành của người tiêu dùng, điều này cuối cùng dẫn đến phát triển tài sản thương hiệu Do đó, mỗi công ty thường dành rất nhiều tiền và thời gian để xây dựng, quảng bá Logo Nguồn gốc từ Hy Lạp:

- “Logo” bắt nguồn từ từ “ lógos trong tiếng Hy Lạp và công ty thiết kế brochure chuyên nghiệp có nghĩa là “khẩu hiệu”, mà từ ngữ được dùng ngày nay là “logotype”

có nghĩa là ”rất nhiều mẫu tự được diễn tả trên một miếng ghép”

- Những hình tượng trong văn hóa Hy Lạp có sức ảnh hưởng lớn đến nghệ thuật thiết

kế logo đương đại

- Người Hy Lạp xưa dùng logo như một loại mật mã để truyền đi những thông điệp

bí mật từ vua hoặc các nhà cầm quyền Logo xuất hiện trên đồng tiền Hy Lạp và La

Mã cổ đại cũng có những hình tượng đan xen nhau công ty thiết kế poster hà nội của từng lớp thống trị Những hình tượng đó chúng ta ngày nay gọi với từ “Logo” và

dùng như tên để gọi thương hiệu Điều này cũng bắt nguồn từ thế kỷ XIII của thời đại buôn bán Logo thời kỳ này được phát triển phục vụ các lái buôn, dấu vết logo được tìm thấy trong các ngành nông nghiệp, kim hoàn, làm giấy và một số loại hình khác nữa Đến thế kỷ XVII, mỗi lái buôn, thương nhân đều đã có tên thương hiệu thiết kế logo của riêng mình Và tất nhiên, buôn bán và nông nghiệp là ngành hàng đầu tiên sở hữu logo Một số ví dụ Logo nổi tiếng trong hình …

Hình 1.1 Một số logo a) Aple; b) IBM;

c) Mecedes Benz; d) Michigan State University Trong giai đoạn hiện nay Logo càng có ý nghĩa và tầm quan trọng đặc biệt

“SQNY” nhái “SONY”…hay trong logo một số nhái như trong hình 1.2

Hình 1.2 Làm nhái logo

1.1.3 Luật bảo hộ bản quyền

Mất nhãn hiệu là mất thị trường Chính vì lý do đó mà vấn đề bảo hộ bản quyền thương hiệu, nhãn hiệu đã được quan tâm trên thế giới và tại Việt Nam

 Thế giới

Nhận diện thương mại” (trade dress), là một thuật ngữ pháp lý thường nói đến các đặc điểm về hình thức trực quan của sản phẩm hoặc bao bì của sản phẩm biểu thị nguồn gốc của sản phẩm cho người tiêu dùng Liên quan đến thuật ngữ này, có một

vụ kiện khá nổi tiếng giữa Công ty Two Pesos và Công ty Taco Cabana

Forbes Việt Nam vừa công bố danh sách 50 thương hiệu dẫn đầu năm 2019

Hình 1.3 Logo của một số thương hiệu trong số 50 thương hiệu nổi tiếng

Việt Năm 2019 Trong giai đoạn kinh tế thị trường phát triển tại Việt Nam rất nhiều những vấn

đề mà những nước phát triển đã gặp lại đang gặp tại Việt Nam Vấn đề hàng giả, hàng nhái mẫu mã, logo Những thương hiệu, logo của các Công ty, sản phẩm bị làm giả làm nhái tinh vi một cách cố tình Một số ví dụ trong nước và quốc tế về tranh chấp thương hiệu, logo:

Chuỗi nhượng quyền cà phê nổi tiếng và thành công nhất Việt Nam - Cộng

Cà phê, bị Cà phê C 1989 “nhái” ý tưởng thiết kế và bài trí trong quán gây nhầm

lẫn cho khách hàng

Hình 1.4 Ý tưởng bị làm “nhái”

Hình 1.5 Ví dụ tranh chấp bản quyền: Công ty dịch vụ tài chính Finco Services tại bang Delaware đã khởi kiện Facebook vì ăn cắp bản quyền logo dấu ngã

xoáy cho dự án tiền ảo Libra tại một tòa án ở New York

Hình 1.6 Nhái logo của Toyota

Hình 1.7 Ví dụ tranh chấp logo: Nhãn hiệu quần áo Trung Quốc KON kiện Apple cho rằng Apple sử dụng logo tương tự logo của KON để thay thế cho

logo mới của App Store

 Luật pháp và sự khó khăn khi xác nhận quyền thương hiệu

Luật đã có: Luật chất lượng sản phẩm hàng hóa (21/11/2007), Luật thương mại (14/602005), Luật Bảo vệ quyền lợi người tiêu dùng (30/11/2010) và Nghị định

dưới luật đã có (Nghị định về nhãn hàng hóa 43/2017/NĐ-CP) nhưng với mỗi trường

hợp cụ thể nhiều khi chưa định lượng được sự khác nhau/giống nhau về nhãn hiệu

hoặc logo Hiện nay Việt Nam đã gia nhập Thỏa ước La-hay về đăng ký quốc tế kiểu

dáng công nghiệp Để có thể giữ được quyền lợi cho doanh nghiệp, cho Việt Nam ngoài các thể chế còn cần các công cụ mạnh hỗ trợ So khớp phát hiện trùng logo qua

xử lý ảnh là một trong các công cụ đó

1.2 So khớp qua ảnh [5 ]

Theo trang https://bizlive.vn/doanh-nghiep Báo cáo của Hiệp hội Doanh nghiệp Đầu tư nước ngoài Từ 2012 đến 2019 Việt Nam có 1.5 triệu doanh nghiệp

được thành lập Chỉ riêng trong 8 tháng đầu năm 2019, tổng số doanh nghiệp đăng ký

thành lập mới và quay trở lại hoạt động đạt gần 116.000 doanh nghiệp-trung bình mỗi ngày 483 doanh nghiệp Đó mới là ở Việt Nam con trên thế giới thì con số đó chắc

chắn là vô cùng đồ sộ Nếu ước tính 20% số doanh nghiệp đó có thương hiệu, logo thì chúng ta thấy rằng số lượng các thương hiệu, logo là rất lớn và việc lợi dụng thương hiệu, logo thật khó kiểm soát nếu như không có sự tham gia của máy tính Các chương trình xử lý ảnh, so khớp mẫu là một nhu cầu tất yếu trong cuộc sống và cũng là nguồn động lực cho các nghiên cứu trong lĩnh vực khoa học máy tính

Hình 1.8 Doanh nghiệp thành lập mới từ 2012 đến 2019

Khái niệm

Khớp mẫu là một kỹ thuật xử lý ảnh kỹ thuật số để tìm các phần nhỏ của ảnh khớp với ảnh mẫu

1.3 Các đặc điểm cơ bản khi phân biệt đối tượng

Để phân biệt hai đối tượng với nhau trên ảnh các thuộc tính cơ bản nhất của hai đối

tượng cần so sánh là: Hình dạng, màu sắc và kết cấu bề mặt

Có nghĩa là hai ảnh ảnh chỉ cần khác nhau một trong ba đặc điểm này thì đã là hai ảnh không giống nhau Khi thực hiện các ảnh được so sánh thường có cùng kích thước

và độ phân giải

a) b) c) d) e) f) Hình 1.9 So sánh các hình với ba thuộc tính hình dáng, màu và kết cấu bề mặt Trong 6 hình trên chỉ có hình b) và e) là giống nhau vì giống nhau cả hình dáng, màu sắc và kết cấu bề mặt Hình e) và f) khác nhau kết cấu bề mặt a) khác b) hình dáng c) khác d) về màu sắc d) cũng khác e) về màu sắc

Trong 3 đặc điểm cần so sánh thì so sánh hình dạng là khó khăn nhất là Hình dạng giống nhau nhưng trên ảnh có thể có kích thước khác nhau, có thể quay ở các góc khác nhau, …làm cho ảnh có vẻ khác nhau Với kết cấu bề mặt thì cũng có thể giống nhau nhưng khi ảnh của chúng bị xoay đi thì cũng có thể khác nhau

KẾT LUẬN CHƯƠNG 1

Việc so sánh các đối tượng nói chung và logo nói riêng qua ảnh là rất cần thiết

Để xác nhận hai đối tượng giống nhau thì chúng phải có hình dáng, màu sắc và kết cấu bề mặt giống nhau Hiện nay với mỗi sự so sánh của mỗi trong 3 đặc điểm có rất nhiều phương pháp Chương tiếp theo sẽ giới thiệu một số phương pháp phổ biến và mạnh thường được áp dụng hiện nay trong thực tế

CHƯƠNG 2 MỘT SỐ KỸ THUẬT SO KHỚP QUA ẢNH HIỆN NAY

2.1 So sánh sự tương xứng về hình dạng

2.1.1 Dùng khoảng cách Hausdorff [6]

Khoảng cách Hausdorff là một trong những phương pháp đối sánh hình dạng dựa trên tương quan cổ điển Khoảng cách Hausdorff thường được sử dụng để xác định vị trí trong một ảnh và đo độ tương tự trong hình dạng

Cho hai tập hợp điểm hữu hạn A={ a1, …, ap } and B = { b1, …, bq }

khoảng cách Hausdorff được định nghĩa là

H(A, B) = max(h(A,B), h(B, A)) (2.1) Trong đó

h(A, B) = max min ||a-b||

a∈A b∈B

Và ||.|| là một số chỉ tiêu cơ bản giữa các điểm của A và B (ví dụ: chuẩn L2 hoặc Euclide)

Hàm h (A, B) được gọi là Hausdorff có hướng khoảng cách từ A đến B Nó

xác định điểm aA xa nhất từ bất kỳ điểm nào của B và đo khoảng cách từ a đến láng giềng gần nhất của nó trong B (sử dụng định chuẩn||.||, nghĩa là, h (A, B) có hiệu lực xếp hạng từng điểm của A dựa trên điểm của nó khoảng cách đến điểm B gần nhất

và sau đó sử dụng điểm được xếp hạng lớn nhất như khoảng cách (điểm không khớp nhất của A) Theo trực giác, nếu h (A, B) = d, thì mỗi điểm của A phải nằm trong khoảng cách d của một số điểm B và cũng có một số điểm của A chính xác là khoảng cách d từ điểm B gần nhất (điểm không phù hợp)

Hình 2.1 a) Khoảng cách Hausdorff giữa 2 tập hợp A và B: dH( A , B) =

và b) giữa 2 tập hợp X và Y

(2.2)

1 Khoảng cách Hausdorff H(A, B) là max của h(A, B) và h(B, A) Do đó, nó

đo lường mức độ của không khớp giữa hai bộ bằng cách đo khoảng cách của điểm A

xa nhất so với bất kỳ điểm nào của B và ngược lại

Tính khoảng cách Hausdoff [6]

Từ định nghĩa về khoảng cách Hausdorff trong (2.1) và (2.2), chúng ta có

H(A, B) = max(h(A, B), h(B, A)) = max(max min ||a-b||, max min ||a-b|| )

a ∈A b∈B a∈A b∈B

(2.3) Nếu chúng ta định nghĩa

d(x) = minb∈B ||x - b|| and d’(x) = mina∈A ||a - x||

 Ứng dụng khoảng cách Hausdorff so khớp đối tượng

Với độ đo khoảng cách ở trên còn nhạy cảm với nhiễu Do đó, khoảng cách Hausdorff

đã được cải tiến bởi Rucklidge:

(2.7) Trong đó là giá trị vi phân thứ của g(x) trên tập x với một vài giá trị của f là 0 và 1.Ví dụ, giá trị vi phân thứ nhất chính là lớn nhất và giá trị vi phân 1/2

là trung bình Trong thực tế f thường đặt là 1/2 Ưu điểm của so khớp hình dạng sử dụng khoảng cách Hausdroff chính là hình dạng có thể được đối sánh cục bộ Tuy nhiên khoảng cách này là không bất biến với các phép tịnh tiến, phép co dãn và phép quay

2.1.2 Dùng phương pháp Shape Context

Phương pháp Shape Context nguyên thủy ra đời năm 2000 đề xuất của Serge Belongie và and Jitendra Malik thuộc Department of Electrical Engineering and Computer Sciences University of California at Berkeley, USA qua bài báo [7] Shape Context được cải tiến với các mức hiệu quả hơn qua các công bố [8], [9]

Shape contexts có thể thực hiện so khớp các ảnh xám, ảnh đen trắng, qua một số ví

dụ trong hình 2.2

Hình 2.2 Thực hiện truy vấn trên tập dữ liệu ETH-80 bằng phương pháp shape contexts Cột đầu tiên là đối tượng truy vấn Năm cột còn lại hiển thị kết quả so

khớp gần nhất với từng đối tượng truy vấn

Hình 2.3 Truy vấn trên tập dữ liệu Kimia Cột 1: hình ảnh truy vấn Cột 2-4: hình ảnh phù hợp, được sắp xếp theo độ tương tự

Hình 2.4 So khớp mẫu cột trái và độ giống nhau [8]

Trong khuôn khổ luận văn em trình bày phương pháp trong [7] để so khớp hình dạng trong nhiệm vụ so khớp logo Trước hết cần nhắc lại một số kiến thức của

xử lý ảnh

 Histogram: Định nghĩa đơn giản về Histogram trong xử lý ảnh số

Lược đồ xám (histogram) của một ảnh là một hàm cung cấp tần suất xuất hiện của mỗi mức xám Lược đồ xám được biểu diễn với trục hoành biểu diễn số mức xám

từ 0 đến N, N là số mức xám thường lấy là 255 Trục tung biểu diễn số điểm ảnh cho một mức xám (số điểm ảnh có cùng mức xám) Quan sát histogram của một ảnh có thể biết ảnh đó sáng hay tối Nếu phân bố histogram lệch về bên phải thì đó là ảnh sáng (hình 2.5 b) Nếu phân bố lệch về bên trái thì đó là ảnh tối (hình 2.5 a)

Hình 2.5 Histogram của một ảnh xám

Để hiểu rõ hơn chúng ta cần thấy rằng Histogram một dạng đồ thị cho phép khám phá, hiển thị dạng phân phối tần suất của một tập dữ liệu liên tục Nó cho phép chúng ta kiểm tra dạng phân phối (chẳng hạn, phân phối chuẩn), các điểm dị biệt, độ trôi, độ nhọn của tập dữ liệu Ví dụ hình 2.6

Hình 2.6 Một đồ thị dạng histogram độ tuổi và tần suất

b) a)

Xây dựng đồ thị histogram cho một biến liên tục

Giả sử, chúng ta có một tập dữ liệu về tuổi của 20 lần quan sát như sau:

Bảng 2.1 Dữ liệu tuổi

Để xây dựng đồ thị histogram từ một biến liên tục, việc đầu tiên là cần phải chuyển dữ liệu sang dạng các khoảng (interval), mà chúng ta gọi là các ngăn (bins) Trong ví dụ trên, biến tuổi được chia thành các bins, mỗi bin đại diện cho một nhóm

tuổi (cách nhau 10 tuổi và bắt đầu từ 20) Mỗi bin gồm có số các quan sát thỏa mãn điều kiện của bin xuất hiện trong tập dữ liệu Thông tin của mẫu dữ liệu trên được thể hiện dưới dạng các bins như trong bảng 2.2

Bảng 2.2 Thông tin của mẫu dữ liệu

Chọn bề rộng cho các bins

Chú ý chọn độ lớn các bin không quá nhỏ hoặc quá lớn Như vậy histogram sẽ khó quan sát Xem hình 2.7

Hình 2.7 Các bin của histogram quá nhỏ a) hoặc quá lớn b)

Chúng ta có thể thấy rằng, ở đồ thị histogram bên trái thì độ rộng của bin là quá nhỏ bởi vì nó cho thấy quá nhiều các dữ liệu riêng rẻ và không thể hiện được dạng phân phối của tập dữ liệu Ở phía ngược lại, ở đồ thị histogram bên phải thì các bins quá lớn và chúng ta cũng không thể phát hiện được dạng phân phối của dữ liệu

Bin Tần số Các quan sát (tuổi)

Các đồ thị histogram dựa vào diện tích chứ không phải là chiều cao của các thanh: Đối với đồ thị histogram, phần diện tích của thanh thể hiện tần số xuất

hiện của mỗi bin Điều này có nghĩa rằng chiều cao của thanh không cần thiết thể

hiện số lần xuất hiện của mỗi quan sát trong mỗi bin Tích số giữa chiều cao và chiều rộng của bin sẽ cho biết tần số xuất hiện của mỗi bin Không giống đồ thị thanh (bar

chart) đồ thị histogram không có các khoảng trống (gaps) giữa các thanh (mặc dù một vài thanh có thể có khoảng trống vì tần suất xuất hiện của nó bằng 0) Điều này bởi

vì, đồ thị histogram đặc trưng cho một dữ liệu liên tục Ngoài ra, sự khác nhau chủ yếu giữa đồ thị histogram và đồ thị thanh (bar) là đồ thị histogram chỉ sử dụng để hiển thị tần số xuất hiện của các quan sát trong tập dữ liệu liên tục mà tập dữ liệu này được chia thành các khoảng (lớp) được gọi là các bins Ngược lại, các đồ thị dạng thanh có thể được sử dụng cho các tập dữ liệu thuộc kiểu khác như thứ tự (ordinal)

và định danh (nominal)

Ví dụ:

a) b)

Hình 2.8 Một ảnh a) và b) histogram của nó

Phương pháp của các tác giả [3] cho phép khắc phục các yếu tố khó khăn khi

so khớp như các ảnh xoay, dịch, …

Shape context: Là một cách mô tả các hình dạng cho phép đo độ tương tự

hình dạng và phục hồi các điểm tương ứng điểm Ý tưởng cơ bản là chọn n điểm trên

các đường biên của hình Đối với mỗi điểm pi trên hình, hãy xem xét các vectơ n - 1 thu được bằng cách kết nối pi với tất cả các điểm khác Tập hợp tất cả các vectơ này

là một mô tả phong phú về hình dạng được cục bộ hóa tại điểm đó nhưng quá chi tiết

Ý tưởng chính là sự phân phối trên các vị trí tương đối là một mô tả mạnh mẽ, nhỏ gọn và có tính phân biệt cao

Đối với mỗi p i điểm trên hình đầu tiên, chúng ta muốn tìm ra phù hợp “tốt

nhất” điểm q j trên hình thứ hai Đối với điểm pi, histogram thô của tọa độ tương đối của n - 1 điểm còn lại

(2.8) được định nghĩa là shape contexts của pi Các bin thường được thực hiện để được thống nhất trong không gian tọa độ cực Thực tế là shape contexts là một bộ mô tả phong phú và phân biệt ngữ cảnh có thể được xem trong hình 2.9, trong đó shape contexts của hai phiên bản khác nhau của chữ "A" được hiển thị

Hình 2.9 Biểu diễn Histogram trong tọa độ cực 12 bins Thể hiện trong hình 2.10 (c)

Hình 2.10 Ví dụ shape context: (a) và (b) là các điểm biên được lấy mẫu của hai hình dạng (c) là sơ đồ của các bin phân cực được sử dụng để tính toán shape contexts (d) là shape contexts cho điểm được đánh dấu bằng một vòng tròn ở (a), (e) là điểm được đánh dấu bằng hình vuông trong (b) và (f) là bằng hình tam giác Có thể thấy,

vì (d) và (e) là shape contexts của hai điểm liên quan chặt chẽ với nhau (điểm hình trong và điểm hình vuông) khá giống nhau, trong khi shape contexts trong (f) – (điểm tam giác) rất khác nhau

Để một bộ mô tả có tính năng mạnh, nó cần phải có một số tính chất bất biến nhất định Cụ thể, nó cần phải bất biến đối với sự biến dạng, thay đổi tỷ lệ, có nhiễu nhỏ và sự phụ thuộc vào quay ảnh trong ứng dụng Bất biến với biến dạng đến tự nhiên để định hình bối cảnh Tính bất biến tỷ lệ có được bằng cách chuẩn hóa tất cả các khoảng cách xuyên tâm theo khoảng cách trung bình  giữa tất cả các cặp điểm trong hình mặc dù cũng có thể sử dụng khoảng cách trung bình Các shape context

đã được chứng minh bằng thực nghiệm là mạnh mẽ đối với các biến dạng, nhiễu và các ngoại lệ

Có thể cung cấp bất biến với xoay hoàn toàn trong shape context Đó là đo các góc tại mỗi điểm so với hướng của tiếp tuyến tại điểm đó (vì các điểm được chọn trên các biên) Điều này dẫn đến một mô tả bất biến hoàn toàn xoay vòng Nhưng tất nhiên điều này không phải lúc nào cũng nhận được vì một số tính năng cục bộ mất khả năng phân biệt nếu không được đo tương đối với cùng một khung Trên thực tế, nhiều ứng dụng cản trở quay vòng bất biến, ví dụ: phân biệt số "6" với số "9"

2 Tính toán shape contexts của từng điểm được tìm thấy trong bước 1

3 Ghép từng điểm từ hình đã biết đến một điểm trên hình cần so khớp Để giảm thiểu chi phí so khớp, trước tiên, hãy chọn một phép biến đổi (ví dụ: affine, spline tấm mỏng, v.v.) làm cong các cạnh của hình dạng đã biết thành cần so khớp (về cơ bản là căn chỉnh hai hình dạng) Sau đó chọn điểm trên hình cần so khớp tương ứng nhất với từng điểm bị vênh trên hình đã biết

4 Tính "khoảng cách hình" giữa mỗi cặp điểm trên hai hình Sử dụng tổng trọng

số của khoảng cách shape context, khoảng cách xuất hiện hình ảnh và năng lượng uốn cong (một thước đo mức độ biến đổi cần thiết để đưa hai hình dạng thẳng hàng)

5 Để xác định hình dạng không xác định, sử dụng bộ phân loại láng giềng gần nhất để so sánh khoảng cách hình dạng của nó với khoảng cách hình dạng của các đối tượng đã biết

Chi tiết thực hiện

Bước 1: Tìm danh sách các điểm trên biên của hình

Cách tiếp cận giả định rằng hình dạng của một đối tượng về cơ bản được nắm bắt bởi một tập hợp con hữu hạn của các điểm trên các đường biên bên trong hoặc bên ngoài trên đối tượng Chúng có thể có được bằng cách sử dụng bộ tìm biên Canny

và chọn một tập hợp các điểm ngẫu nhiên từ các biên Lưu ý rằng những điểm này

không cần và nói chung không cứ phải là các điểm có đặc điểm chính như điểm cực đại của độ cong hoặc điểm uốn Tốt nhất là lấy mẫu hình với khoảng cách gần như đồng đều, mặc dù điều đó cũng không quan trọng

Bước 2: Tính toán shape context

Bước này đã diễn tả trong phần “Shape context:”

Bước 3: Tính toán ma trận đánh giá

Xét hai điểm p và q có các histograms K-bin đã chuẩn hóa (nghĩa là các shape context)

g (k) và h (k) Vì các shape context là các bản phân phối được biểu thị dưới dạng histograms, nên việc sử dụng kiểm tra thống kê χ2 (χ2 test statistic) là "đánh giá shape context " của sự so khớp hai điểm là điều đương nhiên

(2.9) Phạm vi của các giá trị này là từ 0 đến 1 Ngoài đánh giá shape context, có thể thêm một đánh giá dựa trên hình dáng (appearance) Ví dụ, đánh giá thêm có thể là thước

đo độ không tương đồng góc tiếp tuyến (đặc biệt hữu ích trong nhận dạng chữ số):

(2.10) Đây là một nửa độ dài của dây cung trong vòng tròn đơn vị giữa các vectơ đơn vị với các góc 1 và 2 Giá trị của nó cũng nằm trong khoảng từ 0 đến 1 Bây giờ, tổng đánh giá so khớp hai điểm có thể là tổng của hai đánh giá:

(2.11) Với mỗi điểm pi trên hình đầu tiên và một điểm qj trên hình thứ hai, hãy tính đánh giá như mô tả và gọi nó là Ci, j Đây là ma trận đánh giá

Bước 4: Tìm kết quả so khớp để có tổng đánh giá cực tiểu

Bây giờ, một pi so khớp một - một khớp với từng điểm pi trên hình 1 và qj trên hình 2 giúp giảm thiểu tổng chi phí đánh giá so khớp,

(2.12)