Nghiên cứu phát triển hệ thống tra cứu các loài thực vật quý hiếm tại khu bảo tồn thiên nhiên na hang tỉnh tuyên quang

Trên cơ sở đó, đề tài luận văn thạc sỹ này, em sẽ kế thừa một số kết quả nghiên cứu về nhận dạng ảnh lá cây để áp dụng vào bài toán tra cứu các loài thực vật quý hiếm tại Khu bảo tồn thi

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VŨ THANH BÌNH

NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRA CỨU CÁC LOÀI THỰC VẬT QUÝ HIẾM TẠI KHU BẢO TỒN

THIÊN NHIÊN NA HANG TỈNH TUYÊN QUANG

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN - 2019

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VŨ THANH BÌNH

NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRA CỨU CÁC LOÀI THỰC VẬT QUÝ HIẾM TẠI KHU BẢO TỒN

THIÊN NHIÊN NA HANG TỈNH TUYÊN QUANG

Chuyên ngành: Khoa học máy tính

Mã số: 8.48.0101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS Nguyễn Văn Tảo

THÁI NGUYÊN - 2019

LỜI CAM ĐOAN

Sau quá trình học tập tại Trường Đại học Công nghệ thông tin &

Truyền thông, với những kiến thức lý thuyết và thực hành đã tích lũy được,

với việc vận dụng các kiến thức vào thực tế, em đã tự nghiên cứu các tài liệu, các công trình nghiên cứu, tự tìm kiếm dữ liệu hình ảnh trên thực tế, đồng thời phân tích, tổng hợp, đúc kết và phát triển để hoàn thành luận văn thạc sĩ của mình Em xin cam đoan luận văn này là công trình do bản thân

em tự tìm hiểu, nghiên cứu và hoàn thành dưới sự hướng dẫn của thầy giáo,

TS Nguyễn Văn Tảo

Thái Nguyên, tháng năm 2019

Học viên

Vũ Thanh Bình

LỜI CẢM ƠN

Trong thời gian 2 năm của chương trình đào tạo thạc sĩ, trong đó gần một nửa thời gian dành cho các môn học, thời gian còn lại dành cho việc lựa chọn luận văn, giáo viên hướng dẫn, tập trung vào nghiên cứu, viết, chỉnh sửa

và hoàn thiện luận văn Với quỹ thời gian như vậy và với vị trí công việc đang phải đảm nhận, không riêng bản thân em mà hầu hết các sinh viên cao học muốn hoàn thành tốt luận văn của mình mình trước hết đều phải có sự sắp xếp thời gian hợp lý, có sự tập trung học tập và nghiên cứu với tinh thần nghiêm túc nỗ lực hết mình; tiếp đến là có sự ủng hộ về tinh thần, sự giúp đỡ về chuyên môn - một trong những điều kiện không thể thiếu quyết định đến việc thành công của luận văn

Để hoàn thành được luận văn này trước tiên em xin gửi lời cảm ơn sâu

sắc đến thầy giáo hướng dẫn TS Nguyễn Văn Tảo, là người đã định hướng

nội dung, hướng phát triển của luận văn và có nhiều ý kiến đóng góp quan trọng ảnh về những vấn đề chuyên môn của luận văn, giúp em tháo gỡ kịp thời những vướng mắc trong quá trình làm luận văn

Em cũng xin chân thành cảm ơn các thầy cô giáo Trường Đại học Công nghệ thông tin và Truyền thông và bạn bè cùng lớp đã có những ý kiến

bổ ích để luận văn được hoàn thiện hơn Xin cảm ơn gia đình, người thân, đồng nghiệp luôn quan tâm ủng hộ về tinh thần trong suốt thời gian học tập và hoàn thành luận văn

Em xin hứa sẽ cố gắng tự nghiên cứu, nâng cao năng lực chuyên môn của mình để sau khi hoàn thành luận văn này sẽ có hướng tập trung nghiên

cứu sâu hơn, tiếp tục hoàn thiện luận văn này để có những ứng dụng thiết thực trong thực tế

Thái Nguyên, tháng năm 2019

Học viên

Vũ Thanh Bình

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iv

DANH SÁCH HÌNH VẼ vi

DANH MỤC CÁC BẢNG viii

MỞ ĐẦU 1

1 Đặt vấn đề 1

2 Bài toán tra cứu/ nhận dạng thực vật 3

3 Cấu trúc luận văn 4

CHƯƠNG 1: MỘT SỐ NGHIÊN CỨU LIÊN QUAN 6

1.1 Tổng quan về tra cứu ảnh 6

1.2 Tổng quan về nhận dạng, tra cứu thực vật 10

1.3 Một số nghiên cứu liên quan 11

CHƯƠNG 2: PHƯƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES 13

2.1 Giới thiệu 13

2.2 Phương pháp KDES 13

2.2.1 Gradient, màu sắc, và hình dạng kernels tương ứng 13

2.2.2 Học tính năng nhỏ gọn 17

2.3 Phương pháp tra cứu lá cây sử dụng KDES cải tiến 21

2.4 Biểu diễn ảnh lá cây 23

2.4.1 Tính toán đặc trưng mức Pixel 23

2.4.2 Tính toán đặc trưng mức patch 23

2.4.2.1 Sinh tập patch với kích thước patch thích nghi 23

2.4.2.2 Tính toán véctơ đặc trưng mức patch 26

2.4.3 Tính toán đặc trưng mức ảnh 31

2.5 Phân lớp ảnh lá cây 37

2.5.1 Máy véctơ hỗ trợ - SVM 37

2.5.2 Máy véctơ hỗ trợ nhiều lớp – MSVM 41

2.5.2.1 Từ Binary classification tới multi-class classification 41

2.5.2.2 Xử lý dữ liệu ảnh 41

2.5.2.3 Softmax Regression 42

CHƯƠNG 3: THỰC NGHIỆM 44

3.1 Thu thập dữ liệu 44

3.1.1 Cơ sở dữ liệu hình ảnh 44

3.1.2 Phương pháp lấy mẫu hình ảnh lá cây: 45

3.2 Tiền xử lý ảnh trong bộ cơ sở dữ liệu 48

3.3 Phương pháp đánh giá 53

3.4 Thử nghiệm và kết quả 54

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 60

TÀI LIỆU THAM KHẢO 60

DANH SÁCH HÌNH VẼ

Hình 2.1 : Xấp xỉ hữu hạn chiều 19

Hình 2.2: Sơ đồ hệ thống nhận dạng cây thuốc sử dụng KDES 22

Hình 2.3: Patch thích nghi với = = 8, do đó = = 9

24

Hình 2.4: Một số ví dụ minh họa patch cố định và patch thích nghi 25

Hình 2.5: Ý tưởng cơ bản của việc biểu diễn dựa trên kernel method 29

Hình 2.6: Cấu trúc pyramid 32

Hình 2.7: Nhược điểm của cách gán cứng 34

Hình 2.8: Mô hình Softmax Regression dưới dạng Neural network 42

Hình 3.1: Hình ảnh 38 mẫu lá cây đã thu thập được trong đề tài 46

Hình 3.2 Phân đoạn ảnh tự động 48

Hình 3.3 giải thuật sử dụng Salient region segmentation 49

Hình 3.4 Sự chuyển đổi hai không gian màu RGB và Lab 50

Hình 3.5 Co ảnh nhị phân 50

Hình 3.6 Giãn ảnh nhị phân 51

Hình 3.7 Chuẩn hóa hướng của lá cây 53

Hình 3.8 Sơ đồ các khối chức năng của giai đoạn huấn luyện 55

Hình 3.9 Sơ đồ các khối chức năng của giai đoạn kiểm thử 55

Hình 3.10: Một phần mã code chương trình 56

Hình 3.11: quá trình Huấn luyện của chương trình 57

Hình 3.12: Kết thúc quá trình huấn luyện 57

Hình 3.13: Tính toán số vòng lặp so sánh 58

Hình 3.14: Hình ảnh ma trận nhầm lẫn của phương pháp KDES cải tiến 58 Hình 3.7: Hình ảnh nhầm lân ma trận của phương pháp KDES gốc 59 Hình 3.8: Hình ảnh nhầm lẫn ma trân của phương pháp KDES cải tiến 60

DANH MỤC CÁC BẢNG

Bảng 3.1: Danh sách mẫu thực vật trong cơ sở dữ liệu 47 Bảng 3.2: So sánh kết quả giữa KDES gốc và phương pháp lựa chọn (KDES cải tiến) 59

MỞ ĐẦU

1 Đặt vấn đề

Khu Bảo tồn thiên nhiên Na Hang là một trong những nơi có nguồn tài nguyên cây thuốc đa dạng và phong phú [1] Hiện biết có 275 loài cây thuốc, thuộc 4 ngành, 96 họ, 204 chi của thực vật có mạch, đã được ghi lại trong các cuộc điều tra thực địa Trong số đó, có 204 loài, thuộc 3 ngành, 85 họ, 168 chi của thực vật có mạch được sử dụng bởi Cao Lan dân tộc; đã 05 loài được liệt

kê trong Sách Đỏ Việt Nam và Danh lục Đỏ cây thuốc Việt Nam

Trong số 85 họ, có 11 họ có số loài nhiều nhất là họ Rubiaceae, Euphorbiaceae, Zingberaceae, Araceae, Vitaceae, Acanthaceae, Verbenaceae, Myrsinaceae, Moraceae, Menispermaceae và Convallariaceae

Bốn loại phổ biến của cây thuốc là cây thân thảo (41,63%), cây bụi (22.01%), cây thân gỗ (16,75%) và leo núi (17.70%) Các bộ phận được sử dụng nhiều nhất thân, lá, rễ và toàn cây Các nguồn tài nguyên cây thuốc ở khu bảo tồn thiên nhiên Na Hang có giá trị kinh tế quan trọng và một tiềm năng để phát triển dược phẩm mới và các sản phẩm tự nhiên khác

Rừng đặc dụng Na Hang (trước đây là Khu bảo tồn thiên nhiên Tát kẻ - Bản Bung huyện Na Hang) được thành lập theo Quyết định 274/UB-QĐ ngày

9 tháng 5 năm 1994 của Uỷ ban nhân dân tỉnh Tuyên Quang Nằm trên địa bàn các xã Khâu Tinh, Côn Lôn, Sơn Phú, Thanh Tương của huyện Na Hang, tỉnh Tuyên Quang Rừng đặc dụng Na Hang có diện tích tự nhiên khoảng 22.401,5 ha, trong đó diện tích khu vực có địa hình dưới 300 m chiếm khoảng 30%, 300-800 m chiếm 60%, trên 900m chiếm 10% Mùa đông nhiệt

độ trung bình 15 - 20o

C, mùa hè nhiệt độ lên đến 30oC hoặc có thể hơn Hệ

thống sông ngòi chỉ ở mức trung bình, có hai con sông lớn chảy qua là sông Gâm (phía Tây Tát Kẻ) và sông Năng (phía đông Na Hang) Hiện nay, nguồn nước từ rừng đặc dụng Na Hang được phân phối, điều hòa bởi hệ thống lòng

hồ và đập thủy điện Na Hang

Hệ thực vật tại Khu bảo tồn thiên nhiên (BTTN) Na Hang có 1.162 loài thực vật, thuộc 604 chi, 159 họ của 4 ngành thực vật bậc cao có mạch Trong

đó ngành Hạt kín (Angiospermae) có 1.083 loài, 570 chi, 135 họ; ngành Hạt trần (Gymnospermae) có 11 loài, 8 chi, 5 họ; ngành Dương xỉ (Polypodiophyta) có 63 loài, 34 chi, 17 họ; nhành Thông đất (Lycopodiophyta) có 5 loài, 2 chi, 2 họ Trong số 1162 loài thực vật được ghi nhận tại Khu BTTN Na Hang, có 558 loài thực vật được ghi nhận có giá trị làm thuốc

Việc nghiên cứu hiện trạng và bảo tồn nguồn tài nguyên cây cối có vị trí rất quan trọng trong việc phát triển nguồn tài nguyên sinh vật ở rừng đặc dụng

Na Hang Để hỗ trợ cho công tác này, việc phát triển các công cụ, dịch vụ công nghệ thông tin hỗ trợ là cần thiết nhằm giúp cho việc xây dựng chiến lược quản lý, bảo tồn và phát triển bền vững tính đa dạng sinh học của Na Hang, tỉnh Tuyên Quang trong tương lai được thuận lợi hơn

Bước đầu tiên của việc bảo vệ thực vật là tự động nhận ra hoặc phân loại chúng Có nghĩa là hiểu chúng là gì và chúng đến từ đâu Nhưng rất khó để người ta nhận ra một loại cây một cách chính xác và ngay lập tức bởi vì số lượng loài rất lớn Một hệ thống tự động nhận dạng, tra cứu sẽ rất hữu ích trong quản lý, bảo tồn hệ thống các loài cây quý hiếm, nhận dạng ra các loại cây với thông tin của nó v.v

Tuy nhiên, hiện nay chưa có một cơ sở dữ liệu với đầy đủ thông tin cần thiết về các loài thực vật quý hiếm tại Khu bảo tồn Thiên nhiên Na Hang

cùng với công cụ tra cứu, tiếp cận thông tin một cách thuận tiện Do đó, đề tài luận văn thạc sỹ này tập trung vào việc xây dựng cơ sở dữ liệu các loài thực vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang

và nghiên cứu, áp dụng một phương pháp tra cứu tự động dựa trên thông tin

hình ảnh, với đề tài: “Nghiên cứu phát triển hệ thống tra cứu các loài thực

vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang”

Hiện nay, nhiều nhà khoa học đã và đang nghiên cứu, đề xuất nhiều phương pháp giải quyết bài toán nhận dạng lá cây thông qua thông tin hình ảnh, [15] [17] [18] Trong đó, nhiều phương pháp khai thác thông tin hình ảnh lá cây [2] Lá cây được sử dụng nhiều bởi vì đây là bộ phận dễ thu nhận, hiện diện ở hầu hết các mùa Trên cơ sở đó, đề tài luận văn thạc sỹ này, em

sẽ kế thừa một số kết quả nghiên cứu về nhận dạng ảnh lá cây để áp dụng vào bài toán tra cứu các loài thực vật quý hiếm tại Khu bảo tồn thiên nhiên

Na Hang

2 Bài toán tra cứu/ nhận dạng thực vật

Tra cứu hoặc nhận dạng thực vật là một quá trình nhằm xác định xem một mẫu thực vật nào đó giống nhất hoặc thuộc loài nào trong danh mục các loài cây đã biết Đây là một nhiệm vụ khó khăn và tốn thời gian ngay cả đối với các chuyên gia thực vật học Tra cứu thực vật là đưa ra một danh sách các loài thực vật theo mức độ phù hợp với câu truy vấn Trong bài toán tra cứu thông tin/ hình ảnh tổng quát thì câu truy vấn có thể là văn bản, hình ảnh, Ở đây, em đề cập đến câu truy vấn là ảnh cây hoặc một vài bộ phận của cây Gần đây với nghiên cứu tiên tiến trong cộng đồng thị giác máy tính, một số công trình đã tập trung nghiên cứu bài toán nhận dạng thực vật dựa trên hình ảnh [3] Mục đích chính của các công trình này là nghiên cứu phát triển phương pháp để xây dựng hệ thống chương trình máy tính hỗ trợ việc nhận

dạng thực vật bằng các kỹ thuật nhận dạng và xử lý ảnh Trong các bộ phận của cây thì lá cây được sử dụng rộng rãi nhất Gần đây một số tác giả đã cố gắng kết hợp các hình ảnh bộ phận khác của cây

Một hệ thống tự động nhận dạng phân loại hoặc tra cứu thực vật nói chung và cây thuốc nói riêng có thể sử dụng các đặc trưng khác nhau của hệ thực vật, bắt đầu từ mức độ rất đơn giản như: Hình dạng và màu sắc của lá, loại hoa và quả, kiểu phân nhánh, loại rễ, lễ thời vụ, vụ triển vọng, ảnh cho đến đặc trưng rất phức tạp như cấu trúc tế bào và mô, cấu trúc di truyền Hiện tại, điện thoại di động có khả năng thu được hình ảnh chất lượng cao với camera của chúng, điều này làm cho khả năng ứng dụng của một hệ thống như vậy trở nên rộng lớn Lá cây có những đặc trưng quan trọng, ảnh hữu ích để phân loại các loại thực vật khác nhau

Trong thị giác máy tính, đã có nhiều loại đặc trưng được đề xuất để phân loại đối tượng Năm 2010, Liefeng Bo [5] đề xuất một bộ mô tả hiệu quả cho bài toán nhận dạng đối tượng có tên là KDES (Kernel descriptor) Trong khuôn khổ đề tài luận văn này, này em tìm hiểu và áp dụng KDES cho bài toán tra cứu ảnh lá cây quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang

3 Cấu trúc luận văn

Ngoài phần mở đầu, kết luận, mục lục, danh mục tài liệu, tài liệu tham khảo, luận văn được chia thành 3 chương như sau:

- CHƯƠNG 1: MỘT SỐ NGHIÊN CỨU LIÊN QUAN

Chương này giới thiệu bài toán và thông tin tổng quan về tra cứu/ nhận dạng thực vật Trong chương này cũng trình bày sơ lược một số nghiên cứu liên quan đến bài toán nhận dạng, tra cứu ảnh lá cây; giới thiệu sử dụng

phương pháp KDES (kernel descriptor) cho bài toán tra cứu thông tin về cây thông qua hình ảnh lá cây

- CHƯƠNG 2: PHƯƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES

Trong chương này trình bày phương pháp tra cứu thông tin cây thông qua hình ảnh lá cây sử dụng phương pháp KDES

CHƯƠNG 3: THỰC NGHIỆM

Nội dung chương này bao gồm phương pháp thu thập dữ liệu, phương pháp đánh giá, việc thử nghiệm và kết quả của thử nghiệm trên cơ sở dữ liệu

đã thu thập

CHƯƠNG 1 MỘT SỐ NGHIÊN CỨU LIÊN QUAN

1.1 Tổng quan về tra cứu ảnh

Những năm gần đây ảnh số ngày càng thu hút được sự quan tâm của nhiều người, một phần là do các thiết bị thu nhận ảnh số ngày càng phổ biến

và có giá cả phù hợp, cho phép nhiều người có thể sở hữu và sử dụng Mặt khác các công nghệ chế tạo thiết bị lưu trữ luôn được cải tiến để cho ra đời các thiết bị lưu trữ có dung lượng lớn và giá thành hạ làm cho việc lưu trữ ảnh dưới dạng các file trở nên phổ biến Thêm nữa là sự phát triển của mạng internet làm cho số lượng ảnh số được đưa lên lưu trữ và trao đổi qua internet

là rất lớn Năm 2006, trên 300 triệu hình ảnh đã được tải lên Flickr, một trong những cộng đồng chia sẻ hình ảnh lớn nhất trên internet Con số này cho thấy thực tế là số lượng ảnh số được lưu trữ trong các cơ sở dữ liệu đang gia tăng nhanh chóng Tuy nhiên khi số lượng ảnh được lưu trữ trở lên rất lớn thì vấn

đề là phải có những phương pháp tổ chức cơ sở dữ liệu ảnh tốt cùng với những kỹ thuật tìm kiếm tra cứu ảnh có hiệu quả có độ chính xác cao và có hiệu năng tốt Việc tìm kiếm được một bức ảnh mong muốn trong hàng triệu bức ảnh thuộc đủ loại chủ đề khác nhau là rất khó Khi số lượng ảnh trong một bộ sưu tập còn ít, việc nhận diện bức ảnh hay việc so sánh sự giống và khác nhau giữa nhiều bức ảnh có thể được thực hiện bằng mắt thường, tuy nhiên khi số lượng ảnh rất lớn thì việc so sánh bằng mắt thường là rất khó khăn, đòi hỏi phải có những phương pháp hiệu quả và chính xác hơn

Trong thực tế, bài toán tra cứu ảnh số có rất nhiều ứng dụng quan trọng

Ví dụ như trong lĩnh vực ngân hàng, việc so sánh chữ ký của khách hàng với mẫu chữ ký đã được lưu trữ sẵn có thể thực hiện rất nhanh và chính xác nếu

có được một phần mềm so sánh mẫu chữ ký tốt Thực tế hiện nay tại các ngân

hàng ở Việt Nam, người ta vẫn phải sử dụng phương pháp so sánh bằng mắt thường và việc so sánh chữ ký bằng phần mềm vẫn chưa thực hiện được Một

ví dụ khác là bài toán quản lý biểu trưng (logo) trong lĩnh vực sở hữu trí tuệ Khi một đơn vị muốn đăng ký logo riêng cho đơn vị của mình thì cơ quan quản lý phải tiến hành đánh giá xem mẫu logo đó đã được sử dụng hay chưa hoặc có tương tự với mẫu logo nào đó đang được sử dụng hay không Trong trường hợp này, nếu sử dụng mắt thường để duyệt thì sẽ tốn rất nhiều thời gian, nếu có các phần mềm cho phép tìm kiếm trong cơ sở dữ liệu ảnh có sẵn những biểu trưng tương tự với biểu trưng mẫu thì việc đánh giá sự tương tự sẽ

dễ dàng hơn nhiều Trong lĩnh vực khoa học hình sự, nhu cầu so sánh mẫu vân tay, hay tìm kiếm hình ảnh tội phạm đặt ra những bài toán tra cứu ảnh Giả sử chúng ta tổ chức quản lý nhân khẩu với thông tin ảnh vân tay của từng người Trong một vụ án, nhân viên điều tra thu thập được mẫu vân tay trên hiện trường, khi đó người ta cần xem mẫu vân tay đó khớp với vân tay của ai trong hàng chục triệu hình ảnh vân tay trong cơ sở dữ liệu Nếu có phần mềm thực hiện chính xác, nhanh chóng sẽ giúp ích rất nhiều cho công tác điều tra

Một ví dụ nữa là trong lĩnh vực bảo tồn, bảo tàng Vấn đề lưu trữ và tra cứu ảnh số có vai trò càng ngày càng quan trọng Ảnh của các tác phẩm hội họa, điêu khắc hoặc các cổ vật được lưu trữ dưới dạng các file ảnh sẽ đảm bảo được chất lượng tốt hơn, thời gian lưu trữ lâu dài hơn và việc trao đổi hay giới thiệu với công chúng cũng dễ dàng hơn Bài toán tra cứu của vật xuất phát từ một thực tế của ngành bảo tồn, bảo tàng là khi sưu tầm được một cổ vật mới, người ta cần xác định hàng loạt các thuộc tính như niên đại, nguồn gốc và có thể là chủ sở hữu của vật đó Nếu có được sự trợ giúp của phần mềm tra cứu ảnh phù hợp thì người ta ta có thể dễ dàng xác định xem mẫu cổ vật đó đã được lưu trữ trong cơ sở dữ liệu nào hay chưa, có những loại cổ vật nào tương

tự với nó trong kho tàng cổ vật của thế giới, và phần mềm có thể đưa ra ảnh

của các loại cổ vật có màu sắc, hình dáng, hoa văn tương tự với cổ vật vừa tìm thấy Những thông tin này sẽ giúp ích rất nhiều cho các chuyên gia trong quá trình phân loại, kiểm chứng một cổ vật

Một số hệ thống tra cứu ảnh nổi tiếng như QBIC (IBM),

University)

Trước năm 1990, người ta thường sử dụng phương pháp tra cứu ảnh theo văn bản (Text Based Image Retrieval) Theo cách này người ta sẽ gán cho mỗi bức ảnh một lời chú thích phù hợp với nội dung hoặc một đặc điểm nào đó của ảnh, sau đó việc tra cứu ảnh được thực hiện dựa trên những lời chú thích này Phương pháp này khá đơn giản, tuy nhiên lại không thể áp dụng để tra cứu các cơ sở dữ liệu có số lượng ảnh lớn và kết quả tra cứu thì mang tính chủ quan và cảm ngữ cảnh Bởi về các kỹ thuật tra cứu dựa trên văn bản chỉ có thể được áp dụng khi hình ảnh đã được mô tả Việc tự động hiểu nội dung một bức tranh theo cách của con người là một công việc rất khó Vấn đề này được gọi là lỗ hổng ngữ nghĩa (semantic gap)

Một trong những phương pháp được nhiều người quan tâm nghiên cứu hiện nay là phương pháp ”Tra cứu ảnh dựa theo nội dung” (Content Base Image Retrieval) Ý tưởng phương pháp này là chích chọn các đặc điểm dựa vào nội dung trực quan của ảnh như màu sắc, kết cấu, hình dạng và bố cục không gian của ảnh để làm cơ sở dữ liệu cho việc tra cứu, sắp xếp, tổ chức cơ

sở dữ liệu ảnh

Kỹ thuật tra cứu ảnh trên cơ sở màu cơ bản có nhiều hạn chế:

- Hạn chế thứ nhất của ảnh kỹ thuật cơ sở là không sử dụng tính tương đồng giữa các màu Khi đó, hai ảnh với màu cảm nhận tương đồng nhưng không có màu chung thì khoảng cách giữa chúng sẽ rất lớn, có thể là cực đại

Với hạn chế thứ nhất này, người ta đã đưa ra những cách khắc phục bằng cách: đưa ra thước đo mức độ giống nhau trong đó quan tâm đến đóng góp các màu cảm nhận tương tự; tính toán khoảng cách màu trong đó các giá trị biểu đồ màu được điều chỉnh trên cơ sở mức độ tương tự màu; sử dụng biểu

đồ trọng số cảm nhận (PWH -perceptually weighted histogram)

- Hạn chế thứ hai là không sử dụng quan hệ không gian giữa các pixel

Để giải quyết vấn đề này, người ta có thể tách màu nền khỏi màu cận cảnh (phân đoạn ảnh) sau đó biểu đồ màu nền và biểu đồ màu cận cảnh được tính toán và sử dụng

- Hạn chế thứ ba là không gian màu lựa chọn được lượng tử hóa đồng nhất mặc dù các màu điểm ảnh không phân bổ đồng nhất trong không gian màu Một số giải pháp: lượng tử hóa màu không đồng nhất; lựa chọn không gian màu thích hợp cũng đã được đề cập; cải tiến việc tính toán các bins màu cách sử dụng kỹ thuật phân lớp dữ liệu

Kỹ thuật tra cứu cơ sở dựa trên lược đồ màu chưa tận dụng được các đặc tính cục bộ của vùng của ảnh như màu và không gian Người ta đã đề cập đến kỹ thuật tra cứu ảnh dựa vào các đặc tính cục bộ của vùng áp dụng trong tra cứu các ảnh phong cảnh: kỹ thuật đối sánh cặp màu để mô hình các đường bao đối tượng phân biệt; mở rộng kỹ thuật cặp màu để thực hiện tra cứu các ảnh đã được phân đoạn Các hạn chế trong kỹ thuật tra cứu dựa vào màu bao gồm: thiếu khả năng nhận dạng các đối tượng tương tự có các màu khác nhau, nhạy cảm với tỷ lệ của đối tượng Ảnh người ta đưa ra kỹ thuật tra cứu ảnh dựa vào các đặc tính cục bộ của vùng bao gồm màu và không gian áp dụng trong tra cứu các ảnh phong cảnh Kỹ thuật này nhằm khắc phục các hạn chế

đã được đề cập ở trên thông qua một quá trình ba bước: phân đoạn ảnh thành các cụm dựa vào màu (sử dụng thuật toán phân lớp dữ liệu K-Means); chia

các ảnh thành dãy các hình chữ nhật bằng phương pháp phủ hình chữ nhật tối thiểu có độ thuần nhất; Cuối cùng, thông tin của vùng được trích rút trong bước thứ hai được sử dụng để tra cứu các ảnh liên quan từ một cơ sở dữ liệu ảnh phong cảnh.

Với phương pháp tra cứu ảnh dựa trên hình dạng, có nhiều phương pháp biểu diễn đặc trưng hình dạng và thước đo độ tương tự khác nhau: phương pháp tiếp cận dựa trên hình dạng sử dụng logic mờ Đầu tiên, ảnh được phân đoạn thành một tập các vùng Mỗi vùng được biểu diễn bởi một tập mờ Khoảng cách giữa hai ảnh được tính toán dựa trên việc so sánh khoảng cách giữa tất cả các cặp vùng của hai ảnh kết hợp với gán trọng số cho mỗi vùng; phương pháp biểu diễn đặc trưng của vùng bởi một vectơ 15 chiều bao gồm các thành phần màu đặc trưng của vùng và các đặc trưng hình dạng; Kết hợp hai phương pháp trên đồng thời đưa ra cải tiến cách biểu diễn vectơ đặc trưng của một vùng sử dụng 6 thành phần (3 thành phần đặc trưng màu sắc và 3 thành phần đặc trưng hình dạng); hình dạng các vùng được xấp

xỉ bởi đa giác Đa giác biểu diễn hình dạng các vùng được xác định theo cách hoạt động của radar

1.2 Tổng quan về nhận dạng, tra cứu thực vật

Tự động phân loại và tra cứu thực vật có thể được thực hiện bằng cách trích xuất các đặc trưng từ lá của nó Có nhiều cách tiếp cận khác nhau đã được đề xuất Đầu tiên, ảnh lá được thu nhận bằng camera hoặc máy quét Sau đó, đó người dùng có thể chọn điểm gốc của lá và một vài điểm tham chiếu trên phiến lá hoặc tự động thực hiện việc này Tiếp theo, một số đặc trưng hình thái học được trích xuất Các đặc trưng này được sử dụng làm đầu vào cho hệ thống phân loại, ví dụ như mạng nơron nhân tạo Mạng nơron được huấn luyện với lá từ các loài thực vật khác nhau Sau đó, độ chính xác

của hệ thống nhận dạng được đánh giá thông qua thử nghiệm Phương pháp này chỉ hoạt động đối với những cây có lá phẳng, rộng

Một số lượng đáng kể các công trình đã được thực hiện nhằm giải quyết bài toán tra cứu và nhận dạng thực vật dựa trên ảnh lá Một phương pháp nào đó có thể đạt được hiệu năng tốt đối với một số mẫu giá cụ thể, nhưng không đảm bảo cho kết quả tốt đối với các mẫu lá khác Đôi khi người

ta thấy rằng hai hoặc nhiều cây có lá có hình dạng tương tự hoặc giống nhau, nhưng màu sắc khác nhau Trong trường hợp đó các đặc trưng màu sắc cần được lưu tâm

Chương này trình bày sơ lược các thuật toán khác nhau đã được sử dụng để tra cứu phân loại thực vật thông qua ảnh lá

1.3 Một số nghiên cứu liên quan

Để nhận dạng cây có nhiều cách, có thể nhận dạng cây qua các bộ phận của cây như cành, lá, chồi, thân, hoa, quả, rễ cây… Tuy nhiên đặc trưng dễ nhận ra nhất của mỗi cây là hình ảnh lá cây Nên trong luận văn này em sử dụng hình ảnh lá cây với nền đơn giản

Có hai loại lá: Lá kép (bao gồm một số lá nhỏ) và lá đơn Trong khi hầu hết các nghiên cứu trên lá đơn tập trung vào việc trích xuất đặc trưng hình dạng và vị trí của lá [9], thì các nghiên cứu trên lá kép cố gắng khai thác cấu trúc của chúng [7]

Hình ảnh lá có thể được chụp với nền phức tạp, bước đầu tiên của hệ thống nhận dạng thực vật dựa trên ảnh lá là phân đoạn ảnh lá Tuy nhiên, phân đoạn ảnh là bài toán khó với nhiều thách thức trong thị giác máy tính

Do đó, các công trình hiện tại thường dựa trên giả định rằng ảnh lá được chụp trong một nền tương đối đơn giản Có rất ít công trình đề cập đến việc phân đoạn ảnh lá trên nền phức tạp [8] [18] Trong [18] Tác giả đã đề xuất một

phương pháp có tên là Marker-Controller Watersheds Tuy nhiên, phương pháp này dựa trên giả định rằng ảnh là bimodal.

Trong [8], các tác giả đã đề xuất một phương pháp phân đoạn ảnh

lá Trong nghiên cứu này, trước tiên phân đoạn dựa trên mô hình lá đa giác sau đó phát triển một active contour Tuy nhiên, công trình này chỉ giới hạn làm việc với lá cây với nền đơn giản

Khi làm việc với bài toán nhận dạng thực vật dựa trên ảnh lá, nhiệm vụ quan trọng nhất là biểu diễn lá Trong đó, chúng ta cần xác định các đặc trưng thích hợp để biểu diễn lá tốt nhất Một một số đặc trưng đã được đề xuất cho việc biểu diễn lá trình bày trong ImageClef2013 Các phương pháp này chủ yếu làm việc với giả thiết là nền đơn giản

Gần đây [9] đã đề xuất sử dụng KDES (kernel descriptor) được sử dụng trong [5] để nhận dạng lá Bộ mô tả này vượt trội hơn các bộ mô tả tốt nhất như SURF Công trình này làm việc với nền đơn giản KDES cải tiến không bất biến đối với scale (kích thước ảnh) và phép xoay

CHƯƠNG 2 PHƯƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES

2.1 Giới thiệu

Năm 2010, Liffeng Bo và cộng sự [5] đề xuất một bộ mô tả đối tượng nói chung có tên là KDES (kernel descriptor) Với đặc trưng KDES, việc trích chọn đặc trưng hình ảnh của mỗi bộ phận của cây đều được xây dựng theo hướng: từ đặc trưng mức pixel, đến đặc trưng mức patch, rồi đặc trưng mức ảnh.Bằng thực nghiệm, các tác giả đã chỉ ra rằng KDES tốt hơn những phương pháp đã có trên cơ sở dữ liệu Cifa-10, Caltech-101, ImageNet Năm

2015 với những kết quả đã được chỉ ra của KDES [15], luận văn này áp dụng KDES cho bài toán tra cứu tra cứu các loài thực vật quý hiếm tại khu bảo tồn thiên nhiên Na Hang tỉnh Tuyên Quang dựa vào hình ảnh lá cây

2.2 Phương pháp KDES

2.2.1 Gradient, màu sắc, và hình dạng kernels tương ứng

Với đặc trưng KDES, việc trích chọn đặc trưng hình ảnh của mỗi bộ phận của cây đều được xây dựng theo hướng: từ đặc trưng mức pixel, đến đặc trưng mức patch, rồi đặc trưng mức ảnh

- Đặc trưng mức pixel

Theo [5], một số đặc trưng có thể được tính toán ở mức pixel như: giá trị pixel (rgb color), kết cấu (local binary patterns – lbp), gradient Trong đề tài này, em sử dụng đặc trưng gradient đối với ảnh lá cây

+Đặc trưng gradient

Vector gradient tại một pixel z được xác định bởi biên độ m z( )và hướng ( )z

 Trong [2], sau khi đã được chuẩn hóa (chia cho biên độ vector tại mỗi điểm), một vector 2 chiều đặc trưng cho mỗi điểm ảnh được biểu diễn dưới dạng:

Qua khảo sát hàm mũ cơ số e của đối số khoảng cách Euclide là một thước đo tượng tự tốt để đánh giá sự tương đồng giữa hai vector đặc trưng Việc sử dụng hàm mũ cơ số e với số mũ âm là một điểm rất mạnh của việc matching đối với KDES Vì nếu 2 patch có sự tương đồng lớn thì chuẩn 2 của hiệu sẽ nhỏ và độ đo đánh giá lớn Ngược lại, sự tương đồng càng giảm thì giá trị của match kernel cũng sẽ giảm và giảm rất nhanh Điều này cho phép

ta lấy được những patch có sự tương đồng rất cao với patch cần đối sánh

Xét 2 patch ảnh P và Q, hàm đối sánh giữa các đặc trưng gradient và LBP của chúng được định nghĩa như sau:

- Gradient Match Kernel

Gradient Match Kernel của 2 patch ảnh được xây dựng từ 3 Kernel, đó

là gradient magnitude kernel ̅ (theo biên độ), orientation kernel (theo hướng), position kernel (theo vị trí) Trong [2] Gradient Match Kernel được định nghĩa như sau:

( ) ∑ ∑ ̅( )

̃( ) ̃( )/ ( )

Trong đó:

 z, : các điểm ảnh trên các patch P, Q

 ̅( ) ( ) ( ): hàm đối sánh giữa 2 biên độ của 2 vector gradient Với m(z) và ( ) là biên độ của vector gradient tại z và

 ̃( ) ̃( )/ ( ‖ ̃( ) ̃( )‖ ) : hàm đối sánh theo hướng của 2 vector gradient tại z và

z và

thị vị trí 2D của một pixel trong một bản vá hình ảnh (được chuẩn hóa thành

Tóm lại, kernel phù hợp với độ dốc Kgrad của chúng tôi bao gồm ba kernel: kernel tuyến tính chuẩn hóa giống như trong biểu đồ định hướng, đánh giá sự đóng góp của từng pixel sử dụng cường độ gradient; kernel định hướng

tính toán độ tương tự của gradient định hướng; và vị trí kernel Gaussian

đo khoảng cách hai pixel là không gian

Có thể thấy kernel của biểu đồ định hướng cung cấp một cách đơn giản, thống nhất để biến các thuộc tính pixel thành đặc trưng patch-level Một phần

mở rộng ngay lập tức là xây dựng các kernel khớp màu trên các giá trị pixel:

(2.3)

tương tự của hai giá trị pixel

Mặc dù gradient kernel tương ứng có thể chụp các biến thể hình ảnh và kernel khớp màu có thể mô tả sự xuất hiện của hình ảnh, chúng tôi thấy rằng một kernel phù hợp trên các mẫu nhị phân cục bộ có thể chụp hình dạng gốc hiệu quả hơn:

(2.4)

giá trị pixel trong 3 x 3 khu vực lân cận , là một hằng số nhỏ, là vector nhị phân biểu diễn dưới dạng cột nhị phân thể hiện sự khác biệt giá trị pixel trong một cửa sổ gốc quanh Kernel tuyến tính chuẩn hóa

cân nhắc sự đóng góp của từng mẫu nhị phân cục bộ, và Gaussian kernel

đo lường sự tương đồng hình dạng thông qua các mẫu nhị phân địa phương

Các Kernel tương ứng được xác định trên các thuộc tính pixel khác nhau cung cấp một cách thống nhất để tạo ra sự đa dạng, phong phú cho bộ

tính năng hình ảnh, đã được chứng minh là rất thành công để tăng độ chính xác nhận dạng.Tham chiếu Kernel phù hợp với gradient, màu sắc và hình dạng phù hợp với kernel là của riêng mình và bổ sung cho Sự kết hợp của chúng hóa ra luôn luôn (nhiều) tốt hơn tính năng cá nhân tốt nhất

cơ sở với độ dài và cường độ tương đương nhau từ vùng hỗ trợ để đảm bảo xấp xỉ chính xác tương ứng với các kernel; (2) tìm hiểu các vectơ cơ sở bằng cách sử dụng phân tích thành phần chính của kernel; Một lợi thế quan trọng của phương pháp này là không có cực tiểu cục bộ nào được tham gia, không giống như phân rã giá trị số ít kernel ràng buộc

Dưới đây là mô tả cách các tính năng không gian thu nhỏ được trích xuất từ kernel gradient Kgrad Các tính năng cho các kernel khác có thể được tạo ra theo cùng một cách Các kernel trong phương trình

Với là kết quả của Kronecker Từ đó, có thể chỉ ra rằng

Bởi vì chúng tôi sử dụng Gaussian kernel,

là một vectơ vô hạn

Một cách đơn giản để giảm kích thước là lấy mẫu các bản vá hình ảnh

đủ từ hình ảnh đào tạo và thực hiện KPCA cho các kernel phù hợp Tuy nhiên, cách tiếp cận như vậy làm cho các tính năng đã học phụ thuộc vào nhiệm vụ trong tay Hơn nữa, KPCA có thể trở nên không thể tính toán được khi số lượng bản vá rất lớn

Ở đây trình bày một cách tiếp cận để kết hợp gần đúng kernels trực tiếp mà không yêu cầu bất kỳ hình ảnh Theo phương pháp cổ điển, máy học

chiều hữu hạn các tính năng bằng cách chiếu F grad ( P ) vào một tập các

vectơ cơ sở Một vấn đề quan trọng trong quá trình chiếu này là cách chọn một tập các vectơ cơ sở làm cho kernel có chiều hữu hạn gần đúng kernel ban đầu Vì các thuộc tính pixel là các vectơ có chiều thấp, chúng ta có thể đạt được rất tốt xấp xỉ bằng cách lấy mẫu các vectơ cơ sở đủ bằng cách sử dụng lưới mịn trên vùng hỗ trợ Ví dụ, hãy xem xét Gaussian kernel

định hướng trên gradient Cho một tập các vectơ cơ sở

với là mẫu vectơ gradient chuẩn hóa, ta có thể tính gần

bởi tập hợp các vectơ cơ sở này Một quy trình như vậy tương đương với việc sử dụng hạt nhân có giới hạn:

(2.8)

Bên trái: kernel định hướng và xấp xỉ chiều hữu hạn của

nó γ o được đặt thành 5 (như được sử dụng trong các thí nghiệm) và

được cố định thành [1 0] Tất cả các đường cong hiển thị giá trị kernel là các hàm của Đường màu đỏ là hàm ground truth kernel k o, và các đường màu đen, xanh lá cây và xanh dương là các kernel xấp xỉ hữu hạn với các kích thước lưới khác nhau

Phải: lỗi bình phương trung bình gốc (RMSE) giữa xấp xỉ KPCA và kernel tương ứng như là một hàm của thứ nguyên Tính toán RMSE trên

10000 điểm dữ liệu được lấy mẫu ngẫu nhiên Ba dòng hiển thị RMSE giữa các hạt nhân K grad (màu đỏ) và K col (màu xanh) và K shape (màu xanh lá cây) và kernel gần đúng tương ứng của chúng

, và có thể đƣợc sử dụng một cách hiệu

quả như các tính năng trên các bản vá hình ảnh Kết quả được xác nhận như trong hình 2.1 Kết quả như mong đợi, lỗi xấp xỉ giảm nhanh chóng khi tăng kích thước lưới Khi kích thước lưới lớn hơn 16, kernel hữu hạn và kernel ban đầu hầu như không thể phân biệt được Đối với hình dạng kernel trên các mẫu nhị phân cục bộ, vì các biến là nhị phân, chúng ta chỉ cần chọn tập hợp tất cả các vectơ cơ sở 28

= 256 và do đó không có lỗi xấp xỉ nào được đưa ra

Tính năng nhỏ gọn Mặc dù là chiều hữu hạn, nhưng chiều có thể tăng do sản phẩm Kronecker Ví dụ, hãy xem xét bộ mô tả kernel hình dạng: kích thước của vectơ cơ sở trên kernel là 256; Nếu chúng ta chọn các vectơ cơ sở của hạt nhân vị trí trên lưới thông thường 5 x 5, thì chiều của

mô tả nhân hình dạng kết quả Fshape sẽ là 256 x 25 = 6400, quá cao cho các mục đích thực tế Lấy mẫu thống nhất dày đặc dẫn đến xấp xỉ chính xác nhưng không đảm bảo tính trực giao của các vectơ cơ sở, do đó đưa ra sự dư thừa Kích thước của vectơ cơ sở có thể được giảm thêm bằng cách thực hiện phân tích thành phần chính của kernel trên các vectơ cơ sở chung:

với là các vectơ cơ sở cho vị trí kernel và là số lượng vectơ cơ sở Thành phần chính của kernel -th có thể được viết là:

(2.9) trong đó và là kích thước của vectơ cơ sở cho hạt nhân định hướng và vị trí, và được học thông qua phân tích thành phần chính của hạt

(2.10) Như thể hiện trong hình 2.1, các kernel tương ứng có thể được xấp xỉ khá chính xác bằng cách sử dụng các vectơ cơ sở rút gọn của KPCA Trong khuôn khổ phân tích thành phần chính của kểnl, bộ mô tả kernel gradient có dạng:

(2.11)

Tóm lại, việc trích xuất các bộ mô tả kernel là để đánh giá hàm kernel

giữa các pixel May mắn thay, chúng ta có thể tính riêng hai giá trị hạt nhân với chi phí + , thay vì Bộ mô tả hạt nhân đắt nhất của chúng

ta, hạt nhân hình dạng, mất khoảng 4 giây trong MATLAB để tính toán trên một hình ảnh điển hình (độ phân giải 300 x 300 và 16 x 16 bản vá hình ảnh trên lưới 8x8)

Đó là khoảng 1,5 giây cho bộ mô tả kernel gradient, so với khoảng 0,4 giây cho SIFT trong cùng một cài đặt Việc triển khai dựa trên GPU hiệu quả hơn chắc chắn sẽ giảm thời gian tính toán cho các bộ mô tả kernel sao cho các ứng dụng thời gian thực trở nên khả thi

2.3 Phương pháp tra cứu lá cây sử dụng KDES cải tiến

Sơ đồ hệ thống tra cứu lá cây sử dụng KDES được trình bày trong hình 2.2 Hệ thống tra cứu lá cây được chia thành hai bước lớn: Bước 1 là biểu diễn lá cây; bước 2 là nhận dạng lá cây

- Bước 1 Biểu diễn lá cây: Đầu vào là ảnh lá cây đã được tách khỏi

nền phức tạp sao cho ảnh chưa toàn bộ lá cây, đồi thời chứa it nền nhất ( từ

nay gọi tắt là ảnh) Đầu ra là bộ mô tả ảnh lá cây (Vectơ đặc trưng biểu diễn ảnh lá cây) Bước này được chia thành các bước con sau đây:

Hình 2.2: Sơ đồ hệ thống nhận dạng lá cây sử dụng KDES

+ Trích chọn đặc trưng mức điểm ảnh: ở mức này, một vectơ gradient được tính cho mỗi điểm ảnh

+ Trích chọn đặc trưng mức patch: Ở mức này, đầu tiên chúng ta sinh

ra các tập patch, sau đó tính toán đặc trưng mức patch Chúng ta sử dụng các patch với kích thước thích nghi Với cách sinh tập pacth với kích thước thích nghi, số lượng patch được sinh ra là như nhau với các ảnh có kích thước khác nhau Phương pháp này cũng giúp đặc trưng mức patch it nhạy cảm hơn đối với sự thay đổi của kích thước ảnh Với mỗi patch chúng ta tính toán vectơ đặc trưng như sau: với một patch, chúng ta tính một vectơ đặc trưng dựa trên phương pháp đã nêu trong [5] Cụ thể, trước tiên chúng ta tính hướng chính của patch, sau đó chuẩn hóa tất cả các vectơ gradient theo hướng chính này Việc chuẩn hóa này giúp véctơ đặc trưng mức patch bất biến với phép xoay

+ Trích chọn đặc trưng mức ảnh: Ở bước này, các đặc trưng mức patch được kết hợp để tạo ra đặc trưng mức ảnh bằng cách sử dụng một cấu trúc Pyramid (Kim tự tháp) Với mỗi ảnh, véctơ đặc trưng cuối cùng được tính toán dựa trên các véctơ đặc trưng ở mức thấp hơn sử dụng EMK (Eficient Match Kernel [5] Đầu tiên, chúng ta tính toán véctơ đặc trưng cho mỗi ô (cell) của cấu trúc Pyramid, sau đó nối các véctơ đặc trưng của các ô này lại với nhau để thu được véctơ đặc trưng cuối cùng

- Bước 2: Nhận dạng lá cây: Ta đi tính khoảng cách từ ảnh truy vấn

đến các lớp Sau khi lá cây được biểu diễn bởi một véctơ đặc trưng, ta có thể

sử dụng một phương pháp nào đó để tính toán khoảng cách từ ảnh truy vấn đến các lớp Ở đây chúng ta sử dụng máy véctơ hõ trợ nhiều lớp (Multi-class support vector machine – MSVM)

Phần tiếp theo trình bày chi tiết các bước tính toán véctơ đặc trưng

2.4 Biểu diễn ảnh lá cây

mỗi điểm ảnh z được xác định bởi hai thành phần: đó là độ lớn m(z) và hướng

θ(z) Trong [5], hướng được định nghĩa như công thức (2.2) sau:

2.4.2 Tính toán đặc trưng mức patch

2.4.2.1 Sinh tập patch với kích thước patch thích nghi

Trong [5], các patch có kích thước cố định đối với tất cả các ảnh trong

cơ sở dữ liệu Tuy nhiên trong thực tế, các ảnh đầu vào thường có kích thước khác nhau Với các file hình ảnh có kích thước nhỏ thì số lượng các patch được sinh ra cũng nhỏ, dẫn đến véctơ đặc trưng thu được mang lại ít thông tin Hơn nữa, hai véctơ đặc trưng của hai ảnh của cùng một lá cây ở hai kích

Hình 2.3: patch thích nghi với = = 8, do đó = = 9

thước khác nhau có thể sẽ rất khác nhau Vì vậy ta có thể thấy rằng véctơ đặc trưng tính toán bằng cách được trình bày trong [5] nhạy cảm với sự thay đổi của kích thước ảnh

Hình 2.4 (a,b) minh họa vấn đề này Hình 2.4(a) và hình 2.4 (b) là hai ảnh của cùng một lá cây với hai kích thước khác nhau Ảnh trong hình 2.4(a) nhỏ hơn ảnh trong hình 2.4 (b) Khi chúng ta sử dụng kích thước patch cố định bằng nhau là 16x16 và kích thước ô lưới cố định là 8x8, ảnh trong hình 2.4(b) thu được 77 patch trong khi đó ảnh trong hình 2.4(a) chỉ thu được 24 patch Một patch trong hình 2.4(a) chứa nhiều thông tin thực tế hơn là một patch trong hình 2.4(b) ta thấy rõ ràng rằng tập véctơ đặc trưng mức patch thu được từ hai ảnh ở hai hình 2.4 (a) và và 2.4(b) là rất khác nhau mặc dù đó

là ảnh của cùng một chiếc lá cây, thậm chí là cùng một ảnh khố, chỉ là kích thước hai ảnh khác nhau

Hình 2.3 minh họa kỹ thuật sinh patch với kích thước thích nghi Giả sử

số lượng patch là x ( patch theo chiều ngang và patch theo chiều dọc) Số ô lưới x được xác định là , Với mỗi ảnh có kích thước w × h thì chiều

ngang của ô lưới thích nghi là

và chiều dọc là

Một patch thích nghi sẽ có kích thước là trong đó và Một patch được hình thành từ 4 ô lưới vùng chồng lấn giữa 2 patch kế tiếp theo chiều dọc hoặc chiều ngang là một vùng rộng 2 ô lưới Với cách sinh tập patch thích nghi này, kích thước các patch tỷ

kích thước patch cố định bằng nhau; (b,c): hai ảnh của cùng một lá với kích thước ảnh khác nhau sinh ra hai tập patch với kỹ thuật sinh patch thích nghi

hai ảnh ở hình 2.4(b,c), chúng ta thu được hai tập patch với số lượng bằng nhau theo cả chiều ngang và chiều dọc Hai ảnh trong hình 2.4(b,c) cũng là hai ảnh của cùng một lá cây với kích thước khác nhau Ta có thể thấy nội dung phần ảnh trong 1 patch của hình 2.4(b) tương tự với nội dung trong một patch của hình 2.4(c) Do đó tập véctơ đặc trưng mức patch thu được từ ảnh trong hình 2.4(b) và 2.4(c) tương tự nhau Điều đó khiến véctơ đặc trưng mức ảnh sẽ tương tự nhau, tức là véctơ đặc trưng thu được bất biến với sự thay đổi kích thước ảnh

2.4.2.2 Tính toán véctơ đặc trưng mức patch

Véctơ đặc trưng mức patch được tính toán dựa trên ý tưởng của các phương pháp kernel (kernel method) Từ một match kernel giữa hai patch, chúng ta có thể trích rút véctơ đặc trưng của patch sử dụng một ánh xạ xấp

xỉ đặc trưng mức patch

Gradient match kernel được xây dựng từ 3 kernel, đó là magnitude kernel , orientation kernel và position kernel

(2.12)

Trong đó P và Q là các patch của hai ảnh cần đối sánh là tọa độ

tại các điểm ảnh trong các patch P và Q

Sử dụng trực tiếp hướng gradient trong orientation kernel thì vect đặc trưng trích rút được ứng với match kernel sẽ không bất biến với phép xoay Do đó chúng ta chuẩn hóa hướng gradient trước khi sử dụng trong match kernel Dựa trên ý tưởng trong bộ mô tả SIFT Lowe (1999) [10] , chúng ta tính hướng chính của patch rồi chuẩn hóa tất cả các vect gradient theo hướng chính này Ta có thể sử dụng một trong hai cách để xác định hướng chính của patch P Cách thứ nhất là cách được sử dụng trong

Lowe (1999) [10] Cách thứ hai là lấy hướng chính là hướng véctơ tổng của tất cả các véctơ gradient trong patch Khi đó, góc của các véctơ gradient tại

điểm ảnh trong patch P trở thành (2.13):

(2.13) Sau đó, theo (2.2), hướng gradient sau khi chuẩn hóa sẽ là: