Một phương pháp nhận dạng cây dựa trên ảnh lá nền phức tạp được đề xuất. Phương pháp đề xuất sử dụng phương pháp phân đoạn tương tác từ người dùng cho phép xác định vùng lá cần quan tâm. Các đặc trưng sau đó được trích chọn và biểu diễn bởi bộ mô tả đặc trưng nhân cải tiến. Các kết quả thực nghiệm trên các cơ sở dữ liệu tiêu chuẩn khác nhau đã chỉ ra hiệu quả của phương pháp vượt qua nhiều phương pháp hiện đại dựa trên các đặc trưng được trích chọn thủ công.
Trang 1BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
Hà Nội −2020
Trang 2Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội
Người hướng dẫn khoa học:
1 PGS TS Lê Thị Lan
2 PGS TS Hoàng Văn Sâm
Phản biện 1: PGS TS Nguyễn Thị Thủy
Phản biện 2: PGS TS Trần Quang Bảo
Phản biện 3: PGS TS Phạm Văn Cường
Luận án sẽ được bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:
Vào hồi giờ, ngày tháng năm
Có thể tìm hiểu luận án tại thư viện:
1 Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội
2 Thư viện Quốc gia Việt Nam
Trang 3GIỚI THIỆU
Động cơ
Thực vật có một vai trò quan trọng trong hệ sinh thái Ngày nay, sự đa dạng của
hệ sinh thái nói chung và hệ thực vật nói riêng đang đứng trước nguy cơ bị suy giảm
do sự khai thác không hợp lý của con người Nhiều giải pháp đã được đề xuất nhằmbảo vệ đa dạng sinh học của hệ thực vật trong đó việc nâng cao hiểu biết của ngườidân là được đánh giá là một trong những giải pháp hữu hiệu trong đó tên của thựcvật là chìa khóa quan trọng cho phép truy nhập đến các thông tin khác Tuy nhiên, sốcây mà một người bình thường có khả năng nhận biết thường rất thấp so với số lượngcây có trong hệ thực vật
Sự phát triển và phổ dụng của các thiết bị thu nhận và lưu trữ như máy ảnh, điệnthoại cho phép xây dựng được một cơ sở dữ liệu hình ảnh lớn về các loài cây trong hệthực vật Cùng với đó, các tiến bộ trong các kỹ thuật xử lý hình ảnh và nhận dạngcho phép thực tiễn hóa ước mơ xây dựng các hệ thống nhận dạng cây tự động
Trong những năm vừa qua, các nghiên cứu về nhận dạng cây dựa trên hình ảnhcủa cây đã nhận được sự quan tâm của các nhà nghiên cứu liên lĩnh vực: thị giác máytính, học máy và thực vật học Nhiều cải tiến đáng kể về chất lượng nhận dạng đãđược ghi nhận [4] Một số hệ thống nhận dạng và tìm kiếm cây cũng đã được triểnkhai trên thực tế
Tuy vậy, nhận dạng cây hiện vẫn chưa được sử dụng rộng rãi do hai hạn chế chính.Hạn chế thứ nhất là số loài cây có thể nhận dạng được vẫn còn rất thấp so với số lượngcây có trong hệ thực vật Cơ sở dữ liệu hình ảnh cây lớn nhất là LifeCLEF 2017 với10,000 loài cây [2]) so với số lượng hơn 400,000 loài cây tồn tại trên trái đất [3]) Hạnchế thứ hai là độ chính xác của nhận dạng cây tự động vẫn còn thấp đặc biệt là khilàm việc trên dữ liệu đa dạng với số lớp lớn
Mục tiêu
Luận án NCS hướng đến xây dựng các phương pháp hiệu quả cho phép nâng cao
độ chính xác của nhận dạng cây dựa vào hình ảnh
Để đạt được mục tiêu này, trước tiên luận án tập trung vào cải thiện độ chính xáccủa nhận dạng cây dựa trên ảnh của một bộ phận Có nhiều bộ phận trên cây có thểđược dùng để xác định cây Tuy nhiên, trong các bộ phận khác nhau của cây, lá là bộphận được lựa chọn nhiều nhất Các nghiên cứu trước đó thường dựa trên giả thuyết
là lá được chụp trên nền đồng nhất Giả thuyết này thường không thỏa mãn trong cácđiều kiện làm việc thực tế, do đó trong luận án này, chúng tôi tập trung nghiên cứu và
Trang 4phát triển phương pháp nhận dạng lá trên nền phức tạp.
Thứ hai, xuất phát từ quan sát là việc sử dụng hình ảnh của một bộ phận đểnhận dạng không phải lúc nào cũng phù hợp Nhiều cây rất dễ bị nhận nhầm nếu sửdụng lá nhưng lại có khả năng phân biệt rất cao nếu dựa trên hoa Nhận dạng cây dựatrên nhiều bộ phận có thể được mô hình hóa thành bài toán kết hợp muộn: các kếtquả của nhận dạng cây dựa trên nhiều ảnh bộ phận có thể được xác định dựa trên kếtquả nhận dạng đơn bộ phận qua các chiến lược kết hợp Do đó, mục tiêu thứ hai củaluận án là đề xuất các phương pháp kết hợp hiệu quả cho bài toán nhận dạng cây dựatrên các bộ phận
Mục tiêu cuối cùng của luận án liên quan đến ứng dụng của các kết quả nghiêncứu trong việc quảng bá thông tin của một tập các loài cây tương đối đặc thù: câythuốc Việt Nam thông qua việc phát triển chức năng tìm kiếm dựa trên hình ảnh trong
hệ thống tra cứu cây thuốc Việt Nam VnMed Các mục tiêu của luận án được tóm tắtlại như sau:
Phát triển phương pháp nhận dạng cây dựa trên ảnh lá với nền phức tạp;
Đề xuất kỹ thuật kết hợp cho nhận dạng cây dựa trên nhiều bộ phận;
Phát triển chức năng tìm kiếm cây dựa trên hình ảnh tích hợp trong ứng dụng
hệ thống tìm kiếm cây thuốc Việt Nam
Các đóng góp
Luận án có ba đóng góp chính như sau:
Đóng góp 1: Một phương pháp nhận dạng cây dựa trên ảnh lá có nền phức tạpđược đề xuất Phương pháp đề xuất kết hợp đồng thời phân đoạn tương tác và
bộ mô tả đặc trưng nhân (KDES) cải tiến
Đóng góp 2: Một kỹ thuật kết hợp cho nhận dạng cây dựa trên hai bộ phận
Kỹ thuật kết hợp này là tích hợp giữa luật kết hợp nhân và kỹ thuật kết hợp dựatrên phân lớp
Đóng góp 3: Cuối cùng, một mô đun tìm kiếm cây dựa trên hình ảnh được pháttriển và tích hợp trong ứng dụng tìm kiếm cây thuốc Việt Nam
Cấu trúc luận án
Giới thiệu: Phần này trình bày động cơ và mục tiêu của luận án, cũng như ngữcảnh, hạn chế và thách thức gặp phải trong bài toán nhận dạng cây Phần cuốicủa phần này trình bày một sơ đồ làm việc chung và các đóng góp chính của luậnán
Chương 1: Các nghiên cứu liên quan: Chương này hệ thống lại các nghiên cứuliên quan và các cách tiếp cận đề xuất cho nhận dạng cây tự động
Trang 5 Chương 2: Trong chương này, một phương pháp cho nhận dạng cây dựa trên ảnh
lá nền phức tạp được đề xuất Trong phương pháp đề xuất, để trích chọn vùng
lá từ ảnh, chúng tôi đề xuất áp dụng phân đoạn tương tác Sau đó, đặc trưngnhân KDES cải tiến được áp dụng để trích chọn các đặc trưng của lá
Chương 3: Chương này tập trung vào nhận dạng cây dựa trên nhiều bộ phận củacây Chúng tôi đề xuất một phương pháp kết hợp cho nhận dạng cây nhiều bộphận dựa trên các kết quả một bộ phận
Chương 4: Trong chương này, chúng tôi đề xuất một cách tiếp cận mới để xâydựng hệ thống nhận dạng cây tự động khi cơ sở dữ liệu không có sẵn và ứng dụngcủa cách tiếp cận đề xuất trong việc xây dựng chức năng tìm kiếm cây thuốcViệt Nam dựa trên hình ảnh
Kết luận: Chương này đưa ra các kết luận và các hướng nghiên cứu tiếp theo
CHƯƠNG 1 CÁC NGHIÊN CỨU LIÊN QUAN
1.1 Nhận dạng cây từ các ảnh của một bộ phận
Các nghiên cứu trước đây thường tập trung nhận dạng cây dựa trên ảnh của một
bộ phận cây Giữa các bộ phận của cây thì bộ phận lá được sử dụng rộng rãi nhất [4]bởi vì lá thường tồn tại trong thời gian dài, có số lượng lớn, có cấu trúc phẳng nên
dễ thu thập hơn so với các bộ phận khác Các nghiên cứu thường tập trung nhiều choảnh lá trên nền đơn giản do tính đơn giản của ảnh Sau bộ phận lá thì hoa là bộ phậnphổ biến tiếp theo [5] vì ảnh hoa rất dễ phân biệt các loài cây do các đặc điểm rất đặctrưng của hoa như màu sắc, hình dạng, sắp xếp cánh hoa, Các bộ phận khác cũngđược sử dụng để nhận dạng cây như bộ phận quả, thân, cành, toàn bộ
Hiện nay có hai cách tiếp cận cho bài toán nhận dạng cây Đối với cách tiếp cậnthứ nhất, các phương pháp nhận dạng dựa trên các đặc trưng được thiết kế thủ công[4] Các đặc trưng bao gồm đặc trưng toàn cục (đặc trưng màu sắc, kết cấu, hình dạng)
và đặc trưng bộ phận Các nghiên cứu thường kết hợp hai hay nhiều đặc trưng chomỗi bộ phận bởi vì không có một đặc trưng nào đủ mạnh để phân biệt được tất cả cáclớp
Đối với cách tiếp cận thứ hai là áp dụng các phương pháp học sâu [2] Mạng nơron tích chập (CNN) là một phương pháp học sâu, gần đây đã đạt được rất nhiềuthành công trong các bài toán thị giác máy tính như phát hiện đối tượng, phân đoạn,
và phân lớp ảnh [6] CNN có thể học tự động các đặc trưng từ các ảnh đầu vào màkhông phải thực hiện trích chọn thủ công Các CNN phổ biến như AlexNet, VGG,
Trang 6GoogLeNet và ResNet.
1.2 Nhận dạng cây từ ảnh nhiều bộ phận
Nhận dạng cây dựa trên một bộ phận là không luôn luôn đạt được kết quả tốt do
sự tương tự cao giữa các loài và sự khác biệt lớn của các hình ảnh trong cùng một loài.Một cách thức được đề xuất ra để giải quyết điều này là thực hiện nhận dạng cây dựatrên nhiều bộ phận Hiện nay các nghiên cứu nhận dạng cây đã có xu hướng chuyển
từ nhận dạng một bộ phận sang nhiều bộ phận
Nhận dạng cây dựa trên ảnh nhiều bộ phận cây có thể chia thành hai nhóm: Nhómđầu tiên là quan tâm đến loại bộ phận của cây, như phân loại ảnh đầu vào là ảnh láhay ảnh hoa , nhóm thứ hai là không quan tâm ảnh thuộc vào bộ phận nào của cây[1] Trong nhóm đầu tiên, mỗi bộ phận sẽ được huấn luyện bởi một bộ phân lớp riêngbiệt Trong nhóm thứ hai, tất cả các ảnh sẽ được huấn luyện bởi cùng một bộ phânlớp Các kỹ thuật kết hợp được sử dụng để kết hợp các kết quả lại với nhau thường sửdụng là kỹ thuật kết hợp sớm và kỹ thuật kết hợp muộn
1.3 Các hệ thống nhận dạng và thu thập dữ liệu cây
Hiện nay có một số các ứng dụng nhận dạng cây dựa trên ảnh được triển khaitrên các thiết bị di động như Pl@ntNet, iNaturalist, iSpot, Leafsnap, FlowerChecker,PlantSnapp, Plantifier, [7, 8] Các ứng dụng này thường cung cấp ba chức năng chínhcho người dùng là chức năng khám phá, nhận dạng và thu thập dữ liệu Trong đó chứcnăng nhận dạng cây và chức năng thu thập dữ liệu cây là hai chức năng hỗ trợ chonhau Khi chức năng nhận dạng cây đạt được độ chính xác cao, hệ thống sẽ thu hútđược nhiều người dùng sử dụng hệ thống từ đó sẽ thu thập được nhiều dữ liệu từ ngườidùng Sau đó dữ liệu thu thập này sẽ được sử dụng để huấn luyện và cải tiến hệ thống
Dữ liệu thu thập nhiều và đa dạng giúp giải quyết được vấn đề học quá khớp trongnhận dạng Điều này chỉ ra vai trò quan trọng của hệ thống thu thập dữ liệu dựa trêncộng đồng
CHƯƠNG 2 PHƯƠNG PHÁP NHẬN DẠNG LÁ CÂY DỰA TRÊN
BỘ MÔ TẢ NHÂN
2.1 Phương pháp nhận dạng cây dựa trên ảnh lá nền phức tạp
Như đã phân tích ở chương 1, lá là bộ phận thường được sử dụng nhất Tuy nhiên,các nghiên cứu thường làm việc trên ảnh lá có nền đơn giản Trong luận án này, mộtphương pháp nhận dạng cây dựa trên ảnh lá trên nền phức tạp được đề xuất (xemHình 2.1) Phương pháp bao gồm 3 mô đun chính đó là tiền xử lý ảnh, trích chọn đặc
Trang 7trưng và phân lớp Ở mô đun phân lớp chúng tôi áp dụng bộ phân lớp máy véc tơ hỗtrợ (SVM).
Hình 2.1 Sơ đồ của phương pháp đề xuất nhận dạng cây dựa trên ảnh lá trên nền
phức tạp
2.2 Phân đoạn tương tác
Khi làm việc với lá trên nền phức tạp, bước xử lý đầu tiên cần phải làm là tách
lá ra khỏi nền Trong phương pháp đề xuất, chúng tôi áp dụng phương pháp phânđoạn tương tác Ngoài ra, để đánh giá hiệu quả của phương pháp phân đoạn tươngtác, chúng tôi so sánh hiệu quả của phương pháp này với phương pháp phân đoạn tựđộng và với phương pháp khi không thực hiện phân đoạn
Ý tưởng chính của phân đoạn tương tác là dựa trên các chỉ dẫn của người dùng
để thực hiện phân đoạn Phương pháp này thực hiện qua 4 bước (Hình 2.2) Ở bước
1, người dùng sẽ đánh dấu thủ công các vùng thuộc vào đối tượng (inner marker) vàcác vùng ngoài đối tượng (outer marker) bằng cách vẽ các đường thuộc vào 2 vùngnày Trong bước 2, thuật toán Watershed [9] sẽ được dùng để phân đoạn ảnh Sau đó
ở bước 3, người dùng sẽ lựa chọn vùng chứa lá quan tâm Cuối cùng, trong bước 4,vùng chứa lá sẽ được chuẩn hóa về hướng
Hình 2.2 Sơ đồ phân đoạn tương tác đề xuất
2.3 Trích chọn đặc trưng
Trong luận án này, bộ mô tả nhân (KDES) được đề xuất sử dụng để trích chọn đặctrưng cho lá KDES đầu tiên được đề xuất bởi Liefeng Bo [10] sử dụng các đặc trưngcủa điểm ảnh (gradient, màu sắc và hình dạng) và các đặc trưng mức vùng thông qua
Trang 8Hình 2.5 Một ví dụ của vùng kích thước cố định trong KDES gốc và vùng kích thướcthay đổi trong phương pháp KDES cải tiến (a,b) hai ảnh của cùng một lá với các kíchthước khác nhau được phân chia sử dụng vùng kích thước cố định; (b,c): hai ảnh củacùng một lá với kích thước khác nhau được phân chia sử dụng vùng kích thước thay đổi.
việc đối sánh các nhân KDES gốc được sử dụng cho phát hiện đối tượng và đạt đượccác kết quả ấn tượng trên các cơ sở dữ liệu tiêu chuẩn như CIFAR-10, Caltech-101,ImageNet KDES gốc có hai hạn chế là không bất biến với phép tỷ lệ và nhạy cảm vớiphép quay Trong nghiên cứu [11], Nguyễn Văn Tới và các công sự đã đề xuất ba cảitiến KDES gốc cho nhận dạng cử chỉ tay, chúng tôi gọi là KDES cải tiến Trong côngviệc này, chúng tôi đề xuất sử dụng KDES cải tiến cho việc trích chọn đặc trưng ảnh
lá KDES cải tiến được trích chọn thông qua ba bước: trích chọn đặc trưng mức điểm,mức vùng và mức ảnh
a) Trích chọn các đặc trưng mức điểm
Ở bước này, một véc tơ gradient được tính tại mỗi điểm ảnh Véc tơ gradient tạiđiểm z được định nghĩa bởi độ lớn của nó m(z) và θ(z) là góc của véc tơ gradient tạiđiểm z Theo [10], hướng ˜θ(z) được định nghĩa như sau:
˜θ(z) = [sin(θ(z))cos(θ(z))] (2.8)
b) Trích chọn các đặc trưng mức vùng
Tạo ra các vùng ảnh với kích thước thích nghi
Trong phần này, chúng tôi sử dụng các vùng ảnh có kích thước thay đổi thay vì
sử dụng kích thước cố định để nhận được cùng số vùng theo chiều ngang và chiều dọckhi kích thước ảnh thay đổi Hình 2.5 miêu tả một ví dụ của vùng kích thước cố địnhtrong KDES gốc và vùng kích thước thay đổi trong phương pháp KDES cải tiến
Tính đặc trưng mức vùng
Trang 9Hình 2.7 Cấu trúc đặc trưng mức ảnh là kết nối các véc tơ đặc trưng của các ô
trong các lớp của cấu trúc kim tự tháp
Các đặc trưng mức vùng được tính dựa trên ý tưởng của phương pháp nhân (kernelmethod) Xuất phát từ việc đối sánh nhân biểu diễn sự tương tự của hai vùng, chúngtôi có thể trích chọn véc tơ đặc trưng cho vùng sử dụng xấp xỉ bản đồ đặc trưng mứcvùng cho một hàm đối sánh nhân Đặc trưng xấp xỉ qua vùng ảnh P được cấu trúcnhư sau [11]:
Fgradient(P ) =X
z∈P
˜m(z)φo(˜ω(z)) ⊗ φp(z) (2.17)
trong đó ˜m(z) là véc tơ gradient chuẩn hóa, φo(˜ω(z)) và φp(z) là các bản đồ đặctrưng xấp xỉ cho các nhân hướng (orientation kernel) và nhân vị trí (position kernel)tương ứng, ⊗ là tích Kronecker
c) Trích chọn các đặc trưng mức ảnh
Khi các đặc trưng mức vùng được tính cho mỗi vùng, công việc còn lại là tínhvéc tơ đặc trưng biểu diễn cho toàn bộ ảnh Để làm điều này, chúng tôi phân chia ảnhthành các vùng nhỏ hơn Số vùng được chia trong một ảnh là theo cấu trúc kim tựtháp, tại mức k chúng tôi có 2k−1 vùng theo chiều ngang và 2k−1 vùng theo chiều dọc(Hình 2.7) Sau đó chúng tôi tính véc tơ đặc trưng cho mỗi vùng của ảnh và nối chúngvào trong một véc tơ được gọi là véc tơ đặc trưng mức ảnh được biểu diễn như dướiđây Véc tơ này sẽ là đầu vào của bộ phân lớp SVM cho pha huấn luyện và kiểm thử
Trang 102.4 Các kết quả thực nghiệm
2.4.1 Các cơ sở dữ liệu
Để thử nghiệm phương pháp đề xuất, chúng tôi sử dụng ba cơ sở dữ liệu:
Cơ sở dữ liệu ImageCLEF 2013: bao gồm 5,540 ảnh huấn luyện và 1,660 ảnhkiểm thử của 80 loài được trích ra từ cơ sở dữ liệu ImageCLEF 2013
Cơ sở dữ liệu Flavia: bao gồm 1,907 ảnh lá trên nền đơn giản của 32 loài
Cơ sở dữ liệu LifeCLEF 2015: Bảng 2.1 chỉ ra chi tiết cơ sở dữ liệu
Bảng 2.1 Cơ sở dữ liệu lá/lá nền đơn giản của LifeCLEF 2015
Leaf LeafscanTraining 13,367 12,605Testing 2,690 221Number of species 899 351
2.4.2 Các kết quả thực nghiệm
Các kết quả trên cơ sở dữ liệu ImageCLEF 2013
Các kết quả được chỉ ra trong Bảng 2.2 cho thấy trên cùng tập dữ liệu, KDEScải tiến cho kết quả tốt hơn trên KDES gốc Với cùng bộ đặc trưng KDES, phân đoạntương tác cho kết quả nhận dạng tốt hơn so với phân đoạn tự động và không phânđoạn Cuối cùng, phương pháp đề xuất kết hợp đồng thời KDES cải tiến và dữ liệuphân đoạn tương tác thì kết quả đạt được là tốt nhất với độ chính xác là 71.5%
Bảng 2.2 Độ chính xác thu được trong 6 thực nghiệm trên cơ sở dữ liệu ImageCLEF2013
KDES cải tiến với phân đoạn tương tác 71.5
KDES gốc với phân đoạn tương tác 63.4
KDES cải tiến với dữ liệu gốc 43.68
KDES gốc với dữ liệu gốc 43.25
KDES cải tiến với phân đoạn tự động 42.3
KDES gốc với phân đoạn tự động 35.5
Các kết quả trên cơ sở dữ liệu Flavia
Phương pháp đề xuất thực hiện trên cơ sở dữ liệu Flavia đạt được độ chính xác là99.06% Chúng tôi so sánh phương pháp đề xuất với các phương pháp khác trên cùng
cơ sở dữ liệu Flavia Các kết quả được cho như trong Bảng 2.4 cho thấy phương pháp
đề xuất cao hơn các phương pháp dựa trên đặc trưng thiết kế trước đó Độ chính xácđược cải thiện từ 0.36 đến 6.86% so với các kết quả khác
Các kết quả trên cơ sở dữ liệu LifeCLEF 2015
Trang 11Bảng 2.4 So sánh phương pháp đề xuất với các phương pháp dựa trên thiết kế đặc
trưng trên cơ sở dữ liệu FlaviaPhương pháp Đặc trưng, Phương pháp phân lớp Độ chính xác(%)Phương pháp
[13] CT,HU, moments, GF, GLCM; NFC 97.6
[15] GIST features (486), (PCA=40%); cosine KNN 98.7
[16] Zernike moments, HOG; SVM 96.4
[17] Geometrical features, invariant moments; RBPNN 94.1
[18] Geometrical features, vein features; SVM 92.2
Đối với dữ liệu này, độ đo đánh giá được sử dụng là score ở mức ảnh được địnhnghĩa bởi cuộc thi LifeCLEF2015 [1] Kết quả nhận dạng của phương pháp được đềxuất trong chương này được gửi cho cuộc thi với tên lần lượt là Mica Run 1, Mica Run
2 và Mica Run 3 Hình 2.12 biểu diễn kết quả của các đội tham gia cuộc thi Kết quảphương pháp đề xuất của chúng tôi trên tập ảnh lá nền đơn giản đứng thứ hai trongcuộc thi LifeCLEF2015 sau đội đứng đầu sử dụng phương pháp CNN, và cao hơn một
số đội khác cũng sử dụng mạng CNN Kết quả này cho phép minh chứng hiệu quả củaphương pháp tiền xử lý cũng như đặc trưng sử dụng để mô tả ảnh lá
Hình 2.12 Chi tiết score đạt được cho Leaf Scan [1], đội chúng tôi có tên là Mica
2.5 Kết luận
Trong chương này, một phương pháp nhận dạng cây dựa trên ảnh lá trên nền phứctạp đã được đề xuất Các kết quả thử nghiệm chỉ ra rằng việc kết hợp giữa KDES cảitiến và phân đoạn tương tác trong phương pháp đề xuất đã vượt qua KDES gốc và cácphương pháp dựa trên đặc trưng được thiết kế khác cho các cơ sở dữ liệu ImageCLEF
2013, Flavia và LifeCLEF 2015
Trang 12CHƯƠNG 3
KỸ THUẬT KẾT HỢP SAU CHO NHẬN DẠNG
CÂY DỰA TRÊN NHIỀU BỘ PHẬN
kỹ thuật kết hợp cho mỗi cặp bộ phận của cây Chúng tôi đề xuất một phương phápgọi là phương pháp kết hợp lai bền vững (RHF), phương pháp này thực hiện kết hợpphương pháp kết hợp dựa trên biến đổi và kết hợp dựa trên phân lớp (CBF) Cách kếthợp đề xuất được miêu tả trong Hình 3.2
Hình 3.2 Cách kết hợp đề xuất cho nhận dạng cây đa bộ phận
3.2 Phương pháp kết hợp lai bền vững RHF
Trong chương này, chúng tôi sử dụng một số ký hiệu sau:
q = {I1, I2, , IN}: là câu truy vấn chứa các ảnh của N bộ phận (trong công việcnày chúng tôi chọn N = 2);
C: số loài trong cơ sở dữ liệu;
si(Ik) là độ tin cậy của loài thứ i khi sử dụng ảnh của bộ phận k được gọi là Iknhư là câu truy vấn của nhận dạng đơn bộ phận với 1 ≤ i ≤ C, 1 ≤ k ≤ N ;
c: lớp dự báo cho câu truy vấn q
Trang 13Kỹ thuật kết hợp dựa trên sự biến đổi: bao gồm 3 luật chính sau:
Khi áp dụng 3 luật này, các ảnh trong câu truy vấn q được dự đoán vào lớp c địnhnghĩa như sau:
Luật lớn nhất (Max rule):
c = arg max
i
max
k=1 Nsi(Ik) (3.1)Luật tổng (Sum rule):
Kỹ thuật kết hợp dựa trên phân lớp (CBF)
Ý tưởng chính của kỹ thuật kết hợp dựa trên phân lớp là nhiều độ tin cậy đượcđưa vào một véc tơ đặc trưng và sử dụng một bộ phân lớp để phân tách các lớp dựatrên không gian các véc tơ đặc trưng thu được Chúng tôi áp dụng ý tưởng này chonhận dạng cây từ ảnh của hai bộ phận Trong đó, máy véc tơ hỗ trợ (SVM) được sửdụng do đây là một bộ phân lớp mạnh CBF được tiến hành như sau: Với mỗi mộtảnh, chúng tôi cho đi qua bộ phân lớp tương ứng, chúng tôi thu được một danh sách
C độ tin cậy tương ứng cho C lớp Với mỗi cặp ảnh, C cặp độ tin cậy tương ứng cho
C lớp được tạo ra bao gồm một mẫu dương tại vị trí lớp đúng và C − 1 mẫu âm cònlại Các mẫu dương và mẫu âm được mô tả trong hình 3.3 Sau đó bộ phân lớp SVMđược sử dụng để huấn luyện các mẫu này
Trong pha kiểm thử, cho câu truy vấn q, phương pháp CBF trả về kết quả hai xácsuất dự báo cho loài thứ i: một cho lớp dương ký hiệu Ppos(i, q) và một cho lớp âm kýhiệu Pneg(i, q) Danh sách các loài được xếp hạng bởi si(q), ở đó si(q) là độ tin cậy của