Truy xuất thông tin máy học và ứng dụng

Truy xuất thông tin máy học và ứng dụng

MÁY HỌC VÀ ỨNG DỤNG

Hướng dẫn khoa học: GS.TSKH HOÀNG VĂN KIẾM

Báo cáo chuyên đề NCS

1

1 Giới thiệu

khái niệm ngữ nghĩa trong ảnh

sao cho có thể xác định các khái niệm có trong ảnh/video

3

Bài toán xác định khái niệm

• Cho trước tập dữ liệu huấn luyện gồm:

một ảnh có chứa những khái niệm nào và các ảnh thuộc cùng một khái niệm

• Yêu cầu: cần xác định xem ảnh mới có

chứa những khái niệm nào ?

•  Đây là bài toán phân lớp ảnh trong

trường hợp một ảnh có thể thuộc nhiều lớp

4

Những thách thức

• Tập dữ liệu là các ảnh chia sẻ từ internet, hình ảnh trong thực tế,…

5

Những thách thức

• Một khái niệm có nhiều ảnh khác nhau

6

Những thách thức

• Một ảnh có chứa nhiều khái niệm khác

nhau

Ảnh có chứa 9 khái niệm

7

Những thách thức

• Dữ liệu huấn luyện bị nhiễu.

timeofday_day hoặc ảnh chứa mặt trời nhưng được gán là timeofday_night… )

8

Những kết quả liên quan

• Kết quả cao nhất trong năm 2012 trên tập

dữ liệu này có MiAP là 0.4367

9

Những kết quả liên quan

• Bảng so sánh kết quả giữa các khái niệm

10

Mô hình chung xác định khái niệm

Các khái niệm

11

Rút trích đặc trưng ảnh

• Mỗi ảnh sẽ được mô tả bằng một vector đặc trưng sao cho có thể thực hiện các tính toán và so sánh dựa trên vector đặc trưng.

• Trong chuyên đề này, chúng tôi xét các đặc trưng cục bộ dựa trên hình ảnh

(visual): SIFT, SURF,…

12

Đặc trưng cục bộ

Các bước xác định đặc trưng cục bộ:

• Xác định các điểm quan tâm (keypoint,

interest point) trong ảnh.

• Mô tả các điểm quan tâm ( descriptors) bằng vector nhiều chiều có dạng số.

13

Đặc trưng cục bộ

• Gọi là đặc trưng cục bộ vì kết quả so sánh dựa trên

những điểm cục bộ giống nhau giữa hai ảnh

14

Xác định các điểm keypoint

đổi nhỏ) với các phép biến đổi như tịnh tiến, xoay, tỉ lệ khác nhau, thay đổi độ sáng, góc nhìn khác nhau…

15

Xác định các điểm keypoint

• Có nhiều phương pháp: Hessain, Harris, SIFT, SURF, …

16

Các phương pháp mô tả keypoint

Biễu diễn vector đặc trưng

• Vì số lượng descriptor trong ảnh thường rất lớn và khác nhau ( từ vài trăm đến vài chục nghìn)

• Chi phí để thực hiện so sánh tìm điểm

giống nhau giữa các ảnh là rất lớn.

•  Cần phải biểu diễn ảnh trong một không gian có số chiều giống nhau.

18

Mô hình bag of word

• Xây dựng từ điển các từ (visual word)

19

Mô hình bag of word

• Thống kê tần suất các từ có trong ảnh 

vector đặc trưng cho ảnh

20

Mô hình bag of word

• Ví dụ: biểu diễn vector đặc trưng cho ảnh

21

Các thuật toán máy học

để tiến hành xác định các khái niệm:

thuật toán SVM,…

sát để xây dựng các visual word: thuật toán K-Means, GMM,

22

Quá trình phân lớp ( xác định khái niệm)

• Giai đoạn huấn luyện: dựa trên tập mẫu

• Xác định các ảnh thuộc mẫu dương và

• Các ảnh thuộc mẫu âm

• Dùng phương pháp SVM để học

• Giai đoạn kiểm tra: xác định xem ảnh kiểm tra có chứa khái niệm không ?

23

SIFT, SURF và HARRIS

SIFT, SURF và ColorDescriptor (OpponentSIFT)

24

Kết quả thực nghiệm

• SVM ( one versus all)

• Mẫu dương: dựa trên tập huấn luyện

• Mẫu âm: chọn ngẫu nhiên

Kết quả thực nghiệm

26

Kết quả thực nghiệm

• Kết quả theo độ đo MAP cho 20 khái

niệm

27

Kết quả thực nghiệm

• Kết quả theo độ đo GMAP cho 20 khái

niệm

28

Kết quả thực nghiệm

• Kết quả theo độ đo GMAP cho 20 khái

niệm

29

Kết quả thực nghiệm

• So sánh kết quả thực nghiệm trong

chuyên đề so với kết quả cao nhất trong ImageClef 2012

30

Kết luận và hướng phát triển

• Kết luận:

mô tả ảnh dựa trên các đặc trưng cục bộ

bài toán xác định khái niệm

chuẩn liên quan

31

Kết luận và hướng phát triển

• Hướng phát triển:

– Tiến hành thêm thực nghiệm trên các bộ mô tả khác nhau, kết hợp với các phương pháp xác định điểm quan tâm

– Tăng kích thước từ điển để kiểm tra mối liên quan giữa từ điển và độ chính xác

– Tăng số lượng khái niệm thực nghiệm.

– Chọn lọc dữ liệu học và thử nghiệm các phương pháp phân lớp khác ngoài phương pháp SVM.

– Viết bài báo dựa trên kết quả đạt được.

32

Góp ý của hội đồng

• Thầy Kiếm: tên chuyên đề nên đổi thành

“xác định khái niệm trong ảnh dựa trên thuật toán máy học” để phù hợp hơn.

• Thầy Khứ:

trình viết lại khoảng 3 trang Vì đây là bài toán quan trọng: bắt buộc hình ảnh = tiếng nói

33

trưng ? Ngoài k-means có sử dụng SNN ?

34

Góp ý của hội đồng

• Thầy Nhơn:

diễn nó như thế nào, căn cứ xác định khái niệm ( tập ảnh ), mô tả như thế nào để biết khái niệm

35