NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC KỸ THUẬT PHÁT HIỆN BÀN TAY

Trang 1

TRƯỜNG ĐH CÔNG NGHIỆP HÀ NỘI

KHOA CÔNG NGHỆ THÔNG TIN

NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC KỸ THUẬT

PHÁT HIỆN BÀN TAY

Giảng viên Hướng dẫn : Ths Ng ô Đ ứ c Vĩn h

Trang 2

I. Video demo v ng d ng c a k thu t phát ề ứ ụ ủ ỹ ậ

hi n bàn tayệ

II. Gi i thi u các k thu t phát hi n bàn tayớ ệ ỹ ậ ệ

III. T ng quan v các k thu t x lý nhổ ề ỹ ậ ử ả

IV. Gi i pháp phát hi n bàn tay c a DSTả ệ ủ

V. Hư ng nghiên c u phát tri n tương laiớ ứ ể

NỘI DUNG BÁO CÁO

Trang 3

I. Video demo v ng d ng c a k ề ứ ụ ủ ỹ

thu t phát hi n bàn tayậ ệ

II. Gi i thi u các k thu t phát hi n bàn tayớ ệ ỹ ậ ệ

III. T ng quan v các k thu t x lý nhổ ề ỹ ậ ử ả

IV. Gi i pháp phát hi n bàn tay c a DSTả ệ ủ

NỘI DUNG TIẾP THEO

Trang 4

I Video gi i thi u v ng d ng ớ ệ ề ứ ụ

c a k thu t phát hi n bàn tay ủ ỹ ậ ệ

Trang 5

 Tivi thông minh

Trang 6

Trang 7

II Gi i thi u bài toán và các k ớ ệ ỹ

thu t phát hi n bàn tay ậ ệ

Trang 8

II Gi i thi u bài toán và các k ớ ệ ỹ

thu t phát hi n bàn tay ậ ệ

Trang 9

1. D a trên đ c trưng c a bàn tay và các ngónự ặ ủ

II Gi i thi u các k thu t phát ớ ệ ỹ ậ

hi n bàn tay ệ

Trang 10

1. D a trên đ c trưng c a bàn tay và các ngónự ặ ủ

Trang 11

2 Phát hi n biên nh và so kh p v i t p m u ệ ả ớ ớ ậ ẫ

hu n luy nấ ệ

hi n bàn tay ệ

Trang 13

3 S d ng các đ c trưng Haar-likeử ụ ặ

hi n bàn tay ệ

Trang 14

- Th i gian hu n luy n quá lâuờ ấ ệ

hi n bàn tay ệ

Trang 16

đi m c a k thu t này ể ủ ỹ ậ

hi n bàn tay ệ

Trang 17

4 Ti p c n d a trên phân tách màu daế ậ ự

hi n bàn tay ệ

Trang 18

4 Ti p c n d a trên phân tách màu daế ậ ự

Ưu đi m: ể

- Thu h p không gian bài toánẹ

- Sát v i th giác con ngư iớ ị ờ

- D cài đ tễ ặ

Như c đi m ợ ể

- D b nhi u, do nh hư ng b i y u t ánh ễ ị ễ ả ở ở ế ốsáng

hi n bàn tay ệ

Trang 19

5 M ng nơ-ron nhân t o và k thu t PCAạ ạ ỹ ậ

Chưa có chính xác m t tài li u nào hoàn ộ ệ

Trang 20

6 Xây d ng b n đ chi u sâu đ phân tách cơ ự ả ồ ề ể

th ngư i (Intel CES 2011, Kinect)ể ờ

hi n bàn tay ệ

Trang 21

6 Xây d ng b n đ chi u sâu đ phân tách cơ ự ả ồ ề ể

th ngư i (Intel CES 2011, Kinect)ể ờ

- Chi phí đ u tư cho thi t bầ ế ị

hi n bàn tay ệ

Trang 22

Trang 24

Trang 26

IV 1 K thu t ti n x lý ỹ ậ ề ử

Phát hi n màu da s d ng không ệ ử ụ

gian màu YCrCb

Trang 28

S d ng ngư ng 2 đ lo i tr ử ụ ỡ ể ạ ừ

nh ng vùng nhi u xung quanh ữ ễ

vi n bàn tay v a đư c tách ề ừ ợ

Trang 29

Khoanh vùng bàn tay trên nh màu ả

da (S d ng thu t toán Graham và ử ụ ậ

tìm đi m c c ti u, c c đ i đ a ể ự ể ự ạ ị

phương)

Lo i bạ ỏ

Trang 30

Khoanh vùng bàn tay trên nh màu ả

da (S d ng thu t toán loang và tìm ử ụ ậ

đi m c c ti u, c c đ i đ a phương)ể ự ể ự ạ ị

Trang 31

Trang 32

Tách bàn tay kh i nh => Chuy n ỏ ả ể

qua module nh n d ngậ ạ

Trang 33

Gi i thu t phân lo i d a trên phân ả ậ ạ ự

c pấ

Trang 35

 Ban đ u 2 hư ng l a ch n: ầ ớ ự ọ

◦ S d ng K thu t PCA ử ụ ỹ ậ

◦ S d ng k thu t m ng nơ-ron nhân t o ử ụ ỹ ậ ạ ạ

IV 2 Nh n d ng bàn tay ậ ạ

Trang 36

1) Tính toán ban đ u v kích thư c ầ ề ớ

IV 2 Nh n d ng bàn tay ậ ạ

Trang 37

1) Tính toán ban đ u v kích thư c ầ ề ớ

Trang 40

Như c đi m c a gi i thu t BP ợ ể ủ ả ậ

 N u tham s t c đ h c nh thì h i t ế ố ố ộ ọ ỏ ộ ụ

ch m, ngư i l i t c đ h c l n thì ậ ợ ạ ố ộ ọ ớ thi u chính xác ế

 Gi i thu t có th b t c t i các c c tr ả ậ ể ị ắ ạ ự ị

đ a phương mà không th đ t đư c ị ể ạ ợ

c c tr toàn c a c a b m t l i ự ị ủ ủ ề ặ ỗ

Trang 41

M t s c i thi n ộ ố ả ệ

 Có r t nhi u phương pháp đ ấ ề ề

xu t các c i ti n nh m kh c ph c ấ ả ế ằ ắ ụ như c đi m trên như: ợ ể

Trang 42

K thu t c i ti n gi i thu t BP ỹ ậ ả ế ả ậ

 S d ng h s h c bi n đ i ử ụ ệ ố ọ ế ổ

 S d ng gi i thu t di truy n ử ụ ả ậ ề

Trang 43

E

0

2)(

)(

Trang 44

 N u: ế (E(t) – E(t-1)) / E(t) < 0 thì ρ > 1

 N u:ế 0 < ∆E/ E(t) < β

) 1 (

)

=

Trang 45

K thu t c i ti n gi i thu t BP ỹ ậ ả ế ả ậ

 S d ng h s h c bi n đ i ử ụ ệ ố ọ ế ổ

 S d ng gi i thu t di truy n ử ụ ả ậ ề

Trang 46

IV 3.2 Gi i thu t di truy n ả ậ ề

Trang 47

IV 3.2 Gi i thu t di truy n ả ậ ề

 Đ có th s d ng đư c gi i thu t di ể ể ử ụ ợ ả ậ truy n vào vi c h c c a m ng nơron ề ệ ọ ủ ạ

c n ph i th c hi n m t s b c như ầ ả ự ệ ộ ố ứ sau:

◦ Xây d ng hàm giá ự

◦ Mã hóa nhi m s c th ễ ắ ể

◦ Th c hi n gi i thu t di truy n ự ệ ả ậ ề

Trang 48

IV 3.2 1 Xây d ng hàm giá ự

E

0

2) (

1

Trang 49

IV 3.2 2 Mã hóa nhi m s c ễ ắ

thể

 Mã hóa nh phân ( chi u dài nhi m s c th l n ị ề ễ ắ ể ớ -> gây ch m chương trình) ậ

Trang 50

 Mã hóa s th cố ự

IV 3.2 2 Mã hóa nhi m s c ễ ắ

thể

Trang 51

IV 3.2 3 Th c thi gi i thu t di ự ả ậ

truy n ề

Trang 56

1) S d ng gi i thu t ử ụ ả ậ

Meanshift/Camshift

2) K t h p b l c Kalman và l c h t ế ợ ộ ọ ọ ạ

(Particle Filter)

3) K thu t lưu v t chuy n đ ng và ỹ ậ ế ể ộ

chuy n qua module tái hi n s ki n ể ệ ự ệ

IV 3 Truy v t chuy n đ ng c a bàn tayế ể ộ ủ

Trang 57

 B1: Thi t l p khu v c quan tâm ế ậ ự

 B2: Ch n m t v trí ban đ u c a c a s tìm ki m CamShift ọ ộ ị ầ ủ ử ổ ế

V trí đư c ch n là phân ph i m c tiêu đư c theo dõi ị ợ ọ ố ụ ợ

 B3: Tính xác su t phân ph i màu s c khu v c trung tâm ấ ố ắ ở ự

c a c a s tìm ki m ủ ử ổ ế

 B4: L p l i thu t toán CamShift đ tìm ra tr ng tâm xác ặ ạ ậ ể ọ

su t c a nh Lưu tr phân vùng nh đó và v trí tr ng tâm ấ ủ ả ữ ả ị ọ

 B5: Đ i v i m i khung, trung tâm c a c a s tìm ki m v ố ớ ỗ ủ ử ổ ế ở ị trí trung bình đư c tìm th y bư c 4 và thi t l i kích thư c ợ ấ ở ớ ế ạ ớ

c a s theo dõi Tr v bư c 3 ử ổ ở ề ớ

IV 3 1 Gi i thu t Camshiftả ậ

Trang 58

IV 3 1 Gi i thu t Camshiftả ậ

Trang 59

 Quá trình đư c mô hình hóa m t cách r i r c theo th i gian ợ ộ ờ ạ ờ

b ng m t phương trình ng u nhiên tuy n tính như sau: ằ ộ ẫ ế

 Hai biến ngẫu nhiên này độc lập và giả sử tuân theo luật

phân phối chuẩn v i trung bình = 0 và ma tr n hi p bi n ớ ậ ệ ế (covariance) l n lư t là Q và R ầ ợ

IV 3 2 B l c Kalman ộ ọ

Trang 60

 p(w) ∼ N(0, Q) (3)

 p(v) ∼ N(0, R) (4)

 Nếu vector trạng thái x có kích thước là n, thi ma trận A sẽ có kích thước là n x n B (n x l) là ma tr n ph thu c vào đi u khi n t i ưu u v i u la ậ ụ ộ ề ể ố ớ vector có kích thư c là l Vector đo đ c z có kích thư c là m nên ma tr n ớ ạ ớ ậ

H s là m x n Chú ý r ng các ma tr n Q,R, A, H có th thay đ i theo th i ẽ ằ ậ ể ổ ờ gian (t ng bư c k) ừ ớ

 B l c Kalman mang b n ch t đi tìm giá tr ước lư ng và ư c ộ ọ ả ấ ị ợ ớ

đoán c a tr ng thái x khi ta bi t đư c s bi n thiên c a nó và ủ ạ ế ợ ự ế ủ

ta đo đư c m t đại lư ng z mà ph thu c tuyến tính vào x.ợ ộ ợ ụ ộ

Trang 61

Trang 62

IV 3 3 Lưu v t chuy n đ ngế ể ộ

 V i m i hình ch nh t, ta luôn xác đ nh đư c t a đ ớ ỗ ữ ậ ị ợ ọ ộ tâm c a hình ch nh t ủ ữ ậ

 M i l n l y nh t Camera đưa vào nh n d ng N u ỗ ầ ấ ả ừ ậ ạ ế phát hi n đư c bàn tay di chuy n, ta s lưu t a đ ệ ợ ể ẽ ọ ộ tâm vào m ng lưu v t chuy n đ ng ả ế ể ộ

Trang 65

IV 4 1 Tái hi n hành đ ngệ ộ

 S d ng ử ụ m ng nơ-ronạ

◦ Tương đ i đơn gi n trong vi c cài đ t ố ả ệ ặ

◦ Tìm m u ph c t p ẫ ứ ạ

Trang 67

I Video demo v ng d ng c a k thu t ề ứ ụ ủ ỹ ậ

trong tương lai

Trang 68

1. K thu t Fast Statboost tăng t c ỹ ậ ố

cho s n ph m DST Remote Hand ả ẩ

V Hư ng nghiên c u và phát tri nớ ứ ể

Trang 69

 Open Hand Detection in a Cluttered Single Image using Finger Primitives - M Baris & Caglar Niels Lobo - University of Central Florida

 Detecting and tracking faces and hands - Roberto Cipolla – University Of

Cambridge

 A Bayesian Framework for Human Body Pose Tracking from Depth Image

Sequences - Youding Zhu , Kikuo Fujimura

 Báo cáo th c t p t t nghi p Haar-Like v i Adaboost – Nguy n Qu c Tri u – ự ậ ố ệ ớ ễ ố ệ

ĐH Công nghi p Hà N i ệ ộ

Trang 70

Xin chân thành c m ơn s l ng nghe ả ự ắ

c a th y giáo và các b n ủ ầ ạ

KẾT THÚC BÀI THUYẾT TRÌNH

Định dạng
Số trang	70
Dung lượng	5,8 MB