Nhận dạng cử chỉ động của bàn tay người sử dụng kết hợp thông tin hình ảnh và độ sâu ứng dụng trong tương tác người thiết bị (tt)

Với xu hướng phát triển công nghệphụ trợ bao gồm các giải pháp sử dụng găng tay chuyên dụng, miếng dán đánh dấuvùng bàn tay, hoặc gắn trực tiếp cảm biến trên tay hoặc cánh tay khiến cho

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

ĐOÀN THỊ HƯƠNG GIANG

NHẬN DẠNG CỬ CHỈ ĐỘNG CỦA BÀN TAY NGƯỜI SỬ DỤNG KẾT HỢP THÔNG TIN HÌNH ẢNH VÀ ĐỘ SÂU ỨNG DỤNG TRONG TƯƠNG

TÁC NGƯỜI-THIẾT BỊ

Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa

Mã số: 62520216

TÓM TẮT LUẬN ÁN TIẾN SĨ ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA

Hà Nội 12−2017

Công trình được hoàn thành tại:

Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:

1 TS Vũ Hải

2 TS Trần Thị Thanh Hải

Phản biện 1: PGS.TS Ngô Quốc Tạo

Phản biện 2: PGS.TS Nguyễn Quang Hoan

Phản biện 3: PGS.TS Trần Đức Tân

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:

Vào hồi giờ, ngày tháng năm

Có thể tìm hiểu luận án tại thư viện:

1 Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội

2 Thư viện Quốc gia Việt Nam

MỞ ĐẦU

Tính cấp thiết của luận án

Ngày nay, công nghệ hiện đại ngày càng phát triển đã trợ giúp cho con người trongnhiều lĩnh vực khác nhau Trong đó, tự động hóa tòa nhà hay không gian sống thôngminh là một trong những xu hướng nghiên cứu xuất phát từ nhu cầu thực tế của cuộcsống Các hệ thống tự động hóa có mặt ở nhiều lĩnh vực khác nhau trong cuộc sốnghàng ngày, từ những ứng dụng trợ giúp đơn giản như chuông cửa, điều khiển cửa ravào nhà, đến việc tự động hóa các thiết bị điện tử gia dụng phức tạp hơn như hệ thốngđèn chiếu sáng, điều hòa, hệ thống loa đài, ti vi, Mặc dù các ứng dụng tự động hóatòa nhà đã được đề xuất nhiều Các sản phẩm hiện có mới chỉ chủ yếu tập trung vàocác công nghệ tiết kiệm năng lượng, hoặc điều khiển các thiết bị điện tử trong gia đình

sử dụng các thiết bị phụ trợ hoặc yêu cầu một giao diện để tương tác giữa người dùng

và thiết bị Nhu cầu tự động hóa tòa nhà với sự tương tác giữa người và thiết bị điện

tử gia dụng một cách tự nhiên là cần thiết song bài toán này còn gặp phải nhiều tháchthức như: Không đòi hỏi thiết bị phụ trợ hay tiếp xúc trực tiếp trong quá trình điềukhiển; hoặc không đòi hỏi giao diện tương tác người-thiết bị Mục tiêu hướng đến của

đề tài là nghiên cứu và phát triển hệ thống điều khiển thiết bị một cách tự nhiên vàhiệu quả Tuy nhiên, trong tương tác người dùng - thiết bị; hiệu quả thể hiện thôngqua tính bền vững của hệ thống đối với sự thay đổi của các yếu tố bên ngoài và khảnăng đáp ứng thời gian thực

Để giải quyết các vấn đề này, hai xu hướng nghiên cứu đã được đề xuất là: Pháttriển công nghệ phụ trợ và phát triển thuật toán Với xu hướng phát triển công nghệphụ trợ bao gồm các giải pháp sử dụng găng tay chuyên dụng, miếng dán đánh dấuvùng bàn tay, hoặc gắn trực tiếp cảm biến trên tay hoặc cánh tay khiến cho ngườidùng phụ thuộc thiết bị, chi phí mua thiết bị đắt đỏ, và điều khiển không tự nhiên.Cách tiếp cận thứ hai là phát triển thuật toán, nhận dạng cử chỉ tay đã được triểnkhai trong nhiều lĩnh vực khác nhau như: thị giác máy tính và rô bốt, điều khiển và

tự động hóa, Tuy vậy, yêu cầu về tính bền vững và xử lý thời gian thực vẫn còn làmột thách thức khi nghiên cứu hệ thống nhận dạng cử chỉ tay Luận án này là một sựdung hòa của hai hướng tiếp cận trên Trong đó, một tập cử chỉ tay có tính ngữ nghĩa,gợi nhớ đã được đề xuất nhằm thay thế các thiết bị phụ trợ, cung cấp các đặc trưnghữu ích cho hệ thống, nên người dùng có thể điều khiển một cách tự nhiên Bên cạnh

đó, các giải thuật biểu diễn nhận dạng hoạt động cử chỉ đã được nghiên cứu cà thiết

kế với mục tiêu hiệu quả Các kết quả đánh giá thử nghiệm chỉ ra rằng, phương pháptương tác này tự nhiên hơn và không yêu cầu bất cứ liên kết trực tiếp với thiết bị cũng

như không yêu cầu phải có giao diện người dùng Hệ thống đề xuất tối đa khả năng sửdụng thông qua công cụ nhận dạng cử chỉ tay và cung cấp hệ thống điều khiển nhiềuthiết bị điện gia dụng với đáp ứng thời gian thực.

Mục tiêu của luận án

ˆ Thiết kế tập cơ sở dữ liệu (CSDL) cử chỉ bàn tay tương ứng với một số các lệnhđiều khiển căn bản cho các thiết bị điện tử gia dụng Ngoài ra, CSDL này có cácđặc trưng hỗ trợ hệ thống nhận dạng đạt được hiệu quả nhận dạng cao

ˆ Nghiên cứu và triển khai giải thuật phân đoạn cử chỉ bàn tay đáp ứng thời gianthực, bền vững với sự thay đổi của các yếu tố bên ngoài (ánh sáng, ): Nghiêncứu và đề xuất phương pháp phát hiện và trích chọn vùng bàn tay từ ảnh màu

và ảnh độ sâu, phân đoạn các cử chỉ tay từ chuỗi liên tiếp

ˆ Nghiên cứu và đề xuất phương pháp biểu diễn chuỗi cử chỉ động của bàn tay vàđồng bộ pha giữa các cử chỉ động Giải pháp hướng tới biểu diễn các cử chỉ taytheo cả không gian và thời gian, đáp ứng với nhiều người, tại nhiều vị trí, nhiềuhướng khác nhau của người đến cảm biến Kinect

ˆ Triển khai hệ thống điều khiển thiết bị điện tử gia dụng sử dụng cử chỉ bàn tay

Các đóng góp của luận án

ˆ Đóng góp thứ 1: Thiết kế tập CSDL cử chỉ tay tương ứng với các lệnh điềukhiển cơ bản của các thiết bị điện tử gia dụng Thu thập CSDL, đánh giá tínhkhả thi của tập lệnh, thử nghiệm giải thuật đề xuất và chia sẻ cho cộng đồngnghiên cứu

ˆ Đóng góp thứ 2: Đề xuất giải pháp phân đoạn chuỗi cử chỉ tay đáp ứng thờigian thực gồm: Giải pháp hiệu quả để phát hiện và trích chọn vùng bàn tay từảnh màu và ảnh độ sâu; Giải pháp phân đoạn cử chỉ từ chuỗi bàn tay liên tiếp

ˆ Đóng góp thứ 3: Đề xuất một phương pháp biểu diễn mới cử chỉ dựa trên đặctrưng không gian dựa trên biểu diễn đa tạp (ISOMAP), kết hợp với các đặc trưngthời gian (KLT), có tính đến đồng bộ pha giữa các cử chỉ trên không gian biểudiễn mới được đề xuất

ˆ Đóng góp thứ 4: Triển khai giải pháp toàn diện để điều khiển một số thiết bịđiện tử gia dụng dùng cử chỉ động của bàn tay Hệ thống hoàn chỉnh được càiđặt trong ngữ cảnh trong nhà tại phòng thông minh của Viện MICA

Cấu trúc của luận án

ˆ Mở đầu: Giới thiệu chung tính cấp thiết, mục tiêu của luận án; ngữ cảnh, cácràng buộc và thách thức khi giải quyết các bài toán; Các đóng góp của luận án

ˆ Chương 1: Tổng quan về điều khiển sử dụng cử chỉ bàn tay và các nghiên cứuliên quan đến các vấn đề đặt ra trong luận án.

ˆ Chương 2: Thiết kế và xây dựng cử chỉ bàn tay có tính chất chu kỳ

ˆ Chương 3: Đề xuất phương pháp phát hiện, phân đoạn cử chỉ bàn tay đáp ứngyêu cầu thời gian thực và độ chính xác Phân đoạn chuỗi cử chỉ tay động từ chuỗiliên tiếp các hình trạng bàn tay

ˆ Chương 4: Đề xuất giải pháp biểu diễn các cử chỉ động của bàn tay kết hợp cácđặc trưng không gian và thời gian, giải pháp đồng bộ pha trong không gian mới

ˆ Chương 5: Triển khai, đánh giá hệ thống điều khiển sử dụng cử chỉ tay Thựchiện các đánh giá thử nghiệm trên hệ thống hoàn thiện

ˆ Kết luận và định hướng nghiên cứu tiếp theo của luận án

CHƯƠNG 1

CÁC NGHIÊN CỨU LIÊN QUAN

Chương này trình bày về các nghiên cứu liên quan đến hệ thống điều khiển thiết

bị điện tử gia dụng dùng cử chỉ động của bàn tay và các phương pháp nhận dạng cửchỉ động của bàn tay với các pha chính gồm: Phát hiện và trích chọn vùng bàn taytrong ảnh, phân đoạn và nhận dạng các cử chỉ động của bàn tay từ chuỗi ảnh liên tiếp

1.1 Hệ thống điều khiển thiết bị sử dụng cử chỉ động bàn tay

Đã có nhiều hệ thống điều khiển thiết bị điện gia dụng sử dụng cử chỉ tay đã được

đề xuất như ti vi thông minh của hãng Sansung, Omron, Các hệ thống này được chiathành hai nhóm chính: Độc lập và phụ thuộc giao diện người dùng Với hệ thống yêucầu một giao diện người dùng để thực hiện các lệnh điều khiển sẽ không phù hợp vớihầu hết các thiết bị điện tử gia dụng không có màn hình như đèn, quạt,

1.2 Phương pháp phát hiện và trích chọn bàn tay trong ảnh

Phát hiện vùng bàn tay là xác định sự có mặt và vị trí của vùng bàn tay trongảnh Đây là một pha cần thiết được áp dụng nhằm loại bỏ các yếu tố phông nền khôngtham gia vào việc mô hình hóa cử chỉ bàn tay Đã có nhiều nghiên cứu phát hiện vàtrích chọn vùng bàn tay dựa trên các đặc trưng như màu sắc, hình dáng, chuyển động

và độ sâu Trong khi, bàn tay người có nhiều bậc tự do, hình trạng bàn tay luôn thayđổi và phụ thuộc vào nhiều yếu tố như góc nhìn của máy ảnh, sự khác nhau về độ tonhỏ, độ phân giải, cường độ chiếu sáng, Bởi vậy, độ chính xác và thời gian đáp ứng

của bước phát hiện và trích chọn vùng bàn tay vẫn là những yêu cầu cần phải giảiquyết đối với các hệ thống thực tế.

1.3 Phương pháp phân đoạn cử chỉ động của bàn tay

Đối với các hệ thống nhận dạng cử chỉ động của bàn tay, việc xác định điểm bắtđầu và kết thúc chuỗi cử chỉ tương ứng với một ứng viên của một cử chỉ nào đó, làviệc làm cần thiết trước khi đưa vào biểu diễn và nhận dạng cử chỉ Các phương phápphân đoạn hiện tại thường chia thành hai loại: Sử dụng các mô hình và sử dụng cáctín hiệu đặc trưng Hướng tiếp cận sử dụng các mô hình thường gặp phải một số giớihạn chế sau: Các hệ thống yêu cầu một ngưỡng các tham số mô hình trong quá trìnhhuấn luyện và khó thay đổi hệ thống khi thêm hoặc bớt cử chỉ Hơn nữa, cần thiếtphải định nghĩa các cử chỉ có nghĩa và tập cử chỉ thông thường, trong khi có rất nhiềucác cử chỉ thông thường Ngoài ra, khi sử dụng mô hình thường có thời gian trễ lớn vàđiều đó thực sự thách thức khi triển khai các hệ thống thực

Hướng tiếp cận dựa trên các dạng tín hiệu đặc trưng của các cử chỉ tay thường là:

Sự chuyển động, vận tốc, gia tốc của bàn tay, Hướng tiếp cận này thường đạt đượctốc độ đáp ứng nhanh với giải thuật đơn giản Tuy nhiên, các cử chỉ tay phải thiết kếsao cho đảm bảo được đặc trưng khác biệt và/hoặc sử dụng thêm các thiết bị phụ trợ

để đo chính xác sự thay đổi của cử chỉ tay

1.4 Phương pháp nhận dạng cử chỉ động của bàn tay

Các phương pháp nhận dạng cử chỉ động hiện nay đang gặp một số giới hạn như:Các mô hình cần phải cài đặt, thiết lập lại tham số khi cần thêm hoặc bớt cử chỉ Giảipháp đạt được độ chính xác thì yêu cầu độ phức tạp tính toán và thời gian đáp ứngcao Các mô hình nhận dạng như HMM hay CRF, CNN thường yêu cầu số lượng dữliệu huấn luyện lớn Đặc biệt, phương pháp sử dụng mạng nơ ron yêu cầu cấu hìnhmáy tính cao hoặc máy tính phải có GPU

1.5 Thảo luận và kết luận

Dựa trên việc phân tích các ưu nhược điểm của các kỹ thuật hiện có, luận ánhướng tới giải quyết các nội dung sau:

Định nghĩa cử chỉ động của bàn tay: Để điều khiển thiết bị cần có một bộ CSDL

có tính đồng bộ, phù hợp với phần lớn các thiết bị điện tử gia dụng, không phụ thuộcgiao diện người dùng Tập lệnh có tính đặc thù và phù hợp với các thiết bị, cung cấpcác đặc trưng hiệu quả cho hệ thống, đáp ứng tính tự nhiên và thuận tiện khi ngườidùng tương tác

Phát hiện tay, phân khúc chuỗi cử chỉ động của bàn tay: Nghiên cứu, phát triểnmột phương pháp phát hiện và trích chọn bàn tay dựa trên ảnh màu và ảnh độ sâu đạt

được hiệu quả hệ thống cao và đáp ứng thời gian thực Sau đó, chuỗi cử chỉ tay đượcphân khúc sử dụng kết hợp các đặc trưng tín hiệu một chiều của chuỗi cử chỉ động.

Nhận dạng cử chỉ động của bàn tay: Phát triển một phương pháp biểu diễn cử chỉđộng của bàn tay kết hợp các đặc trưng không gian và thời gian Giải quyết bài toánđồng bộ pha trong không gian mới và phân lớp cử chỉ động

2.1 Các CSDL cử chỉ động của bàn tay đã có

Các bộ CSDL cử chỉ động của bàn tay đã được đề xuất tồn tại một số giới hạnnhất định như: Phục vụ cho một ứng dụng chuyên biệt, pha trộn lẫn giữa các cử chỉtĩnh và động, số lượng các cử chỉ hạn chế chỉ ở lệnh bật/tắt thiết bị, hoặc các CSDLkhông được công bố cho cộng đồng nghiên cứu

2.2 Thiết kế CSDL cử chỉ động có tính chu kỳ

2.2.1 Các lệnh điều khiển các thiết bị điện tử gia dụng cơ bản

Bảng 2.1 Các lệnh chính của các thiết bị điện tử gia dụng

Thiết bị

Lệnh

Mỗi hộ gia đình thường có nhiều thiết bị điện tử gia dụng khác nhau như: Đèn,quạt, tivi, điều hòa, cửa, loa đài, tivi, Để có một hệ thống điều khiển sử dụng cử chỉtay một cách đồng bộ, rất cần thiết phải có một bộ CSDL cử chỉ tay có khả năng dùngchung cho các thiết bị này Để định nghĩa một bộ CSDL cử chỉ tay phục vụ cho điềukhiển, phải xác định các lệnh gốc của thiết bị cần điều khiển, ý nghĩa lệnh và cách

thực hiện gợi nhớ đưa ra từ nhà sản xuất Sau đó, Các cử chỉ tay thường được địnhnghĩa sao cho có sự tương ứng với ý nghĩa của lệnh, đồng thời có tính gợi nhớ để dễ

sử dụng thường xuyên, lâu dài Cuối cùng, gán các cử chỉ tay với các lệnh gốc Trongnghiên cứu này, năm lệnh được định nghĩa và mô tả như trong Bảng 2.1

2.2.2 Định nghĩa CSDL

Năm lệnh cơ bản thường được sử dụng gồm: bật/tắt, tăng(kênh), giảm(kênh),tăng(tiếng), giảm(tiếng) Mỗi lệnh thực hiện có ba pha chính là pha chuẩn bị, phathực thi và pha kết thúc Trong pha thực thi, bàn tay không những thay đổi hìnhtrạng mà còn dịch chuyển theo ba trạng thái gồm: khởi động, trung gian/chuyển động

và kết thúc Sự thay đổi hình trạng của bàn tay có tính chu kỳ từ lúc đóng tay sau đó

mở tay và đóng tay lại như mô tả trong Hình 2.1

Start

Move

Stop Middle

Move

Stop Start Middle Start Stop

Middle

Stop

Start Middle

Stop

Start Middle Stop

Start

Turn on_off Increase Decrease Next Back

Hình 2.1 Sự thay đổi hình trạng tay và quỹ đạo của các cử chỉ tay định nghĩa

2.2.3 Đặc điểm của CSDL

Stop

Middle Move

Start

) ( ) x t T t

x = +

T

x(t) x(t+T)x

time

b Ideal periodic signal in time domain

T t

s= 2Π

a Closed-form gestures c Ideal periodic signal in phase domain

Hình 2.2 Phân tích đặc điểm của tín hiệu có tính chu kỳ

Mỗi cử chỉ đã định nghĩa khác biệt ở sự thay đổi hình trạng bàn tay cũng nhưhướng dịch chuyển của tay Trong đó, hình trạng tay bao gồm các chuỗi liên tiếp các

cử chỉ tay có tính chu kỳ và sự chuyển động của bàn tay biểu diễn ý nghĩa của cáclệnh Bộ CSDL có một số đặc điểm chính như sau:

- Mỗi cử chỉ có trạng thái bắt đầu và kết thúc giống nhau Tính chất này được sửdụng để phân đoạn chuỗi cử chỉ động của bàn tay

- Mỗi cử chỉ tay được xem như một tín hiệu có tính chu kỳ đóng và được biểu diễnnhư trong Hình 2.2

- Thời gian thực thi mỗi cử chỉ trong mỗi lớp cũng như giữa các lớp cử chỉ khácnhau là không giống nhau do tốc độ thực hiện của mỗi người, và/hoặc hướngchuyển động của bàn tay trong mỗi lệnh không giống nhau.

- Các cử chỉ trong cùng một lớp có thể không đồng bộ về pha với nhau Trong mỗilớp, các trạng thái của một loại cử chỉ có thể không đồng bộ

Từ năm cử chỉ đã định nghĩa, bốn bộ CSDL đã được thu thập tại các môi trường,ngữ cảnh khác nhau phông nền gồm MICA1, MICA2, MICA3, MICA4 Đặc điểm củacác bộ CSDL thể hiện chi tiết trong Bảng 2.2 sau đây:

2.4 Thảo luận và kết luận

Sau khi khảo sát các tập CSDL đã được công bố cũng như xuất phát từ yêu cầucủa bài toán điều khiển thiết bị điện gia dụng, một CSDL mới đã được định nghĩa.CSDL bao gồm năm lệnh, tương ứng với các lệnh cơ bản nhất để điều khiển hầu hếtcác thiết bị điện gia dụng Tập CSDL đề xuất bao gồm các chuỗi cử chỉ tay có tínhchất chu kỳ đóng, dễ nhớ, và dễ thực hiện Bốn bộ CSDL đã được thu thập tại các môitrường khác nhau, với các điều kiện phông nền khác nhau, đa dạng độ tuổi và giới tínhcủa người tham gia thu thập Các bộ CSDL được chia sẻ cho cộng đồng nghiên cứu

CHƯƠNG 3

TRÍCH CHỌN BÀN TAY VÀ PHÂN ĐOẠN CỬ CHỈ

ĐỘNG VỚI GIẢN ĐỒ HỌC NGƯỜI DÙNG

Tương tác người máy thông qua cử chỉ bàn tay được xem như một trong nhữngcách thức tương tác tự nhiên và thân thiện Tuy nhiên, cách thức điều khiển này phải

đối mặt với khá nhiều thách thức như sự phức tạp và luôn biến đổi của cấu trúc bàntay, điều kiện chiếu sáng khác nhau, điều kiện phông nền phức tạp Vì vậy, các thuậttoán đã đề xuất yêu cầu xử lý phức tạp và/hoặc tính toán thời gian cao Trong khi đóviệc phát hiện và trích chọn vùng bàn tay là một trong những bước tiền xử lý trongbài toán nhận dạng cử chỉ động của bàn tay Vì vậy, nội dung chương này đề xuất giảipháp học các tham số mô hình để đạt được độ chính xác cao, đáp ứng thời gian thựctrong phát hiện và trích chọn vùng bàn tay Sau đó, dựa vào việc kết hợp các dạng tínhiệu biến đổi theo quy luật của các cử chỉ động đã định nghĩa, đề xuất một giải pháp

để phân đoạn chuỗi cử chỉ động của bàn tay đáp ứng thời gian thực

3.2 Giản đồ học của người dùng

3.2.1 Một số giả thiết và ràng buộc

3.2.2 Sơ đồ đề xuất

Detecting body area

Detecting hand candidates

Pruning hand

Learning parameters (µ,δ)

of skin model

Learning parameters (d±∆) of a distance to hand

Learning parameters (µ,δ) ,η of background model

(b) The proposed user-guide scheme

(a) The proposed vision-based hand detection and segmentation

RGB

Depth image

Hand detected and Segmented Preprocessing

data

Hand region

Kinect

Hình 3.1 Minh họa hệ thống đề xuất phát hiện và trích chọn bàn tay

- Tiền xử lý: Do ảnh I và D thu thập từ cảm biến Kinect không có cùng tọa độ

Do đó, bước tiền xử lý nhằm hiệu chỉnh để đưa các điểm ảnh màu và ảnh độ sâu

về cùng tọa độ Phương pháp được đề xuất trong [1] được sử dụng

3.2.3.1 Học tham số của mô hình nền

Sử dụng mô hình GMM [6] để quan sát sự ổn định của mỗi điểm ảnh p trênmột chuỗi n ảnh độ sâu: sp = [D1,p, D2,p, , Dn,p] Tham số quan sát là độ lệch chuẩn

σp = std(sp) của điểm ảnh Trong đó, điểm ảnh p của mô hình nền được biểu diễn bởi

BGp = (µp, ηp, σp), được tính toán như sau:

(a) RGB image (b) Depth image (c) Body extraction (d) Candidates of hand

Hình 3.2 Các kết quả của giai đoạn phát hiện bàn tay

Hình 3.2(a-c) minh họa các kết quả trừ nền Hình 3.2(c) biểu diễn kết quả vùng pháthiện người, sau đó là phát hiện các vùng là ứng viên của vùng bàn tay

3.2.3.2 Học tham số khoảng cách từ tay tới cảm biến Kinect

Các phần dịch chuyển được tính toán dựa trên sự khác biệt giữa các khung hìnhliên tiếp trên ảnh độ sâu Dt−2, Dt−1, Dt như sau:

3.2.3.3 Học tham số màu da vùng bàn tay

Sự ổn định của phân bố màu da xác định dựa trên tương quan chéo của hai biểu

đồ màu da bàn tay của các khung hình liên tiếp nhau t, với ∆t = |t− t−1| Hình3.4(d) cho thấy tích lũy sai số N1 PN

t=1∆ttừ khung hình 1 đến N Giá trị này tăng dầntương ứng với sự sai khác khi vùng màu da còn biến động do tay chưa đặt đúng vị trí.Cho đến một khi sai số dao động quanh một giá trị nhất định tương ứng của màu dacủa người thì việc học có thể dừng lại

(g) (f)

(e) (d)

-=

Hình 3.3 Kết quả của tham số khoảng cách

(d) Accumulation of ∆ along frames (c) frame # n

(a) frame # 0 (b) frame # i

0 0.2 0.4 0.6 0.8 1

frame Accumulation of ∆

Hình 3.4 Huấn luyện mô hình màu da

3.2.4 Phát hiện và tinh chỉnh kết quả vùng bàn tay dựa trên giản đồ học

(a) A candidate of hand

(b) Mahalanobis distance

3.3 Phân đoạn cử chỉ động của bàn tay

Phân đoạn cử chỉ là thực hiện xác định điểm đầu và điểm kết thúc của một cử chỉtrong chuỗi khung hình liên tiếp Dựa trên đặc trưng của cử chỉ định nghĩa là có tínhchu kỳ đóng, hình trạng ban đầu và kết thúc của mỗi cử chỉ là giống nhau Giải thuậtphân đoạn cử chỉ được đề xuất dựa trên sự biến đổi của hàm tín hiệu diện tích vùngbàn tay, và vận tốc chuyển động của nó, cụ thể như sau: Hàm fS(t) được định nghĩa

0.2 0.4 0.6 0.8

50 60 (b) The combination of area and velocity signal

f

V

fSf

C

Hình 3.6 Kết hợp tín hiệu diện tích và vận tốc của bàn tay

Ground Truth Ground Truth Ground Truth

0 0.2 0.4 0.6 0.8 1.0

0 0.2 0.4 0.6 0.8

Smoothed signal Applied opening operator Gesture starting Gesture ending

Sau đó, hàm fC(t) được sử dụng để phát hiện điểm bắt đầu và kết thúc của cửchỉ động của bàn tay như minh họa trong hình 3.7.

3.4 Các kết quả thử nghiệm

Mười người được mời tham gia đánh giá thử nghiệm hệ thống phát hiện và tríchchọn vùng bàn tay Mỗi người đều được thực hiện với kịch bản có sẵn như nhau gồm:học các tham số, thực hiện thử nghiệm Các kết quả về thời gian học, thời gian đápứng, độ chính xác của hệ thống được ghi lại để phân tích và đánh giá

3.4.1 Yêu cầu thời gian học đối với người dùng

3.4.2 Thời gian đáp ứng để trích chọn và nhận dạng vùng bàn tay

Giải pháp đề xuất yêu cầu một thời gian để người dùng huấn luyện các mô hìnhtham số của hệ thống Tuy nhiên, thời gian đáp ứng của hệ thống lại khá nhanh, trungbình là 8 fps Giải pháp đề xuất xem như đạt được thời gian thực và nhanh hơn rấtnhiều so với một số giải pháp đã đề xuất ([4],[5] lên tới 2 fps)

3.4.3 Hiệu quả của mô hình học đối với phát hiện và trích chọn bàn tay

Bảng 3.1 Kết quả JI với việc sử dụng/không sử dụng giản đồ học

P F rames 102 121 157 144 147 149 141 142 125 135

Không sử dụng giản đồ học

J I(%) 55.4 53.4 71.7 56.8 68.2 73.5 58.2 63.1 64.8 61.3Avg ± std 62.6 ± 6.5 %

Sử dụng giản đồ học

J I(%) 86.7 87.6 89.5 88.9 90.4 84.8 87.8 92.4 88.1 83.6Avg ± std 87.98 ± 2.58 %

3.4.4 Hiệu quả của giải pháp phân đoạn cử chỉ động bàn tay

0 0.2 0.4 0.6 0.8 1

(a) Spotting results of MICA1 dataset

False alarm rate

True positive rate

False alarm rate

True positive rate

Hình 3.8 Kết quả phân đoạn chuỗi cử chỉ động trên CSDL MICA1 và MICA2