Phân tích dữ liệu khung xương và ứng dụng nhận dạng dáng đi

Mục đích của phương pháp này là phân tích dữ liệu khung xương và dáng đi để tạo ra một hệ thống phản hồi sinh học theo thời gian thực nhằm xây dựng bộ dữ liệu về dáng đi để nghiên cứu tr

PHÂN TÍCH DỮ LIỆU KHUNG XƯƠNG

VÀ ỨNG DỤNG NHẬN DẠNG DÁNG ĐI

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Đà Nẵng – Năm 2017

TRƯỜNG ĐẠI HỌC BÁCH KHOA

LUẬN VĂN THẠC SĨ KỸ THUẬT

Người hướng dẫn khoa học:

TS Huỳnh Hữu Hưng

Đà Nẵng – Năm 2017

Tác giả

Hồ Thiên Hoàng

MỤC LỤC

MỞ ĐẦU 1

1 LÝ DO CHỌN ĐỀ TÀI 1

2 MỤC TIÊU VÀ NHIỆM VỤ CỦA ĐỀ TÀI 2

3 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 2

4 PHƯƠNG PHÁP NGHIÊN CỨU 2

5 Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN 2

6 BỐ CỤC LUẬN VĂN 3

TỔNG QUAN VỀ PHÂN TÍCH DÁNG ĐI 4

GIỚI THIỆU CHUNG 4

TRÍCH XUẤT ĐẶC TRƯNG 5

Phân đoạn đối tượng 5

Theo vết đối tượng 6

Biểu diễn đặc trưng 11

NHẬN DẠNG DÁNG ĐI 16

Phương pháp dựa vào đặc trưng 16

Phương pháp dựa vào mô hình 18

GIỚI THIỆU TỔNG QUAN VỀ KINECT 23

TỔNG QUAN VỀ KINECT 23

CẤU TẠO 24

Hệ thống cảm biến chiều sâu 25

Camera RGB-D 26

Động cơ, máy đo gia tốc, micro 26

Cảm biến đo chiều sâu (depth sensor) 26

Cảm biến hình ảnh (RGB-D) 27

THƯ VIỆN HỖ TRỢ KINECT 29

MỘT SỐ ỨNG DỤNG SỬ DỤNG KINECT 30

PHÂN TÍCH DÁNG ĐI SỬ DỤNG KINECT 34

TỔNG QUAN HỆ THỐNG 34

GIỚI THIỆU ĐẶC TRƯNG KHUNG XƯƠNG 34

TRÍCH XUẤT ĐẶC TRƯNG 36

HUẤN LUYỆN 37

Tách chu kỳ bước 37

Xây dựng mô hình dáng đi bình thường 38

Phát hiện bất thường 42

PHÂN TÍCH DỮ LIỆU KHUNG XƯƠNG

VÀ ỨNG DỤNG NHẬN DẠNG DÁNG ĐI

Học viên: Hồ Thiên Hoàng Chuyên ngành: Khoa học máy tính

Mã số: 60.48.01 Khóa: 31 Trường Đại học Bách khoa – ĐHĐN

Tóm tắt: Ngày nay, các nghiên cứu trong lĩnh vực thị giác máy tính hỗ trợ rất nhiều

cho cuộc sống Đặc biệt là các nghiên cứu phân tích dáng đi hỗ trợ quan sát, chẩn đoán bệnh nhân trong lĩnh vực y tế Trong luận văn này, tôi đề xuất giải pháp nhận dạng dáng

đi của con người thông qua ảnh chiều sâu thu nhận được từ thiết bị Microsoft Kinect Quá trình xử lý bao gồm các bước: (1) thu nhận các đặc trưng về khung xương và vị trí các khớp xương thông qua việc sử dụng Kinect; (2) tính toán các thông số đặc trưng gồm vị trí tương đối các khớp và tương quan giữa các khớp; (3) so sánh các giá trị thông

số đặc trưng đó với các giá trị ngưỡng, nếu đặc trưng đó đạt tới ngưỡng xác định một loại dáng đi được quy định trước thì đưa ra kết luận dáng đi đó Kết quả thực nghiệm trong môi trường thực tế và bộ cơ sở dữ liệu tự thu về các khung xương các dáng đi cho thấy giải phải đề xuất mang lại hiệu quả hứa hẹn

Từ khóa: thị giác máy tính, phân tích dáng đi, Kinect, khung xương, ảnh chiều sâu

Abstract: Nowadays, researching the field of computer vision supports too much for

life Especially the gait analysis supports the observation, diagnosis patients in the medical In this dissertation, I propose a way to recognize the gait of human through the depth image from Microsoft Kinect device The process involves the following steps: (1) using Kinect to acquiring skeletal data and joint position; (2) determining characteristic parameters including relative positions of joints and correlations between joints; (3) compare those characteristic values with threshold values, if that characteristic within the threshold’s reach that defined a predetermined gait, concludes that gait The result of experimental in real world environments and self-collect

databases of skeletons show that the proposed solution has promising effects

Key words: Computer vision, the gait analysis, Kinect, skeleton frame, depth image

DANH MỤC CÁC BẢNG

1.1 So sánh một số ứng dụng hỗ trợ của thư viện OpenNI và

Microsoft SDK

11

2.1 Tổng hợp các đặc trưng dáng đi trong nghiên cứu 28 3.1 Bảng mô tả các góc tính đặc trưng 36 3.2 Số chu kỳ được thực hiện trên mỗi người 42 3.3 Kết quả thử nghiệm với 8 trạng thái và 6 quan sát 43

1.7 Cơ chế hoạt động của Kinect 27

1.9 Cách tạo ra ảnh 3D của Kinect 28 1.10 Hình ảnh chọn trang phục ảo 31 1.11 Một bài tập trong hệ thống RespondWell 31 1.12 Người dùng điều khiển máy tính bằng cử chỉ tay 32 1.13 Các bác sĩ sử dụng Kinect trong phòng mổ 32

2.1 Ví dụ về phân đoạn đối tượng [20] 6 2.2 Các dạng biểu diễn đối tượng khác nhau [21], phục vụ cho mục

đích theo vết: điểm, kernel, và hình chiếu

7

2.3 Các phương pháp theo vết: (a) theo vết điểm, (b) theo vết

kernel, (c) theo vết dựa trên hình chiếu

7

2.4 Theo vết và xử lý che khuất dựa trên hình chiếu [28] 9 2.5 Tái cấu trúc đối tượng 3 chiều từ chuỗi ảnh hình chiếu [31] 10 2.6 Mô hình đối tượng chuyển động với vị trí đầu và các chi [37] 11 2.7 Một ví dụ về MII, với các dòng lần lượt là chuỗi ảnh đầu vào,

chuỗi hình chiếu đối tượng trước và sau khi canh giữa, cuối

cùng là MII [40]

12

2.8 Ví dụ về ảnh chuyển động tích lũy 0 13 2.9 Ví dụ về hai hành động có cùng ma trận xếp hạng [41] 13 2.10 Các vectơ chỉ hướng tương ứng với luồng quang học [42] 14 2.11 Một số đặc trưng quan hệ hình học [47] 15

2.13 Tham số xác suất của một mô hình Markov ẩn 20 2.14 Mô hình HMM tương ứng với các mô hình HMM con 21 2.15 Mô hình mạng nơron dùng trong nghiên cứu [79] 22

3.2 Vị trí các khớp trong khung xương Kinect 35

3.3 Chu kỳ bước đi 37 3.4 Đồ thị khoảng cách tương ứng với chu kỳ 37 3.5 Mô hình HMM được sử dụng trong giải pháp đề xuất 41

khoảng 5 triệu người cao tuổi Đến năm 2022, số người cao tuổi sẽ tăng lên mức 7.2 triệu, tức tăng 45% so với hiện nay Năm 2050, con số này nhảy vọt lên đến gần 22 triệu, tương ứng mức tăng 4.4 lần

Người cao tuổi trên thế giới thường có xu hướng sống độc thân, và ở Việt Nam, người già cũng thường ở một mình phần lớn thời gian trong ngày Vì vậy, nguy cơ xảy

ra té ngã hoặc gặp chấn thương về xương ở người cao tuổi rất lớn Năm 2005, tại Canada

có đến 62% số ca nhập viện của người cao tuổi xuất phát từ nguyên nhân té ngã [2] Những sự cố như vậy có thể dẫn đến hậu quả nghiêm trọng nếu bản thân người bị ngã không thể gửi thông điệp hỗ trợ kịp thời

Một số nghiên cứu trước đây sử dụng các thiết bị phần cứng để giúp người cao tuổi thông báo đến người thân hoặc dịch vụ y tế khi gặp sự cố Người dùng thường phải đeo cảm biến gia tốc để khi bị ngã đột ngột, hệ thống tự động phát hiện và thông báo [3] Một giải pháp khác được đưa ra là dùng một nút bấm báo động, được sử dụng khi người dùng ngã Tuy vậy, người cao tuổi thường quên mang nút bấm bên mình, và trong trường hợp bất tỉnh sau khi ngã thì người dùng cũng không thể sử dụng

Để khắc phục các nhược điểm này, hiện nay khi phân tích, nhận dạng dáng đi bằng phương pháp sử dụng camera có cảm biến như Kinect đang được nghiên cứu rộng rãi Mục đích của phương pháp này là phân tích dữ liệu khung xương và dáng đi để tạo ra một hệ thống phản hồi sinh học theo thời gian thực nhằm xây dựng bộ dữ liệu về dáng

đi để nghiên cứu trong lĩnh vực sinh trắc học; hình thành nền tảng cho hệ thống bảo mật mới [4], ví dụ nhờ phân tích dáng đi, danh tính của một tên cướp bịt mặt và đeo găng tay vẫn có thể xác định được khi hắn ta bước ra khỏi ngân hàng; sàng lọc thông tin y tế

và biểu diễn sự bất đối xứng trong dáng đi của bệnh nhân [5], bởi vì ngoài nhiệt độ cơ thể, huyết áp, nhịp tim, nhịp thở và nồng độ ôxy trong máu, dáng đi của chúng ta còn được các bác sĩ đánh giá là dấu hiệu quan trọng thứ 6 có thể giúp chẩn đoán các bệnh như suy tim, bệnh phổi tắc nghẽn mãn tính và hen suyễn; hay ước lượng các thông số dáng đi cơ bản trong bối cảnh nhà ở [6]

Vì các lý do trên, tôi quyết định chọn đề tài “Phân tích dữ liệu khung xương và ứng

dụng nhận dạng dáng đi”

2 MỤC TIÊU VÀ NHIỆM VỤ CỦA ĐỀ TÀI

 Mục tiêu của đề tài

Mục tiêu của đề tài là dùng camera Kinect ghi lại video và dùng các giải thuật nhận dạng để xác định các đặc trưng từ đó xây dựng giải pháp phát hiện sự bất thường trong dáng đi của người

 Nhiệm vụ chính của đề tài bao gồm

- Nghiên cứu các đặc trưng của dáng đi và các phương pháp phân tích dáng đi

- Nghiên cứu giải pháp mới sử dụng Kinect và giải thuật nhận dạng để đưa ra giải pháp sử dụn kết hợp mang lại hiệu suất cao

- Xây dựng chương trình Demo để kiểm tra tính hiệu quả của giải pháp

3 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU

 Đối tượng nghiên cứu

- Các dáng đi bình thường và bất thường

- Công cụ Microsoft Kinect

4 PHƯƠNG PHÁP NGHIÊN CỨU

 Phương pháp tài liệu

- Tìm hiểu các kĩ thuật xử lý ảnh, mô hình hóa

- Các phương pháp trích chọn đặc trưng

- Các phương pháp nhận dạng

- Nghiên cứu các bài báo liên quan

 Phương pháp thực nghiệm

- Xây dựng chương trình demo dựa trên giải pháp đề xuất

- Thực nghiệm trên dữ liệu đầu vào là các video

- Kiểm tra hiệu quả với các các dữ liệu khung xương khác nhau

5 Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN

 Ý nghĩa khoa học

Mở đầu

Chương 1: Giới thiệu tổng quan về Kinect

Ở chương này, nội dung chính là giới thiệu tổng quan về Kinect, bao gồm chức năng, cấu tạo, môi trường làm việc, các đặc tính, thư viện hỗ trợ và các ứng dụng của Kinect

Chương 2: Tổng quan về phân tích dáng đi

Trong chương này giới thiệu tổng quan về phân tích dáng đi, phương pháp phân tích dáng đi

Chương 3: Phân tích dáng đi sử dụng Kinect

Nội dung chương này mô tả giải pháp đề xuất của phương pháp phân tích dáng đi sử dụng Kinect bao gồm trích xuất đặc trưng khung xương, xây dựng mô hình dáng đi bình thường dựa trên mô hình Markov ẩn và tính ngưỡng nhận biết dáng đi bất thường Bên cạnh đó, cuối chương còn trình bày kết quả thử nghiệm của giải pháp đề xuất

Kết luận và hướng phát triển

TỔNG QUAN VỀ PHÂN TÍCH DÁNG ĐI

GIỚI THIỆU CHUNG

Phân tích dáng đi của người là một bài toán phức tạp và đầy thách thức bởi phạm vi rộng lớn của nó Nhận dạng dáng đi, theo vết chuyển động, mô hình hóa và xác định ngữ nghĩa của dáng đi là những vấn đề đang nhận được nhiều sự chú ý trong lĩnh vực thị giác máy tính, cũng như cộng đồng các nhà nghiên cứu về học máy Bên cạnh những ứng dụng trong giám sát, tương tác người – máy, đa phương tiện và mô phỏng, việc sử dụng các hệ thống thị giác máy tính còn phục vụ cho mục tiêu chăm sóc y tế tại nhà Các hệ thống này sử dụng camera kết nối với máy tính hoặc bộ xử lý chuyên dụng để quan sát và đánh giá dáng đi của người Mỗi hệ thống như vậy thường thực hiện các bước xử lý chính như sau:

Trích xuất đặc trưng: Đây là giai đoạn xử lý thiết yếu trong toàn bộ hệ thống giám

sát Bản chất của quá trình này là giảm khối lượng thông tin cần biểu diễn, tương ứng với việc giảm số chiều của không gian thông tin ban đầu Trước hết, đối tượng chuyển động được tách ra khỏi nền tĩnh trong video đầu vào thông qua các thuật toán phát hiện người và phân đoạn đối tượng Tiếp theo, các kĩ thuật theo vết được thực hiện để xác định vị trí đối tượng qua từng khung hình thu được theo thời gian Kết quả theo vết sau

đó được dùng để trích xuất vectơ đặc trưng của khung hình tương ứng Nếu các đặc trưng được lựa chọn phù hợp, vectơ tính được có khả năng biểu diễn tốt thông tin từ video đầu vào và hệ thống mang lại hiệu quả cao

Nhận dạng dáng đi: Sau khi có được các vectơ đặc trưng của một chuỗi khung hình

liên tiếp, hệ thống tiến hành xác định dáng đi tương ứng với chuỗi giá trị đó Bước xử

lý này mang lại nhiều khó khăn bởi mức độ đa dạng của việc biểu diễn thông tin dáng

đi trong các bối cảnh khác nhau, ví dụ góc nhìn, độ sáng, nền, quần áo đối tượng, hay tốc độ thực hiện chuyển động Để có được sự biểu diễn phù hợp, các đặc trưng phải vượt qua sự ảnh hưởng của kích thước đối tượng cũng như sự chênh lệch khối lượng thông tin của cùng một dáng đi khi được thực hiện bởi nhiều người khác nhau Một vấn đề quan trọng khác là làm sao để tổng quát hóa được một dáng đi cụ thể thông qua một lượng giới hạn các mẫu huấn luyện tương ứng với dáng đi đó

Xác định ngữ nghĩa: Đây là bước xử lý cuối cùng của các hệ thống thị giác máy

tính, với mục tiêu xác định được ngữ nghĩa của dáng đi thông qua việc phân tích kết quả của bước trước đó Bên cạnh đó, các thông tin phụ về ngữ cảnh khá cần thiết để có được kết luận chính xác về một dáng đi Trong [7], thông tin ngữ cảnh được xác định thông qua việc giải quyết bài toán phân lớp Cụ thể, các chuyển động giống nhau có thể có ý nghĩa khác nhau tùy vào bối cảnh mà chúng được thực hiện, vì vậy ta có thể xem như

đó là những dáng đi khác nhau Hai bước xử lý đầu tiên của hệ thống thị giác máy tính

như triệu chứng của bệnh mất ngủ; một người ngồi xuống và đứng lên trong thời gian ngắn có thể là hành động nhặt đồ vật, ngược lại, hành động tương ứng diễn ra trong thời gian lâu hơn thì có thể nguyên nhân là bệnh viêm khớp Số lần lặp lại của hành động cũng là một gợi ý tốt để xác định ý nghĩa dáng đi Ví dụ, việc cúi liên tục trong khi di chuyển có thể xem là một dáng đi khom lưng

ở các khung ảnh trước đó, từ đó tạo ra quỹ đạo chuyển động trong không gian Việc theo vết đối tượng có liên quan đến việc ước lượng tư thế, vị trí, và chuyển động của các phần trên cơ thể Ước lượng tư thế có thể xem như một bước hậu xử lý của quá trình theo vết, hoặc có thể được tích hợp trực tiếp

Bước thứ ba sử dụng kết quả theo vết và thông tin về quỹ đạo chuyển động của các phần cơ thể để trích xuất các đặc trưng phù hợp Đây đang là một thách thức không nhỏ với các nhà nghiên cứu bởi các đặc trưng được đề xuất vẫn chứa sự khác biệt đáng kể giữa các dáng đi giống nhau được thực hiện bởi nhiều người, hoặc một dáng đi nhưng được quan sát dưới các góc nhìn khác nhau Vì vậy, việc xác định các đặc trưng đáng tin cậy để khắc phục các vấn đề đã nêu là một trong những mục tiêu chính đang được nghiên cứu trong lĩnh vực thị giác máy tính hiện nay

Chi tiết cụ thể của quá trình xử lý được đề cập ở trên sẽ được trình bày ở nội dung tiếp theo dưới đây

Phân đoạn đối tượng

Từ một đoạn video, đối tượng chuyển động được tách ra khỏi nền tĩnh thông qua các thuật toán phát hiện đối tượng và phân đoạn dựa trên sự biến đổi thông tin trong hai khung hình liên tiếp [8], [9] hoặc các kĩ thuật trừ nền [10], [11], [12], [13]

Trong những năm qua, trừ nền là một kĩ thuật tiền xử lý hiệu quả và phù hợp để áp dụng cho các camera tĩnh lắp đặt trong nhà nhờ vào sự phát triển của các thuật toán ước lượng và cập nhật nền Nội dung cơ bản của trừ nền là thực hiện phép trừ giữa ảnh đang xét với một ảnh tham chiếu được sử dụng như mô hình nền

Một số thuật toán trừ nền đã đề xuất được sử dụng phổ biến có thể kể đến như running

Gaussian average [14], temporal median filter [15], adaptive Gaussian mixture model

[16], kernel density estimation [17], hay computational color model [18], trong đó

phương pháp được đề xuất bởi Stauffer và Grimson [19] hiện được sử dụng như một kĩ thuật trừ nền chuẩn Mỗi điểm ảnh được biểu diễn dưới dạng hợp Gauss và được cập nhật liên tục trong quá trình thực thi Quá trình cập nhật được thực hiện đệ quy để có thể mô hình hóa sự biến đổi từ từ của các yếu tố tự nhiên trong ảnh, ví dụ độ sáng, độ dịch chuyển cảm biến, và nhiễu

Một ví dụ về phân đoạn đối tượng được thể hiện trong hình 1.1, với thứ tự từ trái sang phải như sau: ảnh đầu vào, phân đoạn thô và hậu xử lý

Ví dụ về phân đoạn đối tượng [20]

Theo vết đối tượng

Với các hệ thống chăm sóc y tế, theo vết được định nghĩa là sự ước lượng quỹ đạo chuyển động của một người hay một bộ phận cơ thể theo thời gian Hiện nay, nghiên cứu về theo vết người trong video đang gặp nhiều thách thức bởi sự khác biệt lớn giữa các ảnh thu từ nhiều góc nhìn, sự biến đổi tư thế trong quá trình chuyển động, nhiễu bên trong ảnh, và sự che khuất các bộ phận cơ thể Việc theo vết có thể được thực hiện với một camera hoặc hệ thống nhiều camera đồng bộ

Với ứng dụng trong lĩnh vực chăm sóc y tế, dữ liệu đầu vào thường được thu bởi một camera duy nhất Nhiều thuật toán theo vết dựa trên đặc trưng ảnh đã được đề xuất, bao gồm các bước xử lý chính: trích xuất các giá trị đặc trưng và so khớp theo một chuỗi các

Các dạng biểu diễn đối tượng khác nhau [21], phục vụ cho mục đích

theo vết: điểm, kernel, và hình chiếu

Các phương pháp theo vết: (a) theo vết điểm, (b) theo vết kernel, (c) theo

vết dựa trên hình chiếu

a Theo vết dựa trên điểm

Với phương pháp theo vết điểm, các đối tượng trong mỗi khung hình được biểu diễn dưới dạng các điểm, mối quan hệ giữa các điểm này trong hai khung hình liên tiếp được ước lượng dựa trên trạng thái của đối tượng ở khung hình trước, bao gồm thông tin về

b Theo vết dựa trên kernel

Các kernel được sử dụng có thể ở dạng hình chữ nhật hoặc elip cùng với lược đồ

mức xám tương ứng, và vị trí đối tượng được xác định dựa trên vùng ảnh tương ứng trong một chuỗi khung hình liên tiếp

Phương pháp theo vết kernel phổ biến nhất được đề xuất ở nghiên cứu [25] Một mặt

nạ không gian được kết hợp với kernel đẳng hướng để xác định vị trí đối tượng thông

qua một độ đo tương tự Mức độ tương đồng giữa mô hình mục tiêu và vị trí xem xét trong khung hình tiếp theo được ước lượng dựa trên hệ số Bhattacharyya Thuật toán

mean shift được sử dụng để tối ưu kết quả Phương pháp này mang lại hiệu quả tốt trong

việc xử lý các chuyển động phức tạp và ít bị ảnh hưởng bởi thời gian thực hiện chuyển động

Bộ lọc Kalman cũng là một lựa chọn phù hợp để dự đoán vị trí của tâm đối tượng trong khung hình tiếp theo Nghiên cứu [26] đề xuất một bộ lọc Kalman cụ thể được sử dụng cho bài toán theo vết nhiều đối tượng cùng lúc, với kết quả thu được có độ chính xác cao

c Theo vết dựa trên hình chiếu

Trong phương pháp này, đối tượng được theo vết dựa trên đường bao và hình dạng Mục tiêu của việc theo vết hình chiếu là tìm vị trí của đối tượng trong mỗi khung hình thông qua một mô hình đối tượng được xây dựng từ các khung hình trước đó [11] Với một mô hình đối tượng cho trước, các hình chiếu được theo vết dựa trên kĩ thuật so khớp hình dạng hoặc sự biến đổi đường biên

Ở [27], các nhà nghiên cứu thực hiện việc so khớp hình dạng dựa trên thông tin về cạnh của đối tượng và khoảng cách Hausdorff Trong [28], vùng biểu diễn đối tượng được xác định dựa trên việc tính toán sự chuyển hóa đường biên qua từng khung hình Các thành phần trực quan như màu và kết cấu được mô hình hóa, đồng thời thông tin hình dạng được dùng để tái tạo đối tượng trong trường hợp xảy ra sự che khuất một phần

cơ thể, như minh họa ở hình 2.4

Theo vết và xử lý che khuất dựa trên hình chiếu [28]

d Ước lượng tư thế

Đây được xem như bước hậu xử lý trong thuật toán theo vết Khi tất cả các quỹ đạo (2 chiều hoặc mô hình xấp xỉ 3 chiều) của các phần cơ thể được trích xuất thích hợp (dưới dạng các vectơ), ta có thể biểu diễn hành động được thực hiện Ngoài ra, trong hệ thống chăm sóc sức khỏe, tư thế người còn hỗ trợ việc phục hồi chức năng thông qua việc phân tích chuyển động của bệnh nhân Nhiều giải pháp đã được đề xuất để giải quyết các thách thức đang tồn tại như sự biến đổi tư thế hay khoảng cách từ đối tượng đến camera [29], được chia thành hai nhóm chính: sử dụng và không sử dụng mô hình Nhóm giải pháp không sử dụng mô hình biểu diễn hình dạng người dưới dạng cấu trúc hình học ba chiều Tư thế được biểu diễn dưới dạng điểm, ví dụ các khối tương ứng đầu và tay, hay các đoạn thẳng Vì không có một mô hình cụ thể cho hành động, nên tư thế được ước lượng dựa trên tập dữ liệu huấn luyện, ví dụ như dữ liệu được thu bởi các

hệ thống thu nhận chuyển động

Với các giải pháp ở nhóm còn lại, một mô hình khởi đầu được dùng để tham chiếu đến các thông tin liên quan được xác định dựa trên việc ước lượng dữ liệu, hoặc mô hình

này biểu diễn trực tiếp đối tượng quan sát và được cập nhật liên tục Trong [30], các nhà nghiên cứu sử dụng mô hình hai chiều của phần đầu và vai để phát hiện và theo vết đối tượng, thông tin về tư thế tổng quát không được xác định chi tiết dẫn đến khó khăn trong trường hợp có che khuất Để khắc phục nhược điểm này, nhiều giải pháp đã được đề xuất, ví dụ như [31], [32], [33], [34], [35], [36], thực hiện tái cấu trúc tư thế người với một mô hình cho trước Đa số các phương pháp này sử dụng kĩ thuật phân tích tổng hợp,

cụ thể là tách cơ thể đối tượng thành các phần riêng biệt để tối ưu mức độ tương tự giữa

mô hình và ảnh quan sát Với việc sử dụng mô hình cho trước, vấn đề che khuất có thể được xử lý và thống nhất các ràng buộc khác nhau vào trong một hệ thống Nghiên cứu [37] sử dụng giải pháp này và mang lại hiệu quả cao trong việc xử lý vấn đề che khuất, tuy nhiên hệ thống chỉ hoạt động được nếu tư thế khởi tạo ban đầu là “đứng thẳng” Các phương pháp theo vết dựa trên điểm phù hợp nhất với các đối tượng nhỏ, mặc

dù cũng có thể sử dụng để theo vết các đối tượng kích cỡ lớn Nhược điểm chính của hướng tiếp cận này là chi phí tính toán cao trong trường hợp số lượng điểm lớn

Tái cấu trúc đối tượng 3 chiều từ chuỗi ảnh hình chiếu [31]

Mô hình đối tượng chuyển động với vị trí đầu và các chi [37]

e Đánh giá

Theo vết kernel có thể được sử dụng cho một hoặc nhiều đối tượng cùng lúc, đặc biệt

là phù hợp khi áp dụng cho người để xác định vị trí trong ảnh Thế mạnh lớn nhất của các giải pháp này là chi phí tính toán thấp nếu so với các hướng tiếp cận cùng mục tiêu Tuy vậy, với các đối tượng có hình dạng phức tạp như người với các bộ phận tay chân

và đầu, theo vết kernel chưa đủ mạnh để mô tả thông tin chi tiết về đối tượng

Để khắc phục nhược điểm của theo vết kernel, thông tin về hình chiếu đối tượng

được sử dụng bởi tính linh hoạt trong việc xử lý lượng lớn thông tin về hình dạng Mặc

dù nhiều thuật toán theo vết dựa trên hình chiếu có thể xử lý che khuất, ví dụ [28], nhưng lại nhạy cảm với nhiễu Trong môi trường ảnh chứa nhiều nhiễu, thông tin về hình dạng

và đường bao của đối tượng được theo vết khó có thể trích xuất hiệu quả

Biểu diễn đặc trưng

Kết quả theo vết trong mỗi khung hình được biến đổi thành một tập các đặc trưng với dạng biểu diễn có số chiều ít hơn thông tin ban đầu, gọi là vectơ đặc trưng Như đã

đề cập, cách mô tả đặc trưng đóng vai trò quan trọng trong các hệ thống thị giác máy tính nói chung và chăm sóc y tế nói riêng Có rất nhiều phương pháp mô tả đặc trưng đã được đề xuất, được chia thành hai nhóm chính: đặc trưng số [38], [39], [40] và đặc trưng nhị phân [46], [47]

Các giải pháp ở nhóm đầu tiên trích xuất hình chiếu của đối tượng chuyển động và nhận dạng hành vi dựa trên việc phân tích dữ liệu thu được [38], [39], [40], [41] Nghiên cứu [41] biểu diễn hành động trong một ảnh đơn được gọi là ảnh cường độ chuyển động (MII) Ảnh này được tạo ra bằng cách canh giữa các hình chiếu đối tượng trong mỗi ảnh nhị phân (kết quả phép trừ nền hay phân đoạn) theo một điểm tham chiếu cố định, từ đó chuyển động được thu hẹp vào một khu vực có giới hạn Ưu điểm của MII là sự đơn giản, độ hiệu quả và mạnh mẽ khi thực hiện trên ảnh chứa nhiễu

Một ví dụ về MII, với các dòng lần lượt là chuỗi ảnh đầu vào, chuỗi hình

chiếu đối tượng trước và sau khi canh giữa, cuối cùng là MII [40]

Ở [41], các nhà nghiên cứu sử dụng ảnh chuyển động tích lũy (AMI) để biểu diễn chuyển động trong một chuỗi ảnh, được tính bằng trung bình độ sai lệch từng cặp ảnh liên tiếp trong chuỗi Để đảm bảo tính mạnh mẽ của đặc trưng, ảnh AMI được biến đổi

kích thước thành một ảnh con kích thước NN và một ma trận xếp hạng được tạo ra

dựa trên thứ hạng các giá trị trong ảnh đó Một ví dụ minh họa hai ảnh con khác nhau nhưng có cùng giá trị ma trận xếp hạng được trình bày trong hình 2.9

Ví dụ về ảnh chuyển động tích lũy 0

Ví dụ về hai hành động có cùng ma trận xếp hạng [41]

Các giải pháp sử dụng vectơ chỉ hướng thường ước lượng hướng biến đổi cường độ của các điểm ảnh trong hai khung hình liên tiếp (thường gọi là luồng quang học), và sử dụng các thông tin về hướng cho việc nhận dạng hành động [42], [43], [44], [45] Nghiên cứu tiên phong của hướng tiếp cận này được đề xuất ở [44] với tập dữ liệu ảnh được thu

từ một khoảng cách xác định Trong [43], các tác giả cũng trình bày một thuật toán nhận dạng hành động dựa trên luồng quang học và thông tin các phần của cơ thể Ở [42], các nhà nghiên cứu thực hiện việc nhận dạng với chuỗi ảnh được thu dưới góc nhìn bất kỳ thông qua sự kết hợp các thành phần của luồng quang học với các vectơ đặc trưng về hình chiếu đối tượng, như minh họa ở hình 1.10

Ảnh con 33 Ảnh con 33

Các vectơ chỉ hướng tương ứng với luồng quang học [42]

b Đặc trưng nhị phân

Các đặc trưng này sử dụng các giá trị 0 và 1 để thể hiện mối quan hệ hình học giữa các điểm nhất định của tư thế người Nghiên cứu [46] giới thiệu một tập các quan hệ dùng để kiểm tra một điểm cụ thể thuộc đối tượng nằm ở trước hay sau, bên trái hay phải một mặt phẳng xác định, tư thế cong hay thẳng của một phần cơ thể, và liên kết giữa hai điểm trên đối tượng có tồn tại hay không Một số quan hệ được minh họa trong hình 1.11, ví dụ góc giữa đùi và cẳng chân được sử dụng để xác định chân đang co hay duỗi, giá trị đặc trưng tương ứng là 1 (co) nếu góc nêu trên nhỏ hơn 120°, và bằng 0 (duỗi) nếu góc có giá trị từ 120° trở lên [47] Một bộ các đặc trưng như vậy có thể mô

tả hiệu quả thông tin về tư thế và chuyển động của đối tượng

(i) khụy và không

khụy gối phải

(j) vận tốc chân phải nhanh và chậm

(k) tay phải có và không

di chuyển lên trên

c Đánh giá

Một hạn chế vốn có của các đặc trưng dựa trên hình dạng là không thể nắm bắt được thông tin chuyển động của đối tượng nằm bên trong khu vực hình chiếu Quan trọng hơn, các kĩ thuật trừ nền khó có thể phân đoạn chính xác hình chiếu đối tượng, đặc biệt

là trong trường hợp nền thay đổi (ví dụ camera di động), điều này làm giảm hiệu quả của hệ thống khi xử lý trên kết quả trừ nền

Ngược lại với các phương pháp dựa trên hình dạng, các kĩ thuật sử dụng vectơ hướng không cần thực hiện việc tách đối tượng ra khỏi nền Đó là ưu điểm lớn nhất của các giải pháp thuộc nhóm này Tuy nhiên, các đặc trưng luồng quang học vẫn phụ thuộc vào góc nhìn của camera và chưa thực sự phù hợp với bài toán nhận dạng hành động từ một camera duy nhất

Nói chung, các nghiên cứu thực hiện trên đặc trưng số (gồm đặc trưng dựa trên hình dạng và vectơ hướng) mang lại hiệu quả tương đối tốt trong vấn đề nhận dạng hành động của người Tuy nhiên, các đặc trưng này được trích xuất từ thông tin hai chiều dựa trên hình chiếu đối tượng, nên vẫn còn nhạy cảm với vấn đề che khuất và phụ thuộc vào góc nhìn

Ngược lại, các đặc trưng nhị phân được xác định từ tọa độ điểm ba chiều nên có thể

xử lý tốt vấn đề che khuất Ngoài ra, các đặc trưng này còn hiệu quả trong việc mô tả tư thế người thông qua các vectơ có số chiều thấp Dù vậy, vì chỉ sử dụng các giá trị 0 và

1 để biểu diễn quan hệ hình học trong tư thế, các đặc trưng này khó có thể phân biệt được các chuyển động phức tạp của cơ thể người

NHẬN DẠNG DÁNG ĐI

Về cơ bản, có hai phương pháp nhận dạng dáng đi: dựa vào đặc trưng và dựa vào mô hình

Phương pháp dựa vào đặc trưng

Trong phương pháp phân tích dựa vào đặc trưng, các đặc trưng trích xuất được sử dụng để biểu diễn cho dáng đi

Tùy thuộc vào mục đích phân tích dáng đi mà các đặc trưng khác nhau của dáng đi được sử dụng Nghiên cứu [53] đã tổng hợp các đặc trưng dáng đi thường dùng trong các lĩnh vực y tế, thể thao và nhận dạng trong bảng sau:

Nhịp bước   

Hiện nay, trong lĩnh vực phân tích dáng đi phục vụ việc nhận dạng, phân tích hành

vi té ngã hoặc phân loại, có nhiều đặc trưng khác nhau được các nhà nghiên cứu sử dụng Trong các nghiên cứu dựa vào dữ liệu từ video, hình chiếu đối tượng là đặc điểm chính thường sử dụng Ở [54], hình chiếu nhị phân của đối tượng được phủ bởi hình chữ nhật để nhận dạng người Trong [55] một phần hình chiếu của người được sử dụng để nhận dạng dáng đi

Khi nghiên cứu phát hiện hành vi té ngã, các tác giả ở [56] dựa vào đặc trưng thay đổi góc nghiêng của người Một người đang đứng có góc giữa trục dài elip khung bao

và sàn nhà là gần 90o Do đó, trong khoảng thời gian ngắn cố định, việc góc nghiêng thay đổi gần 90o so với cơ thể ban đầu là dấu hiệu của hành vi té ngã Cũng trong nghiên cứu này, tỷ lệ cạnh của chiều rộng so với chiều cao của khung bao cũng được xét đến

Tỷ lệ cạnh thấp thể hiện người đang ở tư thế đứng, nhưng nếu tỷ lệ cạnh thay đổi thành cao thì thể hiện hành vi ngã

Dựa trên dữ liệu chuyển động, nhiều tính năng trên cơ thể được lựa chọn hơn Trong nghiên cứu của [55], các tác giả sử dụng các đặc trưng về chiều dài thân, chiều

dài cánh tay, chiều dài đùi, chiều dài bắp chân, và chiều dài chân để nhận dạng dáng đi Chiều cao cơ thể, chiều dài chân, nhịp bước, chiều rộng xương chậu, vận tốc, chiều rộng bước, chiều dài sải chân, khớp hông và khớp gối đã được các nhà nghiên cứu khoa học dùng để phân loại giới tính [56] ở Hàn Quốc

Các tính năng như độ dài bước chân, vận tốc, tổng thời gian dừng lại, khoảng cách dừng lại, số bước để dừng lại, chiều dài bước và chiều rộng bước được sử dụng để phân tích trong dáng đi của các đối tượng người cao tuổi ở [57]

Ở [58] dữ liệu hình ảnh 3D chuyển động cánh tay đã được sử dụng trong nhận dạng chuyển động của con người

Khung xương cũng được sử dụng rộng rãi trong nghiên cứu của [30], [19], [3], [56]

Phương pháp dựa vào mô hình

Các phương pháp phân tích dáng đi dựa trên mô hình sử dụng các mô hình toán học

để biểu diễn và phân tích dáng đi như máy vector hỗ trợ, mô hình Markov ẩn, mạng nơron…

 Máy vector hỗ trợ (Support Vector Machine -SVM)

Máyvector hỗ trợ là một thuật toán học máy nổi tiếng được sử dụng để giải quyết bài toán phân lớp Thuật toán SVM ban đầu được phát minh bởi Vladimir N Vapnik [73],

là một bộ phân loại tuyến tính, phương pháp của nó dựa trên lý thuyết học thống kê và hàm hạt nhân Ý tưởng của SVM là nhận dữ liệu vào và phân loại chúng vào hai lớp khác nhau.SVM đã được áp dụng rất thành công trong việc giải quyết các vấn đề của thế giới thực như nhận dạng văn bản, hình ảnh, chữ viết tay…

Cho một tập huấn luyện gắn nhãn (𝑥𝑖, 𝑦𝑖), 𝑖 = 1, … 𝑇 với 𝑥𝑖 ∈ 𝑅𝑛, 𝑦𝑖 ∈ {1, −1} Các hàm dưới đây có thể được sử dụng để phân lớp dữ liệu SVM:

đi của con người từ những góc khớp và các điểm nối cơ thể; (3) phân tích chuyển động

và trích xuất đặc trưng để phân loại giới tính trong các mẫu dáng đi

Một tập tuần tự các khung xương 2D được sử dụng để biểu diễn cho mô hình dáng đi là

Mẫu mô hình dáng đi Các tác giả ở [75] sử dụng SVM với mục đích nhận dạng tự động loại dáng đi của hai nhóm người: trẻ tuổi và lớn tuổi từ mô hình dáng đi tương ứng Nghiên cứu này sử dụng hệ thống phân tích chuyển động PEAK-2D để phân tích dữ liệu về khoảng cách tối thiểu bàn chân Khi 30 người trẻ tuổi và 28 người lớn tuổi tiến hành thử nghiệm đi

bộ liên tục với tốc độ tự chọn trong 20 phút trên máy chạy bộ, các mẫu dáng đi được trích xuất về khoảng cách tối thiểu bàn chân được sử dụng để huấn luyện SVM Kết quả kiểm tra cho biết hiệu suất tổng quát để nhận dạng dáng đi người trẻ và người già của phương pháp SVM trung bình là 83.3% (±2.9) so với kết quả chính xác 75.0% (±5.0) khi dùng phương pháp mạng nơron để nhận dạng trên tập dữ liệu này

Tham số xác suất của một mô hình Markov ẩn Trong hình 2.13, 𝑥1, 𝑥2, 𝑥3 là các trạng thái ẩn và 𝑦1, 𝑦2, 𝑦3, 𝑦4 là các quan sát Một HMM thông thường có thể được định nghĩa 𝜆 = (𝐴, 𝐵, π) với A là ma trận xác

suất chuyển trạng thái, B là ma trận xác suất quan sát và π là ma trận khởi đầu của các

trạng thái Dựa trên 3 ma trận này, các giai đoạn huấn luyện và phân lớp được tiến hành

Ở giai đoạn huấn luyện, mỗi một lớp được xây dựng và huấn luyện với số lượng trạng thái được chỉ định, các xác suất chuyển trạng thái và xác suất quan sát tương ứng được tối ưu sao cho xác suất xuất hiện các chuỗi quan sát giống với vector đặc trưng mẫu ở mức cao nhất Giai đoạn phân lớp sẽ tính toán xác suất mỗi HMM có thể tạo ra một chuỗi quan sát tương ứng với vector đặc trưng đầu vào, và kết quả phân lớp được đưa

ra dựa trên HMM cho giá trị xác suất cao nhất HMM đã được sử dụng thành công trong nhiều ứng dụng bao gồm cả nhận dạng giọng nói, phát hiện gen, và nhận dạng cử chỉ…

Ở nghiên cứu [76] dùng mô hình HMM liên tục để phân loại năm hoạt động gồm đứng yên, đi bộ, chạy, đi lên cầu thang, đi xuống cầu thang của người đi bộ dựa trên các đơn vị đo lường quán tính gắn trên ngực đối tượng Với mỗi hoạt động, hệ thống sử dụng một mô hình HMM con để huấn luyện, kiểm thử và tích hợp năm mô hình lại để tạo ra lớp HMM cao hơn

Mô hình HMM tương ứng với các mô hình HMM con

của mỗi hoạt động Tuy kết quả phân loại chính xác khoảng 95% dữ liệu kiểm thử nhưng điểm hạn chế của nghiên cứu này là các đối tượng phải mang thêm máy tính xách tay kết nối với máy

đo lường quán tính gắn trên ngực khi di chuyển, do đó có thể ảnh hưởng đến chuyển động bình thường của họ

Nghiên cứu [77] có sử dụng giày Smart Shoe để phân tích dáng đi thực tế dựa trên

dữ liệu thu được từ HMM Sử dụng các xác suất thu từ HMM để suy ra các giai đoạn dáng đi, và quá trình chuyển đổi bất thường giữa các giai đoạn dáng đi đều được kiểm tra bởi các ma trận chuyển đổi Các phương pháp phân tích giai đoạn dáng đi được đề xuất đã được áp dụng cho dữ liệu dáng đi thực tế, và kết quả cho thấy các phương pháp

đề xuất là công cụ tiềm năng để chẩn đoán tình trạng của bệnh nhân và đánh giá chức năng điều trị phục hồi

 Mạng nơron nhân tạo (Artificial Neural Network - ANN)

Mạng nơron nhân tạo, gọi tắt là mạng nơron, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học Nó được tạo nên từ một số lượng lớn các phần tử nơron kết nối với nhau thông qua các liên kết (có trọng số) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, ) thông qua quá trình học từ tập các mẫu huấn luyện Về bản chất, học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron sao cho giá trị hàm lỗi là nhỏ nhất

Nghiên cứu [78] nhận biết dáng đi người sử dụng mạng nơron lan truyền ngược Đầu tiên cơ thể và hình chiếu được trích xuất từ các chuỗi ảnh của chuyển động dáng đi Tiếp đến, khung xương 2D được trích xuất từ hình chiếu bằng cách xác định 9 tọa độ điểm trên cơ thể Các góc chuyển động trong chu kỳ dáng đi được tính từ chuỗi dáng đi để phân tích Sau đó, thuật toán mạng nơron lan truyền ngược tăng cường được dùng để xác định các đặc điểm dáng đi Thử nghiệm được tiến hành trên 90 đối tượng khác nhau với bảy mô hình dáng đi của từng đối tượng, tổng cộng 630 mô hình dáng đi được sử

dụng Các đối tượng này được phân loại thành ba nhóm, mỗi nhóm có 30 đối tượng, dựa theo mức chất lượng của dữ liệu ở giai đoạn tiền xử lý (tốt, trung bình, yếu) Mỗi nhóm dùng 150 vector để huấn luyện, 30 vector thử nghiệm Hệ thống sử dụng 10 đặc trưng dáng đi của từng đối tượng làm dữ liệu đầu vào, 28 nút ẩn và 13 nút đầu ra Để nhận dạng dáng đi, mạng nơron được huấn luyện cho đến khi hiệu quả nhận dạng trên dữ liệu huấn luyện đạt 100% Kết quả nhận dạng đạt 90.0% với nhóm dữ liệu tiền xử lý tốt, cùng đạt 83.3% với nhóm trung bình và yếu

Nghiên cứu [79] sử dụng mạng nơron với giải thuật lan truyền ngược sai số để huấn luyệnvà thử nghiệm việc nhận dạng dáng đi.Đầu tiên, các tác giả tách hình chiếu nhị phân của đối tượng, sau đó tính trọng tâm, chiều dài bước đi, chiều dài chu kỳ dáng đi của đối tượng Tiếp đến, mạng nơron được dùng để xây dựng mô hình huấn luyện Theo tính toán thực nghiệm của các tác giả, lớp dữ liệu vào gồm 4 nơrontương ứng với bốnđặc trưng ở trên, lớp ẩn gồm 40 nơron sử dụng hàm sigmoid để tính toán, lớp ra gồm 25 nơron Khi tiến hành thử nghiệm với bộ dữ liệu CASIA, tỷ lệ nhận dạng đạt tối đa là 96.32%

Mô hình mạng nơron dùng trong nghiên cứu [79]

Nội dung chương này đã trình bày tổng quan về phân tích dáng đi, bao gồm các thông

số đặc trưng của dáng đi, các thiết bị cảm biến và các loại camera thường được sử dụng, cũng như các phương pháp thường dùng để phân tích dáng đi

Thiết bị được giới thiệu vào tháng 11 năm 2010 như một phụ kiện của Xbox 360 Cảm biến chiều sâu (depth sensor) được sử dụng trong Kinect được phát triển bởi Zeev Zalevsky, Alexander Shpunt, Aviad Maizels và Javier Garcia, năm 2005 Kinect đã chính thức được công bố vào ngày 01 Tháng Sáu Năm 2009, dưới cái tên "Project Natal" ( Natal là tên một thành phố ở Brazil, nơi sinh của 1 giám đốc dự án này) Chức năng chính của Kinect là một công cụ để người dùng tương tác với Xbox 360 bằng cử chỉ và lệnh nói Vì lý do này, các bộ cảm biến có khả năng thu thập dữ liệu ở độ phân giải 640x480 điểm ảnh Với các dữ liệu chiều sâu, có thể lấy được một khung xương của người đứng phía trước của cảm biến Và với bộ xương đó, nó có thể nhận biết được cử chỉ của người sử dụng

Một số hình ảnh về Kinect và Xbox 360

Camera Kinect của hãng Microsoft

Camera Kinect và Xbox 360 của hãng Microsoft

CẤU TẠO

Cấu tạo của Camera Kinect

Sơ đồ khối

Hệ thống cảm biến chiều sâu

Bao gồm bộ phát hồng ngoại (Infrared light) và camera hồng ngoại (depth image CMOS) Kích cỡ ảnh là 640x480 pixel, tốc độ chụp 30 khung hình mỗi giây

Có 2 phạm vi độ sâu:

- Phạm vi mặc định có sẵn trong cả hai bộ cảm biến Kinect cho Windows và các cảm biến Kinect cho Xbox 360

- Phạm vi gần chỉ có trong cảm biến Kinect cho Windows

Phạm vi hoạt động của cảm biến trên Kinect

Để cảm biến hoạt động tốt nhất thì nên sử dụng khoảng cách từ 1,2m  3,5m Hoạt động : Các tia hồng ngoại được chiếu qua bộ phát hồng ngoại đến đối tượng, sau đó camera hồng ngoại sẽ thu thập dữ liệu bị phản chiếu

Camera RGB-D

Chức năng chính của camera là nhận biết 3 màu cơ bản là đỏ, xanh lá cây và xanh

da trời (Red-Green-Blue) Quá trình chụp bao gồm việc chụp một ảnh màu (RGB) và thực hiện một phép đo độ sâu (D) Cảm biến hình ảnh kết hợp với cảm biến chiều sâu nằm ở gần nhau, cho phép sáp nhập bản đồ, cho ra hình ảnh 3D Thông tin ảnh RGB-D được lưu trữ

Với kích cỡ 1280x960 pixel, tốc độ 12 khung hình/giây Với kích cỡ 640x480 pixel, tốc độ chụp 30 khung hình/giây Từ đây cho thấy,khi thiết lập độ phân giải thấp hơn thì tốc độ chụp và truyền hình ảnh là cao hơn

Với dữ liệu sâu thu được, nó sẽ tạo ra một bản đồ về bộ xương người đứng ở trước cảm biến Và với bộ xương đó, nó có thể xác định được cử chỉ,hành động của người sử dụng

Động cơ, máy đo gia tốc, micro

Động cơ : nằm ở đế của cảm biến Kinect Nó có khả năng làm cho cảm biến hướng đầu lên trên cao và hạ xuống thấp Với khả năng này sẽ giúp cho cảm biến có thể thu được hình ảnh cao hơn rất nhiều so với khi không có bộ động cơ

Máy đo gia tốc : Kinect sử dụng nó để xác định người đứng trước, đứng sau trong khi đo

Micro : bao gồm 4 micro nhỏ, hoạt động như nhau ở 16 bit với tốc độ lấy mẫu là 16kHz (số mẫu/giây)

Cảm biến đo chiều sâu (depth sensor)

Vùng hoạt động của hệ thống là 43 độ dọc, 57 độ theo chiều ngang

Vùng hoạt động của Kinect