Sử dụng thuật toán vector máy hỗ trợ để nhận dạng trạng thái té ngã sử dụng camera kinect

Chính vì lẽ đó, trong những năm gần đây, các nhà khoa học đã nghiên cứu, phát triển nhiều công trình, nhiều phương pháp phát hiện và nhận dạng té ngã có độ chính xác cao, phục vụ cho việ

LUẬN VĂN THẠC SĨ TRỊNH HOÀI ÂN

SỬ DỤNG THUẬT TOÁN VECTOR MÁY HỖ TRỢ

ĐỂ NHẬN DẠNG TRẠNG THÁI TÉ NGÃ SỬ DỤNG

CAMERA KINECT

NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203

S K C0 0 4 6 0 7

THÀNH PHỐ HỒ CHÍ MINH

Tp Hồ Chí Minh, tháng 10/2015

LUẬN VĂN THẠC SĨ TRỊNH HOÀI ÂN

SỬ DỤNG THUẬT TOÁN VECTOR MÁY HỖ TRỢ ĐỂ NHẬN DẠNG TRẠNG THÁI TÉ NGÃ SỬ DỤNG

CAMERA KINECT

NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203

THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ TRỊNH HOÀI ÂN

SỬ DỤNG THUẬT TOÁN VECTOR MÁY HỖ TRỢ ĐỂ NHẬN DẠNG TRẠNG THÁI TÉ NGÃ SỬ DỤNG

LÝ LỊCH KHOA HỌC

I LÝ LỊCH SƠ LƯỢC:

Họ & tên: Trịnh Hoài Ân Giới tính: Nam

Ngày, tháng, năm sinh: 19/12/1990 Nơi sinh: Tiền Giang

Chỗ ở riêng hoặc địa chỉ liên lạc: 80, Tổ 3, Ấp 4, Xã Tam Hiệp, Huyện Châu Thành, Tỉnh Tiền Giang

Điện thoại cơ quan: Điện thoại nhà riêng: E-mail: hoaiantiengiang@gmail.com

II QUÁ TRÌNH ĐÀO TẠO:

1 Trung học chuyên nghiệp:

Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ ……

Ngành học: Kỹ thuật Điện – Điện Tử

Tên đồ án, luận án hoặc môn thi tốt nghiệp: PHÂN LOẠI SẢN PHẨM THEO MÀU SẮC

Ngày & nơi bảo vệ đồ án, luận án hoặc thi tốt nghiệp: 08/2012, Bộ môn Điện Tử Công Nghiệp, Khoa Điện – Điện Tử, Đại học Sư Phạm Kỹ Thuật TP.HCM

Người hướng dẫn: ThS Tạ Văn Phương

III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC:

08/2012 – 09/2013 Công ty TNHH Sonion Việt Nam – Khu

Công Nghệ Cao TP.HCM

Kỹ sư phòng nghiên cứu và phát triển 10/2013 – nay Trung tâm Nghiên cứu và Đào tạo Thiết kế

Vi mạch (ICDREC) – ĐHQG TP.HCM Kỹ sư phụ trách đào tạo

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của tôi

Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác

Tp Hồ Chí Minh, ngày … tháng … năm 2015

(Ký tên và ghi rõ họ tên)

LỜI CẢM ƠN

Em xin chân thành cảm ơn quý thầy cô trường Đại học Sư Phạm Kỹ Thuật TP.HCM, nhất là quý thầy cô khoa Điện – Điện Tử đã giảng dạy, truyền đạt kiến thức quý báu cũng như giúp đỡ em giải quyết những khó khăn gặp phải trong suốt quá trình làm luận văn

Đặc biệt em xin chân thành cảm ơn TS Nguyễn Thanh Hải là giảng viên hướng dẫn đã tận tình giúp đỡ, chỉ dạy và đề xuất các hướng giải quyết các vấn đề khó khăn trong quá trình nghiên cứu và hoàn thành đề tài này

Bên cạnh đó em cũng xin cảm ơn các anh/chị học viên, bạn bè, đồng nghiệp,

đã đóng góp ý kiến, hỗ trợ, cùng cộng tác và tạo mọi mọi điều kiện thuận lợi nhất

để hoàn thành luận văn này

Học viên

Trịnh Hoài Ân

TÓM TẮT

Té ngã là một trong những nguyên nhân gây ra chấn thương nghiêm trọng và những tai nạn nguy hiểm đối với những người lớn tuổi Do đó việc phát hiện sớm té ngã và có những phương pháp điều trị kịp thời là một điều rất quan trọng có thể giúp cứu sống nhiều bệnh nhân Chính vì lẽ đó, trong những năm gần đây, các nhà khoa học đã nghiên cứu, phát triển nhiều công trình, nhiều phương pháp phát hiện

và nhận dạng té ngã có độ chính xác cao, phục vụ cho việc chăm sóc sức khỏe người lớn tuổi được tốt hơn Trong đề tài này, học viên nghiên cứu các giải thuật và thiết kế một hệ thống phát hiện, cảnh báo té ngã sử dụng phương pháp vector hỗ trợ học máy (Support Vector Machine – SVM) Dữ liệu được thu thập từ camera Kinect được đặt tại một vị trí cố định trong không gian cần giám sát Đặc trưng của dữ liệu được trích xuất bằng phương pháp phân tích thành phần chính (Principal Component Analysis – PCA) Thuật toán SVM được sử dụng để huấn luyện và nhận dạng các trạng thái của con người xem có xảy ra té ngã hay không Các kết quả thí nghiệm được thực hiện trên ba người với các trường hợp như thực tế đã cho kết quả tương đối tốt và độ tin cậy của hệ thống

ABSTRACT

Falls are the major reason of serious injury and dangerous accident for olderly people It is important to recognize falls early for assistance and treatment to save more patients Therefore, in recent years, scientists have been developing multiple projects with multiple methods of detection and recognition of human falls better In this thesis, subjects were introduced a system for recognition and warning falls using the SVM method Data were collected from the Kinect camera, which is placed at a fixed position in space Features of the data are extracted using the PCA algorithm The SVM was used for training and recognition of the human states to detect the fall whether fall or not fall Experimental results show that the high accuracy of recognition activities the proposed approach produced

MỤC LỤC

Quyết định giao đề tài

LÝ LỊCH KHOA HỌC i

LỜI CAM ĐOAN ii

LỜI CẢM ƠN iii

TÓM TẮT iv

ABSTRACT v

MỤC LỤC vi

DANH SÁCH BẢNG ix

DANH SÁCH HÌNH x

DANH MỤC CÁC TỪ VIẾT TẮT xii

Chương 1 TỔNG QUAN 1

1.1 Tổng quan chung về lĩnh vực nghiên cứu 1

1.2 Mục đích của đề tài 5

1.3 Nhiệm vụ và giới hạn của đề tài 5

1.3.1 Nhiệm vụ 5

1.3.2 Giới hạn 5

1.4 Phương Pháp Nghiên Cứu 6

1.5 Tóm Tắt Đề Tài 6

Chương 2 CƠ SỞ LÝ THUYẾT 7

2.1 Té ngã và các yếu tố ảnh hưởng đến té ngã 7

2.1.1 Định nghĩa té ngã 7

2.1.2 Các yếu tố đặc trưng của hoạt động té ngã 7

2.2 Các phương pháp phát hiện và nhận dạng té ngã 8

2.2.1 Phương pháp sử dụng cảm biến môi trường 8

2.2.2 Phương pháp sử dụng cảm biến đeo cơ thể 9

2.2.3 Phương pháp sử dụng thị giác máy tính (sử dụng camera) 10

Chương 3 XÂY DỰNG HỆ THỐNG THU DỮ LIỆU TÉ NGÃ 14

3.1 Phần cứng hệ thống 14

3.1.1 Camera Kinect và các thư viện hỗ trợ 14

3.1.2 Module báo động 17

3.2 Nhận dạng khớp xương và ảnh hưởng khớp xương đến tư thế 18

3.2.1 Nhận dạng khớp xương 18

3.2.2 Ảnh hưởng của khớp xương đến tư thế của con người 21

3.3 Thu thập dữ liệu 24

Chương 4 TRÍCH ĐẶC TRƯNG VÀ NHẬN DẠNG SỬ DỤNG PHƯƠNG PHÁP PCA 31

4.1 Tổng quan về PCA 31

4.2 Trích đặc trưng sử dụng thuật toán PCA 33

4.3 Nhận dạng sử dụng phương pháp khoảng cách Euclide 38

Chương 5 HUẤN LUYỆN VÀ NHẬN DẠNG SỬ DỤNG THUẬT TOÁN SVM 41

5.1 Tổng quan về SVM 41

5.1.1 Giai đoạn huấn luyện SVM 41

5.1.2 Giai đoạn nhận dạng 43

5.2 Nhận dạng dựa vào thuật toán SVM 44

Chương 6 KẾT QUẢ THỰC HIỆN 47

6.1 Thu dữ liệu té ngã 47

6.2 Hệ thống thông báo té ngã 53

6.3 Kết quả nhận dạng sử dụng Euclide 54 6.4 Kết quả nhận dạng sử dụng SVM 55 Chương 7

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 59 7.1 Kết Luận 59

7.2 Hướng Phát Triển Error! Bookmark not defined

TÀI LIỆU THAM KHẢO 61PHỤ LỤC 64

DANH SÁCH BẢNG

Bảng 2.1 So sánh độ chính xác của các phương pháp nhận dạng 11

Bảng 2.2 Hiệu suất nhận dạng của các phương pháp được đề xuất 12

Bảng 3.1 Đặc trưng của các tư thế khi thu dữ liệu bằng Kinect 22

Bảng 4.1 Thứ tự các mẫu dữ liệu 33

Bảng 6.1 Mô tả các trường hợp lấy mẫu 47

Bảng 6.2 Kết quả nhận dạng với số lượng vector đặc trưng là 1000 (41,7%) 54

Bảng 6.3 Kết quả nhận dạng với số lượng vector đặc trưng là 2000 (83,3%) 55

Bảng 6.4 Kết quả nhận dạng với số lượng vector đặc trưng là 2400 (100%) 55

Bảng 6.5Kết quả nhận dạng các trạng thái té ngã và không té ngã 57

Bảng 6.6Kết quả nhận dạng té ngã với các hoạt động thường ngày khác 57

DANH SÁCH HÌNH

Hình 1.1 Tỷ lệ nhập viện do té ngã tăng dần theo độ tuổi và giới tính tại Canada 1

Hình 1.2 Các chấn thương người lớn tuổi thường gặp phải do bị té ngã [1] 2

Hình 2.1 Các phương pháp phát hiện và nhận dạng té ngã 8

Hình 3.1 Sơ đồ khối hệ thống 14

Hình 3.2 Kinect X-Box 360 15

Hình 3.3 Cấu tạo camera Kinect [19] 15

Hình 3.4 Mô tả cách thu dữ liệu của cảm biến độ sâu [19] 15

Hình 3.5 Mô tả hệ tọa độ độ sâu của Kinect 16

Hình 3.6 Sơ đồ khối module báo động 17

Hình 3.7 Sơ đồ thực hiện nhận diện khớp xương của Kinect [20] 19

Hình 3.8 a) Chuyển đổi ảnh chiều sâu thành bản đồ bộ phận cơ thể [20] 19

Hình 3.9 Ví dụ các câu hỏi của thuật toán RDF 20

Hình 3.10 Randomized Decision Forest 21

Hình 3.11 Sơ đồ 20 vị trí khớp xương 21

Hình 3.12 Vị trí đặt camera Kinect 25

Hình 3.13 Mô tả tọa độ (x, y, z) của các khớp xương 26

Hình 3.14 Minh họa hoạt động té ngã của con người 27

Hình 3.15 Tọa độ theo trục Y của khớp xương đầu giữa té ngã và không té ngã 28

Hình 3.16 Mô tả dữ liệu tập mẫu P 29

Hình 3.17 Mô tả dữ liệu của tập mẫu S 30

Hình 4.1 Mô tả phương pháp PCA 31

Hình 4.2 Mô tả quá trình biến đổi dữ liệu bằng PCA 32

Hình 4.3 Lưu đồ thực hiện thuật toán PCA 34

Hình 4.4 Chuyển đổi dữ liệu đầu vào thành vector n2x1 35

Hình 4.5 Mô tả tập dữ liệu mẫu PCA 35

Hình 4.6 Mô tả trung bình mẫu PCA 36

Hình 4.7 Lưu đồ chương trình nhận dạng bằng khoảng cách Euclide 39

Hình 5.1 Các siêu phẳng H1 và H2 chia các mẫu thành các lớp khác nhau 42

Hình 5.2 Lưu đồ chương trình phát hiện và nhận dạng té ngã sử dụng SVM 44

Hình 5.3 Phân loại các trạng thái dựa vào siêu phẳng của thuật toán SVM [24] 45

Hình 6.1 Dữ liệu về tọa độ của các khớp xương được lưu dưới dạng xls 48

Hình 6.2 Mô tả các trường hợp thu tập mẫu 50

Hình 6.3 Phân bố dữ liệu khớp xương đầu trong các trường hợp té ngã 51

Hình 6.4 Phân bố dữ liệu khớp xương đầu trong các trường hợp không té ngã 52

Hình 6.5 Hệ thống thông báo té ngã thực tế 53

Hình 6.6 Gửi tin nhắn thông báo khi có té ngã 53

Hình 6.7 Tự động gọi điện thông báo 54

Hình 6.8 Kết quả nhận dạng đối tượng bị té ngã 56

Hình 6.9 Kết quả nhận dạng đối tượng không té ngã 56

DANH MỤC CÁC TỪ VIẾT TẮT

Từ viết tắt

ADL Activities of Daily Living

IR Infra-red

PCA Principal Component Analysis

RDF Randomized Decision Forest

RGB Red – green – blue

SD Standard Deviation

SVC Support Vector Classifier

SVM Support Vector Machine

Chương 1 TỔNG QUAN

1.1 Tổng quan chung về lĩnh vực nghiên cứu

Đối với người lớn tuổi hiện nay thì các chấn thương do té ngã đang là những tai nạn nguy hiểm và phổ biến Điều này sẽ gây nên những gánh nặng lớn đối với cá nhân, gia đình và hệ thống chăm sóc sức khỏe hiện tại Theo báo cáo của cơ quan Y

tế Công cộng Canada công bố năm 2014 [1] cho thấy tỷ lệ nhập viện do té ngã tăng dần theo độ tuổi Cụ thể có khoảng 4 – 6 người/1000 người ở độ tuổi từ 65 – 69 phải nhập viện do các chấn thương liên quan đến té ngã và tăng lên dần theo độ tuổi đến mức khoảng 49 – 68 người/1000 người ở độ tuổi trên 90 phải nhập viện do té ngã như trình bày trong hình 1.1 Các chấn thương liên quan đến té ngã là một trong những nguyên nhân phải nhập viện và gây tử vong hàng đầu ở những người lớn tuổi

Hình 1.1 Tỷ lệ nhập viện do té ngã tăng dần theo độ tuổi và giới tính tại Canada

năm 2010 [1]

Ở người lớn tuổi việc té ngã không chỉ xảy ra một lần mà thường tái diễn Hầu hết những người già té ngã tự làm cho họ bị chấn thương Ngay cả khi không bị tổn thương thì chỉ một lần té ngã cũng làm cho họ lo âu và giảm mức độ sinh hoạt hằng

ngày Kết quả của những lần té ngã sẽ gây ra những chấn thương nghiêm trọng Chẳng hạn như trật khớp, bong gân, gãy xương ở các vị trí khác nhau, tụ máu dưới màng cứng, các tổn thương mô mềm nghiêm trọng khác hoặc chấn thương đầu như

mô tả ở hình 1.2

Hình 1.2 Các chấn thương người lớn tuổi thường gặp phải do bị té ngã [1]

Các nguyên nhân gây té ngã của người già được chỉ ra [2 – 3] bao gồm:

 Bị mất thăng bằng khi di chuyển: chân yếu không thể giữ thăng bằng, vội vàng trong khi di chuyển, mang giày dép không an toàn khi đi trên những khoảng không gian trơn trượt

 Do chóng mặt, tăng/giảm huyết áp đột ngột, đột quỵ

 Do ảnh hưởng của các bệnh như: loãng xương, Parkinson, viêm khớp

 Tầm nhìn bị hạn chế: các bệnh liên quan đến mắt ở người lớn tuổi như đục thủy tinh thể, tăng nhãn áp…

 Do ảnh hưởng khi sử dụng thuốc: thuốc an thần, thuốc chống trầm cảm, thuốc chống loạn thần có thể góp phần làm giảm sự tỉnh táo về tinh thần, ảnh hưởng xấu đến sự cân bằng và dáng đi và gây ra tăng huyết áp khi đứng

 Các mối nguy hại của môi trường xung quanh: liên quan đến các mối nguy hiểm của những đối tượng/vật dụng tồn tại trong nhà, vấp ngã các vật dụng trên sàn

 Các yếu tố khác bao gồm ánh sáng kém, thiếu thanh vịn/tay vịn và đồ nội thất không phù hợp

Tác động trực tiếp của việc té ngã ở người lớn tuổi là bị chấn thương, nặng hơn nữa là tử vong Nếu nạn nhân được phát hiện quá muộn thì hậu quả sẽ càng nghiêm trọng hơn như bị hạ thân nhiệt hoặc là mất máu Việc phát hiện nạn nhân sớm có thể mang đến nhiều cơ hội để cứu sống nạn nhân hơn

Những nghiên cứu về mặt y học nêu trên đã nêu lên những cái nhìn tổng quan

về té ngã của người lớn tuổi, các nguyên nhân dẫn đến té ngã… Thế nhưng đứng trên góc độ khoa học công nghệ thì việc nghiên cứu, ứng dụng các thành tựu khoa học công nghệ mới để tìm ra các giải pháp nhằm ngăn chặn, cảnh báo té ngã ở người lớn tuổi được xem như là vấn đề hết sức cần thiết và đầy tiềm năng

Một loạt các phương pháp đã được thực hiện với công nghệ phát hiện té ngã ở các mức độ khác nhau đã đem đến những sự thành công nhất định Thiết bị phát hiện trạng thái té ngã có thể được kể đến như các thiết bị báo động có thể mặc/đeo được và các thiết bị báo động bằng hình ảnh dạng bị động

Đã có nhiều công trình nghiên cứu sử dụng các thiết bị hiện đại với mục đích giám sát sự hoạt động của người lớn tuổi Các thiết bị này sẽ dò tìm, phát hiện việc

té ngã và phát ra tín hiệu báo động cho người xung quanh để nhân viên y tế để kịp thời cấp cứu Có ba phương pháp được sử dụng để thiết kế hệ thống phát hiện té ngã bao gồm: sử dụng các loại camera trong việc giám sát, dò tìm và phát hiện té ngã [4 – 5], sử dụng các loại cảm biến môi trường [6] và sử dụng các cảm biến đeo trên cơ thể người [7 – 8]

Trong trường hợp sử dụng camera thì hệ thống được thiết lập trong không gian

cố định để giám sát các hoạt động của người lớn tuổi Dữ liệu được thu nhận và sử dụng các phương pháp, thuật toán xử lý ảnh để nhận biết trạng thái của đối tượng trong ảnh Ưu điểm của phương pháp này là người sử dụng không cần đeo bất kỳ thiết bị nào lên người, do đó việc dò tìm được thực hiện một cách tự động và hoàn

toàn chủ động trong mọi không gian Thế nhưng nhược điểm là đôi lúc bị ảnh hưởng bởi độ chói và một số nhiễu khác của môi trường xung quanh dẫn đến làm tăng độ khó của các thuật toán xử lý để đạt kết quả tốt

Đối với trường hợp sử dụng cảm biến môi trường như là cảm biến hồng ngoại hay cảm biến âm thanh, hệ thống này chỉ dò tìm được trong môi trường đã thiết lập

Ưu điểm của phương pháp này là chi phí thấp và thuận tiện cho người dùng vì không phải mang thêm thiết bị Tuy nhiên, hệ thống này chỉ dò tìm trong môi trường đã được thiết lập sẵn và tìm ẩn nhiều tín hiệu nhiễu từ các vật thể khác trong môi trường

Đối với trường hợp sử dụng cảm biến đeo trên cơ thể người có thể sử dụng các loại cảm biến như cảm biến gia tốc, con quay hồi chuyển, cảm biến góc nghiêng

Dữ liệu thu được từ cảm biến sẽ được xử lý, nhận dạng tư thế và vị trí của người dùng Ưu điểm của phương pháp này là các thiết bị nhỏ gọn, có thể sử dụng cơ động khi di chuyển, dễ sử dụng Thế nhưng nhược điểm là người sử dụng phải đeo thiết

bị lên cơ thể gây ra cảm giác khó chịu cho người sử dụng Mặc khác khi té, người già đã mất sự tỉnh táo, rất khó để có thể nhấn nút kích hoạt báo động trên thiết bị Mặc dù có những hiểu biết nhất định về các yếu tố là nguy cơ chính dẫn đến té ngã, những giai đoạn nguy hiểm nhất xảy ra té ngã trong ngày và vị trí phổ biến nhất cho té ngã nhưng vẫn chưa có phương pháp nào để dự đoán chính xác thời điểm trạng thái té ngã sẽ xảy ra Để nắm bắt được thời điểm chính xác của té ngã, người bị té ngã sẽ phải được theo dõi liên tục và một số lượng lớn những người lớn tuổi sẽ phải được quan sát để thu thập một cơ sở dữ liệu đầy đủ nhất cho việc cảnh báo té ngã Có nhiều vấn đề có ảnh hưởng đến sự tuân thủ của người lớn tuổi: nhiều người lớn tuổi lo sợ rằng sử dụng các công nghệ nhận dạng té ngã có thể quá phức tạp, khó khăn hoặc “nhàm chán” để họ sử dụng; hoặc họ chỉ đơn giản là có thể quên

sử dụng các thiết bị Phòng ngừa té ngã là một quá trình lâu dài do đó bắt buộc người bị té ngã phải hiểu đúng các yếu tố cần thiết trong việc sử dụng những thiết bị cảnh báo giúp cho việc thu thập dữ liệu và ngăn chặn có hiệu quả những trường hợp

té ngã có thể xảy ra