Bài viết này sẽ khảo sát đánh giá một mô hình nhận dạng các hoạt động hàng ngày bao gồm cả các hành vi bất thường dựa trên dữ liệu cảm biến gia tốc của điện thoại thông minh. Ảnh hưởng kích thước cửa sổ trượt và các tập thuộc tính khác nhau lên độ chính xác phân lớp từng hành động cũng sẽ được khảo sát đánh giá trong bài báo này.
Trang 1NHẬN DẠNG HÀNH ĐỘNG HÀNG NGÀY CỦA CON NGƯỜI DỰA VÀO CẢM BIẾN
GIA TỐC TRÊN ĐIỆN THOẠI THÔNG MINH
Lê Hồng Lam 1 , Cao Ngọc Ánh 2 , Nguyễn Hoài Nam 3 , Nguyễn Đức Nhân 4 , Trần Thủy Bình 4 , Nguyễn Hà Nam 5
1Khoa Điện tử, Trường Đại học Sư phạm Kỹ thuật Vinh
2Trường Đại học Kinh tế - Kỹ thuật công nghiệp
3Cục Công nghệ thông tin, Bộ Giáo dục và Đào tạo
4Khoa Viễn thông 1, Học viện Công nghệ Bưu chính viễn thông
5Viện Công nghệ thông tin, Đại học Quốc gia Hà Nội
lehonglam.skv@gmail.com, cnanh@uneti.edu.vn, nam.moet@gmail.com, nhannd@ptit.edu.vn,
tran.binh95@gmail.com, namnh@vnu.edu.vn
TÓM TẮT: Nhận dạng chính xác hoạt động hàng ngày của con người luôn là một chủ đề thu hút sự chú ý trong nghiên cứu
và là một nhiệm vụ khó khăn, đặc biệt khi số lượng hoạt động lớn trong đó có cả các hoạt động bất thường như ngã Nhờ sự phổ biến rộng rãi việc sử dụng điện thoại thông minh, bài toán nhận dạng hoạt động dựa vào dữ liệu thu được từ cảm biến trên điện thoại thông minh người dùng đang được quan tâm nhiều Bài báo này sẽ khảo sát đánh giá một mô hình nhận dạng các hoạt động hàng ngày bao gồm cả các hành vi bất thường dựa trên dữ liệu cảm biến gia tốc của điện thoại thông minh Ảnh hưởng kích thước cửa sổ trượt và các tập thuộc tính khác nhau lên độ chính xác phân lớp từng hành động cũng sẽ được khảo sát đánh giá trong bài báo này Tập thuộc tính khác nhau được xem xét dựa trên các miền khác nhau bao gồm tập thuộc tính miền thời gian, tập thuộc tính miền tần số và tập thuộc tính Hjorth cùng các tổ hợp giữa các miền để lựa chọn tập thuộc tính phù hợp nâng cao kết quả phân lớp Thực nghiệm được tiến hành trên các bộ phân loại khác nhau bao gồm Random Forest (RF), SVM, kNN và kết quả thu được cho thấy giải thuật Random Forest đạt được kết quả nhận dạng tốt nhất
Từ khóa: Nhận dạng hành động, cảm biến gia tốc trên smartphone, mô hình phân lớp Random Forest, tập thuộc tính
I GIỚI THIỆU
Điện thoại thông minh đã trở nên phổ biến ở nhiều nước trên thế giới và Việt Nam, do đó nó trở thành một công
cụ hữu ích cho nhận dạng hành động hàng ngày của người dùng nhờ thu thập các dữ liệu từ các cảm biến được tích hợp Với sự gia tăng dân số cao tuổi ở nhiều nước trên thế giới hiện nay, hệ thống nhận dạng hành động đặc biệt là các hành động bất thường của con người xảy ra do ngã, đột quỵ, bị va đập mạnh hoặc mất kiểm soát càng được quan tâm nghiên cứu trong những năm gần đây để hỗ trợ bản thân người cao tuổi và người chăm sóc trong cuộc sống hàng ngày Nhận dạng hành động hàng ngày của con người dựa trên mô hình học máy đã được quan tâm nghiên cứu từ lâu và được ứng dụng trong nhiều lĩnh vực khác nhau như giao thông, giám sát môi trường và chăm sóc y tế [1], [2] Trong cuộc sống hàng ngày với nhiều hoạt động, các hành vi bất thường có thể rất đa dạng, tuy nhiên hành vi bất thường do ngã vẫn được quan tâm chú ý nhận dạng nhiều nhất vì hậu quả của ngã đem lại thường nghiêm trọng đặc biệt đối với người già
Ravi và cộng sự [3] đã phân loại 8 hoạt động khác nhau của con người bằng cách sử dụng gia tốc kế Shoaib và cộng sự [4] đã sử dụng cả điện thoại thông minh và đồng hồ thông minh để xác định các hoạt động hàng ngày khác nhau của con người Họ đã sử dụng mô hình phân lớp cây quyết định C4.5, kNN và SVM Sag bas và Ballı [5] đã so sánh sự thành công của phương pháp Naive Bayes và kNN trong việc phân loại các hoạt động của con người bằng cách
sử dụng gia tốc kế và cảm biến đếm bước chân của đồng hồ thông minh Trong nghiên cứu được thực hiện bởi Parkka
và cộng sự [6] hoạt động hàng ngày đã được xác định với các cảm biến gia tốc kế và con quay hồi chuyển gắn ở hông,
cổ tay và cổ chân, những kết quả đạt được ở ba vị trí này đã được so sánh Riboni và Bettini [7] đã sử dụng các mạng Bayes, C4.5, hồi quy logistic, Naive Bayes và SVM để phân loại dữ liệu thu được từ điện thoại thông minh Android và thiết bị đeo được của Sun microsystems Trong bài báo này, nhóm tác giả đã lựa chọn điện thoại thông minh để tiến hành các nghiên cứu vì tính phổ biến của nó
Nhận diện đúng các mẫu hành vi bất thường liên quan đến ngã khi chỉ sử dụng dữ liệu cảm biến trên điện thoại thông minh là một thách thức lớn Có nhiều yếu tố tác động dẫn đến khả năng ngã và có thể được phân thành các yếu
tố bên trong liên quan đến hành vi, trạng thái sức khỏe con người và các yếu tố bên ngoài liên quan đến môi trường [8], [9] Việc nhận diện được càng nhiều các mối liên kết giữa các yếu tố này sẽ càng giúp xác định được rõ mức độ rủi ro dẫn đến ngã Với chỉ dữ liệu thu từ các cảm biến chuyển động trên điện thoại thông minh thì yếu tố môi trường không được xác định sẽ tạo ra thách thức lớn để đánh giá được mức độ rủi ro ngã Do vậy, việc cần thiết là phải xác định được
rõ các pha đặc trưng trong dáng đi của con người, đặc biệt là người già, qua đó xác định được các tham số đặc trưng cho từng pha và sự biến đổi các tham số đó theo thời gian ảnh hưởng đến khả năng ngã Việc xây dựng mô hình nhận diện hành vi bất thường cũng cần xem xét các phương pháp trích xuất đặc trưng khác nhau: trích rút đặc trưng miền thời gian, trích rút đặc trưng miền tần số, miền biến đổi hoặc tham số Hjorth Xác định được tập các đặc trưng tiểu biểu
sẽ có vai trò vô cùng quan trọng cho phép thuật toán phân loại có thể nhận diện các mẫu hành vi bất thường của con người với độ chính xác cao trong bối cảnh hoạt động sống hàng ngày tại Việt Nam
Tính mới của nghiên cứu này nằm đề xuất tập thuộc tính đặc trưng dựa trên miền thời gian và miền tần số nhằm biến đổi dữ liệu cảm biến thành dữ liệu đặc trưng phục vụ cho nhận dạng hành động và hành vi bất thường Kết quả độ
Trang 2đo sau khi phân lớp dữ liệu được sử dụng để đánh giá, lựa chọn tập thuộc tính Trong đó, sử dụng tham số Hjorth cho các đại lượng khác nhau nhằm thu được các thuộc tính phù hợp để biến đổi dữ liệu cảm biến thành dữ liệu đặc trưng Tập thuộc tính đặc trưng phù hợp sẽ sử dụng làm cơ sở cho việc xây dựng hệ thống nhận dạng bằng các phương pháp phân lớp RF, kNN và SVM Kết quả thu được cho thấy giải thuật RF có kết quả nhận dạng tốt nhất
Cấu trúc của bài báo ở phần II giới thiệu sơ đồ hệ thống nhận dạng, các bước tiền xử lý dữ liệu, thiết lập cửa sổ
dữ liệu và tập thuộc tính đặc trưng Phần III trình bày quá trình thực nghiệm và đánh giá mô hình Phần IV sẽ đưa ra các kết luận và đề xuất hướng nghiên cứu trong tương lai
II MÔ HÌNH NHẬN DẠNG
A Sơ đồ hệ thống nhận dạng
Hệ thống nhận dạng hành động thực hiện việc thu thập, tiền xử lý dữ liệu, biến đổi để có tập dữ liệu đặc trưng dựa trên tập thuộc tính được đề xuất Từ một số nghiên cứu đã có cho thấy, kích thước cửa sổ dữ liệu sử dụng trong nhận dạng được cố định đối với tất cả các đối tượng Điều này gặp phải nhiều khó khăn khi các hành động, hành vi cần nhận dạng có những đặc điểm, tính chất khác nhau Do đó, hệ thống nhận dạng dựa vào dữ liệu đặc trưng được biến đổi bằng tập thuộc tính đề xuất với cửa sổ dữ liệu khác nhau theo từng loại hành động Các kích thước cửa sổ được lựa chọn dựa trên đánh giá độ đo AUC khi phân lớp dữ liệu
Dữ liệu cảm biến gia tốc thu được từ điện thoại gồm các điểm dữ liệu là những véctơ gồm ba số thực tương ứng trên ba trục X, Y, Z của hệ trục tọa độ thiết bị Chuỗi tín hiệu cảm biến gia tốc với các điểm được thêm vào theo thời gian có tính chất của dữ liệu chuỗi thời gian Vì một chuỗi thời gian dạng luồng bao gồm một số lớn các giá trị Do các nhân tố chủ quan, khách quan cũng như sự khác nhau về chủng loại thiết bị, tần số lấy mẫu khi thu dữ liệu sẽ cho các chuỗi dữ liệu sẽ khác nhau Vì vậy, cần sử dụng những kỹ thuật tiền xử lý cũng như phân đoạn cửa sổ tín hiệu có kích thước phù hợp sao cho thông tin về đối tượng nhận dạng nhiều nhất trên cửa sổ dữ liệu đó
Kỹ thuật cắt và chồng dữ liệu được sử dụng để phân đoạn một chuỗi dữ liệu cảm biến liên tục thành các cửa sổ
có kích thước là W Cắt chồng dữ liệu là cách lấy lại một số điểm dữ liệu của cửa sổ trước đó làm một thành phần cho cửa sổ hiện tại Kỹ thuật này được sử dụng trong nhiều nghiên cứu đã công bố về nhận dạng hành động, hành vi thông qua dữ liệu cảm biến như [10], [11], [12], [13]
Dựa vào các cửa sổ dữ liệu, những phương pháp trích xuất, biến đổi dữ liệu được áp dụng để đưa ra những giá trị đặc trưng của các đối tượng cần nhận dạng Tiếp đến là áp dụng những thuật toán nhận dạng phù hợp để thu được kết quả mong muốn
Hệ thống nhận dạng các hoạt động hàng ngày bao gồm cả các hành vi bất thường dựa trên dữ liệu cảm biến gia tốc của điện thoại thông minh được xây dựng và biểu diễn như Hình 1:
Hình 1 Hệ thống nhận dạng các hoạt động hàng ngày
Hệ thống nhận dạng bao gồm 2 pha: Pha thứ nhất, sử dụng dữ liệu gia tốc có gán nhãn các loại hành động cơ bản đã được thu thập và xác định trước Các kỹ thuật tiền xử lý dữ liệu được sử dụng kết hợp với tập thuộc tính đặc trưng được đề xuất để xây dựng tập dữ liệu đặc trưng qua đó xây dựng mô hình phát hiện cho hệ thống bằng phương pháp nhận dạng Pha thứ hai, nhận dạng các hoạt động hàng ngày dựa trên dữ liệu cảm biến thu được từ điện thoại của các tình nguyện viên Các kỹ thuật biến đổi dữ liệu, trích xuất đặc trưng được áp dụng để tạo mẫu dữ liệu phát hiện, phát hiện nhãn của mẫu dữ liệu này bằng bộ phân lớp
Mỗi loại hành động, hành vi có tính chất, đặc trưng khác nhau nên kích thước cửa sổ dữ liệu tương ứng cũng khác nhau Việc tìm một cửa sổ có kích thước phù hợp chứa đủ các thông tin của tất cả các đối tượng cần phân loại,
Trang 3nhận dạng sẽ gặp nhiều khĩ khăn dẫn đến cần phải khảo sát và lựa chọn các kích thước phù hợp với từng nhãn lớp Trong kỹ thuật cửa sổ dữ liệu, kết quả khảo sát, tối ưu nhận được là các giá trị kích thước cửa sổ và chồng dữ liệu phù hợp theo từng nhãn lớp hành động
B Các kỹ thuật phân lớp sử dụng trong mơ hình
Ngày nay, cùng với sự tăng nhanh về dung lượng và chủng loại dữ liệu Các kỹ thuật, mơ hình cũng được nghiên cứu cải tiến để đáp ứng được những yêu cầu trong bối cảnh mới đặt ra Mơ hình phân lớp là một trong những
mơ hình phổ biến, được áp dụng trong nhiều bài tốn khác nhau Nhiều mơ hình phân lớp cĩ thể sử dụng trong nhận dạng hoạt động bao gồm cây quyết định, phương pháp Nạve Bayes, kNN, mạng nơron, mơ hình Markov và kết hợp các bộ phân lớp [14] Trong nghiên cứu này, nhĩm tác giả sử dụng các mơ hình phân lớp: Rừng ngẫu nhiên RF, thuật tốn phân lớp máy véctơ hỗ trợ SVM và thuật tốn phân lớp kNN đê tiến hành thực nghiệm Phương pháp phân lớp phi tham số kNN rất phổ biến trong hoạt động nhận dạng; máy véctơ hỗ trợ SVM đã được chứng minh là cĩ độ chính xác trong dự báo rất tốt trong các ứng dụng, bao gồm cả nhận dạng hoạt động [15]
Thuật tốn kNN là một trong những phương pháp học cĩ giám sát "Supervised Learning" tức là dựa trên biến mục tiêu đã được xác định trước đĩ, thuật tốn sẽ xem xét dữ liệu đã chứa biến mục tiêu (đã phân loại) để “học và tìm
ra những biến d cĩ thể tác động đến biến mục tiêu Khi đưa một phần tử dữ liệu mới, giải thuật sẽ tìm k phần tử dữ liệu láng giềng gần nĩ nhất (k nearest neighbors), sau đĩ dựa trên nhãn (lớp) của các láng giềng này mà nĩ sẽ quyết định nhãn (lớp) của phần tử dữ liệu mới là thuộc lớp nào Trường hợp đơn giản nhất, giả sử chỉ tìm một phần tử gần phần tử mới nhất, nhãn của phần tử mới sẽ được gán là nhãn của phần tử tìm được Để tìm các phần tử láng giềng gần nhất cần định nghĩa độ đo nào đĩ, một trong các độ đo điển hình là độ đo khoảng cách Euclide [16-tr255] Giải thuật kNN cịn gọi là "Lazy learning method" vì tính đơn giản của nĩ, quá trình training khơng quá phức tạp để hồn thành mơ hình (tất cả các dữ liệu đào tạo cĩ thể được sử dụng để kiểm tra mơ hình kNN) Điều này làm cho việc xây dựng mơ hình nhanh hơn nhưng giai đoạn thử nghiệm chậm hơn và tốn kém hơn về mặt thời gian và bộ nhớ lưu trữ, đặc biệt khi bộ
dữ liệu lớn và phức tạp với nhiều biến khác nhau Trong trường hợp xấu nhất, kNN cần thêm thời gian để quét tất cả các điểm dữ liệu và việc này sẽ cần nhiều khơng gian bộ nhớ hơn để lưu trữ dữ liệu Ngồi ra, kNN khơng cần dựa trên các tham số khác nhau để tiến hành phần loại dữ liệu, khơng đưa ra bất kỳ kết luận cụ thể nào giữa biến đầu vào và biến mục tiêu, mà chỉ dựa trên khoảng cách giữa data point cần phân loại với data point đã phân loại trước đĩ Đây là một đặc điểm cực kỳ hữu ích vì hầu hết dữ liệu trong thế giới thực tại khơng thực sự tuân theo bất kỳ giả định lý thuyết nào ví dụ như phân phối chuẩn trong thống kê
Thuật tốn máy véctơ hỗ trợ (Support Véctơ Machine - SVM) là một thuộc lớp giải thuật phân lớp thống kê Đây là một mơ hình học máy cĩ giám sát thường được dùng trong các bài tốn phân loại nhị phân SVM cĩ khả năng
xử lý cả dữ liệu tuyến tính và dữ liệu khơng tuyến tính Bản chất của giải thuật này là xây dựng một siêu phẳng để phân chia dữ liệu thành 2 nửa Giải thuật này coi mỗi dữ liệu huấn luyện ứng với một điểm trong khơng gian N chiều, mơ hình sẽ tìm một siêu phẳng N − 1 chiều tốt nhất chia đơi tập điểm sao cho các dữ liệu cùng lớp thuộc cùng một phần khơng gian Tốt nhất ở đây theo nghĩa siêu phẳng cĩ lề lớn nhất, với lề là khoảng cách từ điểm gần nhất (ở mỗi lớp) tới siêu phẳng Trong trường hợp nếu dữ liệu là khơng tuyến tính, nĩ sẽ sử dụng một hàm nhân (kernel function) để chuyển đổi tập dữ liệu ban đầu sang một khơng gian mới cĩ số chiều lớn hơn để xử lý [16-tr245]
Thuật tốn Rừng ngẫu nhiên (Random Forest) dựa trên kỹ thuật học kết hợp, là một phương pháp tạo ra nhiều
bộ phân lớp và kết hợp các kết quả của chúng Rừng ngẫu nhiên sẽ tạo ra nhiều cây quyết định mà cụ thể là thuật tốn phân lớp cây phân loại và hồi quy (CART) [17], sử dụng kỹ thuật bagging Mỗi cây được huấn luyện sử dụng một mẫu
dữ liệu mồi (bootstrap), lấy từ tập dữ liệu gốc ban đầu và tìm kiếm trong một nhĩm nhỏ ngẫu nhiên các thuộc tính trong tập thuộc tính đầu vào để phân chia cho mức tiếp theo của cây CART là cây quyết định nhị phân, được tạo nên bằng cách liên tiếp phân chia dữ liệu tại mỗi nút thành các nút nhỏ hơn, bắt đầu từ nút gốc chứa tồn bộ dữ liệu đầu vào Nhờ chia nhỏ khơng gian tìm kiếm theo cách này, việc phân loại được thực hiện rất nhanh chĩng kể cả đối với trường hợp khơng gian thuộc tính lớn Tham số đầu vào của hàm phân chia bao gồm các thuộc tính được chọn trong mỗi lần phân chia Rừng ngẫu nhiên khơng hạn chế số lượng cây tạo ra cũng như sự mở rộng của cây Tuy nhiên, cần chọn số cây sẽ được sinh để đảm bảo mỗi một thuộc tính sẽ được kiểm tra một vài lần Để xây dựng tập huấn luyện và phương pháp kiểm tra, kỹ thuật “out-of-bag” được sử dụng trong rừng ngẫu nhiên Giống CART, rừng ngẫu nhiên sử dụng độ đo Gini cho độ pha tạp thơng tin (impurity) để tìm ra tập phân chia tốt nhất, là tập cĩ độ pha tạp thơng tin tối thiểu tại mọi nút [18] Độ pha tạp thơng tin Gini là một cách đo phân bố nhãn của các lớp trong một nút, lấy giá trị trong khoảng [0, 1], trong đĩ giá trị 0 cĩ được khi mọi phần tử trong một nút đều thuộc cùng một lớp
C Tập thuộc tính đặc trưng
Trong miền thời gian, một số đại lượng thống kê cơ bản được sử dụng lựa chọn làm các thuộc tính đặc trưng như giá trị trung bình, phương sai và độ lệch chuẩn Bên cạnh đĩ, một số tính năng khác trong miền thời gian như độ lệch mẫu (độ lệch giữa các giá trị mẫu cực đại và cực tiểu), tương quan tín hiệu và hệ số tương quan, tỉ lệ đỉnh trên trung bình (PAR), diện tích độ lớn tín hiệu (SMA), độ lớn véctơ tín hiệu (SVM) và tín hiệu vi sai độ lớn véctơ (DSVM) [19]
Quá trình hoạt động của con người cĩ sự thay đổi gia tốc nên các thuộc tính trong miền thời gian cĩ ý nghĩa và hàm chứa những thơng tin hữu ích khi phân tích các hành động, hành vi Ngồi ra, cũng cần phân tích những thuộc tính
Trang 4hỗ trợ từ các miền thông tin khác Để lựa chọn được tập thuộc tính đặc trưng phù hợp, cần kết hợp các thuộc tính trên miền thời gian, miền tần số và các tham số Hjorth Tuy nhiên, để đánh giá được sự hỗ trợ của các tập thuộc tính Chúng tôi lần lượt đánh giá và kết hợp với nhau nhằm làm rõ sự ảnh hưởng của các tham số
Tập thuộc tính (T): Tập thuộc tính này bao gồm các thuộc tính trên miền thời gian đó là giá trị trung bình, thuộc tính phương sai, thuộc tính hiệp phương sai, thuộc tính độ lệch chuẩn, thuộc tính độ tương quan, giá trị điểm cắt không, thuộc tính độ đo hiệu dụng trên từng cửa sổ dữ liệu Cùng với các thuộc tính tỉ lệ đỉnh trên trung bình (Pick Average Ratio) trên các trục X, Y, Z của cảm biến gia tốc nhằm tăng thêm hiệu quả nhận dạng các hành động giao thông Kết hợp với 4 thuộc tính diện tích độ lớn tín hiệu (SMA) [19]cùng với thuộc tính độ lớn véctơ tín hiệu vi sai DSVM [19], thuộc tính về giá trị trung bình, phương sai và giá trị ước tính cho tốc độ biến thiên góc quay Tổng số thuộc tính trong miền thời gian ở tập T là 34 thuộc tính
Tập thuộc tính (F): Tập thuộc tính này bao gồm các thuộc tính trên miền tần số của tín hiệu cảm biến gia tốc thu được trong các hoạt động Bên cạnh đó, sự thay đổi về tín hiệu đẫn đến thay đổi về giá trị năng lượng, nên các đại lượng liên quan đến năng lượng tín hiệu cũng như độ đo Entropy được lựa chọn nhằm trợ giúp nhận dạng các hành động, hành vi khác nhau Số lượng các thuộc tính trong tập F này là 7 thuộc tính
Tham số Hjorth (H): Được đề xuất sử dụng chủ yếu trong lĩnh vực phân tích tín hiệu tin sinh học [20][21] Đặc trưng của tham số này có tính chất thống kê của tín hiệu trong miền thời gian gồm tính hoạt động, tính di động và tính phức hợp của tín hiệu Để nhận dạng hành động và hành vi, nhóm tác giả đề xuất sử dụng các tham số này đối với các đại lượng góc xoay cũng như đại lượng trên các trục khác nhau của dữ liệu cảm biến gia tốc Tập thuộc tính từ tham số Hjorth ký hiệu là H bao gồm 18 thuộc tính được sử dụng cho thực nghiệm
III THỰC NGHIỆM ĐÁNH GIÁ MÔ HÌNH
A Tổng quan về bộ dữ liệu
Trong nghiên cứu này, nhóm tác giả sử dụng bộ dữ liệu cảm biến điện thoại MobiAct để tiến hành xây dựng hệ thống nhận dạng MobiAct là một bộ dữ liệu đã công bố rộng rãi có thể tải về miễn phí từ địa chỉ www.bmi Teicrete.gr Bộ dữ liệu này bao gồm 4 loại ngã khác nhau và 12 trạng thái hoạt động hàng ngày (ADL - Activities of Daily Living) khác nhau được 66 tình nguyện viên thực hiện với hơn 9879 thử nghiệm được thu thập từ 3 loại cảm biến bao gồm gia tốc kế (acc - accelerometer), con quay hôi chuyển (gyro - gyroscope) và cảm biến góc nghiêng (ori - orientation) của điện thoại thông minh Samsung Galaxy S3 [22] Bộ dữ liệu MobiAct phù hợp để điều tra cả nhiệm vụ phát hiện/nhận dạng sự té ngã và nhận dạng hoạt động của con người Bảng 1 và 2 tóm tắt tất cả các hoạt động hàng ngày và hành động ngã được ghi lại (và mã hoạt động), số lượng, thời gian thử nghiệm và mô tả tóm tắt
về các hoạt động
Bảng 1 Các hoạt động hàng ngày (ADL)
TT Nhãn Hoạt động nghiệm Thử Thời
Bảng 2 Các trạng thái ngã (Falls)
TT Nhãn Hoạt động nghiệm Thử Thời
Thành công của phương pháp đề xuất cũng đã được đánh giá với các tiêu chí đánh giá khác nhau Ở giai đoạn này, khu vực dưới đường cong (AUC), độ chính xác phân loại (Acc) và F-measure đã được sử dụng Các tiêu chí này
Trang 5thường được ưa thích trong các nghiên cứu nhận dạng hành động của con người và các vấn đề phân loại [7][23][24] Mục đích của việc sử dụng các phương pháp khác nhau trong thực nghiệm là để nhận được kết qua phân lớp tốt nhất
B Kết quả thực nghiệm
1 Ảnh hưởng của tập thuộc tính đặc trưng
Để đánh giá, lựa chọn tập thuộc tính có kết quả phân loại tốt nhất, nhóm nghiên cứu tiến hành đánh giá trên từng tập thuộc tính H, T, F, sau đó tiến hành kết hợp các tập thuộc tính với nhau sẽ được TF, TH, TFH
Thông qua thực nghiệm, nhằm đánh giá tính chất của các thuộc tính phù hợp, cửa sổ dữ liệu được lựa chọn là 5 giây đối với tất cả hành động, cùng với tỉ lệ chồng dữ liệu là 50 % Một số thuật toán phân lớp thông dụng như RF, kNN, SVM với các tham số mặc định trong phần mềm weka được lựa chọn như trong Bảng 3 để tiến hành thực nghiệm Số lượng các thuộc tính trên mỗi tập được biểu diễn như Bảng 4 Phương pháp đánh giá sử dụng kiểm tra chéo
- 10 fold
Bảng 3 Tham số của các thuật toán phân lớp sử dụng cho thực nghiệm
1 RF Số lượng cây trong RF, I = 100; Xác nhận chéo 10 lần (cross-validation folds = 10), Kích thước giỏ (%)
so với tập huấn luyện P = 100; không giới hạn độ sâu tối đa của cây
3 k- NN Số lượng láng giềng gần nhất k = 1; Không có giới hạn về số lượng phiên bản huấn luyện W = 0; Thuật
toán tìm kiếm láng giềng gần nhất để sử dụng (Mặc định: weka.core.neighboursearch.LinearNNSearch)
5 SVM Tham số độ phức tạp C = 1,0; Số lần xác thực chéo: sử dụng dữ liệu huấn luyện; Phương pháp hiệu chuẩn
sử dụng mô hình hồi quy logistic đa thức
Bảng 4 Các tập thuộc tính dùng để khảo sát cho hệ thống nhận dạng hành động
Miền, tham số Hjorth Tên tập thuộc tính Số lượng thuộc tính
Thực nghiệm với các tập thuộc tính trên thu được các kết quả về độ chính xác Accuracy (Acc), AUC và F-measure như Bảng 5 Trong nghiên cứu này, F-F-measure được tính toán cho các hành vi ngã Kết quả đưa ra trong Bảng
5 là giá trị trung bình của các hành động ngã đã giới thiệu ở Bảng 1
Bảng 5 Kết quả phân lớp các hoạt động và hành vi ngã trên (Falls) các tập thuộc tính khác nhau
5s 50
%
Bảng 5 cho thấy, kết quả phân lớp trên tập T có độ chính xác tốt hơn tập H và F nên các thuộc tính ở tập T được lấy làm thành phần chính khi khảo sát kết hợp thành ba tập thuộc tính để đánh giá đó là: TH, TF và TFH nhằm thu được một tập thuộc tính kết hợp tốt nhất cho nhận dạng hành động Kết quả lựa chọn dựa trên AUC trong mô hình RF thu được tập thuộc tính TFH với kết quả cao nhất
2 Ảnh hưởng của cửa sổ dữ liệu
Các hành động như đi bộ, chạy bộ, đi lên cầu thang, chạy, nhảy … có những đặc điểm, chu kỳ khác nhau Ban đầu, trong quá trình nghiên cứu, khi sử dụng kích thước cửa sổ cố định để nhận dạng các loại hành động bằng cửa sổ
đó Việc này dẫn đến sự khó khăn khi phải lựa chọn một kích thước cửa sổ phù hợp cho tất cả các loại hành động Để giải quyết vấn đề này, nhóm ngyên cứu đã lựa chọn hướng tiếp cận khác khảo sát đánh giá, lựa chọn kích thước cửa sổ trên từng hành động dựa vào độ đo AUC nhằm chọn được các kích thước cửa sổ phù hợp, nâng cao độ chính xác phân lớp
Các hành động xảy ra trong một hành vi bất thường diễn ra nhanh nên kích thước cửa sổ dữ liệuđược lựa chọn khảo sát là 1 giây, 2 giây và 3 giây Kết quả phân lớp bằng RF tương ứng với tập dữ liệu cắt bởi kích thước cửa sổ khác nhau, đánh giá bằng phương pháp kiểm chứng chéo 10 - fold thu được kết quả như Hình 2
Trang 6Hình 2 Kết quả độ đo AUC của tất cả các hành động và của hành động ngã
Từ kết quả thu được ở Hình 2, nhận thấy khả năng phát hiện hành vi bất thường kích thước cửa sổ W = 3 giây
và chồng dữ liệu 50 % là tốt nhất
Phương pháp nhận dạng các hành động hàng ngày bằng các thuật toán phân lớp là một phương pháp phổ biến được nhiều nghiên cứu sử dụng Tùy theo dữ liệu, yêu cầu của bài toán sẽ có những hệ thống nhận dạng được thiết kế khác nhau Với tập thuộc tính như đã đề xuất, nhóm nghiên cứu đã thực nghiệm trên bộ dữ liệu MobiAct; kết quả thực nghiệm về phát hiện các hành động ngã trong nghiên cứu này cao hơn so với các phương pháp của một số nghiên cứu trên cùng bộ dữ liệu này như thống kê trong Bảng 6 Qua những kết quả đánh giá này cho thấy, hệ thống nhận dạng là phù hợp và có kết quả khả quan trong việc nhận dạng các hành động hàng ngày, đặc biệt là hành động ngã
Bảng 6 Kết quả phương pháp nhận dạng trên tập thuộc tính đề xuất với phương pháp khác [22] trên cùng bộ dữ liệu MobiAct
Nghiên cứu Kết quả phân của từng hành động ngã
Kết quả phân trung bình của các hành động ngã
IV KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO
Trong nghiên cứu này, nhóm tác giả đã tiến hành tìm hiểu, khảo sát tính chất của dữ liệu cảm biến, các kỹ thuật phân tích dữ liệu áp dụng cho loại dữ liệu đặc thù này Sau đó, nhóm tiến hành nghiên cứu xây dựng tập thuộc tính đặc trưng nhằm nâng cao hiệu quả của mô hình nhận dạng hành động của con người bao gồm cả các hành vi bất thường Dựa vào kết quả nhận dạng các hành động hàng ngày, nhóm tác giả đề xuất kỹ thuật phát hiện hành vi bất thường bằng cách phân đoạn cửa sổ dữ liệu của một hành động thường ngày thành các đoạn với kích thước cửa sổ đủ nhỏ và áp dụng phương pháp nhận dạng hành động với các cửa sổ dữ liệu này
Phương pháp đề xuất đã được thử nghiệm và đánh giá kết quả dựa trên bộ dữ liệu MobiAct đã được công bố Với bộ dữ liệu này, 11 hoạt động hàng ngày khác nhau của con người và 4 hành động ngã được phân loại Thực nghiệm với kỹ thuật rừng ngẫu nhiên cho kết quả tốt nhất trong 03 kỹ thuật được sử dụng Ngoài ra so sánh với kết quả của nhóm tác giả Charikleia Chatzaki, mặc dù kết quả tổng thể vẫn thấp hơn tuy nhiên tỷ lệ phát hiện các hoạt động ngã trong mô hình của bài báo này cao hơn khá nhiều (Bảng 6) Kết quả của nghiên cứu này có thể hữu ích trong việc phát hiện và ngăn chặn các hành động nguy hiểm như ngã của người già, hoặc các hành động không tốt cho sức khỏe của con người
Trong thời gian tới, nhóm tác giả sẽ tiếp tục hoàn thiện và phát triển nghiên cứu theo hướng sử dụng thêm các
dữ liệu khác thu thập từ cảm biến gia tốc, con quay hồi chuyển, cảm biến nhịp tim và cảm biến đếm bước chân của đồng hồ thông minh và điện thoại thông mình để nhận dạng các hành động của con người được phong phú hơn Khi
đó, các hoạt động như theo dõi chế độ dinh dưỡng của từng cá nhân, phát hiện các thói quen xấu có thể được theo dõi Ngoài ra, có thể đưa ra các cảnh báo với những người như đi bộ bỏ tay trong túi, đi loạng choạng,…
Trang 7V TÀI LIỆU THAM KHẢO
[1] Khan, W.Z., et al., “Mobile Phone Sensing Systems: A Survey” IEEE Communications Surveys & Tutorials 15(1): p 402-427
[2] Mridul Khan, Sheikh I Ahamed, Miftahur Rahman, Roger O Smith, “A Feature Extraction Method for Real time Human Activity Recognition on Cell Phones”, RESNA_ICTA Conference, Toronto, ON, Canada, June 5-8, 2011 [3] Ravi N, Dandekar N, Mysore P, et al “Activity recognition from accelerometer data” Am Assoc Artif Intel 2005; 5: 1541-1546
[4] Shoaib M, Bosch S, Scholten H, et al “Towards detection of bad habits by fusing smartphone and smartwatch sensors” In: Proceedings of the IEEE international conference on pervasive computing and communication workshops, St Louis, MO, 23-27 March 2015, pp 591-596 New York: IEEE
[5] Sag˘ basx EA and Ballı S “Estimation of human activities by using wrist movement” In: Proceedings of the 3rd international management information systems conference, Izmir,_ 6-8 October 2016, pp 52-58 Gu¨ lermat Matbaacılık
[6] Parkka J, Ermes M, Antila K, et al “Estimating intensityof physical activity: a comparison of wearable accelerometer and gyro sensors and 3 sensor locations” In: Proceedings of the 29th annual international conference of the IEEE engineering in medicine and biology society, Lyon, 23-26 August 2007, pp 1511-1514 New York: IEEE
[7] Riboni D and Bettini C “COSAR: hybrid reasoning forcontext-aware activity recognition” Pers Ubiquit Comput 2011; 15(3): 271-289
[8] B Boashash, “Time-Frequency Signal Analysis and Processing: A Comprehensive Review” 2015
[9] A J Campbell, M J Borrie, and G F Spears, “Risk factors for falls in a community-based prospective study of people 70 years and older,” Journal of gerontology, Vol 44, No 5, pp M112-M117, 1989
[10] E Carvalho, B V Ferreira, C De Souza, Y Suhara, A Pentland, and G Pessin, “Driver behavior profiling : An investigation with different smartphone sensors and machine learning,” pp 1-16, 2017
[11] C Torres-huitzil and A Alvarez-landero, “Recognition in Smartphones for Healthcare Services.”
[12] A S B, B J Woodford, and H Lin, “Trends and Applications in Knowledge Discovery and Data Mining,” vol
10526, pp 26-38, 2017
[13] W Astuti, W Sediono, A M Aibinu, R Akmeliawati, and M J E Salami, “Adaptive Short Time Fourier Transform (STFT) Analysis of seismic electric signal (SES): A comparison of Hamming and rectangular window,” ISIEA 2012 - 2012 IEEE Symp Ind Electron Appl., pp 372-377, 2012
[14] Lara, O.D., Labrador, M a., “A Survey on Human Activity Recognition using Wearable Sensors”, IEEE Communications Surveys & Tutorials, 15(3), p 1192-209, (2013)
[15] Wu, X., Kumar, V., Quinlan, J.R., Ghosh, J., Yang, Q., Motoda, H et al “Top 10 algorithms in data mining”, Knowledge and Information Systems, Springer 14(1), p 1-37, (2008)
[16] Nguyễn Hà Nam, Nguyễn Trí Thành, Hà Quang Thụy, “Giáo trình khai phá dữ liệu”, Nhà xuất bản Đại học Quốc gia Hà Nội, 2016
[17] Breiman, L., Friedman, J., Stone, C.J., Olshen, R.A (1984), Classification and regression trees, CRC press [18] Breiman, L (2001), Random forests, Machine Learning, Springer 45(1), p 5-32
[19] Dang Nhac Lu, Duc Nhan Nguyen, Thi Hau Nguyen and Ha Nam Nguyen, “Vehicle Mode and Driving Activity Detection Based on Analyzing Sensor Data of Smartphones”, Sensors 2018, 18, 1036
[20] B O Hjorth, “Technical contributions eeg analysis based on time domain properties,” pp 306-310, 1970
[21] S Oh, Y Lee, and H Kim, “A Novel EEG Feature Extraction Method Using Hjorth Parameter,” Vol 2, No 2,
pp 106-110, 2014
[22] Charikleia Chatzaki, Matthew Pediaditis, George Vavoulas and Manolis Tsiknakis, “Human Daily Activity and Fall Recognition Using a Smartphone’s Acceleration Sensor” Röcker et al (Eds.): ICT4AWE 2016, CCIS 736,
pp 100-118, 2017
[23] Dong Y, Scisco J, Wilson M, et al “Detecting periods ofeating during free-living by tracking wrist motion” Biomed Health Inform 2014; 18(4): 1253-1260
[24] Pedometer and step counter mobile apps: how does itwork?http://mohdaslam.com/pedomeand-step-coun ter-mobile-apps-how-does-it-work/ (accessed 14 December 2017)
Trang 8HUMAN DAILY ACTIVITIES RECOGNITION USING A SMARTPHONE’S ACCELERATION SENSOR
Le Hong Lam, Cao Ngoc Anh, Nguyen Hoai Nam, Nguyen Duc Nhan, Tran Thuy Binh, Nguyen Ha Nam
ABSTRACT: Accurately human daily activities recognition is always a topic that attracts a lot of attention in research and
it is however a difficult task, especially in case of large number of activities including abnormal activities such as fall Thanks to the widespread use of smartphones, the problem of activities recognition based on data obtained from sensors on smartphones is receiving much attention This article will examine and evaluate a pattern that identifies everyday activities including anomalous behaviors based on accelerometer sensor data of smartphones The influence of the sliding window size and the different sets of features on the classification accuracy of each activity will also be examined and evaluated in this paper Different sets of features are based on different domains, including time domain, frequency domain and Hjorth parameters, and combinations between them The appropriate set of features with the best classification result will be determined Experiments are also conducted on different classifiers including Random Forest (RF), SVM, kNN and the results obtained showed that Random Forest algorithm achieved the best recognition result