Đề tài thực hiện nghiên cứu các thuật toán giúp phân lớp gán nhãn các hoạt động người dùng dựa vào dữ liệu cảm biến trên điện thoại thông minh, xây dựng sản phẩm phân tích hành vi người sử dụng trên điện thoại thông minh, đánh giá chất lượng mô hình xây dựng được.
Trang 1ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Trang 2GIỚI THIỆU
1 Tính cấp thiết của đề tài
Nhận dạng hành vi con người sử dụng các cảm biến cá nhân
đã trở thành một lĩnh vực nghiên cứu quan trọng nhằm tạo ra hay cải thiện các ứng dụng giám sát hoạt động con người Khả năng ghi lại
và nhận dạng các hoạt động cá nhân hàng ngày là điều cần thiết để xác định mức độ thực hiện hoạt động của con người
Những hệ thống này có những ứng dụng thực tế trong việc chăm sóc sức khỏe và theo dõi luyện tập sức khỏe Hoạt động thể chất có tác dụng tích cực lên tất cả các chức năng của cơ thể và các nghiên cứu đã chứng minh rằng nguy cơ tim mạch giảm tới 50% đối với người có hoạt động thể chất tích cực.Với sự già hóa dân số và kinh phí hạn chế cho việc chăm sóc sức khỏe cộng đồng, sự quan tâm nhiều hơn được trả để giám sát hoạt động con người, nâng cao khả năng hỗ trợ các bệnh nhân và giúp họ tự chăm sóc bản thân, giảm sự chăm sóc y tế thông thường và chuyển qua chăm sóc từ xa
Trong lĩnh vực y tế, việc theo dõi hoạt động người dùng trong thời gian dài có thể hữu ích trong việc phát hiện sớm các bệnh hoặc có thể khuyến khích người dùng cải thiện mức độ hoạt động của họ
Một trong những phương pháp được sử dụng để giám sát hoạt động của con người là dựa trên các hệ thống video ghi chuyển động được liên kết với nền cảm nhận áp lực ở dưới Những phương pháp này gây khó chịu, đòi hỏi thiết bị lớn và chỉ có thể được sử dụng bên trong phòng thí nghiệm đòi hỏi các thiết lập cao, thời gian
xử lý cũng như không gian bộ nhớ để ghi lại nó
Phân tích hành vi sử dụng các cảm biến của điện thoại thông minh đã trở thành một lựa chọn thú vị cho hệ thống này vì kích thước nhỏ, chi phí thấp và khả năng ghi lại các tín hiệu chuyển động một
Trang 3người dùng Cảm biến gia tốc và con quay hồi chuyển được sử dụng
để nghiên cứu các hoạt động hàng ngày của con người
Phân loại thông tin chuyển động, thu thập được từ dữ liệu từ các cảm biến trong điện thoại thông minh, các nhãn hoạt động thường được thực hiện với kỹ thuật học máy đòi hỏi phải khai thác các thông số dữ liệu chuyển động để huấn luyện phân lớp để dự đoán
dữ liệu hoạt động mới với mô hình huấn luyện
2 Mục tiêu và nhiệm vụ của đề tài
Nghiên cứu phương pháp giám sát hành vi người sử dụng điện thoại thông minh sử dụng các cảm biến trên điện thoại thông minh Trong luận văn này sẽ tập trung vào các hoạt động hàng ngày
như: đứng (standing), ngồi (sitting), nằm (laying), đi bộ (walking), đi lên cầu thang (walking upstairs), đi xuống cầu thang (walking down stairs) Sự chuyển động của người dùng được ghi lại bằng cảm biến
gia tốc của điện thoại thắt lưng được đặt ở thắt lưng người dùng khi
họ thực hiện các hoạt động
Nghiên cứu các thuật toán giúp phân lớp gán nhãn các hoạt động người dùng dựa vào dữ liệu cảm biến trên điện thoại thông minh
Xây dựng sản phẩm phân tích hành vi người sử dụng trên điện thoại thông minh, đánh giá chất lượng mô hình xây dựng được
Trang 4CHƯƠNG 1: TỔNG QUAN 1.1 Tổng quan về giám sát hoạt động
Theo dõi chính xác các hoạt động của con người có khả năng cải thiện hệ thống chăm sóc sức khỏe, cảnh báo sớm các nguy cơ, giám sát tập thể dục và hỗ trợ trong sinh hoạt hàng ngày Những hệ thống nhận thức hoạt động này có thể cung cấp cho người dùng một loạt các dịch vụ tiện ích ví dụ như: bằng cách phân tích các hoạt động của con người trong một khoảng thời gian có thể xác định được
xu hướng của các thói quen hàng ngày từ đó điều chỉnh để có một chế độ tốt nhất cho cơ thể; đặc biệt với người cao tuổi, nó giúp cảnh báo các nguy cơ về sức khỏe
Khái niệm hoạt động đã được xem xét trong tương tác người–máy (HCI) để thiết kế tốt hơn các mô hình điện toán phân tán dựa trên hành vi người dùng (Bao & Intille, 2004) Các mục tiêu của điện toán phân tán là có mặt khắp mọi nơi và kín đáo, hoặc dần là nền tảng hỗ trợ con người trong khi học thực hiện các hoạt động hàng ngày Dự đoán các hoạt động là mục tiêu của các hệ thống điện toán rộng khắp, tuy nhiên việc sử dụng các hành động cô lập để phân tích các tình huống thực tế bên ngoài không thành công, bởi vì hành động luôn nằm trong một bối cảnh, và hệ thống không thể hiểu được bối cảnh đó Sự phát triển của các hệ thống nhận biết ngữ cảnh là quan trọng để nhận ra một hoạt động chính là bối cảnh có ý nghĩa tối thiểu để hiểu được hoạt động cá nhân Phát hiện các tư thế không đủ
để phân biệt được một số các hoạt động, chỉ khi có được bối cảnh, các hoạt động có thể được phân biệt một cách chính xác
Quá trình giám sát hành vi người dùng bắt đầu bằng việc thu thập các dữ liệu thô, đặc biệt là dữ liệu chuyển động Cảm biến quán tính là một giải pháp thích hợp để phát hiện chuyển động Những cảm biến phản ứng với các kích thích bằng cách tạo ra các tín hiệu có
Trang 5Các thế hệ mới của điện thoại thông minh được trang bị với một loạt các cảm biến bên trong: cảm biến gia tốc, cảm biến con quay hồi chuyển, cảm biến nhịp tim, cảm biến tiệm cận, cảm biến độ ẩm… Một số cảm biến có thể được sử dụng để giám sát hoạt động hàng ngày của con người: cảm biến gia tốc, con quay hồi chuyển Các thiết bị này rất tiện lợi, nhỏ và kín đáo, nó trở thành ý tưởng cho
hệ thống nhận dạng hành vi người dùng Tính năng hấp dẫn khác là
có thể đeo được, làm việc với thời gian thực và được sử dụng để theo dõi lâu dài Những thiết bị này có thể ghi nhận, xử lý và có đượcthông tin hữu ích từ dữ liệu thô của cảm biến, nhưng khó khăn chính của việc tạo ra các ứng dụng nhận biết bối cảnh là việc phát triển các tuận toán có thể nhận diện bối cảnh từ dữ liệu cảm biến có nhiễu và không rõ ràng
Phát triển một ứng dụng trên điện thoại thông minh cần phải tính đến những nguồn lực hạn chế của điện thoại thông minh như: thời gian xử lý, bộ nhớ hạn chế và tỷ lệ mẫu Cảm biến gia tốc là một cảm biến lý tưởng vì chúng đòi hỏi sức mạnh xử lý thấp và tiêu thụ ít năng lượng
1.2 Cảm biến
Cảm biến có thể thu thập dữ liệu có thể được sử dụng để phát hiện các hành vi của con người Có 3 vấn đề chính liên quan đến cảm biến: loại, vị trí và số lượng Phần lớn các hệ thống nhận biết cử động sử dụng cảm biến quán tính, đặc biệt là cảm biến gia tốc
để ước tính độ nghiêng của cơ thể và xác định phương hướng, chuyển động của người sử dụng Cảm biến gia tốc sử dụng đầu dò để
đo gia tốc tuyến tính
Tín hiệu thu được với cảm biến gia tốc có 2 thành phần,
“một là gia tốc trọng trường cung cấp thông tin về tư thế của chủ thể,
và một thành phần tăng tốc của cơ thể cung cấp thông tin về sự chuyển động của chủ thể” Một cảm biến gia tốc 3 chiều đo gia tốc
Trang 6theo trục x, y, z so với màn hình của điện thoại được mô tả như hình dưới Gia tốc được đo bằng đơn vị m/s2
Các nghiên cứu trước chứng minh rằng các hình thức vận động như đi bộ, chạy bộ, leo cầu thang và các tư thế như ngồi, nằm đứng có thể được ghi nhận với độ chính xác từ 83 – 95% sử dụng cảm biến gia tốc trên hông, đùi và mắt cá chân Tuy nhiên các nghiên cứu của Ling Bao và Intille cho thấy rằng đùi và cổ tay là vị trí thích hợp để đặt cảm biến gia tốc để phát hiện ADL Dữ liệu cảm biến thu được từ cổ tay thuận là tốt hơn cho hoạt động phân biệt hành vi liên quan đến chuyển động cơ thể và dữ liệu từ gia tốc ở đùi là hữu ích cho việc nhận dạng hành vi được thực hiện với chi dưới Hệ thống nhận dạng hành vi nên sử dụng dữ liệu với các dữ liệu ở vị trí khác nhau, cho phép người dùng mang theo thiết bị ở vị trí thuận tiện cho một bối cảnh nhất định Khi cảm biến đang ở một vị trí duy nhất, nó rất hữu ích để áp dụng một hệ thống thông tin đa chiều để ghi lại các tín hiệu theo ngữ cảnh của môi trường [5]
Liên quan đến số lượng cảm biến để có thể nhận diện chính xác (Ling Bao & Intille, 2004) cho thấy rằng việc sử dụng 2 cảm biến chỉ ảnh hưởng khoảng 5% độ chính xác so với một hệ thống dùng 5 cảm biến So sánh cảm biến gia tốc 2 trục và 3 trục làm tăng chi phí mà sự phong phú của dữ liệu là không đáng kể Số lượng tối
đa của cảm biến được ghi nhận là 6 cảm biến gia tốc đơn trục [4]
Một vấn đề quan trọng khác về cảm biến là một số hoạt động như leo cầu thang thường không thể phân biệt chỉ với cảm biến gia tốc, mà đòi hỏi phải bổ sung (ví dụ như microphone và áp kế) (Wilde, 2010)
Các hoạt động phổ biến của con người như đi bộ, đứng, nằm,
đi lên và xuống cầu thang là những hành vi sẽ được nghiên cứu trong luận văn này
Trang 71.4 Điện thoại thông minh
Thế hệ mới của điện thoại thông minh đang được xem xét bởi nhiều người dùng như là một thiết bị cá nhân quan trọng Các thiết bị này có tiềm năng cho sự tăng trưởng cân xứng với việc thu thập dữ liệu hành vi cho việc xây dựng hệ thống dự đoán hành vi con người Nhận thức về lợi ích của chúng đang trở lên phổ biến, và người dùng đã quen với việc có mặt khắp mọi nơi của chúng
Điện thoại thông minh được trang bị với hàng loạt các cảm biến bên trong,trong đó cảm biến gia tốc, và cảm biến con quay hồi chuyển có thể được sử dụng để giám sát hành vi hàng ngày của con người Các thiết bị này rất tiện lợi, nhỏ và kín đáo, nó trở thành nền tảng lý tưởng cho một hệ thống nhận dạng hành vi phổ biến Tính năng hấp dẫn khác đó là nó có thể đeo được, luôn luôn bên cạnh người dùng, làm việc thời gian thực và có thể được sử dụng để giám sát lâu dài
Sự phát triển của điện thoại thông minh cho việc dự đoán hành vi con người có một số nhược điểm như: pin hạn chế, bộ nhớ không cao và các phát triển mới trên lĩnh vực này cần giải quyết các câu hỏi như: tác động của các ứng dụng lên pin của điện thoại, tỉ lệ mẫu để đạt được kết quả chính xác, thời gian để tạo mô hình và không gian bộ nhớ cần thiết cho nó
Về quy trình thu thập dữ liệu, ta có thể chọn thu thập dữ liệu với một điện thoại thông minh được đặt ở những vị trí xác định trước hoặc ở 1 phần cơ thể và tạo ra một tập dữ liệu thích hợp, hoặc sử dụng bộ dữ liệu công cộng với dữ liệu đã được chú thích Các tùy chọn trước đây đôi khi được ưa thích vì một tập dữ liệu có cùng kích thước và được chú thích là cần thiết để đánh giá thuật toán phân lớp, bởi vì một bộ dữ liệu có chú thích sẽ có thể kiểm tra được kết quả
Để thu thập một bộ dữ liệu hoàn chỉnh có thể không khả thi, vì nó phải thu thập một lượng lớn dữ liệu từ người sử dụng trong một thời gian dài để tạo ra một thuật toán mạnh mẽ và chính xác cho việc đoán định người dùng mới
Trang 8Một số nghiên cứu trước đây đã hướng dẫn cho việc ghi dữ liệu sử dụng các đối tượng khác nhau, ưu tiên không phải người nghiên cứu hoặc không có sự giám sát để có được dữ liệu tự nhiên Các đối tượng được yêu cầu thực hiện một loạt các hành động và chú thích vào sau mỗi hoạt động hoặc để thực hiện ngẫu nhiên các trình
tự của hoạt động được xác định trước
Một bộ dữ liệu công cộng đã được tạo ra bởi ESANN 2012 (Anguita, Ghio, Oneto, Parra, & Reyes-Ortiz, 2012, 2013) [6] Các thí nghiệm được tiến hành với một nhóm 30 tình nguyện viên trong phạm vi độ tuổi từ 19 đến 48 Mỗi người thực hiện 6 hành vi và đeo một chiếc điện thoại thông minh (Galaxy S II) vào thắt lưng, đặt theo chiều dọc Sử dụng cảm biến gia tốc, con quay hồi chuyển họ đã lấy được dữ liệu gia tốc tuyến tính 3 trục và vận tốc góc 3 trục ở một tốc
độ không thay đổi 50Hz Các thí nghiệm được ghi hình lại để gán nhãn dữ liệu bằng tay
Trang 9CHƯƠNG 2: PHƯƠNG PHÁP, CƠNG CỤ HỖ TRỢ NHẬN
DẠNG HÀNH VI 2.1 Kỹ thuật phân lớp nhận dạng hành vi
Một khi dữ liệu đã sẵn sàng, một thuật tốn phân loại cần phải được thực hiện Như đã đề cập trước đĩ, dự đốn hành vi của con người thường được coi là một vấn đề phân loại, sử dụng kỹ thuật học máy dựa trên lý thuyết về xác suất thống kê Vào năm 1959, Arthur Samuel định nghĩa học máy như là một lĩnh vực nghiên cứu cung cấp cho máy tính khả năng học hỏi mà khơng cần được lập trình một cách rõ ràng Các cơ sở của học máy là chính xác như Samuel đã mơ tả, nĩ xây dựng một mơ hình và phân loại, khả năng học từ dữ liệu vơ hình.Mơ hình đại diện cho đại diện dữ liệu (thơng thường mỗi trường hợp đại diện cho một cửa sổ dữ liệu với kích thước cố định) và đại diện chức năng trong bước huấn luyện và cuối cùng là phân loại cĩ thể khái quát hĩa cho dữ liệu khơng nhìn thấy Học máy làm một ngành khoa học máy tính cĩ liên quan đến vấn đề
mà mơ hình cơ bản cho việc dự đốn hoặc mơ tả phải được thực hiện, dựa trên những thuộc tính đã biết để huấn luyện từ bộ dữ liệu huấn luyện
Thuật tốn học máy cĩ thể chia ra thành các loại:
- Học máy bán giám sát: kỹ thuật cho phép thuật tốn cĩ
thể thích nghi với dữ liệu mới Một số thuật tốn cho học máy này như: mơ hình Markov ẩn (HMM), mạng Nạve Bayes, cây quyết định, K-Nearest Neighbours, Máy vecter hỗ trợ (SMM)
- Học máy giám sát: sử dụng dữ liệu được gán nhãn để
huấn luyện thuật tốn, sau đĩ chúng cĩ thể phân lớp dữ
liệu chưa được gán nhãn
- Học máy khơng giám sát: cố gắng xây dựng mơ hình
trực tiếp từ dữ liệu khơng đượcgán nhãn Cách tiếp cận
Trang 10này sử dụng ước lượng mật độ để tìm các cụm mẫu tương tự để tạo ra mô hình học máy
- Học máy tăng cường: huấn luyện nhiều học máy để giải
quyết cùng một vấn đề Khả năng tổng quát của chúng
có thể tốt hơn nhiều so với sử dụng một học máy
Liên quan đến mục đích mà hệ thống nhận dạng hành vi được thiết kế, điều quan trọng là thu thập càng nhiều dữ liệu của từng hoạt động càng tốt, nhưng không chỉ số lượng là quan trọng, tính chính xác của việc xử lý bản ghi cũng là điềucần thiết bởi vì các thuật toán dựa rất nhiều vào số liệu Chủng loại, vị trí và số lượng cảm biến được sử dụng để thu thập dữ liệu cũng rất quan trọng và so sánh các kết quả của các nghiên cứu chỉ khả thi nếu các điều kiện tương tự nhau, không nhất thiết phải mô phỏng theo
Các quá trình cần thiết để nhận dạng hành vi của con người được tóm tắt trong hình 2.2 và về cơ bản nó bao gồm các bước: thu thập dữ liệu chuyển động cho các hoạt động, tiền xử lý tín hiệu này với các bộ lọc, lấy mẫu lại trong các cửa sổ được xác định trước để phân tích và phân lớp dữ liệu Trong trường hợp chúng ta sử dụng thư viện weka để phân lớp thì cần một bước bổ sung là chuyển đổi
dữ liệu vào định dạng tệp ARFF Sau khi lựa chọn thuộc tính, các số liệu đánh giá cần được tính toán và đầu ra của mô hình phân lớp sẽ cho chúng ta mỗi thể hiện của các dữ liệu hoạt động là gì
Hình 2.2: mô hình nhận dạng hành vi từ dữ liệu cảm biến trên điện
thoại thông minh
Trang 112.3 Tiền xử lý
Các dữ liệu thô thường cần phải được xử lý trước để cung cấp cho các bộ công cụ Trong luận văn này tôi sử dụng Weka hoạt động với tập tin định dạng ARFF để tiền xử lý dữ liệu, vì vậy tất cả các file cần chuyển đổi thành ARFF
Dữ liệu thô của cảm biến gia tốc cần được chia trong các cửa
sổ, tuần tự để chuẩn bị tiền xử lý Một cách lựa chọn cửa sổ là dựa vào việc nhận được dự định sẽ được thực hiện trong thời gian thực hay không Đối với các ứng dụng online, các cửa sổ được xác định song song với tập dữ liệu, và đối với các ứng dụng offline các cửa sổ cần xác định trước khi thu thập dữ liệu Các phương pháp được sử dụng phổ biến nhất là cửa sổ trượt, các tín hiệu được chia trong các cửa sổ không có khoảng trống tuy nhiên, kế hoạch này có nhược điểm là các kích thước cửa sổ được thiết lập một cách tùy tiện, nó có thể dẫn đến việc tách dữ liệu trong một nơi không thuận tiện, không ghi được “toàn bộ chu kỳ” của hoạt động cần được ghi nhận Kỹ thuật này có thể được sử dụng với sự chồng chéo (thông thường là 50%) Trong nghiên cứu này sẽ sử dụng cửa sổ với kích thước 256 mẫu (tương ứng với 5,12 giây của dữ liệu) và chồng chéo 50%
Dữ liệu thô cần chia thành tập huấn luyện và kiểm thử Tập huấn luyện sẽ được sử dụng để đào tạo các thuật toán nhận dạng và tập kiểm thử sau đó sẽ được dùng để đánh giá các thuật toán sau khi đào tạo Điều là rất quan trọng để không sử dụng mẫu thử nghiệm để huấn luyện mô hình để không thiên vị kết quả và đảm bảo phân loại được đánh giá trong dữ liệu không nhìn thấy bộ công cụ weka có một số chiến lược chia nhỏ dữ liệu, chẳng hạn như cross-validation, một phần của tập dữ liệu được sử dụng và phần còn lại cho thử nghiệm và percentage split, thường sử dụng một phần 3 dữ liệu cho việc kiểm thử, do đó tỉ lệ train/test là 66%