Chính vì vậy học viên chọn Đề tài: “Phát hiện người ngã sử dụng đặc trưng kết hợp từ nhiều nguồn cảm biến” cho luận văn cao học của mình với mục tiêu khảo sát bài toán phát hiện người
Trang 1HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
-
PHẠM ANH TUẤN
PHÁT HIỆN NGƯỜI NGÃ SỬ DỤNG ĐẶC TRƯNG KẾT HỢP TỪ
NHIỀU NGUỒN CẢM BIẾN
Chuyên ngành: Hệ thống Thông tin
Mã số: 8.48.01.04
TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)
HÀ NỘI – 2019
Trang 2Luận văn được hoàn thành tại:
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
Phản biện 1: TS Trần Quí Nam
Phản biện 2: PGS.TS Nguyễn Ngọc Hóa
Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông
Có thể tìm hiểu luận văn tại:
- Thư viện của Học viện Công nghệ Bưu chính Viễn thông
Trang 31 MỞ ĐẦU
Tuổi thọ của con người ngày càng gia tăng, trong khi có nhiều dự báo cho thấy những người lớn tuổi sẽ phải sống độc lập trong ngôi nhà của họ Một trong những rủi ro lớn đối với người lớn tuổi khi sống một mình là thường hay bị ngã Hơn nữa, nguy cơ té ngã tăng rõ rệt theo độ tuổi do phản ứng chậm hơn, cân bằng và sức mạnh cơ bắp giảm Vì vậy, hàng năm
cứ trong 3 người cao tuổi thì có một người bị ngã và những cú ngã đột ngột này là nguyên nhân phổ biến gây thương tích và nhập viện trong độ tuổi này Theo số liệu thống kê thực tế cho thấy thì ở Việt Nam ước tính có khoảng 1,6 đến 2 triệu người cao tuổi bị té ngã mỗi năm
và ở Mỹ có khoảng 1/3 người có độ tuổi trên 65 tuổi bị ngã mỗi năm Những chấn thương do ngã gây ra có thể là thiệt hại mô mềm, các liên kết xương và chấn thương vùng đầu hoặc có thể dẫn đến gãy xương đe dọa nghiêm trọng đến sức khỏe và cuộc sống của người cao tuổi Theo nghiên cứu hàng năm cho thấy 80% người cao tuổi được trang bị nút cứu trợ nhưng
họ lại không thể sử dụng được khi bị ngã mạnh, chủ yếu là vì họ không mang theo thiết bị vào thời điểm ngã hoặc ngã quá mạnh khiến họ không có khả năng nhấn nút cứu trợ tại thời điểm bị ngã Để tăng khả năng sống độc lập của người cao niên, các nhà nghiên cứu đang hướng đến một số công nghệ thông minh tích hợp trong ngôi nhà nhằm phát hiện ngã và trợ
giúp kịp thời Chính vì vậy học viên chọn Đề tài: “Phát hiện người ngã sử dụng đặc trưng kết
hợp từ nhiều nguồn cảm biến” cho luận văn cao học của mình với mục tiêu khảo sát bài toán
phát hiện người ngã, và ứng dụng các thuật toán học máy để phân tích dữ liệu từ nhiều nguồn cảm biến nhằm phân biệt được nhiều tư thế ngã khác nhau
dụng các thuật toán học máy để phân tích dữ liệu từ nhiều nguồn cảm biến nhằm phân biệt được nhiều tư thế ngã khác nhau Đối tượng nghiên cứu của học viên là người cao tuổi và phương pháp kết hợp nhiều dữ liệu cảm biến cho bài toán phát hiện ngã Phạm vi học viên nghiên cứu là: Cảm biến gia tốc (accelerometer) và cảm biến con quay hồi chuyển (gyroscope), thử nghiệm trên tập dữ liệu thu thập được
Phương pháp mà học viên áp dụng trong việc xây dựng luận văn cụ thể gồm: nghiên cứu lý thuyết và nghiên cứu thực nghiệm, trong đó nghiên cứu lý thuyết bao gồm: Đọc tài liệu, phân tích các tư thế ngã và nghiên cứu các phương pháp phát hiện ngã bằng cách kết hợp nhiều cảm biến Nghiên cứu thực nghiệm học viên thu thập dữ liệu từ nhiều nguồn cảm biến với các
Trang 4tư thế ngã khác nhau sau đó thử nghiệm và đánh giá phương pháp phát hiện ngã từ nhiều nguồn cảm biến.
Phần nội dung của luận văn được chia thành các phần như sau: Phần mở đầu, 03 chương chính, phần kết luận, danh mục tài liệu tham khảo, các phần được bố trí thứ tự như sau:
Phần mở đầu của luận văn nêu lên nguy cơ té ngã ở những người lớn tuổi và những rủi
ro họ gặp phải khi té ngã Đã có rất nhiều nghiên cứu cho sự phát hiện ngã của con người tuy nhiên những nghiên cứu đó hầu hết dựa vào dữ liệu từ một nguồn cảm biến nên trong những trường hợp phức tạp thì phát hiện ngã và các hoạt động gần giống ngã vẫn còn nhiều vấn đề cần giải quyết từ đó luận văn đưa ra các nội dung chính về mục đích, đối tượng, phạm vi nghiên cứu cũng như phương pháp nghiên cứu
Nội dung chương 1 là: Tổng quan, chương này sẽ trình bầy về khảo sát bài toán phát hiện ngã; tiếp theo là khảo sát các nghiên cứu liên quan đến bài toán phát hiện ngã, bao gồm: cách tiếp cận, cảm biến được sử dụng, phương pháp học máy và phương pháp thực nghiệm; Tiếp theo sẽ trình bầy phạm vi nghiên cứu của luận văn này, và chương này sẽ kết thúc bằng nội dung đánh giá, nhận xét được rút ra trong mục kết chương
Chương 2 bắt đầu bằng việc trình bầy về các cảm biến được sử dụng trong luận văn; tiếp theo
là phương pháp phân tích và xử lý dữ liệu cảm biến; Phương pháp trích xuất và kết hợp các đặc trưng từ nhiều nguồn cảm biến Cuối cùng sẽ trình bầy về mô hình học máy sẽ được sử dụng trong chương này và kết chương
Chương 3 tập trung vào thử nghiệm để đánh giá phương pháp được trình bầy trong chương 2; mô tả quá trình thu thập và gán nhãn dữ liệu hoặc sử dụng tập dữ liệu đã công bố Tiếp đến
là trình bầy quá trình và phương pháp thử nghiệm cũng như phân tích, đánh giá các kết quả thử nghiệm
Trang 52 CHƯƠNG 1: TỔNG QUAN
Chương này sẽ trình bầy về bài toán phát hiện ngã; tiếp theo là khảo sát các nghiên cứu liên quan đến bài toán phát hiện ngã, bao gồm: cách tiếp cận, cảm biến được sử dụng, phương pháp học máy và phương pháp thực nghiệm; Tiếp theo sẽ trình bầy phạm vi nghiên cứu của luận văn này, và chương này sẽ kết thúc bằng nội dung đánh giá, nhận xét được rút ra trong mục kết chương
1.1 Giới thiệu bài toán
Ngã thường xuyên xảy ra đối với những người bệnh và người cao tuổi, và là một trong những nguyên nhân chính có thể dẫn đến tử vong ở người cao tuổi Té ngã không chỉ gây ra các chấn thương vật lý mà còn ảnh hưởng đến tâm lý của người cao tuổi Ngã cũng là nguyên nhân khiến cho người cao tuổi sợ việc vận động, qua đó tác động một cách gián tiếp đến sức khỏe của họ Ngoài ra, khi điều trị chấn thương thường phải cách ly tạm thời ra khỏi cộng đồng, xã hội sẽ làm ảnh hưởng xấu đến tâm lý của người ngã vì làm tăng cảm giác cô đơn và có thể dẫn đến trầm cảm Chính vì vậy, việc sử dụng hệ thống tự động phát hiện ngã sẽ là rất cần thiết để giúp cho việc cấp cứu kịp thời để giảm thiểu rủi ro cho người ngã Kết quả là, nhu cầu phát triển hệ thống giám sát thông minh có khả năng phát hiện ngã đã tăng lên đáng kể trong việc chăm sóc sức khỏe cộng đồng
1.2 Các nghiên cứu trước đây
Một số nghiên cứu [2,3] đã kết hợp cảm biến gia tốc và hình ảnh từ video để phát hiện ngã và các hoạt động hàng ngày Chẳng hạn, công trình [2] thực hiện bởi T H Tran và các cộng sự tại viện MICA, trường đại học Bách Khoa Hà Nội, đã kết hợp dữ liệu cảm biến gia tốc không dây WAX3 gắn trên hông và cổ tay đối tượng thực hiện thử nghiệm với hình ảnh RGB-D được chụp từ 7 Kinect cameras được cài đặt trong một căn phòng lớn để phân biệt ngã và một
số hoạt động gần giống như ngã nhằm hỗ trợ người cao tuổi tại nhà của họ
Trang 6Hình 1 1: Hình minh họa của môi trường và thiết bị cài đặt
Hình trên cho thấy sự bố trí của hệ thống thu thập dữ liệu của chuyển động Sáu Kinect cameras được cài đặt ở độ cao 1.8m xung quanh một không gian 3.6mx6.8m để mô phỏng giống như một căn phòng tại gia đình Chiếc Kinect thứ 7 được gắn trên trần có độ cao 3m để quan sát từ phía trên toàn cảnh Hai cảm biến không dây được gắn vào cổ tay trái và bên phía hông trái của đối tượng thử nghiệm
Hình 1 2: Hình minh họa dữ liệu thu thập từ nhiều cảm biến
Hình 1.2 cho thấy ảnh chụp nhanh của dữ liệu đa phương thức được đồng bộ hóa từ 7 Kinect cameras và các cảm biến gia tốc, vận tốc góc và từ trường Tổng cộng, kích thước của tập dữ liệu khoảng 350 Giga bytes Tất cả dữ liệu được đồng bộ hóa theo thời gian Sau đó
dữ liệu được gán nhãn, thời gian bắt đầu và thời gian kết thúc của mỗi hành động theo trình
tự được ghi chú cho hoạt động của con người Đây là bộ dữ liệu tương đối lớn và thú vị với
số lượng người tham gia thử nghiệm và các tư thế hoạt động đa dạng, hơn thế nữa mỗi hoạt động được thu thập với nhiều góc nhìn (multiview) và nhiều cảm biến (multimodal) khác
Trang 7nhau Ngoài ra, một số hoạt động dễ bị nhầm lẫn với ngã cũng tạo nên các thách thức đáng
kể cho việc phát hiện ngã Cụ thể, nhiều hoạt động thường ngày giống ngã, ví dụ như: chống
tay trái để đứng dậy, chống tay phải để đứng dậy, đang ngồi trên ghế sau đó đứng dậy, đang ngồi trên giường sau đó đứng dậy v.v
Một nghiên cứu khác [3] đề xuất phương pháp tiếp cận phát hiện ngã bằng cách kết hợp cảm biến gia tốc gắn bên hông và các hình ảnh độ sâu (depth images) từ cameras Trong phương pháp tiếp cận này, hình ảnh độ sâu được lưu trữ trong bộ nhớ đệm để được sử dụng khi cần thiết Sự kiện ngã được phát hiện dựa trên mô - đun xử lý dữ liệu cảm biến gia tốc Mô đun
dữ liệu cảm biến gia tốc nhận đầu vào là luồng tín hiệu cảm biến gia tốc sau đó được so sánh với một ngưỡng (threshold) để đưa ra quyết định một khoảng thời gian có khả năng chứa sự kiện ngã hay không Nếu có tiềm năng là một sự kiện ngã thì các hình ảnh độ sâu sẽ được xử
lý và phân tích để khẳng định có cú ngã xảy ra hay không
Hình 1 3: Mô hình đề xuất cho sự phát hiện ngã [3]
Trong một nghiên cứu khác [4], tác giả đã trình bày cách cải thiện khả năng phát hiện ngã bằng cách bằng cách sử dụng dữ liệu của hình ảnh độ sâu và cảm biến gia tốc Mô hình đề xuất bao gồm một cảm biến gia tốc được sử dụng để phát hiện đoạn dữ liệu có khả năng chứa
sự kiện ngã (fall event segment) và một cảm biến Kinect nhằm mục đích cung cấp các hình ảnh để xác nhận có sự kiện ngã đó
Ngoài ra còn có nghiên cứu [9] của Zhong Zhang và các cộng sự tập trung vào nghiên cứu dựa trên thị giác máy tính bằng camera chiều sâu Cụ thể, các tác giả giới thiệu năm bộ dữ liệu phát hiện té ngã hiện có, ba bộ trong số năm bộ dữ liệu này được ghi lại bằng camera Kinect, một bộ được thu thập bởi camera RGB đơn và một bộ còn lại được tạo bằng nhiều camera RGB đơn đã được hiệu chuẩn
Trang 8Bảng 1 1: Năm bộ dữ liệu về ngã [9]
SDUFALL EDF OCCU
Dataset introduced in [10]
Dataset introduced in [11]
camera type one Kinect two Kinects two Kinects one RGB camera eight calibrated RGB
cameras camera
fall type falls with
eight fall direc- occluded falls
falls with different direc-
forward, backward falls, different direc- tions tions
falls from sitting down and
Các công trình nghiên cứu trên đều tập trung trình bày các tập dữ liệu về phát hiện ngã,
dữ liệu có thể được thu thập bằng các cảm biến đeo trên người (Cảm biến gia tốc) hay cảm biến được gắn ở môi trường xung quanh (cảm biến camera) tuy nhiên vẫn còn một số những hạn chế được trình bày tóm tắt như trong bảng 1.2:
Bảng 1 2: So sánh giữa một vài bộ dữ liệu phát hiện ngã khác nhau
- Các phương pháp hạn chế: Hầu hết các bộ dữ liệu đều được thu thập bằng phương pháp đơn cảm biến như [3], [14] thu thập dữ liệu bằng cảm biến đeo (gia tốc kế) hoặc thu thập
dữ liệu bằng cảm biến gắn ở môi trường xung quanh (RGB, D, Skeleton) [12], [13], [16]
- Giới hạn các kiểu ngã: Trong hầu hết các tập dữ liệu, các đối tượng thực hiện hành động ngã bằng cách đứng ở một vị trí rồi ngã xuống sàn và ở giữa khung cảnh Không có ngã
từ trên giường, mà chỉ có một tập dữ liệu ngã từ trên ghế [14]
Dataset #Falls #ADL #FallStyles #Subjects #Views Modalities Continuous Year
SDUFall [12] 300 1500 na 10 1 RGB + D + Skeleton No 2014 OCCU [13] 30 80 2 5 2 RGB + D + Skeleton No 2014 Cogent Lab [15] 448 1520 6 42 na Acc + Gyroscope Yes 2015 EDF 160 100 8 10 2 RGB + D + Skeleton No 2017 UF[16] na 229-na 2 6 1 RGB + D + Skeleton No 2017 SisFall[17] 1798 2707 15 38 na Acc + Gyroscope Yes 2017 CMDFALL 400 600 8 50 7 RGB + D + Skeleton + 2
Trang 9- Video được cắt xén: Tất cả các video thu thập được đã được cắt cho phù hợp với việc phân loại ngã từ các hoạt động khác nhau Do đó không cho phép các dữ liệu đó đánh giá ngã một cách liên tục
- Vị trí quan sát bị giới hạn: Số lượng các vị trí quan sát bối cảnh thường bị giới hạn bởi một đến hai vị trí quan sát (OCCU [13], EDF) Trong [3], số lượng vị trí quan sát là tám, nhưng chỉ có dữ liệu RGB được thu thập nên các hình ảnh thu được có thể bị trùng lặp hoặc chồng chéo nhau, khó cho việc áp dụng phương pháp tiếp cận nhiều chế độ quan sát
- Số lượng đối tượng hạn chế: Hầu hết các tập dữ liệu sử dụng phương pháp đa cảm biến thu thập được từ một số ít các đối tượng tham gia (khoảng từ 1 đến 10 đối tượng) [12] có 300 mẫu ngã và 1500 mẫu không ngã, tuy nhiên tập dữ liệu đó có ít các kiểu ngã được thu thập bởi các đối tượng khác nhau
là trên 90%) tuy nhiên khó phân biệt được các hoạt động phức tạp gần giống với ngã (xảy ra hàng ngày) như uốn cong người, cúi xuống sàn nhà nhặt đồ vật, hay nằm xuống ghế sofa, v.v… Khi đó việc thu thập dữ liệu từ nhiều nguồn cảm biến sẽ cho kết quả chính xác hơn và phần lớn giải quyết được các vấn đề này
Trang 103 CHƯƠNG 2: PHÁT HIỆN NGÃ SỬ DỤNG NHIỀU
4 CẢM BIẾN
Chương này bắt đầu bằng việc trình bầy về các cảm biến được sử dụng trong luận văn; tiếp theo là phương pháp phân tích và xử lý dữ liệu cảm biến; Phương pháp trích xuất và kết hợp các đặc trưng từ nhiều nguồn cảm biến Cuối cùng sẽ trình bầy về mô hình học máy sẽ được sử dụng trong chương này và kết chương
2.1 Các cảm biến gia tốc (accelerometer) và cảm biến con quay hồi chuyển (gyroscope)
2.1.1 Cảm biến gia tốc (accelerometer)
Cảm biến gia tốc hay gia tốc kế (accelerometer) là một loại cảm biến quán tính được
sử dụng nhiều trong thực tế bởi tính phù hợp của cảm biến này đối với việc theo dõi và nhận dạng hoạt động của người Gia tốc kế dùng để thu nhận chuyển động của thiết bị cũng như góc nghiêng so với phương nằm ngang Với sự phát triển của công nghệ chế tạo cảm biến, các cảm biến gia tốc có kích thước nhỏ ngày càng nhỏ hơn, tiêu thụ ít năng lượng, hiệu suất hoạt động hiếm khi chịu tác động bởi môi trường và giá thành rẻ Hơn nữa, sử dụng cảm biến gia tốc trong theo dõi và nhận dạng hoạt động thường tạo ra sự thoải mái và tự nguyện cho người dùng hơn là sử dụng cảm biến hình ảnh hay cảm biến âm thanh bởi nó đảm bảo tính riêng tư cần thiết cho người sử dụng Cảm biến gia tốc sử dụng đầu dò để đo gia tốc tuyến tính (Hình 2.1)
Hình 2 1: Cảm biến gia tốc tuyến tính
Trang 11Hình 2 2: Gia tốc kế 3 chiều trên smartphone
(Nguồn: https://goo.gl/97bEFb) Đơn vị thông dụng được dùng để đo sự biến thiên của gia tốc là G hoặc m/s2 Hai đơn
vị này có thể được chuyển đổi lẫn nhau bằng công thức: 1G =9.8m/s2 Tùy từng loại gia tốc (độ nhạy) mà chúng có thể đo được sự biến đổi gia tốc cho mỗi chiều trong khoảng từ (-1G, +1G) cho đến (-3G, 3G)
Hình 2 3: Nguyên lý đo gia tốc theo trục y
(Nguồn: https://goo.gl/gB74Kj) Khi đặt gia tốc kế thẳng đứng theo trục y, do tác động của trọng lực thì khối lượng chuyển động (seismic mass) sẽ bị kéo xuống và giá trị chuẩn của trạng thái này là +1G Khi
di chuyển khoang chứa (housing) lên xuống theo phương thẳng đứng thì khối lượng chuyển động sẽ di chuyển, dẫn đến giá trị của y sẽ thay đổi Độ biến thiên của y phụ thuộc vào việc gia tốc chuyển động của khoang chứa theo chiều thẳng đứng Một gia tốc nhiều chiều sẽ bao gồm nhiều đơn vị đo gia tốc trong Hình 2.2 được đặt theo nhiều hướng khác nhau
Hình 2.4 minh họa giá trị của x, y, z trong một số trường hợp khác nhau: (1) là trường hợp đặt gia tốc kế đứng yên theo phương thẳng đứng của trục y; (2) là trường hợp di chuyển gia tốc kế lên xuống theo phương thẳng đứng (trục y); (3) là trường hợp di chuyển gia tốc kế qua lại theo chiều ngang (trục x); và (4) là trường hợp di chuyển gia tốc kế tới lui (trục z)