Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

Mục tiêu, đối tượng và phạm vi nghiên cứu Luận án được thực hiện nhằm nghiên cứu giải quyết một phần các thách thức kỹ thuật nêu trên, sao cho hệ thống sử dụng kỹ thuật IVA trở nên phù

-—{– -

HOÀNG LÊ UYÊN THỤC

PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO

HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE

LUẬN ÁN TIẾN SĨ KỸ THUẬT

Đà Nẵng 2017

-—{– -

HOÀNG LÊ UYÊN THỤC

PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO

HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE

Chuyên ngành : KHOA HỌC MÁY TÍNH

Mã số : 62 48 01 01

LUẬN ÁN TIẾN SĨ KỸ THUẬT

Người hướng dẫn khoa học:

GS TS Jenq-Neng Hwang PGS TS Phạm Văn Tuấn

Đà Nẵng 2017

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng dẫn khoa học của GS TS Jenq-Neng Hwang (Khoa Điện, Trường Đại học Washington, Seattle, USA) và PGS TS Phạm Văn Tuấn (Phòng Khảo thí và Đảm bảo chất lượng giáo dục, Trường Đại học Bách khoa, Đại học Đà Nẵng)

Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung thực và không sao chép từ bất kỳ luận án nào khác Một số kết quả nghiên cứu là thành quả tập thể và đã được các đồng tác giả đồng ý cho sử dụng Mọi trích dẫn đều có ghi nguồn gốc xuất xứ rõ ràng và đầy đủ

Tác giả

NCS Hoàng Lê Uyên Thục

giáo hướng dẫn – GS TS Jenq-Neng Hwang và PGS TS Phạm Văn Tuấn đã tận tình giúp

đỡ tôi từ những bước đi đầu tiên đến khi hoàn thành luận án Với tôi, niềm đam mê nghiên cứu và tấm lòng của người Thầy đối với học trò luôn là nguồn động viên tinh thần vô giá

Trong quá trình học tập và nghiên cứu, thông qua các buổi trao đổi học thuật, bài giảng, bảo vệ chuyên đề, seminar, bảo vệ cấp cơ sở, tôi đã nhận được nhiều kiến thức và góp ý quý báu của PGS TS Võ Trung Hùng, PGS TS Phan Huy Khánh, TS Huỳnh Hữu Hưng, TS Hồ Phước Tiến và PGS TS Nguyễn Thanh Bình (Đại học Đà Nẵng), TS Ngô Văn Sỹ (Trung tâm Nghiên cứu Điện tử-Tin học-Tự động hóa Miền Trung), PGS TS Huỳnh Xuân Hiệp (Trường Đại học Cần Thơ), PGS TS Lê Mạnh Thạnh (Đại học Huế),

BS Cao Bích Thủy (Trường Đại học Kỹ thuật Y-Dược Đà Nẵng), BS Nguyễn Hoài Nam (Trường Đại học Y Hà Nội) Xin được bày tỏ lòng biết ơn chân thành đến quý Thầy Cô

Đặc biệt, tôi xin trân trọng cảm ơn phản biện độc lập đã dành thời gian và công sức đọc, nhận xét và đánh giá luận án nhằm giúp cho luận án được bổ sung, chỉnh sửa rõ ràng, đầy đủ và hợp lý hơn

Tôi xin trân trọng cảm ơn Ban Đào tạo - Đại học Đà Nẵng, Phòng Đào tạo - Trường Đại học Bách khoa đã tạo mọi điều kiện thuận lợi cho tôi trong thời gian học tập, nghiên cứu và thực hiện luận án Xin cảm ơn Khoa Công nghệ thông tin đã tạo môi trường học thuật thân thiện và tích cực cho các nghiên cứu sinh

Tôi xin gởi lời cảm ơn chân thành đến Ban Lãnh đạo Khoa Điện tử - Viễn thông và

Bộ môn Kỹ thuật Viễn thông đã luôn hỗ trợ và tạo điều kiện tốt nhất cho tôi thực hiện luận

án Xin cảm ơn các Thầy Cô giáo trong Khoa đã luôn bên cạnh động viên và sẵn lòng chia

sẻ công việc để tôi có thể tập trung nghiên cứu

Tôi xin ghi nhận và cảm ơn các thành viên Phòng thí nghiệm Information Processing – Đại học Washington đã nhiệt tình hỗ trợ về mặt chuyên môn trong thời gian tôi nghiên cứu tại Phòng Xin cảm ơn các đồng tác giả đã đồng ý cho tôi sử dụng các kết quả nghiên cứu chung cho luận án Cảm ơn các em sinh viên Khoa Điện tử - Viễn thông và Chương trình tiên tiến đã nhiệt tình hỗ trợ xây dựng cơ sở dữ liệu và kiểm tra hệ thống

Cuối cùng, tôi xin được gởi lời cảm ơn sâu sắc nhất đến gia đình và bạn thân- những người đã luôn dành cho tôi tình yêu và niềm tin, để tôi có thể vững tâm trên hành trình đầy thách thức này

NCS Hoàng Lê Uyên Thục

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC TỪ VIẾT TẮT vi

DANH MỤC THUẬT NGỮ ANH – VIỆT viii

DANH MỤC BẢNG BIỂU xii

DANH MỤC HÌNH VẼ xiv

MỞ ĐẦU 1

1 Đặt vấn đề 1

2 Mục tiêu, đối tượng và phạm vi nghiên cứu 3

3 Phương pháp nghiên cứu 4

4 Cấu trúc của luận án 4

5 Đóng góp chính của luận án 5

NGHIÊN CỨU TỔNG QUAN 7

Chương 1. Hệ thống giám sát chăm sóc sức khỏe HMS 7

1.1 Ứng dụng của hệ thống HMS 8

1.1.1 Cấu trúc của hệ thống HMS 9

1.1.2 Kỹ thuật cảm biến 10

1.2 Cấu trúc của nút mạng cảm biến 11

1.2.1 Ứng dụng của kỹ thuật cảm biến 11

1.2.2 Các vấn đề cần quan tâm khi ứng dụng kỹ thuật cảm biến vào hệ thống 1.2.3 HMS 13

Kỹ thuật IVA 14

1.3 Cấu trúc hệ thống sử dụng kỹ thuật IVA 14

1.3.1 Ứng dụng của kỹ thuật IVA 16

1.3.2 Một số nghiên cứu gần đây về ứng dụng IVA vào hệ thống HMS 17

1.3.3 Các vấn đề cần quan tâm khi ứng dụng IVA vào hệ thống HMS 20

1.3.4 Quá trình trích đặc trưng trong hệ thống IVA 22

1.4 Phân vùng đối tượng 23

1.4.1 Mô tả đặc trưng 24

1.4.2 Thảo luận về các bộ mô tả đặc trưng 27

1.4.3 Quá trình nhận dạng hành động trong hệ thống IVA 28

1.5 Nhận dạng tĩnh 29

1.5.1 Nhận dạng động 30 1.5.2

Các vấn đề thiết yếu về hệ thống HMS đề xuất 37

1.6.2 Kết luận chương 1 40

1.7 HỆ THỐNG HMS TRÊN NỀN KỸ THUẬT IVA 41

Chương 2. Phân vùng đối tượng theo phương pháp trừ nền GMM 41

2.1 Mô tả đặc trưng trong hệ thống HMS phát hiện té ngã 43

2.2 Đặc điểm té ngã 43

2.2.1 Tính toán vector đặc trưng té ngã 44

2.2.2 Mô tả đặc trưng trong hệ thống HMS phát hiện dáng đi bất thường 47

2.3 Đặc điểm dáng đi 47

2.3.1 Tính toán vector đặc trưng dáng đi 48

2.3.2 Mô tả đặc trưng trong hệ thống HMS phát hiện hành động bất thường 51

Cơ sở xây dựng bộ mô tả đặc trưng hành động 3D GRF 51

2.4.1 Xác định dữ liệu vào của bộ mô tả đặc trưng hành động 3D GRF 52

2.4.2 Tính toán vector đặc trưng GRF 56

2.4.3 Bộ mô tả đặc trưng 3D GRF cải tiến 60

2.4.4 Nhận dạng hành động dựa trên mô hình HMM 61

2.5 Giới thiệu mô hình HMM 61

2.5.1 Ứng dụng mô hình HMM vào nhận dạng hành động 63

2.5.2 Mô hình HMM-Kmeans 65

2.5.3 Mô hình HMM nhận dạng hành động gần tuần hoàn 67

2.5.4 Kết luận chương 2 69

GIÁM SÁT TÉ NGÃ 70

Chương 3. 3.1.Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống 70

3.1.1 Cơ sở dữ liệu té ngã HBU 70

3.1.2 Cơ sở dữ liệu dáng đi bệnh lý bất thường 71

3.1.3 Cơ sở dữ liệu té ngã Le2i 73

3.1.4 Tiêu chí đánh giá hệ thống 75

3.2.Kiểm tra, đánh giá hệ thống phát hiện té ngã 76

3.2.1 Sự phân chia dữ liệu 76

3.2.2 Quá trình thí nghiệm và kết quả kiểm tra hệ thống phát hiện té ngã 76

3.2.3 Kết quả thí nghiệm kiểm tra hệ thống phát hiện té ngã 78

3.2.4 Đánh giá hệ thống phát hiện té ngã 79

3.3.Triển khai hệ thống phát hiện té ngã thực tế 81

3.3.1 Kiến trúc hệ thống phát hiện té ngã thực tế 81

3.4.1 Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh Parkinson 87

3.4.2 Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh lý 88

3.5.Kết luận chương 3 91

PHÁT HIỆN HÀNH ĐỘNG BẤT THƯỜNG 93

Chương 4. Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống 93

4.1 Cơ sở dữ liệu HumanEVA 93

4.1.1 Cơ sở dữ liệu ước lượng tư thế 3D 95

4.1.2 Cơ sở dữ liệu IXMAS 95

4.1.3 Tiêu chí đánh giá hệ thống 96

4.1.4 Đánh giá bộ mô tả đặc trưng 3D GRF 97

4.2 Thí nghiệm về bộ mô tả đặc trưng 3D GRF 97

4.2.1 Kết quả thí nghiệm về bộ mô tả đặc trưng 3D GRF 98

4.2.2 Nhận xét bộ mô tả đặc trưng 3D GRF 100

4.2.3 Các yếu tố ảnh hưởng đến hiệu quả nhận dạng của mô hình HMM 102

4.3 Ảnh hưởng của các tham số mô hình HMM 103

4.3.1 Ảnh hưởng của số lượng người tham gia huấn luyện mô hình HMM 106 4.3.2 Nhận dạng hành động gần tuần hoàn dùng mô hình CHMM 109

4.4 Xây dựng cơ sở dữ liệu hành động gần tuần hoàn 109

4.4.1 Kết quả thí nghiệm 110

4.4.2 Kiểm tra, đánh giá hệ thống phát hiện hành động bất thường 110

4.5 Kiểm tra, đánh giá khối nhận dạng hành động 112

4.5.1 Kiểm tra, đánh giá khối phát hiện hành động bất thường 114

4.5.2 Kết luận chương 4 116

4.6 KẾT LUẬN 118

1 Các kết quả của luận án 118

2 Đánh giá kết quả 118

3 Hướng phát triển 119

DANH MỤC CÔNG TRÌNH KHOA HỌC 121

TÀI LIỆU THAM KHẢO 122

PHỤ LỤC 133

vi

DANH MỤC TỪ VIẾT TẮT

Đáp ứng xung dài vô hạn

Informatique et en Automatique Viện Nghiên cứu Tin học và Tự động hóa

tích hợp

video

Assessment Tool Công cụ đánh giá nguy cơ té ngã của bệnh viện Johns Hopkins

vii

Extraction

Đặc trưng được lấy trọng số không có tham số

gian thực

viii

DANH MỤC THUẬT NGỮ ANH – VIỆT

Abnormal gait detection Phát hiện dáng đi bất thường

Action recognition Nhận dạng hành động

Angle-related feature Đặc trưng góc

Anormal action pattern Mẫu hành động bất thường

Background subtraction Trừ nền

Discrimative model Mô hình phân biệt

Distance-related feature Đặc trưng khoảng cách

Dynamic recognition Nhận dạng động

ix

Feature descriptor Bộ mô tả đặc trưng

Feature extraction Trích đặc trưng

Left-right model Mô hình trái-phải

Non model-based Không dựa trên mô hình

x

Notification communication Thông tin cảnh báo

Object segmentation Phân vùng đối tượng

Observation matrix Ma trận quan sát

Pathological gait Dáng đi bệnh lý

State-space model Mô hình không gian trạng thái

Static recognition Nhận dạng tĩnh

Supervised learning Học có giám sát

Threshold matching So khớp với mức ngưỡng

xi

Transition matrix Ma trận chuyển tiếp

Unsupervised learning Học không giám sát

Vector quantization Lượng tử hóa vector

Video acquisition Thu nhận tín hiệu video

Video analysis Phân tích tín hiệu video

xii

DANH MỤC BẢNG BIỂU

Bảng 2.1 Quan hệ tương đương giữa hành động “té ngã” và bộ mô tả đặc trưng

té ngã 44

Bảng 2.2 Quan hệ tương đương giữa hành động “đi bộ” và đặc trưng 3D GRF mô tả hành động “đi bộ” 52

Bảng 2.3 Biến đổi tương đương dữ liệu HumanEVA và mô hình 13 điểm 54

Bảng 2.4 Tập các đặc trưng hành động 3D GRF 56

Bảng 2.5 Mô tả chi tiết đặc trưng 3D GRF 57

Bảng 2.6 Tập đặc trưng hành động 3D GRF cải tiến 61

Bảng 3.1 Ma trận nhầm lẫn của hệ thống phát hiện té ngã (Tập Test1-HBU) 78

Bảng 3.2 Ma trận nhầm lẫn của hệ thống phát hiện té ngã (Tập Test2-HBU) 78

Bảng 3.3 Ma trận nhầm lẫn của hệ thống phát hiện té ngã (Tập Test3-HBU) 78

Bảng 3.4 Hiệu quả nhận dạng của hệ thống phát hiện té ngã trên cơ sở dữ liệu HBU theo các chỉ tiêu RC, PR và Acc 79

Bảng 3.5 So sánh hiệu suất nhận dạng của các hệ thống phát hiện té ngã 81

Bảng 3.6 Kết quả kiểm tra hệ thống phát hiện té ngã trên tập Home1, Home2 và Lecture trong cơ sở dữ liệu Le2i 83

Bảng 3.7 Ma trận nhầm lẫn của hệ thống phát hiện té ngã thực tế (%) 86

Bảng 3.8 Ma trận nhầm lẫn của hệ thống phát hiện dáng đi bệnh Parkinson 88

Bảng 3.9 Kết quả phát hiện dáng đi bất thường 89

Bảng 3.10 Ma trận nhầm lẫn của hệ thống phát hiện dáng đi bệnh lý (%) 90

Bảng 4.1 Kết quả thí nghiệm 4.2.2a trên cơ sở dữ liệu HumanEVA 99

Bảng 4.2 Kết quả thí nghiệm 4.2.2b trên cơ sở dữ liệu HumanEVA 99

Bảng 4.3 Kết quả thí nghiệm 4.2.2c trên cơ sở dữ liệu HumanEVA 99

Bảng 4.4 Kết quả thí nghiệm 4.2.2d trên cơ sở dữ liệu HumanEVA 100

Bảng 4.5 Một phần của ma trận quan sát trước và sau khi xử lý 103

Bảng 4.6 Tỷ lệ nhận dạng hành động (%) với các giá trị M khác nhau 104

xiii

Bảng 4.7 Tỷ lệ nhận dạng hành động (%) với các giá trị N khác nhau 105

Bảng 4.8 Tỷ lệ nhận dạng hành động (%) với các giá trị ε khác nhau 105

Bảng 4.9 Kết quả thí nghiệm 4.3.2a trên cơ sở dữ liệu ước lượng tư thế 3D 106

Bảng 4.10 Kết quả thí nghiệm 4.3.2b trên cơ sở dữ liệu ước lượng tư thế 3D 107

Bảng 4.11 Kết quả thí nghiệm 4.3.2c trên cơ sở dữ liệu ước lượng tư thế 3D 107

Bảng 4.12 Kết quả thí nghiệm 4.3.2d trên cơ sở dữ liệu ước lượng tư thế 3D 107

Bảng 4.13 Kết quả thí nghiệm 4.3.2e trên cơ sở dữ liệu ước lượng tư thế 3D 108

Bảng 4.14 Tỷ lệ nhận dạng hành động (%) của hệ thống dùng CHMM 110

Bảng 4.15 Kết quả nhận dạng hành động (%) trong cơ sở dữ liệu IXMAS 113

Bảng 4.16 So sánh các hệ thống nhận dạng hành động 114

Bảng 4.17 Kết quả (%) phát hiện mẫu “thiếu vắng hành động đi bộ” 115

Bảng 4.18 Kết quả (%) phát hiện mẫu “dư thừa hành động bạo lực” 116

xiv

DANH MỤC HÌNH VẼ

Hình 1.1 Sơ đồ cấu trúc của hệ thống HMS điển hình 9

Hình 1.2 Sơ đồ cấu trúc của nút mạng cảm biến điển hình 11

Hình 1.3 Một số ứng dụng tiêu biểu của kỹ thuật cảm biến và kỹ thuật IVA 12

Hình 1.4 Sơ đồ cấu trúc hệ thống sử dụng kỹ thuật IVA điển hình 15

Hình 1.5 Ví dụ về ảnh gốc và ảnh mặt nạ của đối tượng 23

Hình 1.6 Các ví dụ về ảnh gốc, ảnh MHI và MII tương ứng [29] 25

Hình 1.7 Các ví dụ về trường vector dòng chuyển động [7] 26

Hình 1.8 Đặc trưng nhị phân mô tả quan hệ giữa các điểm trên cơ thể [93] 27

Hình 1.9 Ví dụ về so khớp hai chuỗi vector tốc độ khác nhau dùng DTW [6] 31

Hình 2.1 Ví dụ một mô hình GMM có ba thành phần Gauss 42

Hình 2.2 Kết quả phân đoạn đối tượng con người dùng phương pháp trừ nền dựa trên mô hình GMM cải tiến 43

Hình 2.3 Hình ellipse bao quanh đối tượng và các thông số đặc trưng [95] 45

Hình 2.4 Ảnh MHI đi bộ và té ngã 47

Hình 2.5 Độ dài bước và độ rộng bước 47

Hình 2.6 Ảnh mặt nạ trích từ các khung video dáng đi bình thường và Parkinson. 49

Hình 2.7 Cấu trúc tổng quát hệ thống phát hiện hành động bất thường 51

Hình 2.8 Mô hình cơ thể [66] 53

Hình 2.9 Các đặc trưng 2D trích từ ảnh gốc [65] 55

Hình 2.10 Kết quả bám đuổi 2D [65] 55

Hình 2.11 Kết quả mô hình hóa 3D cho cơ sở dữ liệu HumanEVA II [65] 55

Hình 2.12 Các mặt phẳng cơ thể theo giải phẫu học [17] 57

Hình 2.13 Khoảng cách có dấu - d - giữa điểm p4 và mặt phẳng {p1, p2, p3} 58

Hình 2.14 Một số loại HMM phổ biến 62

Hình 2.15 Ví dụ HMM trái-phải biểu diễn hành động “đánh bốc” 64

xv

Hình 2.16 Nguyên lý nhận dạng maximum likelihood 64

Hình 2.17 Cấu trúc khối nhận dạng hành động dùng mô hình HMM rời rạc 65

Hình 2.18 Ảnh hưởng của phần tử cá biệt (do nhiễu) lên thuật toán Kmeans 67

Hình 2.19 Các tư thế con người trong một chu kỳ “đi bộ” 67

Hình 2.20 Khoảng cách giữa hai chân trong khi “đi bộ” [96] 68

Hình 2.21 Mô hình CHMM 5 trạng thái 69

Hình 3.1 Các hướng té ngã khác nhau trong cơ sở dữ liệu HBU [3] 71

Hình 3.2 Một số khung video trong cơ sở dữ liệu HBU [3] 72

Hình 3.3 Một số khung video hình ảnh các loại dáng đi trong cơ sở dữ liệu dáng đi bệnh lý 73

Hình 3.4 Các khung video trong cơ sở dữ liệu Le2i [23] 74

Hình 3.5 Ma trận nhầm lẫn 75

Hình 3.6 Quy trình thí nghiệm đánh giá hệ thống 77

Hình 3.7 Sự giống nhau giữa đặc trưng mô tả hành động “ngồi” và “té ngã” theo hướng trực diện (đường xanh nét liền: ngồi, đường đỏ nét đứt: té ngã) 80

Hình 3.8 Kiến trúc cơ bản của hệ thống phát hiện té ngã thực tế 81

Hình 3.9 Ảnh chụp hệ thống thực nghiệm 85

Hình 3.10 Một số khung video trong thực tế 86

Hình 4.1 Các khung video trong cơ sở dữ liệu HumanEVA [123] 94

Hình 4.2 Các khung video trong cơ sở dữ liệu ước lượng tư thế 3D [65] 96

Hình 4.3 Các khung video trong cơ sở dữ liệu IXMAS [59] 97

Hình 4.4 Khung video, tọa độ 3D và vector đặc trưng 3D GRF tương ứng 101

Hình 4.5 Đồ thị cột về tỷ lệ nhận dạng trong các trường hợp huấn luyện khác nhau. 108

MỞ ĐẦU

1 Đặt vấn đề

Già hóa dân số là một trong các xu hướng đang diễn ra mạnh mẽ trên tất cả các khu vực và quốc gia trên thế giới [4], [134] Bằng chứng cho điều này là tỷ lệ người cao tuổi (trên 60 tuổi) đã tăng từ 9.2% trong năm 1990 lên 11.7% trong năm

2013 và sẽ đạt 21,1 % vào năm 2050 Trên toàn cầu, số lượng người cao tuổi dự kiến sẽ tăng hơn gấp đôi, tức là từ 841 triệu người vào năm 2013 lên hơn 2 tỷ người vào năm 2050, trong đó số lượng người trên 80 tuổi ước tính đạt 392 triệu, tăng gấp

3 lần so với hiện tại [134]

Ở nước ta, cơ cấu độ tuổi dân số cũng có những chuyển biến đi theo xu hướng chung trên toàn cầu [2], [133] Theo Quỹ Dân số Liên hợp quốc UNFPA [133], Việt Nam là một trong những quốc gia có tốc độ già hóa nhanh nhất thế giới với dự báo đến năm 2049 thì tỷ lệ người cao tuổi ở Việt Nam sẽ chiếm đến 26.10% tổng dân

số, cao hơn nhiều so với tỷ lệ người cao tuổi trung bình trên toàn cầu

Chúng ta không thể phủ nhận già hóa dân số là một trong những thành tựu vĩ đại nhất của loài người, nhờ sự tiến bộ về y học, chăm sóc sức khỏe, giáo dục và đời sống kinh tế Nhưng khuynh hướng già hóa dân số tạo nên những thách thức lớn cho cá nhân, gia đình, xã hội và cộng đồng trên toàn cầu [4] Một trong các thách thức đó là số lượng các căn bệnh liên quan đến tuổi tác xuất hiện ngày càng nhiều, trong đó chủ yếu là các bệnh không lây nhiễm như mất trí nhớ, thoái hóa khớp, huyết áp, đái tháo đường, chấn thương do té ngã, v.v và phải điều trị suốt đời Xét

về chi phí chăm sóc sức khỏe, thống kê cho thấy chi phí trung bình cho người cao tuổi cao gấp 7-8 lần chi phí trung bình cho trẻ em [2] Để giảm chi phí chăm sóc sức khỏe và tăng khả năng điều trị bệnh thành công, yêu cầu cấp bách đặt ra là cần phải tìm các biện pháp phát hiện sớm các chứng bệnh nói trên nhằm can thiệp y khoa kịp thời Ngoài ra, phát hiện bệnh sớm còn góp phần đáng kể vào giảm tải công việc cho nhân viên y tế, đặc biệt là nhân viên y tế chuyên ngành lão khoa, vốn đang bị khủng hoảng thiếu nghiêm trọng [1]

Điều này đã thúc đẩy nhiều nhà khoa học tập trung vào một hướng nghiên cứu

mới đầy triển vọng: thiết kế, triển khai và ứng dụng các hệ thống giám sát chăm sóc

sức khỏe HMS (Healthcare Monitoring System) [42], [108] Cùng với các giải pháp

kỹ thuật khác ứng dụng trong hệ thống HMS chẳng hạn như kỹ thuật cảm biến [45],

[74], [148] thì kỹ thuật phân tích thông minh tín hiệu video IVA (Intelligent Video

Analytics) [84], [94], [143] đang nhận được rất nhiều sự quan tâm nghiên cứu trên

toàn thế giới Kỹ thuật IVA dựa vào phân tích tín hiệu video ghi lại các hoạt động

hàng ngày của người cao tuổi cần giám sát, để nhận dạng các hành động của họ, phát hiện các hành động bất thường và kịp thời đưa ra cảnh báo nếu có [28], [39],

[72] Thực tế cho thấy kỹ thuật IVA đã tỏ ra có nhiều ưu điểm nổi trội và đã đạt được nhiều thành tựu đáng khích lệ Tuy nhiên, để ứng dụng thành công kỹ thuật IVA vào hệ thống HMS, cần giải quyết những khó khăn về kỹ thuật như sau:

- Vấn đề góc quay là thách thức lớn nhất cho bài toán nhận dạng hành động con người sử dụng kỹ thuật IVA [7], [65] Thực tế thì camera thường đặt ở một vị trí cố định trong khi con người di chuyển tùy ý, vì thế yêu cầu đặt ra là dù ở các góc quay khác nhau thì hiệu quả nhận dạng vẫn phải không bị ảnh hưởng

- Hầu hết các hệ thống sử dụng kỹ thuật IVA đều thực hiện bước xử lý đầu tiên

là phân vùng đối tượng con người dựa vào phương pháp trừ nền [33], [127], [141] Phương pháp trừ nền yêu cầu một mô hình nền tin cậy và phải được cập nhật sao cho thích nghi với cảnh nền động phức tạp, hay thay đổi cũng như điều kiện chiếu sáng trong phòng không đồng nhất Hơn nữa, cần giải quyết vấn đề bóng đổ do sự chiếu sáng của các nguồn sáng nhân tạo trong phòng tạo

ra làm ảnh hưởng đến hình dạng của đối tượng được phân đoạn, dẫn đến kết quả nhận dạng sai [27] Cuối cùng, vấn đề che khuất giữa các bộ phận cơ thể hay che khuất giữa người và đồ đạc cũng cần giải quyết để đối tượng được phân đoạn chính xác [65]

- Cuối cùng, cần phải nghiên cứu để có thể mô tả hành động sao cho ít bị ảnh hưởng nhất bởi vẻ bên ngoài của con người và vẻ bên ngoài của hành động [68], [93] Vẻ bên ngoài của con người phụ thuộc vào các yếu tố như: bề mặt bước đi, quần áo, giày dép, v.v Vẻ bề ngoài của hành động cũng thay đổi đa dạng, phụ thuộc vào người thực hiện, thời gian thực hiện, cách thức thực hiện, v.v Tất cả những điều này đều làm ảnh hưởng đến kết quả nhận dạng

Xuất phát từ bối cảnh trên, đề tài “Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe” được chọn làm nội dung của luận

án với mong muốn góp phần vào lĩnh vực nghiên cứu về kỹ thuật IVA nói chung và ứng dụng IVA vào hệ thống giám sát chăm sóc sức khỏe người cao tuổi nói riêng

2 Mục tiêu, đối tượng và phạm vi nghiên cứu

Luận án được thực hiện nhằm nghiên cứu giải quyết một phần các thách thức

kỹ thuật nêu trên, sao cho hệ thống sử dụng kỹ thuật IVA trở nên phù hợp với ứng dụng hỗ trợ chăm sóc sức khỏe cho người cao tuổi Cụ thể là luận án nhằm hướng đến hai ứng dụng chính như sau:

- Thứ nhất là giám sát té ngã, bao gồm hai kịch bản ứng dụng là: (1) phát hiện, cảnh báo té ngã và (2) dự đoán nguy cơ té ngã Ở đây nguy cơ té ngã được xét

là do yếu tố dáng đi bất thường (do bệnh lý xương khớp hoặc tâm thần kinh) gây ra

- Thứ hai là phát hiện các hành động bất thường để hỗ trợ cho dự đoán chứng suy giảm nhận thức nhẹ

Dựa vào mục tiêu nghiên cứu nói trên, luận án tập trung vào hai đối tượng nghiên cứu chính là:

- Thứ nhất, các khối xử lý tín hiệu trong hệ thống sử dụng kỹ thuật IVA

- Thứ hai, các ứng dụng của kỹ thuật IVA vào hỗ trợ hệ thống HMS hướng đến phục vụ đối tượng người cao tuổi, gồm phát hiện té ngã, phát hiện dáng đi bất thường và phát hiện hành động bất thường

Xác định mục tiêu và đối tượng nghiên cứu như trên, luận án tập trung vào thực hiện các nhiệm vụ chính như sau:

- Thứ nhất, nghiên cứu tổng quan kỹ thuật IVA hỗ trợ cho hệ thống HMS, hướng đến đối tượng người cao tuổi

- Thứ hai, xây dựng các hệ thống HMS trên nền kỹ thuật IVA sao cho phù hợp với ứng dụng hỗ trợ hệ thống HMS

- Thứ ba, nghiên cứu ứng dụng hệ thống xây dựng được vào việc phát hiện các bất thường về sức khỏe người cao tuổi mà ta có thể quan sát bằng mắt gồm tai nạn té ngã, dáng đi bất thường, hành động bất thường

Tất cả các vấn đề nghiên cứu nêu trên đều được giải quyết trong phạm vi các ràng buộc cụ thể như sau:

- Hệ thống được xây dựng theo cách tiếp cận truyền thống, nghĩa là trong hệ thống có hai khối xử lý chính là trích đặc trưng và nhận dạng với dữ liệu video

- Hệ thống chỉ sử dụng một camera 2D gắn cố định để thu tín hiệu

- Môi trường quay trong nhà và nền tĩnh

- Trong cảnh quay chỉ có một đối tượng chuyển động là con người

- Tùy theo từng ứng dụng, các cảnh quay có thể là một trong các trường hợp sau: người tham gia (1) đang thực hiện các hoạt động thông thường thì bị té, hoặc (2) đi bộ với các kiểu dáng đi bệnh lý khác nhau, hoặc (3) thực hiện một hành động nào đó trong suốt cảnh quay

3 Phương pháp nghiên cứu

Việc thực hiện luận án dựa trên cơ sở kế thừa các kiến thức nền tảng sau đây:

- Thiết kế và thực thi các thí nghiệm với phương pháp/hệ thống đề xuất dùng cơ

sở dữ liệu phù hợp để thu thập dữ liệu kết quả

- Phân tích dữ liệu kết quả để đánh giá thực nghiệm phương pháp/hệ thống

đề xuất Việc đánh giá chủ yếu dựa vào tiêu chí về tỷ lệ nhận dạng thành công

- So sánh phương pháp/hệ thống đề xuất với các phương pháp/hệ thống đang tồn tại để rút ra kết luận

4 Cấu trúc của luận án

Trên cơ sở các nhiệm vụ nghiên cứu nêu trên, để đạt mục tiêu đề ra và đảm

bảo tính logic và chỉnh thể của vấn đề nghiên cứu, ngoài phần mở đầu và phần kết

luận và hướng phát triển, luận án được cấu trúc gồm bốn chương với nội dung

chính của các chương như sau:

Chương 1 giới thiệu hệ thống giám sát chăm sóc sức khỏe HMS hướng đến

ứng dụng cho đối tượng người cao tuổi Đồng thời trình bày hai kỹ thuật hỗ trợ cho

hệ thống HMS là kỹ thuật cảm biến và IVA, trong đó tập trung vào kỹ thuật IVA

Hai bước xử lý chính trong hệ thống sử dụng kỹ thuật IVA là trích đặc trưng và

nhận dạng được trình bày dựa vào nghiên cứu tổng quan các công trình về IVA gần

đây Kết quả nghiên cứu tổng quan sẽ định hướng cho các nghiên cứu tiếp theo của

luận án trong các chương sau

Chương 2 đề xuất các hệ thống HMS trên nền kỹ thuật IVA, nhằm hướng đến

các ứng dụng chính là phát hiện té ngã, dự đoán nguy cơ té ngã do dáng đi bất thường và phát hiện hành động bất thường Cụ thể là phần trích đặc trưng sử dụng kết hợp thông tin hình dạng với tốc độ chuyển động trong ứng dụng phát hiện té

ngã, sử dụng moment Hu trong ứng dụng phát hiện dáng đi bất thường, sử dụng đặc

trưng quan hệ hình học GRF (Geometric Relational Feature) trong ứng dụng phát

hiện hành động bất thường Phần nhận dạng dựa trên mô hình Markov ẩn HMM

(Hidden Markov Model), gồm HMM kết hợp với Kmeans và HMM tuần hoàn

CHMM (Cyclic HMM)

Chương 3 trình bày kết quả thực nghiệm kiểm tra, đánh giá hệ thống HMS

nêu ở chương 2 trong ứng dụng giám sát té ngã, gồm phát hiện – cảnh báo té ngã và

dự đoán nguy cơ té ngã do dáng đi bất thường Riêng hệ thống phát hiện – cảnh báo

té ngã được thiết kế, thực hiện và kiểm tra với các tình huống té ngã thực tế

Chương 4 trình bày kết quả thực nghiệm kiểm tra, đánh giá hệ thống HMS đề

xuất ở chương 2 trong ứng dụng phát hiện các mẫu hành động bất thường, gồm hai mẫu đại diện là mẫu “thiếu vắng” và mẫu “dư thừa”, vốn là những mẫu hành động

có thể do chứng suy giảm nhận thức mức độ nhẹ gây ra

5 Đóng góp chính của luận án

Qua quá trình thực hiện các nhiệm vụ của luận án nhằm đạt được mục tiêu nghiên cứu đề ra, luận án đã có những đóng góp khoa học như sau:

- Hệ thống hóa các nghiên cứu gần đây về kỹ thuật IVA, đặc biệt tập trung vào

kỹ thuật IVA với ứng dụng hỗ trợ cho hệ thống HMS (công trình số [1], [2],

[6] trong Danh mục công trình khoa học)

- Đề xuất bộ mô tả đặc trưng quan hệ hình học GRF có khả năng đối phó với vấn đề góc quay và che khuất, góp phần nâng cao hiệu quả nhận dạng (công trình số [3] trong Danh mục công trình khoa học)

- Đề xuất phương pháp nhận dạng các hành động gần tuần hoàn dùng mô hình

HMM tuần hoàn CHMM (Cyclic HMM) (công trình số [5] trong Danh mục

công trình khoa học)

Ngoài ra, một số hệ thống trên nền IVA lý thuyết và thực tế đã được xây dựng qua quá trình thực hiện luận án gồm có:

- Hệ thống phát hiện tai nạn té ngã thực tế (công trình số [9])

- Hệ thống phát hiện dáng đi bất thường hỗ trợ cho dự đoán nguy cơ té ngã (công trình số [10], [12])

- Hệ thống nhận dạng hành động (công trình số [4], [7], [8])

- Hệ thống phát hiện mẫu hành động bất thường (công trình số [11])

Các hệ thống đề xuất trong luận án không có ý định thay thế hoàn toàn chuyên gia y tế, nhưng có thể góp phần cung cấp một công cụ hữu hiệu để giúp phát hiện sớm các bất thường về sức khỏe nhằm chữa trị kịp thời, giúp giảm thiểu chi phí, tăng cao hiệu quả điều trị và nâng cao chất lượng sống cho người cao tuổi

NGHIÊN CỨU TỔNG QUAN Chương 1.

Nội dung của chương gồm có hai phần chính: phần thứ nhất là tổng quan về hệ

thống giám sát chăm sóc sức khỏe (HMS) (Mục 1.1) và phần thứ hai là các kỹ thuật

sử dụng trong hệ thống HMS gồm kỹ thuật cảm biến (Mục 1.2) và kỹ thuật phân tích thông minh tín hiệu video (IVA) (Mục 1.3)

Riêng với kỹ thuật IVA, hai bước xử lý chính trong hệ thống trên nền IVA là

trích đặc trưng và nhận dạng được trình bày trên cơ sở nghiên cứu tổng quan các

công trình liên quan gần đây (Mục 1.4 và 1.5)

Ngoài ra, phần cuối chương là các thảo luận và đề xuất nhằm định hướng các

nghiên cứu tiếp theo trong luận án (Mục 1.6)

Kết quả nghiên cứu tổng quan của luận án đã được công bố ở các công trình [1], [2], [6] trong Danh mục công trình khoa học của tác giả

Hệ thống giám sát chăm sóc sức khỏe HMS

1.1.

Hệ thống giám sát chăm sóc sức khỏe HMS là hệ thống cho phép quan sát,

theo dõi liên tục bệnh nhân từ xa nhằm thu thập các thông tin về tình trạng sức khỏe bệnh nhân, phát hiện các tai nạn hoặc phát hiện các bất thường về sức khỏe [42] Các hệ thống HMS hiện đại có thể giúp rút ngắn thời gian nằm viện, giảm bớt số lần bệnh nhân phải đến bệnh viện để thăm khám sức khỏe định kỳ, giúp xử lý kịp thời các tai nạn nguy cấp, giúp phát hiện sớm một số chứng bệnh nguy hiểm để có biện pháp can thiệp y khoa kịp thời [108]

Hiện nay, lĩnh vực nghiên cứu về hệ thống HMS đang thu hút được rất nhiều

sự quan tâm trên thế giới [108] Điều này thể hiện ở số lượng rất lớn các công trình nghiên cứu, hội nghị hội thảo chuyên ngành, dự án Nhiều hệ thống/dự án HMS đã bước đầu được triển khai thực tế khá thành công, chẳng hạn như:

- Hệ thống E-safe [45] sử dụng cảm biến gắn vào người để tự động phát hiện té ngã dựa trên công nghệ zigbee Nếu phát hiện có té ngã thì các bên liên quan

được cảnh báo qua dịch vụ tin nhắn SMS (Short Message Services) và email

- Hệ thống trợ giúp thông minh SAIL (Smart AssIsted Living) [148] dùng kỹ

thuật tương tác người-máy để giám sát tình trạng sức khỏe của từng bệnh nhân

cao tuổi hoặc người khuyết tật SAIL bao gồm mạng cảm biến cơ thể người

BSN (Body Sensor Network), robot hướng dẫn, điện thoại thông minh và nhà

cung cấp dịch vụ chăm sóc sức khỏe từ xa Dựa trên dữ liệu thu từ các cảm biến, robot sẽ trợ giúp bệnh nhân hoặc là nhà cung cấp dịch vụ từ xa sẽ chuyển chỉ thị giúp đỡ đến bệnh nhân thông qua cổng điện thoại thông minh

- Hệ thống [79] hoàn toàn dựa trên kỹ thuật phân tích tín hiệu video với cấu trúc gồm: thu dữ liệu video, phát hiện và bám đuổi đối tượng, phân tích đặc trưng của đối tượng, phát hiện các hiện tượng bất thường (gồm đi loạng choạng, té ngã, bất động lâu, có hành vi lạ) và thông báo cho các bên liên quan

Ứng dụng của hệ thống HMS

1.1.1.

Ứng dụng của hệ thống HMS rất đa dạng và thay đổi tùy theo đối tượng phục

vụ, chẳng hạn như:

- Đối với trẻ em: hệ thống HMS giúp tự động quan sát, theo dõi trẻ em liên tục

nhằm phát hiện các hành vi “tự kích thích” (vẫy tay, đập đầu, cắn, v.v.) [107] hay cách chơi bất thường trong các trò chơi tương tác nhằm phát hiện sớm hội chứng tự kỷ để có biện pháp can thiệp sớm [109], phát hiện kịp thời các hành

vi nguy hiểm ở trẻ mới tập đi như leo trèo, với tay, v.v để cảnh báo cho người chăm sóc trẻ nhằm ngăn chặn té ngã kịp thời [145]

- Đối với người cao tuổi: hệ thống HMS giúp giám sát hoạt động “ăn uống” của

người cao tuổi tại nhà nhằm phát hiện sớm các vấn đề sức khỏe liên quan [25] hoặc tại viện dưỡng lão nhằm đánh giá mức độ khó khăn trong ăn uống để hỗ trợ cho điều dưỡng [46], phát hiện hội chứng ngưng thở trong khi ngủ, bệnh tim mạch và đột quỵ [72], giám sát hoạt động “uống thuốc” của bệnh nhân cao tuổi tại nhà nhằm tránh dùng thuốc không đúng cách [58], đưa ra các phản hồi tại chỗ để hướng dẫn, hỗ trợ cho bệnh nhân đột quỵ thực hiện các hoạt động thường ngày ví dụ như “pha cà phê” [47], tính toán các thông số liên quan đến các bài tập phục hồi chức năng khi bệnh nhân tự tập tại nhà, nhằm giúp chuyên gia y tế đánh giá sự cải thiện chức năng vận động của bệnh nhân từ xa

mà không cần phải đến tập tại bệnh viện [117]

- Đối với bệnh nhân cần theo dõi đặc biệt: hệ thống HMS có thể giúp giám sát

liên tục các chỉ số sinh tồn như nhịp tim, huyết áp của sản phụ và thai nhi

nhằm phát hiện các bất thường như nhịp tim tăng/giảm, huyết áp lên/xuống để kịp thời ngăn chặn các tai biến sản khoa [45]

Trong phạm vi nghiên cứu, luận án hướng đến đối tượng là người cao tuổi sống tại nhà một mình với mục tiêu chính là phát hiện sớm các bất thường về sức khỏe như tai nạn té ngã, dáng đi bất thường và các hành động bất thường

Cấu trúc của hệ thống HMS

1.1.2.

Để đảm bảo chức năng giám sát việc chăm sóc sức khỏe cho bệnh nhân, một

hệ thống HMS tối thiểu phải có ba thành phần chính là thu nhận dữ liệu, xử lý dữ

liệu và lưu trữ/cảnh báo như trên Hình 1.1 Cấu trúc bên trong mỗi thành phần này

khác nhau phụ thuộc vào ứng dụng cụ thể, đối tượng phục vụ, phương thức truyền dẫn dữ liệu, kỹ thuật sử dụng trong thu nhận dữ liệu và xử lý dữ liệu

Hình 1.1 Sơ đồ cấu trúc của hệ thống HMS điển hình

Trước tiên, khối thu nhận dữ liệu thực hiện thu thập thông tin về tình trạng sức

khỏe của bệnh nhân thông qua các cảm biến Các thông tin này rất đa dạng, có thể

là các dấu hiệu sinh tồn như nhịp tim, thân nhiệt, nhịp thở, huyết áp [45], hoặc hành động/hành vi, hoặc dáng đi [47], [58], [79], v.v Việc lựa chọn loại cảm biến, số lượng cảm biến, vị trí lắp đặt cảm biến, v.v phụ thuộc chủ yếu vào ứng dụng mà hệ thống HMS muốn hướng đến Ngoài ra, việc triển khai hệ thống HMS có thể ở nhiều nơi, dẫn đến vị trí đặt khối thu nhận dữ liệu rất khác nhau, chẳng hạn như ở viện dưỡng lão [46], bệnh viện [11], nhà riêng [58], [72]

Tiếp đến, dữ liệu thu nhận được truyền đến khối xử lý dữ liệu qua phương tiện

truyền dẫn hữu tuyến hoặc vô tuyến Khối xử lý dữ liệu có thể đặt tại chỗ ở của bệnh nhân hoặc tại trung tâm xử lý riêng Việc xử lý dữ liệu có thể thực hiện thủ công hoặc tự động, trong đó xử lý dữ liệu tự động được thực hiện bằng cách nhận dạng dùng kỹ thuật học máy [8] Nguyên lý cơ bản của xử lý dữ liệu là so sánh dữ liệu thu được từ bệnh nhân (gọi là dữ liệu kiểm tra) với các mẫu dữ liệu đã lưu sẵn (gọi là dữ liệu huấn luyện đã được gán nhãn) để đưa ra kết luận dữ liệu kiểm tra là dương tính (bất thường) hay âm tính (bình thường)

Cuối cùng, kết quả nhận dạng được gởi đến khối lưu trữ/cảnh báo Kết quả

nhận dạng dương tính sẽ được truyền đến trạm cấp cứu, nhân viên y tế và/hoặc người nhà bệnh nhân tùy theo cài đặt của hệ thống nhằm cảnh báo bất thường và tìm kiếm sự can thiệp y khoa kịp thời Kết quả nhận dạng âm tính cũng thường được lưu lại để chuyên gia y tế phân tích sâu hơn về sau khi cần thiết Ngoài ra, căn

cứ vào kết quả nhận dạng, một số hệ thống HMS còn có chức năng phản hồi để truyền các chỉ thị hoặc hướng dẫn giúp đỡ đến cho bệnh nhân

Trong số các cảm biến sử dụng để thu thập dữ liệu trong hệ thống HMS thì camera là một loại cảm biến đặc biệt khác các loại cảm biến khác Các cảm biến khác thu nhận thông tin về tình trạng sức khỏe bệnh nhân dưới dạng dữ liệu một chiều [45], [148], trong khi camera thì lại cung cấp dữ liệu thu được dưới dạng tín hiệu video- là chuỗi các bức ảnh hai chiều [47], [58], [79] Vì sự khác biệt này nên

từ đây trở đi, thuật ngữ “cảm biến” và thuật ngữ “camera” được dùng trong luận án với hai nghĩa riêng, không bao hàm lẫn nhau

Kỹ thuật cảm biến

1.2.

Cảm biến là một loại thiết bị có thể cảm nhận và chuyển đổi một đại lượng vật

lý (không mang tính chất điện) thành một đại lượng điện có thể đo được và xử lý được bằng các thiết bị điện [139] Vì vậy có thể nói cảm biến là cầu nối giữa thế giới vật lý với các thiết bị điện

Các chủng loại cảm biến rất đa dạng, chẳng hạn như cảm biến gia tốc, cảm biến rung - xóc, cảm biến sinh học, cảm biến hóa học, cảm biến điện từ, cảm biến

độ ẩm, cảm biến quang, cảm biến vị trí và chuyển động, cảm biến áp suất, cảm biến nhiệt độ, v.v [52], [74], [139], [146]

Cấu trúc của nút mạng cảm biến

1.2.1.

Các cảm biến hiếm khi hoạt động riêng lẻ mà thường kết nối lại thành mạng

cảm biến, ví dụ như mạng cảm biến môi trường ESN (Environmental Sensor Network) [52], mạng cảm biến cơ thể người BSN [74], v.v Về cấu trúc thì các

mạng cảm biến gồm có nhiều nút mạng cảm biến kết hợp lại theo một topo nào đó phù hợp để thực thi một ứng dụng cụ thể [74]

Nút mạng có nhiệm vụ xử lý thông tin thu nhận được bằng cách chuyển đổi định dạng, tính toán logic, lưu trữ dữ liệu và truyền đi Để thực hiện được nhiệm vụ này, một nút mạng điển hình cần có các khối như cảm biến, xử lý, truyền dẫn, bộ

nhớ và nguồn như trên Hình 1.2 [86]

Thành phần chính của một nút mạng là một hoặc một vài cảm biến, đóng vai trò thu nhận thông tin về môi trường (nhiệt độ, độ ẩm, cường độ ánh sáng, v.v.) hoặc các chỉ số sinh học (huyết áp, nhịp tim, lượng đường trong máu, v.v.) Thông tin thu nhận ở dạng các đại lượng vật lý sau đó được chuyển sang dạng tín hiệu điện

và được lưu trữ trong bộ nhớ Khối xử lý làm nhiệm vụ điều khiển nút mạng Khối truyền dẫn thực hiện truyền thông tin giữa cảm biến và máy tính Việc truyền dẫn

có thể là có dây hoặc không dây Năng lượng cần cho toàn bộ nút mạng hoạt động được cung cấp bởi khối nguồn

Hình 1.2 Sơ đồ cấu trúc của nút mạng cảm biến điển hình

Ứng dụng của kỹ thuật cảm biến

1.2.2.

Kỹ thuật cảm biến đã và đang được ứng dụng rộng rãi vào rất nhiều lĩnh vực khác nhau, chẳng hạn như nông nghiệp, môi trường, y tế, v.v [52], [74], [146] như

chỉ ra ở Hình 1.3

Hình 1.3 Một số ứng dụng tiêu biểu của kỹ thuật cảm biến và kỹ thuật IVA

Trong lĩnh vực nông nghiệp, cảm biến hỗ trợ cho quá trình tự động hóa nông nghiệp, chẳng hạn như: cảm biến độ ẩm cho phép theo dõi lượng nước trong đất và

độ ẩm không khí để điều chỉnh lượng nước cho phù hợp, cảm biến nhận dạng tần số

vô tuyến RFID (Radio-Frequency IDentification) kết hợp với hệ thống định vị toàn

cầu và công nghệ sinh trắc học giúp nhận dạng tự động và truyền các thông tin về chăn nuôi theo thời gian thực, cảm biến quang cung cấp thông tin về độ xanh tốt của cây trồng [146]

Trong lĩnh vực môi trường, các mạng cảm biến môi trường ESN

(Environmental Sensor Network) giúp giám sát môi trường tự nhiên cũng như cảnh

báo các hiểm họa môi trường Các ESN được trang bị cảm biến khí tượng (như cảm biến hướng gió, tốc độ gió, nhiệt kế, độ ẩm, mưa, v.v.) có thể dự đoán thời tiết, thời gian và cường độ mưa, gió cũng như dự báo các thảm họa thiên nhiên như bão, lũ Các ESN được trang bị cảm biến độc hại (như cảm biến bụi, phát xạ, bức xạ, v.v.)

có thể đo nồng độ chất ô nhiễm môi trường như các loại khí công nghiệp độc hại, chất bức xạ, phát xạ ở các khu công nghiệp, nồng độ bụi ở thành phố [52]

Trong y tế, các mạng cảm biến cơ thể BSN (Body Sensor Network) giúp thu

thập thông tin về tình trạng sức khỏe bệnh nhân và góp phần hỗ trợ điều trị bệnh [74] Cảm biến sử dụng trong các mạng BSN gồm có ba loại cơ bản là cảm biến đeo trên người (cảm biến huyết áp, nhiệt độ, điện tim, điện não, v.v.), cảm biến trong môi trường (cảm biến hình ảnh, áp suất, âm thanh, v.v.) và cảm biến cấy ghép (ốc tai nhân tạo, võng mạc nhân tạo, v.v.) [91] Mỗi loại cảm biến phù hợp với một số ứng dụng nhất định và cũng có những ứng dụng có thể dùng nhiều loại cảm biến

khác nhau

Các vấn đề cần quan tâm khi ứng dụng kỹ thuật cảm biến vào hệ 1.2.3.

thống HMS

Gần đây, việc nghiên cứu và triển khai ứng dụng kỹ thuật cảm biến phát triển nhanh đến nỗi thập niên đầu tiên của thế kỷ 21 được mệnh danh là “thập niên cảm biến” [139] Đặc biệt, ứng dụng kỹ thuật cảm biến vào các hệ thống HMS đã mang lại những lợi ích thiết thực cho cả bệnh nhân và người chăm sóc [111] Các hệ thống HMS trên nền kỹ thuật cảm biến có những ưu điểm nổi trội như sau:

- Các cảm biến sinh học giúp thu thập nhiều thông tin liên quan đến sức khỏe bệnh nhân, chẳng hạn như các tín hiệu sinh tồn ở người (gồm huyết áp, nhịp tim, đường huyết, v.v.), từ đó giúp thuận tiện và hiệu quả hơn trong việc theo dõi sức khỏe bệnh nhân từ xa [91]

- Tập hợp số lượng nhiều cảm biến và đa dạng có thể giúp bám đuổi tất cả các chi tiết về hành vi con người bao gồm cả thông tin về cơ thể, từ đó giúp giám sát tốt các hoạt động hàng ngày để phát hiện sớm các bất thường [61], [92]

- Kỹ thuật cảm biến rất phù hợp với ứng dụng phân tích dáng đi, do các thông tin liên quan đến chuyển động của cơ thể như chuyển động của hai chân, áp lực bàn chân, các tham số dáng đi, v.v có thể được cung cấp bởi các cảm biến

đeo trên người như gia tốc kế, con quay hồi chuyển, cảm biến áp lực FSR

(Force Sensitive Resistor) [147]

- Xét một số khía cạnh khác như tính riêng tư, năng lực tính toán yêu cầu đối với máy tính, thời gian xử lý, v.v thì hệ thống HMS dựa trên kỹ thuật cảm biến tỏ ra có nhiều ưu thế [108]

Tuy nhiên, việc ứng dụng kỹ thuật cảm biến vào hệ thống HMS vẫn gặp nhiều khó khăn cần giải quyết, chẳng hạn như:

- Hầu hết các ứng dụng đòi hỏi số lượng cảm biến rất lớn, ví dụ với ứng dụng theo dõi hành vi bệnh nhân để phát hiện bất thường, thực tế cần hàng trăm cảm biến gắn vào khắp nơi như tất cả các cánh cửa trong nhà, gắn vào tất cả các đồ đạc, thiết bị mà bệnh nhân sử dụng hàng ngày [108] Nếu không đủ số lượng cảm biến thì việc nhận dạng có thể nhầm lẫn dẫn Việc vận hành và bảo dưỡng một mạng quá nhiều cảm biến như thế rất phức tạp và tốn kém

- Việc gắn nhiều cảm biến vào người gây khó khăn và phiền phức cho bệnh nhân

Điều này hiện vẫn còn là một vấn đề gây tranh cãi và chưa được số đông bệnh nhân chấp nhận [98] Đó là chưa kể thời gian gắn cảm biến lâu và vị trí gắn cảm biến cần phải thật chính xác để giảm thiểu trường hợp dự đoán nhầm cũng là những khó khăn cần phải xem xét.

- Cuối cùng, kết quả nhận dạng còn bị ảnh hưởng bởi tính bền vững của cảm biến, nghĩa là do bị sai một chức năng nào đó mà một số cảm biến không thể

tự kích hoạt bởi hành vi đã định của người dùng, hoặc ngược lại, bị kích hoạt

tự động khi có thay đổi thời tiết như sấm chớp, gió mạnh, v.v mà không có bất cứ sự tác động nào từ người dùng [108]

Kỹ thuật IVA

1.3.

Kỹ thuật IVA, gọi đầy đủ là “kỹ thuật phân tích thông minh tín hiệu video”- là một cách gọi khác của kỹ thuật dựa trên camera và là một nhánh con của kỹ thuật thị giác máy tính [129] Trong kỹ thuật IVA, tín hiệu video ghi hình đối tượng cần theo dõi sẽ được phân tích và đưa ra kết quả nhận dạng về những sự kiện gì đang xảy ra trong đoạn video đó [84], [94], [143] Từ “thông minh” ở đây nhằm nói đến khả năng “tự động hiểu” nội dung của đoạn video, trong đó từ “hiểu” mang nhiều nghĩa khác nhau tùy vào ứng dụng Ví dụ như, trong ứng dụng nhận dạng hành động thì “hiểu” có nghĩa là nhận biết đối tượng con người trong cảnh quay đang làm gì, trong ứng dụng phát hiện té ngã thì “hiểu” có nghĩa là nhận biết có sự kiện

té ngã hay không trong cảnh quay Mức độ “thông minh” nhiều hay ít thường được đánh giá định lượng dựa vào tỷ lệ nhận dạng chính xác

Cấu trúc hệ thống sử dụng kỹ thuật IVA

1.3.1.

Trong phạm vi nghiên cứu của luận án, chỉ tập trung xét kỹ thuật IVA ứng dụng trong hệ thống nhận dạng hành động, trong đó thuật ngữ “hành động” bao

gồm hành động “té ngã”, hành động “đi bộ” và các hành động thông thường khác

Một hệ thống nhận dạng hành động dựa vào kỹ thuật IVA điển hình gồm hai

bước xử lý chính là trích đặc trưng và nhận dạng hành động như trình bày trên

Hình 1.4 [7], [62], [137]

Nhiệm vụ chính của bước trích đặc trưng là chọn và trích các thành phần

đặc trưng của đối tượng từ tín hiệu video vào theo từng khung Tập các đặc trưng này phải được lựa chọn sao cho chúng chứa đựng các thông tin phù hợp nhất về đối

Hình 1.4 Sơ đồ cấu trúc hệ thống sử dụng kỹ thuật IVA điển hình

tượng quan tâm (ở đây là con người) để khối nhận dạng sau đó có thể thực hiện công việc nhận dạng với độ chính xác đủ tốt mà không cần phải dùng toàn bộ khung

hình đầu vào Quá trình trích đặc trưng thường gồm hai bước: trước tiên bước phân

vùng đối tượng thực hiện trích đối tượng ra khỏi phần còn lại của khung hình, sau

đó đối tượng được biến đổi thành một tập hợp các đặc trưng chứa trong một vector

đặc trưng thông qua bước mô tả đặc trưng

Nhận dạng hành động chính là dựa vào các thuật toán học máy (machine

learning) để nhận biết đối tượng quan tâm đang làm gì Để thực hiện nhiệm vụ này, chuỗi vector đặc trưng trích được từ tín hiệu video kiểm tra được so sánh với chuỗi

vector đặc trưng trích từ các đoạn video huấn luyện (gọi là vector huấn luyện) để

đưa ra kết luận về hành động quan sát được Nói cách khác, nhận dạng hành động chính là xác định xem chuỗi vector đặc trưng trích được mô tả tốt nhất hành động nào trong số các hành động mà trước đó đã huấn luyện cho hệ thống

Từ đây suy ra, để đạt được hệ thống nhận dạng hành động tốt, cần phải xây dựng được một bộ mô tả đặc trưng tốt, một thuật toán nhận dạng tốt và một tập dữ liệu huấn luyện phù hợp Đặc trưng tốt phải bất biến đối với các biến đổi thất thường của dữ liệu vào trong khi phải duy trì được các thông tin hữu ích Đối với dữ liệu video vào phức tạp, có độ dư lớn và thay đổi nhanh thì việc chọn thủ công được các đặc trưng như thế (gọi là hand-crafted features) rất khó khăn, đòi hỏi tải công việc rất lớn và kiến thức chuyên gia rất sâu Ngoài ra, đặc trưng hand-crafted thường không có tính khái quát hóa cao Những khó khăn này thúc đẩy một nhánh

nghiên cứu mới ra đời, đó là tự động học các đặc trưng của dữ liệu theo cách học

sâu (deep learning)

Để thực hiện nhận dạng theo cách tiếp cận học sâu, có thể dùng mạng neural

tích chập CNN (Convolutional Neural Network) với nhiều tầng xử lý, mỗi tầng bao

gồm bộ lọc tuyến tính, các khâu phi tuyến và các phép lấy mẫu để học các đặc trưng một cách tự động [78] Nghiên cứu ứng dụng CNN vào thị giác máy tính đã bước đầu thành công trong việc phân loại tập 1.2 triệu bức ảnh thành 1000 loại khác nhau [70] Tiếp đó, các ứng dụng học sâu vào nhận dạng hành động từ video tiếp tục được công bố, đã chứng tỏ được ưu thế về tỷ lệ nhận dạng chính xác so với cách tiếp cận truyền thống [37], [135] Tuy nhiên, cách tiếp cận mới theo phương pháp học sâu đòi hỏi khối lượng dữ liệu huấn luyện rất lớn, thời gian huấn luyện lâu, tài nguyên lớn (cần hỗ trợ của GPU) để học một lượng cực lớn các tham số của mạng (ví dụ như cần 60 triệu tham số, 650 000 nơ-ron, 5 lớp chập [70]) Ngoài ra, số lượng tham số, số lượng lớp tối ưu, v.v vẫn chưa được nghiên cứu chặt chẽ Vì thế, trong giai đoạn hiện nay, phương pháp truyền thống vẫn mang nhiều ý nghĩa và vẫn được tiếp tục quan tâm nghiên cứu

Ứng dụng của kỹ thuật IVA

1.3.2.

Nghiên cứu về kỹ thuật IVA nhận dạng hành động phát triển rất mạnh trong những năm gần đây, với hàng loạt ứng dụng đa dạng trong nhiều lĩnh vực khác nhau

của đời sống [103] Hình 1.3 nêu một số ứng dụng nổi bật nhất của kỹ thuật IVA,

đó là ứng dụng trong lĩnh vực an ninh, giải trí và y tế

Trong an ninh, việc ứng dụng kỹ thuật IVA vào các hệ thống giám sát giúp tự động phát hiện hành vi phạm tội hoặc nghi ngờ, từ đó giúp giảm tải công việc cho nhân viên an ninh [55] Các hành vi nghi ngờ có thể xảy ra ở các trạm giao thông công cộng như bỏ quên hành lý, đánh cắp hành lý, ngất xỉu, lảng vảng [34], ở nơi đông người như đi vào vùng cấm, chạy nhảy quá khích, đi ngược dòng người [16]

và các hành động bạo lực như đấm, đá [121] Ngoài ra, kỹ thuật IVA còn được ứng dụng giám sát tự động tại hồ bơi nhằm hỗ trợ phát hiện tai nạn đuối nước để kêu cứu kịp thời, giúp đảm bảo an toàn cho khách đi bơi [122]

Trong giải trí, kỹ thuật IVA có thể nhận dạng các hoạt động giải trí như thể thao [144], khiêu vũ [122], chơi game [66] Hệ thống [144] có thể phân biệt tự động

6 kiểu đánh tennis khác nhau trong đoạn video đánh tennis Hệ thống [122] có thể phát hiện động tác xoay người của diễn viên trong cảnh múa ballet di chuyển rất

nhanh Trong số các hoạt động giải trí mà kỹ thuật IVA hỗ trợ thì chơi game là phổ biến nhất Ví dụ trong game [66], một avatar 3D được tạo ra theo thời gian thực và chuyển động bám theo chuyển động của người chơi, dựa vào việc ước lượng tư thế 3D của người chơi

Trong y tế, ứng dụng của kỹ thuật IVA rất đa dạng và dành cho nhiều đối tượng khác nhau, trong đó phần quan tâm của luận án chính là ứng dụng IVA vào

hệ thống HMS, phục vụ đối tượng người cao tuổi sống tại nhà một mình nhằm phát hiện các bất thường sức khỏe

Một số nghiên cứu gần đây về ứng dụng IVA vào hệ thống HMS 1.3.3.

Có thể chia các ứng dụng IVA hỗ trợ hệ thống HMS thành 4 nhóm ứng dụng

chính: giám sát hoạt động hàng ngày ADL (Activities of Daily Living), phát hiện tai

nạn té ngã, phân tích dáng đi và hỗ trợ phục hồi chức năng

1.3.3.1 Giám sát các hoạt động hàng ngày ADL

Hoạt động hàng ngày ADL là một thuật ngữ đề xuất lần đầu bởi Sidney Katz

và cộng sự ở bệnh viện Benjamin Rose Hospital ở Cleveland, OH, Hoa Kỳ [83] để chỉ các hoạt động tự chăm sóc bản thân như ăn uống, tắm rửa, uống thuốc, v.v Ứng dụng nhận dạng ADL thường hướng đến mục tiêu cung cấp cho người cao tuổi (và người khuyết tật) cơ hội sống độc lập và an toàn tại nhà một mình Để đạt được mục tiêu này, hầu hết hệ thống HMS thực hiện ghi hình người cao tuổi tại nhà, dùng kỹ thuật IVA để tự động nhận dạng các hành động hàng ngày, từ đó phát hiện các thay đổi bất thường trong hành động như là suy giảm chức năng vận động, tâm thần kinh, hay thậm chí những dấu hiệu nguy hiểm hơn như là đột quỵ Sau đây là một

số ví dụ về ứng dụng IVA giám sát các hoạt động hàng ngày:

- Lee và cộng sự thực hiện tự động giám sát hoạt động hô hấp của bệnh nhân trong khi ngủ, bằng cách đặt camera gần người rồi dùng kỹ thuật IVA để đo sự chuyển động lên xuống theo chu kỳ của ngực hoặc bụng, từ đó phát hiện hội chứng ngưng thở khi ngủ, bệnh tim mạch và đột quỵ [72]

- Gao và cộng sự tiến hành đánh giá mức độ khó khăn trong ăn uống của bệnh nhân mất trí nặng, bằng cách dùng camera ghi lại hoạt động ăn uống rồi dùng

kỹ thuật IVA để tự động đếm số lần chuyển động của tay từ đĩa thức ăn vào miệng và ngược lại [46]

- Huynh và cộng sự đã đề xuất phương pháp phát hiện và bám đuổi mặt, miệng,

tay và chai thuốc trong kịch bản “uống thuốc”, nhằm giám sát để tránh tình

trạng bệnh nhân dùng thuốc không đúng cách [58]

- Để hiểu hành động ở mức độ cao hơn về mặt ngữ nghĩa, một số nghiên cứu còn xét thêm yếu tố “khoảng thời gian thực hiện hành động”: thời gian thực hiện một hành động nào đó quá lâu có thể xem là dấu hiệu của sự suy giảm chức năng vận động [31], [125]

- Cùng với thời gian, một số nghiên cứu còn xem xét thêm yếu tố “vị trí” để bổ sung cho ý nghĩa của hành động Ví dụ, trong nghiên cứu [31], Duong và cộng

sự thực hiện nhận dạng hoạt động “chuẩn bị bữa ăn”trong nhà bếp dựa vào

bám đuổi đối tượng tại các khu vực đã định trong bếp và mô hình “chuẩn bị bữa ăn” gồm 12 bước Hoặc trong một nghiên cứu gần đây, Le và Tran đã kết hợp vị trí của đối tượng và các mẫu chuyển động để xây dựng nên hệ thống giám sát các đối tượng như người cao tuổi tại nhà, nhằm phát hiện các sự kiện bất thường như: (1) té ngã, (2) nằm bất động trên sàn, (3), ở trong nhà vệ sinh quá lâu và (4) đi ra ngoài quá lâu [77]

1.3.3.2 Phát hiện tai nạn té ngã

Phát hiện té ngã là ứng dụng được quan tâm hàng đầu trong các ứng dụng phát hiện bất thường sức khỏe người cao tuổi, vì các hậu quả nặng nề do té ngã gây ra nếu không được cấp cứu kịp thời [137] Hiện nay có rất nhiều phương pháp phát hiện té ngã dựa vào IVA đã được nghiên cứu và triển khai, chẳng hạn như:

- Các phương pháp của Foroughi và cộng sự dựa trên đặc trưng hình dạng để phát hiện té ngã, như kết hợp hình elip bao quanh cơ thể, hình chiếu của

histogram lên hai trục và sự thay đổi vị trí của đầu [38], [40], hoặc dùng ảnh

chuyển động tích hợp ITMI (Integrated Time Motion Images) [39], [41]

- Phương pháp của Miaou và cộng sự xét thêm yếu tố cá nhân, bằng cách dựa

vào chỉ số khối lượng cơ thể BMI (Body Mass Index) của từng đối tượng để

đưa ra mức ngưỡng, sau đó tính tỷ lệ giữa chiều cao và chiều rộng của đối tượng theo từng khung hình rồi so sánh với ngưỡng để đưa ra quyết định [89]

- Cucchiara và cộng sự tính hình chiếu của histogram của từng khung rồi so sánh với các histogram của các tư thế đã huấn luyện để nhận dạng tư thế của đối

tượng Dựa vào tư thế nhận dạng hệ thống sẽ đưa ra kết luận [28]

- Nguyen và cộng sự phát hiện té ngã dựa trên phân tích các đặc trưng hướng chuyển động, cường độ chuyển động và sự thay đổi hình dạng con người trong khi té ngã [97] Té ngã được dự đoán dựa vào sự thay đổi giá trị của các đặc trưng kể từ thời điểm xuất hiện chuyển động nhanh bất thường cho đến khi không còn chuyển động nữa

- Phương pháp của Liao vào cộng sự phân tích dáng đi từ các đoạn video với hai góc quay là trực diện và bên hông [82] Các đặc trưng trích từ ảnh đối tượng gồm có đường nối trọng tâm cơ thể với điểm giữa cổ, đường nối điểm giữa đầu với điểm giữa cổ và góc tạo bởi hai đường này được dùng để đánh giá tư thế của phần thân trên, trọng tâm và bề rộng cơ thể được sử dụng để đánh giá tư thế của phần thân dưới

- Tương tự, phương pháp của Leu và cộng sự cũng dùng hai camera và thêm phần điều khiển phản hồi ở giai đoạn phân vùng đối tượng để trích chính xác hơn các đặc trưng liên quan đến dáng đi như góc nghiêng của cơ thể, góc gập của đùi so với thân, góc gập ở gối [80]

- Khác với phương pháp [80], [82], Li và cộng sự đề xuất lắp hai camera ở vị trí bất kỳ miễn sao chúng vuông góc với nhau, còn đối tượng quan sát có thể đi theo hướng tùy ý [81] Phương pháp [81] đã trích được các đặc trưng quan trọng của dáng đi như trọng tâm và chiều dài bước chân

- Để tránh dùng nhiều camera, một hướng nghiên cứu gần đây là sử dụng camera 3D như Microsoft Kinect để phân tích dáng đi Đây là loại camera cho kết quả gồm ảnh màu 2D như camera thông thường cộng thêm xám ảnh thể hiện chiều sâu của cảnh quay Một số công trình trong nhánh nghiên cứu này như là công trình của Auvinet và cộng sự [13], Nguyen và cộng sự [96] v.v

1.3.3.4 Hỗ trợ phục hồi chức năng

Các hệ thống phục hồi chức năng truyền thống thường yêu cầu bệnh nhân phải thường xuyên đến bệnh viện để bác sĩ khám, ra bài tập vật lý trị liệu, hướng dẫn tập, đánh giá định kỳ, v.v cho đến khi chức năng vận động được hồi phục Để tránh bớt những lần thăm khám và đánh giá như vậy, các hệ thống phục hồi chức năng tiên tiến dựa trên kỹ thuật IVA đã được đề xuất nhằm giúp bệnh nhân có thể tự tập tại nhà Ví dụ một vài hệ thống hỗ trợ phục hồi chức năng như sau:

- Trong hệ thống do Ryuichi và cộng sự đề xuất, các động tác thể dục của bệnh nhân tại nhà được ghi hình rồi tự động gởi đến trung tâm phân tích [117] Tại trung tâm, các đoạn video được phân tích bán tự động để tính toán ra các thông số thể dục, từ đó giúp chuyên gia y tế đánh giá khách quan sự cải thiện chức năng vận động của bệnh nhân

- Hệ thống do Ghali và cộng sự thiết kế có khả năng giám sát hoạt động “pha cà

phê” rồi đưa ra các phản hồi cho bệnh nhân đột quỵ [47] Khi bệnh nhân thực

hiện “pha cà phê”, camera gắn phía trên bệnh nhân sẽ quay vị trí và chuyển động của tay cũng như các dụng cụ sử dụng Các hành động chính trong hoạt

động “pha cà phê” chẳng hạn như cầm tách lên, rót nước từ ấm vào tách, v.v

được giám sát và nhận dạng bằng phương pháp dựa trên histogram

Các vấn đề cần quan tâm khi ứng dụng IVA vào hệ thống HMS

1.3.4.

IVA đã đạt được những thành tựu đáng khích lệ và được áp dụng rộng rãi trong hệ thống HMS Các ưu điểm vượt trội do ứng dụng kỹ thuật IVA mang lại có thể kể ra như sau [108]:

- Camera có thể quan sát, thu thập các thông tin hình ảnh trong một khu vực rất rộng, vì thế có thể sử dụng một camera đơn thay cho một số lượng cảm biến rất lớn Ngoài ra, trong điều kiện ánh sáng môi trường bình thường thì dữ liệu video thu được là tin cậy Hiện trên thị trường đã có một số loại camera ví dụ như DCS-942L có thể hoạt động cả trong điều kiện ban đêm [30]

- Kỹ thuật IVA tạo sự thoải mái và thuận tiện cho người sử dụng do không yêu cầu bệnh nhân phải gắn cảm biến trên người như với kỹ thuật cảm biến

- Vì số lượng camera giám sát trong một hệ thống HMS rất ít (so với cảm biến) nên vấn đề lắp đặt, vận hành, bảo dưỡng đơn giản Bên cạnh đó, công nghệ

sản xuất camera ngày càng phát triển nên làm tăng hiệu quả kinh tế cho các hệ thống sử dụng camera

Tuy nhiên, để ứng dụng thành công kỹ thuật IVA vào thực tế nói chung và vào

hệ thống HMS nói riêng, các nhà nghiên cứu hiện vẫn phải đối mặt với một số thách thức kỹ thuật như:

- Vấn đề góc quay của camera có thể xem là thách thức chính đối với hệ thống

sử dụng kỹ thuật IVA [7], [65] Trong thực tế, đối tượng chuyển động thường được quan sát từ các góc quay tùy ý của camera nên các ứng dụng đòi hỏi phải độc lập đối với góc quay Tuy nhiên hiện nay, hầu hết các hệ thống sử dụng một camera vẫn còn bị ràng buộc về góc quay, chẳng hạn góc quay phải theo hướng trực diện hoặc bên hông Để giải quyết vấn đề góc quay, một số tác giả, trong quá trình huấn luyện đã sử dụng nhiều camera để quay các hành động từ các góc quay khác nhau, sau đó kết hợp chúng lại với nhau tạo thành dữ liệu huấn luyện nhiều góc quay [7] Tuy nhiên, việc làm này không thuận tiện và tốn kém Sử dụng camera 3D như Microsoft Kinect là hướng nghiên cứu mới

và triển vọng [13], [132]

- Hầu hết các thuật toán phân vùng đối tượng dựa trên phương pháp trừ nền, là phương pháp yêu cầu phải có một mô hình nền tin cậy [33], [127], [141] Tuy nhiên trong thực tế, các hình nền thường phức tạp và hay thay đổi, ví dụ thay đổi về độ sáng tối (ban ngày, ban đêm, ngày nắng, ngày âm u, v.v.), màn cửa

bị rung, v.v Ngoài ra sự chiếu sáng của các nguồn sáng nhân tạo còn tạo ra bóng đổ, làm ảnh hưởng đến kết quả trừ nền và dẫn đến giảm tỷ lệ nhận dạng đúng [27] Như vậy cần giải quyết một loạt các vấn đề liên quan đến phân vùng đối tượng như: giảm chi phí tính toán nhằm phân đoạn đối tượng thời gian thực, xử lý nền động và phức tạp, xử lý trường hợp đối tượng bị lẫn vào nền (do đứng yên tạm thời, do quần áo trùng với nền), xử lývấn đề che khuất giữa các bộ phận cơ thể và giữa người với đồ đạc trong phòng, v.v

- Khi bước đi trên các bề mặt khác nhau (bằng phẳng, dốc, leo cầu thang, v.v.), khi mặc các loại quần áo khác nhau (áo khoác, váy, đầm, v.v.), khi mang các loại giày dép khác nhau (tất, dép, sandal, v.v.) thì vẻ bề ngoài của đối tượng sẽ thay đổi khác nhau Ngoài ra, vẻ bề ngoài của hành động cũng thay đổi rất đa dạng, tùy vào người thực hiện, thời điểm thực hiện, tâm trạng người thực hiện

Như vậy, vấn đề đặt ra là phải tìm cách mô tả hành động sao cho ít nhạy với

vẻ bên ngoài nhất nhưng vẫn chứa đựng những đặc trưng hữu hiệu nhất và duy nhất của mỗi hành động [68], [93]

Tóm lại, kỹ thuật cảm biến hoặc kỹ thuật IVA khi ứng dụng vào hệ thống HMS đều có những điểm mạnh và hạn chế riêng Vì thế, một xu hướng gần đây là

kết hợp hai kỹ thuật cảm biến và IVA như chỉ ra trên Hình 1.3, nhằm đạt được mục

tiêu cuối cùng là phát hiện sớm và chính xác các bất thường sức khỏe Ví dụ một nghiên cứu thuộc nhánh này là công trình của Tran và cộng sự [131] Hệ thống sử dụng kết hợp hai nguồn thông tin hình ảnh và âm thanh thu từ camera và cảm biến

âm thanh (microphone) để phát hiện nhiều hành vi bất thường hơn so với chỉ dùng camera Sáu hành vi bất thường gồm: (1) té ngã, (2) nằm bất động trên sàn, (3) ở quá lâu trong nhà vệ sinh, (4) ra ngoài quá lâu, (5) tiếng kêu bất thường (la, hét) và (6) tiếng động bất thường (tiếng đổ vỡ, tiếng té ngã) đã được phát hiện với độ nhạy rất cao và tỷ lệ cảnh báo nhầm rất thấp

Trong phạm vi luận án, kỹ thuật hỗ trợ cho hệ thống HMS được chọn dùng là

kỹ thuật IVA Để thuận tiện hơn, từ nay trở đi thuật ngữ được thống nhất như sau:

- Thuật ngữ “hệ thống HMS” là muốn nói đến hệ thống HMS được thực hiện

dựa trên kỹ thuật IVA

- Thuật ngữ “hệ thống IVA” hoặc “hệ thống trên nền IVA” mang nghĩa là hệ

thống nhận dạng hành động sử dụng kỹ thuật IVA theo cách tiếp cận truyền

thống như sơ đồ cấu trúc ở Hình 1.4

Quá trình trích đặc trưng trong hệ thống IVA

1.4.

Như đã trình bày trong mục 1.3.1, quá trình trích đặc trưng trong hệ thống

IVA tương đương với biến đổi mỗi khung video thành một vector đặc trưng đa chiều để cung cấp cho khối nhận dạng tiếp theo sau Trong phạm vi luận án thì nhận dạng chính là nhận biết đối tượng con người trong cảnh quay đang thực hiện hành động gì trong các hành động quan tâm Do vậy để nhận dạng chính xác, các đặc trưng cần phải chứa đựng được những đặc điểm hữu hiệu nhất và nổi bật nhất của mỗi hành động, bất kể hành động đó được thực hiện bởi ai, thực hiện như thế nào, vào lúc nào và ở góc quay nào

Về lý thuyết thì có thể dùng nguyên cả khung ảnh gốc cho nhận dạng nhưng

chúng chứa nhiều nhiễu và độ dư lớn (vì bao gồm cả phần không chứa đối tượng) Nếu chọn được đặc trưng tốt thì dựa vào đó, hệ thống có thể thực hiện nhận dạng thành công với tỷ lệ mong muốn mà không cần dùng toàn bộ khung ảnh vào

Quá trình trích đặc trưng có thể được phân thành hai bước xử lý chính là phân

vùng đối tượng và mô tả đặc trưng (hay biểu diễn đặc trưng)

Phân vùng đối tượng

1.4.1.

Từ một đoạn video, đối tượng được trích ra khỏi nền bằng các thuật toán phát

hiện và phân vùng đối tượng dựa vào sai khác giữa hai khung liên tiếp [27], [56] hay trừ nền [33], [54], [127], [141] Kết quả của bước phân vùng đối tượng là một

ảnh mặt nạ (silhouette) dạng nhị phân của đối tượng, với các điểm màu trắng là

thuộc đối tượng và điểm màu đen là thuộc nền như thể hiện trên Hình 1.5

Đối với camera tĩnh thì trừ nền là phương pháp phân vùng đối tượng phù hợp

vì kỹ thuật ước lượng nền và cập nhật nền rất phát triển trong những năm gần đây

Hình 1.5 Ví dụ về ảnh gốc và ảnh mặt nạ của đối tượng

Khung hình nền là phần trong khung hình chỉ bao gồm cảnh nền tĩnh và không

có đối tượng chuyển động Giả sử tất cả các thay đổi trong khung hình đều là do đối tượng chuyển động gây ra Nguyên lý cơ bản của trừ nền là trừ khung hình hiện tại cho khung hình nền (còn gọi là mô hình nền), sau đó cắt ngưỡng biên độ và có thể thực hiện hậu xử lý Mô hình nền được xây dựng từ nhiều khung hình không có đối tượng chuyển động và được ước lượng bằng các thuật toán như thuật toán dùng giá trị trung bình của các phân bố Gauss của Wren và cộng sự [141], dùng bộ lọc trung

vị của Cucchiara và cộng sự [27], dùng mô hình màu của Thanarat Horprasert và