Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

Xácđịnhdữliệuvàocủabộmôtảđặctrưng3DGRF Dữ liệu vào là tọa độ 3D của các điểm trên cơ thể Hình 2.3, đượcướclượng dựa vàovậtđánh dấumarkerhoặctín hiệu video.. Tínhtoánvectorđặctrưng3DGRF X

BỘGIÁOD C VÀ ỤC VÀ ĐÀOT O ẠO

Đ I ẠI H CĐÀN NG ỌCĐÀNẴNG ẴNG

-HOÀNGLÊ UYÊN THỤC

PHÂNTÍCHTHÔNGMINHTÍNHI UVIDEO ỆUVIDEO HỖ

TR CHOH TH NG Ợ CHOHỆ THỐNG ỆUVIDEO ỐNG

Côngtrìnhđ ược hoànthành t i: c ại:

TR ƯỜNG NG Đ I ẠI H C ỌCĐÀNẴNG BÁCHKHOA-Đ IH C ẠI ỌCĐÀNẴNG ĐÀN NG ẴNG

Ng ười h i ướng d nkhoah c: ng ẫnkhoahọc: ọc:

1) GS.TS.Jenq-NengHwang 2) PGS.TS.Ph m ạm VănTu n ấn

Ph n ản bi n ện 1: ………

Ph n ản bi n2: ện ………

Ph n ản bi n ện 3: ………

Lu n án sẽ đ ận án sẽ được bảo vệ trước Hội đồng chấm luận án ược c b o v tr ản ện ướng c H i đ ng ch m lu n án ội đồng chấm luận án ồng chấm luận án ấm luận án ận án sẽ được bảo vệ trước Hội đồng chấm luận án

c p ấm luận án Tr ng ười h p ọc: t i:Đ ih cĐà N ng ại: ại: ọc: ẵng

Vàoh i ồng chấm luận án … gi ời ngày tháng………năm……….

Cóthểtìmhi u ể lu n ận án t i: ạm

- Thưvi n ện Qu cgia ố: 62 48 01 01

- TrungtâmThôngtin– H c ọc: li u, ện Đ i ại: h c ọc: ĐàN ng ẵng

MỞĐẦU

1 Đặtvấnđề

Già hóa dân số là một trong các xu hướng đang diễn ra trên tất cả cáckhu vực

và quốc gia trên thế giới, trong đó có nước ta Mặt trái của giàhóa là các bệnh tật liên quan đến tuổi tácxuất hiện ngày càng nhiều Dođó, một yêu cầu cấp bách đặt ra là cần phải tìmcác biện pháp phát hiệnsớm các chứng bệnh nóitrên nhằm can thiệp y khoakịp thời

Hiện nay, hướng nghiên cứu vềhệ thống giám sát chăm sóc sức

khỏeHMS(HealthcareMonitoringSystem) dùngkỹ thuật phân tích thôngminhtínhiệuvideoIVA( IntelligentVideoAnalytics)đangnhậnđ

ư ợcrất nhiều sự quan tâm và đã đạt nhiều thành tựu đáng khích lệ Tuynhiên, IVA vẫn đang đốimặt với một số thách thức chính như vấn đềgócquay,che khuất,phânvùng đốitượng,môtả hành động,v.v

Xuất phát từ tình hình trên, bài toán“Phân tích thông minh tín

hiệuvideo hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe ”được chọn

- Sửdụngmộtcamera2Dgắncốđịnh,môitrườngquaytrongnhà,nềntĩnh,trongcảnhquaychỉ cómột người

- Cáckịchbản:

(1)ngườithamgiađangthựchiệncáchoạtđộngthôngthườngthìbịté,hoặc(2)đibộvớicáckiểudángđibệnhlýkhácnhau,

- Chương2trìnhbàycấutrúccáchệthốngHMStrênnềnIVAđềxuất,các tínhtoáncho cáckhâutronghệ thống.

- Chương3trìnhbàykếtquảthựcnghiệmđánhgiáhệthốngHMSứngdụngpháthiệnténgãvàdựđoánnguycơténgãdodángđibấtthường

-Chương 4trình bày kếtquả thực nghiệm đánh giá hệthống HMStrong

ứngdụngpháthiệnhànhđộngbấtthường

- Kếtluận.

4 Đónggópchínhcủaluậnán

Đónggópvềmặtkhoahọc:

- Hệ thống hóa các nghiên cứu mới về kỹ thuật IVA, đặc biệt tập

trungvàoIVAứng dụng hỗ trợcho HMS (công trình [1],[2],[6])

- Hệthốngpháthiệnténgãthựctế(côngtrình[9]).

- Hệthốngpháthiệndángđibấtthường(côngtrình[10],[12]).

- Hệthốngnhậndạnghànhđộng(côngtrình[4],[7],[8]).

- Hệthốngpháthiệnhànhđộngbấtthường(côngtrình[11]).

Ch ương ng 1:NGHIÊNC UT NG ỨC ỔNG QUAN

1.1.1 ỨngdụngcủahệthốngHMS

1.1.2 CấutrúccủahệthốngHMS

MộthệthốngHMStốithiểucóbathànhphầnchínhnhưtrênHình

1.1 Dữ liệu thu nhận có thể dựa vào cảm biến hoặc camera

(cameracũng là mộtloại cảmbiến nhưng là cảmbiến 2 chiều)

Sốlượngcảmbiếnlớndẫnđếnvậnhànhbảodưỡngmạngphứctạp,việc gắn cảmbiếngâykhó khănvàphiền phứccho bệnh nhân, v.v

1.3 KỹthuậtIVA

Tín hiệu video ghi hình đối tượng quan tâm được phân tích và đưa rakết quả lànhững sự kiện gì đang xảy ra trong đoạn video đó Mức độ“thôngminh”được địnhlượngdựa vàotỷlệnhậndạng chínhxác

1.3.3.1 Giáms á t c á c h o ạ t đ ộ n g h à n g n g à y A D L ( Activitieso f D ai lyLiving)

1.4.1 Phânvùngđốitượng

Nhìn chung,đặc trưng số thựccho kết quả nhận dạng tốt nhưng vìchủ yếu

dựa trên thông tin 2D nên nhạy với nhiễu, với sự che khuất vàphụthuộcvàogócquaycủacamera

Đặct r ư n gs ốn h ị phân đ ư ợ c t í nh t ừ t ọa đ ộ 3 D g ồ m c ả ch i ều s âu nê n khắcph

ụcđượccáckhuyết điểmcủađặctrưngs ố t h ự c ,

n h ư n g d o c h ỉ dùngsố0và1nênkhôngđủmềmdẻođểmôtảcáchànhđộngphứctạp

1.5 QuátrìnhnhậndạnghànhđộngtronghệthốngIVA

Bướcnàychínhlàxácđịnhxemchuỗivectorđặctrưngtríchđượcmôtảđúngnhấtchohànhđộngnàotrongsốcáchànhđộngđãhuấnluyện

1.5.1 Nhậndạngtĩnh

Không quan tâm đến thông tin thời gian trong tín hiệu mà thực hiệndựa

vào cáckhung trọng yếu Tiêu biểu là phương

phápK-NN(K-NearestNeighbor)vàSVM(SupportVectorMachine).

1.5.2 Nhậndạngđộng

1StauffervàGrimson (1999)

2MeinardMullervàcộng sự (2005)

ạ n video kiểm tra, để đo khả năng mô hình đó sinh ra chuỗi vector đó Tiêubiểu làmô

1.6.1.2 Bàitoándựđoánnguycơténgã

Yêucầupháthiệndángđibấtthườngtừđoạnv i d e o g h i h ì n h đ ố i tượngq u a n t

â m s ố n g m ộ t m ì n h t ạ i n h à v à đ i b ộ t h e o đ ư ờ n g t h ẳ n g v ớ i góc

quaybênhông Kết quả phát hiệndángđ i b ấ t t h ư ờ n g c ó t h ể h ỗ t r ợ cho

dự đoán nguy cơ té ngã, vì dáng đi bất thường là một trong các yếutốnguycơgâyraténgã

1.6.1.3 Bàitoándựđoánchứngrốiloạnnhậnthức

Yêu cầu phát hiện hành động bất thường từ đoạn video ghi hìnhđốitượngquantâmsốngmộtmìnhtạinhàvàđangthựchiệnmộthànhđộngnào đó với góc

quay tùy ý Kết quả được dùng để hỗ trợ dự đoán chứngrối loạn nhận thức nhẹ

MCI(MildCognitiveImpairment), vì nghiêncứu cho thấy chứng MCI có gây

1.6.2.3 NhậndạnghànhđộngtronghệthốngHMSđềxuất

Từ các phân tích ở mục1.5.3, mô hình HMM được chọn dùng trongcác hệ

thống HMS đề xuất, vì lý do: (1) không phụ thuộc tốc độ thựchiệnhànhđộng,(2)chokếtquảnhậndạngtốt,(3)cóthểmởrộngHMMchuẩn nhằmphụcvụnhữngmụcđích đặcbiệt

1.7 Kếtluậnchương1

Đóng góp chính của chương là phân tích, đánh giá ưu khuyết điểmcủa cácnghiên cứu về IVA Đây là cơ sở để định hướng các vấn đềnghiêncứutiếptheotrongluậnán

2.1 PhânvùngđốitượngtheophươngpháptrừnềnGMM

Nguyên lý phân vùng đối tượng là so sánh khung hình hiện tại vớimô hìnhnền, qua đó phân chia khung hình thành vùng chứa đốitượngchuyểnđ ộ n g v à v ù n g n ề n M ô h ì n h n ề n đ ư ợ c x â y d ự n g d ự a t r ê n m

ô hìnhGMMchotừngđiểmảnhvàliêntụcđượccậpnhậttheothờigian

Sau đó, áp dụng các phép hình thái toán học để làm mịn đường biênvà lấpđầy các lỗ nhỏ bên trong vùng chứa đối tượng nhằm tạo nên mộtảnh mặt nạhoànhảo dùng chocác bước xửlý tiếp theo

Bước 3:Tính đặc trưng tốc độ chuyển động để biết tốc độ chuyển độngnhanh hay chậm của đối tượng, dựa vàoảnh lịch sử chuyển động

MHI(MotionHistoryImage)được xây dựng từ15 khung liên tiếp.

Vì kết quả tính các giá trị của moment Hu rất bé nên áp dụng phéplogarit

để chuyển các vector đặc trưng ở rất gần nhau trong khônggiangốcsangkhônggianmới,ởđóchúngcáchnhauđủxađểdễxửlýhơn

là mô tả quan hệ hình học giữa các điểm quan tâm trên cơ thể, nhưngdùng sốthực có dấu thay cho số 0/1, nhằm khai thác các ưu điểm và

hạnchếkhuyếtđiểm củađặctrưngnhịphânnhưđãphântíchở1.4.3.

2.4.2 Xácđịnhdữliệuvàocủabộmôtảđặctrưng3DGRF

Dữ liệu vào là tọa độ 3D của các điểm trên cơ thể (Hình 2.3),

đượcướclượng dựa vàovậtđánh dấu(marker)hoặctín hiệu video.

Hình2.3.Môhìnhcơthể

(a)Ảnh gốc,(b)Mô hình 13điểm,(c)Mô hình 3D

Phương pháp dựa vào marker chính xác nhưng chi phí cao và phứctạp.Phương pháp dựa vào tín hiệu video có giá thành rẻ hơn và thựchiện đơn

giản hơn Qua tìm hiểu,phương pháp5được chọn dùng dosaikhácướclượngtốtnhấtsovớicácphươngphápdựavàovideokhác

2.4.3 Tínhtoánvectorđặctrưng3DGRF

Xét 6 hành động “đánh bốc”, “vẫy tay”, “chạy chậm”, “đi bộ”,

“đá”,“ném” có sẵn trong các cơ sở dữ liệu công cộng Phân tích các cử

động củacơ thể khi thực hiện6hành độngnày, cóthể đề xuấtBảng 2.1môtả

GRF

2.4.3.1 Tínhđặctrưngkhoảngcách

Đặc trưng khoảng cách là khoảng cách có dấu giữa các bộ phậnquantâmtrongcơthểvàcóthayđổirõrệttrongkhithựchiệnhànhđộng

Đặc trưng1Alà khoảng cách có dấu giữa điểm quan tâm vớimặtphẳng

đứng(coronal plane), dấu +/- chỉ ra điểm quan tâm ở

trước/sauthân.Mặtphẳngđứngxácđịnhbởi3điểm {p 1 ,p 2 ,p 3}lầnlượtlà{Hông

5Shian-Ru

Kevàcộngsự(2011)

trái, Hông phải, Vai phải}, {Hông trái, Hông phải, Vai trái}, {Vai trái,Vai

phải, Hông phải}, và {Vai trái, Vai phải, Hông trái}; điểm quan tâmp 4 lần lượt là Tay phải, Tay trái, Chân phải, Chân trái tương ứng với

đặctrưngF1 ,F 2 ,F 3 ,F 4 Vậy tính đặc trưng 1A chính là tính khoảng cách

Trong trường hợp hành động cần nhận dạng gồm “xem giờ”,

“vòngtay”, “gãi đầu”, “ngồi xuống”, “đứng dậy”, “xoay người”, “đi bộ”,

“vẫytay”, “đấm”, “đá” và “nhặt đồ”, đặc trưng 3D GRF nên được cải

tiến đểmô tả hành động hữu hiệu hơn GRF cải tiến gồm 15 đặc trưng:giữ lại 8đặctrưnggốc,thaythế2 đặctrưnggốcvàbổsung 5đặctrưngmới

2.5 NhậndạnghànhđộngdựatrênmôhìnhHMM

2.5.1 GiớithiệumôhìnhHMM

Một mô hình HMM được xác định bởi tậpλ= {A,B,π} và giá trịN,M;vớiAlàmatrậnchuyểntiếp,Blàmatrậnquansát,πlàxácsuấttrạngtháikhởiđầu,Nl

àsốtrạngtháiẩnvàMlàsốkýhiệuquansát.

Có nhiều loại mô hình HMM, trong đó loại HMM trái-phải là phùhợp với

mô hìnhhóahành độngtrong đoạnvideo

2.5.2 ỨngdụngmôhìnhHMM vàonhậndạnghànhđộng

Trongpha huấn luyện, cần huấn luyện một mô hình HMM cho mỗihành

động cầnnhận dạngtừ chuỗi vectorhuấn luyện

Trongphakiểmtra,cầntínhlikelihood màmỗimôhình HMMc óthể sinh

ra chuỗi vector kiểm tra, từ đây kết luận về hành động cần nhậndạng dựatheotiêuchuẩn likelihoodcựcđại

2.5.3 MôhìnhHMM-Kmeans

2.5.3.1 NguyênlýhoạtđộngcủaHMMrờirạc

Dữ liệu vào huấn luyện là chuỗi vector huấn luyện được rời rạc hóabằngcách lượng tử hóa vector (ví dụ dùng Kmeans6) để tạo ra một bảngmã Dữ liệu vàokiểm tra là chuỗi vector kiểm tra được rời rạc hóa bằngcách mãhóavector dựa vàobảngmãnày

2.5.3.2 LượngtửhóavectordựavàoKmeans

Nhằm hạn chế các khuyết điểm củaKmeans, thực hiện một số thay đổinhư: (1) thí nghiệm vớiKthay đổi, (2) ứng với mỗiKthực hiệnKmeansnhiềulầnrồilấytrungbìnhcộngcủacácbảngmãtrunggian,

mô tả đặc trưng 3D GRF và nhận dạng hànhđộnggầntuầnhoàndùngmôhìnhCHMM.

Hiệuq u ả c ủ a m ô h ì n h v à c á c đ ề x u ấ t s ẽ đ ư ợ c k i ể m t r a , đ á n h g i á l ầ n lượtquachương3vàchương4

Ch ương ng 3:GIÁMSÁTTÉNGÃ

Chương này trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS ởchương 2 trong ứng dụng giám sát té ngã, với hai kịch bản: (1) pháthiệnté ngã và (2)dựđoán nguy cơ té ngãdo dáng đibấtthường.

Kết quả nghiên cứu thực nghiệm về hệ thống giám sát té ngã đượccông bố qua các công trình[9],[10], [12]trong Danh mục công trìnhcủatácgiả.

3.1 Giớithiệucáccơsởdữliệuvàtiêuchíđánhgiáhệthống

3.1.1 CơsởdữliệuténgãHBU

HBU do nhóm TRT-3DCS xây dựng, bao gồm 134 đoạn video gồm65

đoạn “té ngã” và 69 đoạn “không té”, độ phân giải 320x240, tốc độ30

khung/s Các tình huống té ngã khác nhau về hướng té (trực diện,chéo,bênhông),nguyênnhân té,tưthế cơ thểkhité vàtốc độ té

3.1.2 Cơsởdữliệudángđibấtthường

Đây là cơ sở dữ liệu tự xây dựng, có 56 đoạn video dáng đi Ataxic,85đoạnHemiplegic,93đoạnLimping,97đoạnNeuropathic,100đoạnParkinson, 100đoạn bình thường, phân giải 180x144, tốc độ 25khung/s.Cácvideođượcghihìnhvớigócquaybênhông

TPFN

TP,P R 

TPFP

TPTN,A C C 

TP(TruePositive):dươngtính thậtFP (FalsePositive):dươngtínhgiảFN (FalseNagetive):âmtínhgiảTN(Tru eNegative):âmtínhthật

3.2.2 Quát rì n h t h í ng hi ệm v à k ế t q u ả ki ể m t r a h ệ t h ố ng p h á t h iệ

n téngã

7Tra và Pham, 2013

Hệthốngđược kiểmtra theo quytrìnhởHình3.2,vớiN=5vàK=M=96

3.3.1.2 Phântíchtínhiệuvideo

Truyềnt í n h i ệ u v i d e o t h e o t ừ n g k h u n g đ ế n m á y t í n h đ ể p h â n t í c h theothuậttoán pháthiệnté ngãđãtrình bày,dùngMatlab 2012a

3.3.1.3 Thôngtincảnhbáo

Có hai hình thức cảnh báo được thiết kế là (1) cảnh báo tại chỗ bằngâmthanh và văn bản trên màn hình quan sát và (2) cảnh báo từ xabằngtinnhắnSMSgởiđếnsốđiệnthoạiđãđịnhdùngmoduleSIM900A

- Tỷlệdươngtínhgiảcaodonhiềuđốitượngchuyểnđộng(55%),hànhđộngtươngtự“téngã”(62%),đồvậtbịrơi(14%).

Kếtq u ả l à c a m e r a g h i đ ư ợ c 6 7 4 h à n h đ ộ n g v ớ i 9 h à n h đ ộ n g “ t é

ngã” Hệ thống phát hiện và cảnh báo được 8/9 hành động “té ngã”,nhận dạng

nhầm 16 hành động “không té” Vậy tỷ lệ nhận dạng chínhxáclà Acc =

97.47%.Thờigian trễxử lý đo được là 1-5giây

3.4 Kiểmtra,đánhgiáhệthốngdựđoánnguycơténgãdodángđibất thường

3.4.1 Kiểmtra,đánhgiáhệthốngpháthiệndángđibệnhParkinson

3.4.1.1 ThínghiệmpháthiệndángđibệnhParkinson

Thí nghiệm theo quy trình ởHình 3.2, với cơ sở dữ liệu 100 đoạnvideo

dáng đi bình thường và 100 đoạn Parkinson, bộ mô tả đặc trưng

làmomentHu,mô hình nhận dạng là CHMMN= 7 vàM= 64.

3.4.1.2 KếtquảthínghiệmpháthiệndángđibệnhParkinson

Thực hiện đánh giá theo phương pháp đánh giá chéo 1:10, kết quảlà99/100 dáng đi Parkinson và 100/100 dáng đi bình thường đượcnhậndạngđúng,dẫnđếntỷ lệnhậndạngchínhxác rấttốt-Acc= 99.5%

3.4.2 Kiểmtra,đánhgiáhệthốngpháthiệndángđibệnhlý

3.4.2.1 Thínghiệm pháthiệndángđibệnhlý

Thí nghiệm tương tự như thí nghiệm phát hiện dáng đi Parkinson ở3.4.1.1,

chỉ khác cơ sở dữ liệu là cơ sở dữ liệu dáng đi bất thường gồm 6 loạidáng đi

bệnh lýkhác nhauđã trìnhbày ở3.1.2.

3.4.2.2 Kếtquảthínghiệm pháthiệndángđibệnhlý

ện dáng đi bất thường đạt hiệu quả nhận dạng cao nên có thể hỗ trợ tốtcho việcdựđoánnguycơténgã

Chương này trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMSpháthiện hành động bấtthường đãtrình bày trong chương 2.

Các thí nghiệm nhằm: (1) đánh giá đặc trưng 3D GRF, (2) xét ảnhhưởng của các yếu tố khác nhau đến tỷ lệ nhận dạng, (3) kiểm tra môhìnhCHMM và(4)kiểmtrahệthốngpháthiệnhànhđộngbấtthường Kếtquảnghiê ncứ uth ực nghiệmvề hệthốngHMSpháthiệ n hành độngbất thư ờn gđ ãđ ược c ôn gbốq ua cá cc ô ngt rìn h[ 3]- [5] ,[7]-[8],

“đánhbốc”,35đoạn“vẫytay”,54đoạn“chạychậm”và41đoạn“đibộ”.

4.1.2 Cơsởdữliệuướclượngtưthế3D

Toàn bộ cơ sở dữ liệu có 80 đoạn video hành động, có 20 đoạn

chomỗil o ạ i h à n h đ ộ n g n h ư “ vẫyt a y ”,“ đá”,“ ném”v à “ đánhb ố c ”,m ỗ i đo

ạn video chỉ chứa một chu kỳ hànhđộng hoànchỉnh

4.1.3 CơsởdữliệuIXMAS

IXMAS được xây dựng bởi Viện INRIA, có tổng cộng 11 hành độngnhư đã

nêu ở2.4.4 Có 12 đối tượng tham gia ghi hình, thực hiện 3

lầnchomộthànhđộngnêncótổngcộng36đoạnvideochomộthànhđộng

4.1.4 Tiêuchíđánhgiáhệthống

Hệ thống phát hiện hành động bất thường đề xuất gồm 2 khối

chínhnhưHình 2.3 Khối nhận dạng hành động được đánh giá dựa vào tỷ

lệnhận dạng đúng trung bình, được tính là trung bình cộng của tỷ lệnhậndạng đúng của mỗi hành động Khối phát hiện bất thường được đánhgiádựa vàocáctiêuchí RC, PRvàAcc

à kiểmtra lấy từcùng mộtngười, tỷ lệ nhận dạng74.17%.

- Thínghiệm4.2.2d dùngđặctrưngmới3D GRF, mẫuhuấnluyệnv

àkiểmtra lấytừ cùng một người,tỷ lệnhận dạng 97.5%

4.3 Các yếutốảnhhưởngđếnhiệuquảnhậndạngcủamôhìnhHMM

Thí nghiệm thực hiện theoHình 3.2, cơ sở dữ liệu là ở4.1.2, bộ môtảđặc

trưnglà 3DGRF,mô hìnhnhận dạng làHMM-Kmeans.

4.3.1 ẢnhhưởngcủacácthamsốmôhìnhHMM

NgoàiMvàN, một tham số nữa làεrất nhỏ được đưa thêm vào saukhi huấn

luyện, nhằm giải quyết trường hợp thiếu dữ liệu huấn