Phân tích dáng đi của con người trong hỗ trợ chăm sóc, điều trị phục hồi chức năng cho người cao tuổi và khuyết tật vận động

 Các phương pháp nhận dạng được sử dụng trong nhận dạng và phân tích dáng đi: Máy véc tơ hỗ trợ, mô hình markov ẩn, mạng neuron, kĩ thuật học sâu,.... Phương pháp nghiên cứu Dựa trên c

ĐẠI HỌC ĐÀ NẴNG

TÓM TẮT BÁO CÁO TỔNG KẾT

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ

PHÂN TÍCH DÁNG ĐI CỦA CON NGƯỜI TRONG HỖ TRỢ CHĂM SÓC, ĐIỀU TRỊ PHỤC HỒI CHỨC NĂNG CHO NGƯỜI CAO TUỔI VÀ KHUYẾT TẬT VẬN ĐỘNG

Mã số: KYTH-59 (B2018.DNA.08)

Chủ nhiệm đề tài: TS VÕ ĐỨC HOÀNG

Đà Nẵng, 5/2020

DaiHocDaNang

DaiHocDaNang

MỤC LỤC

1 Tính cấp thiết của đề tài 1

2 Mục tiêu và nhiệm vụ đề tài 1

3 Đối tượng và phạm vi nghiên cứu 1

4 Phương pháp nghiên cứu 2

5 Nội dung nghiên cứu 3

6 Cấu trúc đề tài 3

CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN 4

1.1 Tổng quan 4

1.2 Mối quan hệ về phân tích dáng đi và phục hồi bệnh tật 5

1.3 Các công trình trong và ngoài nước nghiên cứu về phân tích dáng đi 6

1.4 Các phương pháp phát hiện chuyển động 6

CHƯƠNG 2: NHẬN DẠNG DỰA VÀO KHOẢNG CÁCH 10

2.1 Tổng quan hệ thống 10

2.2 Tiền xử lý 11

2.3 Phân lớp và nhận diện đối tượng 12

2.4 Thực nghiệm 14

2.5 Kết luận và hướng phát triển 16

CHƯƠNG 3: TRIỂN KHAI HỆ THỐNG 17

3.1 Tổng quan về Kinect 17

3.2 Phát hiện bất thường trong dáng đi 17

3.5 Xây dựng bộ cơ sở dữ liệu 19

3.4 Triển khai sản phẩm thử nghiệm thực tế 19

KẾT LUẬN 20

Kết quả đạt được 20

Hướng phát triển 20

DaiHocDaNang

MỞ ĐẦU

1 Tính cấp thiết của đề tài

Các bệnh lý xương khớp, điển hình là nhóm bệnh viêm khớp đang gia tăng nhanh trên toàn cầu cũng như tại Việt Nam trong những năm gần đây, bệnh có thể xảy ra ở mọi lứa tuổi, ảnh hưởng rất nhiều đến khả năng lao động, sinh hoạt và chất lượng cuộc sống của người bệnh và là một trong những nguyên nhân gây tàn phế, trở thành gánh nặng cho gia đình và xã hội Trong khi đó, công tác tầm soát, chăm sóc và điều trị bệnh vẫn còn rất nhiều thách thức

Theo thống kê WHO, khoảng 14% dân số trên 18 tuổi bị giảm chất lượng cuộc sống do giới hạn chức năng vận động và hơn 50% các trường hợp này là do tình trạng bệnh cơ xương khớp Tại Việt Nam theo thống kê của Hội cơ xương khớp hơn 30% người trên 35 tuổi, 60% người trên tuổi 65 và 85% người trên tuổi 80 bị thoái hóa khớp

Với sự phát triển nhanh chóng của các loại máy móc hiện đại như máy ảnh số, máy quay phim kỹ thuật số, máy vi tính, điện thoại

di động…v.v thì lượng thông tin con người thu được dưới dạng hình ảnh là khá lớn Để lượng thông tin này trở nên có ích hơn, con người cần phải tiến hành xử lý nó và từ đó tạo điều kiện cho sự phát triển không ngừng của các kỹ thuật xử lý hình ảnh Xử lý ảnh là một trong những công nghệ được ứng dụng rộng rãi hiện nay trong nhiều lĩnh vực của đời sống xã hội Bên cạnh đó, hệ thống máy ảnh quan sát ngày càng được sử dụng một cách rộng rãi với mục đích hỗ trợ an ninh, giám sát hoạt động, chuẩn đoán bệnh tật…

2 Mục tiêu và nhiệm vụ đề tài

Xây dựng được cơ sở dữ liệu dáng đi của bình thường và dáng

đi của người có khuyết tật trên cơ sở xử lý dữ liệu ảnh từ nhiều nguồn camera khác nhau

Xây dựng được hệ thống phần mềm hỗ trợ công tác chăm sóc y

tế, điều trị phục hồi chức năng cho bện nhân

3 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu

 Các dáng đi gắn liền với biểu hiện bệnh tật: Dáng đi chống đau, Dáng đi cứng khớp háng, Dáng đi khớp háng không vững, Dáng

đi Trendelenberg, Dáng đi cơ mông nhỡ, Dáng đi chân ngắn, Dáng đi bước cao, Dáng đi cây kéo, Dáng đi bệnh nhân DaiHocDaNang

Parkinson, Dáng đi liệt nửa người, Dáng đi thất điều, Dáng đi lật bật (dồn), Dáng đi chân ngựa, Dáng đi co cứng

 Các phương pháp xử lý trích rút các đặc trưng dáng đi: đặc trưng các điểm khớp nối, đặc trưng độ dài bước đi, đặc trưng đường bao,

 Các phương pháp nhận dạng được sử dụng trong nhận dạng và phân tích dáng đi: Máy véc tơ hỗ trợ, mô hình markov ẩn, mạng neuron, kĩ thuật học sâu,

 Mô hình xử lý tín hiệu video và hỗ trợ đưa ra các nhận xét về tốc

độ phục hồi của những người bệnh có khuyết tật về vận động

 Học máy (machine learning)

 Thiết kế và phân tích thí nghiệm

Phương pháp nghiên cứu

Dựa trên cơ sở kết hợp giữa lý thuyết và thực nghiệm sau đây:

 Xem xét các đề tài nghiên cứu liên quan, so sánh và đánh giá các

ưu điểm và khuyết điểm của các phương pháp phân tích video khác nhau để từ đó đề xuất ý tưởng thay đổi và cải thiện các hệ thống đang tồn tại

 Sử dụng các công cụ toán học phù hợp để mô hình hóa tập hợp các cử chỉ của dáng đi phục vụ cho mục đích nhận dạng

 Thiết kế và thực hiện các thí nghiệm dựa trên hệ thống đề xuất

để thu thập dữ liệu kết quả

DaiHocDaNang

 Kiểm tra độ chính xác và tính hiệu quả của các hệ thống đề xuất dựa trên việc phân tích và làm sáng tỏ các kết quả dữ liệu

5 Nội dung nghiên cứu

 Nghiên cứu đặc trưng sinh trắc học của dáng đi, liên quan của dáng đi với các biểu hiện bệnh tật, liên quan của dáng đi với khả năng phục hồi trong điều trị chấn thương chỉnh hình

 Phân tích các bộ đặc trưng mô tả dáng đi bình thường, dáng đi bình thường, thực hiện thực nghiệm và đánh giá

 Nghiên cứu các mô hình học máy, kết hợp mô hình học máy với các bộ đặc trưng mô tả dáng đi, xây dựng mô hình huấn luận phục vụ phân tích dáng đi

 Xây dựng cơ sở dữ liệu về dáng đi của người bình thường, cơ sở

dữ liệu dáng đi của người có các khuyết tật trong đi lại phục vụ triển khai hệ thống

 Triển khai hệ thống phân tích dáng đi phục vụ chăm sóc y tế, hỗ trợ điều trị về chấn thương chỉnh hình

6 Cấu trúc đề tài

Chương 1: Nêu tổng quan về các phương pháp nghiên cứu về nhận dạng dáng đi đã có tại Việt Nam và trên thế giới Đồng thời nêu lên các phương pháp thu nhận dữ liệu và trích xuất đặc trưng cho quá trình phân loại và nhận dạng Tổng hợp các chuyên đề đã nghiên cứu trước đó để có cơ sở thực hiện nghiên cứu phân đoạn video, xây dựng ứng dụng hỗ trợ phân tích dáng đi

Chương 2: Trình bày về dáng đi dựa vào khoảng cách sử dụng một hoặc nhiều máy ảnh Thông qua các nghiên cứu về nhận dạng dáng đi, nghiên cứu đã trình bày đề xuất về thu nhận dữ liệu, cải tiến phương pháp trích xuất đặc trưng và nâng cao tỉ lệ nhận dạng Đồng thời trình bày phương pháp phân đoạn video để trích xuất khung hình chính nhằm tăng quá trình nhận dạng, loại bỏ các khung hình thừa Chương 3: Trình bày triển khai hiệ thống để có thể phân tích các đặc trưng của dáng đi nhằm phát hiện các bất thường để đưa ra các thông số phù hợp hỗ trợ cho các bác sĩ hỗ trợ chăm sóc, điều trị phục hồi chức năng cho người cao tuổi và khuyết tật vận động Trình bày về xây dựng bộ cơ sở dữ liệu phục vụ cho các nghiên cứu sau này liên quan đến nhận dạng dáng đi hay xử lý tín hiệu video Cuối cùng báo cáo trình bày quy trình triển khai, thử nghiệm sản phẩm phần mềm tại Khoa CNTT và Bệnh viện y học cổ truyền Đà Nẵng

DaiHocDaNang

CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN

1.1 Tổng quan

Một số nghiên cứu trước đây sử dụng các thiết bị phần cứng để giúp người cao tuổi thông báo đến người thân hoặc dịch vụ y tế khi gặp sự cố Người dùng thường phải đeo các cảm biến gia tốc để khi

bị ngã đột ngột, hệ thống tự động phát hiện và thông báo Một giải pháp khác được đưa ra là dùng một nút bấm báo động, được sử dụng khi người dùng ngã Tuy vậy người cao tuổi thường quên mang nút bấm bên mình và trong trường hợp bất tỉnh sau khi ngã thì người dùng cũng không thể sử dụng, để khắc phục những hạn chế này, cũng như mang lại sự thuận tiện cho người sử dụng, một hệ thống máy tính kết nối với máy ảnh có thể được dùng để chẩn đoán bệnh xương khớp hoặc phát hiện các té ngã, chấn thương ở người cao tuổi, nói chung là phát hiện sự bất thường trong dáng đi Ưu điểm của hệ thống này là người dùng không cần mang trên người thiết bị hỗ trợ, đồng thời thông tin về chuyển động có thể được xác định chi tiết hơn những thiết bị phần cứng

Bài toán phân tích dáng đi hiện đang được nghiên cứu rộng rãi

để phục vụ cho hệ thống giám sát và chăm sóc y tế tại nhà Hiện nay, việc phân tích dáng đi thường được dựa trên 2 hướng nghiên cứu chính đó chính là việc thu nhận, xử lý thông tin qua cảm biến chính

và sử dụng hệ thống thị giác máy tính Điểm khác biệt chủ yếu giữa các hướng trên là thiết bị hỗ trợ được sử dụng trong quá trình nghiên cứu Phần lớn các nghiên cứu sử dụng một hoặc nhiều máy ảnh đồng

bộ (nhiều máy ảnh thu hình cùng lúc) hay thiết bị có cảm biến như Microsoft Kiect Các hướng nghiên cứu đã đạt được nhiều thành tựu khích lệ và đã được áp dụng trong nhiều lĩnh vực khác nhau của đời sống, tuy nhiên kỹ thuật này hiện vẫn đang đối mặt với rất nhiều thách thức khác nhau, làm cho nó trở nên một nhánh nghiên cứu năng động và hấp dẫn Tỷ lệ nhận dạng của toàn bộ hệ thống chịu ảnh hưởng bất lợi bởi các yếu tố sau:

 Vấn đề góc quay của máy ảnh là thách thức chính cho việc phân tích dáng đi của con người Trong các hệ thống nhận dạng thực

tế chuỗi hành động thường được quan sát từ các góc quay tùy ý của máy ảnh; do đó các ứng dụng đòi hỏi sự độc lập đối với góc quay Điều này có nghĩa là hiệu suất của hệ thống cần phải DaiHocDaNang

không thay đổi theo các góc quay khác nhau của máy ảnh, chẳng hạn đối tượng quan sát phải đứng đối mặt với máy ảnh

 Hầu hết các thuật toán trích đối tượng dựa trên phương pháp trừ nền, trong đó yêu cầu một mô hình đáng tin cậy Tuy nhiên trong thực tế, các hình nền thường phức tạp và hay thay đổi, ví

dụ thay đổi về độ sáng tối (ban ngày, ban đêm, ngày nắng, ngày mưa…), thay đổi vị trí đồ vật trong nền…

 Vẻ bề ngoài của đối tượng có thể thay đổi do nhiều yêu tố khác nhau, chẳng hạn như người đi trên các bề mặt khác nhau cũng làm gia tăng sự phức tạp trong việc bám đuổi cơ thể, trích chọn đặc trưng và ước lượng tư thế

 Việc tìm ra các giải pháp để giải quyết các vấn đề trên sẽ là hướng nghiên cứu trong tương lai

1.2 Mối quan hệ về phân tích dáng đi và phục hồi bệnh tật

Nhận dạng hành động con người liên quan đến việc phân loại các hành động của con người từ tín hiệu video, đây là một lĩnh vực nghiên cứu theo hướng “hiểu tín hiệu video” đã được áp dụng khá nhiều trên thế giới như: hệ thống giám sát thông minh, hệ thống chăm sóc sức khỏe, hệ thống giao thông thông minh… Đặc biệt, trong những năm gần đây, cùng với sự phát triển mạnh mẽ của công nghệ thông tin thì lĩnh vực này ngày càng được quan tâm nghiên cứu nhiều hơn và đã thu được những kết quả bước đầu đáng khích lệ

Mỗi hệ thống nhận dạng hành động hay nhận dạng dáng đi điển hình gồm các bước xử lý chính sau: Trích xuất đặc trưng và Nhận dạng hành vi

Đối với nước ta, nhận dạng dáng đi của người là một lĩnh vực còn khá mới, số lượng nghiên cứu về đề tài này chưa nhiều, tuy nhiên trong những năm gần đây, lĩnh vực này đã nhận được sự quan tâm đầu tư của nhiều nhà nghiên cứu, thể hiện ở số lượng các hội nghị, số bài báo trong nước và quốc tế ngày càng tăng, nhiều nhóm nghiên cứu đã đạt được một số thành tựu ban đầu khả quan

Ứng dụng của kỹ thuật nhận dạng hành động hiện nay đã đạt được những thành tựa đáng khích lệ và đã được áp dụng nhiều lĩnh vực khác nhau của đời sống, trong đó có 2 ứng dụng nổi trội là ứng dụng trong hệ thống giám sát an ninh và giám sát chăm sóc sức khỏe

DaiHocDaNang

1.3 Các công trình trong và ngoài nước nghiên cứu về phân tích dáng đi

Hiện nay, việc phân tích dáng đi thường được thực hiện dựa trên 4 hướng chính, ba trong số đó thuộc lĩnh vực thị giác máy tính, điểm khác biệt chủ yếu giữa các hướng trên là thiết bị hỗ trợ được sử dụng trong quá trình nghiên cứu

Các nhà nghiên cứu chuyển sự tập trung sang các hệ thống thị giác máy tính, trong đó kĩ thuật phân tích dáng đi được nghiên cứu với các thiết bị thu nhận ảnh và cách ước lượng thông số dáng đi khác nhau Xu hướng chính thường được thực hiện là sử dụng một camera, hệ thống nhiều camera hoặc sử dụng camera có cảm biến

1.4 Các phương pháp phát hiện chuyển động

1.4.1 Phát hiện đối tượng

Phát hiện đối tượng đó là quá trình đưa ra vết đối tượng từ các khung hình video, quá trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn video để phát hiện ra các đối tượng trong một đoạn hình ảnh, đã có nhiều phương pháp được đưa ra để giải quyết vấn đề này

1.4.2 Đánh giá và đề xuất phương pháp phát hiện đối tượng

Phát hiện đối tượng dựa vào màu: là thực hiện việc so sánh

thông tin màu trên từng điểm ảnh so với ngưỡng, phương pháp này

có chi phí tính toán thấp vì gần như quá trình xử lý được thực hiện trên ảnh đa mức xám Nhược điểm của phương pháp này là trong trường hợp không gian màu tồn tại nhiều vùng có cùng màu sắc với đối tượng thì việc nhận dạng càng trở nên khó khăn

Phát hiện đối tượng dựa vào chuyển động: Phát hiện đối tượng

dựa vào chuyển động được sử dụng nhiều trong các bài toán bám theo một đối tượng nào đó có thể là đứng yên hoặc chuyển động Trong bài toán “ Phân tích dáng đi của người” thì phương pháp này

có tính khả thi và độ chính xác cao

Phát hiện đối tượng dựa vào mẫu: Phát hiện đối tượng dựa vào

mẫu nghĩa là ta so khớp giữa các đặc trưng của ảnh huấn luyện và ảnh đầu vào để đạt kết quả mong muốn Việc so khớp này dựa vào bộ

mô tả các điểm ảnh dựa vào vị trí các điểm bất động và cho kết quả khá chính xác Phương pháp dựa vào mẫu phụ thuộc nhiều vào dữ

DaiHocDaNang

liệu ảnh huấn luyện lớn, nhưng dáng đi của người rất đa dạng nên phương pháp này ít được sử dụng

Theo vết đối tượng: là một công đoạn trong rất nhiều ứng dụng

thị giác máy tính, một trong những mục tiêu của theo vết là để “hiểu” được những chuyển động của đối tượng, ‘hiểu” những thông tin của đối tượng gồm: vị trí trong không gian, vận tốc chuyển động và những đặc trưng vật lý khác Mục đích của theo vết đối tượng là thiết lập sự tương ứng giữa các đối tượng trong các frame liên tục và để trích rút thông tin theo thời gian về các đối tượng như đường đi, tư thế, tốc độ và phương hướng Theo vết các đối tượng được phát hiện

từ frame này đến frame khác trong video là nhiệm vụ khó khăn và mang nhiều ý nghĩa Nó là phần chủ yếu của hệ thống giám sát thông minh, trong khi các đối tượng chưa được theo vết, hệ thống sẽ không thể trích rút thông tin đi kèm theo thời gian về các đối tượng và các bước phân tích điều khiển ở mức cao hơn sẽ không thể thực hiện

Kỹ thuật theo vết có thể thực hiện trên nhiều cách biểu diễn

đối tượng khác nhau: điểm, kernel và hình chiếu như hình 1.4, hình 1.5.

Có rất nhiều phương pháp để giải quyết bài toán theo vết thông thường sau: so khớp mẫu, theo vết Meanshift, phương pháp Bayesian (lọc Kalman, lọc Particle)

1.4.3 Theo vết đối tượng

Phương pháp so khớp mẫu có ưu điểm là không chịu ảnh

hưởng bởi nhiễu và ánh sáng, theo vết được các đối tượng biến dạng Tuy nhiên nhược điểm của phương pháp này đó là độ phức tạp tính toán cao, chất lượng so khớp phụ thuộc vào chi tiết và độ chính xác mẫu đối tượng

Phương pháp theo vết màu Meanshift là một phương pháp đơn

giản và hiệu quả cho theo vết thời gian thực Nhưng nó chỉ tối ưu hóa cục bộ chứ không toàn cục Khi màu nền và màu đối tượng giống nhau thì phương pháp này sẽ không còn tác dụng

Phương pháp ước lượng Bayesian: Hai phương pháp theo vết

đối tượng dựa trên ước lượng Bayesian là lọc Kalman và lọc Particle Kalman là một thuật toán theo vết tối ưu nhất trong trường hợp hệ tuyến tính và nhiễu có phân phối Gauss Extended Kalman tuy giải quyết được trường hợp phi tuyến và không phải nhiễu Gauss nhưng cũng chỉ giải quyết tốt bài toán trong trường hợp phương trình biến đổi có bậc 2 Lọc Particle (Partical Filters) đã giúp giải quyết bài toán lọc tổng quát một cách triệt để Các phương pháp này không đòi hỏi phải đặt ra một giả định nào về hệ, ngoài ra chúng còn rất linh động, mềm dẽo, dễ cài đặt, có khả năng mở rộng để thực hiện trong môi trường tính toán song song và đặc biệt là hoạt động rất hiệu quả trong trường hợp bài toán tổng quát

1.4.4 Trích chọn thuộc tính đặc trưng

Sau bước phân đoạn, theo vết đối tượng, các đặc điểm của đối tượng như hình dáng, màu sắc, sự chuyển động, v.v được trích ra và biểu diễn dưới dạng các vector thuộc tính đa chiều

Có rất nhiều bộ mô tả thuộc tính khác nhau đã được đề xuất, có thể phân loại thuộc tính theo nhiều cách khác nhau, dựa theo các tiêu chí khác nhau Ví dụ như thuộc tính 2D trích từ ảnh 2D và thuộc tính 3D là loại có thêm thông tin về độ sâu cảnh quay; thuộc tính không gian là thuộc tính chỉ quan tâm đến đối tượng trong từng khung hình

và thuộc tính thời gian là loại có quan tâm đến cả sự chuyển động của đối tượng từ khung hình này đến các khung hình tiếp theo; thuộc tính

DaiHocDaNang

địa phương là loại chỉ xét đến một số vùng (patch) đặc biệt nào đó trong khung hình và thuộc tính toàn cục xem xét toàn bộ khung hình Thuộc tính được xem xét phân thành 02 loại chính là thuộc tính số và thuộc tính nhị phân

thuộc tính số bao gồm thuộc tính dựa trên hình dáng và dựa

trên dòng ánh sáng cho kết quả nhận dạng tốt Tuy nhiên, các thuộc tính này dựa trên thông tin 2D trích từ chuỗi ảnh nên nhạy với sự che khuất và phụ thuộc vào góc quay của camera

Khuyết điểm vốn có của thuộc tính dựa trên hình dáng là

không thể trích bắt được những chuyển động bên trong của đối tượng trong vùng chứa hình bóng Và điều quan trọng hơn là thuộc tính dựa trên kỹ thuật trừ nền, mà ngay cả các kỹ thuật trừ nền mới nhất vẫn không thể phân đoạn đối tượng chính xác, đặc biệt là trong môi trường động

Ngược với phương pháp dựa trên hình dáng, phương pháp dựa trên dòng ánh sáng không cần phải thực hiện trừ nền Đây là ưu điểm

quan trọng nhất của phương pháp dựa trên dòng Tuy nhiên, các thuộc tính vẫn phụ thuộc vào góc quay và vì vậy không phù hợp với nhận dạng hành động từ đoạn video quay bằng một camera

Thuộc tính nhị phân được trích ra từ tọa độ 3D (có cả chiều

sâu) của các điểm trên cơ thể nên có thể xử lý vấn đề che khuất tốt hơn Hơn nữa, thuộc tính nhị phân hiệu quả trong việc mô tả tư thế con người dựa trên vector thuộc tính với số chiều thấp, do chỉ dùng

số nhị phân 0 hoặc 1 để mô tả quan hệ hình học trong một tư thế nên thuộc tính nhị phân không rõ ràng trong việc mô tả các chuyển động phức tạp của con người

1.4.5 Ước lượng tư thế

Ước lượng tư thế con người có thể là bước hậu xử lý hoặc là một phần thuộc quá trình theo vết đối tượng Có thể nói rằng một khi kết quả ước lượng tư thế được trích chính xác thành các thuộc tính và khi biết được tất cả các quỹ đạo chuyển động của các bộ phận cơ thể thì chúng ta có thể giải thích được rằng con người đang làm gì trong cảnh quay Có rất nhiều phương pháp đã được đề xuất để giải quyết bài toán ước lượng tư thế con người Ta có thể chia các phương pháp

đó ra làm hai loại chính ước lượng không phụ thuộc vào mô hình (model-free) và dựa vào mô hình (model-based)

DaiHocDaNang