Phân tích dáng đi của con người trong hỗ trợ chăm sóc, điều trị phục hồi chức năng cho người cao tuổi và khuyết tật vận động

Dựa trên cơ sở kết hợp giữa lý thuyết và thực nghiệmsau đây: • Xem xét các đề tài nghiên cứu liên quan, so sánh và đánh giácác ưu điểm và khuyết điểm của các phương pháp phân tíchvideo k

ĐẠI HỌC ĐÀ NẴNG

TÓM TẮT BÁO CÁO TỔNG KẾT

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ

PHÂN TÍCH DÁNG ĐI CỦA CON NGƯỜI TRONG HỖ TRỢ CHĂM SÓC, ĐIỀU TRỊ PHỤC HỒI CHỨC NĂNG CHO NGƯỜI CAO TUỔI VÀ KHUYẾT TẬT VẬN ĐỘNG

Mã số: KYTH-59 (B2018.DNA.08)

Chủ nhiệm đề tài: TS VÕ ĐỨC HOÀNG

Đà Nẵng, 5/2020

ĐAI HOC DÃ N XNG

TÕM TÁT BAO CÁO TỎNG KI I

ĐÈ TÀI KHOA HỌC X À CÔNG NGll£ CÁI’ RỌ

PHÂN TÍCH DANG DI ci XCON NGI OI I RON( IK) I RỌCHÃMSÕC DIH TRỊ Pin ( HÔI CHÍ ( NĂNG ( IIONGƯỜI CAO TVỎI XÀ KHI Ml I X I X XN ĐỌNG

Xlâ số: K\ riVSí) <B2OI8.DN X.OS)

TS Trương Lê Bích Trâm

Dà Nang, 5/2020

2

3 MỞ ĐẦU

1 Tính cấp thiết của đề tài

4 Các bệnh lý xương khớp, điển hình là nhóm bệnhviêm khớp đang gia tăng nhanh trên toàn cầu cũng như tại Việt Namtrong những năm gần đây, bệnh có thể xảy ra ở mọi lứa tuổi, ảnhhưởng rất nhiều đến khả năng lao động, sinh hoạt và chất lượng cuộcsống của người bệnh và là một trong những nguyên nhân gây tàn phế,trở thành gánh nặng cho gia đình và xã hội Trong khi đó, công táctầm soát, chăm sóc và điều trị bệnh vẫn còn rất nhiều thách thức

5 Theo thống kê WHO, khoảng 14% dân số trên 18 tuổi

bị giảm chất lượng cuộc sống do giới hạn chức năng vận động và hơn50% các trường hợp này là do tình trạng bệnh cơ xương khớp TạiViệt Nam theo thống kê của Hội cơ xương khớp hơn 30% người trên

35 tuổi, 60% người trên tuổi 65 và 85% người trên tuổi 80 bị thoái hóakhớp

6 Với sự phát triển nhanh chóng của các loại máy móchiện đại như máy ảnh số, máy quay phim kỹ thuật số, máy vi tính,điện thoại di động ,v.v thì lượng thông in con người thu được dướidạng hình ảnh là khá lớn Để lượng thông tin này trở nên có ích hơn,con người cần phải tiến hành xử lý nó và từ đó tạo điều kiện cho sựphát triển không ngừng của các kỹ thuật xử lý hình ảnh Xử lý ảnh làmột trong những công nghệ được ứng dụng rộng rãi hiện nay trongnhiều lĩnh vực của đời sống xã hội Bên cạnh đó, hệ thống máy ảnhquan sát ngày càng được sử dụng một cách rộng rãi với mục đích hỗtrợ an ninh, giám sát hoạt động, chuẩn đoán bệnh tật

2 Mục tiêu và nhiệm vụ đề tài

7 Xây dựng được cơ sở dữ liệu dáng đi của bình thường

và dáng đi của người có khuyết tật trên cơ sở xử lý dữ liệu ảnh từnhiều nguồn camera khác nhau

8 Xây dựng được hệ thống phần mềm hỗ trợ công tácchăm sóc y tế, điều trị phục hồi chức năng cho bện nhân

3 Đối tượng và phạm vi nghiên cứu

9 Đối tượng nghiên cứu

10 • Các dáng đi gắn liền với biểu hiện bệnh tật: Dáng đi chống đau,Dáng đi cứng khớp háng, Dáng đi khớp háng không vững, Dáng

đi Trendelenberg, Dáng đi cơ mông nhỡ, Dáng đi chân ngắn,Dáng đi bước cao, Dáng đi cây kéo, Dáng đi bệnh nhân

Parkinson, Dáng đi liệt nửa người, Dáng đi thất điều, Dáng đi lậtbật (dồn), Dáng đi chân ngựa, Dáng đi co cứng

• Các phương pháp xử lý trích rút các đặc trưng dáng đi: đặctrưng các điểm khớp nối, đặc trưng độ dài bước đi, đặc trưngđường bao,

• Các phương pháp nhận dạng được sử dụng trong nhận dạng vàphân tích dáng đi: Máy véc tơ hỗ trợ, mô hình markov ẩn,mạng neuron, kĩ thuật học sâu,

• Mô hình xử lý tín hiệu video và hỗ trợ đưa ra các nhận xét vềtốc độ phục hồi của những người bệnh có khuyết tật về vậnđộng

11 Phạm vi nghiên cứu

• Nghiên cứu các kỹ thuật xử lý ảnh số, trích rút đặc trưng, kỹthuật nhận dạng và đề xuất giải pháp nhận dạng, phân tíchdáng đi phục vụ đánh giá khả năng phục hồi của bệnh nhân cókhuyết tật về vận động

• Các hệ thống phân tích và xử lý tín hiệu video hỗ trợ đưa cácđánh giá, nhận xét về mức độ phục hồi của bệnh tật

4 Phương pháp nghiên cứu

• Học máy (machine learning)

• Thiết kế và phân tích thí nghiệm

14 Phương pháp nghiên cứu

15 Dựa trên cơ sở kết hợp giữa lý thuyết và thực nghiệmsau đây:

• Xem xét các đề tài nghiên cứu liên quan, so sánh và đánh giácác ưu điểm và khuyết điểm của các phương pháp phân tíchvideo khác nhau để từ đó đề xuất ý tưởng thay đổi và cải thiệncác hệ thống đang tồn tại

• Sử dụng các công cụ toán học phù hợp để mô hình hóa tậphợp các cử chỉ của dáng đi phục vụ cho mục đích nhận dạng

• Thiết kế và thực hiện các thí nghiệm dựa trên hệ thống đề xuất

để thu thập dữ liệu kết quả.

• Kiểm tra độ chính xác và tính hiệu quả của các hệ thống đềxuất dựa trên việc phân tích và làm sáng tỏ các kết quả dữliệu

5 Nội dung nghiên cứu

• Nghiên cứu đặc trưng sinh trắc học của dáng đi, liên quan củadáng đi với các biểu hiện bệnh tật, liên quan của dáng đi vớikhả năng phục hồi trong điều trị chấn thương chỉnh hình

• Phân tích các bộ đặc trưng mô tả dáng đi bình thường, dáng đibình thường, thực hiện thực nghiệm và đánh giá

• Nghiên cứu các mô hình học máy, kết hợp mô hình học máyvới các bộ đặc trưng mô tả dáng đi, xây dựng mô hình huấnluận phục vụ phân tích dáng đi

• Xây dựng cơ sở dữ liệu về dáng đi của người bình thường, cơ

sở dữ liệu dáng đi của người có các khuyết tật trong đi lạiphục vụ triển khai hệ thống

• Triển khai hệ thống phân tích dáng đi phục vụ chăm sóc y tế,

hỗ trợ điều trị về chấn thương chỉnh hình

6 Cấu trúc đề tài

16 Chương 1: Nêu tổng quan về các phương pháp nghiêncứu về nhận dạng dáng đi đã có tại Việt Nam và trên thế giới Đồngthời nêu lên các phương pháp thu nhận dữ liệu và trích xuất đặc trưngcho quá trình phân loại và nhận dạng Tổng hợp các chuyên đề đãnghiên cứu trước đó để có cơ sở thực hiện nghiên cứu phân đoạnvideo, xây dựng ứng dụng hỗ trợ phân tích dáng đi

17 Chương 2: Trình bày về dáng đi dựa vào khoảng cách

sử dụng một hoặc nhiều máy ảnh Thông qua các nghiên cứu về nhậndạng dáng đi, nghiên cứu đã trình bày đề xuất về thu nhận dữ liệu, cảitiến phương pháp trích xuất đặc trưng và nâng cao tỉ lệ nhận dạng.Đồng thời trình bày phương pháp phân đoạn video để trích xuất khunghình chính nhằm tăng quá trình nhận dạng, loại bỏ các khung hìnhthừa

18 Chương 3: Trình bày triển khai hiệ thống để có thểphân tích các đặc trưng của dáng đi nhằm phát hiện các bất thường đểđưa ra các thông số phù hợp hỗ trợ cho các bác sĩ hỗ trợ chăm sóc,điều trị phục hồi chức năng cho người cao tuổi và khuyết tật vận động.Trình bày về xây dựng bộ cơ sở dữ liệu phục vụ cho các nghiên cứu

sau này liên quan đến nhận dạng dáng đi hay xử lý tín hiệu video.Cuối cùng báo cáo trình bày quy trình triển khai, thử nghiệm sản phẩmphần mềm tại Khoa CNTT và Bệnh viện y học cổ truyền Đà Nẵng.

19 CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN

sử dụng khi người dùng ngã Tuy vậy người cao tuổi thường quênmang nút bấm bên mình và trong trường hợp bất tỉnh sau khi ngã thìngười dùng cũng không thể sử dụng, để khắc phục những hạn chế này,cũng như mang lại sự thuận tiện cho người sử dụng, một hệ thống máytính kết nối với máy ảnh có thể được dùng để chẩn đoán bệnh xươngkhớp hoặc phát hiện các té ngã, chấn thương ở người cao tuổi, nóichung là phát hiện sự bất thường trong dáng đi Ưu điểm của hệ thốngnày là người dùng không cần mang trên người thiết bị hỗ trợ, đồngthời thông tin về chuyển động có thể được xác định chi tiết hơn nhữngthiết bị phần cứng

21 Bài toán phân tích dáng đi hiện đang được nghiên cứurộng rãi để phục vụ cho hệ thống giám sát và chăm sóc y tế tại nhà.Hiện nay, việc phân tích dáng đi thường được dựa trên 2 hướng nghiêncứu chính đó chính là việc thu nhận, xử lý thông tin qua cảm biếnchính và sử dụng hệ thống thị giác máy tính Điểm khác biệt chủ yếugiữa các hướng trên là thiết bị hỗ trợ được sử dụng trong quá trìnhnghiên cứu Phần lớn các nghiên cứu sử dụng một hoặc nhiều máy ảnhđồng bộ (nhiều máy ảnh thu hình cùng lúc) hay thiết bị có cảm biếnnhư Microsoft Kiect Các hướng nghiên cứu đã đạt được nhiều thànhtựu khích lệ và đã được áp dụng trong nhiều lĩnh vực khác nhau củađời sống, tuy nhiên kỹ thuật này hiện vẫn đang đối mặt với rất nhiềuthách thức khác nhau, làm cho nó trở nên một nhánh nghiên cứu năngđộng và hấp dẫn Tỷ lệ nhận dạng của toàn bộ hệ thống chịu ảnhhưởng bất lợi bởi các yếu tố sau:

22 • Vấn đề góc quay của máy ảnh là thách thức chính cho việc phântích dáng đi của con người Trong các hệ thống nhận dạng thực tế

chuỗi hành động thường được quan sát từ các góc quay tùy ý củamáy ảnh; do đó các ứng dụng đòi hỏi sự độc lập đối với gócquay Điều này có nghĩa là hiệu suất của hệ thống cần phải khôngthay đổi theo các góc quay khác nhau của máy ảnh, chẳng hạnđối tượng quan sát phải đứng đối mặt với máy ảnh.

• Hầu hết các thuật toán trích đối tượng dựa trên phương pháptrừ nền, trong đó yêu cầu một mô hình đáng tin cậy Tuy nhiêntrong thực tế, các hình nền thường phức tạp và hay thay đổi,

ví dụ thay đổi về độ sáng tối (ban ngày, ban đêm, ngày nắng,ngày mưa^), thay đổi vị trí đồ vật trong nền

• Vẻ bề ngoài của đối tượng có thể thay đổi do nhiều yêu tốkhác nhau, chẳng hạn như người đi trên các bề mặt khác nhaucũng làm gia tăng sự phức tạp trong việc bám đuổi cơ thể,trích chọn đặc trưng và ước lượng tư thế

• Việc tìm ra các giải pháp để giải quyết các vấn đề trên sẽ làhướng nghiên cứu trong tương lai

1.2 Mối quan hệ về phân tích dáng đi và phục hồi bệnh tật

23 Nhận dạng hành động con người liên quan đến việcphân loại các hành động của con người từ tín hiệu video, đây là mộtlĩnh vực nghiên cứu theo hướng “hiểu tín hiệu video” đã được áp dụngkhá nhiều trên thế giới như: hệ thống giám sát thông minh, hệ thốngchăm sóc sức khỏe, hệ thống giao thông thông minh Đặc biệt, trongnhững năm gần đây, cùng với sự phát triển mạnh mẽ của công nghệthông tin thì lĩnh vực này ngày càng được quan tâm nghiên cứu nhiềuhơn và đã thu được những kết quả bước đầu đáng khích lệ

24 Mỗi hệ thống nhận dạng hành động hay nhận dạngdáng đi điển hình gồm các bước xử lý chính sau: Trích xuất đặc trưng và Nhận dạng hành vi

25 Đối với nước ta, nhận dạng dáng đi của người là mộtlĩnh vực còn khá mới, số lượng nghiên cứu về đề tài này chưa nhiều,tuy nhiên trong những năm gần đây, lĩnh vực này đã nhận được sựquan tâm đầu tư của nhiều nhà nghiên cứu, thể hiện ở số lượng các hộinghị, số bài báo trong nước và quốc tế ngày càng tăng, nhiều nhómnghiên cứu đã đạt được một số thành tựu ban đầu khả quan

26 Ứng dụng của kỹ thuật nhận dạng hành động hiện nay

đã đạt được những thành tựa đáng khích lệ và đã được áp dụng nhiều

lĩnh vực khác nhau của đời sống, trong đó có 2 ứng dụng nổi trội làứng dụng trong hệ thống giám sát an ninh và giám sát chăm sóc sứckhỏe.

1.3 Các công trình trong và ngoài nước nghiên cứu về phân tích dáng đi

27 Hiện nay, việc phân tích dáng đi thường được thựchiện dựa trên 4 hướng chính, ba trong số đó thuộc lĩnh vực thị giácmáy tính, điểm khác biệt chủ yếu giữa các hướng trên là thiết bị hỗ trợđược sử dụng trong quá trình nghiên cứu

28 Các nhà nghiên cứu chuyển sự tập trung sang các hệthống thị giác máy tính, trong đó kĩ thuật phân tích dáng đi đượcnghiên cứu với các thiết bị thu nhận ảnh và cách ước lượng thông sốdáng đi khác nhau Xu hướng chính thường được thực hiện là sử dụngmột camera, hệ thống nhiều camera hoặc sử dụng camera có cảm biến

1.4 Các phương pháp phát hiện chuyển động

1.4.1 Phát hiện đối tượng

29 Phát hiện đối tượng đó là quá trình đưa ra vết đốitượng từ các khung hình video, quá trình này thực chất là quá trình xử

lý chuỗi ảnh liên tiếp trong một đoạn video để phát hiện ra các đốitượng trong một đoạn hình ảnh, đã có nhiều phương pháp được đưa ra

để giải quyết vấn đề này

1.4.2 Đánh giá và đề xuất phương pháp phát hiện đối tượng

sánh thông tin màu trên từng điểm ảnh so với ngưỡng, phương phápnày có chi phí tính toán thấp vì gần như quá trình xử lý được thực hiệntrên ảnh đa mức xám Nhược điểm của phương pháp này là trongtrường hợp không gian màu tồn tại nhiều vùng có cùng màu sắc vớiđối tượng thì việc nhận dạng càng trở nên khó khăn

đối tượng dựa vào chuyển động được sử dụng nhiều trong các bài toánbám theo một đối tượng nào đó có thể là đứng yên hoặc chuyển động.Trong bài toán “ Phân tích dáng đi của người” thì phương pháp này cótính khả thi và độ chính xác cao

32 Phát hiện đối tượng dựa vào mẫu: Phát hiện đối

tượng dựa vào mẫu nghĩa là ta so khớp giữa các đặc trưng của ảnhhuấn luyện và ảnh đầu vào để đạt kết quả mong muốn Việc so khớp

này dựa vào bộ mô tả các điểm ảnh dựa vào vị trí các điểm bất động

và cho kết quả khá chính xác Phương pháp dựa vào mẫu phụ thuộcnhiều vào dữ liệu ảnh huấn luyện lớn, nhưng dáng đi của người rất đadạng nên phương pháp này ít được sử dụng

ứng dụng thị giác máy tính, một trong những mục tiêu của theo vết là

để “hiểu” được những chuyển động của đối tượng, ‘hiểu” những thôngtin của đối tượng gồm: vị trí trong không gian, vận tốc chuyển động

và những đặc trưng vật lý khác Mục đích của theo vết đối tượng làthiết lập sự tương ứng giữa các đối tượng trong các frame liên tục và

để trích rút thông tin theo thời gian về các đối tượng như đường đi, tưthế, tốc độ và phương hướng Theo vết các đối tượng được phát hiện

từ frame này đến frame khác trong video là nhiệm vụ khó khăn vàmang nhiều ý nghĩa Nó là phần chủ yếu của hệ thống giám sát thôngminh, trong khi các đối tượng chưa được theo vết, hệ thống sẽ khôngthể trích rút thông tin đi kèm theo thời gian về các đối tượng và cácbước phân tích điều khiển ở mức cao hơn sẽ không thể thực hiện

34 Kỹ thuật theo vết có thể thực hiện trên nhiều cách

biểu diễn đối tượng khác nhau: điểm, kernel và hình chiếu như hình

43 (a) theo vết điểm, (b) theo vết kernel, (c) theo vết

dựa trên

45 Có rất nhiều phương pháp để giải quyết bài toán theovết thông thường sau: so khớp mẫu, theo vết Meanshift, phương phápBayesian (lọc Kalman, lọc Particle)

ảnh hưởng bởi nhiễu và ánh sáng, theo vết được các đối tượng biếndạng Tuy nhiên nhược điểm của phương pháp này đó là độ phức tạptính toán cao, chất lượng so khớp phụ thuộc vào chi tiết và độ chínhxác mẫu đối tượng

pháp đơn giản và hiệu quả cho theo vết thời gian thực Nhưng nó chỉtối ưu hóa cục bộ chứ không toàn cục Khi màu nền và màu đối tượnggiống nhau thì phương pháp này sẽ không còn tác dụng

theo vết đối tượng dựa trên ước lượng Bayesian là lọc Kalman và lọcParticle Kalman là một thuật toán theo vết tối ưu nhất trong trườnghợp hệ tuyến tính và nhiễu có phân phối Gauss Extended Kalman tuygiải quyết được trường hợp phi tuyến và không phải nhiễu Gaussnhưng cũng chỉ giải quyết tốt bài toán trong trường hợp phương trìnhbiến đổi có bậc 2 Lọc Particle (Partical Filters) đã giúp giải quyết bàitoán lọc tổng quát một cách triệt để Các phương pháp này không đòihỏi phải đặt ra một giả định nào về hệ, ngoài ra chúng còn rất linhđộng, mềm dẽo, dễ cài đặt, có khả năng mở rộng để thực hiện trongmôi trường tính toán song song và đặc biệt là hoạt động rất hiệu quảtrong trường hợp bài toán tổng quát

1.4.4 Trích chọn thuộc tính đặc trưng

49 Sau bước phân đoạn, theo vết đối tượng, các đặc điểmcủa đối tượng như hình dáng, màu sắc, sự chuyển động, v.v được trích

ra và biểu diễn dưới dạng các vector thuộc tính đa chiều

50 Có rất nhiều bộ mô tả thuộc tính khác nhau đã được

đề xuất, có thể phân loại thuộc tính theo nhiều cách khác nhau, dựatheo các tiêu chí khác nhau Ví dụ như thuộc tính 2D trích từ ảnh 2D

và thuộc tính 3D là loại có thêm thông tin về độ sâu cảnh quay; thuộctính không gian là thuộc tính chỉ quan tâm đến đối tượng trong từngkhung hình và thuộc tính thời gian là loại có quan tâm đến cả sựchuyển động của đối tượng từ khung hình này đến các khung hình tiếptheo; thuộc tính địa phương là loại chỉ xét đến một số vùng (patch) đặcbiệt nào đó trong khung hình và thuộc tính toàn cục xem xét toàn bộkhung hình Thuộc tính được xem xét phân thành 02 loại chính làthuộc tính số và thuộc tính nhị phân.

và dựa trên dòng ánh sáng cho kết quả nhận dạng tốt Tuy nhiên, cácthuộc tính này dựa trên thông tin 2D trích từ chuỗi ảnh nên nhạy với

sự che khuất và phụ thuộc vào góc quay của camera

52 Khuyết điểm vốn có của thuộc tính dựa trên hình

dáng là không thể trích bắt được những chuyển động bên trong của

đối tượng trong vùng chứa hình bóng Và điều quan trọng hơn là thuộctính dựa trên kỹ thuật trừ nền, mà ngay cả các kỹ thuật trừ nền mớinhất vẫn không thể phân đoạn đối tượng chính xác, đặc biệt là trongmôi trường động

53 Ngược với phương pháp dựa trên hình dáng, phương

pháp dựa trên dòng ánh sáng không cần phải thực hiện trừ nền Đây là

ưu điểm quan trọng nhất của phương pháp dựa trên dòng Tuy nhiên,các thuộc tính vẫn phụ thuộc vào góc quay và vì vậy không phù hợpvới nhận dạng hành động từ đoạn video quay bằng một camera

chiều sâu) của các điểm trên cơ thể nên có thể xử lý vấn đề che khuấttốt hơn Hơn nữa, thuộc tính nhị phân hiệu quả trong việc mô tả tư thếcon người dựa trên vector thuộc tính với số chiều thấp, do chỉ dùng sốnhị phân 0 hoặc 1 để mô tả quan hệ hình học trong một tư thế nênthuộc tính nhị phân không rõ ràng trong việc mô tả các chuyển độngphức tạp của con người

55 Ước lượng tư thế con người có thể là bước hậu xử lýhoặc là một phần thuộc quá trình theo vết đối tượng Có thể nói rằngmột khi kết quả ước lượng tư thế được trích chính xác thành các thuộctính và khi biết được tất cả các quỹ đạo chuyển động của các bộ phận

cơ thể thì chúng ta có thể giải thích được rằng con người đang làm gìtrong cảnh quay Có rất nhiều phương pháp đã được đề xuất để giải

quyết bài toán ước lượng tư thế con người Ta có thể chia các phươngpháp đó ra làm hai loại chính ước lượng không phụ thuộc vào mô hình(model-free) và dựa vào mô hình (model-based).