Hệ thống video thông minh bám đuổi đối tượng và phát hiện té ngã

Chương 1: TỔNG QUAN HỆ THỐNG GIÁM SÁT SỬ DỤNG KỸ THUẬT PHÂNTÍCH THÔNG MINH TÍN HIỆU VIDEOTrình bày tổng quan hệ thống giám sát thông minh, các loại hình phổ biến của hệ thống video thông minh, sơ đồ khối của một hệ thống video thông minh cơ bản đồng thời giới thiệu ứng dụng mà đề tài hướng đến.Chương 2: TRÍCH ĐỐI TƯỢNG Trình bày khối trích đối tượng với các kỹ thuật được sử dụng là trừ nền và phương pháp hình thái toán học.Chương 3: BÁM ĐUỔI, TRÍCH THUỘC TÍNH VÀ PHÂN TÍCHBám đuổi đối tượng và trích các thuộc tính liên quan đến các đặc điểm té ngã của đối tượng, sau đó phân tích các khả năng kết hợp thuộc tính để kết luận té ngã.Chương 4: CHƯƠNG TRÌNH VÀ KẾT QUẢPhân tích lưu đồ giải thuật và viết chương trình cho hệ thống, kết quả mô phỏng và nhận xét, hiệu suất tổng quát về toàn bộ quá trình trong các trường hợp khi chưa được cải tiến và khi đã được cải tiến.Phương pháp nghiên cứu xuyên suốt đồ án tốt nghiệp này là tìm hiểu và rút ra các thuật toán cơ bản từ các tài liệu báo chí đáng tin cậy, ở Việt Nam cũng như trên thế giới. Sau khi đã có được những kết quả ban đầu, tiếp tục đi sâu phân tích các ưu, khuyết điểm của hệ thống và tìm cách khắc phục: ở đây là việc đẩy nhanh tốc độ xử lý của hệ thống cũng như nâng cao hiệu suất của cả hệ thống.

LỜI NÓI ĐẦU

Nếu tuổi già là một thách thức của nhân loại thì tai nạn té ngã của người già lại làmột thách thức lớn đối với ngành y tế hiện nay Tai nạn té ngã ở người già rất nguy hiểm

và thường gây ra các chấn thương nghiêm trọng có thể dẫn đến tử vong nếu không đượcphát hiện kịp thời Ở nước ta, ước tính số người trên 65 tuổi vào năm 2009

khoảng 7% (khoảng 5,81 triệu người) và theo khảo sát của Tổ chức Y tế thế giới thì cótới 28 – 35% người trên 65 tuổi bị té mỗi năm Như vậy tại Việt Nam, có khoảng 1,6đến 2 triệu người cao tuổi bị té ngã ít nhất một lần mỗi năm [1]

Phát hiện các tai nạn té ngã bằng hệ thống phát hiện và cảnh báo té ngã để trợ giúpngười gặp tai nạn là cần thiết để tránh những hậu quả đáng tiếc Giải pháp đơn giản nhất

là sử dụng thiết bị cảnh báo đặt ở các vị trí thuận tiện trên cơ thể để người ta có thể ấn nútkích hoạt cảnh báo khi bị ngã Thực tế thiết bị này không thể hỗ trợ được khi người giàngã do đau tim hoặc đột quỵ Lúc này thiết bị phát hiện té ngã tự động sử dụng cảm biếnvận tốc, gia tốc có ý nghĩa vô cùng thiết thực Tuy nhiên, nhược điểm

của nó là không thoải mái với người già phải luôn mang chúng trên người Để giải quyếtnhững khó khăn nêu trên, một giải pháp mới đã được đề xuất và triển khai trong nhữngnăm gần đây, đó là sử dụng các hệ thống giám sát ứng dụng kỹ thuật phân tích thôngminh tín hiệu video Khi hệ thống làm việc, mọi hoạt động của đối tượng sẽ được ghihình và xử lý Việc phân tích nội dung video sẽ được thực hiện hoàn toàn tự động bằngmáy tính và nếu phát hiện có tai nạn té ngã, đầu ra của hệ thống sẽ lập tức đưa ra cảnhbáo với độ chính xác cao

Với mục đích ý nghĩa đó, nhiều hệ thống video thông minh phát hiện té ngã đã ra đời

và có nhiều những ứng dụng quan trọng giúp ích cho đời sống hiện đại Trên cơ sở pháttriển những ưu điểm của các hệ thống video đó, đồng thời nhằm cải tiến những khuyếtđiểm còn tồn tại, đề tài em nghiên cứu tiếp tục nằm trong mạch ý tưởng của một hệ thống

ưu việt trong lĩnh vực này Với không gian của hệ thống thường là không gian nhà ở tĩnhlặng, ít vật thể chuyển động, đối tượng sẽ được phát hiện bởi các phương pháp trừ nền vàbám đuổi phổ biến Bên cạnh đó, việc phát hiện hành vi té ngã của đối tượng cũng đượctối ưu hơn và đạt hiệu suất khá cao thông qua việc bổ sung thêm các thông số trong

chuyển động cũng như cách khảo sát chuyển động, bước đầu tiền hành nghiên cứu và ứngdụng các thuật toán cơ bản tin cậy từ các tài liệu quốc tế, em đã xây dựng được một hệthống phân tích video khá hoàn chỉnh, đặc biệt tỉ lệ phát hiện đúng hành vi té ngã của hệthống khá cao.

Bố cục của đồ án em chia làm các chương sau:

Chương 1: TỔNG QUAN HỆ THỐNG GIÁM SÁT SỬ DỤNG KỸ THUẬT PHÂNTÍCH THÔNG MINH TÍN HIỆU VIDEO

Trình bày tổng quan hệ thống giám sát thông minh, các loại hình phổ biến của hệ thốngvideo thông minh, sơ đồ khối của một hệ thống video thông minh cơ bản đồng thời giớithiệu ứng dụng mà đề tài hướng đến

Chương 2: TRÍCH ĐỐI TƯỢNG

Trình bày khối trích đối tượng với các kỹ thuật được sử dụng là trừ nền và phương pháphình thái toán học

Chương 3: BÁM ĐUỔI, TRÍCH THUỘC TÍNH VÀ PHÂN TÍCH

Bám đuổi đối tượng và trích các thuộc tính liên quan đến các đặc điểm té ngã của đốitượng, sau đó phân tích các khả năng kết hợp thuộc tính để kết luận té ngã

Chương 4: CHƯƠNG TRÌNH VÀ KẾT QUẢ

Phân tích lưu đồ giải thuật và viết chương trình cho hệ thống, kết quả mô phỏng và nhậnxét, hiệu suất tổng quát về toàn bộ quá trình trong các trường hợp khi chưa được cải tiến

và khi đã được cải tiến

Phương pháp nghiên cứu xuyên suốt đồ án tốt nghiệp này là tìm hiểu và rút ra các thuậttoán cơ bản từ các tài liệu báo chí đáng tin cậy, ở Việt Nam cũng như trên thế giới Saukhi đã có được những kết quả ban đầu, tiếp tục đi sâu phân tích các ưu, khuyết điểm của

hệ thống và tìm cách khắc phục: ở đây là việc đẩy nhanh tốc độ xử lý của hệ thống cũngnhư nâng cao hiệu suất của cả hệ thống

LỜI CẢM ƠN

Em xin chân thành cảm ơn TS Trần Thị Hương, giảng viên khoa Điện tử Viễn thông, đãtận tình hướng dẫn và giúp đỡ em trong thời gian thực hiện đề tài trên, không chỉ trong việc hoàn thành đồ án tốt nghiệp mà còn trong công việc viết các bài báo khoa học cho Đại học Đà Nẵng và cho các hội nghị khoa học quốc tế.

Em cũng xin chân thành cảm ơn các thầy cô giảng viên khoa Điện tử viễn thông đã truyền đạt những kiến thức hữu ích cho chúng em suốt những năm vừa qua, làm cơ sở để chúng em có thể hoàn thành đồ án này

Mặc dù đã cố gắng nhưng không thể tránh khỏi những sai sót trong đồ án này Em luôn mong nhận được sự thông cảm và góp ý tận tình từ các thầy cô

Sinh viên

Mai Bảo Lê Hoàng

MỤC LỤC

LỜI CAM ĐOAN……….

MỤC LỤC……….

DANH MỤC CÁC TỪ VIẾT TẮT……….

DANH MỤC HÌNH VẼ………

DANH MỤC BẢNG BIỂU………

LỜI NÓI ĐẦU………

LỜI CẢM ƠN………

Chương 1: TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT SỬ DỤNG KỸ THUẬT PHÂN TÍCH VIDEO THÔNG MINH. 1.1 Giới thiệu chương……… 1

1.2 Phân loại các hệ thống té ngã……….1

1.2.1 Hệ thống phát hiện té ngã dựa vào âm thanh 1.2.2 Hệ thống phát hiện té ngã dựa vào thiết bị cảm biến 1.2.3 Hệ thống phát hiện té ngã dựa vào video. 1.3 Tổng quan hệ thống giám sát sử dụng video……… 3

1.3.1 Hệ thống giám sát video 1.3.2 Hệ thống giám sát thông minh video. 1.4 Sơ đồ khối tống quát của hệ thống video thông minh……….6

1.4.1 Khối trích đối tượng 1.4.2 Khối bám đuổi đối tượng 1.4.3 Khối trích thuộc tính 1.4.4 Khối nhận dạng. 1.5 Một số ứng dụng của hệ thống video thông minh………11

1.6 Kết luận chương………13

Chương 2: TRÍCH ĐỐI TƯỢNG.

2.1 Giới thiệu chương………14

2.2 Tổng quan về trích đối tượng……… 14

2.3 Tổng quan về phương pháp trừ nền……….16

2.4 Kết quả thực nghiệm của phương pháp trừ nền………17

2.5 Lọc đối tượng bằng phương pháp hình thái toán học……… 19

2.5.1 Giới thiệu phương pháp hình thái toán học 2.5.2 Thực hiện MM trong xử lý ảnh 2.6 Kết luận chương……….20

Chương 3: BÁM ĐUỔI ĐỐI TƯỢNG, TRÍCH THUỘC TÍNH VÀ PHÂN TÍCH. 3.1 Giới thiệu chương……….22

3.2 Bám đuổi đối tượng……… 22

3.3 Giới thiệu các thuộc tính sẽ dùng để phát hiện té ngã……… 23

3.4 Tọa độ trọng tâm đối tượng……… 24

3.5 Định dạng Elip bao quanh đối tượng………24

3.5.1 Góc đứng của đối tượng 3.5.2 Xác định trọng tâm đối tượng 3.5.3 Xác định độ lớn hai bán trục 3.5.4 Định vị Elip 3.6 Phân tích các thuộc tính dùng để phát hiện té ngã………26

3.6.1 Góc tức thời của đối tượng 3.6.2 Tốc độ chuyển động của đối tượng 3.6.3 Tốc độ thay đối góc đứng của đối tượng 3.6.4 Độ lệch tâm tức thời của Elip 3.6.5 Tốc độ thay đổi trọng tâm đối tượng theo phương thẳng đứng 3.7 Phân tích khả năng kết hợp của các thuộc tính……….28

3.8 Kết luận chương……… 29

Chương 4: CHƯƠNG TRÌNH VÀ KẾT QUẢ.

4.1 Giới thiệu chương……….31 4.2 Cấu trúc chương trình……… 31 4.2.1 Cấu trúc chương trình.

4.2.2- 4.2.7 Lưu đồ thuật toán.

4.3 Kết quả và nhận xét……… 47 4.4 Kết luận chung và hướng phát triển đề tài………48

PHỤ LỤC: Một số đoạn code chính của chương trình mô phỏng.

Tài liệu tham khảo.

DANH MỤC HÌNH VẼ

Hình 1.1 – Các vị trí đặt cảm biến trên cơ thể người 2

Hình 1.2 – Sơ đồ khối hệ thống 6

Hình 1.3 – Các phương pháp bám đuổi đối tượng 9

Hình 1.4 – Quá trình xử lý của hệ thống giám sát thông minh video 10

Hình 2.1 – Ví dụ mô tả các bước thực hiện của khối trích đối tượng 15

Hình 2.2 – Thực hiện thuật toán Frame Differencing trên video VN-SIN-VE_02.avi 18 Hình 2.3 – Thực hiện thuật toán Frame Differencing trên video Leavy.avi 18

Hình 2.4 – Các phần tử cấu trúc cơ bản 19

Hình 2.5 – Ví dụ hai phép toán Morphology cơ bản 20

Hình 2.6 – Ví dụ phép Opening với phần tử cấu trúc là hình vuông có 20 điểm ảnh 21

Hình 2.7 – Ví dụ phép Closing với phần tử cấu trúc là hình vuông có 20 điểm ảnh… 21

Hình 3.1 – Miền xác định của góc θ 25

Hình 3.2 – Đối tượng với hình elip bao quanh 26

Hình 3.3 – MHI của chuyển động bước đi 27

Hình 4.1 – Lưu đồ thuật toán chương trình chính 33

Hình 4.2 – Lưu đồ thuật toán phương thức học nền 34

Hình 4.3 – Lưu đồ thuật toán phương thức trích đối tượng 35

Hình 4.4 – Lưu đồ thuật toán phương thức phân tích chuyển động 36

Hình 4.5 – Lưu đồ thuật toán phương thức vẽ elip 37

Hình 4.6 – Lưu đồ thuật toán phương thức phân tích tổng hợp 38

Hình 4.7 – FallAngleThreshold và góc thỏa mãn của θ trong điều kiện 2 39

Hình 4.8 – Lưu đồ thuật toán xác định trọng tâm đối tượng 40

Hình 4.9 – Các cửa sổ hiển thị khi chạy chương trình 47

DANH MỤC BẢNG BIỂU

Bảng 2.1- Kết quả thực nghiệm khi sử dụng thuật toán Frame Differencing………18Bảng 4.1- Kết quả nhận dạng té ngã ở TH1……… 46Bảng 4.2- Kết quả nhận dạng té ngã ở TH2……… 47

Chương 1:

TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT SỬ DỤNG

KỸ THUẬT PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO

1.1 Giới thiệu chương

Ngày nay, mọi người đều nhận thấy rằng việc phát hiện kịp thời tai nạn té ngã của

người già là một bước rất quan trọng để tránh các chấn thương nặng Một hệ thống phát hiện té ngã tự động sẽ giải quyết được vấn đề trên bằng cách giảm thiểu tối đa khoảng thời gian từ lúc xảy ra tai nạn đến khi có yêu cầu trợ giúp.

1.2 Phân loại các hệ thống phát hiện té ngã

Hiện nay, các hệ thống phát hiện té ngã [2] được phát triển dựa trên ba loại kỹ thuật phổ biến sau:

- Phát hiện té ngã dựa vào âm thanh (Acoustic Based Fall Detection).

- Phát hiện té ngã dựa vào các thiết bị cảm biến được mang trên người (Wearable Sensor Based Fall Detection).

- Phát hiện té ngã dựa vào video (Video Based Fall Detection)

1.2.1 Hệ thống phát hiện té ngã dựa vào âm thanh

Hệ thống phát hiện té ngã dựa vào âm thanh bao gồm một mảng các microphone và thiết bị phát hiện chuyển động Thành phần quan trọng của hệ thống là một phần

mềm phân loại được sự kiện là tai nạn té ngã hay chỉ là các hoạt động sinh hoạt thường

ngày dựa trên tín hiệu âm thanh phát ra từ nó.

Tuy nhiên, để thực hiện được điều này là không đơn giản: đầu tiên chúng ta có thể thấy được té ngã là một hành động bất thường và có kho ảng hơn mười trường hợp té ngã khác nhau Hơn thế nữa,

té ngã lại xảy ra trong môi trường sinh hoạt thực rất dễ bị nhầm lẫn với những tiếng ồn xung quanh như rơi đồ vật, di chuyển ghế, đóng cửa và bước đi… Vì thế, khả năng cảnh báo chính xác của hệ thống này

là không cao.

1.2.2 Hệ thống phát hiên té ngã dựa vào thiết bị cảm biến

Loại hệ thống này hoạt động dựa vào các thiết bị cảm biến nhỏ được gắn trên quần áo, thắt lưng…

(hình 1.1) để theo dõi các thông số chuyển động của cơ thể con người trong thời gian thực và xác định được thời điểm xảy ra té ngã dựa trên việc phân tích các thông số này.

Hình 1.1 – Các vị trí đặt cảm biến trên cơ thể người

Hiện nay, các hệ thống phát hiện té ngã dựa vào cảm biến hoạt động bằng cách tổ hợp các tín hiệu gia tốc (acceleration), dao động (vibration) và nghiêng (tilt) đồng thời thiết lập giá trị ngưỡng cho các tín hiệu tương ứng Sau đó đưa ra quyết định bằng việc so sánh các tín hiệu thu được với ngưỡng của chúng.

Tuy nhiên thuật toán trong kỹ thuật này vẫn tồn tại nhiều vấn đề trong việc xác định các thuộc tính

té ngã.Ví dụ như Hwang và các đồng nghiệp sử dụng góc nghiêng để kích hoạt chương trình phát hiện té ngã Khi góc nghiêng của cơ thể người trên 70°, chương trình sẽ bắt đầu xử lý các tín hiệu còn lại như tín hiệu gia tốc để xác định đối tượng có bị ngã hay không? Nhưng nếu người ngã trượt khi bước xuống bậc thang, hiển nhiên người đó sẽ ngồi trên các bậc thang và lúc đó phần trên cơ thể sẽ hợp với phương ngang một góc nghiêng nhỏ,và do đó chương trình phát hiện sẽ không được kích hoạt, tai nạn sẽ không được phát hiện.

1.2.3 Hệ thống phát hiện té ngã dựa vào video

Trong hệ thống phát hiện té ngã dựa vào video, mọi hoạt động con người trong video được ghi hình lại, sau đó được phân tích dùng kỹ thuật xử lý ảnh và kỹ thuật thị giác máy tính để phát hiện té ngã

và phát tín hiệu báo động Hệ thống cũng có thể cung cấp chính xác nguyên nhân khiến đối tượng bị té ngã.

Hiện nay, nhiểu tổ chức cũng như cá nhân đã và đang phát triển các phương pháp phát hiện té ngã dựa vào video Hầu hết các hệ thống phát hiện té ngã dựa vào tầm nhìn máy tính này đều dùng

thông tin chuyển động hoặc phương pháp trừ nền để tách đối tượng Sau đó hệ thống sẽ sử dụng các

mô hình nhận dạng như mẫu phù h ợp (TemplateMatching) hay không gian trạng thái (Space State Approach) để từ các thuộc tính có thể xác định hành vi của đối tượng, trong trường hợp này là tai nạn té ngã Phần tiếp theo của chương này sẽ trình bày tổng quan về hệ thống giám sát thông minh video.

1.3 Tổng quan hệ thống giám sát thông minh video.

1.3.1 Hệ thống giám sát video

Giám sát video là một kỹ thuật của ngành công nghiệp an ninh, được ứng dụng trong kiểm soát truy cập, phát hiện và kiểm soát hỏa hoạn, các kỹ thuật quản lý các tòa

nhà, các hệ thống để đảm bảo an toàn cá nhân và phát hiện xâm nhập.

Một hệ thống giám sát video thông thường bao gồm các điểm giám sát từ xa ở những nơi công cộng hay khu vực giới hạn Tại các điểm giám sát này, các camera được sử dụng để quay lại mọi cảnh xảy ra tại hiện trường Sau đó những hình ảnh này được truyền đến các thiết bị điều khiển và tại đây chúng được ghi lại hoặc được xử lý để xuất ra màn hình, tùy vào mục đích của người quản lý.

Chức năng chính của các hệ thống này là chụp lại hình ảnh di chuyển của các đối tượng nhằm mục đích theo dõi sự đến và đi của người đó, qua đó giúp ngăn chặn trộm cắp, hành hung và gian lận, cũng như quản lý sự cố và các hoạt động đám đông.

1.3.2 Hệ thống giám sát thông minh video

Phân tích video, hay giám sát thông minh video, là một kỹ thuật có thể tự động xác định hành vi hoặc thái độ của một đối tượng cụ thể thông qua việc sử dụng phần mềm để phân tích nội dung các đoạn video ghi hình đối tượng đó Nó có thể chuyển các đoạn video thành các luồng dữ liệu, các luồng

dữ liệu này sau đó có thể được truyền tải hoặc lưu trữ tùy thuộc vào hoạt động của hệ thống giám sát Với kỹ thuật này, hệ thống có thể tự động thiết lập các hoạt động của camera để có được những

dữ liệu cụ thể hơn về bối cảnh hoặc đơn giản chỉ để gửi một cảnh báo cho nhân viên giám sát để đưa ra quyết định những can thiệp cần thiết Cụ thể hơn, ở đây hệ thống giám sát thông minh video sử dụng các thuật toán để phát hiện sự di chuyển các đối tượng trong chuỗi hình ảnh và lọc các chuyển động không liên quan Chúng tạo ra một cơ sở dữ liệu các thuộc tính của tất cả đối tượng được phát hiện và các đặc trưng chuyển động của chúng Các quyết định được đưa ra hoặc các sự kiện quan tâm được tìm kiếm một cách tự động dựa trên một số quy tắc định trước Chẳng hạn như nếu có một người bước qua một

ranh giới, hệ thống sẽ gửi ngay một cảnh báo).

 Sự cần thiết của việc sử dụng hệ thống giám sát thông minh video

Ngày nay, các hệ thống giám sát video thường trang bị một số lượng lớn các

camera Đối với những cơ sở hạ tầng lớn, chẳng hạn như một hệ thống giao thông công cộng, hơn một nghìn camera theo dõi có thể được sử dụng Những hệ thống với mạng lưới camera như vậy thông thường mỗi ngày ghi hình lại một lượng lớn video cho mục đích truyền tải, xem và lưu trữ Điều đó dẫn đến vấn đề khó khăn cho người giám sát màn hình trong việc phân tích tất các đoạn video được thu hình

để phát hiện các hành vi đáng ngờ hoặc các sự kiện đặc biệt.

Hệ thống phân tích video có nhiều lợi thế như:

- Hoạt động 24/7

- Có thể kích hoạt các bộ phận báo động được điều khiển bởi nhân viên an ninh

hoặc nó có thể tự động yêu cầu camera thay đổi vị trí hoặc phóng to cho việc

giám sát sự kiện chính xác hơn, qua đó giúp can thiệp ngay lập tức thay vì chỉ có

thể can thiệp sau khi sự kiện xảy ra.

- Giúp làm giảm băng thông và không gian lưu trữ cần thiết bằng cách chỉ truyền hoặc ghi các dữ liệu liên quan đến sự kiện

- Giúp giảm số lượng nhân viên an ninh trong việc giám sát liên tục

- Cho phép tìm kiếm nhanh chóng các sự kiện liên quan trong các đoạn phim video

được lưu trữ

- Thành công trong việc xác định đối tượng trong khung hình và theo dõi các hoạt

động của đối tượng đó

- Điều kiện môi trường hoạt động: Hệ thống phải có khả năng làm việc b ình thường trong điều kiện môi trường bất lợi như mưa hay sự thay đổi đột ngột về cường độ

ánh sáng

- Công nghệ: Các phần mềm của hệ thống phải dễ dàng trong thiết lập, duy trì và nâng cấp khi có tính năng mới được thêm vào hay cải thiện các tính năng cũ

- Giao diện người sử dụng: Hệ thống đòi hỏi có giao diện thân thiện, dễ sử dụng

- Giá thành sản phẩm: Trong thị trường cạnh tranh ngày nay, yêu cầu về chất lượng hệ thống cũng phải đi đôi với giá thành mới đáp ứng được nhu cầu của người sử dụng Vì vậy, hệ thống không những đòi h ỏi có chất lượng tốt mà phải có giá thành hợp lý, cạnh tranh Đây cũng là một trong những thử thách lớn đối với các nhà sản xuất cũng như các nhà thiết kế kỹ thuật cho hệ thống

1.4 Sơ đồ khối tổng quát hệ thống giám sát thông minh video

Hệ thống có th ể phân chia thành các kh ối chức năng cụ thể như hình 1.3.

Các khung Trích đối Bám Trích thuộc Nhận dạng Ý nghĩa

hình video tượng đuổi tính

Hình 1.2 – Sơ đồ khối hệ thống

Đầu tiên tín hiệu video gồm chuỗi các khung ảnh (frame) đã qua tiền xử lý được

đưa vào khối trích đối tượng để trích đối tượng cần quan sát ra khỏi hình nền Sau đó, chuỗi khung hình này được đưa đến hệ thống bám đuổi đối tượng và trích thuộc tính cần khảo sát của đối tượng Cuối cùng các thu ộc tính đã được trích ra này được đưa vào mô hình nhận dạng để xác định ý nghĩa, hành vi của đối tượng và đưa ra kết quả

cuối cùng của hệ thống.

Xét chức năng cụ thể của mỗi khối trong hình 1.3 như sau:

1.4.1 Khối trích đối tượng (Video Object Segmentation)

Công việc trước tiên nhất của hầu hết hệ thống giám sát thông minh video là phát hiện ra đối tượng chuyển động cần theo dõi, giám sát Khối trích đối tượng có nhiệm vụ phát hiện, phân biệt giữa

đối tượng chuyển động như con người, động vật hay phương tiện giao thông với phần còn lại của khung hình (hay còn gọi là hình nền).

Việc phát hiện ra đối tượng chuyển động có ý nghĩa quan trọng vì nó nhằm chỉ ra đối tượng cần tập trung xử lý cho các công đoạn tiếp theo của hệ thống Hiện nay, hầu hết các phương pháp trích đối tượng sử dụng các thông tin mang y ếu tố không gian hay thời gian trong chuỗi khung hình liên tiếp Dưới đây sẽ trình bày một số phương pháp trích đối tượng phổ biến: Trừ hình nền (background subtraction), bám đuổi vùng

(tracking regions), …

- Phương pháp trừ hình n ề n : Đây là một phương pháp được sử dụng nhiều trong việc trích đối tượng, đặc biệt là trong các điều kiện mà hình nền gần như tĩnh Phương pháp này dò tìm đối tượng chuyển động bằng cách tìm ra sự sai khác giữa khung hình hiện tại và khung hình nền đã được ước lượng Phương pháp trừ hình nền khá đơn giản nhưng lại dễ sai lệch nếu có sự thay đổi nhiều về độ sáng hay có chen lẫn những đối tượng chuyển động khác trong hình nền Vì vậy đối với phương pháp này đòi hỏi cần có thuật toán ước lượng hình nền tối ưu nhất và thường được sử dụng cho các hệ thống giám sát bên trong nhà với ánh sáng ổn định và hình nền ít thêm các thành phần chuyển động khác Trong phương pháp trừ hình nền, vấn đề quan trọng nhất là phải ước lượng hình nền Kỹ thuật ước lượng hình nền cũng được nghiên cứu theo nhiều hướng phát triển nên các thuật toán khác nhau

Ngoài các phương pháp trên, hiện nay trên thế giới đã và đang phát triển nhiều phương pháp mới

và có chất lượng tốt Độ chính xác của khâu trích đối tượng có ảnh hưởng rất lớn đến hiệu quả hoạt động của toàn bộ hệ thống giám sát video Tuy nhiên, do sự biến động liên tục của môi trường tự nhiên cũng như sự thay đổi đột ngột của cường độ ánh sáng và cảnh quan thiên nhiên, sự lặp đi lặp lại về vị trí của đối tượng chuyển động dễ dàng gây ra nhầm lẫn, làm giảm độ tin cậy của quá trình trích đối tượng Tùy vào ứng dụng cụ thể mà có thể lựa chọn phương pháp trích đối tượng tối ưu nhất Trong chương 2 của đồ án này, phương pháp trừ hình nền sẽ được phân tích cụ thể hơn ứng dụng tốt với điều kiện không gian tĩnh trong nhà.

1.4.2 Khối bám đuổi đối tượng (Tracking System)

Sau khi trích đối tượng ra khỏi hình nền, hệ thống sẽ bám đuổi theo đối tượng hay thiết lập sự liên kết của đối tượng qua các khung hình liên tiếp trong chuỗi hình ảnh Khối bám đuổi đối tượng sẽ cung cấp dữ liệu cho khối trích thuộc tính và khối nhận dạng hành động tiếp theo sau nó.

Các phương pháp bám đuổi đối tượng trong video có thể phân loại dựa trên ứng dụng của nó hoặc phương pháp xử lý Có thể chia thành 3 loại cơ bản: bám đuổi theo điểm, bám đuổi theo khung sườn và bám đuổi theo bóng.

- Bám đuổi theo điểm (point tracking) : Đối tượng được biểu diễn bởi các điểm khi nó được phát hiện trong mỗi khung hình Sự tương quan giữa đối tượng và điểm biểu diễn dựa trên cơ sở vị trí trước đó của đối tượng và hướng chuyển động của nó Phương pháp này thích hợp cho việc bám đuổi các đối tượng có kích thước nhỏ, có thể biểu diễn bằng một điểm Đối với các đối tượng có kích thước lớn thì sẽ được biểu diễn bằng nhiều điểm

- Bám đuổi theo khung sườn (ker nel tracking) : ở đây có thể hiểu là khung sườn đại diện cho đối tượng, chẳng hạn như hình elip bao quanh đối tượng Đối tượng được bám đuổi xác định chuyển động của hình bao qua các khung hình Có nhiều thuật toán bám đuổi theo khung sườn tùy thu ộc vào loại hình bao sử dụng, số lượng đối tượng bám đuổi và phương pháp ước lượng chuyển động của đối tượng

(hình 1.4a)

- Bám đuổi theo bóng (silhouette tracking): Phương pháp này thích hợp với những đối tượng linh động phức tạp như bàn tay, đầu và vai – những đối tượng khó chọn được dạng hình học thích hợp để miêu tả và đại diện cho nó Trong phương pháp này, đầu tiên là xây dựng mô hình cho đối tượng và bám đuổi mô hình đó qua các khung hình Mô hình của đối tượng thường được sử dụng

là biểu đồ màu, đường rìa hay đường viền của đối tượng (hình 1.4b)

Chương 3 của đồ án sẽ phân tích cụ thể một phương pháp bám đuổi đối tượng

(a)

(b)

Hình 1.3 – Các phương pháp bám đuổi đối tượng (a) Bám đuổi cái cốc sử dụng phương pháp bám đuổi theo khung sườn

(b) Bám đuổi người đàn ông đang đi với phương pháp bám đuổi theo bóng

1.4.3 Khối trích thuộc tính (Feature Extraction)

Quá trình trích thuộc tính của đối tượng là xác định các phần của đối tượng như chiều không gian 2D hoặc 3D, phát hiện rìa của đối tượng, độ nét, độ sáng, cử động từng phần của đối tượng…

Nếu như khối bám đuổi đối tượng thực hiện việc chuẩn bị dữ liệu về hình dáng của đối tượng thì khối trích thuộc tính của đối tượng sẽ trích ra các thông tin đặc biệt như rìa đối tượng (ở mức độ thấp) hay đầu, tay của đối tượng (ở mức độ cao) Nếu khối bám đuổi chuẩn bị dữ liệu cho việc nhận dạng th ì khối trích thuộc tính sẽ chuẩn bị dữ liệu về cử động thích hợp của đối tượng [7] Việc trích ra thuộc tính

về rìa, đầu, tay, khuôn d ạng 2D, 3D còn có tác dụng ngược lại giúp cho việc bám đuổi đối tượng được thực hiện chính xác hơn.

Nói chung, khối bám đuổi đối tượng và trích thuộc tính có liên hệ chặt chẽ với nhau và khó phân biệt ranh giới rõ ràng Vì vậy, 2 khối bám đuổi đối tượng và trích thuộc tính đôi lúc được gộp chung lại thành một khối gọi là bám đuổi đối tượng (Object Tracking System), trong đó bao gồm cả việc xác định hình dáng, vị trí của đối tượng và trích các thuộc tính của đối tượng.

(a) (b) (c) (d)

Hình 1.4 – Quá trình xử lý của hệ thống giám sát thông minh video

(a) Khung hình đầu vào; (b) Tách đối tượng;

(c) Loại bỏ bóng của đối tượng; (d) Bám đuổi

1.4.4 Khối nhận dạng (Recognition)

Nhận dạng hành động đối tượng là khâu phức tạp nhất của hệ thống giám sát

thông minh video Tiếp theo sau quá trình bám đuổi và trích ra thuộc tính của đối

tượng, vấn đề đặt ra là hệ thống phải hiểu được ý nghĩa của các hành động của đối

tượng thông qua các thuộc tính Trong tất cả các mô hình, những thuộc tính chuyển động được trích ra của đối tượng sẽ tương ứng với những thuộc tính mẫu của một hành vi có sẵn nào đó Như vậy, vấn đề

là ta phải định nghĩa hoặc huấn luyện trước cho máy mô hình thuộc tính của những hành vi cần nhận dạng Các mô hình nhận dạng hiện nay

được chia làm nhóm: mô hình mẫu phù hợp (template matching) và mô hình không gian trạng thái (space state approach).

Trong mô hình template matching, mỗi hành vi khác nhau của đối tượng được trích thuộc tính, tập hợp các thuộc tính ứng với mỗi mẫu hành vi này sẽ được lưu lại trong bộ nhớ gọi là không gian thuộc tính Khi hệ thống hoạt động, mỗi hành động bất kì của đối tượng được trích thuộc tính, gọi là vectơ thuộc tính, vectơ thuộc tính này sẽ

được so sánh với tất cả các mẫu chứa trong không gian thuộc tính để tìm ra mẫu có giá trị sai lệch nhỏ nhất so với giá trị của vectơ vừa được trích Lúc đó hành vi tương ứng với mẫu thuộc tính trên cũng chính là hành vi của đối tượng cần xác định Ưu điểm của mô hình này là tính đơn giản, ở đây hệ thống không cần bộ nhớ lớn, và quá trình tính toán chỉ là các phép so sánh đơn giản Nhưng khuyết điểm của

mô hình này là nó yêu cầu đối tượng được trích ở những khối trước phải có độ chính xác cao, lúc đó thì vectơ thuộc tính được trích mới chính xác Nếu nhiễu xuất hiện, khả năng nhận dạng sai hành vi của đối tượng là khá cao.

Vì vậy trong các trường hợp yêu cầu nhận dạng với độ chính xác cao, nhóm mô hình thứ hai sẽ được sử dụng, đó là mô hình space state approach Đây là một loại mô hình thống kê Trong mô hình

này, các ho ạt động của đối tượng sẽ được mô hình hóa thành một chuỗi các trạng thái theo thời gian với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được Các tham số của mô hình được rút ra có thể được sử dụng kế tiếp.

1.5 Một số ứng dụng trong thực tế của hệ thống

Hệ thống giám sát sử dụng kỹ thuật phân tích thông minh tín hiệu video đã được đưa vào ứng dụng thực tế trong nhiều thập niên và những năm gần đây, cùng với sự phát triển mạnh mẽ của công nghệ máy tính thì hệ thống ngày càng được sử dụng rộng rãi hơn Hệ thống giám sát thông minh video

có ứng dụng trong nhiều lĩnh vực như bảo vệ an ninh cho tòa nhà, giám sát giao thông trong thành phố

và trên các tuyến đường cao tốc, phát hiện các mục tiêu trong quân sự… đồng thời hệ thống còn hỗ trợ tích cực trong việc chăm sóc sức khỏe con người.

1.5.1 Kiểm soát an ninh ở các khu vực đặc biệt

Ở các khu vực an ninh giới hạn như các căn cứ quân sự và trụ sở cấp cao của chính quyền nhà nước chỉ có những người có quyền hạn và nhiệm vụ mới được cho phép vào ra Để kiểm soát an ninh ở những nơi này, người ta xây dựng trước cơ sở dữ liệu các đặc điểm về sinh trắc học của những người được cấp phép truy nhập Khi một

người chuẩn bị đi vào bên trong, hệ thống sẽ tự động ghi lại hình ảnh và trích ra các đặc điểm của người

đó như chiều cao, biểu hiện khuôn mặt hay dáng đi rồi so sánh với cơ sở dữ liệu sẵn có để từ đó đưa ra quyết định cho phép vào bên trong hay không H ệ thống có thể sẽ đưa kết quả đến hệ thống cửa mở tự động hay hệ thống cảnh báo có người lạ xâm nhập…

1.5.2 Phân tích số lượng người/xe trong đám đông

Sử dụng các thuật toán về phát hiện người, hệ thống giám sát thông minh video có th ể tự động đếm số lượng người ở các khu vực công cộng như các cửa hiệu và các

địa điểm du lịch để từ đó đưa ra các thông tin về tắc nghẽn…

1.5.3 Chẩn đoán sức khỏe

Trong lĩnh vực chăm sóc sức khỏe, hệ thống giám sát thông minh video ngày càng trở nên phổ biến, ở một số nơi thì hệ thống này đã trở thành công cụ giúp đỡ trị liệu và chẩn đoán sơ bộ cho bệnh nhân một cách hiệu quả và chính xác Với các máy chụp X-quang, máy quét phân giải cao, hệ thống giám sát thông minh video còn có thể tự động phân tích và phát hiện những dị vật hay khối u trong cơ thể

bệnh nhân Một ứng dụng khác cũng rất phổ biến đó là việc phân tích tự động dáng đi cho những người

bị chấn thương hoặc đang trong thời kỳ vật lý trị liệu, sau đó hệ thống phân tích biểu hiện tình trạng bệnh nhân và gửi kết quả đến nhân viên y tế để xem xét mức độ hồi phục của bệnh nhận để đưa ra phương án điều trị tiếp theo hợp lý.

1.5.4 Giám sát nhà ở và chăm sóc sức khỏe từ xa

Trong cuộc sống hiện đại ngày nay, việc chăm sóc sức khỏe cho người bệnh lâu năm và người già

ở nhà một mình lúc người thân đi vắng hay ở xa là một vấn đề được nhiều người quan tâm Hệ thống giám sát thông minh video cũng được ứng dụng trong lĩnh vực này Hệ thống sẽ phân tích, xử lý tín hiệu video thời gian thực từ các camera đặt trong phòng của người bệnh (người già) để nhận dạng các hành vi

té, ngã hay các biểu hiện bệnh tật để từ đó gửi các cảnh báo kịp thời đến y tá, bác sĩ gần nhất hay người thân đang làm việc ở nơi khác.

Ngoài ra, hệ thống giám sát thông minh video còn được ứng dụng trong giám sát nhà ở khi chủ nhà đi vắng để phòng chống kẻ trộm đột nhập Tương tự như chăm sóc sức khỏe từ xa, hệ thống sẽ gửi các cảnh báo qua mạng khi cần thiết.

1.6 Kết luận chương

Như vậy, thông qua việc tìm hiểu phần ứng dụng có thể thấy được lợi ích to lớn và hết sức cần thiết của hệ thống giám sát thông minh video trong thực tế, đặc biệt là ứng dụng mà đề tài muốn hướng đến ngày càng trở thành nhu cầu phổ biến hiện nay Hơn nữa, từ ứng dụng muốn hướng đến, hệ thống có thể xem là một đầu cuối trong hệ thống viễn thông (đầu cuối xử lý tín hiệu video), do đó hoàn toàn phù hợp để có thể phát triển thành một dịch vụ viễn thông rất hữu ích Trong hai chương tiếp theo, đồ án này sẽ tiếp tục tìm hiểu cơ sở lý thuyết và kết quả nghiên cứu của từng khối trong hệ thống giám sát thông minh video Chương 4 của đồ án này sẽ trình bày thuật toán, chương trình và kết quả thực nghiệm trên cơ sở dữ liệu tự xây dựng.

Chương 2:

TRÍCH ĐỐI TƯỢNG

2.1 Giới thiệu chương

Tín hiệu video đầu vào các hệ thống giám sát là các khung hình có tốc độ đủ lớn sao cho mắt người quan sát cảm giác đó là hình ảnh liên tục và không đứt quãng Cáckhung hình này sẽ được đưa vào khối đầu tiên của hệ thống là khối trích đối tượng đểtrích ra được đối tượng cần khảo sát Sau khi trích, đối tượng được lọc nhiễu và lấp đầycác lỗ trống ở bên trong bằng phương pháp hình thái toán học

Chương này sẽ trình bày tổng quan về khối trích đối tượng ở mục 2.2 Trong số cácphương pháp trích đối tượng, phương pháp trừ hình nền có thể áp dụng tốt vào môitrường nền tĩnh, rất phù hợp với hệ thống đang thực hiện chỉ khảo sát video quay trongnhà nên chương này cũng tập trung nghiên cứu phương pháp trừ nền Mục 2.3 trình bàytổng quan về phương pháp trừ nền và đánh giá các phương pháp trừ nền ở mục 2.4 Cuốicùng, mục 2.5 là phần giới thiệu tổng quát về phương pháp hình thái toán học

2.2 Tổng quan về trích đối tượng

Như đã trình bày sơ lược về khối trích đối tượng ở chương 1, khối này có tác

dụng trích ra đối tượng cần khảo sát trong phạm vi quan sát Hay nói cách khác, nhiệm

vụ của khối này chính là xác định được các vùng trên các khung hình mà không ph ải làhình nền

Đầu tiên hệ thống sẽ xử lý để tách những vùng nổi trên nền (foreground) ra khỏihình nền ban đầu Foreground chính là đối tượng đang ở trong phạm vi quan sát, baogồm cả bóng của đối tượng đó và gọi là đối tượng chưa được xử lý Sau đó, bóng củađối tượng sẽ được loại bỏ đi và thu được kết quả là đối tượng cần trích ra Hình 2.1 là ví

dụ mô tả khái quát các bước thực hiện khối trích đối tượng cần giám sát ra khỏi nền.Khối trích đối tượng thông thường phải thực hiện việc cập nhật hình nền trong trườnghợp nền ở trạng thái động để có thể thu được kết quả chính xác Trong thực tế, có rấtnhiều vấn đề mà các thuật toán trong khối trích đối tượng phải giải quyết, chẳng

hạn như:

- Nền động: Trong rất nhiều trường hợp phải xử lý video có chứa nhiều đối tượng chuyển động khác nhau như cây cối lay động trong thiên nhiên, v ấn đề đặt ra là

phải trích ra được đúng đối tượng cần khảo sát.

- Ánh sáng thay đổi: Sự thay đổi cường độ ánh sáng trong các th ời điểm khác nhau trong ngày hay việc bật tắt đèn đột ngột cũng có ảnh hưởng làm thay đổi nền

- Che khuất: Nhiều trường hợp đối tượng có thể bị che khuất hay trùng v ới màunền làm cho việc trích đối tượng trở nên khó khăn hơn

- Đối tượng tĩnh: Khi đối tượng cần trích trở nên bất động như một người cần giámsát đang nằm ngủ thì việc phát hiện ra đối tượng sẽ gặp trở ngại vì có thể bị nhầm và xem

đó là nền

Hình 2.1 – Ví dụ mô tả các bước thực hiện của khối trích đối tượng

(a) Khung hình nền được ước lượng (b) Khung hình ngẫu nhiên ở một thời điểm nào đó (c) Kết quả sau khi trích đối tượng, gồm cả bóng (shadow) (d) Kết quả cuối cùng sau xử lý

Hiện nay, có nhiều phương pháp trích đối tượng chuyển động đã được đề xuất và sử dụngtrong thực tế như phương pháp trừ hình nền, phương pháp bám đuổi vùng, phương pháp phân cắt siêu đồ thị, … Tuy nhiên, ở phần tiếp theo của chương này sẽ trình bày cụ thể hơn về phương pháp trừ nền, là phương pháp đặc biệt ứng dụng tốt trong hệ thống ứng dụng kỹ thuật phân tích thông minh tín hiệu video để phát hiện tai nạn té ngã của người cao tuổi, là hệ thống chỉ khảo sát video quay trong nhà với nền tương đối tĩnh

2.3 Tổng quan về phương pháp trừ nền

Cơ sở lý thuyết của phương pháp trừ nền [7] là phát hiện đối tượng chuyển động

từ sự sai khác của khung hình hiện tại và khung hình chuẩn, thông thường được gọi làhình nền hay mô hình nền Có nhiều thuật toán trừ nền khác nhau với chất lượng, thờigian xử lý và độ phức tạp khác nhau Tuy nhiên, hầu như đều gồm các bước cơ bản nhưsau:

- Xây dựng một mô hình nền chuẩn qua việc ước lượng nền từ chuỗi khung hìnhtrong khoảng 3 giây

- Sau khi đã xây dựng được mô hình nền, việc xác định ra được đâu là đối tượngforeground được thực hiện bằng cách so sánh từng khung hình đang xét với khung hìnhnền Giả sử đoạn video đang quan sát I gồm hình nền tĩnh B và các đối tượng chuyểnđộng trên hình nền đó

- Cập nhật lại nền qua việc so sánh với mỗi khung hình mới nếu cần thiết

- Cuối cùng, làm tinh đối tượng cần tách bằng cách cắt bỏ bóng c ủa đối tượng, lọcnhững vùng nhiễu hay lấp đầy những lỗ trống nhỏ bên trong đối tượng Trong số rấtnhiều phương pháp trừ nền đã được đề xuất, việc xác định được phương pháp tối ưu làrất khó vì mỗi phương pháp đều có những ưu điểm cũng như những hạn chế riêng Ởphần tiếp theo của chương này sẽ trình bày cụ thể về thuật toán trừ nền của ba phươngpháp cơ bản là: Frame Differencing, Running Average và Running Median

2.3.1 Phương pháp Frame Differencing

Trong tất cả các phương pháp trừ nền [4] thì phương pháp Frame Differencing đượcxem là phương pháp đơn giản nhất với khối lượng tính toán thấp, tốc độ thực thi thuậttoán khá nhanh[4] Tuy nhiên, thuật toán này chỉ hoạt động chính xác trong trường hợpcác đối tượng di chuyển liên tục, hình nền là tĩnh Thuật toán hầu như chỉ xác địnhforegound chính xác đối với những điểm biên của đối tượng Đối với những điểm ảnhbên trong đối tượng, do sự dịch chuyển của những điểm ảnh này là không đáng kể do đó

sẽ bị xem như là thuộc hình nền Vì vậy trong trường hợp khi một đối tượng ngưngchuyển động trong một khoảng thời gian thì cũng sẽ bị xem là hình nền

Nguyên tắc cơ bản của phương pháp Frame Differencing là đối tượng chuyển động được phát hiện dựa trên sự khác biệt giữa hai khung ảnh liên tiếp nhau với một mứcngưỡng chọn trước.

Thuật toán trên được thực hiện bằng phương pháp trừ hai khung ảnh liên tiếp, so sánh giátrị mỗi giá trị điểm ảnh kết quả với ngưỡng đã được chọn Nếu giá trị này thấp hơn giá trịngưỡng cho phép thì tại đó xem như là điểm ảnh nền và ngược lại là điểm ảnh thuộc đốitượng

2.4 Kết quả thực nghiệm của phương pháp trừ nền

2.4.1 Phương pháp Frame Differencing

Hình 2.3 – Thực hiện thuật toán Frame Differencing trên video Leavy.avi.

Đối tượng được khoanh tròn ở hình 2.2 và hình 2.3 cho thấy những điểm bên trong đối tượng và những đối tượng đứng yên bị thuật toán nhầm là hình nền

2.5 Lọc đối tượng bằng phương pháp hình thái toán học

2.5.1 Giới thiệu hình thái toán học

Hình thái toán học[4] là kỹ thuật phân tích và xử lý các cấu trúc hình học dựa trên

cơ sở lý thuyết tập hợp Kỹ thuật này dựa trên cấu trúc và hình dạng, dùng các toán hìnhthái cơ bản để làm đơn giản ảnh nhưng vẫn giữ lại những đặc trưng chính Ý tưởng chínhcủa MM là dò một bức ảnh bằng một khối đơn giản cho trước để xác định được khối này

ăn khớp (fit) hay bị chệch (miss) so với hình dạng trong hình Các khối đơn giản đượcgọi là phần tử cấu trúc (Structuring Element – SE), và hai SE thông dụng nhất là các tậpliên thông 4 và 8 như hình 2.7

Có 4 phép toán hình thái cơ bản đó là: Dilation (Phép dãn ), Erosion (Phép co),Opening (Phép mở) và Closing (Phép đóng) Các phép MM này không chỉ là công cụ cơbản để lọc nhiễu ra khỏi đối tượng trong ảnh mà còn được sử dụng để trích chọn cácthành phần ảnh như biên ảnh, xương ảnh, rất hữu dụng cho việc biểu diễn các các vùngkhác nhau trên khung hình Để áp dụng phương pháp MM, ảnh số phải là ảnh nhị phântrong đó các điểm ảnh thể hiện đối tượng ảnh được mã hóa bởi các điểm ảnh có giá trị 1

và nền được mã hóa bởi các điểm ảnh có giá trị 0

Hình 2.4 – Các phần tử cấu trúc cơ bản

Hình 2.5– Ví dụ phép Opening với phần tử cấu trúc là hình vuông có 20 điểm ảnh [4]

Hình 2.6 – Ví dụ phép Closing với phần tử cấu trúc là hình vuông có 20 điểm ảnh [4]

2.5.4 Thực hiện MM trong xử lý ảnh

Để thực hiện các phép MM [5], có thể sử dụng hàm cvMorphologyEx [5] được xây

dựng sẵn trong thư viện mã nguồn mở OpenCV

cvMorphologyEx (const CvArr* src, CvArr* dst, CvArr* temp, IplConvKernel* element, int operation, int iterations=1)

Trong đó:

temp : ảnh tạm thời, sử dụng trong một số trường hợp

operation : thể hiện phép toán Morphology sử dụng, với:

CV_MOP_GRADIENT – morphological gradient

CV_MOP_TOPHAT – “top hat”

CV_MOP_BLACKHAT – “black hat”

interation : số lần sử dụng phương pháp erotion và dilation

2.6 Kết luận chương

Nội dung chương 2 tập trung trình bày tổng quan về khối trích đối tượng của hệ thống ứng dụng kỹ thuật phân tích thông minh tín hiệu video để phát hiện tai nạn té ngãcủa người cao tuổi Trong số các phương pháp trích đối tượng đã được đề xuất, phươngpháp trừ nền được sử dụng rất phổ biến nên chương này cũng phân tích thuật toán vànhận xét ba phương pháp trừ hình nền cụ thể Chương này cũng giới thiệu về hình tháitoán học, một phương pháp sử dụng để lọc nhiễu đối tượng sau khi được trích ra từ nền.Sau quá trình làm tinh, đối tượng được đưa vào hai khối bám đuổi đối tượng và tríchthuộc tính Vì có những mối quan hệ rất chặt chẽ nên hai khối này sẽ cùng

được đề cập trong chương tiếp theo

3.2 Bám đuổi đối tượng

Có rất nhiều phương pháp bám đuổi đối tượng đã được trình bày ở chương 1 Tuynhiên, để dễ dàng cho việc viết chương trình phát hiện té ngã qua các video tự xây dựng

và phát hiện té ngã thông qua 1 webcam, đồ án này sử dụng phương pháp bám đuổi đốitượng khá đơn giản đó là bám đuổi theo bóng (silhouette)

Trước hết, hệ thống sẽ học nền tĩnh từ một khung hình chưa có đối tượng của đoạnvideo đầu vào Sau đó, cứ mỗi khung hình khi quan sát đối tượng, hệ thống sẽ bám đuổibóng của đối tượng thông qua phương pháp trừ pháp trừ nền, cắt ngưỡng và làm tinh đốitượng

Sau khi bám đuổi đối tượng, hệ thống sẽ sử dụng phương pháp nhận dạng để “pháthiện té ngã” là “template matching” (trùng khớp mẫu) Các mẫu ở đây là một số các điềukiện tổ hợp từ các thuộc tính của đối tượng, nếu tổ hợp các thuộc tính này của đối tượngtrùng khớp với một mẫu nào đó được cho là đã xảy ra hiện tượng té ngã thì hệ thống sẽquyết định phát cảnh báo Phương pháp này dễ bị ảnh hưởng bởi lỗi từ khối

trước gây ra nhưng khá đơn giản để nhận biết té ngã Từ mục 3.3, đồ án sẽ phân tích kỹcác thuộc tính của đối tượng

3.3 Giới thiệu các thuộc tính dùng để phát hiện té ngã

Theo [8], đối tượng đã trích sẽ được định dạng theo một hình elip, hình elip này sẽđược xác định nhờ vào tâm và độ dài của 2 bán trục Từ đó, xác định được góc đứng củađối tượng so với phương ngang và độ lệch tâm của elip Và theo nghiên cứu này kết luận

“té ngã” sẽ được hệ thống phát hiện dựa vào 3 đặc điểm:

 Tốc độ chuyển động của đối tượng

 Tốc độ thay đổi góc đứng của đối tượng

 Tốc độ thay đổi độ lệch tâm

Nhóm nghiên cứu này viết chương trình với ngôn ngữ matlab và cũng đã nêu ra một sốkhuyết điểm của hệ thống như tốc độ xử lý chậm, gặp khó khăn trong việc quản lý tàinguyên hệ thống, có thể được khắc phục nếu dùng ngôn ngữ khác như C++ [8]

Chính vì vậy, các phần sau của chương sẽ phân tích để hướng đến viết chương trình sửdụng ngôn ng ữ C++ cùng với việc ứng dụng thư viện OpenCV Thêm vào đó, nhiệm vụcủa hệ thống là phải trích ra các thuộc tính qua mỗi khung hình; để thuận lợi cho việctrích và sử dụng các thuộc tính, mã nguồn chương trình sẽ được viết theo lập trình C++hướng đối tượng Với kết quả của nhóm nghiên c ứu trên và cơ sở dữ liệu thu thập được,

đồ án này sẽ sử dụng 5 thuộc tính để phát hiện sự té ngã, điều này giải quyết một số khókhăn trước đây trong các hệ thống video thông minh phát hiện té ngã đồng thời nâng caohiệu suất của hệ thống

 Góc đứng tức thời của đối tượng (current Angle)

 Tốc độ chuyển động của đối tượng (CMotion)

 Tốc độ thay đổi góc đứng của đối tượng (CTheta)

 Độ lệch tâm tức thời của elip (Eccentricity)

 Tốc độ thay đổi trọng tâm đối tượng theo phương thẳng đứng (CCentroid) Trong đó, “current Angle” là góc đứng của đối tượng hay góc giữa trục dài của elipvới phương ngang; “CMotion” là tỷ số được tính từ khung hình hiện tại và một số xácđịnh các khung hình trước đó; “CTheta” là độ lệch chuẩn được tính từ các góc đứng củađối tượng trong một số các khung hình xác định; “Eccentricity” là độ lệch tâm của elip

trong khung hình đang xét; “CCentroid” là độ lệch chuẩn được tính từ các tung độ củatrọng tâm trong một số các khung hình xác định.

3.4 Tọa độ trọng tâm đối tượng

Đồ án này hướng đến phát hiện té ngã ở người cao tuổi và phát cảnh báo yêu cầu giúp

đỡ; do đó, chỉ cần xem xét đối tượng ở một mình và chỉ khảo sát 1 đối tượng trong thị

trường của camera, còn lại có th ể coi là nhiễu

Từ điều kiện trên và ứng với mỗi khung hình nhị phân (điểm ảnh trắng là đối tượng,điểm ảnh đen là nền), tọa độ trọng tâm (O) của đối tượng có thể được xác định như sau:

- Hoành độ là trung bình cộng tất cả các hoành độ của điểm ảnh trắng

- Tung độ là trung bình cộng tất cả các tung độ của điểm ảnh trắng

3.5 Định dạng Elip bao quanh đối tượng

3.5.1 Góc đứng của đối tượng

Sau khi xác định được tọa độ trọng tâm của đối tượng, hệ thống sẽ tính góc quay củaelip hay góc giữa trục dài elip với phương ngang (θ) , đường thẳng chứa trục dài của elipđược xác định bởi tọa độ trọng tâm và góc θ Góc θ cũng chính là góc đứng tức thời củađối tượng cũng chính là góc tạo bởi đường thẳng nối trọng tâm (O) đến điểm xa nhất phíađầu hoặc chân của đối tượng với phươngngang

Khoảng giá trị của góc θ được xác định trong đoạn:

Mục đích của việc chọn miền xác định như trên giúp cho quá trình phân biệt đối tượng

té trực diện camera hay té về 2 bên dễ dàng hơn, công thức tính và giới hạn góc đứng củađối tượng sẽ được phân tích kỹ hơn trong chương tiếp theo của đồ án

- Tung độ có giá trị nhỏ hơn tung độ trọng tâm (O)

- Hiệu của góc tạo bởi đường thẳng xuất phát từ trọng tâm (O) đến nó so với phươngngang và góc θ không vượt quá Δθ cho trước

Tọa độ O2 được xác định: hoành độ và tung độ của O2 tương ứng bằng trung bình cộngcủa hoành độ và tung độ các điểm trắng thỏa mãn 2 điều kiện sau:

- Tung độ có giá trị nhỏ hơn tung độ trọng tâm (O)

- Hiệu của góc tạo bởi đường thẳng xuất phát từ trọng tâm (O) đến nó so với phươngngang và góc (θ + ) không vượt quá Δθ cho trước

3.5.3 Xác định độ lớn hai bán trục

Lúc này độ lớn bán trục dài (a) và bán trục ngắn (b) được tính như sau

3.6 Phân tích các thuộc tính dùng để phát hiện té ngã

Sau quá trình chuẩn bị như trên (xác định trọng tâm đối tượng và định dạng elip), bướctiếp theo hệ thống sẽ xác định giá trị của các thuộc tính dùng để phát hiện té ngã

3.6.1 Góc tức thời của đối tượng (current Angle)

Góc tức thời chính là góc đứng của đối tượng trong khung hình đang xét, cũng chính

3.6.2 Tốc độ chuyển động của đối tượng (C Motion )

Như đã biết, độ sáng của một ảnh xám có giá trị trong đoạn [0, 255], trong đó giá trị 0

là đen nhất và 255 là trắng nhất Tốc độ chuyển động của đối tượng sẽ được xác địnhthông qua một khung ảnh xám trong đó các điểm ảnh đen được cho là nền, điểm ảnhtrắng là điểm ảnh nổi trên nên tại khung hình đang xét (nói cách khác, tập các điểm trắngchính là đối tượng vừa trích được tại khung hình đang xét), tại cùng một vị trí về thờigian các điểm ảnh xám chính là điểm ảnh trắng của các khung hình trước đó Độ sángcủa các điểm ảnh xám này tăng dần theo thời gian xuất hiện các khung hình chứa điểmảnh trắng ở cùng vị trí Chính vì vậy, khung ảnh xám dùng để xác định tốc độ chuyểnđộng của đối tượng còn gọi là ảnh lưu lịch sử chuyển động (MHI – Motion History

Image)

Trong hình 3.3, “White pixel” là số điểm ảnh trắng, “Gray pixel” là số điểm ảnh xám Tốc độ chuyển động của đối tượng (CMotion) được xác định như sau:

CMotion = Gray pixel

Gray pixel+White pixel(3.2)

3.6.3 Tốc độ thay đổi góc đứng của đối tượng (C Theta )

Xét tại khung hình thứ t nào đó, hệ thống sẽ tính CTheta dựa vào các giá trị “currentAngle” của n khung hình từ khung hình thứ (t-n+1) đến khung hình thứ t (với n≤t).Hình 3 3-MHI của chuyển động bước

đi

CTheta chính là độ lệch chuẩn của n “current Angle” trong n khung h.nh nêu trên với n làmột số cho trước Ví dụ hình 3.2, Ctheta = 0.890 chính là CTheta cần xác định

3.6.4 Độ lệch tâm tức thời của elip (Eccentricity)

Độ lệch tâm tức thời của elip chính là tâm sai của elip tại khung hình đang xét

Theo định nghĩa về hình elip, tâm sai chính là tỷ số giữa tiêu cự (2c) và độ lớn trụcdài(2a), hay cũng chính là tỷ số giữa bán tiêu cự (c) và độ lớn bán trục dài (a) Tâm saielip sẽ là:

Trong ví dụ hình 3.2, CCentroid có giá trị bằng 1.676 (CCentr)

3.7 Phân tích khả năng kết hợp của các thuộc tính

Hệ thống IVA đã thu thập được 5 thuộc tính, một quyết định phát cảnh báo “FallDetection” sẽ là kết quả của sự kết hợp các thuộc tính với mức ngưỡng thực nghiệm Với

hệ thống dùng 1 camera, cần phân biệt 2 khả năng té ngã trong thị trường của camera:

- Trường hợp 1: Té ngã trực diện camera (TH1)

- Trường hợp 2: Té ngã về 2 phía của camera (TH2)

Với 5 thuộc tính sẵn có của hệ thống, có thể nhận xét như sau:

- “Current Angle”: dùng để xác định đối tượng có khả năng té trong TH1 hay TH2

- CMotion: trong TH1 hay TH2 thì khi té ngã CMotion cũng phải đạt được một mức

ngưỡng nào đó, nên CMotion sẽ được dùng trong t ất cả các điều kiện phát cảnh báoté.

- CTheta: trong TH1 thì CTheta rất bé, tức là “Current Angle” hầu như không đổi; do đó,trong TH1 thì không cần sử dụng thuộc tính này Tuy nhiên, trong TH2 thì CTheta

lại là một điểm mạnh dùng để xác định đối tượng có té ngã hay không vì sự thayđổi “Current Angle” rất rõ ràng nên C Theta sẽ rất lớn

- Eccentricity: trong TH1, Eccentricity sẽ khá nhỏ; ngược lại trong TH2 thì sẽ tươngđối lớn

- CCentroid: đây là thuộc tính đặc biệt dùng để nhận biết đối tượng té theo kiểu lăn từmột vị trí cao đến vị trí thấp hơn hoặc té theo kiểu khuỵu chân và ngồi thẳngxuống, lúc này “Current Angle” có thể phân biệt được TH1 và TH2, CMotion có mộtmức ngưỡng khác, trong khi đó CTheta rất nhỏ và Eccentricity có th ể lớn hoặc nhỏtùy thu ộc vào góc quay nên không thể sử dụng 2 thuộc tính này, từ đó việc quyếtđịnh phát cảnh báo té hay không rất khó khăn; vì vậy thuộc tính CCentroid lúc này sẽgiúp cho việc phát cảnh báo chính xác hơn

Từ những nhận xét trên, có thể kết luận khả năng kết hợp các thuộc tính như sau:

- Không thể dùng 1 hoặc 2 thuộc tính để xác định té hay không, vì như vậy quáthiếu dữ kiện

- Current Angle và CMotion là 2 thuộc tính bắt buộc và nhất thiết phải được dùngtrong tất cả các điều kiện phát cảnh báo

- CTheta kết hợp với 2 thuộc tính bắt buộc để phát hiện ra TH2

- Eccentricity kết hợp với 2 thuộc tính bắt buộc để phát hiện ra TH1

- CCentroid kết hợp với 2 thuộc tính bắt buộc để phát hiện trường hợp té theo tư thế lăn

từ cao xuống thấp hoặc khuỵu chân đã nêu ở trên

- Ngoài 2 thuộc tính bắt buộc, có thể kết hợp cùng lúc cả CTheta và Eccentricity đểnhận ra trường hợp TH2 khi CMotion khá bé (có thể do đối tượng lúc sắp té gượnglại theo phản xạ làm CMotion giảm mạnh)

- Không cần thiết phải kết hợp CCentroid với CTheta hoặc Eccentricity vì ngoài các

trường hợp té đặc biệt cần dùng C Centroid thì các trường hợp khác khi sử dụng CTheta

hoặc Eccentricity, điều kiện phát hiện té ngã đã bao hàm được CCentroid

3.8 Kết luận chương

Như vậy, qua chương này có thể thấy hệ thống “phát hiện sự té ngã” từ 5 thuộc tínhchủ đạo: góc quay hay góc c ủa trục dài elip với phương ngang (current Angle), tốc độchuyển động (CMotion), tốc độ thay đổi góc quay elip (CTheta), độ lệch tâm (Eccentricity),tốc độ thay đổi trọng tâm theo phương thẳng đứng (CCentroid) Sự phối hợp của năm thuộctính được phân tích ở trên cho ta cơ sở để nhận dạng hoàn chỉnh các trường hợp té ngã ởnhiều tình huống khác nhau một cách chính xác

Chương 4: Chương trình và kết quả

Chương 4:

CHƯƠNG TR ÌNH VÀ KẾT QUẢ 4.1 Giới thiệu chương

Ở các chương trước của đồ án đã khái quát các bước của quá trình xử lý của hệthống để phát hiện tai nạn té ngã Chương này sẽ tập trung vào việc phân tích lưu đồ giảithuật và viết chương trình cho hệ thống Như đã đề cập ở các chương trước, chương trìnhđược viết bằng ngôn ngữ C++ hướng đối tượng sử dụng thư viện mã nguồn mở OpenCV.Phần tiếp theo của chương sẽ xem xét, đánh giá kết quả với cơ sở

dữ liệu đã xây dựng được Phần cuối cùng của chương là kết quả thực nghiệm, nhận xéttổng quát về toàn bộ quá trình từ đó đánh giá ưu, nhược điểm của phương pháp và trìnhbày những gì đã làm được, chưa làm được để có hướng phát triển cho đề tài

4.2 Cấu trúc chương trình và lưu đồ thuật toán

4.2.1 Cấu trúc chương trình

Như đã đề cập, chương trình được viết bằng ngôn ngữ C++ hướng đối tượng sửdụng thư viện mã nguồn mở OpenCV, chương trình gồm 3 class: Block, Frame, IVA.Nhiệm vụ của các class như sau:

- Block : Dùng cho hướng phát triển ước lượng nền phân chia khung hình ra thànhcác khối (block)

- Frame : Xử lý video ở cấp frame, sau khi phân chia video thành các khung hình,lớp này sẽ có các thuộc tính, phương thức để xử lý các khung hình

- IVA : Lớp IVA hay lớp hệ thống thực hiện nhiệm vụ của một hệ thống phântích thông minh, gồm các thuộc tính và phương thức dùng để phân tích, tổng hợp

điều kiện, phát cảnh báo…

Xem hệ thống phân tích thông minh video là một đối tượng thuộc lớp IVA Đốitượng IVA có thành viên chính như sau:

- *capture: con trỏ trỏ đến video

Trang 31