Nghiên cứu kỹ thuật phân tích đám đông trong giám sát tự động dựa vào thị giác máy

Tuy nhiên, các đặctrưng được sử dụng vẫn chưa thể hiện được độ phức tạp và tính ngữ nghĩa củacảnh đám đông do hầu hết các đặc trưng này đều nghiên cứu trên những cảnhđám đông nhất định.T

TRẦN VĂN THÀNH

NGHIÊN CỨU KỸ THUẬT PHÂN TÍCH ĐÁM ĐÔNG TRONG GIÁM SÁT TỰ ĐỘNG

DỰA VÀO THỊ GIÁC MÁY

Chuyên ngành: Khoa học máy tính

Mã số: 08.48.01.01

Người hướng dẫn: TS Lê Thị Kim Nga

Em xin gửi lời cảm ơn chân thành và sâu sắc nhất đến:

- Cô TS.Lê Thị Kim Nga - Viện trưởng Viện nghiên cứu ứng dụngKH&CN, Giảng viên Khoa Công nghệ thông tin (Trường Đại học Quy Nhơn) đãdành nhiều thời gian, công sức, hỗ trợ và hướng dẫn tận tình em trong quá trìnhthực hiện đề tài, giúp em hoàn thành luận văn này một cách thuận lợi nhất;

- Quý thầy cô Khoa Công nghệ thông tin (Trường Đại học Quy Nhơn) đãtích cực giảng dạy, cung cấp những kiến thức chuyên môn và thiết thực trongquá trình học tập, giúp em hiểu sâu hơn những nội dung liên quan phục vụcho việc nghiên cứu đề tài này;

- Quý lãnh đạo cơ quan đã tạo điều kiện thuận lợi nhất về thời gian, sắp sếp công việc để em theo đuổi và hoàn thành khóa học

Một lần nữa, em thành thật cảm ơn và trân trọng gửi đến quý thầy cô,quý lãnh đạo cơ quan lời chúc tốt đẹp nhất trong sự nghiệp cũng như trongcuộc sống

Bình Định, ngày tháng năm 2020

Học viên

Trần Văn Thành

Tôi xin cam đoan, toàn văn đề tài nghiên cứu trên là do tôi tự vận dụngkiến thức đã học, tìm hiểu qua nhiều kênh thông tin và biên tập, có tham khảotài liệu liên quan, có chọn lọc và không sao y toàn văn của những đề tài đãcông bố chính thức, không quy phạm quyền tác giả Các số liệu, kết quả nêutrong luận văn là trung thực và có tham chiếu nguồn gốc rõ ràng.

Bình Định, ngày tháng năm 2020

Học viên

Trần Văn Thành

MỞ ĐẦU

1 Lý do chọn đề tài

Ngày nay, khoa học máy tính (Computer Science) xuất hiện thay đổihoàn toàn thế giới của chúng ta, thị giác máy (Computer Vision) là một tronglĩnh vực trí tuệ nhân tạo (Artificial Intelligence) nhằm giúp máy tính có đượckhả năng nhìn và hiểu giống như con người Thị giác máy được định nghĩa làmột lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phântích và nhận dạng các hình ảnh, nói chung là dữ liệu đa chiều từ thế giới thực

để cho ra các thông tin số

Với sự gia tăng dân số và sự đa dạng của các hoạt động con người, hoạtđộng của đám đông diễn ra ở những nơi công cộng thường xuyên hơn bao giờhết Từ đó mang đến các thách thức lớn trong việc quản lý an ninh, an toàn,giám sát hoạt động đang diễn ra ở những nơi này Khi theo dõi một đám đôngđòi hỏi phải theo dõi một số lượng lớn các cá nhân và các hoạt động của họ,

đó là một thách thức đáng kể đối với sự giám sát của con người

Để giám sát quản lý các nơi này, đồng thời hỗ trợ việc giám sát thủ côngtruyền thống Trong hơn thập kỷ qua, các hệ thống giám sát tự động đã đượcnghiên cứu và đưa vào thực tế Mặc dù, đã có nhiều giải thuật được phát triển

để theo vết, nhận biết và hiểu các hành vi của các đối tượng khác nhau trongvideo, nhưng hầu như các giải thuật này được thiết kế cho những cảnh vớimật độ dân số thấp Khi áp dụng lên những cảnh đám đông thì việc xử lý gặpkhó khăn khi số lượng cá thể lớn, không chỉ bị sai lệch trong việc phát hiện vàtheo vết, mà còn làm cho quá trình tính toán trở nên phức tạp hơn Với nhucầu thực tế như vậy, chủ đề nghiên cứu phân tích đám đông trở thành mộthướng nghiên cứu quan trọng Bài toán phân tích đám đông được mô phỏngqua quá trình 3 giai đoạn nối tiếp tương tự cách con người nhìn: mô phỏng

mắt (thu nhận), mô phỏng vỏ não thị giác (xử lý) và mô phỏng phần còn lạicủa bộ não (phân tích) Các thông tin về đám đông rất đa dạng và có cấu trúcphức tạp, các nghiên cứu gần đây tập trung vào việc lựa chọn và sử dụng cácđặc trưng để biểu diễn khái niệm đám đông trong video Tuy nhiên, các đặctrưng được sử dụng vẫn chưa thể hiện được độ phức tạp và tính ngữ nghĩa củacảnh đám đông do hầu hết các đặc trưng này đều nghiên cứu trên những cảnhđám đông nhất định.

Từ những lý do ở trên, tôi chọn đề tài Nghiên cứu kỹ thuật phân tích đám đông trong giám sát tự động dựa vào thị giác máy là nội dung nghiên

cứu luận văn Thạc sĩ

2 Mục tiêu nghiên cứu

Trích xuất một số loại thông tin từ các chuỗi video đông đúc, nhữngthông tin này là cơ sở để có thể phát triển một số ứng dụng sau này như pháthiện chuyển động, ước tính mật độ đám đông, phát hiện hành vi

Nghiên cứu các kỹ thuật cho bài toán phân tính đám đông Xây dựngchương trình thử nghiệm và đánh giá các phương pháp ứng dụng trong giámsát tự động dựa vào thị giác máy

3 Đối tƣợng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu

- Các video hoặc hình ảnh camara trực tiếp

- Một số kỹ thuật xác định những thông tin liên quan đến đám đông trêncamera giám sát

3.2 Phạm vi nghiên cứu

Các kỹ thuật được áp dụng trong phạm vi dữ liệu khung hình camera, có thể là luồng video trực tiếp hoặc từ file video lưu trữ trên ổ cứng Dữ liệu thể

hiện một góc nhìn của vùng không gian địa lý được thu nhận dưới ống kínhcamera Dữ liệu có thể từ một hoặc nhiều camera riêng lẻ quan sát nhiều góckhác nhau của một khu vực địa lý.

4 Phương pháp nghiên cứu

Phương pháp nghiên cứu của đề tài được lựa chọn là lý thuyết kết hợpvới thực nghiệm Các vấn đề cần giải quyết liên quan đến các thuật toán và lýthuyết truyền thông mạng, xử lý ảnh, thị giác máy và đồ họa máy tính đượcthực hiện trên phần mềm máy tính với đầu vào là các thông tin thu nhận được

từ thực tế Quá trình được tiến hành dựa trên việc tìm hiểu tài liệu, cài đặt thửnghiệm sau đó đánh giá kết quả thực nghiệm và cải tiến nhằm nâng cao chấtlượng hệ thống

Như vậy, cần tiến hành tìm hiểu lý thuyết về hệ thống camera giám sát,các kỹ thuật phát hiện chuyển động, phát hiện đối tượng cũng như bám sát đốitượng trên khung hình camera Tìm hiểu kỹ thuật về mặt lý thuyết sẽ được kếthợp với việc cài đặt thực nghiệm trên dữ liệu luồng hình ảnh từ camera đểkiểm chứng và đánh giá những nội dung lý tìm hiểu lý thuyết và từ đó cải tiến

và hoàn thiện chương trình

5 Ý nghĩa của đề tài

5.2 Ý nghĩa thực tiễn:

Việc xuất hiện những bất thường ở những khu vực công cộng, đặc biệt là

sự xuất hiện cũng như diễn biến của những đám đông là một vấn đề thời sựđối với xã hội Việc có thể phát hiện và có những đánh giá kịp thời là vấn đề

có ý nghĩa quan trọng đối với những người làm công tác an ninh và kể cả vớinhững người dân bình thường

6 Cấu trúc luận văn

Các nội dung sẽ được được trình bày có cấu trúc như sau:

- Phần Mở đầu: Khái quát lý do; Mục tiêu, đối tượng và phạm vi nghiên cứu; Phương pháp nghiên cứu

- Phần Nội dung: Nội dung nghiên cứu được cụ thể hóa trong 3 Chương:+ Chương 1: Tổng quan về đề tài nghiên cứu

+ Chương 2: Một số kỹ thuật phân tích đám đông trong giám sát tự động.+ Chương 3: Chương trình thử nghiệm

- Phần Kết luận: Kết quả đạt được về mặt lý thuyết và thực nghiệm,những hạn chế trong quá trình thực hiện, đề xuất hướng phát triển trong thời giantới

Chương 1 TỔNG QUAN VỀ ĐỀ TÀI NGHIÊN CỨU

1.1 Tình hình nghiên cứu của đề tài

Nghiên cứu về hành vi của con người là một chủ đề rất được quan tâmcủa khoa học và có lẽ là một nguồn nghiên cứu vô tận Với sự cải tiến của các

kỹ thuật thị giác máy, một số ứng dụng trong lĩnh vực này, như giám sátvideo, hiểu hành vi của con người hoặc đo lường hiệu suất thể thao, đã được

xử lý bằng các kỹ thuật tự động hoặc bán tự động Tuy nhiên, vẫn còn một sốthách thức phức tạp, khiến đề tài này có liên quan về mặt nghiên cứu

Đám đông được tạo thành từ các bộ phận của cá nhân độc lập, theo đómỗi người trong số họ có mục tiêu riêng và mô hình hành vi khác với dự kiến

cá nhân từ những người tham gia [1] Hiện tại các hệ thống thương mại đượcphát triển để theo dõi, công nhận và hiểu hành vi của rất nhiều đối tượng sửdụng một hoặc nhiều máy quay video, xử lý thông tin trong một hoặc nhiềumáy tính Phân tích đám đông liên quan đến việc giải thích dữ liệu thu đượcbằng cách nghiên cứu chuyển động tự nhiên của các nhóm hoặc đối tượng

Áp dụng một vài thuật toán theo dõi những người tập trung trong cảnhđám đông để khám phá hành vi dự kiến của đám đông Khám phá các khíacạnh tâm lý xã hội của đám đông, như phát hiện nhóm và phân loại dựa trênkhông gian cá nhân hoặc mô hình lực lượng xã hội được là một xu hướng đểphát hiện bất thường trong cảnh đám đông [4]

Ứng dụng đồ họa máy tính có thể giúp thị giác máy giám sát trong cácứng dụng của đám đông và ngược lại Một thách thức lớn trong phân tích đámđông là việc tạo ra các hình ảnh hoặc chuỗi video chân thực có thể được sửdụng cho mục đích huấn luyện hoặc nhận dạng Hình ảnh hoặc các chuỗivideo được tạo bởi các thuật toán đồ họa máy tính có thể được sử dụng để xácnhận các thuật toán thị giác máy [2]

Các thuật toán tổng hợp đám đông cũng có thể được hưởng lợi từ thôngtin thu được từ cuộc sống đọc bằng thuật toán thị giác máy Trong thực tế, hầuhết các kỹ thuật mô phỏng đám đông hiện có yêu cầu một số loại kích thíchchuyển động để hướng dẫn các tác nhân ảo, có thể có được thông qua cácthuật toán theo dõi Kích thích như vậy có thể được thu được trong các cảnhkhông và được sử dụng để ước tính các kịch bản trong một kịch bản đông đúchơn hoặc được trích xuất trực tiếp từ trình tự dày đặc hơn [13].

Tóm lại, phân tích đám đông trong giám sát tự động dựa vào thị giácmáy có lẽ về lâu dài là một vấn đề trọng tâm của các nhà nghiên cứu Vấn đềnày đưa ra những thách thức về sự phức tạp lớn có thể liên quan đến các nhànghiên cứu một số lĩnh vực và bối cảnh Đặc biệt, việc tích hợp thị giác máy

và đồ họa máy tính trở nên phổ biến hơn trong cả phân tích và tổng hợp đámđông

1.2 Khái quát về đám đông

1.2.1 Giới thiệu chung

Đám đông (Crowd) là do các nhóm hoặc đối tượng tập trung Việc phântích đám đông (Crowd analysis) liên quan đến việc giải thích dữ liệu thu đượckhi nghiên cứu sự chuyển động tự nhiên của các nhóm hoặc đối tượng [1].Phân tích đám đông được xem như một cuộc khảo sát sử dụng các kỹ thuật thịgiác máy bao gồm các khía cạnh khác nhau như theo dõi con người, ước tínhmật độ đám đông, phát hiện sự kiện, xác nhận và mô phỏng Phân tích đámđông cũng có một loạt các ứng dụng như quản lý đám đông, thiết kế khônggian công cộng, môi trường ảo, giám sát trực quan và môi trường thôngminh Thách thức lớn trong phân tích đám đông là tạo ra các hình ảnh hoặcchuỗi video mặt đất, có thể được sử dụng cho mục đích huấn luyện hoặc nhậndạng [9]

đồ họa máy tính được thực hiện trên phần mềm máy tính với đầu vào là cácthông tin thu nhận được từ thực tế Quá trình được tiến hành dựa trên việc tìmhiểu tài liệu, cài đặt thử nghiệm sau đó đánh giá kết quả thực nghiệm và cảitiến nhằm nâng cao chất lượng hệ thống.

Như vậy, cần tiến hành tìm hiểu lý thuyết về hệ thống camera giám sát,các kỹ thuật phát hiện chuyển động, phát hiện đối tượng cũng như bám sát đốitượng trên khung hình camera Tìm hiểu kỹ thuật về mặt lý thuyết sẽ được kếthợp với việc cài đặt thực nghiệm trên dữ liệu luồng hình ảnh từ camera đểkiểm chứng và đánh giá những nội dung lý tìm hiểu lý thuyết và từ đó cải tiến

và hoàn thiện chương trình

1.2.2.2 Một số thách thức phân tích thuộc tính đám đông:

Dữ liệu phân tích là video, nên khối lượng lưu trữ và xử lý lớn Ngoài ra,chất lượng của video cũng ảnh hưởng nhiều đến kết quả nghiên cứu

Các bài toán phân tích video và hiểu cảnh thường liên quan tới phát hiệnđối tượng, theo dõi và ghi nhận hành vi nhưng đối với đám đông, do có rấtnhiều sự hỗn loạn, sự mơ hồ, nên các phương pháp thông thường sẽ khôngphù hợp Các cơ chế của một đám đông con người rất phức tạp, đám đông nàybiểu lộ sự chuyển động và cả các đặc tính tâm lý học, cả hai đều có thể địnhhướng mục tiêu Điều này gây ra khó khăn trong việc tìm ra một mức độ thíchhợp cho sự năng động của đám đông [6]

Trước đây, tập dữ liệu nghiên cứu còn khá nhỏ, với ít đặc trưng được xâydựng Trong quá trình phân tích đám đông, những hành vi cụ thể của đámđông cần phải được phát hiện và phân loại, ngay cả các hành vi hiếm gặp vàkhó mô tả

Chất lượng video huấn luyện thấp, nhiều video có độ dài rất ngắn do quátrình tập hợp, nén, lưu trữ không tốt Do đó dễ có một tập dữ liệu chuẩn cholĩnh vực phân tích đám đông thật sự là một thách thức lớn

1.2.2.3 Phân loại phân tích đám đông:

Phân tích những thông tin của đối tượng trong đám đông là đầu vào cầnthiết cho việc dự đoán kết quả về thông tin của đối tượng như đối tượngchuyển động, hành vi đối tượng, kết cấu của đám đông từ đó xây dựng đượccác mô hình theo dõi bám sát được các hành vi của đối tượng trong đám đông.Việc phân tích đám đông được phân loại qua 3 quá trình phân tích là tiền xử

lý, theo dõi và phát hiện hành vi [10]

Hình1.2 Mô hình phân loại phân tích đám đông

 Phân tích dựa trên Pixel: Phân tích dựa trên pixel phụ thuộc vào cáctính năng rất cục bộ để ước tính số lượng người trong một cảnh đám đông.Bởi vì phương pháp này sử dụng các tính năng cấp thấp, hầu hết các phươngpháp dựa trên pixel tập trung vào ước tính mật độ đám đông thay vì xác địnhcác cá nhân Hầu hết các kỹ thuật sử dụng một kỹ thuật nền loại bỏ như làbước đầu tiên, ví dụ, phép trừ nền được sử dụng chỉ trên hình ảnh tham chiếuhoặc nền tự động máy phát điện để có được hình ảnh mặt đất nhân tạo

 Phân tích dựa trên cấp độ kết cấu: Phân tích cấp độ kết cấu khám phácác tính năng cấp cao khi so với các cách tiếp cận dựa trên pixel, chủ yếu làđược sử dụng để ước tính số lượng người trong cảnh hơn là xác định cá nhân.Những hình ảnh dày đặc đám đông có xu hướng trình bày kết cấu tốt, trongkhi hình ảnh của đám đông mật độ thấp có xu hướng trình bày kết cấu thô.

 Phân tích dựa trên cấp độ đối tượng: Các phương pháp dựa vào phântích mức đối tượng cố gắng xác định đối tượng cá nhân trong cảnh Họ có xu

hướng sản xuất nhiều hơn thông tin chính xác khi so sánh với mức pixel phântích hoặc phân tích mức độ kết cấu, nhưng xác định các cá nhân trong mộthình ảnh hoặc một chuỗi video là chủ yếu là khả thi trong đám đông mật độthấp hơn Trong dày đặc hơn đám đông, sự lộn xộn và sự xuất hiện nghiêmtrọng làm cho cá nhân vấn đề đếm gần như không thể giải quyết

 Phân tích dựa trên cấp độ khung: Hành vi mô hình phân tích mức khung hình của toàn cảnh trong phạm vi quan sát của một máy ảnh

 Tiếp cận (theo dõi) đối tượng: Tiếp cận đối tượng trong một đámđông nhằm để giảm thiểu các rủi ro như tắc, cường độ màu, chiếu sáng điều kiện,ngoại hình, các phương pháp tiếp cận như sau:

- Phương pháp tiếp cận dựa trên khu vực: Là một tầm nhìn máy tính

mạnh mẽ trong cảnh đám đông không bị giới hạn đó là thông tin như vậy nhưmật độ, hướng và vận tốc được trích xuất bằng cách sử dụng kỹ thuật dòngquang Luồng quang là để tính toán pixel tức thời chuyển động giữa khungliên tiếp Lưu lượng quang mạnh đến nhiều và chuyển động đồng thời củamáy ảnh và đối tượng, và được sử dụng rộng rãi trong phát hiện và phân chiachuyển động đám đông

- Phương pháp tiếp cận dựa trên đường viền hoạt động: Được sử dụng

để mô hình hóa nhắm mục tiêu một phần và để một số tiếng ồn Thôngthường đã được sử dụng một biểu đồ màu, tuy nhiên Điểm yếu bằng cách sửdụng kỹ thuật này hầu như không thay đổi biểu đồ màu khi suy yếu với đốitượng tương tự như đứng đầu trong một đám đông.

- Cách tiếp cận dựa trên đặc trưng: được trình bày trong hình ảnh tính

năng bởi mô tả các tính năng cấp blob Các ví dụ là kích thước, hình dạng, độgiãn dài, biểu đồ độ chói và biểu đồ chuyển vị

- Phương pháp tiếp cận dựa trên mô hình: có thể giải quyết hợp nhất

blob và chia hạn chế Cách tiếp cận này được sử dụng để phân khúc và theo dõinhiều người tắc Phân tích hình ảnh từ dưới lên là được sử dụng để cải thiện hiệuquả trong tầm nhìn máy tính

 Nhận diện sự kiện/hành vi: Một quy trình quan trọng khác trong phântích đám đông là nhận diện sự kiện/ hành vi Nhận diện sự kiện/hành vi có thểđặc trưng bởi các mẫu chuyển động thường xuyên như hướng, tốc độ,… Giámsát và mô hình hóa đám đông không quá nhiều để phân tích hành vi đám đôngbình thường, nhưng để phát hiện một cái gì đó hành vi khác nhau, đó được gọi

là bất thường hoặc không bình thường, các phương pháp nhận diện như sau:

- Nhận diện theo phương pháp tiếp cận dựa trên đối tượng: Một đám

đông được phân tích bằng cách điều trị bộ sưu tập cá nhân ước tính vận tốc,

hướng và bất thường chuyển động Sự phức tạp xảy ra khi sự tắc nghẽn tồn tại

có thể ảnh hưởng đến quá trình phân tích như phát hiện của đối tượng, theodõi quỹ đạo và nhận ra Hoạt động trong một đám đông dày đặc Hai cách tiếpcận được gọi là tính tương quan và hàm nhị phân Đặc tính tương quan được

sử dụng để vị trí trung tâm của đầu trong khi đầu nhị phân được định nghĩa đểthể hiện khoảng cách giữa Các tác nhân

- Nhận diện theo phương pháp tiếp cận toàn diện: Một đám đông được

phân tích bằng cách ứng với một thực thể duy nhất để ước tính vận tốc, hướng vàchuyển động bất thường Các phân tích bao gồm cảnh mật độ trung bình

đến cao trong khung hình Tuy nhiên, sử dụng phương pháp tổng thể ứngdụng vẫn còn một điểm yếu bởi vì trong hình ảnh đám đông dày đặc của đốitượng có độ phân giải thấp và bao gồm các phần tĩnh và động Như vậy lấytham số ước lượng chính xác hơn, dựa trên cách tiếp cận đối tượng tốt hơn

1.3 Hệ thống camera giám sát tập trung

1.3.1 Giới thiệu về hệ thống camara giám sát tập trung

Hiện nay, trên thế giới các hệ thống giám sát tập trung bằng hình ảnh đãđược phát triển và đã chứng minh được hiệu quả nhất định trên một số lĩnhvực như giám sát hoạt động con người, giám sát giao thông, Từ các hìnhảnh thu được từ những nơi được quan sát, ta có thể phát hiện được chuyểnđộng của các đối tượng trong các khung hình, xác định được đối tượng đó làngười, phương tiện hay vật thể gì Nhiều hệ thống đã được nghiên cứu và pháttriển Chẳng hạn, với bài toán giám sát giao thông có thể cho chúng ta biếtđược số lượng phương tiện lưu thông qua đoạn đường được theo dõi, đưa rathông tin về tốc độ chuyển động, đường đi của đối tượng được theo dõi Tuynhiên, các hệ thống vẫn gặp phải một số tồn tại như hiệu quả của việc quan sátluôn phụ thuộc vào điệu kiện môi trường quan sát, kiểu chuyển động của đốitượng hay các lý do khách quan khác Vì vậy, các hệ thống này vẫn còn đangđược nhiều nhà khoa học, trung tâm nghiên cứu trên thế giới và Việt namquan tâm phát triển.

Hệ thống camara giám sát tập trung là hệ thống thiết bị camera được đặttại trung tâm giám sát từ xa, có khả năng giám sát và lưu trữ các số liệu vềhoạt động của hệ thống

Hệ thống camara giám sát tập trung quản lý tất cả camera từ xa, xem trựctiếp trên tivi, có thể nâng cấp thời gian lưu trữ tùy theo nhu cầu Quản lý đượcnhiều loại camera, tự động thông báo qua tin nhắn, email ngay khi có sự cốtrên hệ thống.

Hình 1.3 Mô hình hệ thống camara giám sát tập trung.

1.3.2 Vấn đề phát hiện đối tượng trên camera giám sát tập trung

Đầu vào của bài toán theo dõi và giám sát đối tượng chuyển động là cáckhung hình video Qua quá trình xử lý phát hiện đối tượng chuyển động(Object Detection ) sẽ đưa ra các đối tượng chuyển động Các đối tượng đượcphát hiện sẽ qua quá trình phân lớp đối tượng (Object Classification) để xemthuộc lớp nào, sự vật nào Và cuối cùng là quá trình xử lý để theo dõi đốitượng (Object Tracking) đó là việc tìm ra đường chuyển động của đối tượng,

dự đoán chuyển động, xử lý nhập nhằng trong chuyển động [8]

Khối phát hiện đối tượng chuyển động có thể coi là khối xử lý đầu tiên

trong hệ thống giám sát thông minh bằng hình ảnh Vì hiệu quả, tính chínhxác của khối xử lý này sẽ ảnh hưởng đến đầu vào và đầu ra của các khối xử lýtiếp theo Chính vì thế khối này ảnh hưởng lớn đến hiệu quả và tính tin cậycủa toàn hệ thống giám sát thông minh.

Phân loại đối tượng là khâu trung gian và đóng vai trò quan trọng trongtoàn hệ thống, vì đây là đầu vào của khối theo vết đối tượng và cũng là đầu racủa toàn bộ hệ thống Bởi vậy đây cũng là một phần không thể thiếu trongtoàn bộ hệ thống

Khối xử lý theo vết đối tượng là khối xử lý không thể thiếu trong hệthống giám sát thông minh vì hiệu quả của khối xử lý này ảnh hưởng trực tiếpđến đầu ra của toàn bộ hệ thống Do đó giải quyết tốt vấn đề theo vết đốitượng sẽ đưa lại tính chính xác và độ tin cậy cho hệ thống giám sát

Hình 1.4 Hệ thống camera kết nối về trung tâm xử lý hình ảnh

Việc xử lý của hệ thống giám sát thông minh bằng hình ảnh là việc phântích và xử lý hình ảnh video qua việc giải quyết các bài toán: Phát hiện cácđối tượng chuyển động, phân lớp đối tượng, theo dõi đối tượng,

1.4 Mô hình phân tích đám đông trong giám sát tự động dựa vào thị giác máy

1.4.1 Tổng quan về Thị giác máy

Công nghiệp 4.0 ngày càng phát triển, các phương tiện tự động hóa, cácthiế bị cảm biến tiến tiến ngày càng gia tăng Các công nghệ tiên tiến đem đếnmột cách thức thực hiện mới cho các nhiệm vụ ngày càng phức tạp hơn [2].Trong số các ngành khác nhau của trí tuệ nhân tạo, thị giác máy đang cóđược những động lực thúc đẩy đáng kể Thị giác máy được định nghĩa là mộtlĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích

và nhận dạng các hình ảnh, video, nói chung là dữ liệu đa chiều từ thế giớithực để cho ra các thông tin số hoặc biểu tượng Thị giác máy cũng được mô

tả là sự tổng thể của một dải rộng các quá trình tự động và tích hợp và các thểhiện cho các nhận thức thị giác

Hình 1.5 Tầm quan trọng của thị giác máy đối với trí tuệ nhân tạo.

Thị giác máy tính là thuật ngữ mô tả một tập hợp các công nghệ chophép các thiết bị máy tính, phần mềm, robot hoặc bất kỳ thiết bị nào; thunhận, phân tích và xử lý hình ảnh [3].

Các nguồn hình ảnh khác nhau có thể vô cùng đa dạng, có thể là hìnhảnh, video, dữ liệu 3D, dữ liệu từ máy quét y tế hoặc công nghiệp, Mục đích

là để cung cấp cho các thiết bị này khả năng “nhìn” và phản ứng tùy thuộcvào thông tin nhận được

Thị giác máy thường được so sánh với nhận dạng giọng nói Thị giácmáy có điểm khác với xử lý ảnh, xử lý ảnh là phân tích hình ảnh kỹ thuật sốhoặc thực hiện các thuật toán, bao gồm việc phân loại, trích xuất, chỉnh sửahoặc lọc,… Xử lý hình ảnh liên quan đến các công nghệ và phương phápđược sử dụng để gia tăng hình ảnh về khía cạnh thông tin, trong khi đó thịgiác máy tính hướng đến các hành động thực tế, mặc dù ứng dụng đầu tiêncủa thị giác máy là quản lý hình ảnh nhưng thị giác máy cũng có thể được sửdụng để thực hiện các hoạt động khác nhau bao gồm nhận dạng đối tượnghoặc phát hiện sự kiện [5]

Hình 1.6 Vai trò của thị giác máy trong nhận dạng và phát hiện đối tƣợng.

Cấu tạo của hệ thống thị giác máy thông thường được biểu diễn nhưHình 1.7 Máy quay phim CCD (Charge-Coupled Device) có thể ghi lại cácđối tượng cần nhận biết và phân tích dưới dạng hình ảnh Về bản chất, máyquay phim CCD là một cảm biến quang điện, thu nhận các tín hiệu quang họcphản ánh đối tượng, bối cảnh rồi chuyển thành tín hiệu điện để gi lại Bộ phậnthu nhận hình ảnh có thể hoạt động độc lập hoặc được gắn trực tiếp trong máytính ở dạng card thu nhận hình ảnh có thể chuyển tín hiệu của máy quay phimthu nhận được thành tín hiệu số, số hóa hình ảnh, để máy tính tiến hành xử lýcác loại yêu cầu Hệ thống chiếu sáng cho phép nâng cao độ chiếu sáng phùhợp hình ảnh thu nhận được, làm lợi cho xử lý và phân tích hình ảnh [6].

Hình 1.7 Cấu tạo hệ thống thị giác máy.

Quá trình mô phỏng thị giác máy qua quá trình 03 giai đoạn nối tiếp: môphỏng mắt (thu nhận), mô phỏng vỏ não thị giác (xử lý) và mô phỏng phầncòn lại của bộ não (phân tích):

Thu nhận: Vài chục năm qua, con người đã tạo ra các cảm biến, vi xử lý

hình ảnh giống (và ở mức độ nào đó còn tốt hơn) khả năng nhìn của mắtngười Những thấu kính lớn hơn, hoàn hảo về mặt quang học cùng các điểm

ảnh phụ bán dẫn nhỏ tới mức nano mét giúp các camera ngày nay có độ chínhxác và nhạy đáng kinh ngạc Camera có thể chụp hàng ngàn ảnh mỗi giây vànhận diện từ xa với độ chính xác cao Nói cách khác, phần cứng bị giới hạnkhi không có phần mềm - đến giờ vẫn là khó khăn lớn nhất Tuy vậy, camerangày nay cũng khá linh hoạt và làm nền tảng tốt để nghiên cứu.

Hình 1.8 Thị giác máy có khả năng nhìn và hiểu giống như con người.

Mô tả: Bộ não được xây dựng từ con số 0 với các hình ảnh dần dần lấp

đầy, Bộ não làm nhiệm vụ liên quan tới thị giác nhiều hơn bất kì công việcnào khác và việc này đều xuống tới cấp độ tế bào Hàng tỉ tế bào phối hợp đểlấy ra các hình mẫu, bắt được tín hiệu Một nhóm nơ-ron sẽ báo cho nhóm

khác khi có sự khác biệt dọc theo một đường thẳng (theo một góc, chuyển

động nhanh hơn hay theo một hướng khác) Các thông tin khác sẽ dần được

bổ sung như: đường tròn màu trắng, đường thẳng màu đỏ, kích thước tăngdần,… hình ảnh sẽ dẫn hiện ra khi các thông tin được thêm mới

Thấu hiểu: Chúng ta có thể xây dựng một hệ thống nhận diện được một

vật gì đó, từ bất kỳ góc nào, trong bất kỳ tình huống nào, dù đứng yên haychuyển động, dù bị hỏng hay còn nguyên nhưng vẫn không thể nhận diệnđược vật đó Đó chính là phần còn lại của bộ não, bộ nhớ ngắn/dài hạn, dữliệu từ các giác quan, sự chú ý, nhận thức, bài học khi tương tác với thế giới,

… được viết lên mạng lưới nơ-ron kết nối phức tạp hơn bất cứ thứ gì chúng tatừng thấy, theo cách mà chúng ta không thể hiểu

Hình 1.9 Nhận thức về một vật trong ảnh của thị giác máy.

1.4.2 Một số lĩnh vực ứng dụng của thị giác máy

Thị giác máy đang được sử dụng trong nhiều lĩnh vực như: An ninh, y tế,bán lẽ, ngân hàng, học máy, học sâu, thiết bị thông minh, phát hiện cháy, pháthiện động đất [2] Đặc biệt, Thị giác máy là một kỹ thuật tiên tiến nhất trongviệc phát hiện chuyển động trên video, ứng dụng phân tích hành vi đám đônghiện nay như: Dự đoán sự di chuyển khẩn cấp của đám đông, nhận diện cáchành vi, nhận diện khuôn mặt, nhận dạng giọng nói của con người,… để đưa

ra những kết quả, thông tin, dự đoán về hành vi của con người trong đám

đông hiệu quả nhấ [7]

(Face ID)

Hình 1.10 Mô hình một số lĩnh vực ứng dụng của thị giác máy

1.5 Kết luận Chương 1

Chương này đã trình bày tổng quan về bài toán phân tích đám đông,

cùng với các cách tiếp cận trong bài toán phân tích đám đông trên cơ sở ứng

dụng của thị giác máy, từ mô hình camera, các kỹ thuật trong phân tích đám

đông Ngoài ra, trong chương này cũng đã phân tích một số vấn đề thách thức

của bài toán phân tích đám đông cũng như các lĩnh vực ứng dụng của chúng

Chương 2 MỘT SỐ KỸ THUẬT PHÂN TÍCH ĐÁM ĐÔNG TRONG GIÁM SÁT TỰ ĐỘNG

2.1 Kỹ thuật phát hiện chuyển động

2.1.1 Giới thiệu

Phát hiện chuyển động là nhiệm vụ đầy thách thức, một kỹ thuật quantrọng trong phân tích đám đông chuyển động là xác định đặc trưng bởi cácmẫu chuyển động thường xuyên như hướng, mật độ, tốc độ, và bất thườngchuyển động,… Giám sát và mô hình hóa đám đông để phân tích hành vi củađối tượng đó trong đám đông là bình thường hay bất bình thường

Hình 2.1 Phát hiện đối tượng có hành động đi tốc độ nhanh được khoanh vùng.

Phát hiện đối tượng chuyển động là bước cơ bản để tiếp tục phân tíchvideo Mọi phương pháp theo dõi đều yêu cầu một đối tượng cơ chế phát hiệntrong mọi khung hình hoặc khi đối tượng lần đầu tiên xuất hiện trong video

Nó xử lý phân đoạn di chuyển vật thể từ vật thể nền tĩnh Điều này tập trungtrên xử lý cấp cao hơn Nó cũng làm giảm tính toán thời gian Do điều kiện

môi trường như ánh sáng thay đổi, phân đoạn đối tượng bóng trở nên khó

khăn và vấn đề đáng kể Một cách tiếp cận phổ biến để phát hiện đối tượng là

sử dụng thông tin trong một khung duy nhất Tuy nhiên, một số đối tượng

phương pháp phát hiện tận dụng thông tin tạm thời được tính toán từ một

chuỗi các khung để giảm số lượng phát hiện sai Thông tin tạm thời này

thường ở hình thức phân biệt khung hình, làm nổi bật các vùng thay đổi động

trong các khung liên tiếp

ĐỘ VÙNG ĐỘNG

Hình 2.2 Mô hình phát hiện đối tƣợng chuyển động

 Phát hiện tiền cảnh:

Mục đích chính của phát hiện tiền cảnh là phân biệt các đối tượng ở tiền

cảnh với đối tượng đứng sau Hầu hết, mỗi hệ thống giám sát video sử dụng

bước đầu tiên là phát hiện các đối tượng tiền cảnh Điều này tạo ratrọng tâm

của sự chú ý cho các cấp độ xử lý cao hơn, chẳng hạn như theo dõi, phân loại

và hiểu hành vi và giảm thời gian tính toán đáng kể vì chỉ có pixel thuộc đối

tượng tiền cảnh cần được xử lý

sử dụng để tạo mô hình cảnh nền Các phần liên quan đến cảnh nền của hệthống bị cô lậpvà khớp nối của nó với các mô-đun khác được giữ ở mức tốithiểu để cho phép toàn bộ hệ thống phát hiện hoạt động linh hoạt với bất kỳmột trong các mô hình nền.

Bước tiếp theo trong phương pháp phát hiện là phát hiện pixel nền trướcbằng cách sử dụng mô hình nền vàhình ảnh hiện tại từ video Quy trình pháthiện mức pixel này phụ thuộc vào mô hình nền đang được sử dụng và nóđược sử dụng để cập nhật mô hình nền để thích ứng với cảnh động thay đổi.Ngoài ra, do tiếng ồn của máy ảnh hoặc môi trường ảnh hưởng của bản đồpixel nền trước được phát hiện có chứa nhiễu Các hoạt động xử lý hậu kỳ cấppixel được thực hiện để loại bỏ nhiễu ở các pixel nền trước Khi chúng tôinhận được các pixel nền trước đã lọc, trong bước tiếp theo, các vùng được kếtnối được tìm thấy bằng cách sử dụng thuật toán gắn nhãn thành phần được kếtnốivà các hình chữ nhật giới hạn của đối tượng được tính toán Các nhãn cácvùng có thể chứa các vùng gần nhưng tách rời do các khiếm khuyết trong quátrình phân đoạn tiền cảnh Do đó, một số tương đối các vùng nhỏ do tiếng ồnmôi trường gây ra được loại bỏ trong bước xử lý sau cấp vùng Trong bướccuối cùng củaquá trình phát hiện, một số tính năng của đối tượng như khuvực, hộp giới hạn, chu vi của các vùng tương ứng với các đối tượng đượctrích xuất từ hình ảnh hiện tại bằng cách sử dụngbản đồ pixel nền trước

 Xử lý cấp độ pixel:

Đầu ra của phát hiện tiền cảnh chứa nhiễu Nói chung, nó ảnh hưởng bởicác yếu tố tiếng ồn khác nhau Vượt qua vấn đề nan giải về nhiễu này, nó đòihỏi xử lý mức pixel cao hơn Có nhiều yếu tố gây ra tiếng ồn trong phát hiệntiền cảnh chẳng hạn như: Tiếng ồn của máy ảnh, tiếng ồn của máy ảnh xuấthiện do hình ảnh của máy ảnhcác thành phần mua lại Đây là tiếng ồn docác

thành phần thu nhận hình ảnh của máy ảnh Tiếng ồn này là tạo ra do cường

độ của pixel tương ứng đến một cạnh giữa hai đối tượng màu khác nhau trongcảnh có thể được đặt thành một trong các màu của đối tượng trong một khungvàmàu khác trong khung tiếp theo Màu của đối tượngcó thể có cùng màu vớinền tham chiếu khó phát hiện các pixel nền trước với sự trợ giúp của thamchiếu nền Tiếng ồn phản xạ gây ra bởi ánh sáng nguồn Khi một nguồn sáng

di chuyển từ vị trí này đến khác, một số bộ phận trong cảnh nền phản chiếuánh sáng

Chúng ta có thể sử dụng bộ lọc thông thấp và các phép toán hình tháihọc, xói mòn và giãn nở, đến bản đồ pixel nền trước để loại bỏ tiếng ồn gây rabởi các mục liệt kê ở trên Mục tiêu của chúng tôi trongáp dụng các thao tácnày là loại bỏ tiền cảnh ồn ào pixel không tương ứng với các vùng tiền cảnhthực tế, và để loại bỏ các pixel nền nhiễu gần và bên trong vùng đối tượngthực sự là pixel nền trước Vượt qua thấpbộ lọc được sử dụng để làm mờ vàgiảm nhiễu Làm mờ được sử dụng trong các tác vụ tiền xử lý, chẳng hạn nhưloại bỏchi tiết từ một hình ảnh trước khi trích xuất đối tượng lớn và bắc cầucủa các khe hở nhỏ trong các đường hoặc đường cong Gaussian thấp quabộlọc được sử dụng để xử lý bài đăng cấp pixel Một bộ lọc Gaussian làm mịnhình ảnh bằng cách tính toán trung bình có trọng số trong một bộ lọc đồnghiệu quả Bộ lọc Gaussian sửa đổi đầu vàotín hiệu bằng tích chập với mộthàm Gaussian

 Phát hiện các vùng được kết nối:

Sau khi phát hiện các vùng tiền cảnh và áp dụng các hoạt động xử lý hậu

kỳ để loại bỏ các vùng nhiễu, các pixel nền trước đã lọc được nhóm lại thànhcác vùng được kết nối Sau khi tìm các vùng riêng lẻ tương ứng với các đốitượng, các hộp giới hạn của các vùng này được tính toán

2.1.2 Kỹ thuật trừ nền

Kỹ thuật trừ nền là một cách tiếp cận được sử dụng rộng rãi để phát hiệncác đối tượng chuyển động trong video từ máy ảnh tĩnh Cơ sở tiếp cận là pháthiện các đối tượng chuyển động từ sự khác biệt giữa hệ quy chiếu hiện tại và

hệ quy chiếu, thường được gọi là "hình nền" hoặc "mô hình nền" Như một cơbản, hình nền phải là đại diện của cảnh không có vật thể chuyển động và phảiđược giữ thường xuyên cập nhật để thích ứng với các mức giá khác nhau điềukiện và cài đặt hình học Các mô hình phức tạp hơn đã mở rộng khái niệm

"nền tảng phụ" ngoài nghĩa đen của nó [19]

Phát hiện đối tượng có thể đạt được bằng cách xây dựng một đại diệncủa cảnh được gọi là mô hình nền và sau đó tìm độ lệch khỏi mô hình cho mỗikhung hình đến Bất kỳ thay đổi đáng kể nào trong vùng hình ảnh so với môhình nền đều biểu thị sự chuyển động vật Các pixel cấu thành các vùng đangthay đổi được đánh dấu để biết xử lý, tiến trình này được gọi với một tênchung là tách nền Thông thường, một thuật toán thành phần được kết nốiđược áp dụng để có được các vùng tương ứng với các đối tượng Quy trìnhtổng quan của kỹ thuật trừ nền [20]

Hình 2.3 Quy trình trừ nền

Các thay đổi chính đối với nền được phân loại thành:

- Theo sự thay đổi độ sáng (illumination changes)

+ Thay đổi độ sáng từ từ do nguồn sáng (mặt trời) chuyển động

+ Thay đổi độ sáng đột ngột do nguồn sáng bị thay đổi: trời chuyển giữamưa và nắng, đèn trong phòng chuyển từ bật sang tắt hoặc ngược lại

+ Ảnh hưởng của nguồn sáng tới bóng của vật trên nền - Thay đổi chuyển động (motion changes)

+ Hình ảnh thay đổi do camera dịch chuyển

+ Chuyển động trong các thành phần của nền như cành cây đung đưa, nước chảy…

- Thay đổi được báo trước: Chuyển động của chiếc ô tô từ từ dời khỏiđiểm đỗ, người di chuyển ra khỏi phòng….

Hình 2.4 Kỹ thuật trừ nền

Một số phương pháp để thực hiện kỹ thuật trừ nền được miêu tả dướiđây Tất cả các phương pháp này đều cố gắng ước tính hiệu quả mô hình nền

từ trình tự thời gian của khung Cách tiếp cận đơn giản, nhằm tối đa hóa tốc

độ và hạn chế yêu cầu bộ nhớ, đến phức tạp hơn Phương pháp tiếp cận, nhằmđạt được mức cao nhất có thể độ chính xác trong mọi trường hợp có thể Tuynhiên, các phương pháp tiếp cận nhằm vào hiệu suất thời gian thực, do đó mộtgiới hạn thấp hơn về tốc độ luôn tồn tại [18]

 Một số mô hình trừ nền:

2.1.2.1 Running Gausian Average (RGA):

Lập mô hình hóa nền độc lập tại mỗi vị trí pixel (i,j) Các mô hình dựa

trên lý tưởng phù hợp với xác suất Gaussian hàm mật độ (pdf ) trên giá trị npixel cuối cùng [19] Theo thứ tự để tránh lắp pdf từ đầu vào mỗi khung mớithời gian t, mức trung bình đang chạy (hoặc tích lũy trực tuyến) được tínhdưới dạng:

(2.1)

trong đó I, là giá trị hiện tại của pixel và u, là giá trị trước đó Trung bình cộng; a là trọng số thực nghiệm thường được chọn làm đánh đổi giữa sự ổn định và cập nhật nhanh chóng Mặc dù không được nêu rõ ràng trong phần theo dõi thời gian thực của

cơ thể con người, tham số khác của Gaussian pdf, độ lệch chuẩn ϬϬ 1 , có thể được tính tương tự Ngoài tốc độ, lợi thế của trung bình nmning được đưa ra bởi yêu cầu bộ nhớ thấp: đối với mỗi pixel, điều này bao gồm hai tham số (µ 1 , ϬϬ 1 ) thay vì các bộ đệm với cuối n giá trị pixel.

Tại mỗi thời gian khung hình t, giá trị pixel I1 sau đó có thể là được phânloại là pixel nền trước nếu sự bất bình đẳng:

(2.2)

nắm giữ; nếu không thì, It sẽ được phân loại là nền Các phép trừ tên nềnthường được sử dụng để chỉ ratập hợp các kỹ thuật này thực sự bắt nguồn từđối tượng chuyển động trong video

Trong phần hướng tới mạnh mẽ phân tích cảnh giao thông tự động trongthời gian thực nhận xét rằng mô hình trong (Hình 2.4) là cũng được cập nhậtquá mức khi xảy ra giá trị tiền cảnh Vì lý do này, họ đề xuất sửa đổi bản cậpnhật mô hình như: