Nghiên cứu giải pháp phát hiện người từ hệ thống camera giám sát

Để tiến tới xây dựng và phát triển một hệ thống giám sát an ninh hoàn chỉnh, với nhiều chức năng tự động hóa cần tiếp tục có những nghiên cứu ứng dụng các thành tựu công nghệ về thị giác máy tính và xử lý ảnh vào giải quyết những bài toán cơ bản quan trọng. Một trong những bài toán đó mà đề tài nghiên cứu của khóa luận hướng tới là bài toán phát hiện đối tượng người trong ảnhvideo …

LỜI CAM ĐOAN

Tôi xin cam đoan khóa luận tốt nghiệp “Nghiên cứu giải pháp phát hiện người từ hệ thống Camera giám sát tại Đại học Tôn Đức Thắng” là công trình

nghiên cứu của bản thân tôi; các số liệu sử dụng trong khóa luận là trung thực,chính xác; các tài liệu tham khảo có nguồn gốc trích dẫn rõ ràng; kết quả nghiêncứu không sao chép vi phạm bản quyền của bất kỳ công trình nào

Tôi xin chịu mọi trách nhiệm và hình thức kỷ luật theo quy định cho lờicam đoan của tôi

Hà Nội, tháng 7 năm 2019

Sinh viên

MỤC LỤC

DANH MỤC TỪ VIẾT TẮT

GMM Gaussian Mixture Model Mô hình Gaussian hỗn hợp

LT Linear Threshold Ngưỡng tuyến tínhDWT Discrete Wavelet Transform Biến đổi Wavelet rời rạcLBP Local Binary Pattern Mẫu nhị phân địa phươngPTZ Pan Tilt Zoom Camera quét xoay tròn

DANH MỤC HÌNH ẢNH

DANH MỤC BẢNG BIỂU

MỞ ĐẦU

1 Tính cấp thiết của đề tài.

Ngày nay, trong thời đại công nghệ phát triển, thuật ngữ hệ thống pháthiện đối tượng sử dụng camera an ninh ngày càng trở nên phổ biến rộng rãi vàquen thuộc với tất cả chúng ta, mọi người đang sống trong thời đại mới, thời đạicủa công nghệ, của nền kinh tế tri thức, trong đó những đóng vai trò chủ đạo lànhững thành tựu rực rỡ của công nghệ

Một trong những lĩnh vực quan trọng của Trí tuệ nhân tạo (ArtificialIntelligence) là thị giác máy (Computer Vision) Computer Vision là một lĩnhvực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhậndạng các hình ảnh, phát hiện các đối tượng, tạo ảnh, siêu phân giải hình ảnh vànhiều hơn vậy Tạo ra một chiếc máy nhìn được như cách con người nhìn làkhông đơn giản, không chỉ vì khó tạo ra một chiếc máy như vậy mà ngay cảchúng ta cũng chưa thực sự hiểu cách thức hoạt động của quá trình nhìn.Computer Vision và xử lý ảnh làm cho máy móc trở nên giống con người hơn,đưa xã hội khoa học công nghệ tiến thêm một bước tiến vượt bậc Dù mới trongthời kì sơ khai, thị giác máy tính vẫn vô cùng hữu ích trong đời sống, đặc biêt làtrong quốc phòng, an ninh Nó có mặt trong camera nhận diện khuôn mặt (FaceID) và nụ cười Nó giúp xe tự lái nhận diện biển báo, người đi đường Nó nằmtrong các robot trong nhà máy, nhận diện sản phẩm, Computer vision và xử lýảnh cũng là một cánh tay đắc lực giúp cho công tác bảo vệ dễ dàng hơn, nhanhchóng tìm ra được kẻ phạm tội Ví dụ ứng dụng giám sát an ninh, an toàn sửdụng hệ thống camera Để phát triển những hệ thống như vậy, việc tiên quyếtnhất là giải bài toán phát hiện đối tượng trong ảnh/video

Object Detection có lẽ là khía cạnh sâu sắc nhất của thị giác máy do số lần

sử dụng trong thực tế Object Detection đề cập đến khả năng của hệ thống máytính và phần mềm để định vị các đối tượng trong một hình ảnh và xác định từngđối tượng Object Detection đã được sử dụng rộng rãi để phát hiện khuôn mặt,phát hiện xe, đếm số người đi bộ, hệ thống bảo mật và xe không người lái Cónhiều cách để nhận diện đối tượng có thể được sử dụng cũng như trong nhiềulĩnh vực thực hành Giống như mọi công nghệ khác, một loạt các ứng dụng sángtạo và tuyệt vời của Object Detection sẽ đến từ các lập trình viên và các nhà pháttriển phần mềm

Trong những năm gần đây, sớm nhận thức được việc ứng dụng công nghệtrong công tác giám sát an toàn, đảm bảo việc chấp hành nghiêm chỉnh kỷcương, kỷ luật, học viện đã triển khai lắp đặt và vận hành hệ thống camera giámsát tại các phòng học và cổng ra vào… Tuy nhiên, việc vận hành chủ yếu vẫnđang thực hiện rất thủ công ở các khâu, vẫn cần cả cán bộ trực giám sát hệ thống,trong những trường hợp quá đông, không kiểm soát được tất cả những hành viqua màn hình giám sát, làm giảm chất lượng của hệ thống giám sát, yêu cầu đặt

ra là phải tự động hóa hệ thống Để tiến tới xây dựng và phát triển một hệ thốnggiám sát an ninh hoàn chỉnh, với nhiều chức năng tự động hóa cần tiếp tục cónhững nghiên cứu ứng dụng các thành tựu công nghệ về thị giác máy tính và xử

lý ảnh vào giải quyết những bài toán cơ bản quan trọng Một trong những bàitoán đó mà đề tài nghiên cứu của khóa luận hướng tới là bài toán phát hiện đốitượng người trong ảnh/video …

Ý thức được lợi ích mà hệ thống phát hiện đối tượng mang lại và nó có tácdụng vô cùng lớn, có thể áp dụng được vào hệ thống giám sát an ninh tại Học

viện, em đã quyết định chọn đề tài khóa luận: “Nghiên cứu giải pháp phát hiệnngười từ hệ thống Camera giám sát tại Đại học Tôn Đức Thắng“.

Thông qua đề tài “Nghiên cứu giải pháp phát hiện người từ hệ thốngCamera giám sát tại Đại học Tôn Đức Thắng” em sẽ đi sâu vào nghiên cứu bàitoán phát hiện người qua hệ thống camera an ninh, sử dụng hình ảnh thu đượcqua camera an ninh tại cổng ra vào tại Học viện, từ đó xây dựng, chạy thửnghiệm bằng hệ thống YOLO, qua đó áp dụng vào thực tiễn hệ thống giám sát anninh tại Học viện

2 Tình hình nghiên cứu đề tài.

Trong những năm gần đây, với công dụng vô cùng to lớn, ứng dụng rấtnhiều trong thực tiễn, các nhà khoa học, nghiên cứu đã có rất nhiều nhữngnghiên cứu có liên quan về phát hiện người trong ảnh/video trên thế giới và tạiViệt Nam

Hàng loạt những công trình nghiên cứu, áp dụng rất sâu rộng vào thực tế

về phát hiện người trong ảnh/video, có thể kể đến như: Hệ thống chấm điểmcông dân của Trung Quốc, hoặc ngay trong bộ bảo vệ là hệ thống giám sát giaothông, nhưng đối tượng ở đấy là các phương tiện tham gia giao thông tuy nhiênchưa có hệ thống ứng dụng thực tiễn nào được sử dụng liên quan đến giải quyếtbài toán phát hiện người trong môi trường giám sát an ninh tự động, đặc biệt làviệc sử dụng kỹ thuật học sâu tiên tiến để giải quyết các bài toán này

Trung Quốc đang theo đuổi kế hoạch triệt để nhằm tác động đến hành vicủa 1,3 tỷ công dân nước này: Chấm điểm từng khía cạnh trong cuộc sống đểphản ánh mức độ tốt, xấu của một con người thông qua hệ thống camera an ninhkhắp các đường phố ngõ ngách, cùng với đó là hệ thống chấm điểm và cơ sở dữ

liệu khổng lồ chứa thông tin của tất cả cư dân nước này Hiện tại, Trung Quốcđang tiến hành thử nghiệm ở các thành phố lớn với một mục đích tạo ra mạnglưới bao trùm cả quốc gia Thoạt nghe, câu chuyện chấm điểm công dân củaTrung Quốc tưởng chừng chỉ có thể xuất hiện trong các bộ phim khoa học viễntưởng Tuy nhiên, với những tiến bộ khoa học vượt bậc của công nghệ, TrungQuốc có thể nhận diện, phát hiện con người qua khuôn mặt, dáng đi, thông qua

hệ thống máy quay giám sát được lắp đặt từng ngóc ngách của đất nước này.Theo một số thông tin thì phần mềm này có thể phát hiện ra một người ở khoảngcách 50m thông qua dáng đi của họ, điều này khiến cho mọi hành vi đều khólòng lọt ra ngoài tầm theo dõi Và hiển nhiên là hệ thống chấm điểm này sẽ cóthưởng, có phạt, những người bị điểm thấp sẽ khó khăn hơn trong việc mua vémáy bay, vé tàu hỏa hoặc nhiều chương trình phúc lợi xã hội khác Tuy rằng hệthống này đang gặp phải một số ít những phản hồi trái chiều do xâm phạm quásâu vào cuộc sống riêng tư của người dân và nguy cơ mất cơ sở dữ liệu, thông tincủa người dân luôn hiện hữu vì đó là một trong những mục tiêu tấn công hàngđầu của tin tặc Nhưng không thể phủ nhận rằng, hệ thống phát hiện người trongảnh/video đã trở thành một đề tài mà một xã hội phát triển hiện đại trong hiện tại

và tương lai đang hướng tới, nó có thể biến những bộ phim khoa học viễn tưởng,biến những giấc mơ chinh phục công nghệ của con người trở thành hiện thực

Các hướng nghiên cứu về bài toán này phát triển chủ yếu từ việc ứng dụngcác kỹ thuật học máy, từ học máy truyền thống như phát hiện người sử dụngHOG, phân lớp SVM… cho đến các kỹ thuật học máy tiên tiến gần đây là họcsâu Học sâu có YOLO cùng các bộ phát hiện nổi tiếng khác như SSD được đềxuất gần đây Các bộ phát hiện này cho hiệu quả phát hiện đối tượng tốt nhất trêncác bộ cơ sở dữ liệu thực nghiệm đã công bố… Tuy nhiên để có thể triển khaicác kỹ thuật phát hiện này trong các môi trường ứng dụng cụ thể vẫn cần tiếp tục

có những nghiên cứu, thử nghiệm và huấn luyện mô hình học máy trên cơ sở dữliệu thu thập từ môi trường ứng dụng nhằm đạt được hiệu quả phát hiện tốt nhất

có thể

Nắm bắt xu thế, nhận ra được tầm quan trọng của việc nghiên cứu các hệthống phát hiện mới, đạt hiệu quả cao hơn và ứng dụng được ngay trên hệ thốnggiám sát của Đại học Tôn Đức Thắng nên đề tài của em thực hiện sẽ tập trungnghiên cứu bộ phát hiện người sử dụng kỹ thuật học sâu tiên tiến YOLO và triểnkhai ứng dụng thử nghiệm bộ phát hiện này trong môi trường giám sát sử dụng

hệ thống camera an ninh tại Đại học Tôn Đức Thắng

3 Mục tiêu, nhiệm vụ nghiên cứu.

Mục tiêu:

Nghiên cứu và triển khai thực nghiệm mạng nơ-ron sâu YOLO để pháthiện người trong ảnh/video thu nhận từ hệ thống camera giám sát tại Đại họcTôn Đức Thắng

- Triển khai thử nghiệm hệ thống và đánh giá kết quả

4 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu:

- Các mô hình học máy sử dụng cho bài toán phát hiện người trongảnh/video

- Công cụ, thư viện sử dụng cho xử lý dữ liệu ảnh và viết phần mềm pháthiện người trong ảnh/video

5 Phương pháp nghiên cứu

Phương pháp nghiên cứu lý thuyết:

- Tìm hiểu tổng quan về phát hiện đối tượng sử dụng camera an ninh

- Tìm hiểu cách lập trình xử lý ảnh với thư viện OpenCV

- Tìm hiểu kỹ thuật YOLO để phát hiện người

Phương pháp nghiên cứu thực nghiệm:

- Tiến hành xây dựng và chạy thử phần mềm

- Dữ liệu thử nghiệm và kết quả đánh giá

- So sánh với kết quả thực nghiệm

Về mặt thực tiễn:

- Tự động hóa các hệ thống giám sát an ninh, giảm công sức, tăng hiệu quảtrong việc phát hiện đối tượng, hành vi bất thường của đối tượng

- Đề tài có ứng dụng trong các hệ thống giám sát an ninh, đặc biệt là trong

hệ thống giám sát tại Học viện An ninh

7 Bố cục đề tài

Nội dung chính của bài nghiên cứu được trình bày theo cấu trúc sau:

Mở đầu

Chương 1: Giám sát an ninh sử dụng camera và hệ thống camera giám sát

tại Đại học Tôn Đức Thắng

Chương 2: Phát hiện đối tượng từ hệ thống camera giám sát.

Chương 3: Phát hiện người từ mạng camera giám sát tại Học viện An ninh

sử dụng kỹ thuật YOLO

Kết luận và định hướng nghiên cứu tiếp theo.

CHƯƠNG 1 GIÁM SÁT AN NINH SỬ DỤNG CAMERA VÀ HỆ THỐNG CAMERA

GIÁM SÁT TẠI ĐẠI HỌC TÔN ĐỨC THẮNG 1.1 Giám sát an ninh sử dụng camera

1.1.1 Giới thiệu về camera

- Khái niệm:

Camera là một thiết bị điện tử có chức năng ghi lại hình ảnh của đối tượngtrong một khoảng không gian, thời gian nào đó Hình ảnh này được lưu trữ vàchúng ta có thể xem lại được chúng[1]

- Phân loại:

Tùy theo từng tiêu chí phân loại khác nhau, chúng ta có các loại camerakhác nhau Thông thường có 3 tiêu chí phân loại cơ bản:

+ Phân loại theo kỹ thuật xử lý tín hiệu ảnh: Theo tiêu chí này chúng ta có

02 loại là camera xử lý tín hiệu tương tự và camera số Hiện nay chủ yếu dùngcamera số

+ Phân loại theo môi trường truyền dẫn tín hiệu của camera: Theo tiêu chínày chúng ta có 3 loại là camera có dây, camera không dây, camera IP Do giáthành rẻ, và hạ tầng mạng được triển khai rộng khắp hiện nay nên camera IPđược sử dụng phổ biến Với camera IP, người dùng có thể điều khiển và giám sát

ở bất kỳ vị trí nào thông qua môi trường mạng (mạng Internet hay mạng LAN)

+ Phân loại theo tính năng sử dụng: Theo tiêu chí này ta có 5 loại:

* Camera áp trần (camera dome), với nhiều hình dạng và kích thước khácnhau, được lắp đặt chủ yếu trong nhà (Hình 1.1-a);

* Camera ẩn là loại được ngụy trang kỹ càng để tránh bị phát hiện (Hình1.1-b) Việc sử dụng camera này phải đảm bảo tính hợp pháp;

* Camera hộp (box camera) (Hình 1.1-c), loại này khi gắn ngoài trời sẽđược đặt trong hộp bảo vệ;

* Camera PTZ (Pan/Tilt/Zoom) là loại camera hỗ trợ khả năng quyết cảnhtheo chiều dọc, ngang, phòng to thu nhỏ ảnh Ngoài ra, camera này còn có thể hỗtrợ cảnh báo có đối tượng di chuyển trong vùng quan sát của nó (Hình 1.2-a)

* Camera hồng ngoại (IR camera và Exview) là loại có khả năng ghi hìnhảnh vào đêm Loại Exview có thể khuếch đại ánh sáng để làm rõ ảnh khi trời tối(Hình 1.2-b)

sát, theo dõi toàn bộ khu vực cần giám sát mà không cần phải có mặt trực tiếp ởđó.

1.1.2.1 Hệ thống camera giám sát

Hệ thống camera giám sát là hệ thống gồm các thiết bị điện tử được kếtnối với nhau có khả năng sao chép hình ảnh, những hoạt động ở nơi cần quan sátsau đó truyền tín hiệu tới thiết bị thu nhận thông qua mạng Internet Lắp đặt hệthống camera giám sát giúp việc quản lý được thực hiện một cách chủ động hơn

ở mọi điều kiện

Hệ thống camera giám sát có hai loại Một là hệ thống camera giám sátđơn giản phù hợp để lắp đặt ở những không gian hẹp, thuận lợi và yêu cầu quansát thông thường Hai là hệ thống camera giám sát chuyên nghiệp có nhiều thiết

bị hơn đáp ứng được các yêu cầu về quan sát và an toàn cao ở những điều kiệnlắp đặt không thuận lợi

Các thiết bị điện tử trong một hệ thống camera quan sát khác nhau giữatừng dòng sản phẩm như đã nói ở trên là hệ thống camera đơn giản hoặc hệthống camera chuyên nghiệp Ở hệ thống camera đơn giản, các thiết bị điện tử cógồm: Camera, thẻ nhớ, bộ đổi nguồn, dây tín hiệu và dây nguồn cắm thẳng (hoặcmodel) Ở hệ thống camera chuyên nghiệp, các thiết bị điện tử cần có gồm:camera, nguồn, đầu ghi hình, ổ cứng, dây điện cấp nguồn, dây tín hiệu, jackBNC, dây mạng, hệ thống mạng, thiết bị thu nhận hình ảnh TV/ PVC/ điệnthoại…

1.1.2.2 Lợi ích khi sử dụng hệ thống camera giám sát

Camera an ninh thường được sử dụng để giám sát an ninh Hiện naycamera an ninh được lắp ở khắp mọi nơi Từ sân bay, ngân hàng, cơ quan chính

phủ đến những tiệm tạp hóa, cửa hàng ăn, nhà riêng hay tại khu phố Ngoài tínhnăng giám sát an ninh, camera an ninh còn giúp quan sát người già, trẻ em từ xa,quản lý nhân viên từ xa, hội nghị truyền hình và nhiều ứng dụng khác đang đượckhám phá…

Camera an ninh giám sát an ninh là một trong những tiến bộ nổi bật củacông nghệ hiện đại, được sử dụng phổ biến tại nhà và cả văn phòng như một biệnpháp an ninh hiệu quả Tương tự những phát minh khác, camera an ninh có nhiều

ưu điểm và cũng không ít hạn chế Tuy nhiên, nhờ ưu điểm vượt trội, thiết bịmang tính cách mạng này vẫn được sử dụng rộng rãi để đảm bảo an toàn cho conngười và tài sản

Việc kết hợp các hệ thống camera giám sát bao gồm camera và hệ thống

xử lý thông tin hình ảnh hữu hiệu có rất nhiều lợi ích, ứng dụng trong thực tiễn

mà con người đã và đang khai thác triệt để để đảm bảo an ninh, an toàn xã hội.Các lợi ích có thể kể đến như:

+ Hệ thống tự động phát hiện các hành vi bất thường và đưa ra cảnh báocủa đám đông, đối tượng trong đám đông Ví dụ như trong các khu vực tập thể,khu vực tập trung đông dân cư như ở nhà ga, sân bay, trường học, nếu không có

hệ thống phát hiện tự động thì con người theo dõi thì không thể nắm bắt hếtnhững tình huống có thể xảy ra trong một không gian rộng; trong khi đó bỗngdưng có luồng di chuyển bất thường của một đám đông nào đó theo 1 hướng cốđịnh, có những hành động khách thường, cho thấy dấu hiệu bạo động, biểu tìnhhay khủng bố Lúc đó hệ thống phát hiện tự động và kịp thời được sự kiện bấtthường này thì sau đó sẽ có những xử lý tự động cũng có thể đưa ra như phát loacảnh báo cho đám đông di chuyển theo hướng an toàn hơn, nếu cần thiết hơn thì

sẽ thông báo cho người quản lý để có những hành động ngăn chặn kịp thời…

Ngoài ra còn có thể phát hiện được các hành vi bất thường của từng đối tượngmột như: cầm súng, cầm vũ khí nóng, giơ sáng bắn vào một mục tiêu nào đó, …

+ Truy vết đối tượng tình nghi, kẻ phạm tội: Đây có lẽ là một trong nhữnglợi ích to lớn mà các hệ thống camera an ninh mang lại cho công tác Bảo vệ Vớimột vụ án đã diễn ra, việc kiểm tra hiện trường, điều tra vụ án sẽ trở nên dễ dànghơn khi có thể theo dõi lại qua hệ thống camera an ninh Nếu vụ án không diễn

ra tại nơi có các hệ thống camera an ninh thì cũng có thể thông qua các hệ thốngnày truy tìm lại dấu vết, quãng đường đi chuyển, tìm thêm những manh mối cungcấp cho vụ án Hệ thống giám sát thông minh sẽ phát hiện những hành động bấtthường, có dấu hiệu của tội phạm, kịp thời thông báo cho cơ quan chức năng kịpthời giải quyết, tránh để hậu quả xấu có thể xảy ra

+ Giám sát và xử phạt trong giao thông: Trong các giai đoạn vừa qua, việcđẩy mạnh ứng dụng công nghệ thông tin, lắp đặt hệ thống camera phục vụ côngtác bảo đảm trật tự an toàn giao thông trên địa bàn cả nước đã từng bước pháthuy hiệu quả Các hệ thống camera giám sát giao thông sẽ tự động phát hiệnnhững hành vi vi phạm giao thông của những phương tiện tham gia giao thông,sau đó lưu lại hình ảnh vi phạm, cơ quan Bảo vệ sẽ tiến hành “phạt nguội” nhữngphương tiện vi phạm Nhờ hệ thống này, tình trạng người tham gia giao thông viphạm các lỗi như lấn làn, vượt đèn đỏ, dừng đỗ không đúng vị trí đã giảm đáng

kể Ngoài chức năng giám sát, hỗ trợ xử lý vi phạm, hệ thống camera còn giúpgiảm mật độ lực lượng chức năng trực tiếp tham gia tuần tra, xử lý trên đường.Điều đó góp phần hạn chế các tiêu cực và tăng tính minh bạch trong quá trìnhthực thi công vụ

+ Giám sát bệnh nhân và cung cấp các dịch vụ tự động dựa trên các phântích hành vi người bệnh: trong các phòng điều trị thông minh, các hệ thốngcamera giám sát được lắp đặt để theo dõi tình hình diễn biến bệnh của bệnh

nhân, khi bệnh nhân có những hành động bất thường, xảy ra các tai nạn nhưngất, sốc thì hệ thống sẽ thông báo cho bác sỹ trực, đối với những bệnh khó cóthể tiếp xúc với bệnh nhân hoặc nếu tiếp xúc sẽ gây nguy hiểm như bệnh tâmthần, bệnh lây nhiễm nguy hiểm thì cũng thông qua hệ thống camera này thì bác

sỹ có thể theo dõi sát sao nhất tình trạng của bệnh nhân mà không hề gây nguyhiểm

+ Giám sát tù nhân tại các trại tạm giam, tạm giữ: Camera giám sát anninh rất quan trọng trong trại giam giúp cho các cán bộ trong trại theo dõi vànắm được tình hình của toàn khu trại, xác định rõ các nghi vấn, theo dõi các đốitượng có dấu hiệu bất thường, tăng cường bảo mật cho trại giam Với những mức

độ quan trọng và nguy hiểm trong môi trường trại giam thì việc trang bị cameragiám sát là vô cùng cần thiết và camera phải giám sát liên tục 24/24 do đó phảilựa chọn các loại camera chuyên dụng và có thể chịu được sự phá hoại cao.Trong môi trường tội phạm bị giam giữ cần phải canh chừng họ cẩn trọng vìngoài những người nghiêm túc chấp hành án còn có những đối tượng nguy hiểmluôn tính đến việc nổi loạn, vượt ngục Đối với những đối tượng này cần đặc biệttheo dõi cẩn thận Ở các trại tạm giam, tạm giữ hệ thống camera giám sát sẽđược tích hợp cùng các hệ thống an ninh khác như: hàng rào hồng ngoại, báođộng cửa, báo cháy, hệ thông liên lạc nội bộ, hệ thống máy soi an ninh, máy ròkim loại, …

Trong những năm gần đây, các mô hình phong trào toàn dân bảo vệ anninh tổ quốc ngày càng đổi mới, sáng tạo, đặc biệt là bước đầu đã sử dụng khoahọc kỹ thuật linh hoạt trong đấu tranh, phòng ngừa tội phạm, tệ nạn xã hội, tiêubiểu như các mô hình camera giám sát an ninh

Đến nay, có thể nói các mô hình phong trào sử dụng camera giám sát anninh đã thực sự trở thành “ác mộng” của các loại tội phạm Các “mắt thần”

camera trở thành một trợ thủ đắc lực giúp cho lực lượng bảo vệ đẩy nhanh quatrình điều tra, phá án; bóc trần được bộ mặt cũng như các phương thức, thủ đoạnhoạt động của các đối tượng phạm tội Biết nơi nào có camera an ninh, các đạochích chuyên nghiệp nói riêng, các loại tội phạm, tệ nạn xã hội nói chung đều bấtgiác thui chột ý chi, nhiều tên không dám bén mảng đến hoặc có trú ngụ trên địabàn cũng chờn tay, không dám manh động …

Hình 1.3 Một hệ thống camera giám sát tại trụ sở Bảo vệ

1.2 Hệ thống camera an ninh tại Đại học Tôn Đức Thắng

1 Yêu cầu và mục đích triển khai hệ thống camera giám sát tại Đại học Tôn Đức Thắng

Với sự phát triển mạnh mẽ, rộng rãi của các hệ thống camera an ninh hiệnnay, và những công dụng vô cùng to lớn từ hệ thống camera an ninh, các khu dân

cư, xí nghiệp, công ty, gia đình đều đã lắp đặt, sử dụng hệ thống camera an ninh

Và để đảm bảo trật tự an ninh, trật tự, kiểm soát ra vào cổng dễ dàng hơn thì Họcviện An ninh cũng đã lắp đặt, xây dựng một hệ thống camera kiểm soát ra vàocổng, và hệ thống camera giám sát tại các phòng học

Mục đích triển khai của hệ thống camera giám tại HVAN là quản lý quátrình ra vào cổng, đảm bảo an ninh trong Học viện, tránh những đối tượng cómục đích xấu và không được cấp phép xâm nhập vào học viện, quản lí giờ giấc

đi làm, ra vào học viện của cán bộ và học viên, đồng thời quản lí quá trình họctập, lên lớp của học viên và giảng viên, kiểm tra dễ dàng hơn các vi phạm củasinh viên trong giờ học và thi cử

Việc lắp đặt, triển khai hệ thống camera giám sát tại Học viện An ninhcũng phải đảm bảo tất cả nội quy, quy định trong học viện Hệ thống phải đảmbảo an toàn, không lộ lọt thông tin, hình ảnh ra ngoài, để kiểm soát việc đó, hệthống phải lắp đặt đường dây nội bộ, hệ thống truyền tải riêng, tách biệt với bênngoài Ngoài ra hệ thống phải đảm bảo hoạt động thông suốt, liên tục, khắc phụcđược các hạn chế từ thiên nhiên, đảm bảo bao phủ đẩy đủ tầm nhìn, tầm quansát

1.2.1 Sơ đồ hệ thống camera giám sát

Hình 1.4 Sơ đồ camera giám sát cổng ra vào

Hình 1.5 Sơ đồ camera tại phòng học

Hình 1.6 Sơ đồ 1 cột camera tại Học viện An ninh

Hình 1.7 Sơ đồ hệ thống camera an ninh ra vào cổng 4

1.2.2 Đánh giá hệ thống

Hệ thống camera giám sát của Đại học Tôn Đức Thắng được lắp đặt vàhoạt động tại 2 cổng là cổng số 1 và cổng số 4 của Học viện Mục đích lắp đặt hệthống camera tại Đại học Tôn Đức Thắng là kiểm soát người ra vào Học viện,

ngăn chặn những đối tượng có mục đích xấu xâm nhập vào Học viện Nhữngngười được phép ra vào 2 cổng bao gồm cán bộ giáo viên, công nhân viên đượccấp phép và học viện Hệ thống camera an ninh sẽ được tích hợp với hệ thốngthẻ kiểm soát ra vào, mỗi người sẽ được cấp thẻ kiểm soát ra vào, khi qua cổng

sẽ phải quẹt thẻ vào ổ quét, camera sẽ ghi lại hình ảnh lúc đó của đối tượng, hiểnthị trên màn hình của bảo vệ, nếu đối tượng đó đúng thông tin trong thẻ kiểmsoát thì barrel sẽ mở và có thể đi qua Nếu thông tin người sai, thẻ giả hoặc chưađược cấp phép ra vào cổng thì hệ thống sẽ thông báo Nếu người đó đi xe máyhoặc ô tô thì camera cũng ghi lại biển số, nếu biển số đó đúng là phương tiệnđược ra vào học viện thì barrel sẽ mở

Toàn bộ hệ thống camera kiểm soát tại Học viện bao gồm 36 camera trongđó: 19 camera ở cổng 1 và 17 camera ở cổng 4 Tại cổng số 4, tại cổng 4 đượcphân chia thành 9 làn, trong đó: 4 làn đường dành cho xe máy, 1 làn đường danhcho ô tô và 4 làn cho người đi bộ, các làn ra vào sẽ được phân chia rõ ràng Tạimỗi làn xe các camera thực hiện nhiệm vụ ghi lại hình ảnh người ra vào cổng vàmột số camera có chức năng ghi lại biển số xe ra vào cổng, còn tại làn đi bộ thìchỉ kiểm soát hình ảnh người ra vào cổng Ngoài ra tại cổng số 4 có 1 camera ghilại hình ảnh tổng thể Còn tại cổng số 1 thì được chia làm 6 làn đường bao gồm:

2 làn được cho ô tô và 4 làn được cho xe máy Trong đó có 9 camera ghi lại hìnhảnh cho làn ô tô và 8 camera ghi lại hình ảnh cho làn xe máy

Loại camera được sử dụng trong hệ thống camera giám sát tại học viện là

Camera quan sát D-max DMC-204GZW (camera mạng hồng ngoại tầm xa) đây

là dòng camera Hàn Quốc được nhập khẩu và phân phối tại thị trường Việt Nam

Thông số kỹ thuật của Camera:

1/2.8” Sony 2.43M Pixels Exmor CMOS

High Performance Dual Streaming (30fps live view@1080P)

Low up to 0.01Lux(LED On:0Lux), Noise Reduction (2D/3D)

Day/Night with ICR, High Power 4 IR LEDs(IR Distance 70m)

2.8~12mm Mega Pixel DC Auto Iris Lens

Hình 1.8 Camera quan sát D-max DMC-204GZW

Ngoài ra còn có hệ thống camera giám sát tại các phòng học Hệ thống nàyđược truyền tới phòng điều khiển tại phòng khảo thí Đại học Tôn Đức Thắng,giám sát hoạt động học tập, lên lớp của học viên, giảng viên; phát hiện nhữnghoạt động bị nghiêm cấm của học viên trong giờ học hay thi cử Hệ thốngcamera này được lắp đặt ở tất cả các phòng và hành lang tại nhà 7A và nhà 6A,mỗi phòng có từ 1 đến 2 camera tùy vào kích thước phòng, và 2 đầu hành lang,cửa thang máy cũng được lắp đặt camera

Tất cả những hình ảnh và thông tin thu được thu được tại cổng ra vào sẽđược đưa về hệ thống điều khiển tại phòng bảo vệ ở 2 cổng và được điều khiển,hiển thị chung tại máy chủ phòng 211 Nhà Hiệu bộ, và thông tin hệ thốngcamera giám sát tại các phòng học sẽ được truyền về phòng khảo thí Các hìnhảnh camera sẽ được trực tiếp phát trên màn hình lớn tại phòng điều khiển, và hệ

thống camera sẽ lưu trữ lại thông tin trong vòng 1 tuần, tức là trong vòng 1 tuầnchúng ta có thể mở camera đó và xem lại

Nhìn chung hệ thống camera giám sát tại cổng ra vào của học viện và hệthống camera giám sát tại các phòng học đã đáp ứng được các yêu cầu ban đầu

mà học viện đề ra, đó là việc đảm bảo an ninh, đảm bảo quá trình học tập và làmviệc của sinh và cán bộ Tuy nhiên, công tác giám sát chủ yếu là thủ công, dongười thực hiện tại các màn hình TV tại trung tâm điều khiển Để quá trình giámsát được thông suốt và hiệu quả vẫn cần có cán bộ trực, quan sát hàng ngày, hànggiờ, hay có sự cố gì thì phải truy vấn lại sự kiện, hiện tượng một cách thủ công,chưa có các công cụ phân tích hình ảnh tự động để có thể giải quyết nhiều bàitoán giám sát an ninh đặt ra Trong trường hợp có quá nhiều sự kiện xảy ra cùnglúc, trường hợp người xuất hiện trong camera quá đông đúc, việc thực hiện thủcông như vậy không thể kiểm soát được hết các hành động, hành vi của đốitượng trong camera Yêu cầu đặt ra hiện tại là phải phát triển được một hệ thống

tự động phát hiện những hành vi bất thường, tự động phát hiện những đối tượngxấu, giải quyết được trong trường hợp đông đúc, xử lý nhanh chóng, sau đóthông báo cho cán bộ trực Chính vì vậy việc phát triển, nghiên cứu đề tài này sẽkhắc phục hoàn toàn được tình trạng đó việc đầu tiên cần làm của hệ thống này

là phát hiện đối tượng (người)

CHƯƠNG 2 PHÁT HIỆN ĐỐI TƯỢNG TỪ HỆ THỐNG CAMERA GIÁM SÁT 2.1 Bài toán phát hiện đối tượng và các ứng dụng

Phát hiện đối tượng trong ảnh/video thu nhận từ hệ thống camera giám sátđược xem là bài toán quan trọng tiên quyết của bất kỳ hệ thống giám sát tự động

sử dụng camera Phát hiện đối tượng trong hệ thống giám sát trực quan rất quantrọng đối với các lĩnh vực và được ứng dụng đa dạng, bao gồm: phát hiện sự kiệnbất thường, đặc điểm dáng đi của con người, phân tích tắc nghẽn, nhận dạngngười, phân loại giới tính, phát hiện té ngã cho người già, … Bước đầu tiên củaquá trình phát hiện là phát hiện một vật thể đang chuyển động Phát hiện đốitượng có thể thực hiện bằng các phương pháp: sử dụng kỹ thuật trừ nền, dòngánh sáng và kỹ thuật lọc theo thời gian Sau khi được phát hiện, một vật thểchuyển động có thể được phân loại là con người bằng cách sử dụng các tính năngdựa trên hình dạng, kết cấu hoặc chuyển động [2]

Bài toán phát hiện người trong ảnh/video là bài toán xác định những ngườixuất hiện trong ảnh/video dựa trên hình dáng, chuyển động, hành động của conngười Trong các hệ thống giám sát hiện tại thì bài toán phát hiện người có vaitrò vô cùng quan trọng trong đời sống xã hội và đặc biệt quan trọng đối với côngtác an ninh

Bài toán phát hiện người đã khẳng định được tác dụng của mình trong việcgiải quyết nhiều vụ án Ví dụ như một vụ án sát hại nữ xe ôm tại Thái Nguyên

Bị cáo trong vụ án là Nguyễn Quang Hưng, nạn nhân là chị Trương Thị Mưa (têngọi khác là Hân) làm nghề xe ôm ở khu vực trước cổng Công ty SamSungElectronics Việt Nam (thuộc huyện Yên Phong, Bắc Ninh) Do không có tiền tiêuxài và mua ma tuý để sử dụng nên Hưng đã nảy sinh ý đồ đi cướp tài sản củangười khác Bị cáo đã dùng dao gọt hoa quả đâm nhiều nhát vào người chị Mưa,

khiến chị tử vong tại chỗ Việc khám nghiệm hiện trường của lực lượng trở nênrất khó khăn vì hung thủ đã đeo găng tay nên không để lại dấu vân tay hoặc dấuvết gây án gì tại hiện trường Tuy nhiên từ hình ảnh thu nhận tại hiện trường(Hình 2.9) và từ video ghi hình từ camera của người dân, trinh sát đã tìm ra cáckhung hình trong video có hình nạn nhân cũng như hung thủ của vụ án (Hình2.10) …

Hình 2.9 Hình ảnh nữ xem ôm bị sát hại tại hiện trường vụ án.

Hình 2.10 Hình ảnh nạn nhân và hung thủ trích xuất từ camera.

Để tìm ra được chứng cứ trên, trinh sát đã phải thực hiện công việc tìmkiếm một cách thủ công Bằng mắt thường, trinh sát phải rà soát từng khung hìnhtrong các video người dân cung cấp để tìm ra hung thủ, việc tìm kiếm như vậytốn rất nhiều thời gian và có thể bỏ sót đối tượng Tuy nhiên, công việc trên hoàntoàn có thể được thực hiện một cách tự động hóa thông qua việc giải quyết cácbài toán của xử lý ảnh Một trong những bài toán đó là phát hiện đối tượng ngườitrong ảnh/video Tất cả hình ảnh người sẽ được trích xuất tự động khỏi khunghình (Hình 2.3)

– Ảnh trên là khung hình chứa người, hai ảnh phía dưới là ảnh người đượctrích xuất từ khung hình ở phía trên) Từ các ảnh người được trích xuất, hệ thốngtiếp tục thực hiện các bước xử lý tiếp theo để tìm ra ảnh người khớp với ảnh nạnnhân đã có Việc tìm kiếm tự động sẽ giúp trinh sát tiết kiệm được rất nhiều thờigian, công sức tìm kiếm, từ đó nâng cao hiệu quả công việc

Hình 2.11 Phát hiện người trong hình.

- Trong những năm gần đây, việc phát hiện người trong một đoạn videocủa hệ thống giám sát đang thu hút nhiều sự chú ý hơn do có nhiều ứng dụngtrong phát hiện sự bất thường, đặc điểm dáng đi của con người, đếm người trongđám đông dày đặc, nhận dạng người, phát hiện té ngã cho người cao tuổi,… Việcphát hiện người qua camera an ninh cũng giúp cho việc đảm bảo an ninh cho cáctòa nhà, khu vực công cộng, trụ sở nhà nước, giám sát giao thông, phát hiện cácđối tượng có hành vi vi phạm pháp luật,…

- Những cảnh thu được từ một video giám sát thường có độ phân giải thấp.Hầu hết các cảnh được chụp bởi một camera tĩnh có ít sự thay đổi nền Các đốitượng trong giám sát ngoài trời thường được phát hiện từ xa Hầu hết các hệthống giám sát video kỹ thuật số hiện có đều dựa vào sự quan sát của con người

để phát hiện các hoạt động cụ thể trong một cảnh video thời gian thực Nhưng cónhững hạn chế trong khả năng của con người để giám sát các sự kiện đồng thờitrong màn hình giám sát Do đó phân tích chuyển động của con người trong giámsát tự động đã trở thành một trong những chủ đề nghiên cứu tích cực và hấp dẫnnhất trong lĩnh vực thị giác máy tính và nhận dạng mẫu

- Một hệ thống thông minh phát hiện và truy vết thông tin chuyển độngcủa các mục tiêu di động để phân loại đối tượng chính xác Các đối tượng phânloại đang được theo dõi để phân tích cụ thể hơn Phát hiện người là một nhiệm

vụ khó khăn từ góc độ thị giác máy vì nó bị ảnh hưởng bởi một loạt các thay đổihình thức, có thể xảy ra do thay đổi tư thế, bị che khuất, quần áo, ánh sáng vànền Nhưng chúng ta hoàn toàn có thể cải thiện hiệu suất phát hiện

Một sơ đồ quy trình phát hiện người được minh họa trong hình dưới đây:

Hình 2.12 Phát hiện đối tượng đi trên phố

2.2 Các kỹ thuật phát hiện đối tượng:

Phát hiện con người trong một hệ thống giám sát thông minh nhằm tạo ra

sự khác biệt giữa các đối tượng chuyển động trong chuỗi video Việc phân tíchcác chuyển động của con người ở cấp độ cao hơn phụ thuộc rất nhiều vào độ

chính xác của việc phát hiện người Quá trình phát hiện được thực hiện theo haibước: Phát hiện đối tượng và phân lớp đối tượng.

2.2.1 Phát hiện đối tượng

Một đối tượng thường được phát hiện bằng cách phân đoạn chuyển độngtrong một hình ảnh của video Hầu hết phương pháp phát hiện đối tượng thôngthường là phép trừ nền, luồng ánh sáng và phương pháp lọc theo thời gian

Quá trình phát hiện thường được thực hiện theo 2 bước: phát hiện đốitượng và phân loại đối tượng Phát hiện đối tượng có thể được thực hiện bằngphép trừ nền, dòng ánh sáng và lọc theo thời gian Phép trừ nền là một phươngpháp phổ biến để phát hiện đối tượng trong đó nó cố gắng phát hiện các đốitượng chuyển động từ khung hình phía trước và khung hình nền theo kiểu pixel-by-pixel hoặc block-by-block Có một vài cách tiếp cận có sẵn để thực hiện phéptrừ nền Những cách phổ biến nhất là: Mô hình hỗn hợp Gaussian thích nghi, môhình nền phi tham số, phân biệt thời gian, nền cong vênh, mô hình nền phân cấp

Kỹ thuật phát hiện đối tượng dựa trên luồng ánh sáng, sử dụng các đặc điểm củadòng chảy vector của vật thể chuyển động theo thời gian để phát hiện các vùngchuyển động trong chuỗi hình ảnh Ngoài khả năng dễ bị nhiễu hình ảnh, màusắc và ánh sáng không đồng nhất, hầu hết các phương pháp tính toán vector đều

có yêu cầu tính toán lớn và nhạy cảm với sự gián đoạn của chuyển động Để pháthiện chuyển động dựa trên các phương pháp lọc theo thời gian, chuyển độngđược thông qua toàn bộ khối lượng dữ liệu không gian 3 chiều được người dichuyển kéo dài trong chuỗi hình ảnh Ưu điểm của chúng là: Độ phức tạp tínhtoán thấp và quy trình thực hiện đơn giản Tuy nhiên, chúng dễ bị nhiễu và biếnđổi theo thời gian của chuyển động

2.2.1.1 Phép trừ nền

Phép trừ nền là phương pháp phổ biến để phát hiện đối tượng bằng cáchtách nó ra từ một cảnh của camera giám sát Camera có thể cố định, tịnh tiếnhoặc di động trong tự nhiên Phép trừ nền sẽ phát hiện các đối tượng chuyểnđộng từ sự khác biệt giữa khung hình hiện tại và khung hình tham chiếu theokiểu pixel-by-pixel hoặc block-by-block Khung tham chiếu thường được biếtđến như là “hình nền” hay “mô hình nền” hoặc “mô hình môi trường” Một môhình nền chuẩn cần phải thích ứng với những thay đổi trong các cảnh động Cậpnhật thông tin nền theo chu kì có thể làm được điều này Nhưng đôi khi cũng cóthể thực hiện mà không cần cập nhật thông tin nền

a Mô hình hỗn hợp Gaussian:

Mô hình Gaussian hỗn hợp (Gaussian Mixture Model - GMM) là một hàmtham số mật độ xác suất được biểu diễn như là một tổng trọng số của các mật độGaussian thành phần GMM được sử dụng rộng rãi như là một mô hình tham sốcủa phân phối xác suất của các phép đo liên tục hay tính năng trong một hệ thốngsinh trắc học Các tham số GMM được đánh giá từ việc huấn luyện dữ liệu sửdụng thuật toán lặp cực đại hóa kỳ vọng (Expectation Maximization – EM) hoặctối đa hậu nghiệm (Maximum A Posteriori – MAP)

Các hàm toán học sử dụng trong GMM:

+ Xác suất điều kiện:

p(AᴒB) = p(A|B)p(B)+ Quy tắc Bayes:

Nếu và , thì:

p(A)=

Phân bố Gauss:

Với d chiều, phân phối Gauss của vector x =( x x1 , , , 2 x d)T

được xác địnhnhư sau:

T d

Ví dụ:

Hình 2.14 Mô hình hỗn hợp Gauss

Stauffer and Grimson [3]đã giới thiệu mô hình hỗn hợp Gaussian thíchứng, nhạy cảm với những thay đổi trong các hoạt cảnh có các thay đổi chiếusáng, các sự kiện bên ngoài, … Thay vì mô hình hóa các giá trị của các pixel củamột hình ảnh như một loại phân phối cụ thể, họ đã mô hình hóa các giá trị củatừng pixel dưới dạng hỗn hợp Gaussian Theo thời gian, các giá trị pixel mới cậpnhật MoG bằng cách sử dụng xấp xỉ K online Có nhiều phương pháp được đềxuất để cải thiện MoG Một thuật toán học hiệu quả cho MoG[4] được đề xuất đểkhắc phục yêu cầu về kiến thức trước đó về tỷ lệ cảnh chính và nền

b Mô hình nền phi tham số

Đôi khi, tối ưu hóa các tham số cho một môi trường cụ thể là một nhiệm

vụ khó khăn Do đó, một số nhà nghiên cứu đã giới thiệu kỹ thuật mô hình nềnphi tham số Các mô hình nền phi tham số khảo sát, phân tích thống kê của cáctính năng hình ảnh để tách foreground từ nền Một mô hình phi tham số được đềxuất cho mô hình nền, trong đó hàm kernel-based được sử dụng để mô tả phânphối màu của từng pixel nền Phân phối kernel-based là một khái quát của MoG,không yêu cầu ước tính tham số Yêu cầu tính toán cao cho phương pháp này Có

một phương pháp phi tham số, được tìm thấy và có hiệu quả cho phép trừ nềntrong các cảnh kết cấu động (ví dụ: vẫy lá, vòi phun nước, nước gợn sóng, …).

Họ đã đề xuất một tính năng dựa trên phân cụm, được gọi là biểu đồ màu mờ(FCH) để xây dựng mô hình nền bằng cách tính toán sự giống nhau giữa các tínhnăng FCH cục bộ với quy trình cập nhật trực tuyến Mặc dù thời gian xử lý cao

so với mô hình hỗn hợp Gaussian thích nghi

c Tìm sự khác biệt giữa các khung hình (frame differencing)

Đối tượng chuyển động có thể được phát hiện nhờ tính toán sự khác nhaugiữa hai khung hình liên tiếp Việc tính toán khá đơn giản và dễ thực thi, tuy nhiênkhó khăn nằm ở việc làm thế nào để thu được diện mạo hoàn chỉnh của đối tượngchuyển động

Hình 2.15 Phát hiện đối tượng chuyển động dựa vào tính toán điểm khác biệt

giữa hai khung hình liên tiếp.

d Nền cong vênh

Đây là phương pháp trình bày một mô hình nền phân biệt giữa chuyểnđộng nền và đối tượng foreground Không giống như hầu hết các mô hình đạidiện cho sự thay đổi của cường độ pixel tại một vị trí cụ thể trong hình ảnh,

chúng mô hình hóa sự cong vênh cơ bản của các vị trí pixel phát sinh từ chuyểnđộng nền Nền được mô hình hóa như một tập hợp các lớp cong vênh trong đótại bất kỳ thời điểm nào, các lớp khác nhau có thể được nhìn thấy do chuyểnđộng của một lớp ẩn Do đó, các khu vực tiền cảnh được định nghĩa là nhữngkhu vực không thể được mô hình hóa bằng một số thành phần của một số congvênh của các lớp nền này.

e Mô hình nền phân cấp

Chen[5] đã đề xuất một mô hình nền phân cấp, dựa trên phân đoạn vùng

và mô tả pixel để phát hiện và theo dõi foreground Đầu tiên, nó phân đoạn cáchình ảnh nền thành một số khu vực bằng thuật toán trung bình dịch chuyển Sau

đó, một mô hình phân cấp, bao gồm các mô hình vùng và mô hình pixel, đượctạo ra Mô hình vùng là một loại mô hình hỗn hợp Gaussian gần đúng được trích

từ biểu đồ của một vùng cụ thể Mô hình pixel dựa trên sự xuất hiện của các biếnthể hình ảnh được mô tả bằng biểu đồ của độ dốc định hướng (HOG) của pixeltrong từng vùng Hưởng lợi từ phân đoạn nền, các mô hình vùng và mô hìnhpixel tương ứng với các vùng khác nhau có thể được đặt thành các tham số khácnhau Các mô tả pixel chỉ được tính từ các pixel lân cận thuộc cùng một đốitượng Đầu tiên các mô hình phân cấp phát hiện các vùng chứa tiền cảnh và sau

đó chỉ định vị tiền cảnh trong các khu vực này, do đó tránh được sự phát hiện ởcác khu vực khác và giảm thời gian và chi phí tính toán Một phương pháp phâncấp hai giai đoạn tương tự đã được Chen[6] giới thiệu trước đó trong đó giaiđoạn dựa trên khối cung cấp một phân đoạn tiền cảnh class, sau đó là giai đoạndựa trên pixel để hoàn thiện hơn phân khúc Phương pháp cho thấy kết quả đầyhứa hẹn khi so sánh với MoG

2.2.1.2 Luồng ánh sáng (Optical Flow)

Luồng ánh sáng được định nghĩa là sự thay đổi của ánh sáng có cấu trúctrong ảnh, ví dụ: sự thay đổi ánh sáng trên võng mạc của mắt người hoặc cảm biếnảnh (camera), do chuyển động tương đối giữa mắt người hoặc máy ảnh và cảnhquan sát Hình 12 mô tả luồng sáng được tạo ra trên võng mạc do những thay đổicủa các phần tử sáng Hình ảnh cho thấy sự dịch chuyển của hai đặc trưng ảnh (hìnhngôi sao và hình lục lăng) trên một mặt phẳng và góc dịch chuyển của chúng trên

bề mặt nhãn cầu mắt Nếu như ánh sáng có cấu trúc được lấy mẫu theo không gian

và thời gian thì sẽ tạo ra một chuỗi ảnh (Hình 2.8) Trong hình minh họa này, có 3khung hình biểu diễn sự chuyển động của đầu người Luồng ánh sáng được mô tả là

sự tương đồng của các điểm ảnh thuộc đường biên đầu người giữa khung hình 1-1

và khung hình 1-2, cũng như hình 1-2 và hình 1-3

Hình 2.16: Luồng ánh sáng được tạo ra trên võng mạc do những thay đổi của

các phần tử sáng.