Nghiên cứu một số phương pháp nhận dạng đối tượng ứng dụng trong hệ thống camera quan sát bảo vệ mục tiêu

Công nghệ kỹ thuật giám sát an ninh đã có sự phát triển mạnh mẽ, từ các hệ thống quan sát kỹ thuật analog phổ biến trước năm 2002, đến nay các hệ thống quan sát mới công nghệ số hoá trên

ĐẠI HỌC QUỐC GIA HÀ NỘI

MỤC LỤC

LỜI CAM ĐOAN

MỤC LỤC ……… …….………… ………1

DANH MỤC TỪ VIẾT TẮT………… ………… ……… 3

DANH MỤC HÌNH VẼ……… ……….……….……….4

MỞ ĐẦU 5

Cơ sở khoa học và ý nghĩa thực tiễn 5

Cơ sở thực tiễn 5

Cơ sở khoa học 7

Ý nghĩa thực tiễn của Luận văn 9

Mục tiêu và nội dung nghiên cứu 10

Cấu trúc của Luận văn 11

CHƯƠNG 1 - TỔNG QUAN VỀ HỆ THỐNG CAMERA QUAN SÁT 13

1.1 Cấu hình kỹ thuật cơ bản của hệ thống 13

1.1.1 Khối thu nhận hình ảnh (camera) 14

1.1.2 Khối truyền dẫn 14

1.1.3 Khối hiển thị 15

1.1.4 Bộ tổng hợp hình (Multiplexer) 15

1.1.5 Thiết bị ghi hình 16

1.1.6 Bộ cấp nguồn 16

1.2 Một số camera quan sát trên thị trường Việt Nam 17

1.2.1 Camera IP VIVOTEK IP6122 17

1.2.2 Camera IP VIVOTEK IP7139 17

1.2.3 Camera IP VIVOTEK PZ6122 18

1.2.4 Camera Network AXIS 211 18

1.2.5 Camera IP AVtech AVI 201 18

1.2.6 Camera IP AVTech AVI 202 19

1.3 Giải pháp sử dụng camera kết nối trực tiếp với máy tính 19

1.3.1 Giải pháp camera analog 19

1.3.2 Giải pháp camera số 20

1.3.3 Đề xuất một số loại camera có thể đáp ứng yêu cầu của Luận văn 21

1.4 Các chức năng phần mềm của hệ thống camera quan sát 22

1.4.1 Phát hiện đối tượng 23

1.4.2 Phân loại đối tượng 23

1.4.3 Theo vết các đối tượng chuyển động 23

1.5 Một số chuyên đề cần nghiên cứu đối với hệ thống camera quan sát 23

1.5.1 Phát hiện đối tượng ra/vào cửa 23

1.5.2 Phát hiện di chuyển bất thường của đối tượng trong khu vực xác định 24

1.5.3- Phát hiện phương tiện đỗ, dừng quá thời gian quy định 24

1.5.4- Kiểm soát, phát hiện việc lấy, mang vác đồ vật ra khỏi khu vực được bảo vệ 25

1.5.5- Xác định những chuyển động, đối tượng bất thường 25

1.5.7- Kiểm soát đám đông 27

CHƯƠNG 2 - KỸ THUẬT PHÂN TÍCH HÌNH ẢNH VIDEO 28

2.1 Tiền xử lý hình ảnh[1] 28

2.1.1 Kỹ thuật tăng cường ảnh sử dụng toán tử điểm ảnh 28

2.1.2 Kỹ thuật lọc số miền không gian 30

2.2 Phát hiện đối tượng 32

2.2.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh 33

2.2.2 Kỹ thuật trừ ảnh phân khối 34

2.2.3 Phương pháp biểu đồ mức xám 35

2.2.4 Kỹ thuật trừ ảnh dựa vào đặc trưng 37

2.3 Nhận dạng đối tượng 38

2.3.1 Phương pháp nhận dạng dựa trên hình thái 39

2.3.2 Phương pháp nhận dạng dựa vào mô hình mạng nơron nhân tạo 41

2.4 Theo vết đối tượng chuyển động 43

2.5 Phát hiện khuôn mặt 45

CHƯƠNG 3 - THIẾT KẾ VÀ XÂY DỰNG CHƯƠNG TRÌNH 47

3.1 Thu nhận ảnh trực tiếp từ camera 47

3.2 Tiền xử lý 48

3.2.1 Biến đổi ảnh đa mức xám 49

3.2.2 Toán tử nhân chập 50

3.3 Phát hiện sai khác giữa các khung hình 51

3.4 Phát hiện đối tượng xuất hiện trong khung hình 52

3.5 Nhận dạng đối tượng bằng mô hình mạng nơron 54

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 60

A GIAO DIỆN CHƯƠNG TRÌNH 62

1 Giao diện chính 62

3 Giao diện chương trình giám sát con người 64

5 Giao diện chương trình huấn luyện 65

B CHƯƠNG TRÌNH NGUỒN 66

1 Biến đổi ảnh đa mức xám 66

2 Toán tử nhân chập 67

3 Phát hiện đối tượng 68

4 Nhận dạng đối tượng 74

5 Theo vết đối tượng 77

6 Phát hiện khuôn mặt 77

7 Huấn luyện mạng 81

TÀI LIỆU THAM KHẢO ……… ….………85

DANH MỤC TỪ VIẾT TẮT

1 ADSL Asymmetrical Digital Subcriber Line

2 MPEG-1 Chuẩn nén video MPEG-1

3 CCTV Closed-circuit television

6 DVSr Chuẩn ghi hình ảnh

7 NVR Networked Video Recorder

16 JPEG Một chuẩn của ảnh

DANH MỤC HÌNH VẼ

1 Hình 1.1: Quá trình phân đoạn và tìm kiếm video 7

2 Hình 2.1 Cấu hình cơ bản của hệ thống camera quan sát 13

9 Hình 2.7.1: Camera IP VIVOTEK IP612 17

11 Hình 2.7.3: Camera IP VIVOTEK PZ6 22 18

12 Hình 2.7.4: Camera Network AXIS 2 1 18

14 Hình 2.8: Các chức năng chính trong hệ camera giám sát 22

15 Hình 2.9: Phát hiện đối tượng ra/vào cửa 23

16 Hình 2.10: Phát hiện di chuyển bất thường của đối tượng trong

24 Hình 3.3: Phát hiện đặc trưng dựa vào các cạnh 37

25 Hình 3.4: Các mẫu vector đặc trưng cho di chuyển của camera 38

28 Hình 3.7: Thuật toán phân tích hình dáng đối tượng 41

29 Hình 3.8: Mô hình chuyển động của con người 41

30 Hình 4.1: Phát hiện sai khác giữa các khung hình 52

31 Hình A.1: Giao diện chính của chương trình 62

33 Hình A.3: Chức năng giám sát con người 64

34 Hình A.4: Chức năng phát hiện khuôn mặt 64

mà còn được bảo mật ở các cấp độ phù hợp Cũng từ sau sự kiện khủng bố ngày 11/ 9 hàng loạt các công nghệ hỗ trợ an ninh chống khủng bố đã được nghiên cứu với các ứng dụng của các tiến bộ khoa học và công nghệ đã ra đời, trong đó phải kể đến công nghệ giám sát an ninh điện tử được coi là một trong các biện pháp không thể thiếu và nó đã có những bước phát triển nhảy vọt

Nhờ các hệ thống giám sát an ninh công cộng, hàng loạt tên khủng bố

đã được các cơ quan an ninh đã kịp thời phát hiện, nhận dạng, ngăn chặn và bắt giữ Công nghệ kỹ thuật giám sát an ninh đã có sự phát triển mạnh mẽ, từ các hệ thống quan sát kỹ thuật analog phổ biến trước năm 2002, đến nay các

hệ thống quan sát mới công nghệ số hoá trên nền IP hoá đã đạt gần đến mức

độ kỹ hoàn hảo dựa trên cơ sở hạ tầng của nền công nghệ thông tin

Các hệ thống camera giám sát giao thông, hệ thống giám sát an ninh công cộng diện rộng điển hình như tại Anh, Mỹ, Đức, Xingapo đã được áp dụng các công nghệ tiên tiến của thế giới và ngày càng được nhiều quốc gia ứng dụng nhằm giữ vững an ninh chính trị và trật tự an toàn xã hội trong bối cảnh hội nhập trên toàn thế giới

Trong những năm qua các hệ thống kỹ thuật giám sát an ninh công cộng

đã tạo được những kết quả thành tích to lớn, thể hiện vai trò quan trọng của việc áp dụng khoa học, kỹ thuật và công nghệ vào công tác chiến đấu của lực lượng công an Quy mô các hệ thống giám sát an ninh công cộng ngày càng được hoàn thiện và hiện đại lên cùng sự phát triển của nền khoa học và sự phát triển không ngừng của công nghệ thế giới

Một ví dụ điển hình là ở hệ thống camera quan sát của thủ đô London vương quốc Anh đã được trang bị tới trên hai chục ngàn camera, trung bình một người một ngày ở thủ đô nước này được camera ghi hình tới ba lần Chính hệ thống camera nói trên đã giúp cảnh sát Anh nhanh chóng xác định được danh tính của các kẻ khủng bố đánh bom ở London hồi tháng 7/2005

Những năm vừa qua, được sự quan tâm chỉ đạo của Đảng uỷ Công an Trung ương, lãnh đạo Bộ và lãnh đạo công an các địa phương, lực lượng công

an nhân dân đã trang bị được một số hệ thống camera quan sát để phục vụ công tác nghiệp vụ công an tại Văn phòng Bộ Công an, Tổng cục cảnh sát, Bộ

tư lệnh cảnh vệ, các hệ thống camera quan sát bảo vệ mục tiêu và đảm bảo an toàn giao thông tại công an các thành phố Hà Nội, Thành phố Hồ Chí Minh

và công an các tỉnh Thừa Thiên Huế, Đà Nẵng, Đắc Lắc, Tây Ninh

Các hệ thống camera quan sát nói trên đã góp phần đắc lực trong công tác đảm bảo anh ninh chính trị và giữ gìn trật tự an toàn xã hội các dịp lễ kỷ niệm ngày giải phóng miền nam, Quốc khánh 2/9, các dịp lễ hội, Festival, Tết Nguyên đán, Đặc biệt là góp phần bảo vệ thành công bầu cử Quốc hội, Đại hội đại biểu Đảng toàn quốc và các sự kiện, hội nghị quốc tế lớn tổ chức tại Việt Nam (như Seagame22, ASEM5, APEC, )

Cơ sở khoa học

Cùng với sự phát triển của công nghệ thông tin, trong một vài năm gần đây công nghệ truyền thông đa phương tiện cũng đang được quan tâm Các ứng dụng trong hệ thống camera giám sát chỉ là một trong các ứng dụng của công nghệ truyền thông đa phương tiện Ngày nay với sự phát triển của các kỹ thuật nén ảnh video và truyền thông, chúng ta có thể gửi trực tuyến một số lượng lớn các file ảnh và file video qua mạng internet và người dùng đầu cuối với đường truyền băng thông rộng hoặc kết nối ADSL hoàn toàn có thể xem các hình ảnh video chất lượng cao tại nhà Trong khi số lượng video tăng lên nhanh chóng mà các ứng dụng đa truyền thông vẫn bị giới hạn trong việc quản lý nội dung, do vậy đòi hỏi những kỹ thuật mới để có thể xử lý hiệu quả

và quản lý nội dung các dữ liệu video Mô hình phân đoạn video được minh hoạ trong hình 1.1 Trước tiên chuỗi video được phân đoạn theo thời gian và không gian thích hợp Sau đó các phân đoạn này được rút trích các đặc trưng

để tạo các chỉ mục và tóm lược thông tin Và cuối cùng các ảnh và đoạn video này được tìm kiếm dựa trên các đặc trưng chỉ mục đã được rút trích

Các kỹ thuật xử lý ảnh trong công nghệ thông tin đã và đang được quan tâm, hiện nay giới khoa học về công nghệ thông tin đều nhất trí sử dụng khái

niệm Thị giác máy tính để nói về một công nghệ mới trong xử lý ảnh nói

chung và xử lý tín hiệu video nói riêng Trong một vài năm gần đây các bài

Hình 1.1: Quá trình phân đoạn và tìm kiếm video

báo, công trình khoa học về công nghệ thị giác máy tính tăng đáng kể trên các tạp chí chuyên ngành

Hình ảnh và video là những biểu diễn trực quan của thông tin Trong những năm gần đây, nhiều phương pháp đã phát triển nhằm tìm kiếm ảnh và video trên cơ sở các đặc trưng trực quan của chúng Màu sắc, vân ảnh, chuyển động và cấu tạo không gian-thời gian là các đặc trưng phổ biến nhất được dùng trong so sánh tính tương quan, trực quan giữa hai ảnh hoặc hai khung hình trong luồng dữ liệu video[6] Hai phương án tìm kiếm phổ biến nhất là truy vấn mẫu và truy vấn phác thảo[7] Một số nghiên cứu đã tập trung vào tìm kiếm ảnh tĩnh như trích chọn các đặc trưng của ảnh, độ đo tương tự giữa hai ảnh và tìm kiếm ngữ nghĩa [8] Các nghiên cứu về video chủ yếu dựa trên các kỹ thuật phát hiện sự chuyển cảnh (sự thay đổi giữa các khung hình), trích khoá giữa các khung hình hoặc áp dụng các kỹ thuật đối với ảnh tĩnh

So với ảnh tĩnh, tín hiệu là dữ liệu động với trục thời gian Ảnh video được biểu diễn một cách liên tục trên một tốc độ nhất định Một ảnh video chất lượng tốt bao gồm 25 đến 30 khung hình một giây Kích thước của một giờ video với kỹ thuật nén MPEG-1 là 500 MB Chính đặc tính liên tục theo thời gian và kích thước lớn là các thách thức lớn đối với các kỹ thuật phân tích hình ảnh video Tuy nhiên theo một số quan điểm chính sự nhiều thông tin, đặc biệt là thời gian và sự chuyển động lại là đặc trưng giúp cho quá trình phân tích hình ảnh video Theo quan điểm này, chúng ta có thể điểm qua một

số hướng tiếp cận chính sau:

- Sử dụng các phương pháp cắt ảnh nhằm chia đoạn video thành các đơn vị cơ bản Các đặc trưng ở mức thấp như màu sắc, chuyển động đã chứng minh là đúng đắn cho việc phát hiện các đối tượng theo trục thời gian

- Một phương pháp khác là sử dụng một hay nhiều khung hình là cơ sở

để phát hiện chuyển cảnh, sau đó mới sử dụng các đặc trưng màu sắc hay vân ảnh để xác định các đối tượng xuất hiện trong vùng camera

- Mô hình hoá các thay đổi trên mỗi khung hình như một chuỗi các quan sát trong mô hình markov Thông qua quá trình huấn luyện, hệ thống sẽ ước lượng các thay đổi trong các khung hình tiếp theo[9] Thông thường phương pháp này được ứng dụng cho quá trình theo vết đối tượng và được chia là hai loại chính là bottom-up và top-down:

+ Bottom-up: xuất phát từ các quan sát, thực hiện rút trích, phân đoạn

để tìm ra đối tượng cần theo vết

+ Top-down: giải quyết bài toán một cách thuận chiều hơn bằng cách

ước lượng mức hợp lý (likelihood) của các giả thuyết cho trước dựa trên quan sát thu được Cụ thể hơn, đầu tiên, phát sinh ra một tập các giả thuyết có thể

có trong không gian trạng thái của hệ thống, sau đó sử dụng quan sát để tính likelihood cho từng giả thuyết, các likelihood này sẽ quyết định đến mức độ

“tin cậy” của từng giả thuyết (Thường được biểu thị bằng các trọng số) Cuối cùng tổng hợp tập các giả thuyết-trọng số để cho ước lượng trạng thái của hệ thống

Tóm lại: Với các nghiên cứu về thị giác máy tính nói chung và kỹ thuật phân đoạn video nói riêng, hiện nay chúng ta đã có đầy đủ các công cụ để giải quyết cho bài toán trong hệ thống camera giám sát Cùng với các kinh nghiệm

và kiến thức trong lĩnh vực xử lý ảnh và nhận dạng, chúng tôi có đầy đủ khả năng để hoàn thành được các nội dung và mục tiêu nghiên cứu đề ra

Ý nghĩa thực tiễn của Luận văn

Việc sử dụng camera quan sát trong việc bảo vệ mục tiêu hiện nay được ứng dụng ngày càng rộng rãi, từ các mục tiêu an ninh quốc phòng cho đến các mục tiêu dân sự Thậm chí hệ thống camera còn được trang bị tại các gia đình

Ở Việt Nam trong nhiều cơ quan, Bộ ngành đã đầu tư nghiên cứu xây dựng và ứng dụng các công nghệ tiên tiến trong công tác đầu tư, trang bị các hệ thống Camera giám sát phục vụ công tác bảo vệ Trụ sở đầu não quan trọng với các công nghệ tiên tiến trên thế giới nhằm đảm bảo an toàn tuyệt đối các mục tiêu trọng điểm, tuy nhiên do đặc thù hạ tầng truyền dẫn và mục đích yêu cầu sử dụng, các hệ thống có cấu hình khác nhau với các hệ quản lý và khai thác dữ liệu cũng khác nhau và cấu trúc kỹ thuật hạ tầng truyền dẫn cũng theo nhiều giải pháp khác nhau

Thực tế cho thấy ở Việt Nam nói chung và trong lực lượng công an nói riêng đã có rất nhiều nơi trang bị các hệ thống giám sát an ninh công cộng ở diện hẹp như trong các trụ sở, kho bạc, ngân hàng, kho lưu trữ, bảo tàng hay các cảng hàng không, nhà ga với rất nhiều công nghệ khác nhau, nhiều hãng

thiết bị, nhiều mô hình thiết kế cũng khác nhau Theo thống kê chưa đầy đủ

đến thời điểm tháng 07/2008 lực lượng công an nhân dân đã và đang khai

thác sử dụng 552 hệ thống camera giám sát đồng thời khai thác cơ sở dữ liệu của các hệ thống do các Bộ ngành khác là 467 hệ thống (số liệu từ dự án điều tra cơ bản – Thực trạng và nhu cầu các hệ thống camera giám sát an ninh công cộng trong lực lượng công an nhân dân)

Tuy nhiên các hệ thống camera quan sát kiểm soát an ninh được triển khai tại Việt Nam hầu hết do con người trực tiếp điều khiển Với các hệ thống có hàng chục, hàng trăm camera tương ứng với hàng chục, hàng trăm màn hình hiển thị, thì cần phải hàng chục người quan sát xử lý Việc làm này vừa tốn nhân lực vừa không thể tránh khỏi những sai sót do tâm lý con người (mệt mỏi, sao nhãng, ) gây ra

Vì vậy việc đưa các ứng dụng nhận dạng mục tiêu tích hợp với các hệ thống camera quan sát là yêu cầu vừa cấp bách, vừa có tính thực tiễn cao nhằm không những tự động hoá phần lớn khâu quan sát, xử lý, cảnh báo mà còn tăng tốc độ xử

lý các tín hiệu quan tâm do camera thu nhận được

Các sản phẩm tự động kiểm soát hình ảnh thu được camera hiện nay cũng

đã được các nhà sản xuất trên thế giới chào bán tại Việt Nam, nhưng tất cả đều ở dạng đóng gói và đi kèm với các thiết bị chuyên dụng nên sản phẩm đều rất đắt và rất khó khăn khi cần mở rộng và triển khai ứng dụng

Mục tiêu và nội dung nghiên cứu

Trên cơ sở phân tích các cơ sở khoa học và ý nghĩa thực tiễn của Luận văn, chúng tôi đã chủ động đề xuất đăng ký thực hiện Luận văn với mục tiêu và nội dung nghiên cứu như sau:

Mục tiêu nghiên cứu:

“Nghiên cứu một số phương pháp nhận dạng đối tượng ứng dụng trong

hệ thống camera quan sát bảo vệ mục tiêu” từ đó xây dựng chương trình phát hiện và bám sát sự di chuyển của đối tượng ứng dụng trong hệ thống camera quan sát bảo vệ mục tiêu Nghiên cứu và phát hiện các trạng thái, tư thế chuyển động của con người trong vùng camera quan sát tại khu vực cần bảo

vệ

Nội dung nghiên cứu:

 Nghiên cứu một số loại camera hiện có trên thị trường giám sát bảo vệ mục tiêu, đánh giá chất lượng ảnh cũng như khả năng liên kết với máy

tính Xây dựng chương trình thu nhận ảnh trực tiếp từ camera, kết xuất

ra từng ảnh riêng biệt theo từ frame của luồng video

 Thu thập thống kê và phân tích các mẫu về hình dáng di chuyển của con người Xây dựng chương trình tổng hợp và phân tích các mẫu này

để làm cơ sở cho quá trình huấn luyện của hệ thống Tự động cập nhật các mẫu di chuyển mới

 Xây dựng chương trình nhận dạng phát hiện đối tượng xuất hiện tại khu vực cần bảo vệ, trong vùng camera quan sát được

 Xây dựng chương trình bám sát di chuyển của đối tượng trong vùng camera quan sát được Đặt ngưỡng báo động nếu như đối tượng xuất hiện tại khu vục cần bảo vệ quá một thời gian qui định

 Xây dựng chương trình dò tìm khuôn mặt đối với mỗi đối tượng phát hiện được Nếu xuất hiện khuôn mặt trong luồng video quan sát được thì định vị và sao lưu khuôn mặt của đối tượng

 Hoàn thiện chương trình nhận dạng đối tượng với nhiều đối tượng cùng xuất hiện trong frame ảnh thu nhận được từ camera Phát hiện, định vị

và sao lưu các khuôn mặt của đối tượng nếu có thể

Cấu trúc của Luận văn

Luận văn được chia thành bốn chương với một phụ lục trong đó chi tiết như sau:

Phần mở đầu giới thiệu chung về tình hình nghiên cứu của Luận văn bao gồm cơ sở khoa học để thực hiện Luận văn và ý nghĩa thực tiễn của Luận văn cũng như nội dung và mục tiêu nghiên cứu Luận văn đã đăng ký để nghiên cứu trong bản thuyết minh nghiên cứu của Luận văn

Chương một là những nghiên cứu tổng quan về hệ thống camera quan sát bảo vệ mục tiêu Bắt đầu từ cấu hình phần cứng cần thiết đối với một hệ thống, tiếp theo là các tìm hiểu của Luận văn về một số camera giám sát trên thị trường công nghệ thông tin ở Việt Nam Trong chương này, chúng tôi cũng đã tìm hiểu các giải pháp kết nối giữa camera và máy tính để từ đó lựa chọn giải pháp ứng dụng của Luận văn và đề xuất một số loại camera có thể ứng dụng trong phạm vi nghiên cứu của Luận văn

Các chức năng phần mềm cần thiết đối với một hệ thống camera quan sát

và một số bài toán cần được nghiên cứu cũng được trình bày trong chương 1 Với khả năng của mình, chúng tôi đã đưa ra ba chức năng chính và bảy chuyên đề cần nghiên cứu đối với một hệ thống camera quan sát bảo vệ mục tiêu

Phần cuối cùng trong chương một, chúng tôi đã tìm hiểu một số một số bài toán cần được đầu tư nghiên cứu để có thể đáp ứng đầy đủ các chức năng của một

hệ thống camera giám sát

Trong chương hai là các kỹ thuật phân tích hình ảnh video Bắt đầu bằng các kỹ thuật xử lý ảnh cơ bản nhằm khử nhiễu tăng cường chất lượng ảnh Phần tiếp theo là các kỹ thuật phát hiện đối tượng, phân loại đối tượng vào một trong ba lớp: đồ vật, con người và phương tiện giao thông Phần cuối chương là các kỹ thuật theo vết các đối tượng chuyển động

Chương ba là các kết quả đã cài đặt được do chúng tôi cài đặt thử nghiệm bằng ngôn ngữ lập trình Visual Basic 6.0 Trong chương này chúng tôi cung cấp đầy đủ các thuật toán đã được sử dụng trong nghiên cứu Luận văn và được sắp xếp theo thứ tự các bước cần giải quyết đối với bài toán camera giám sát

Phần phụ lục là một số giao diện của chương trình phát hiện và bám sát sự

di chuyển của đối tượng ứng dụng trong hệ thống camera quan sát bảo vệ mục tiêu cũng như một số đoạn mã nguồn của chương trình Chương trình nguồn được sắp xếp theo các chức năng cần giải quyết trong phạm vi nghiên cứu của Luận văn

Cuối cùng là phần kết luận về các công việc đã thực hiện và cùng bàn về khả năng ứng dụng cũng như hướng phát triển tiếp theo

CHƯƠNG 1 - TỔNG QUAN VỀ HỆ THỐNG CAMERA QUAN SÁT

Hệ thống camera quan sát là hệ thống công nghệ quét hình (video) tự động từ một hay nhiều camera, được ứng dụng phục vụ công tác đảm bảo an ninh, quân sự Hệ thống tạo khả năng cho phép một người có thể quan sát một khu vực rộng lớn Các camera được đặt phân tán và có khả năng phân tích hình ảnh để phát hiện người, phương tiện và các hoạt động khác mà người ta quan tâm Hệ thống camera có thể hoạt động ban ngày và ứng dụng hồng ngoại dùng cho quan sát ban đêm thông qua các đầu phân tích cảm ứng

Trong phần tiếp theo chúng tôi sẽ điểm qua một số thiết bị phần cứng

và các ứng dụng phần mềm cần thiết đối với một hệ thống camera quan sát

1.1 Cấu hình kỹ thuật cơ bản của hệ thống

Cấu hình cơ bản của một hệ thống camera quan sát được mô tả như trong hình 2.1 Xét về thiết bị phần cứng, về cơ bản hệ thống có thể được chia

thành thàng bốn khối chính là: thu nhận, điều khiển, hiển thị và truyền dẫn Tuy nhiên, trong thực tế khối điều khiển có thể bao gồm các thiết bị phần cứng khác như thiết bị ghi hình, bộ tổng hợp hình ảnh

Hình 2.1 Cấu hình cơ bản của

hệ thống camera quan sát

Trong phần tiếp theo chỳng ta sẽ cựng điểm qua một số thiết bị phần cứng cần thiết đối với một hệ thống camera quan sỏt

1.1.1 Khối thu nhận hỡnh ảnh (camera)

Thành phần cấu tạo chớnh của

Camera là thõn Camera và ống kớnh được

minh hoạ như trong hỡnh 2.2

Trờn cơ sở cụng nghệ chế tạo, người

ta chia camera trong hệ thống CCTV ra làm

2 loại: Camera kỹ thuật tương tự hay cũn

gọi là Camera Analog và Camera kỹ thuật

số hay cũn gọi là Camera Digital cũn trờn

cơ sở kỹ thuật lắp đặt, người ta chia ra làm

2 loại: Camera lắp đặt cố định và Camera

Camera cú điều khiển, thường được

gọi là Camera quay quột zoom

(Pan/Tilt/Zoom Camera), là loại Camera

cú thể thay đổi gúc quan sỏt, vị trớ quan sỏt và cú thể thay đổi tiờu cự ống kớnh để phúng to, thu nhỏ ảnh quan sỏt, bằng cỏch điều khiển tại trung tõm

1.1.2 Khối truyền dẫn

Thụng thường hiện nay người ta sử dụng 3 cỏch truyền dẫn hỡnh ảnh từ camera về nơi quan sỏt và xử lý, đú là truyền dẫn bằng cỏp đồng trục, truyền dẫn bằng đường cỏp quang và truyền dẫn bằng súng vụ tuyến

Cỏp đồng trục: Cho phộp truyền hỡnh ảnh trờn một khoảng cỏch ngắn

Với khoảng cỏch càng xa (thường là 1000m trở lờn) tớn hiệu hỡnh ảnh truyền trong cỏp đồng trục càng bị suy hao nhiều và độ nhiễu càng lớn, bởi vậy hỡnh ảnh quan sỏt thu được chất lượng rất kộm

Đầu ra tín hiệu , 4- Dây cấp

nguồn)

Hình 2.3: Camera cố định

Hình 2.4: P/T/Z camera

Cáp quang: Để truyền hình ảnh đi xa và hạn chế nhiễu, người ta sử

dụng cáp quang Cáp quang có thể cho phép truyền tín hiệu hình ảnh đi xa từ

vài chục đến vài nghìn km

Vô tuyến: Đối với những địa hình phức tạp không thể kéo dây từ

camera về nơi xử lý, người ta sử dụng phương pháp truyền bằng sóng vô

tuyến

1.1.3 Khối hiển thị

Màn hình quan sát là thiết bị xử lý trong hệ

thống camera quan sát Tín hiệu ảnh sau khi được

camera thu nhận và chuyển đổi thành tín hiệu điện

có thể truyền được đi xa trong cáp video Màn

hình là thiết bị chuyển đổi tín hiệu điện video

thành tín hiệu ảnh có thể quan sát trực tiếp bằng mắt thường

1.1.4 Bộ tổng hợp hình (Multiplexer)

Bộ tổng hợp hình làm nhiệm vụ chia màn hình thành nhiều khuôn hình

và cho phép thể hiện trên mỗi khuôn hình đó hình ảnh từ một Camera độc lập đưa về Bộ tổng hợp hình không dừng lại ở chia màn hình mà nó có khả năng chia 4,9, 16, Ngoài ra bộ tổng hợp hình còn làm nhiệm vụ nén tín hiệu để ghi vào băng từ hoặc ổ cứng

c

p w

er s

n

h ho

ld

v h ol

d br ig

ht co nst

t u e

r hi g

t

v n

e vide o monito

r

wv-bm

1 1

0

o

n o

f si z

e no r

al

H×nh 2.6: CÊu h×nh ghÐp nèi c¸c camera víi bé tæng hîp h×nh

Cuối năm 2002 đầu năm 2003 đánh dấu sự ra đời của công nghệ giám sát mạng trên nền IP và cũng là sự bắt đầu của công nghệ ghi hình trên mạng NVR (Networked Video Recorder) với dung lƣợng lên đến vài TGb Mặc dù cho đến đầu năm 2005 công nghệ NVR mới chỉ chiếm vài phần trăm trong các hệ thống CCTV lắp đặt mới, nhƣng đến 2006 các hệ thống CCTV trên thế giới đã đánh giá đúng vai trò và vị trí của NVR và nó đã chiếm từ 14% đến 16% của các hệ thống CCTV các hãng SONY, PANASONIC, nó đã hứa hẹn một sự bùng nổ của cuộc cách mạng mới trong việc giám sát, ghi và quản lý hình trên mạng với công nghệ trên nền IP

1.1.6 Bộ cấp nguồn

Bộ cấp nguồn là thiết bị quan trọng cho toàn bộ hệ thống camera quan sát hoạt động Với thế hệ Camera cũ (Analog) nguồn cung cấp phải có độ ổn định cao, dòng tiêu thụ lớn thì đối với các Camera mầu IP thế hệ mới đòi hỏi

độ ổn định nguồn một chiều cung cấp cho Camera cũng nhƣ các thiết bị ghi

có độ ổn định rất cao nhƣng công suất không tăng vì các thiết bị thế hệ mới đã đƣợc thiết kế gọn, nhẹ với đặc tính tiết kiệm điện nên dòng tiêu thụ không lớn

Hình 2.7: Thiết bị ghi hình

1.2 Một số camera quan sát trên thị trường Việt Nam

1.2.1 Camera IP VIVOTEK IP6122

• Có thể chọn được công nghệ nén hình ảnh MJPEG và MPEG4

• Âm thanh 2 chiều

• Đồng bộ âm thanh và hình ảnh

• Dò t m cảnh báo thông minh

• Hỗ trợ đầu kính hồng ngoại (tùy chọn)

• Hỗ trợ đầu kính Auto I is (tùy chọn)

• Hỗ trợ ngõ vào ra cảm biến và cảnh báo

• Giá: 375.00 USD

1.2.2 Camera IP VIVOTEK IP7139

• Cảm biến hình ảnh CMOS độ phân giải Mega-pixel

• Thích hợp loại ống kính chuẩn

• Có khe thẻ nhớ

• Công nghệ nén hình ảnh MJPEG v à MPEG4

• Âm thanh 2 chiều

• Hỗ trợ 3GGP xem trên ĐTDĐ

• Hỗ trợ mạng không dây chuẩn 802.11b/g

• Hỗ trợ ngõ vào ra cảm biến và cảnh báo

• Hỗ trợ mặt nạ che

• Giá: 360.00 USD

Hình 2.7.1

Hình 2.7.2

1.2.3 Camera IP VIVOTEK PZ6122

• Công nghệ nén hình ảnh MJPEG và MPEG4

• Tính năng xoay 4 chiều và zoom ( hỗ trợ

zoom quang 10X & zoom số 10X)

• Hỗ trợ âm thanh 2 chiều

• Đồng bộ âm thanh và hình ảnh

• Chế độ dò t m chuyển động thông minh

• Hỗ trợ ngõ vào ra cảm biến và cảnh báo

• Ánh sáng tối thiểu 0.005 lux

• Giá: 680.00 USD

1.2.4 Camera Network AXIS 211

• Loại hệ thống thấu kính têu cự biến đổi

1.2.5 Camera IP AVtech AVI 201

• Chế độ xem hình và tiếng trực tiếp

• Hình ảnh sắc nét với chất lượng hình ảnh 25 hình/giây với độ phân giải VGA

• Phần mềm ghi hình và tiếng miễn phí

• Bảo hành : 12 Tháng

• Xuất xứ : AVTech - Đài Loan

1.2.6 Camera IP AVTech AVI 202

 Chế độ xem hình và tiếng trực tiếp bằng công nghệ 2.5G/3G (Mobile Phone và Media Adapter)

 Xuất xứ : AVTech - Đài Loan

1.3 Giải pháp sử dụng camera kết nối trực tiếp với máy tính

1.3.1 Giải pháp camera analog

Camera analog hiện nay được sử dụng tương đối rộng rãi ở Việt Nam

do hầu hết các hệ thống camera giám sát được lắp đặt độc lập với máy tính Các hệ thống này chỉ có chức năng ghi hình còn việc giám sát được thực hiện một cách thủ công Đây là công nghệ tương đối lạc hậu so với thời đại công nghệ số hiện nay

Việc kết nối camera này với máy tính thông qua bộ chuyển đổi hay còn được gọi là card video Nói chung việc thu nhận và xử lý luồng dữ liệu video thông qua card kết nối là khó và không khả thi khi sử dụng nhiều camera cho một hệ thống quan sát

Trong phạm vi nghiên cứu của Luận văn này, giải pháp kết nối với máy tính bằng camera analog là không khả thi vì những lý do sau:

- Giá thành thiết bị cao vì ngoài camera còn phải có thiết bị chuyển đổi analog/digital

- Khó có khả năng mở rộng khi sử dụng nhiều camera cho một hệ thống camera quan sát khi triển khai ứng dụng thực tế

- Các hàm thư viện điều khiển thiết bị không thể mua hoặc có thể mua

từ nhà cung cấp nhưng với giá thành cao

- Công nghệ lạc hậu nên việc tìm kiếm tài liệu khó khăn

1.3.2 Giải pháp camera số

Đây là loại camera thông dụng trên thị trường hiện nay với nhiều giải pháp kết nối với trực tiếp với máy tính Hiện nay có hai loại camera số có thể kết nối trực tiếp với máy tính là camera IP và camera kết nối với máy tính qua cổng USB

Do các camera được kết nối trực tiếp với máy tính nên việc điều khiển

là dễ dàng và các camera đều tuân theo chuẩn của Windows nên có thể nói chương trình thu nhận ảnh trực tiếp từ camera có thể đáp ứng với hầu hết các camera hiện nay trên thị trường Đây là lựa chọn hàng đầu của Luận văn vì tính mở của hệ thống có thể đáp ứng với hầu hết các loại camera số khác nhau

a Giải pháp Camera IP

Camera IP, hiện nay đang được triển khai ứng dụng rộng rãi từ hội nghị truyền hình cho đến camera giám sát, vì vậy nguồn tài liệu và thiết bị thử nghiệm vô cùng phong phú tạo điều kiện thuận lợi cho các nhà nghiên cứu và triển khai thử nghiệm Với phạm vi nghiên cứu của Luận văn, chúng tôi lựa chọn giải pháp camera IP vì những lý do sau:

- Dễ ràng thu nhận luồng dữ liệu video trực tiếp từ camera

- Các giao tiếp đơn giản, có thể điều khiển dễ dàng với các camera điều khiển được

- Khả năng mở rộng một hệ thống với nhiều camera là khả thi và dễ dàng với các thiết bị chuyển mạch

- Có khả năng kết nối hoạt động trong môi trường mạng internet Có thể triển khai các hệ thống camera giám sát từ xa

- Tài liệu và thiết bị thử nghiệm phong phú

- Các camera IP đều kết nối với máy tính qua giao thức IP nên hệ thống

có tính mở, có thể đáp ứng với hầu hết các loại camera IP trên thị trường

b Giải pháp Camera USB

Tương tự như camera USB, Camera kết nối với máy tính qua cổng USB cũng có được những ưu điểm trên, tuy nhiên giải pháp này gặp phải khó khăn

là mỗi camera cần một drive điều khiển riêng do vậy việc thử nghiệm với các loại camera khác nhau là khó khăn, do đó tính mở của hệ thống bị hạn chế

Một hạn chế nữa của camera USB là không hỗ trợ với môi trường mạng nên khó khăn cho việc triển khai các ứng dụng giám sát từ xa

1.3.3 Đề xuất một số loại camera có thể đáp ứng yêu cầu của Luận văn

Trên cơ sở tìm hiểu chi tiết kỹ thuật, giá thành của một số loại camera trên thị trường Việt Nam Chúng tôi đề xuất một số loại camera có thể đáp ứng theo yêu cầu của Luận văn như sau:

• Loại hệ thống thấu kính têu cự biến đổi (3.0-8.0mm) dùng DC- ris

• Dải t êu cự điều chỉnh được từ 0.5 mm đến vô cực

• Quét điểm ảnh công nghệ Sony Super CCD luỹ tến ¼’ RGB, 300K pixel

• Màu, đen/ rắng

• Điều chính độ sáng: 0.75-500.000 lux

• Truyền ảnh động 30 hình/giây

• Nén ảnh: JPEG động, MPEG-4

• Hỗ trợ 3 chế độ phân giải : 640x480, 320x240, 160x120

• 4 mức nén ảnh (thấp, trung bình, c o, rất cao)

• Giá thành: 5.000.000 VNĐ

1.4 Các chức năng phần mềm của hệ thống camera quan sát

Theo dõi người, phương tiện cơ động trong môi trường rộng, với số lượng lớn các camera là một công việc phức tạp, vì vậy một hệ thống camera quan sát cần phải có một số các chức năng phần mềm để hệ thống có thể hoạt động một cách tự động Các chức năng phần mềm này được gọi chung là công nghệ xử lý và phân tích hình ảnh Mô hình xử lý đối với một hệ thống camera quan sát được minh hoạ như trong hình 2.8

Bước đầu tiên của công nghệ phân tích video là tự động bóc tách lớp đối tượng ra khỏi lớp nền từ hình ảnh video Để phát hiện được các đối tượng chuyển động và theo dõi chúng qua các ảnh liên tiếp có thể dùng tổ hợp các vùng (đối tượng) khác biệt và dùng các ảnh mẫu Các đối tượng phát hiện được sẽ được phân loại vào nhóm một đối tượng hay nhiều đối tượng Các đặc trưng này sẽ được dùng liên tiếp trong việc theo dõi, định vị các đối tượng

Hình 2.8: Các chức năng chính trong hệ thống camera quan sát

1.4.1 Phát hiện đối tượng

Nhận biết ra các đối tượng xuất hiện trong dãy hình ảnh video là việc đầu tiên trong hệ thống quan sát video tự động Bằng các phương pháp khác nhau, chúng ta có thể tách chuỗi tín hiệu video thu được thành các lớp đối tượng và các lớp nền Đối tượng xuất hiện sẽ được phát hiện khi có sự thay đổi giữa các khung hình trong chuỗi video thu nhận từ camera sai khác so với lớp nền

1.4.2 Phân loại đối tượng

Sau khi phát hiện được các đối tượng xuất hiện trong vùng quan sát, hệ thống cần phân loại được các lớp đối tượng đó để có phương hướng xử lý tiếp theo Căn cứ theo hành động của các đối tượng, người ta có thể phân loại các đối tượng vào các lớp đối tượng cố định và lớp đối tượng chuyển động

Hầu hết các hệ thống camera quan sát đều ứng dụng các thuật toán khác nhau để phân loại các đối tượng phát hiện được vào một trong ba lớp là lớp

đồ vật, con người và các phương tiện giao thông

1.4.3 Theo vết các đối tượng chuyển động

Theo vết đối tượng là thành phần chủ yếu trong các hệ thống theo dõi (surveillance), dẫn đường (guidance), phòng tránh ách tắc (obstacle avoidance system), hay các ứng dụng tương tác người – máy thông minh (intelligent human-computer interactive system) Nhiệm vụ chủ yếu của giai đoạn này là xác định số lượng các đối tượng thành phần cùng với vị trí, và động tác chuyển động tương ứng của chúng nhằm đưa ra những quyết định điều khiển thích hợp

người ra/vào cửa trái phép (như

vào/ra không có thẻ nhân thân; không

Hình 2.9

có ảnh trong cơ sở dữ liệu được phép vào/ra…) Hệ thống cũng thống kê cho biết số người ra/vào, số truy cập thẻ /mã không đúng trong khoảng thời gian xác định.Trong trường hợp lợi dụng một xác thực đúng (từ thẻ, ảnh…) của đối tượng trong hàng đợi để chèn đối tượng khác (không qua xác thực) để ra/vào cửa, hệ thống cũng sẽ phát tín hiệu cảnh báo Ví dụ : người trước xuất trình thẻ, cửa mở tự động để người này vào, người đứng sau lợi dụng khoảng thời gian cửa đang mở cho người trước vào để chen vào như minh hoạ trong hình 2.9

1.5.2 Phát hiện di chuyển bất thường của đối tượng trong khu vực xác định

phương tiện hoặc người

qua lại như trong hình

2.10

Chuyên đề nghiên cứu này ngoài biệc có thể ứng dụng cho các hệ thống camera quan sát còn có thể được ứng

dụng rộng rãi trong hệ thống kiểm soát

giao thông Đặc biệt từ khi chế tài về

phạt nguội các vi phạm giao thông

bằng hình ảnh có hiệu lực

1.5.3- Phát hiện phương tiện đỗ,

dừng quá thời gian quy định

Thuật toán sẽ xác định phương

tiện đang di chuyển dừng lại ở khu vực

Hình 2.10: Phát hiện sự di chuyên bất thường

Hình 2.11

nhạy cảm quá thời gian quy định hoặc phương tiện dừng lại vài vị trí cấm đỗ,

Vì vậy để ứng dụng cho kiểm soát giao thông, ngoài các chuyên đề hai và ba cần nghiên cứu, chúng ta cần đặt vấn đề nghiên cứu nhận dạng ký tự trong việc xác định biển số xe

1.5.4- Kiểm soát, phát hiện việc lấy, mang vác đồ vật ra khỏi khu vực được bảo vệ

Trên cơ sở các các đồ vật, hiện vật

đã được đăng ký, vì lý do nào đó chúng

được di chuyển với các chuyển động của

đồ vật (như di chuyển từ vị trí nọ sang vị

trí kia hoặc lấy đồ vật ra khỏi khu vực

kiểm soát) và phát lệnh cảnh báo hoặc ghi

lại hình ảnh hiện trường của sự chuyển đổi

Chuyên đề này được minh hoạ như trong

hình 2.12 Với hình bên trái là đồ vật cần

quan tâm theo dõi và hình bên phải là sự

biến mất của đồ vật đã được đăng ký, khi

đó hệ thống cần phát lệnh cảnh báo về sự

biến mất của đồ vật Chuyên đề này có thể

được ứng dụng rộng rãi trong việc quản lý

các hiện vật được trưng bày tại triển lãm,

vực nhạy cảm hoặc xuất hiện các đồ vật bất thường tại khu vực nhạy cảm như nhà ga, sân bay như minh hoạ trong hình 2.13 Hệ thống kiểm soát an ninh

sẽ phát lệnh cảnh báo khi xuất hiện một túi đồ vật bất ngờ xuất hiện tại khu vực quan sát

1.5.6 Kiểm soát, phát hiện các phương tiện cơ động trong danh sách chú ý

Thuật toán giúp kiểm soát các xe ô tô, xe máy với màu sắc, biển số được xác định (đối tượng chú ý) ra/vào một khu vực nào đó và phát hiện cảnh báo Hệ thống cũng lưu lại các xe với màu sắc, biển số trong cơ sở dữ liệu để đối chiếu trong trường hợp cần thiết Hình 2.14 minh hoạ việc hệ thống sẽ cảnh báo nếu các phương tiện xâm nhập trái phép vào khu vực cấm

Hình 2.14: Giám sát các phương tiện giao thông

1.5.7- Kiểm soát đám đông

Xác định mỗi khu vực

cho trước (cửa ra vào hoặc

các ngã tư) cho phép mật độ

người/phương tiện được phép

lưu thông trong khoảng thời

gian ấn định, nếu vượt quá

ngưỡng hệ thống sẽ phát cảnh

báo Hệ thống cũng có thể

kiểm soát sự di chuyển bất

thường của một người trong

đám đông Ví dụ trong dòng

người đang đi bộ trong sân bay, xuất hiện một người bỏ chạy Hình 2.15 minh hoạ việc giám sát số lượng người tại khu vực rút tiền ATM Hệ thống sẽ ảnh báo nếu như xuất hiện quá đông người tại khu vực

Hình 2.15: Kiểm soát đám đông

CHƯƠNG 2 - KỸ THUẬT PHÂN TÍCH HÌNH ẢNH VIDEO

Trong chương này, chúng tôi tập chung vào việc nghiên cứu các phương pháp chung nhất để xử lý phân tích các hình ảnh thu nhận được từ dòng tín hiệu video Mục tiêu của các phương pháp này để giải quyết ba chức năng chính của hệ thống camera quan sát, đó là:

 So sánh sự khác giữa các frame thu nhận được liên tục từ camera để phát hiện đối tượng

 Phân loại các đối tượng phát hiện được là con người, đồ vật hay là các phương tiện giao thông

 Theo vết các đối tượng chuyển động

2.1 Tiền xử lý hình ảnh[1]

Mục đích của quá trình này là làm nổi bật một số đặc tính của ảnh như thay đổi độ tương phản, lọc nhiễu, làm nổi các biên ảnh và làm trơn ảnh

2.1.1 Kỹ thuật tăng cường ảnh sử dụng toán tử điểm ảnh

Xử lý điểm ảnh là 1 trong các phép xử lý cơ bản và đơn giản Có 2 cách tiếp cận chính cách xử lý này:

+ Dùng 1 hàm thích hợp (hàm tuyến tính hay hàm phi tuyến) tùy theo mục đích cải thiện ảnh để biến đổi giá trị các điểm ảnh (mức xám, độ sáng) sang một giá trị khác (mức xám mới)

+ Dựa vào kỹ thuật biến đổi lược đồ mức xám

(Histogram)

a Tăng cường độ tương phản

Nguyên lý của kỹ thuật này là điều chỉnh biên

độ trên toàn dải hay dải có giới hạn bằng biến đổi

tuyến tính biên độ đầu vào:

Hình 3.1: Tăng cường độ

tương phản

Các độ dốc , ,  xác định độ tương phản tương đối L là số mức xám cực đại Hình 3.1 biểu diễn dạng đồ thị của kỹ thuật tăng cường độ tương phản

Dễ ràng nhận thấy:

+  =  =  = 1: Ảnh kết quả trùng với ảnh gốc

+ , ,  > 1 : Giãn độ tương phản

+ , ,  < 1 : Co độ tương phản

b Tách nhiễu và phân ngưỡng

Khi độ dốc  =  = 0 ta có kỹ thuật tách nhiễu Kỹ thuật này đuợc ứng dụng để quan sát ảnh, cắt ảnh hoặc giảm nhiễu khi biết tín hiệu đầu vào nằm trong khoảng [a,b]

Phân ngưỡng là trường hợp đặc biệt của tách nhiễu khi a và b là hằng

số Kỹ thuật phân ngưỡng thường được sử dụng để tái tạo ảnh nhị phân

c Biến đổi lược đồ mức xám

Thường thì trong một số ảnh, các giá trị xám không phủ đều trên toàn dải động sẵn có của ảnh mà chỉ tập trung ở một số mức xám nhất định (tồn tại nhiều giá trị xám bằng 0 hoặc dạng 2B

- 1) Điều này là cho ảnh quá tối, quá sáng hoặc tương phản kém

Để giải quyết điều này, ta thực hiện thao tác giãn lược đồ mức xám trên toàn dải động của ảnh

Giả sử dải động (dải độ sáng) của ảnh là 0÷ 2B

-1, thì kỹ thuật này là một ánh xạ sao cho:

Giá trị xám nhỏ nhất của ảnh  giá trị 0

Giá trị xám lớn nhất của ảnh  giá trị 2B-1

Ánh xạ này là:

Một trong các kỹ thuật biến đổi lược đồ mức xám hay được sử dụng là phương pháp san bằng lược đồ mức xám nhằm cố gắng chuyển đổi lược đồ mức xám của ảnh về gần với một lược đồ mức xám định trước

Giải thuật cơ bản như sau:

B3: Tính tỷ lệ xuất hiện mức xám I trên ảnh

For i = 0 to 255 do Hr[i] = H[i] /(Height*Width)

B4: Tính phân phối xác suất mức xám k trên ảnh

2.1.2 Kỹ thuật lọc số miền không gian

- Nhiễu gây cho ta những khó khăn khi phân tích tín hiệu, trong khi các

kỹ thuật trên rõ ràng chưa đáp ứng được vấn đề giảm nhiễu Vì vậy kỹ thuật lọc số miền không gian được ứng dụng

- Cơ sở lý thuyết của lọc số là dựa trên tính dư thừa thông tin không gian

- Trong kỹ thuật này, người ta sử dụng một mặt nạ và di chuyển khắp ảnh gốc Tuỳ theo cách tổ hợp điểm đang xét với các điểm lân cận mà ta có

kỹ thuật lọc tuyến tính hay phi tuyến Điểm ảnh chịu tác động của biến đổi là điểm cạnh của mặt nạ như trong phương trình (3.1) hoặc ở tâm mặt nạ như trong phương trình (3.2)

a Lọc trung bình không gian

Mục đích của việc sử dụng bộ lọc này là san bằng ảnh, làm mịn ảnh và loại bỏ các thành phần nhiễu, muỗi

Ý tưởng của bộ lọc là mỗi điểm ảnh được thay thế bằng trọng số trung bình trọng số của các điểm lân cận với mặt nạ Một số mặt nạ thường được sử dụng với bộ lọc trung bình không gian có thể được sử dụng như sau:

b Lọc thông thấp không gian

Mục đích của việc sử dụng bộ lọc này là khử nhiễu cộng và nội suy ảnh

Trong kỹ thuật, người ta thường sử dụng một số bộ lọc sau:

c Lọc trung vị

Bộ lọc trung vị được ứng dụng chủ yếu cho việc giảm nhiễu Một bộ lọc trung vị cũng sử dụng một cửa sổ di chuyển trên toàn ảnh và giá trị mức xám điểm ảnh đầu ra được thay thế bởi trung vị của các điểm ảnh trong cửa sổ đó

Thuật toán lọc trung vị được thực hiện như sau:

+ Sử dụng một cửa sổ có kích thước J x K di chuyển toàn ảnh

+ Các điểm ảnh trong cửa sổ sẽ được sắp xếp từ nhỏ tới lớn

) 1 3 ( )

, (

* ) , ( )

, (

1

0 1

l

l m k m X l k H n

m Y

) 2 3 ( 2

1 )

, (

* ) , ( )

, (

m

L

k L

l

c c

+ Nếu kích thước cửa sổ là lẻ thì vị trí trung vị là (J x K + 1)/ 2, ngược lại thì vị trí trung vị là J x K / 2

d Bộ lọc giữ biên

Biên đóng vai trò quan trọng trong cảm nhận ảnh của chúng ta và trong phân tích ảnh Bằng cách nào đó ta làm trơn ảnh mà không làm mất đi độ sắc nét của biên, nếu có thể thì không làm thay đổi vị trí của biên Bộ lọc đạt được mục đích này gọi là bộ lọc giữ biên

Bộ lọc này cũng sử dụng một cửa sổ:

+ Kích thước cửa sổ J = K = 4L +1, với L là số nguyên

+ Chia cửa sổ thành 4 vùng Trong mỗi vùng ta tính trung bình độ sáng của toàn vùng:

và tính bình phương độ lệch chuẩn:

với  là số điểm ảnh của vùng R

+ Giá trị đầu ra của điểm ảnh trung tâm trong cửa sổ là giá trị trung bình của vùng có bình phương độ lệch chuẩn nhỏ nhất

e Bộ lọc thông cao, thông dải

Mục đích của bộ lọc này là làm trơn ảnh và trích chọn biên Một số bộ lọc thường được sử dụng trong bộ lọc thông cao, thông dải như:

2.2 Phát hiện đối tượng

Một bài toán quan trọng và phổ biến trong lĩnh vực giám sát tự động là phát hiện được đối tượng xuất hiện (hoặc biến mất) trong vùng camera quan sát Có hai giải pháp được ứng dụng, một là sử dụng phần cứng hoàn toàn thông qua các hệ thống sử dụng các tia quét Hai là dựa vào kỹ thuật xử lý ảnh trên cơ sở xử lý các hình ảnh thu được, phân tích và kết luận về việc có đối tượng xuất hiện hay không

) 3 3 ( )

( 1

) , ( 







R n m

m

) 4 3 ( )

) ( ( 1

1

) (

i



Trong phạm vi nghiên cứu Luận văn này chúng tôi ứng dụng các kỹ thuật trừ ảnh để tìm sự sai khác giữa hai khung hình Trên cơ sở so sánh ngưỡng chúng ta có thể phát hiện ra đối tượng có xuất hiện trong khung hình hay không

2.2.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh

Phương pháp đơn giản nhất để trừ hai ảnh là tính giá trị biểu diễn sự chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng trên hai

ảnh[10]:

So sánh giá trị tìm được với ngưỡng chuyển cảnh Tb để xác định xem

có chuyển cảnh hay không

Kỹ thuật trừ ảnh dựa vào điểm ảnh rất đơn giản Nhược điểm lớn nhất của kỹ thuật này là không thể phân biệt được sự thay đổi lớn trong một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn Nói chung tất cả các kỹ thuật trừ giá trị điểm ảnh đều nhạy cảm với nhiễu và các di chuyển của camera Một bước phát triển hơn của kỹ thuật này là đếm tổng số điểm ảnh có

thay đổi lớn hơn một ngưỡng và so sánh tổng đó với một ngưỡng khác

để phát hiện chuyển cảnh

Nếu tỷ lệ số điểm ảnh thay đổi D(f1,f2) lớn hơn ngưỡng T1 thì đã có chuyển cảnh do có đối tượng xuất hiện (hoặc biến mất) Tuy các thay đổi không liên quan trong ảnh đã được loại bỏ bớt, nhưng hướng tiếp cận này vẫn nhạy cảm với những di chuyển của camera và các đối tượng Chẳng hạn, khi camera quay theo hướng đối tượng, rất nhiều điểm ảnh được coi là thay đổi,

dù cho chỉ có ít điểm ảnh bị dịch chuyển Có thể giảm tác động này bằng cách

) 5 3 ( )

, ( ) , (

1 ) , (

1

0

2 1

1

0 2

x

y x f y x f Y

X f

f D

) 6 3 ( )

, ( 1

) , (

1

0 1

0 2

x

y x DP Y

X f

f D

áp dụng một bộ lọc trung bình Để giải quyết tốt hơn vấn đề này, người ta áp dụng kỹ thuật trừ ảnh phân khối sẽ được trình bày tiếp theo đây

Một nhược điểm khác của kỹ thuật trừ ảnh dựa vào giá trị điểm ảnh là khắc phục hiện tượng chớp sáng Khi đó người ta điều chỉnh độ sáng sai khác giá trị điểm ảnh bằng cách chia nó cho cường độ của điểm ảnh trên ảnh thứ

hai Hampapur[1] gọi ảnh thu được từ độ chênh lệch hiệu chỉnh ảnh là chromatic

Phương pháp trừ giá trị điểm ảnh cơ bản là tính toán từ các giá trị cường độ điểm ảnh, nhưng cũng có thể mở rộng ra đối với ảnh màu Ví dụ với ảnh RGB chúng ta có thể tính tổng sai số của các điểm ảnh tương ứng với ba giá trị màu Red, Green và Blue

2.2.2 Kỹ thuật trừ ảnh phân khối

Trái ngược với hướng tiếp cận sử dụng các đặc tính toàn cục của cả ảnh, hướng tiếp cận phân khối sử dụng các đặc tính cục bộ nhằm tăng tính độc lập với các di chuyển của camera và đối tượng Mỗi ảnh được chia thành

b khối Các khối trên khung hình f1 được so sánh với khối tương ứng trên

khung hình f2 Về cơ bản, độ chênh lệch giữa hai khung hình được tính như công thức 3.8

Trong đó Ck là hệ số cho trước, DP(f1,f2,k) là độ chênh lệch giữa hai khối thứ k của hai khung hình f1 và f2

Kasturi[11] so sánh các khối tương ứng áp dụng công thức 3.9

Trong đó 1k và 2k là giá trị cường độ trung bình của khối thứ k 1k và

2k là độ lệch chuẩn tương ứng giữa hai khối đó

) 7 3 ( )

, (

) , ( ) , ( 1

) , (

1

2 1

1

0 2

y x f y x f Y

X f f D

)8.3()

,,(.)

,(

1

2 1 2

f f

D

)9.3(

22

2 1

2 2 2 1

2 1

k k

k k

k k

Đối tượng xuất hiện (hoặc biến mất) khi số các khối thay đổi đủ lớn, nghĩa là D(f1,f2) > T Đối với bài toán phát hiện sự xuất hiện của một đối tượng, thông thường Ck được gán bằng 1 cho tất cả các khối Ngược lại với bài toán phát hiện sự biến mất của các đồ vật Ck tại các khối trung tâm được gán giá trị lớn hơn các khối nằm phía ngoài vùng giám sát

Một hướng tiếp cận khác với kỹ thuật trừ ảnh phân khối do Shahararay[12] đưa ra là chia ảnh thành 12 miền và tìm miền thích hợp nhất cho mỗi miền ảnh trên ảnh kia Độ chênh lệch giữa hai ảnh tính bằng kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền đã được sắp xếp Tổng các trọng số của các chênh lệch đã được sắp xếp cho ta kết quả cuối cùng

Xiong[13] đã phát triển phương pháp trừ ảnh bằng cách so sánh thực hiện phát hiện đối tượng do ngắt chỉ bằng việc so sánh một phần của ảnh Phương pháp này chỉ ra rằng, sai sót mắc phải hoàn toàn có thể bỏ qua nếu ít hơn một nửa các cửa sổ cơ sở (các ô vuông không chồng nhau) đều được kiểm tra Với giả thiết rằng, trong trường hợp thay đổi nhiều nhất giữa hai ảnh thì kích thước các cửa sổ đủ lớn để bất biến với các thay đổi và đủ nhỏ để chứa thông tin Các cửa sổ cơ sở được so sánh và tính độ chênh lệch mức xám hoặc giá trị màu của các điểm ảnh Khi giá trị chênh lệch lớn hơn một ngưỡng nào đó thì xem như miền đang xét đã thay đổi Khi số miền thay đổi lớn hơn một ngưỡng khác thì sự chuyển cảnh do đối tượng xuất hiện xảy ra Thực nghiệm đã chứng minh hướng tiếp cận này cho tốc độ nhanh hơn so với phương pháp so sánh từng cặp điểm và thậm chí nhanh hơn cả phương pháp biểu đồ xét dưới đây

2.2.3 Phương pháp biểu đồ mức xám

Một bước xa hơn để giảm ảnh hưởng của camera và đối tượng là thực hiện trừ ảnh dựa vào biểu đồ mức xám Chúng ta có thể dễ ràng nhận thấy, biểu đồ là bất biến với việc quay ảnh và ít thay đổi khi thay đổi góc nhìn của camera Tương tự như đối với kỹ thuật trừ ảnh dựa vào điểm ảnh, người ta cũng có thể sử dụng phương pháp trừ ảnh theo biểu đồ mức xám toàn ảnh và biểu đồ mức xám của từng vùng ảnh

Phương pháp đơn giản nhất là tính tổng sự sai khác giữa các cột của

biểu đồ mức xám theo công thức 3.10

Phương pháp khác là sử dụng phần giao nhau của hai biểu đồ mức xám như trong hình 3.2 Phần gạch chéo trong hình 3.2, cho biết độ tương tự về nội dung hai ảnh Độ tương tự

(),(max(

))(),(min(

),

(

0

2 1

0

2 1

2 1

k H k H f

Hình 3.2: So sánh lược đồ mức xám

) 10 3 (

| ) ( )

(

| )

, (

0

2 1

f

D

(3.11)

) 13 3 ( )

( )

( max

) , (

0

2 1

D

Thuật toán  2 không những nhấn mạnh độ sai khác giữa hai ảnh qua cắt cứng mà nó còn nhấn mạnh độ sai khác giữa hai ảnh khi di chuyển camera hay đối tượng

2.2.4 Kỹ thuật trừ ảnh dựa vào đặc trưng

xuất thuật toán dựa

trên kỹ thuật phát hiện biên Thuật toán căn chỉnh các ảnh để giảm các tác động của dự di chuyển camera và so sánh số lượng và vị trí các cạnh trong ảnh để phát hiện đối tượng

b Đặc trưng là các vectơ chuyển động

Trong đoạn video, người ta thường thấy các hiệu ứng do chuyển động của camera như quét (pan), phóng to, thu nhỏ Để nâng cao hiệu quả phân đoạn, kỹ thuật trừ ảnh dựa vào đặc trưng là vectơ chuyển động được sử dụng

để phát hiện các hiệu ứng của camera Các mẫu vectơ chuyển động thu được

từ các di chuyển camera khác nhau thể hiện như trong hình 3.4

) 14 3 ( )

(

| ) ( )

(

| )

, (

2

2 2 1

0 2

1

k H

k H k H f

2.3 Nhận dạng đối tượng

Các đối tượng sau khi phát hiện được cần phân loại vào một trong ba lớp sau: đồ vật, con người và phương tiện giao thông để từ đó có các phương hướng xử lý tiếp theo

Do đặc điểm của lớp đồ vật là đa dạng, không thể sưu tập được tất cả các mẫu đồ vật nên việc nhận dạng đối tượng xuất hiện trong khung hình là

đồ vật thường được đánh giá qua sự xuất hiện và không thay đổi vị trí trên khung hình trong một khoảng thời gian nào đó Đối với bài toán camera giám sát các đồ vật đều chỉ dừng lại ở sự phát hiện sự xuất hiện hoặc biến mất của

đồ vật trên các khung hình thu nhận từ camera

Đối với các đối tượng là con người và phương tiện người ta sử dụng hai phương pháp nhận dạng mẫu để phân loại đối tượng là con người hay phương tiện

Hình 3.4: Các mẫu vectơ đặc trưng cho di chuyển của camera