Nghiên cứu một số phương pháp nhận dạng đối tượng ứng dụng trong hệ thống camera quan sát bảo vệ mục tiêu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN MẠNH CƯỜNG NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG ĐỐI TƯỢNG ỨNG DỤNG TRONG HỆ THỐNG CAMERA QUAN SÁT BẢO VỆ MỤC TIÊU Ngành

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN MẠNH CƯỜNG

NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG ĐỐI TƯỢNG ỨNG DỤNG TRONG HỆ THỐNG CAMERA QUAN SÁT

BẢO VỆ MỤC TIÊU

Ngành: Công nghệ Thông tin

Mã số: 1.01.10

LUẬN VĂN THẠC SỸ

Người hướng dẫn khoa học: PSG.TS Phương Minh Nam

Hà Nội -2008

MỤC LỤC

LỜI CAM ĐOAN

MỤC LỤC ……… …….………… ………1

DANH MỤC TỪ VIẾT TẮT………… ………… ……… 3

DANH MỤC HÌNH VẼ……… ……….……….……….4

MỞ ĐẦU 7

Cơ sở khoa học và ý nghĩa thực tiễn 7

Cơ sở thực tiễn 7

Cơ sở khoa học 9

Ý nghĩa thực tiễn của Luận văn 11

Mục tiêu và nội dung nghiên cứu 12

Cấu trúc của Luận văn 13

CHƯƠNG 1 - TỔNG QUAN VỀ HỆ THỐNG CAMERA QUAN SÁT Error!

Bookmark not defined.

1.1 Cấu hình kỹ thuật cơ bản của hệ thống Error! Bookmark not defined

1.1.1 Khối thu nhận hình ảnh (camera) Error! Bookmark not defined 1.1.2 Khối truyền dẫn Error! Bookmark not defined 1.1.3 Khối hiển thị Error! Bookmark not defined 1.1.4 Bộ tổng hợp hình (Multiplexer) Error! Bookmark not defined 1.1.5 Thiết bị ghi hình Error! Bookmark not defined 1.1.6 Bộ cấp nguồn Error! Bookmark not defined.

1.2 Một số camera quan sát trên thị trường Việt NamError! Bookmark not defined

1.2.1 Camera IP VIVOTEK IP6122 Error! Bookmark not defined 1.2.2 Camera IP VIVOTEK IP7139 Error! Bookmark not defined 1.2.3 Camera IP VIVOTEK PZ6122 Error! Bookmark not defined 1.2.4 Camera Network AXIS 211 Error! Bookmark not defined 1.2.5 Camera IP AVtech AVI 201 Error! Bookmark not defined 1.2.6 Camera IP AVTech AVI 202 Error! Bookmark not defined.

1.3 Giải pháp sử dụng camera kết nối trực tiếp với máy tínhError! Bookmark not defined.

1.3.1 Giải pháp camera analog Error! Bookmark not defined 1.3.2 Giải pháp camera số Error! Bookmark not defined 1.3.3 Đề xuất một số loại camera có thể đáp ứng yêu cầu của Luận văn Error!

Bookmark not defined.

1.4 Các chức năng phần mềm của hệ thống camera quan sátError! Bookmark not defined.

1.4.1 Phát hiện đối tượng Error! Bookmark not defined 1.4.2 Phân loại đối tượng Error! Bookmark not defined 1.4.3 Theo vết các đối tượng chuyển động Error! Bookmark not defined.

1.5 Một số chuyên đề cần nghiên cứu đối với hệ thống camera quan sát Error! Bookmark not defined.

1.5.1 Phát hiện đối tượng ra/vào cửa Error! Bookmark not defined.

1.5.2 Phát hiện di chuyển bất thường của đối tượng trong khu vực xác địnhError!

Bookmark not defined.

1.5.3- Phát hiện phương tiện đỗ, dừng quá thời gian quy địnhError! Bookmark

not defined.

1.5.4- Kiểm soát, phát hiện việc lấy, mang vác đồ vật ra khỏi khu vực được bảo vệ

Error! Bookmark not defined

1.5.5- Xác định những chuyển động, đối tượng bất thườngError! Bookmark not

defined.

1.5.7- Kiểm soát đám đông Error! Bookmark not defined.

CHƯƠNG 2 - KỸ THUẬT PHÂN TÍCH HÌNH ẢNH VIDEOError! Bookmark not

defined.

2.1 Tiền xử lý hình ảnh[1] Error! Bookmark not defined

2.1.1 Kỹ thuật tăng cường ảnh sử dụng toán tử điểm ảnhError! Bookmark not

defined.

2.1.2 Kỹ thuật lọc số miền không gian Error! Bookmark not defined.

2.2 Phát hiện đối tượng Error! Bookmark not defined

2.2.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh Error! Bookmark not defined 2.2.2 Kỹ thuật trừ ảnh phân khối Error! Bookmark not defined 2.2.3 Phương pháp biểu đồ mức xám Error! Bookmark not defined 2.2.4 Kỹ thuật trừ ảnh dựa vào đặc trưng Error! Bookmark not defined.

2.3 Nhận dạng đối tượng Error! Bookmark not defined

2.3.1 Phương pháp nhận dạng dựa trên hình tháiError! Bookmark not defined 2.3.2 Phương pháp nhận dạng dựa vào mô hình mạng nơron nhân tạo Error!

Bookmark not defined.

2.4 Theo vết đối tượng chuyển động Error! Bookmark not defined 2.5 Phát hiện khuôn mặt Error! Bookmark not defined CHƯƠNG 3 - THIẾT KẾ VÀ XÂY DỰNG CHƯƠNG TRÌNHError! Bookmark not

defined.

3.1 Thu nhận ảnh trực tiếp từ camera Error! Bookmark not defined 3.2 Tiền xử lý Error! Bookmark not defined

3.2.1 Biến đổi ảnh đa mức xám Error! Bookmark not defined 3.2.2 Toán tử nhân chập Error! Bookmark not defined.

3.3 Phát hiện sai khác giữa các khung hình Error! Bookmark not defined 3.4 Phát hiện đối tượng xuất hiện trong khung hìnhError! Bookmark not defined 3.5 Nhận dạng đối tượng bằng mô hình mạng nơronError! Bookmark not defined KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Error! Bookmark not defined

A GIAO DIỆN CHƯƠNG TRÌNH Error! Bookmark not defined

1 Giao diện chính Error! Bookmark not defined

3 Giao diện chương trình giám sát con người Error! Bookmark not defined

5 Giao diện chương trình huấn luyện Error! Bookmark not defined

B CHƯƠNG TRÌNH NGUỒN Error! Bookmark not defined

1 Biến đổi ảnh đa mức xám Error! Bookmark not defined

2 Toán tử nhân chập Error! Bookmark not defined

3 Phát hiện đối tƣợng Error! Bookmark not defined

4 Nhận dạng đối tƣợng Error! Bookmark not defined

5 Theo vết đối tƣợng Error! Bookmark not defined

6 Phát hiện khuôn mặt Error! Bookmark not defined

luyện mạng Error! Bookmark not defined

……… ….………85

DANH MỤC TỪ VIẾT TẮT

1 ADSL Asymmetrical Digital Subcriber Line

2 MPEG-1 Chuẩn nén video MPEG-1

3 CCTV Closed-circuit television

6 DVSr Chuẩn ghi hình ảnh

7 NVR Networked Video Recorder

8 MJPEGG Chuẩn nén video MJPEG G

16 JPEG Một chuẩn của ảnh

17 NTSC chuẩn hình ảnh

DANH MỤC HÌNH VẼ

1 Hình 1.1: Quá trình phân đoạn và tìm kiếm video 7

2 Hình 2.1 Cấu hình cơ bản của hệ thống camera quan sát 13

7 Hình 2.6: Cấu hình ghép nối các camera với bộ tổng hợp hình 15

14 Hình 2.8: Các chức năng chính trong hệ camera giám sát 22

16 Hình 2.10: Phát hiện di chuyển bất thường của đối tượng trong khu

vực xác định

24

17 Hình 2.11: Phát hiện phương tiện đỗ, dừng quá thời gian quy định 24

18 Hình 2.12: Kiểm soát, phát hiện việc lấy, mang vác đồ vật ra khỏi khu

19 Hình 2.13: Xác định những chuyển động, đối tượng bất thường 25

20 Hình 2.14: Kiểm soát, phát hiện các phương tiện cơ động trong danh

sách chú ý

26

24 Hình 3.3: Phát hiện đặc trưng dựa vào các cạnh 37

25 Hình 3.4: Các mẫu vector đặc trưng cho di chuyển của camera 38

28 Hình 3.7: Thuật toán phân tích hình dáng đối tượng 41

30 Hình 4.1: Phát hiện sai khác giữa các khung hình 52

MỞ ĐẦU

Cơ sở khoa học và ý nghĩa thực tiễn

Cơ sở thực tiễn

Tình hình nghiên cứu, ứng dụng triển khai công nghệ thông tin nói chung và các ứng dụng khoa học công nghệ trong công tác bảo vệ an ninh công cộng và chống khủng bố nói riêng ở một số nước trong khu vực cũng như trên toàn thế giới ngày một phát triển Xây dựng hệ thống Camera giám sát sử dụng trong các cơ quan, tổ chức, lực lượng chống khủng bố, lực lượng cảnh sát, lực lượng phòng thủ dân sự…., đặc biệt ứng dụng trong lĩnh vực an ninh công cộng đã được các nước phát triển trên thế giới nghiên cứu triển khai, nhất là từ sau khi xảy ra vụ khủng bố 11/9 Nhiều hệ thống camera giám sát an ninh với công nghệ tiên tiến có cấu trúc

và công nghệ kỹ thuật rất tốt, không những đảm bảo kết nối các hệ thống với nhau

và chia xẻ, trao đổi thông tin, dữ liệu đa dịch vụ (âm thanh, hình ảnh, dữ liệu….)

có tốc độ cao, mà còn được bảo mật ở các cấp độ phù hợp Cũng từ sau sự kiện khủng bố ngày 11/ 9 hàng loạt các công nghệ hỗ trợ an ninh chống khủng bố đã được nghiên cứu với các ứng dụng của các tiến bộ khoa học và công nghệ đã ra đời, trong đó phải kể đến công nghệ giám sát an ninh điện tử được coi là một trong các biện pháp không thể thiếu và nó đã có những bước phát triển nhảy vọt

Nhờ các hệ thống giám sát an ninh công cộng, hàng loạt tên khủng bố đã được các cơ quan an ninh đã kịp thời phát hiện, nhận dạng, ngăn chặn và bắt giữ Công nghệ kỹ thuật giám sát an ninh đã có sự phát triển mạnh mẽ, từ các hệ thống quan sát kỹ thuật analog phổ biến trước năm 2002, đến nay các hệ thống quan sát mới công nghệ số hoá trên nền IP hoá đã đạt gần đến mức độ kỹ hoàn hảo dựa trên

cơ sở hạ tầng của nền công nghệ thông tin

Các hệ thống camera giám sát giao thông, hệ thống giám sát an ninh công cộng diện rộng điển hình như tại Anh, Mỹ, Đức, Xingapo đã được áp dụng các công nghệ tiên tiến của thế giới và ngày càng được nhiều quốc gia ứng dụng nhằm giữ vững an ninh chính trị và trật tự an toàn xã hội trong bối cảnh hội nhập trên toàn thế giới

Trong những năm qua các hệ thống kỹ thuật giám sát an ninh công cộng đã tạo được những kết quả thành tích to lớn, thể hiện vai trò quan trọng của việc áp dụng khoa học, kỹ thuật và công nghệ vào công tác chiến đấu của lực lượng công

an Quy mô các hệ thống giám sát an ninh công cộng ngày càng được hoàn thiện

và hiện đại lên cùng sự phát triển của nền khoa học và sự phát triển không ngừng của công nghệ thế giới

Một ví dụ điển hình là ở hệ thống camera quan sát của thủ đô London vương quốc Anh đã được trang bị tới trên hai chục ngàn camera, trung bình một người một ngày ở thủ đô nước này được camera ghi hình tới ba lần Chính hệ thống camera nói trên đã giúp cảnh sát Anh nhanh chóng xác định được danh tính của các kẻ khủng bố đánh bom ở London hồi tháng 7/2005

Những năm vừa qua, được sự quan tâm chỉ đạo của Đảng uỷ Công an Trung ương, lãnh đạo Bộ và lãnh đạo công an các địa phương, lực lượng công an nhân dân đã trang bị được một số hệ thống camera quan sát để phục vụ công tác nghiệp

vụ công an tại Văn phòng Bộ Công an, Tổng cục cảnh sát, Bộ tư lệnh cảnh vệ, các

hệ thống camera quan sát bảo vệ mục tiêu và đảm bảo an toàn giao thông tại công

an các thành phố Hà Nội, Thành phố Hồ Chí Minh và công an các tỉnh Thừa Thiên Huế, Đà Nẵng, Đắc Lắc, Tây Ninh

Các hệ thống camera quan sát nói trên đã góp phần đắc lực trong công tác đảm bảo anh ninh chính trị và giữ gìn trật tự an toàn xã hội các dịp lễ kỷ niệm ngày giải phóng miền nam, Quốc khánh 2/9, các dịp lễ hội, Festival, Tết Nguyên đán, Đặc biệt là góp phần bảo vệ thành công bầu cử Quốc hội, Đại hội đại biểu Đảng toàn quốc và các sự kiện, hội nghị quốc tế lớn tổ chức tại Việt Nam (như Seagame22, ASEM5, APEC, )

Cơ sở khoa học

Cùng với sự phát triển của công nghệ thông tin, trong một vài năm gần đây công nghệ truyền thông đa phương tiện cũng đang được quan tâm Các ứng dụng trong hệ thống camera giám sát chỉ là một trong các ứng dụng của công nghệ truyền thông đa phương tiện Ngày nay với sự phát triển của các kỹ thuật nén ảnh video và truyền thông, chúng ta có thể gửi trực tuyến một số lượng lớn các file ảnh

và file video qua mạng internet và người dùng đầu cuối với đường truyền băng thông rộng hoặc kết nối ADSL hoàn toàn có thể xem các hình ảnh video chất lượng cao tại nhà Trong khi số lượng video tăng lên nhanh chóng mà các ứng dụng đa truyền thông vẫn bị giới hạn trong việc quản lý nội dung, do vậy đòi hỏi những kỹ thuật mới để có thể xử lý hiệu quả và quản lý nội dung các dữ liệu video

Mô hình phân đoạn video được minh hoạ trong hình 1.1 Trước tiên chuỗi video được phân đoạn theo thời gian và không gian thích hợp Sau đó các phân đoạn này được rút trích các đặc trưng để tạo các chỉ mục và tóm lược thông tin Và cuối cùng các ảnh và đoạn video này được tìm kiếm dựa trên các đặc trưng chỉ mục đã được rút trích

Hình 1.1: Quá trình phân đoạn và tìm kiếm video

Các kỹ thuật xử lý ảnh trong công nghệ thông tin đã và đang được quan tâm,

hiện nay giới khoa học về công nghệ thông tin đều nhất trí sử dụng khái niệm Thị giác máy tính để nói về một công nghệ mới trong xử lý ảnh nói chung và xử lý tín

hiệu video nói riêng Trong một vài năm gần đây các bài báo, công trình khoa học

về công nghệ thị giác máy tính tăng đáng kể trên các tạp chí chuyên ngành

Hình ảnh và video là những biểu diễn trực quan của thông tin Trong những năm gần đây, nhiều phương pháp đã phát triển nhằm tìm kiếm ảnh và video trên cơ

sở các đặc trưng trực quan của chúng Màu sắc, vân ảnh, chuyển động và cấu tạo không gian-thời gian là các đặc trưng phổ biến nhất được dùng trong so sánh tính tương quan, trực quan giữa hai ảnh hoặc hai khung hình trong luồng dữ liệu video[6] Hai phương án tìm kiếm phổ biến nhất là truy vấn mẫu và truy vấn phác thảo[7] Một số nghiên cứu đã tập trung vào tìm kiếm ảnh tĩnh như trích chọn các đặc trưng của ảnh, độ đo tương tự giữa hai ảnh và tìm kiếm ngữ nghĩa [8] Các nghiên cứu về video chủ yếu dựa trên các kỹ thuật phát hiện sự chuyển cảnh (sự thay đổi giữa các khung hình), trích khoá giữa các khung hình hoặc áp dụng các kỹ thuật đối với ảnh tĩnh

So với ảnh tĩnh, tín hiệu là dữ liệu động với trục thời gian Ảnh video được biểu diễn một cách liên tục trên một tốc độ nhất định Một ảnh video chất lượng tốt bao gồm 25 đến 30 khung hình một giây Kích thước của một giờ video với kỹ thuật nén MPEG-1 là 500 MB Chính đặc tính liên tục theo thời gian và kích thước lớn là các thách thức lớn đối với các kỹ thuật phân tích hình ảnh video Tuy nhiên theo một số quan điểm chính sự nhiều thông tin, đặc biệt là thời gian và sự chuyển động lại là đặc trưng giúp cho quá trình phân tích hình ảnh video Theo quan điểm này, chúng ta có thể điểm qua một số hướng tiếp cận chính sau:

- Sử dụng các phương pháp cắt ảnh nhằm chia đoạn video thành các đơn vị

cơ bản Các đặc trưng ở mức thấp như màu sắc, chuyển động đã chứng minh là đúng đắn cho việc phát hiện các đối tượng theo trục thời gian

- Một phương pháp khác là sử dụng một hay nhiều khung hình là cơ sở để phát hiện chuyển cảnh, sau đó mới sử dụng các đặc trưng màu sắc hay vân ảnh để xác định các đối tượng xuất hiện trong vùng camera

- Mô hình hoá các thay đổi trên mỗi khung hình như một chuỗi các quan sát trong mô hình markov Thông qua quá trình huấn luyện, hệ thống sẽ ước lượng các thay đổi trong các khung hình tiếp theo[9] Thông thường phương pháp này được ứng dụng cho quá trình theo vết đối tượng và được chia là hai loại chính là

bottom-up và top-down:

+ Bottom-up: xuất phát từ các quan sát, thực hiện rút trích, phân đoạn để tìm

ra đối tượng cần theo vết

+ Top-down: giải quyết bài toán một cách thuận chiều hơn bằng cách ước

lượng mức hợp lý (likelihood) của các giả thuyết cho trước dựa trên quan sát thu được Cụ thể hơn, đầu tiên, phát sinh ra một tập các giả thuyết có thể có trong không gian trạng thái của hệ thống, sau đó sử dụng quan sát để tính likelihood cho từng giả thuyết, các likelihood này sẽ quyết định đến mức độ “tin cậy” của từng giả thuyết (Thường được biểu thị bằng các trọng số) Cuối cùng tổng hợp tập các giả thuyết-trọng số để cho ước lượng trạng thái của hệ thống

Tóm lại: Với các nghiên cứu về thị giác máy tính nói chung và kỹ thuật phân đoạn video nói riêng, hiện nay chúng ta đã có đầy đủ các công cụ để giải quyết cho bài toán trong hệ thống camera giám sát Cùng với các kinh nghiệm và kiến thức trong lĩnh vực xử lý ảnh và nhận dạng, chúng tôi có đầy đủ khả năng để hoàn thành được các nội dung và mục tiêu nghiên cứu đề ra

Ý nghĩa thực tiễn của Luận văn

Việc sử dụng camera quan sát trong việc bảo vệ mục tiêu hiện nay được ứng dụng ngày càng rộng rãi, từ các mục tiêu an ninh quốc phòng cho đến các mục tiêu dân sự Thậm chí hệ thống camera còn được trang bị tại các gia đình Ở Việt Nam trong nhiều cơ quan, Bộ ngành đã đầu tư nghiên cứu xây dựng và ứng dụng các công nghệ tiên tiến trong công tác đầu tư, trang bị các hệ thống Camera giám sát phục vụ công tác bảo vệ Trụ sở đầu não quan trọng với các công nghệ tiên tiến trên thế giới nhằm đảm bảo an toàn tuyệt đối các mục tiêu trọng điểm, tuy nhiên do đặc thù hạ tầng truyền dẫn và mục đích yêu cầu sử dụng, các hệ thống có cấu hình khác nhau với các hệ quản lý và khai thác dữ liệu cũng khác nhau và cấu trúc kỹ thuật