Xây dựng hệ thống nhận diện và theo dõi mật độ người và phương tiện có tận dụng camera trên các kiosk phục vụ Chính phủ điện tử

Xây dựng hệ thống nhận diện và theo dõi mật độ người và phương tiện có tận dụng camera trên các kiosk phục vụ Chính phủ điện tử Xây dựng hệ thống nhận diện và theo dõi mật độ người và phương tiện có tận dụng camera trên các kiosk phục vụ Chính phủ điện tử luận văn tốt nghiệp thạc sĩ

1

BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

*****************

NGUYỄN VĂN HUÂN

XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN

CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN TỬ CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ

LUẬN VĂN THẠC SĨ KỸ THUẬT

ĐIỆN TỬ VIỄN THÔNG

Hà Nội - Năm 2019

2

BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

*****************

NGUYỄN VĂN HUÂN

XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN

CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN TỬ

CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ

LUẬN VĂN THẠC SĨ KỸ THUẬT

ĐIỆN TỬ VIỄN THÔNG

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS: PHẠM DOÃN TĨNH

Hà Nội - 2019

3

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc - BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ

Họ và tên tác giả luận văn: Nguyễn Văn Huân

Đề tài luận văn: Xây dựng hệ thống nhận diện và theo dõi mật độ người và phương tiện

có tận dụng camera trên các Kiosk phục vụ chính phủ điện tử

Chuyên ngành: Kỹ thuật điện tử

Mã số SV: CA160382

Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 27 tháng 04 năm 2019 với các nội dung sau:

- Chỉnh sửa lỗi chính tả, bổ xung phần mục lục

- Chỉnh sửa hình (3.2 Sơ đồ quá trình huấn luyện bộ dữ liệu đặc trưng LBP)

- Trích dẫn thêm tài liệu tham khảo vào luận văn

- Thêm nội dung ứng dụng camera giám sát

Ngày 02 tháng 05 năm 2019

CHỦ TỊCH HỘI ĐỒNG

4

LỜI CẢM ƠN

Tôi xin chân thành cảm ơn TS Phạm Doãn Tĩnh - Viện Điện tử viễn thông – Trường Đại học Bách Khoa Hà Nội, người đã định hướng, đã tận tình hướng dẫn, giúp đỡ tôi trong suốt quá trình thực hiện luận văn tốt nghiệp

Tôi xin chân thành cảm ơn các thầy, cô giáo - Viện Điện tử viễn thông - Trường Đại học Bách Khoa Hà Nội, những người đã tận tình truyền đạt các kiến thức, quan tâm, động viên, giúp đỡ tôi trong suốt thời gian tôi học tập và nghiên cứu để hoàn thành được luận văn nay Nhân đây, tôi cũng gửi lời cảm ơn tới các bạn học cùng lớp 2016A chuyên ngành kỹ thuật điện tử, các bạn đồng nghiệp đã thường xuyên quan tâm, giúp đỡ, chia sẻ kinh nghiệm, cung cấp các tài liệu hữu ích trong suốt thời gian tôi học tập và đặc biệt là trong quá trình thực hiện luận văn tốt nghiệp vừa qua

Do trong quá trình nghiên cứu, tìm hiểu và thực nghiệm luận văn chắc chắn không thể tránh khỏi những sai sót nhất định, tôi rất mong nhận được sự góp ý của thầy, cô giáo và các bạn để luận văn được hoàn chỉnh hơn

Tôi xin trân thành cảm ơn!

Hà Nội, tháng 03 năm 2019

Tác giả LVTN

Nguyễn Văn Huân

5

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn “XÂY DỰNG HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI MẬT ĐỘ NGƯỜI VÀ PHƯƠNG TIỆN CÓ TẬN DỤNG CAMERA TRÊN CÁC KIOSK PHỤC VỤ CHÍNH PHỦ ĐIỆN TỬ” này là công trình tìm hiểu, nghiên cứu, trình bày và tổng hợp của tôi dưới sự hướng dẫn khoa học của

TS Phạm Doãn Tĩnh Trong có quá trình thực hiện và hoàn thành luận văn, tôi có tham khảo các tài liệu liên quan và tất cả những tài liệu tham khảo tôi đã liệt kê rõ

ở phần cuối của luận văn Các nội dung công bố và kết quả trình bày trong luận văn này là trung thực và không phải là sự sao chép của bất kì công trình nghiên cứu nào khác

Hà Nội, Ngày 15 tháng 3 năm 2019

Học viên thực hiện

Nguyễn Văn Huân

6

MỤC LỤC

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT 8

DANH MỤC CÁC BẢNG 9

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 10

CHƯƠNG 1: MỞ ĐẦU 11

1.1 Đặt vấn đề 11

1.2 Mục tiêu nghiên cứu 12

1.3 Phương pháp nghiên cứu 12

1.4 Đối tượng và phạm vi nghiên cứu 13

1.5 Đóng góp mới của luận văn 13

1.6 Cấu trúc luận văn 13

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ ĐỀ XUẤT 15

2.1 Một số phương pháp nhận diện, theo dõi đối tượng và ưu nhược điểm 15

2.1.1 Tổng quan kiến trúc một hệ thống nhận dạng đối tượng 15

2.1.2 Một số phương pháp nhận dạng đối tượng và ưu nhược điểm 18

2.1.3 Tổng quan và ứng dụng camera giám sát 30

2.2 Đề xuất phương pháp nhận diện và theo dõi phương tiện giao thông 35

2.2.1 Phương pháp phân tích, nhận dạng phương tiện giao thông dựa theo thuật toán LBP (Local binary parttern) 35

2.2.2 Phương pháp theo dõi phương tiện giao thông dựa theo bộ lọc Kalman và thuật toán Hungarian 43

2.2.3 Một số luật theo dõi mật độ phương tiện giao thông có thể áp dụng 50

2.3 Kết luận chương 50

CHƯƠNG 3: THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG 52

3.1 Mô tả bài toán, nguyên lý hoạt động của hệ thống 52

3.1.1 Nhận diện đối tượng chuyển động 52

3.1.2 Rút trích đặc trưng 52

3.1.3 Quá trình phát hiện đối tượng 55

3.1.4 Các điều kiện theo dõi phương tiện 56

7

3.2 Mô tả dữ liệu thực nghiệm 56

3.3 Tiêu chí đánh giá 59

3.4 Kết quả thực nghiệm 59

3.5 Tổng kết 63

CHƯƠNG 4: KẾT LUẬN 64

4.1 Kết luận 64

4.2 Hướng phát triển 64

TÀI LIỆU THAM KHẢO 66

8

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

Layer

Transform

Giải thuật nhận dạng và miêu tả đặc trưng

RGB Red, Green, Blue color Mô hình màu RGB(Red,

Green, Blue)

Bảng 0.1: Các ký hiệu viết tắt

9

DANH MỤC CÁC BẢNG

Bảng 0.1: Các ký hiệu viết tắt 8Bảng 2.1: Các phương trình tổng quan mô hình hoạt động bộ lọc Kalman 47

10

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 2.1 Bốn đặc trưng Haar like cơ bản 20

Hình 2.2: Các đặc trưng cạnh 20

Hình 2.3: Các đặc trưng đường 20

Hình 2.4 Các đặc trưng quanh tâm 20

Hình 2.5: Ví dụ cách tính đặc trưng Haar like tại một vị trí 21

Hình 2.6: Đồ thị ví dụ mô tả dữ liệu một mặt siêu phẳng SVM 26

Hình 2.7: Mô hình mô tả tổng quan mạng Neural nhân tạo 29

Hình 2.8 Ví dụ về camea giám sát 31

Hình 2.9 Ứng dụng của camera trong giao thông 32

Hình 2.10 Ví dụ camera giám sát được đặt trên Kiosk 33

Hình 2.11 Ví dụ camera đang giám sát người sử dụng tại Kiosk 34

Hình 2.12: Ví dụ sự tính toán LBP 36

Hình 2.13: Tập hợp các điểm xung quanh điểm anh trung tâm 36

Hình 2.14: Một ví dụ tính toán một đặc trưng LBP 38

Hình 2.15: Bảng thống kê các mẫu đặc trưng đồng dạng của LBP 39

Hình 2.16: Một số mẫu quan trọng trong các đặc trưng đồng dạng LBP 39

Hình 2.17: Ví dụ nhận dạng đối tượng sử dụng LBP Escade 40

Hình 2.18: Chu trình bộ lọc Kalman thể hiện sự cập nhật theo thời gian (time update) và dự đoán trạng thái hiện tại theo thời gian 45

Hình 3.1: Sơ đồ hệ thống tổng quan của hệ thống 52

Hình 3.2: Sơ đồ quá trình huấn luyện bộ dữ liệu đặc trưng LBP 54

Hình 3.3: Sơ đồ khối quá trình nhận dạng đối tượng 55

Hình 3.4: Một số hình ảnh dùng để huấn luyện LBP 57

Hình 3.5: Một số ảnh từ một video đầu vào 58

Hình 3.6: Một số ảnh kết quả đã nhận dạng trong một video 60

Hình 3.7: Kết quả nhận diện chưa được khắc phục được trong video 62

Cùng với sự phát triển đó, các vấn đề xây dựng các hệ thống có chức năng liên quan đến giữ gìn, trật tự, an toàn xã hội là chủ đề được đề cập nhiều trong trên các phương tiện truyền thông, đó là cũng là mối quan tâm của mọi người trong xã hội Trong đó phải kể đến việc phát hiện nhận diện, giám sát người và các phương tiện

sử dụng các camera chuyên dụng có thể ứng dụng camera trên các KIOSK trong tham gia giao thông nhằm đảm bảo, chấp hành an toàn giao thông các phương tiện khác tham gia giao thông cũng như bảo vệ chính chủ phương tiện đó Để thực hiện công việc này còn nhiều khó khăn, một trong số các nguyên là thiếu nguồn nhân lực giám sát, phân luồng giao thông, các hệ thống phát hiện lỗi của người điều khiển phương tiện giao thông còn nhiều hạn chế Và nguyên nhân chủ yếu do ý thức của người tham gia giao thông còn rất hạn chế và chưa được cải thiện trong những năm gần đây Một phần là do sự ngày một gia tăng các phương tiện giao thông, một phần do người tham gia giao thông chưa hiểu biết hết các quy định của nhà nước về an toàn giao thông, thêm vào đó do người chủ điều khiển phương tiện biết nhưng vẫn cố tình vi phạm Do vậy nhu cầu cần những hệ thống hỗ trợ việc phát hiện, theo dõi mật độ, phát hiện lỗi vi phạm của người sử dụng phương tiện

1.2 Mục tiêu nghiên cứu

Bài toán nhận diện, theo dõi đối tượng đã và đang thu hút được sự quan tâm của các nhà nghiên cứu và phát triển, đang có xu hướng được ứng dụng rộng rãi trong thực tế như việc giám sát các đối tượng chuyển động từ video, hoặc từ các camera chuyên dụng Chẳng hạn như giám sát người và phương tiện giao thông, nắm bắt được tình hình, mật độ tham gia giao thông trên các tuyến đường Xuất phát từ những yêu cầu thực tế, tôi đã xây dựng hệ thống tìm kiếm, giám sát theo dõi mật độ người và các phương tiện giao thông nhằm hỗ trợ các hệ thống theo dõi, tìm kiếm khác các lỗi vi phạm giao thông của các chủ phương tiện tham gia giao thông trên cả nước

1.3 Phương pháp nghiên cứu

Nghiên cứu các thuật toán, phương pháp nhận dạng, theo dõi đối tượng cùng các

ưu nhược điểm của các thuật toán, phương pháp này từ đó rút ra các kết luận và đề xuất phương pháp sẽ thực hiện Sau đó, đề xuất phương pháp, các thuật toán, quy trình, mô hình tìm kiếm, theo dõi mật độ các đối tượng, thử nghiệm phần mềm với các dữ liệu đã được thu thập bằng hình ảnh, video trên camera hoặc video Cuối cùng sẽ đánh giá kết quả thực nghiệm và đưa ra phát triển sau này

13

1.4 Đối tượng và phạm vi nghiên cứu

Đối tượng: Các phương pháp, thuật toán nhận diện, thu thập dữ liệu hình ảnh đầu

vào, video từ các máy quay, máy thu hình, các camera chuyên dụng…

Phạm vi: Tập trung nghiên cứu, xây dựng ứng dụng mô hình nhận dạng, phát hiện

và theo dõi người và các phương tiện giao thông sử dụng các camera chuyên dụng dựa trên các thuật toán, phương pháp đã nêu ra ở trên để hỗ trợ trong công tác quản

lý, từ đó kiểm soát đưa ra các tình huống xử lý kịp thời đối với phương tiện lưu thông trên các điểm giao cắt phức tạp trên cả nước., các trường hợp đối với các phương tiện gây cản trở giao thông

1.5 Đóng góp mới của luận văn

Kết quả lý thuyết: Hiểu được các khái niệm cơ bản, ưu nhược điểm về các thuật

toán, công cụ, các phương pháp tìm kiếm, theo dõi mật độ đối tượng, tìm hiểu được định nghĩa, ứng dụng thuật toán LBP, thuật toán adaboost phương pháp Kalman và thuật toán Hungarian trong bài toán tìm kiếm và theo dõi đối tượng

Kết quả thực tiễn: Xây dựng được hệ thống hỗ trợ phát hiện, theo dõi mật độ các

phương tiện đang tham gia giao thông dựa vào dữ liệu thu thập bằng hình ảnh, video đầu vào Đưa ra một số kết quả thực tiễn đã nhận diện thành công và một số các trường hợp vẫn chưa xử lý được từ đó đưa ra hướng phát triển cho bài toán sau này

1.6 Cấu trúc luận văn

Cấu trúc luận văn gồm 4 chương:

Chương một là chương mở đầu của luận văn Trong chương này sẽ đưa ra bài toán tổng quát, nêu ra một số vấn đề, mục tiêu nghiên cứu, đối tượng, phương pháp nghiên cứu thực hiện cuối cùng đưa ra một số đóng góp chú ý và hướng phát triển Sau khi kết thúc chương một, chương hai sẽ bắt đầu tìm hiểu rõ hơn về cơ sở lý

14

thuyết thực hiện trong luận văn Trong chương này, tôi đã tìm hiểu, nghiên cứu và đưa ra một số phương pháp, thuật toán nhận diện đối tượng đang được sử dụng trên thế giới Sau đó tổng hợp, chọn ra phương pháp nghiên cứu khả quan và phù hợp để thực hiện Phần tiếp theo sẽ là phần xây dựng, thiết kế hệ thống trong chương ba Trong chương này sẽ mô tả chi tiết dữ liệu đầu vào, nguyên lý hoạt động của hệ thống, quá trình phát hiện đối tượng và theo dõi đối tượng như thế nào Phần cuối cùng chương 4 là kết luận của luận văn, tiếp theo là nếu ra hướng phát triển, có thể thực hiện việc kế thừa nhưng kết quả đạt được từ luận văn này

15

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ ĐỀ XUẤT

2.1 Một số phương pháp nhận diện, theo dõi đối tượng và ưu nhược điểm

2.1.1 Tổng quan kiến trúc một hệ thống nhận dạng đối tượng

Một bài toán nhận dạng đối tượng thông thường có bốn bước xử lý như sau:

- Thu nhận tín hiệu (hình ảnh) và tiền xử lý: Hình ảnh đầu vào thu nhận và tiền xử lý sau đó các ảnh được qua công đoạn tiền xử lý nhằm tăng độ chính xác cho hệ thống

- Trích chọn đặc trưng: Các ảnh sau đó được rút trích đặc trưng để tạo ra các vector đặc trưng trong bước trích chọn đặc trưng Nhưng vector đặc trưng này sẽ là dữ liệu đầu vào cho một mô hình đã được huấn luyện trước đó

- Phát hiện đối tượng: Bước tiếp theo để phát hiện đối tượng có nhiệm vụ do tìm và định vị những vị trí đối tượng xuất hiện trong ảnh hoặc trên các chuỗi ảnh của video

- Phân lớp đối tượng: Những đối tượng thu được qua bước phát triện sẽ tiếp tục được phân lớp thành từng lớp riêng biệt để dễ nhận dạng

Nhận dạng đối tượng có thể phân loại thành bốn hướng tiếp cận chính:

Hướng tiếp cận dựa trên cở sở tri thức

Mã hóa các hiểu biết của con người về đối tượng thành các luật Thông thường các luật mô tả quan hệ của các đặc trưng Trong hướng tiếp cận này, các luật sẽ phụ thuộc rất lớn vào tri thức của những gì tác giả nghiên cứu Đây là hướng tiếp cận dạng từ trên xuống Dễ dàng xây dựng các luật cơ bản để mô tả các đặc trưng của đối tượng và các quan hệ tương ứng

Ví dụ: Để nhận dạng khuôn mặt của một đối tượng Đối tượng thường có hai mắt

đối xứng nhau qua trục thẳng đứng ở giữa đối tượng và có một mũi, một miệng

16

Các quan hệ của các đặc trưng có thể được mô tả như quan hệ về khoảng cách và

vị trí Thông thường các tác giả sẽ trích đặc trưng của đối tượng trước tiên để có được các ứng viên, sau đó các ứng viên này sẽ được nhận dạng thông qua các luật

để biết ứng viên nào là đối tượng (face) và ứng viên nào không phải đối tượng (none-face) Thường áp dụng quá trình xác định để giảm số lượng nhận dạng sai Một vấn đề khá phức tạp khi dùng hướng tiếp cận này là làm sao chuyển từ tri thức con người sang các luật nhận diện một cách hiệu quả Nếu các luật nhận diện này quá chi tiết thì khi nhận dạng có thể nhận dạng thiếu các đối tượng có trong ảnh, vì những đối tượng này không thể thỏa mãn tất cả các luật nhận diện đưa ra Nhưng các luật nhận diện tổng quát quá thì có thể chúng ta sẽ nhận dạng lầm một vùng nào đó không phải là đối tượng mà lại nhận dạng là đối tượng và cũng khó khăn

mở rộng yêu cầu từ bài toán để nhận dạng các đối tượng có nhiều tư thế khác nhau

Hướng tiếp cận dựa trên các đặc trưng bất biến

Mục tiêu các thuật toán đi tìm các đặc trưng mô tả cấu trúc đối tượng, các đặc trưng này sẽ không thay đổi khi vị trí đối tượng, vị trí đặt thiết bị thu hình hoặc điều kiện ánh sáng thay đổi Đây là hướng tiếp cận theo kiểu bottom-up Các tác giả cố gắng tìm các đặc trưng không thay đổi của đối tượng để nhận dạng đối tượng Dựa trên nhận xét thực tế, con người dễ dàng nhận biết các đối tượng trong các tư thế khác nhau và điều kiện ánh sáng khác nhau, thì phải tồn tại các thuộc tính hay đặc trưng không thay đổi Có nhiều nghiên cứu đầu tiên nhận dạng các đặc trưng đối tượng rồi chỉ ra có đối tượng trong ảnh hay không

Ví dụ: Để nhận diện đối tượng với các đặc trưng như: lông mày, mắt, mũi, miệng,

và đường viền của tóc được trích bằng phương pháp xác định cạnh Trên cơ sở các đặc trưng này, thực hiện việc xây dựng một mô hình thống kê để mô tả quan hệ của các đặc trưng này và nhận dạng sự tồn tại của đối tượng trong ảnh Một vấn đề của các thuật toán theo hướng tiếp cận đặc trưng cần phải điều chỉnh cho phù hợp điều

17

kiện ánh sáng, nhiễu, và bị che khuất Đôi khi bóng của đối tượng sẽ tạo thêm cạnh mới, mà cạnh này lại rõ hơn cạnh thật sự của nó, vì thế nếu dùng cạnh để nhận dạng sẽ gặp khó khăn [9] Những công trình sử dụng hướng tiếp cận này có thể kể đến là: K C Yow và R Cipolla 1997

Hướng tiếp cận dựa trên đối sánh mẫu

Trong so khớp mẫu, các mẫu chuẩn của đối tượng (thường được chụp thẳng) sẽ được nhận dạng trước hoặc nhận dạng các tham số thông qua một hàm Từ một ảnh đưa vào, tính các giá trị tương quan so với các mẫu chuẩn Thông qua các giá trị tương quan này mà các tác giả quyết định có hay không có tồn tại đối tượng trong ảnh Hướng tiếp cận này có lợi thế là rất dễ cài đặt, nhưng không hiệu quả khi tỷ lệ,

tư thế, và hình dáng thay đổi Nhiều độ phân giải, đa tỷ lệ, các mẫu con, và các mẫu biến dạng được xem xét thành bát biến về tỷ lệ và hình dáng I Craw 1992 đã

áp dụng một mẫu cứng trong khi A Lanitis 1995 sử dụng một mẫu có thể biến

dạng trong bước phát hiện đối tượng

Hướng tiếp cận dựa vào diện mạo xuất hiện, phương pháp này thường dùng một mô hình máy học nên còn được gọi là phương pháp dựa trên cơ sở máy học (machine learning-based)

Hướng tiếp cận này áp dụng các kỹ thuật theo hướng xác xuất thống kê, các mẫu trong hướng tiếp cận này được học từ các ảnh mẫu Một các tổng quát, các phương pháp theo hướng tiếp cận này áp dụng các kỹ thuật theo hướng xác suất thống kê

và máy học để tìm những đặc tính liên quan của đối tượng và không phải là đối tượng Các đặc tính đã được học ở trong hình thái các mô hình phân bố hay các hàm biệt số nên dùng có thể dùng các đặc tính này để nhận dạng đối tượng Đồng thời, bài toán giảm số chiều và thường được quan tâm để tăng hiệu quả tính toán cũng như hiệu quả nhận dạng Các tiếp cận khác trong hướng tiếp cận dựa trên diện mạo là tìm một hàm biệt số (mặt phẳng quyết định, siêu phẳng để tách dữ liệu,

2.1.2 Một số phương pháp nhận dạng đối tượng và ưu nhược điểm

2.1.2.1 Phương pháp Background subtraction

Định nghĩa và phương pháp background subtraction

Background Subtraction là một kỹ thuật trong xử lý ảnh được dùng để phát hiện và tách phân biệt được đối tượng trong ảnh ra khỏi cảnh tĩnh phía sau nhằm mục đích hậu xử lý như nhận diện các đối tượng, các cử chỉ, chuyển động… trong video Mục tiêu của việc xử lý này là tách đâu là vùng chuyển động, đâu là nền (vùng ảnh ban đầu không thay đổi) trong vùng không gian mà camera đang theo dõi Ý tưởng chính của Background Substraction là đầu tiên phải xác định cách mô hình background qua từ khung ảnh trong chuỗi các khung hình tuần tự của 1 video, sau đó dựa và giá trị pixcel của khung hình hiện tại mà tính toán sự khác biệt để suy ra tiền cảnh FG (Foreground) chuyển động

19

Đầu tiên, ta phải tìm một ảnh gọi là nền được giả định là một khung hình tại thời điểm t0 ban đầu và một dãy các khung ảnh thu được tại thời điểm t (các khung ảnh có thể lấy từ một video liên tục và không bị cắt ghép) Các giá trị của khung ảnh tại thời điểm t tiếp đó gọi là I(t) để so sánh với hậu ảnh (ảnh nền ban đầu) và tìm ra đối tượng bằng kỹ thuật trừ ảnh đơn giản (Image subtraction) Theo đó, ta sẽ tìm được cường độ điểm ảnh đã thay đổi trong 2 khung ảnh liên tiếp nhau có ký hiệu P[I(t)] tại thời điểm t – I(t) Vì vậy, gần như hậu cảnh đã bị xóa đi Cách thực hiện này sẽ chỉ làm việc trong trường hợp các tiền cảnh, đối tượng là di chuyển và hậu cảnh là tĩnh (static background) Việc tạo ngưỡng ảnh Threshold sẽ được đưa vào hình ảnh khác biệt để tăng hiệu quả của việc trừ nền Lấy điểm giá trị điểm ảnh P[F(t)], trừ cho điểm ảnh tương ứng cùng vị trí trên hậu cảnh, ký hiệu là P[B] ta được hình ảnh khác biệt P[F(t)] hiển thị cường độ cho các điểm ảnh đã thay đổi trong 2 khung hình

P[F(t)] = P[I(t)] – P[B] > Threshold (2.1)

Tính chính xác của phương pháp phụ thuộc và tốc độ di chuyển của khung ảnh Khi vật trong ảnh chuyển động càng nhanh thì cần tạo ngưỡng càng cao để tăng mức độ nhận diện của ảnh

Ưu điểm và hạn chế của phương pháp Background subtraction:

- Ưu điểm: Có thể triển khai nhúng được trên camera có chip yếu

- Hạn chế: Khả năng nhận diện khó trong môi trường có cường độ ánh sáng mạnh sẽ khó tách được đối tượng ra khỏi cảnh vật

2.1.2.2 Đặc trưng Haar-like và máy phân lớp Cascade of Adaboost

Đặc trưng Haar-like

Các đặc trưng Haar-like là các hình chữ nhật đen trắng để xác định khuôn đối tượng gồm có 4 đặc trưng cơ bản:

20

Hình 2.1 Bốn đặc trưng Haar like cơ bản

Từ các đặc trưng cơ bản trên của đặc trưng haar – like đã được mở rộng và phân chia thành 3 dạng đặc trưng mở rộng bao gồm:

Hình 2.2 : Các đặc trưng cạnh

Hình 2.3: Các đặc trưng đường

Hình 2.4 Các đặc trưng quanh tâm

Từ các đặc trưng trên, ta có thể tính được giá trị đặc trưng haar –like dựa trên sự chênh lệch của tổng các pixel của vùng đen và vùng trắng [6]

Các bước tính giá trị đặc trưng haar like như sau:

21

Hình 2.5: Ví dụ cách tính đặc trưng Haar like tại một vị trí

 Bước 1: Từ ảnh Original image tính được ảnh Integral image theo công thức: s(x,y) = i(x,y) + s(x-1,y) + s(x,y-1) – s(x-1,y-1) (2.2)

 Bước 2: Tính tổng các pixel bị che bởi hình chữ nhật ABCD dựa vào đặc trưng cơ bản haar like theo công thức:

Ưu điểm và sự hạn chế đặc trưng haar-like và khi nhận dạng đối tượng

Ưu nhược điểm:

22

 Ưu điểm: mô hình thực hiện haar like mô tả tốt đối với các đặc trưng đối tượng ở chính diện Mô hình cũng có khả năng nhận được các đối tượng có góc quay so với trục đọc là 45 độ và 15 độ so với trục ngang

 Hạn chế: Cần phải chuẩn bị một tập dữ liệu khá lớn để có thể huấn luyện và nhận diện được

+ Hiệu quả của bộ phân lớp phụ thuộc rất lớn vào bộ đặc trưng haar like đã chọn

+ Không rõ ràng về mức xám giữa nền và đối tượng cũng làm cho hiệu quả vị giảm

+ Không phản ánh được đối tượng nghiêng (Tức là đối tượng chỉ nhìn thấy một bên mắt) và đối tượng bị quay ngang

2.1.2.3 Đặc trưng HOG và phương pháp máy học SVM

Định nghĩa và nhận diện đối tượng sử dụng HOG và SVM

Histogram of gradient (HOG) là một đặc trưng được sử dụng trong công nghệ máy tính và xử lý ảnh nhằm mục đích phát hiện đối tượng Kỹ thuật này được

đề xuất bởi Bill triggs và Navel Dadal vào năm 2005 tại viện nghiên cứu của INRIA

Ý tưởng của đặc trưng HOG tính số lần xuất hiện trạng thái, hình dạng của vật thể được đặc trưng sự phân bố về gradient và hướng các cạnh Đặc trưng HOG được tính trên cả một vùng ảnh và phát triển dựa trên SIFT Sự biến thiên màu sắc khác nhau có thể dẫn đến một vùng cho một kết quả vector đặc trưng riêng của nó Toàn bộ vùng cửa sổ ảnh là sự kết hợp nhiều đặc trưng của các vùng liên tiếp Đặc trưng HOG có một số biến thể như R-HOG, R2-HOG, C-HOG

23

Từ một ảnh cho trước, sau quá trình rút trích đặc trưng trên ảnh đó cho ta một vector đại diện cho đối tượng đó Các bước để rút trích đặc trưng HOG của đối tượng như sau [7]:

Bước 1: Chuẩn hóa hình ảnh trước khi xử lý

- Bước này cần chuẩn hóa hình ảnh, chuyển các ảnh TGB sang ảnh GRAY SCALE, sau đó tiến hành cân bằng histogram trên ảnh GRAY SCALE để cắt giảm đi ảnh hưởng của sự thay đổi ánh sáng

- Bước này có nhiệm vụ phân chia cửa sổ ảnh ban đầu cần tính HOG thành nhiều khối (block) khác nhau, mỗi khối block có chưa nhiều ô (cell), các khối block phải có số lượng ô giống nhau Mỗi ô cell được cấu tạo kích thước được chọn ban đầu (có thể chọn 8x8, 16x16…)

- Các khối block trong cửa sổ ảnh có thể đặt chồng lên nhau, điều kiện khoảng cách giữa 2 ô con liên tiếp là một hằng số

- Tính toán rút trích đặc trưng trên từng ô nhỏ cell sau đó tính toán đặc trưng trên từng khối block bằng cách kết hợp các giá trị đặc trưng của các ô nhỏ cell với nhau

- Tính toán và chuẩn hóa các vector đặc trưng cho từng khối block., thu thập đặc trưng HOG cho các cửa sổ con

Bước 2: Tính toán gradient theo cả hướng x và y

- Sau khi đã chia cửa số ảnh thành nhiều khối Block có các ô giống nhau, các khối được xếp chồng lên nhau theo theo quy luật nhất định và điều kiện khoảng cách 2 ô con liên tiêp phải là một hằng số và toán rút trích đặc trưng trên từng vùng Ta tiến hành bước tiếp theo, tính toán gradient theo 2 hướng

x và y

24

- Để mang lại nhiều kết quả, ta nên chia không gian góc thành các pin có góc khác nhau và độ chênh lệch các góc là hằng số, thực nghiệm chỉ ra rằng kích thước pin khoảng 20 độ cho kết quả tốt nhất Do vậy, ta có thể chia các bin

có độ chênh lệch từ 0-180 thành 9 bin Như vậy mỗi bin có độ lệch góc 20

độ so với bin liền kề,

Bước 3: Lấy phiếu bầu cùng trọng số trong các cell

- Bước này sẽ thống kê biên độ tại từng vị trí tương ứng với một bin trong cùng một ô cell Như vậy mỗi cell sẽ có 9 giá trị biên độ vị trí (x, y) nếu như góc thuộc về bin đó thì giá trị của bin đó tại vị trí (x, y) bằng giá trị biên độ Ngược lại giá trị biên độ của bin tại vị trí (x, y) bằng 0

- Sau đó tính toán vector đặc trưng cho từng ô cell (có thể chọn 8x8, 16x16…), mỗi cell có 9 thành phần biên độ tương ứng 9 bin (9 góc chênh lệch nhau 20 độ), giá trị các thành phần này bằng tổng giá trị các điểm trong bin i mà có tọa độ nằm trong cell đó

Bước 4: Chuẩn hóa các block

- Tính toán vector đặc trưng cho từng block 16x16 Ta chỉ cần ghép các vector đặc trưng của từng cell trong block lại với nhau để được vector đặc trưng của một block và chuẩn hóa vector đặc trưng của block này Việc chuẩn hóa vector đặc trưng trong block sẽ được bàn chi tiết ở phần sau Như vậy vector đặc trưng của từng block sẽ là 9 * 4 = 36 tương ứng 36 thành phần

Bước 5: Thu thập tất cả các biểu đồ cường độ gradient định hướng để tọa ra vector đặc trưng cuối cùng của cửa sổ ảnh

- Tính toán vector đặc trưng cho toàn bộ ảnh 64x128 Ta chỉ cần ghép các vector đặc trưng của từng block lại với nhau để được vector đặc trưng của cả window Chú ý: vector đặc trưng của các block sẽ gối lên nhau, không tách

Phương pháp phân loại dữ liệu SVM

SVM là một phương pháp trong việc phân loại dữ liệu tuyến tính và không tuyến tính SVM sử dụng để tìm ra một siêu phẳng (Hyperplane) Siêu phẳng này

có tác dụng phân tách tập dữ liệu thành 2 phần riêng biệt Trên thực tế, tập dữ liệu ban đầu rất phức tạp, rất khó để phân tách thành 2 phần, class riêng biệt Do vậy, ta

có thể ánh xạ tập dữ liệu vào không gian nhiều chiều hơn (ví dụ từ 2 chiều sang 3 chiều) sau đó dùng một mặt cong tưởng tượng để phân tách tập dữ liệu thành 2 phần riêng biệt một cách dễ dàng hơn[4]

Cho tập dữ liệu D gồm (X1, y1), (X2, y2), … với Xi là một tập các bộ huấn luyện tương ứng với nhãn lớp yi, Mỗi yi sẽ nhận một trong 2 giá trị [+1, -1]

Phương pháp phân lớp SVM tìm ra đường phân lớp tốt nhất để phân chia tập dữ liệu này từng lớp tách biệt với nhau Phương trình phân chia tổng quát:

W * x + b = 0 với W: vector trọng số w1, w2, …; n: số thuộc tính hay còn gọi

là số chiều của dữ liệu; b: đại lượng vô hướng (2.5)

26

Tổng quát: cho dữ liệu n chiều, sẽ được phân cách bởi một siêu phẳng có biên độ lớn nhất (maximum marginal hyperlane)

Ví dụ: Bộ dữ liệu có 2 thuộc tính A1, A2 tương ứng W1, W2

=> siêu phẳng tương đương: w0 + w1x1 + w2x2 = 0

Hình 2.6: Đồ thị ví dụ mô tả dữ liệu một mặt siêu phẳng SVM

Note: SVM phi tuyến bằng cách mở rộng SVM tuyến tính như sau:

 Bước 1: Chuyển dữ liệu nguồn lên một không gian nhiều chiều hơn bằng cách

sử dụng ánh xạ phi tuyến Một vài ánh xạ phi tuyến thông thường có thể sử dụng để thực hiện bước này

 Bước 2: Tìm những siêu phẳng trong không gian mới này Cuối cùng chúng ta quay lại vấn đề tối ưu bình phương đã được giải quyết sử dụng công thức SVM tuyến tính Siêu phẳng có biên độ lớn nhất được tìm thấy trong không

 Có thể mô hình non-linear decision boundaries bằng cách sử dụng nhiều Kernel khác nhau Ít bị - Overfitting đặc biết ở không gian high-dimensional

 Thiết kiệm bộ nhớ: chỉ có những điểm cần thiết mới được lưu trữ sau khi huấn luyện

 Bài toán số chiều cao: Trong trường hợp số lượng thuộc tính (P) của tập dữ liệu lớn hơn rất nhiều so với số lượng dữ liệu(n) thì SVM cho kết quả không tốt

 Tốn thời gian, chi phí cho việc huấn luyện

 Chưa thể hiện rõ tính xác xuất

Bài toán tối ưu trong Support Vector Machine chính là bài toán đi tìm đường phân chia sao cho margin là lớn nhất Đây cũng là lý do vifsao SVM còn được gọi là

28

Maximum Marfin Classifier SVM mang lại kết quả phân loại tốt hơn so với Neural Network với 1 layer, tức Perceptron Learning algorithm

2.1.2.4 Mạng neural nhân tạo và phương pháp lan truyền ngược

Mạng neural nhân tạo

Mạng neural nhân tạo (Artificial Neural Networks: ANN) ra đời xuất phát từ

ý tưởng mô phỏng hoạt động của bộ não con người Mạng noron nhân tạo là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con người với vô số các neural được liên kết truyền thông với nhau qua mạng Giống như con người, ANN được học bởi kinh nghiệm, lưu những kinh nghiệm đó và sử dụng trong những tình huống phù hợp Mạng neural nhân tạo dựa trên việc mô phỏng cấp thấp hệ thống neural sinh học

Mô hình mạng neural dưới đây gồm 3 lớp: Lớp đầu vào (dữ liệu đầu vào), lớp ẩn (các nút trong lớp này liên lạc với các nút đầu vào và nút đầu ra), lớp đầu ra (dữ liệu đầu ra)

Dữ liệu ban đầu từ tất cả các nút nằm trong lớp đầu vào sẽ được thu thập, xử

lý giá trị theo một biến độc lập và chuyển kết quả đó tới các nút trong lớp ẩn Người thiết kế sẽ có nhiệm vụ tạo, thiết kế, sử dụng dựa theo nguyên tắc nào đó để

có dữ liệu đầu ra Chú ý người sử dụng sẽ không biết lớp này được thiết kế thế nào

29

Hình 2.7: Mô hình mô tả tổng quan mạng Neural nhân tạo Các nút trong lớp dữ liệu đầu ra sẽ nhận tín hiệu tổng trọng hóa từ các nút trong lớp ẩn Mỗi nút trong lớp đầu ra tương ứng với một biến phụ thuộc

Phương pháp lan truyền ngược Back Propagation, và ưu nhược điểm

Mạng neural nhân tạo phỏng theo việc xử lý thông tin của bộ não người, do vậy đặc trưng cơ bản của mạng là có khả năng học, khả năng tái tạo các hình ảnh và dữ liệu khi đã học Có 3 phương pháp mạng neural:

Thuật toán lan truyền ngược gồm 2 quá trình:

- Quá trình truyền tuyến tính: Thay đổi giá trị của trọng số liên kết W của các neural trong mạng biểu diễn được dữ liệu học Tìm ra sự khác nhau giữa giá trị thật

Hạn chế của phương pháp lan truyền ngược:

- Quá trình huấn luyện lâu, có thể do nhịp độ học và động lực không tối ưu

- Trong quá trình huấn luyện, khi trọng số đoực điều chỉnh tới giá trị lớn có thể xảy

ra trạng thái “Mạng liệt” hoặc “Cực tiểu địa phương”

+ Mạng liệt xảy ra khi những trọng số được điều chỉnh tới những giá trị rất lớn Tổng đầu vào của một đơn vị ẩn hoặc đơn vị đầu ra có thể bởi vậy mà đạt giá trị rất cao (hoặc dương hoặc âm), và qua hàm kích hoạt sigmoid, đơn vị sẽ có một giá trị kích hoạt rất gần 0 hoặc rất gần 1

+ Cực tiểu địa phương: bề mặt sai số của mạng rất phức tạp đầy những ngọn đồi và những thung lũng Bởi vì sự hạ độ dốc, mạng có thể bị mắc bẫy tại một cực tiểu địa phương khi có nhiều cực tiểu thấp hơn gần bên cạnh Những phương pháp thống

kê có thể giúp để tránh cái bẫy này, nhưng chúng làm chậm

2.1.3 Tổng quan và các ứng dụng camera giám sát

Mỗi Camera thường có 2 dây: Dây truyền tín hiệu và dây cấp nguồn Dây

nguồn và dây tín hiệu thường đặt chạy song song nếu khoảng cách gần sẽ dễ dàng

sử lý sự cố Thông thường ta phân loại camera thành 3 loại:

- Phân loại theo kĩ thuật hình ảnh

+ Camera Analog: Camera CCD (Charge Couple Device) sử dụng kỹ thuật CCD

để nhận diện hình ảnh CCD là tập hợp những ô tích điện để cảm nhận ánh sáng sau đó truyền tín hiệu ánh sáng sang tín hiệu số rồi đưa qua các bộ xử lý

31

+ Camera CMOS (complementary metal oxide semiconductor): Camera dùng

công nghệ CMOS sử dụng chất bán dẫn có bổ xung oxit kim loại để tiến ảnh thu nhận và xử lý tín hiệu hình ảnh

- Phân loại theo kĩ thuật đường truyền

Camera theo kỹ thuật đường truyền có 3 loại gồm Camera có dây, camera không dây, IP camera

- Phân loại theo tính năng sử dụng

Camera theo tính năng bao gồm camera áp trần (Dome camera), camera ẩn

(Camera ngụy trang), box camera, IR camera (camera có khả năng quan sát ban đêm sử dụng tia hồng ngoại)

Hình 2.8 Ví dụ về camea giám sát Hình trên miêu tả ví dụ 1 camera giao thông đã được lắp đặt có nhiệm vụ theo dõi, giám sát người và phương tiện tham gia giao thông trên

Ứng dụng của camera giám sát:

32

Hình 2.9 Ứng dụng của camera trong giao thông

Camera giám sát có thể được ứng dụng trong giao thông là một trong những thiết bị theo dõi hoạt động của các phương tiện giao thông trên đường phố Đây là một giải pháp hữu hiệu nhằm ghi lại hình ảnh của các phương tiện vi phạm giao thông để tiến hành phạt nguội và có thể được đặt ở các tuyến đường chính hoặc những điểm nóng giao thông Camera chuyên dụng được thiết kế và sử dụng với tính năng đặc biệt dùng cho ngoài trời, có khả năng chịu nhiệt, chịu ẩm cao và chống va đập, chất lượng rõ nét, có thể quay quét, phóng to biển số và người rõ ràng bất kể ban ngày hay ban đêm Mỗi khi có phương tiện qua tầm kiểm soát của camera, hình ảnh người và phương tiện sẽ được xử lý, cập nhật, lưu trữ và đưa về trung tâm điều hành Từ trung tâm có thể quan sát mọi hoạt động giao thông trên các tuyến đường khác nhau, từ đó đưa ra các giải pháp phân luồng và xử lý cho phù hợp Ngoài việc theo dõi, các camera có thể phát hiện các trường hợp vi phạm giao thông, ghi lại các vị trí gây mất trận tự giao thông trên địa bàn đó

33

Chính phủ điện tử là việc các cơ quan Chính phủ sử dụng một cách có hệ thống

CNTT-TT để thực hiện quan hệ với công dân, doanh nghiệp và các tổ chức xã hội Nhờ đó giao dịch của các cơ quan Chính phủ với công dân và các tổ chức sẽ được cải thiện, nâng cao chất lượng Lợi ích thu được sẽ là giảm thiểu tham nhũng, tăng cường tính công khai, sự tiện lợi, góp phần vào sự tăng trưởng và giảm chi phí"

Chính phủ điện tử gồm 3 chủ thể là người dân, Chính phủ và doanh nghiệp tương ứng với các mối quan hệ như sau:

o Quan hệ Chính phủ với người dân

o Quan hệ Chính phủ với doanh nghiệp

o Quan hệ các cơ quan Chính phủ với nhau

Mục tiêu chung của chính phủ điện tử là tăng cường năng lực, nâng cao hiệu quả điều hành nhà nước của chính phủ, mang lại thuận lợi cho dân chúng, tăng cường

sự công khai minh bạch, giảm chi tiêu chính phủ Chính phủ điện tử sẽ tạo ra

phong cách lãnh dạo mới, phương thức mới, cung cấp dịch vụ cho người dân và

nâng cao được năng lực quản lý điều hành đất nước

Hình 2.10 Ví dụ camera giám sát được đặt trên Kiosk