Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)

Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)Nghiên cứu và phát triển các kỹ thuật định vị và định danh kết hợp thông tin hình ảnh và WiFi (Tóm tắt LA tiến sĩ)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

Công trình được hoàn thành tại:

Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:

Vào hồi giờ, ngày tháng năm

Có thể tìm hiểu luận án tại thư viện:

1 Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội

2 Thư viện Quốc gia Việt Nam

MỞ ĐẦU

Tính cấp thiết của luận án

Công nghệ hiện đại đang làm thay đổi cuộc sống của con người ở nhiều phươngdiện khác nhau, trong đó đáng chú ý là cách thức con người tương tác với các sản phẩmcông nghệ Tương tác người-máy ngày càng trở nên tự nhiên và thân thiện hơn Mộtkhái niệm mới được hình thành từ sự thay đổi mang tính cách mạng này đó là Môitrường cảm thụ AmI (Ambient Intelligent) Mặc dù AmI đã được đề cập từ hơn mườinăm trước và ngày càng có thêm nhiều nghiên cứu chuyên sâu về nó, tuy nhiên, việcphát triển và thực thi các hệ thống ứng dụng AmI vẫn còn mới mẻ Có nhiều tháchthức thực tế cần giải quyết trong từng lĩnh vực công nghệ hay các ứng dụng cụ thể cóliên quan tới AmI [1]

Trong nghiên cứu này, chúng tôi quan tâm tới thông tin ngữ cảnh về vị trí và danhtính của con người trong môi trường tòa nhà Vị trí và danh tính là hai trong số cácthuộc tính người dùng quan trọng cần được cảm thụ trong môi trường thông minh

Để có thể xác định vị trí người dùng (người dùng ở đâu trong môi trường) và danhtính người dùng (người dùng đó là ai), chúng ta cần giải quyết hai bài toán là định

vị và định danh Để giải quyết hai bài toán này, có thể sử dụng nhiều loại cảm biếnkhác nhau, như Ultra-Wideband (UWB), ultrasound, Radio-Frequency Identification(RFID), camera, WiFi, etc [15] Tuy nhiên, không có một giải pháp công nghệ đơn lẻnào là hoàn hảo trong mọi trường hợp Do đó, bên cạnh việc phát triển các giải thuậttối ưu cho từng công nghệ, sử dụng kết hợp các giải pháp đang trở thành một xu hướngmới trong việc giải quyết bài toán định vị và định danh người dùng trong môi trườngtòa nhà [19], [3], [14], [16] Mục đích chính của kết hợp là nhằm phát huy được những

ưu điểm của từng công nghệ cảm biến đơn lẻ, trong khi có thể hạn chế những nhượcđiểm của chúng Trong bối cảnh này, nghiên cứu của chúng tôi tập trung giải quyết bàitoán định vị và định danh người sử dụng kết hợp các công nghệ dựa trên cơ sở hìnhảnh và WiFi

Các đóng góp của luận án

ˆ Đóng góp thứ 1: Đề xuất mô hình hình suy hao cải tiến cho định vị người dùngdựa trên WiFi Trong mô hình này, chúng tôi xem xét tới các ràng buộc vật cảntrong môi trường tòa nhà Từ đó, có thể mô hình hóa hiệu quả quan hệ giữacường độ tín hiệu RSSI với khoảng cách từ thiết bị di động tới các AP lân cận.Phương pháp lấy dấu vân tay thông dụng cũng được áp dụng cho định vị WiFi,với một bản đồ vô tuyến mới được thiết lập nhằm tạo dữ liệu vân tay ổn định và

tin cậy cho định vị Để đối sánh mẫu thử với dữ liệu vân tay, chúng tôi đề xuất

áp dụng phương pháp KNN, trong đó có bổ sung thêm tham số λ nhằm phảnánh những thay đổi theo thời gian của dữ liệu dấu vân tay trong môi trường.Kết quả định vị dựa trên WiFi cho phép kích hoạt các tiến trình định vị tại cáccamera thuộc vùng kết quả định vị trả về từ hệ thống WiFi

ˆ Đóng góp thứ 2: Đề xuất các phương pháp hiệu quả cho khử bóng và pháthiện người nhằm cải thiện kết quả định vị sử dụng hình ảnh Đối với khử bóng,chúng tôi đề xuất sử dụng kết hợp đặc trưng chromaticity và physical cùng vớimột sơ đồ kết hợp chỉ số dựa trên mật độ lân cận của phân bố bóng và khôngphải bóng ở từng điểm ảnh Bước khử bóng được xem như bước tiền xử lý nhằmđạt hiệu quả phát hiện người tốt hơn Trong bước phát hiện người, chúng tôi sửdụng kết hợp hai phương pháp trừ nền GMM thích nghi và bộ mô tả-phân lớpngười HOG-SVM Việc kết hợp này cho phép phát huy được ưu điểm tính toánnhanh của GMM thích nghi và độ chính xác phát hiện người của HOG-SVM.Ngoài ra, đối với bộ phát hiện HOG-SVM, chúng tôi xây dựng bộ mô tả HOG

và huấn luyện SVM sử dụng cơ sở dữ liệu chúng tôi thu tại môi trường thựcnghiệm, cùng với cơ sở dữ liệu chuẩn INRIA Việc huấn luyện trên hai bộ cơ sở

dữ liệu này giúp cải thiện hiệu quả phát hiện người sử dụng HOG-SVM trongmôi trường xem xét

ˆ Đóng góp thứ 3: Áp dụng một bộ mô tả người mạnh dựa trên cơ sở diện mạocho định danh lại người trong các mạng camera Bộ mô tả được xây dựng trêntừng vùng người được phát hiện Ba đặc trưng hướng, màu và hình dạng đượctrích chọn ở 3 mức điểm ảnh, mẩu ảnh và toàn bộ ảnh vùng người được pháthiện, sau đó ba hàm nhân đối sánh được tạo ra từ các đặc trưng này Bộ mô tả

đề xuất đặc biệt hiệu quả đối với ngữ cảnh giám sát người sử dụng nhiều camera,trong đó tồn tại sự thay đổi đa dạng trong cùng một lớp đối tượng

ˆ Đóng góp thứ 4: Đề xuất một phương pháp kết hợp mới cho hệ thống định vị

và định danh người đa phương thức kết hợp WiFi và camera Bằng cách sử dụngcác bước dự đoán và cập nhật trạng thái của bộ lọc Kalman, cùng với giải thuậtgán tối ưu, phương pháp kết hợp đề xuất cho phép bảo lưu độ chính xác định vịcao của hệ thống định vị người dựa trên hình ảnh Ngoài ra phương pháp kết hợpnày cho phép theo vết người bằng định danh dựa trên thông tin định danh từcard WiFi của thiết bị cầm tay, cũng cho phép thực thi tốt hơn việc định danhlại người giữa các camera

Ngoài các đóng góp chính nêu trên, trong luận văn này, chúng tôi đề xuất phươngpháp liên kết quỹ đạo người hiệu quả trong mạng camera Các camera được triển khaitrên một tầng của tòa nhà đều có chung trường quan sát là mặt sàn nơi đối tượng di

chuyển, do đó, từng cặp camera sẽ tạo thành một thị giác nổi trên một mặt sàn duynhất Sử dụng phương pháp hiệu chỉnh camera cho thị giác nổi, các quỹ đạo chuyểnđộng của đối tượng trên ảnh thu nhận từ các camera khác nhau có thể chuyển đổiđược thành các vị trí trên hệ tọa độ thế giới thực tương ứng trên một mặt phẳng sànduy nhất đó Ngoài ra, chúng tôi cũng đề xuất một hệ thống giám sát người tự độnghoàn toàn trong môi trường tòa nhà Hệ thống này phản ánh các bối cảnh giám sátthực tế ở hầu hết các tòa nhà Hướng tới việc xây dựng một hệ thống giám sát nhưvậy, chúng tôi thực hiện một số thử nghiệm để chứng minh hiệu quả của các phươngpháp đã công bố cho bài toán nhận dạng mặt người, định vị, định danh và định danhlại người trong một mạng camera.

Cấu trúc của luận án

Trong luận án này, chúng tôi phát triển các phương pháp định vị và định danhlại người và đánh giá chúng trong hệ thống kết hợp hình ảnh và WiFi Luận án gồm 5chương, với phần giới thiệu mở đầu, phần cuối là kết luận và định hướng nghiên cứutiếp theo:

ˆ Mở đầu: Giới thiệu chung: tính cấp thiết và mục tiêu nghiên cứu của luận án;ngữ cảnh, các ràng buộc và thách thức khi giải quyết các bài toán đặt ra trongluận án; cấu trúc của luận án và các đóng góp của luận án

ˆ Chương 1: Các công trình có liên quan đến vấn đề nghiên cứu của luận án: định

vị người dùng sử dụng hệ thống WiFi; định vị người sử dụng camera, định vịngười sử dụng kết hợp hệ thống WiFi và camera; định danh lại người trong mạngcamera

ˆ Chương 2: Giải pháp đề xuất và các đánh giá thử nghiệm cho định vị người dùngdựa trên WiFi

ˆ Chương 3: Đề xuất hệ thống định vị người sử dụng hình ảnh với 3 pha chính làphát hiện người, theo vết người và định vị người Đề xuất một số cải tiến chotừng pha nhằm nâng cao hiệu quả của hệ thống định vị

ˆ Chương 4: Trong bối cảnh giám sát đa camera thời gian thực, các bài toán địnhdanh người dựa trên mặt người và định danh lại dựa trên diện mạo người được

đề xuất Một bộ mô tả hiệu quả được áp dụng cho định danh lại người trongmạng camera

ˆ Chương 5: Giải pháp kết hợp thông tin WiFi và hình ảnh cho định vị, định danh

và định danh lại người và các đánh giá thử nghiệm

ˆ Kết luận và định hướng nghiên cứu tiếp theo của luận án

về các công trình có liên quan đến các vấn đề nghiên cứu của luận án sẽ tập trung vàotừng hệ thống đơn lẻ của WiFi, hình ảnh và kết hợp chúng cho định vị người dùngtrong môi trường tòa nhà Ngoài ra, chúng tôi cũng đưa ra các đánh giá có liên quanđến bài toán định danh và định danh lại người trong mạng camera.

1.1 Định vị người dùng sử dụng WiFi

1.2 Định vị người dùng sử dụng camera

1.3 Định vị người dùng sử dụng kết hợp WiFi và camera

1.4 Định danh lại người dựa trên hình ảnh

CHƯƠNG 2

ĐỊNH VỊ NGƯỜI DÙNG SỬ DỤNG WIFI

Trong chương này, chúng tôi tiếp cận cả mô hình truyền sóng vô tuyến và phươngpháp dấu vân tay cho định vị WiFi Chúng tôi đề xuất một mô hình truyền xác suấtcải tiến, cùng với một bản đồ vô tuyến được định nghĩa mới ở phần cơ sở dữ liệu dấuvân tay Mô hình truyền xác suất đề xuất là mô hình cải tiến từ mô hình suy hao cơbản (như đã nêu ở Chương 1) Mô hình này phản ánh bản chất phức tạp của các môitrường tòa nhà khi tính đến các yếu tố vật cản, như tường và sàn nhà để mô hình hóaquan hệ giữa giá trị cường độ tín hiệu RSSI và khoảng cách từ thiết bị di động tới cácđiểm tham chiếu Mô hình dựa trên cơ sở phương trình thực nghiệm của cường độ tínhiệu tần số vô tuyến trong các môi trường tòa nhà và tính không chắc chắn của nóđược xem xét bởi các đặc trưng xác suất Một tiến trình tối ưu dựa trên giải thuậtsinh được áp dụng để hiệu chỉnh các tham số hệ thống sao cho phù hợp nhất với cácthiết bị sử dụng Trong phương pháp dấu vân tay, áp dụng đối sánh KNN có bổ sung

thêm tham số λ nhằm phản ảnh sự thay đổi theo thời gian của dữ liệu dấu vân taytrong môi trường.

2.1 Sơ đồ hệ thống

Sơ đồ hệ thống định vị người dùng sử dụng WiFi được minh họa trong Hình 2.1

Có hai pha chính được biểu diễn trong sơ đồ là pha huấn luyện và pha thử nghiệm

Radio Map

RP

Coordinates

Fingerprint Database

RSSI values PPM

Distance values Matching

Offline training phase

Online testing phase

SERVER

Distance values

Mobile User

Position

RSSI PPM

Hình 2.1 Sơ đồ hệ thống định vị người dùng sử dụng WiFi

Pha huấn luyện được thực hiện off-line với các bản đồ sóng vô tuyến được xây dựngtheo chu kỳ để tạo cơ sở dữ liệu dấu vân tay Trong pha thử nghiệm, một thiết bị diđộng sẽ liên tục quét các tín hiệu từ các APs lân cận và gửi các tín hiệu RSSI tươngứng tới một máy chủ Các giá trị này sau đó được chuyển thành các giá trị khoảngcách nhờ mô hình truyền xác suất đề xuất (mô hình PPM) Đối sánh khoảng cách với

cơ sở dữ liệu dấu vân tay được thực hiện nhờ mô hình KNN để tìm ra vị trí của ngườidùng

2.2 Mô hình truyền xác suất

Với các thiết bị thu WiFi thông thường, ta chỉ có thể tính được khoảng cách từthiết bị tới các AP dựa vào các giá trị RSSI thu được trên thiết bị di động và mô hìnhtruyền sóng vô tuyến Mô hình được xây dựng dựa trên thực tế là cường độ sóng vôtuyến truyền trong môi trường sẽ bị suy giảm Xem xét mô hình thực nghiệm đượcdùng nhiều trong các công bố trước đó [11][5][12]:

P = P0 − 10nlog( r

với P0 là cường độ tín hiệu thu được ở một khoảng cách tham chiếu đã biết r0 tínhtheo đơn vị dBm, P là cường độ tín hiệu ở một khoảng cách chưa biết r, và n là số

mũ suy hao biểu diễn tỷ lệ suy hao tăng theo khoảng cách Phương trình 2.1 biểu diễnmối quan hệ giữa RSSI P và khoảng cách r từ thiết bị di động tới AP, với các tham sốP0, r0 và n được xác định bằng thực nghiệm Từ các tham số này, ta có thể tính đượckhoảng cách dựa vào RSSI.

Phương trình 2.1 là mô hình truyền trong môi trường không có vật cản giữa AP

và thiết bị di động Khi xét vật cản tường và trần nhà, cần tính đến suy giảm tín hiệugây ra bởi các vật cản này, khi đó phương trình truyền sẽ là:

Hình 2.2 WiFi signal attenuation through walls/floors

Nhìn chung, có thể mở rộng kd tùy thuộc vào từng tường/trần

Phương trình 2.2 là mô hình tất định, vì không tính đến sự thay đổi RSSI ở mộtkhoảng cách nhất định nào đó Để khắc phục hạn chế này, chúng tôi đề xuất mô hìnhtruyền xác suất Thực tế, với một giá trị RSSI P , khoảng cách r không phải chính xác

là giá trị được tính toán từ phương trình 2.2, mà nó thuộc một lân cận của giá trị này,

kí hiệu là ¯r Nói một cách chính xác hơn, ¯r là giá trị đề cử của khoảng cách r với xácsuất cực đại Với một giá trị RSSI P , phân bố khoảng cách được giả thiết tuân theophân bố chuẩn (phân bố Gauss) với trung bình ¯r:

ρ(r, P ) = Pr(r|P ) = 1

σ√2πe

−(r−¯ r)2

với σ là độ lệch chuẩn, cũng là hàm của P Để đơn giản, giả thiết σ và ¯r có quan hệ

tuyến tính như sau:

2.3 Cơ sở dữ liệu dấu vân tay và đối sánh KNN

Thông thường, bản đồ vô tuyến trong phương pháp dấu vân tay được xác địnhnhư sau:

với pi , [px py pz]T là các tọa độ thế giới thực của điểm tham chiếu thứ ith và F(pi),[ri(1) , ,ri(n)] là ma trận dấu vân tay, với n là số mẫu huấn luyện ở từng điểm thamchiếu Vector ri(t),[ri1(t ), , riL(t )]T gồm các giá trị RSSI thu nhận được từ L AP ởthời điểm t và vị trí pi Sử dụng đặc trưng khoảng cách thay bằng đặc trưng RSSIthông thường, bản đồ môi trường trong phương trình 2.5 khi đó có ma trận vân tayF(pi) , [di(1) , ,di(n)], với vector di(t),[d 1

i (t ), , dL

i (t )] gồm các mẫu khoảng cách

di từ điểm tham chiếu thứ ith tới L AP Từ đó ta xây dựng được bản đồ vô tuyến ổnđịnh và tin cậy ngay cả khi có một số AP nào đó bị ngừng hoạt động ở một thời điểmnhất định Hơn nữa, chi phí cho việc xây dựng và cập nhật dấu vân tay sẽ thấp hơnthông thường Chỉ cần xây dựng lại khi có thêm AP và điểm tham chiếu hoặc khi loại

bỏ bớt chúng

Trong pha thử nghiệm, các giá trị RSSI thiết bị di động thu được từ các AP lâncận sẽ được chuyển đổi sang các giá trị khoảng cách tương ứng nhờ mô hình suy hao đềcập ở trên Chúng sẽ được so sánh với dữ liệu huấn luyện để tìm ra mẫu phù hợp nhất.Phương pháp đối sánh sử dụng trong nghiên cứu này là KNN Trong KNN, một mẫuthử được dự đoán dựa trên các lân cận gần nhất với nó trong dữ liệu huấn luyện Có 3thành phần chính là phép đo sự giống nhau (phép đo khoảng cách); số lượng lân cận

sử dụng trong dự đoán; trọng số của lân cận Khoảng cách Euclidean và Manhattan

là hai phép đo hình học thông dụng, trong đó Euclidean là phép đo thông dụng nhấttrong định vị WiFi [13], [4] Trong nghiên cứu này, chúng tôi đánh giá KNN với phép

đo Euclidean

2.4 Các kết quả thử nghiệm

Các thử nghiệm được thực hiện ở hai tòa nhà khác nhau, một tại tầng 8 của tòanhà 11 tầng, và tại tầng 2 của tòa nhà hai tầng Tất cả trần nhà của các tòa nhà nàyđều có độ cao 4 m với độ dày tường bê tông là 0.2 m Để tạo dữ liệu dấu vân tay, chúngtôi xây dựng một ứng dụng cho thiết bị di động thu cường độ tín hiệu từ các APs lân

cận, với chu kỳ thu nhận là 2 giây một lần thu Thông tin thu nhận sẽ được tải lênmột cơ sở dữ liệu MySQL, hoặc lưu ngoại tiếp vào file XML Trong quá trình thu thập

dữ liệu dấu vân tay, trước khi chuyển hướng chuyển động, người dùng sẽ phải ấn vàonút Marker trên ứng dụng để đánh dấu tuyến đường thẳng mình vừa di chuyển Dotọa độ của các điểm đánh dấu đã được xác định trước đó, nên tọa độ của các vị trí thugiữa hai điểm đánh dấu liên tiếp có thể được tính nội suy từ các điểm này Các vị trícùng với tọa độ của chúng sẽ được lưu lại dưới dạng file nhị phân trong cơ sở dữ liệudấu vân tay

Bảng 2.1 cho thấy lỗi định vị ở độ tin cậy 90 % khi sử dụng đặc trưng khoảngcách cao hơn một chút so với sử dụng đặc trưng RSSI Thử nghiệm này được thực hiệnvới tham số λ Tuy nhiên, khi không sử dụng λ, độ tin cậy định vị của đặc trưng RSSIgiảm, trong khi thông số này là ổn định với đặc trưng khoảng cách Các kết quả nàyđược biểu diễn ở Bảng 2.2, với lỗi ở độ tin cậy 90 % đối với đặc trưng RSSI là 3.55 m,tuy nhiên với đặc trưng khoảng cách là 2.9 m

Bảng 2.1 Các đánh giá cho ngữ cảnh thử nghiệm thứ nhất với các đặc trưng khoảngcách và RSSI

Fingerprint

Feature

Maximal error (m)

Average error (m)

Average error (m)

Trong nghiên cứu này, chúng tôi xem xét ngữ cảnh giám sát thời gian thực, trong

đó người di chuyển từ một trường quan sát của camera này tới trường quan sát của

camera khác Do đó, các bài toán sau được xem xét cho định vị người trong mạngcamera:

ˆ Trong từng trường quan sát của camera, định vị người được thực hiện bởi pháthiện, theo vết và định vị

ˆ Định danh lại người và liên kết các quỹ đạo người được thực hiện khi người dichuyển từ một trường quan sát của camera này tới các trường quan sát khác.Hình 3.1 biểu diễn sơ đồ khối chung của hệ thống định vị người trong mạng camera.Trong mỗi trường quan sát của camera, phát hiện người được thực hiện ở từng khung

Input frames

Human Tracking Tracked FootPoints

Human Localization

Input frames

Positions

& IDs

Camera 2

Human Detection ROI & FootPoint

Human Tracking Tracked FootPoints

Human Localization

Hình 3.1 Sơ đồ hệ thống định vị người trong mạng camera

hình để đưa ra kết quả vùng người quan tâm (hộp bao hình chữ nhật quanh người)

Vị trí người trên ảnh được xác định trong nghiên cứu này là trung điểm của cạnhhình chữ nhật tiếp xúc với mặt sàn (xem Hình 3.2) Điểm này gọi là vị trí điểm chânngười FootPoint Theo vết người trong một chuỗi khung hình thu được từ một trườngquan sát camera là quá trình theo vết các điểm chân người Trong trường hợp có nhiềungười, mỗi điểm chân được phát hiện cần được gán với định danh tương ứng Định vịngười được thực hiện bằng cách chuyển các vị trí điểm chân trên tọa độ ảnh sang các

vị trí trong tọa độ thế giới thực trên mặt phẳng sàn

Khi một người dịch chuyển từ một trường quan sát này sang trường quan sátkhác, định danh và vị trí tương ứng cần được cập nhật Quá trình cập nhật này gọi làđịnh danh lại và liên kết quỹ đạo chuyển động của người

- Phát hiện người: Như đã nêu ở phần các nghiên cứu có liên quan, có hai hướngtiếp cận cho phát hiện người: phát hiện dựa trên chuyển động và phát hiện với bộ phânlớp người Hướng đầu tiên gồm phương pháp thông dụng là trừ nền, vốn phù hợp chocác ứng dụng thời gian thực Tuy nhiên, trong nhiều trường hợp, các kết quả phát hiện

Hình 3.2 Ví dụ các quỹ đạo chuyển động của người được tạo ra từ liên kết quỹ đạocủa các vị trí đểm chân FootPoint tương ứng.

không hoàn chỉnh (hộp bao chữ nhật không bao trọn cơ thể người) gây ra bởi nhiễuhay bóng Nó làm giảm độ chính xác định vị Hướng thứ 2 xuất hiện phát hiện sai, haykhông phát hiện được đối tượng nếu ta không có các mô hình được huấn luyện tốt.Ngoài ra, các phương pháp thuộc hướng tiếp cận này yêu cầu thời gian tính toán lớnhơn, do đó không thích hợp với các tiến trình thời gian thực Ưu điểm của nó là cáckết quả phát hiện đúng hầu hết là kết quả hoàn thiện (hộp chữ nhật bao trọn người)

và có thể phát hiện người khi không di chuyển hay người bị che khuất một phần

Để xây dựng một bộ phát hiện người hiệu quả cho định vị trong hệ thống giámsát thời gian thực, chúng tôi đề xuất một số cải tiến sau:

ˆ Kết hợp Adaptive GMM [25] với HOG-SVM [8] nhằm tận dụng ưu điểm của từngphương pháp

ˆ Đề xuất một phương pháp khử bóng hiệu quả nhằm cải thiện kết quả phát hiệnngười, từ đó cải thiện hiệu quả của các bước tiếp theo trong định vị và định danhlại người

- Theo vết người: Theo vết được thực hiện dựa trên các kết quả phát hiện Như

đã nêu trong phần các công trình có liên quan, mỗi phương pháp theo vết có ưu, nhượcđiểm riêng Tuy nhiên, đối với các ứng dụng mà môi trường không quá phức tạp nhưtrong trường hợp chúng tôi xem xét, bộ lọc Kalman [24] là lựa chọn phù hợp với một

số lợi ích sau:

ˆ Dễ tính toán và triển khai

ˆ Giảm nhiễu tạo ra bởi các phát hiện không chính xác

ˆ Dự đoán vị trí của đối tượng trong trường hợp không phát hiện được đối tượng

ở một số khung hình

ˆ Cho phép gán từng đối tượng với quỹ đạo tương ứng.

Ngoài ra, trong nghiên cứu này, chúng tôi đề xuất sử dụng giải thuật gán dữ liệu cùngvới bộ lọc Kalman nhằm cải thiện hiệu quả theo vết đối tượng

- Định vị và liên kết các quỹ đạo chuyển động của người: Để định vị ngườitrên hệ tọa độ thế giới thực, các bước sau được thực hiện:

ˆ Định nghĩa một bản đồ 2D của mặt sàn nơi người di chuyển Bản đồ này chứatất cả các trường quan sát camera

ˆ Tính toán các tọa độ của từng vị trí chân người trên bản đồ 2D dựa trên kỹthuật hiệu chỉnh camera và biến đổi hormography

Các quỹ đạo của từng người qua các camera được liên kết với nhau nhờ nối nhiềutrường quan sát camera dựa trên kỹ thuật hiệu chỉnh stereo

- Định danh lại người: Trong ngữ cảnh của hệ thống giám sát thời gian thực,khi một người xuất hiện lần đầu trong một trường quan sát camera, cần chỉ ra vị trí vàdanh tính tương ứng của người đó Thông tin này sau đó sẽ được cập nhật liên tục ởcác chuỗi khung hình tiếp theo khi người di chuyển trong một trường quan sát camera,hay dịch chuyển từ một trường quan sát này sang trường quan sát khác Việc cập nhậtdanh tính người trong mạng camera được gọi là định danh lại Đóng góp của luận áncho bài toán định danh lại người trong mạng camera được trình bày ở chương 5

3.2 Các cơ sở dữ liệu thử nghiệm

Để đánh giá hiệu quả của các phương pháp đề xuất cho định vị và định danhngười trong hệ thống giám sát nhiều camera, một số cơ sở dữ liệu mới được xây dựngcho một môi trường tòa nhà cụ thể với các ngữ cảnh giám sát thời gian thực được xemxét

Trong nghiên cứu này, chúng tôi đề xuất một phương pháp khử bóng hiệu quả.Phương pháp gồm sơ đồ kết hợp score dựa trên mật độ phân bố xác suất, cùng vớiphương pháp học được áp dụng cho khử bóng Hai kiểu đặc trưng khác nhau trongvùng bóng được trích chọn Đó là đặc trưng chromaticity và đặc trưng vật lý Hai lânlận hay score bóng được tính toán từ các đặc trưng này Một tỷ lệ lân cận là một scorebóng hay không bóng được tính toán Các xác suất của bóng và không bóng được ướclượng dựa trên cơ sở các phân bố xấp xỉ của các score bóng sử dụng GMM

3.3.1 Trích chọn đặc trưng Chromaticity và tính toán score bóng

Sơ đồ này được xây dựng dựa trên sơ đồ kết hợp score trong [17] Coi s = (s1, s2)

là biểu diễn score hai thành phần s1 và s2 được tính toán từ 3.3.1 và 3.3.2 Phép thửtối ưu cho phép gán một vector score s cho lớp shadow hay nonshadow là phép thử

tỷ lệ lân cận fshadow(s)/fnonshadow(s), với fshadow(s) và fnonshadow(s) là các hàm mật độcủa dữ liệu huấn luyện bóng và không bóng Các ước lượng fshadow(s) và fnonshadow(s)

là các hỗn hợp Gauss

Giải thuật 1: Shadow pixel separation

Input: image I and a threshold ζ

Output: shadow pixels SD

Initialize an empty set SD ;

for pixel pi in image I with the estimates of fshadow and fnonshadow do

Calculate fshadow, fnonshadow by Equations 3.3.1 and 3.3.2;

Physics Chromaticity SR Texture Geometry LR Texture Proposed

Detection rate Discrimination rate

Hình 3.3 Các kết quả khử bóng khi áp dụng phương pháp đề xuất và các phương phápkhác trong [20]

3.4 Phát hiện người

Giải thuật 2: Fusion of adaptive GMM and HOG-SVM for human detection

Input: image I

Output: human ROI

Initialize an empty set ROI

ROIext = extend (ROIi);

for ROIj in ROIHOG do

Trong nghiên cứu này, chúng tôi đề xuất sử dụng kết hợp GMM thích nghi [22]

và HOG-SVM [8] cho phát hiện người Việc kết hợp này cho phép phát huy được ưuđiểm tính toán nhanh của GMM và khả năng tách người tốt của HOG-SVM GMMthích nghi phù hợp với các ứng dụng thời gian thực, tuy nhiên trong trường hợp cónhiều người đứng cạnh nhau hay bị che khuất, GMM không thể phát hiện tách biệttừng người Chúng ta có thể khắc phục phần nào hạn chế này của GMM bằng cách ápdụng bộ phát hiện người HOG-SVM Tuy nhiên, thời gian tính toán HOG-SVM nhiềuhơn so với hầu hết các giải pháp trừ nên Việc kết hợp hai kỹ thuật nhằm đạt đồngthời hai mục đích cho phát hiện người là độ chính xác và yêu cầu thời gian thực.Giải thuật 2 thể hiện kết hợp GMM thích nghi với HOG-SVM cho phát hiện người

3.4.2.1 Cở sở dữ liệu và các tiêu chí đánh giá

Để sử dụng bộ phát hiện HOG-SVM hiệu quả trong môi trường thử nghiệm, chúngtôi sử dụng cơ sở dữ liệu MICA1 và INRIA [8] cho huấn luyện bộ mô tả HOG Dữ liệu