Nghiên cứu phương pháp xử lý ảnh trong phát hiện, bám một số chủng loại mục tiêu và áp dụng trong điều khiển vũ khí tự động (tt)

Pha này thực hiện việc dò tìm các vùng ảnh mục tiêu trên các ảnh đầu vào bằng cách sử dụng mô hình toán biểu diễn đối tượng được ác định trong Pha 1.. Dựa vào cách tính toán, đặc trưng

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

Nguyễn Văn Hùng

NGHIÊN CỨU PHƯƠNG PHÁP XỬ LÝ ẢNH

TRONG PHÁT HIỆN, BÁM MỘT SỐ CHỦNG LOẠI MỤC TIÊU

VÀ ÁP DỤNG TRONG ĐIỀU KHIỂN VŨ KHÍ TỰ ĐỘNG

Chuyên ngành: CƠ SỞ TOÁN CHO TIN HỌC

Mã số: 62 46 01 10

TÓM TẮT LUẬN ÁN TIẾN SỸ TOÁN HỌC

Hµ Néi - 2017

Công trình được hoàn thành tại:

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ - BỘ QUỐC PHÒNG

Người hướng dẫn khoa học:

1 PGS TS Nguyễn Văn Xuất

2 TS Nguyễn Chí Thành

Phản biện 1: PGS TSKH Trần Hoài Linh

Đại học Bách khoa Hà Nội

Phản biện 2: PGS TS Lê Thanh Hà

Trường Đại học Công nghệ,

Đại học Quốc gia Hà Nội

Phản biện 3: PGS TS Phạm Trung Dũng

Học viện Kỹ thuật quân sự

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Viện họp tại Viện KH&CNQS

Vào hồi giờ ngày tháng năm 2017

Có thể tìm hiểu luận án tại thư viện:

- Thư viện Viện Khoa học và Công nghệ quân sự

- Thư viện Quốc gia Việt Nam

MỞ ĐẦU Phân hệ tự động trinh sát phát hiện mục tiêu là một thành phần then chốt trong các hệ thống vũ khí công nghệ cao Nó góp phần tăng cường đáng kể hiệu quả hoạt động của các hệ thống vũ khí, và giảm thiểu sự tham gia trực tiếp của con người, đặc biệt trong các môi trường khắc nghiệt Việc nghiên cứu và xây dựng phân hệ trinh sát phát hiện tự động mục tiêu có vai trò quan trọng trong việc nâng cấp, cải tiến các hệ thống vũ khí thế hệ cũ, là cơ sở phát

triển các hệ thống vũ khí thế hệ mới Luận án “Nghiên cứu phương pháp xử

lý ảnh trong phát hiện, bám một số chủng loại mục tiêu và áp dụng trong điều khiển vũ khí tự động” nhằm đáp ứng nhu cầu thực tiễn này của quân đội

ta

 Mục tiêu chính của luận án là nghi n cứu â ựng hệ thống tự động phát hiện và ám các mục tiêu quân sự ( e tăng, e cơ giới…) sử dụng công nghệ xử lý ảnh và các thuật toán nhận dạng, phục vụ cho việc điều khiển vũ khí khí tài, tự động tiêu diệt mục tiêu

 Đối tượng nghiên cứu chính là hệ thống trinh sát phát hiện mục tiêu của các hệ thống vũ khí Các hệ thống vũ khí nà có mục tiêu cần tiêu diệt là các đối tượng quân sự mặt đất như e tăng và các loại e cơ giới

 Phạm vi nghiên cứu của luận án tập trung giải quyết các câu hỏi nghiên cứu như sau:

- Các đối tượng mục ti u của các loại vũ khí là gì? Chúng có đặc trưng gì nổi ật so với các đối tượng nền trong ảnh?

- Làm thế nào để phát hiện và nhận ạng tự động mục ti u trong ảnh ưới các điều kiện tạo ảnh khác nhau?

- Làm thế nào để ám chính ác mục ti u được phát hiện, với thời gian thực?

 Ý nghĩa khoa học của luận án:

- Đề xuất một giải pháp xây dựng hệ thống trinh sát phát hiện mục tiêu cho các hệ thống vũ khí, sử dụng công nghệ xử lý ảnh và các thuật toán nhận dạng thông minh

- Đề xuất một giải pháp mới, phát hiện tự động các mục tiêu quân sự trong chuỗi khung ảnh video

- Đề xuất một giải pháp mới, bám tự động mục tiêu quân sự trong chuỗi khung ảnh video

 Ý nghĩa thực tiễn:

- Kết quả của luận án là cơ sở lý thuyết quan trọng để xây dựng các hệ thống trinh sát phát hiện và bám các mục tiêu quân sự: phục vụ cho nhu cầu cải tiến, nâng cấp các hệ thống vũ khí thế hệ cũ và phát triển các hệ thống vũ khí công nghệ cao

- Luận án cũng là một giải pháp phục vụ cho việc thay thế phân hệ trinh sát phát hiện mục tiêu trong các hệ thống vũ khí công nghệ cao

Chương 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ BÁM MỤC TIÊU TỪ

CHUỖI ẢNH Chương nà trình à tổng quan về phát hiện, bám mục tiêu trong chuỗi ảnh video, hướng tiếp cận giải quyết bài toán phát hiện và bám các mục tiêu quân sự trong chuỗi ảnh video

1.1 Phát hiện mục tiêu từ chuỗi ảnh

1.1.1 Bài toán phát hiện mục tiêu

Bài toán phát hiện mục ti u có đầu vào là các khung ảnh được thu thập từ camera, đầu ra là các vùng ảnh chứa mục tiêu nằm trong các khung ảnh đầu vào Trong hệ thống tự động dò bám theo mục tiêu, phát hiện mục tiêu là bài toán đầu tiên cần phải giải quyết Nó được em như là ước đầu tiên của tiến trình bám theo mục tiêu

Xác định mục tiêu

Xây dựng mô hình toán biểu diễn mục tiêu qua các đặc trưng ảnh

Tập ảnh học Trích chọn đặc

trưng ảnh

Trích chọn đặc trưng ảnh

Ảnh đầu

vào

Mục tiêu trong ảnh

Hình 1.1 Sơ đồ khối các bước thực hiện trong phát hiện mục tiêu

Tr n cơ sở nghiên cứu các phương pháp phát hiện mục tiêu đã được công

bố Để ác định mục tiêu trong các ảnh đầu vào, mỗi phương pháp nà đều gồm hai pha thực hiện như trong Hình 1.1:

Pha 1: Xác định mô hình toán học biểu diễn mục tiêu Pha nà được thực

hiện trên tập ảnh mẫu (tập ảnh học) để xây dựng mô hình toán biểu diễn đối

tượng bằng các đặc trưng ảnh Pha 2: Tìm mục tiêu trong ảnh đầu vào Pha

này thực hiện việc dò tìm các vùng ảnh mục tiêu trên các ảnh đầu vào bằng cách sử dụng mô hình toán biểu diễn đối tượng được ác định trong Pha 1 Phần ưới đâ chúng tôi sẽ trình bày chi tiết về các loại đặc trưng ảnh, các phương pháp phát hiện mục tiêu với các mô hình toán khác nhau

1.1.2 Các đặc trưng ảnh

Phần nà trình à các kiểu đặc trưng ảnh thường được sử ụng để iểu iễn đối tượng trong phát hiện mục ti u tự động Có ba loại đặc trưng chính:

1.1.2.1 Đặc trưng màu sắc:

Đặc trưng màu là một trong những đặc trưng quan trọng để mô tả đặc tính

bề ngoài của mục tiêu Đặc trưng màu của một điểm ảnh P là một vector f = (

f 1 , f 2 ,… ,f n ), trong đó f i là giá trị một thành phần màu i ở vị trí P trong một

không gian màu nhất định hoặc trong nhiều không gian màu khác nhau Đối

với một vùng ảnh R, đặc trưng màu được sử dụng phổ biến để biểu diễn R trong phát hiện mục tiêu là lược đồ màu (Color Histogram)

1.1.2.2 Đặc trưng kết cấu

Đặc trưng kết cấu (Texture) biểu thị mối quan hệ của một nhóm điểm ảnh lân cận nhau (một điểm ảnh với các điểm ảnh lân cận nó), nó phản ánh cấu trúc cục bộ của đối tượng Các đặc trưng kết cấu được sử dụng phổ biến trong

phát hiện mục tiêu gồm: i) đặc trưng gradient; ii) đặc trưng mẫu nhị phân cục

bộ LBP (Local Binary Pattern); iii) đặc trưng Haar-like; iv) đặc trưng phổ tần

số

1.1.2.3 Đặc trưng hình dạng

Hình ạng là một đặc trưng quan trọng của một mục ti u và nó là đặc trưng được sử ụng phổ iến trong các ứng ụng phát hiện và ám mục ti u trong các ảnh vi eo đầu vào Dựa vào cách tính toán, đặc trưng hình ạng được phân

làm hai loại chính: i) đặc trưng hình dạng dựa vào đường bao được trích chọn

ựa vào các điểm ảnh nằm tr n các đường ao đối tượng; ii) đặc trưng hình dạng dựa vào vùng trong đường bao được trích chọn ựa vào thông tin của cả

các điểm ảnh nằm tr n đường ao và n trong đường ao mục ti u

1.1.3 Các giải pháp phát hiện mục tiêu

Một số tác giả phân loại các giải pháp phát hiện mục tiêu dựa vào đặc trưng ảnh [52], [106], trong khi nhiều tác giả khác lại phân loại dựa vào mô hình toán học biểu diễn mục tiêu [87], [107], [108] Trong luận án này, chúng tôi dựa trên cả các đặc trưng ảnh và các mô hình toán để phân loại các giải pháp thành bốn loại như sau:

1.1.3.1 Phát hiện mục tiêu dựa vào phân vùng ảnh

Các giải pháp thuộc nhóm nà ác định các vùng ảnh mục tiêu trong ảnh đầu vào bằng các kỹ thuật phân vùng ảnh Các kỹ thuật phân vùng ảnh khai thác thông tin (màu sắc và kết cấu) ở cấp độ điểm ảnh để phân tách ảnh đầu vào thành các các vùng ảnh chứa các điểm ảnh có các đặc tính giống nhau

Đánh giá: Nhìn chung, các giải pháp dựa vào phân vùng ảnh có độ chính

xác phát hiện mục tiêu cao và có quá trình học các tham số cho mô hình biểu diễn mục ti u đơn giản Tuy nhiên, nó có một số nhược điểm chính như sau:

- Tốc độ tính toán chậm, bởi vì quá trình phân vùng ảnh phải xem xét tất cả các khả năng của mỗi điểm ảnh

- Hiệu quả của việc phát hiện mục tiêu phụ thuộc rất lớn vào kỹ thuật phân vùng ảnh

1.1.3.2 Phát hiện mục tiêu dựa vào chuyển động

Giải quyết bài toán phát hiện mục tiêu bằng cách đi tìm các vùng ảnh chuyển động [52], [106] Có hai cách tiếp cận chính để ác định vùng ảnh

chuyển động: 1) Dựa vào tốc độ và hướng dịch chuyển của mục tiêu (Optical Flow); 2) Dựa vào mô hình nền tham chiếu (Background Model)

Đánh giá:

- Các thuật toán có ưu điểm là chúng thích nghi với sự thay đổi của đối

tượng nền trong cảnh, nhưng độ chính xác thấp khi mục tiêu bị tha đổi bởi các điều kiện chiếu sáng khác nhau hoặc có tốc độ và hướng dịch chuyển thay đổi đột ngột

- Các thuật toán dựa vào mô hình nền có tốc độ tính toán cao và rất hiệu quả trong các trường hợp mà cảnh nền ít bị tha đổi Tuy nhiên, các thuật toán

nà có độ chính xác phát hiện mục tiêu thấp khi mà đối tượng nền trong cảnh tha đổi nhiều

1.1.3.3 Phát hiện mục tiêu dựa vào các bộ phân lớp

Các giải pháp phát hiện mục tiêu theo nhóm này sử dụng các bộ phân lớp học có giám sát để ác định vùng ảnh mục tiêu từ các điểm ảnh nền trong ảnh đầu vào [125], [126], [127], [128], [129], [130] Các bộ phân lớp học có giám

sát được sử dụng rộng rãi trong phát hiện mục tiêu gồm có: i) Mạng nơ ron (Neural Networks); ii) Máy hỗ trợ vector (Support Vectors Machine SVM); iii) Kết hợp đa bộ phân lớp yếu (AdaBoost)

Đánh giá: Giải pháp trên dễ thực hiện và có hiệu quả cao đối với các

trường hợp mà mục ti u có các đặc trưng ảnh khác biệt rõ ràng so với các đối tượng nền Các nhược điểm chính là:

- Nó yêu cầu các tập dữ liệu mẫu của mục ti u và các đối tượng nền dùng cho huấn luyện phải đủ lớn Đâ là điều rất khó thực hiện

- Độ chính xác phát hiện mục tiêu sẽ thấp khi sự khác biệt giữa các đặc trưng ảnh biểu diễn mục ti u và các đặc trưng ảnh biểu diễn các đối tượng nền

là nhỏ

1.1.3.4 Phát hiện mục tiêu dựa vào so khớp mẫu

Trong các giải pháp thuộc nhóm này [131], [132], [133], [134], thuật toán

ác định mục ti u được thực hiện với hai ước chính:

- Bước 1: Xây dựng các bộ đặc tả mục tiêu hoặc các thành phần của mục

ti u như các ộ đặc trưng ảnh mẫu từ tập dữ liệu học

- Bước 2: Ảnh đầu vào được quét bằng một cửa sổ trượt, vùng ảnh trong

cửa sổ trượt được biểu diễn bởi các đặc trưng ảnh và so sánh với các bộ mẫu đặc trưng của mục tiêu bằng phép đo Nếu giá trị của phép đo lớn thì vùng ảnh

đó là mục ti u, ngược lại nó là đối tượng nền

Đánh giá: Các giải pháp trên được sử dụng khá phổ biến bởi chúng có độ

chính xác cao Hiệu quả của các giải pháp này phụ thuộc chủ yếu vào bộ đặc trưng mẫu biểu diễn mục ti u Nhược điểm lớn nhất của các giải pháp này là chúng có tốc độ tính toán chậm, đặc biệt trong trường hợp kích thước và số lượng của các bộ đặc tả mục tiêu lớn

1.2 Bám mục tiêu từ chuỗi ảnh

1.2.1 Bài toán bám mục tiêu

Bám mục tiêu là một ài toán ác định qũy đạo chuyển động của một hoặc nhiều mục tiêu theo thời gian, được thực hiện bằng việc ác định các vị trí mục tiêu trong mỗi khung ảnh [52] Các đặc điểm chính của bài toán bám mục

tiêu là: - Đầu vào: các chuỗi ảnh theo thời gian; thông tin về mục tiêu; thông tin về đối tượng nền - Đầu ra: vị trí của mục tiêu thuộc quỹ đạo chuyển động

trong ảnh đầu vào

1.2.2 Các giải pháp bám mục tiêu

Dựa vào đặc trưng sử dụng để biểu diễn mục tiêu và mô hình biểu diễn quỹ đạo chuyển động của mục tiêu [52], các giải pháp bám mục ti u được phân thành ba dạng chính như sau:

1.2.2.1 Bám mục tiêu theo điểm

Các giải pháp ám theo điểm biểu diễn mục tiêu cần tìm trong ảnh như một điểm (điểm tâm của mục tiêu) hoặc một tập điểm (sử dụng các điểm đặc biệt

tr n đường bao mục tiêu) Có nhiều thuật toán ám theo điểm khác nhau và

lớp thuật toán nà được chia thành 2 nhóm: các thuật toán tất định (Deterministic Algorithms) và các thuật toán thống kê xác suất (Statistical

Algorithms)

Đánh giá: Ưu điểm của các thuật toán bám theo điểm là có tốc độ tính toán

nhanh, phù hợp với các ứng dụng mà tốc độ và quỹ đạo dịch chuyển của mục

ti u tha đổi chậm theo thời gian Tuy nhiên, các thuật toán nà có độ chính xác không cao khi mục ti u tha đổi liên tục về tốc độ và quỹ đạo dịch chuyển Mặt khác việc sử dụng thông tin ở một số điểm ảnh để ác định mục tiêu sẽ dễ

bị nhạy cảm với nhiễu nền

1.2.2.2 Các giải pháp bám theo đặc trưng bề mặt

Các giải pháp thuộc lớp này xấp xỉ vùng ảnh mục ti u như một vùng ảnh hình chữ nhật hoặc hình ellip và sử dụng các đặc trưng ề ngoài (đặc trưng màu sắc và kết cấu) để biểu diễn mục tiêu Hầu hết các giải pháp bám truyền thống sử dụng các thông tin mức ám để biểu diễn mục tiêu và sử dụng kỹ thuật đối sánh tương quan chéo để ác định mục tiêu Thay vì chỉ sử dụng các giá trị mức xám, các giải pháp bám mục tiêu gần đâ đã kết hợp nhiều đặc trưng ề mặt khác nhau

Đánh giá: Các giải pháp bám dựa vào đặc trưng ề mặt giải quyết bài toán

ám như ài toán phát hiện mục tiêu dựa vào đặc tính chuyển động, do vậy mà

nó thích nghi được với sự thay về đổi tốc độ và hướng dịch chuyển của mục

ti u Tu nhi n, độ chính xác và tốc độ tính toán của các giải pháp này phụ thuộc lớn vào việc lựa chọn các đặc trưng ảnh biểu diễn mục tiêu Nếu chỉ sử dụng đặc trưng màu hoặc mức ám thì độ chính xác bám mục tiêu sẽ thấp khi các điều kiện ánh sáng tha đổi trong cảnh Nếu sử dụng đặc trưng quá phức tạp, thì thời gian tính toán sẽ chậm

1.2.2.3 Các giải pháp bám theo hình dạng

Lớp giải pháp này có thể được chia thành hai nhóm chính

- Nhóm thứ nhất sử dụng một bộ đặc tả hình dạng để biểu diễn mục tiêu

như các mẫu trong các khung ảnh đầu tiên dựa trên các mục tiêu được phát hiện và sau đó áp ụng kỹ thuật so khớp mẫu để bám mục tiêu trong các khung ảnh tiếp theo

- Nhóm thứ hai biểu diễn sự dịch chuyển trong không gian của các đường

bao mục tiêu giữa các khung ảnh liên tiếp nhau bằng một mô hình không gian trạng thái

Đánh giá: Các giải pháp bám mục tiêu dựa vào đặc trưng hình ạng có độ

chính ác cao Tu nhi n, các phương pháp nà có độ phức tạp cao và tốc độ tính toán chậm

1.3 Đặc điểm của bài toán phát hiện và bám mục tiêu quân sự

Việc phát hiện và bám các mục tiêu quân sự so với các đối tượng mục tiêu dân sự có những đặc điểm nổi bật như sau:

- Thứ nhất, các mục tiêu quân sự thường được ngụ trang để màu sắc tương

đối giống với các đối tượng nền như các vùng cỏ và cây, do vậy rất khó phân tách các mục tiêu quân sự từ các đối tượng nền trong ảnh

- Thứ hai, việc phát hiện và bám các mục tiêu quân sự thường phải thực

hiện ở một khoảng cách a hàng trăm mét đến hàng cây số, cho nên các ảnh thu thập thường chứa nhiều đối tượng nền, nhiễu trong ảnh

- Thứ ba, hệ thống phát hiện và bám mục tiêu quân sự phải có tốc độ tính

toán thời gian thực và có độ chính xác cao

Các đặc điểm tr n cũng chính là u cầu cần phải giải quyết trong bài toán phát hiện và bám mục tiêu trong luận án này

1.4 Hướng tiếp cận của luận án

1.4.1 Sơ đồ khối của hệ thống phát hiện và bám các mục tiêu quân sự

Hệ thống phát hiện và bám các mục tiêu quân sự được thiết kế bao gồm ba thành phần chính như trong sơ đồ khối như sau:

Hình 1.5 Sơ đồ khối của hệ thống phát hiện và bám mục tiêu quân sự

1- Khối thu nhận ảnh: khối này là các camera chuyên dụng có khả năng

chụp được các cảnh ở xa với chất lượng ảnh tốt

2- Khối phát hiện mục tiêu: từ chuỗi ảnh vi eo được thu thập từ khối thu

nhận ảnh, khối này có nhiệm vụ nhận diện sự xuất hiện của các mục tiêu quân

Chuỗi ảnh video Phát hiện mục tiêu Bám mục tiêu

Vị trí mục tiêu trong mỗi ảnh

sự (người, e tăng và e cơ giới quân sự) trong cảnh Đầu ra của khối này là

đầu vào cho ước khởi tạo an đầu của khối bám mục tiêu

3- Khối bám đối tượng: khi đầu ra của khối phát hiện mục tiêu chỉ ra rằng

có sự uất hiện các mục quân sự trong cảnh Trong các chuỗi ảnh vi eo tiếp

theo, hệ thống sẽ chu ển sang ám mục ti u và khối phát hiện mục tiêu sẽ

ừng hoạt động

1.4.2 Đinh hướng nhiệm vụ của luận án

Do vậy, các giải pháp phát hiện và bám mục tiêu trong ảnh được đề xuất trong luận án này phải giải quyết được các khó khăn trong mục 1.3 Các nhiệm

vụ chính của luận án được ác định là:

Nhiệm vụ 1: Nghiên cứu và xây dựng một giải pháp phát hiện mục tiêu

quân sự có hiệu quả và tốc độ tính toán nhanh từ chuỗi ảnh vi eo được thu thập từ xa

Nhiệm vụ 2: Từ vùng ảnh mục tiêu được ác định trong các chuỗi ảnh đầu

tiên, nghiên cứu và xây dựng một giải pháp bám mục tiêu quân sự có tốc độ tính toán và độ chính xác cao trong các chuỗi ảnh video tiếp theo

1.4.3 Hướng giải quyết bài toán phát hiện và bám mục tiêu quân sự

Như đã trình à trong mục 1.1 và 1.2 sẽ không đáp ứng được yêu cầu của bài toán phát hiện và bám mục tiêu quân sự Tr n cơ sở nghiên cứu, phân tích các ưu điểm của giải pháp đã có và các đặc trưng mục tiêu quân sự, chúng tôi

ác định hướng giải quyết bài toán phát hiện và bám các mục tiêu quân sự trong chuỗi ảnh vi eo đầu vào như sau:

- Thứ nhất là thu hẹp không gian tìm kiếm mục tiêu trong ảnh đầu vào sử

dụng các đặc trưng ảnh và các đặc tính chuyển động của mục tiêu

- Thứ hai là lựa chọn đặc trưng ảnh phản ánh được các đặc tính riêng biệt

của mục tiêu so với các đối tượng nền Trong luận án này, chúng tôi sử dụng

kết hợp các loại đặc trưng ảnh khác nhau để biểu diễn mục tiêu gồm: 1) Đặc trưng màu, 2) Đặc trưng hướng cạnh và 3) Đặc trưng đặc tả hình dạng Sự kết

hợp các loại đặc trưng nà sẽ phản ánh được cả các đặc điểm cục bộ và toàn cục của mục tiêu

- Thứ ba là lựa chọn mô hình toán biểu diễn các đặc trưng ảnh có tốc độ

tính toán nhanh và độ chính xác cao Các mô hình toán biểu diễn đặc trưng ảnh được tập trung nghiên cứu là các mô hình xác suất, các phép đo toán học trong

so khớp mẫu và các mô hình phân lớp được sử dụng trong các thuật toán nhận dạng

- Thứ tư là thu thập các tập dữ liệu đủ lớn chứa các cảnh môi trường khác

nhau, ưới các điều kiện tạo ảnh khác nhau để: 1) Xây dựng các tập mẫu dữ liệu mục tiêu phục vụ cho việc học; 2) Đánh giá, phân tích hiệu quả của các

thuật toán phát hiện và bám mục tiêu

Chương 2: PHÁT HIỆN MỤC TIÊU TRONG ẢNH VIDEO SỬ DỤNG CÁC

ĐẶC TRƯNG CHUYỂN ĐỘNG, MÀU SẮC VÀ HÌNH DẠNG

2.1 Đặt vấn đề phát hiện mục tiêu

Chương nà trình à một giải pháp mới để phát hiện các mục tiêu quân sự

từ chuỗi ảnh video Giải pháp đề xuất để phát hiện mục tiêu trong các ảnh đầu vào bằng hai ước chính:

- Bước 1: Trích chọn các vùng ảnh có khả năng chứa các điểm ảnh mục

tiêu, các vùng ảnh nà được gọi là các vùng quan tâm, kí hiệu là ROI Các ROI được ác định dựa tr n đặc trưng chu ển động

- Bước 2: Xác định mục ti u tr n các ROI Để tìm mục tiêu trên các ROI,

chúng tôi sử dụng kết hợp đặc trưng màu và đặc trưng hình dạng để biểu diễn các vùng ảnh trong một mô hình toán học Mô hình toán học đo sự giống nhau giữa các đặc trưng ảnh của các vùng ảnh so sánh với các đặc trưng mẫu của mục ti u được ác định trong tập học

Giải pháp đề xuất được đánh giá tr n các tập dữ liệu lớn của các loại mục tiêu quân sự khác nhau như e tăng và các loại e cơ giới Ngoài ra, giải pháp

đề xuất cũng được được đánh giá thông qua kết quả thực nghiệm trong so sánh với các giải pháp phát hiện mục tiêu khác

2.2 Giải pháp đề xuất phát hiện mục tiêu quân sự

Giải pháp đề xuất phát hiện các mục tiêu quân sự bao gồm 02 ước chính:

Trích chọn ROI và Xác định mục tiêu như trong sơ đồ khối Hình 2.1

Hình 2.1 Sơ đồ khối của giải pháp phát hiện mục tiêu quân sự

2.2.1 Trích chọn ROI

Trích chọn ROI được thực hiện bằng việc đi tìm các vùng ảnh chuyển động của mục tiêu Gọi Fi và Fj là hai khung ảnh trong chuỗi ảnh video thu nhận được từ camera, các chỉ số i và j thỏa mãn j > i Sự khác nhau D(x,y) ở mỗi vị

trí điểm ảnh (x,y) giữa hai khung ảnh được tính như sau:

( ) √( ( ) ( ) ( )) (2.1)

Chuỗi ảnh

đầu vào Trích chọn ROI Xác định mục tiêu

Vùng ảnh mục tiêu

( ) { ( ) ( ) (2.3)

Hình 2.2 Ví dụ minh họa bước trích chọn ROI

Trong (2.3), là giá trị ngưỡng được chọn qua thực nghiệm ( ) Cuối cùng, các thao tác nhị phân Morpholog được áp dụng trên ảnh mặt

nạ M(x,y) để nối các điểm ảnh sáng liền kề nhau thành các vùng ROI, các vùng

có diện tích quá nhỏ so với kích thước ảnh được lọc bỏ Hình 2.2 (b) minh họa kết quả trích chọn ROI từ hai khung ảnh đầu vào trong Hình 2.2 (a)

2.2.2 Xác định đối tượng từ các vùng đồng mầu

2.2.2.1 Phương pháp xác định mục tiêu

Gọi R = {R 1 , R 2 , , R N } là tập hợp các ROI được trích trọn trong Mục 2.2.1 Quá trình ác định mục tiêu được thực hiện lần lượt trên mỗi R j Đối với mỗi

vùng quan tâm (ROI) R i , một vùng ảnh hình chữ nhật W được ác định từ F i+k

với điểm tâm trùng với điểm tâm của R j (xem Hình 2.3) Vùng ảnh W sau đó

được phân mảnh thành các vùng đồng nhất về màu sắc S = {S ,S , , S } Từ

Mặt nạ chuyển động Các vùng quan tâm (ROI)

(a) hai khung ảnh vi eo đầu vào

(b) mặt nạ chuyển động và các vùng quan tâm

ROI

tập các vùng S, mục ti u được ác định như là vùng ảnh Z S, Z là tập các

vùng đồng màu {S k , S g, } kết nối với nhau thành một vùng ảnh lớn, thỏa mãn

02 điều kiện trong (2.4) và (2.5):

( ) (2.4)

( ) (2.5)

Trong công thức (2.4) và (2.5), theo công thức (2.17) ( ) là hàm đo sự

giống nhau giữa một vùng ảnh X với lớp mục tiêu O, là một giá trị ngưỡng

Thuật toán tổng quát ác định mục tiêu được viết ưới dạng giả mã như sau:

Thuật toán 1: Xác định mục tiêu

lớn nhất về đặc trưng ảnh so với mục tiêu (thỏa mãn điều kiện trong (2.4))

4 Nếu vùng Z là mục tiêu, thỏa mãn điều kiện trong (2.5)

(c) Kết quả các bước trong mỗi vòng lặp của Thuật toán 1

(d) Mặt nạ mục tiêu và mục tiêu tìm được trên ảnh đầu vào

Hình 2.3 Kết quả các bước thực hiện trong Thuật toán 1

2.2.2.2 Thuật toán phân vùng ảnh

Chúng tôi sử dụng thuật toán dựa vào lý thuyết đồ thị được đề xuất trong [68] để phân mảnh ảnh đầu vào thành các vùng đồng nhất về màu sắc Thuật