Ứng dụng mạng neuron nhận dạng đối tựợng trong chuỗi ảnh động

TÓM TẮT Các nội dung được thực hiện trong đề tài này bao gồm: • Nghiên cứu các phương pháp phân tích và nhận dạng ảnh như: việc phân đoạn ảnh, các phép biến đổi hình học, việc mô tả đối

-

HOÀNG MẠNH HÀ

ỨNG DỤNG MẠNG NEURON NHẬN DẠNG ĐỐI TƯỢNG TRONG CHUỖI ẢNH ĐỘNG

CHUYÊN NGÀNH : KỸ THUẬT VÔ TUYẾN VÀ ĐIỆN TỬ MÃ SỐ NGÀNH : 2.07.01

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, Tháng 8 Năm 2004

-

HOÀNG MẠNH HÀ

ỨNG DỤNG MẠNG NEURON NHẬN DẠNG ĐỐI TƯỢNG TRONG CHUỖI ẢNH ĐỘNG

CHUYÊN NGÀNH : KỸ THUẬT VÔ TUYẾN VÀ ĐIỆN TỬ MÃ SỐ NGÀNH : 2.07.01

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, Tháng 8 Năm 2004

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học : PGS.TS Vũ Đình Thành

Cán bộ chấm nhận xét 1 : TS Hoàng Minh Trí

Cán bộ chấm nhận xét 2 : TS Hoàng Đình Chiến

Luận văn thạc sĩ được bảo vệ tại :

HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ

TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày 16 tháng 8 năm 2004

⎯⎯⎯⎯⎯⎯⎯⎯ ⎯⎯⎯⎯⎯⎯⎯⎯

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ và tên học viên : Hoàng Mạnh Hà Phái : Nam

Ngày, tháng, năm sinh : 27-7-1977 Nơi sinh : Ninh Bình Chuyên ngành : Kỹ thuật vô tuyến & điện tử Mã số : 2.07.01

I- TÊN ĐỀ TÀI : Ứng Dụng Mạng Neuron Nhận Dạng Đối Tượng

Trong Chuỗi Ảnh Động

II- NHIỆM VỤ VÀ NỘI DUNG:

• Nghiên cứu các phương pháp phân tích và nhận dạng ảnh: phân đoạn ảnh, các phép biến đổi hình học, việc mô tả đối tượng ảnh, lý thuyết về việc nhận dạng, lý thuyết về mạng neuron nhân tạo

• Triển khai thực hiện chương trình ứng dụng mạng neuron nhân tạo vào việc nhận dạng đối tượng trong chuỗi ảnh động

III- NGÀY GIAO NHIỆM VỤ:

IV- NGÀY HOÀN THÀNH NHIỆM VỤ:

V- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: PGS.TS Vũ Đình Thành

CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM NGÀNH BỘ MÔN QUẢN LÝ NGÀNH

Nội dung và đề cương luận văn thạc sĩ đã được Hội Đồng Chuyên Ngành thông qua

Ngày tháng năm 2004

LỜI CẢM ƠN

Tôi chân thành gửi lời cảm ơn đến các thầy, cô trường đại học Bách Khoa TP Hồ Chí Minh nhiều năm qua đã tận tình truyền đạt cho chúng tôi những kiến thức quý báu cũng như các kinh nghiệm hết sức thiết thực để vận dụng trong cuộc sống, công việc cũng như trong việc nghiên cứu khoa học Đặc biệt,

hướng dẫn, khích lệ, động viên tôi trong suốt quá trình thực hiện luận văn tốt nghiệp này Tôi cũng xin cảm ơn các ý kiến

TÓM TẮT

Các nội dung được thực hiện trong đề tài này bao gồm:

• Nghiên cứu các phương pháp phân tích và nhận dạng ảnh như: việc phân đoạn ảnh, các phép biến đổi hình học, việc mô tả đối tượng ảnh, lý thuyết về việc nhận dạng, lý thuyết về mạng neuron nhân tạo

• Triển khai thực hiện chương trình ứng dụng mạng neuron nhân tạo vào việc nhận dạng đối tượng trong chuỗi ảnh động

Quá trình hoạt động của hệ thống được tóm tắt như sau: Chuỗi ảnh với các đối tượng chuyển động được đưa vào hệ thống Từ chuỗi ảnh đó, hệ thống tìm lại được ảnh nền (background) Từ ảnh nền tìm được này, hệ thống thực hiện việc phân đoạn để lấy được đối tượng ảnh cần quan tâm Sau khi thực hiện một số các phép biến đổi hình học, chuẩn hoá, Các đặc tính của đối tượng ảnh được trích ra đưa vào mạng neuron đã được huấn luyện trước để nhận dạng và cho kết quả cuối cùng Thêm nữa, hệ thống còn được huấn luyện tăng cường khi gặp những mẫu có sự thay đổi so với những mẫu được huấn luyện trước

Abstract

The content of this thesis include of:

• Research on image analytics methods and image recognition: image segmentation, morphology, image object description, theory of recognition and neural network

• Perform a application program: use neuron network to recognize object from moving image sequence

Performance process of recognition system:

At first, background is found out from moving image sequence Next, the system extracts image objects in each image by segmentation Then, morphology of the image object is corrected Then, position, size and orientation of the object are normalized Then shape and color characteristic are extracted They are the input data of the trained neural network to recognize The neural network is reinforcedly trained if the system finds the object has modified shape

trang

Mở Đầu 3

Chương 1 PHÂN ĐOẠN ẢNH VÀ CÁC PHÉP BIẾN ĐỔI HÌNH HỌC 6

1.1 PHÂN ĐOẠN ẢNH 6

1.1.1 Phân Đoạn Dựa Trên Đường Biên 7

Phương pháp watershed 8

1.1.2 Phân Đoạn Dựa Trên Miền 9

Mở Rộng miền 9

Hợp nhất miền 9

Phân chia miền 9

1.1.3 Phân Đoạn Dựa Trên Ngưỡng 10

1.1.4 Phân Đoạn Dựa Vào Chuyển Động 14

1.2 CÁC PHƯƠNG PHÁP XỬ LÝ HÌNH HỌC 18

1.2.1 Phép Nở Rộng Và Co Hẹp 19

1.2.2 Phép Mở Và Đóng 20

Chương 2 MÔ TẢ ĐỐI TƯỢNG ẢNH VÀ NHẬN DẠNG 22

2.1 MÔ TẢ ĐỐI TƯỢNG ẢNH 22

2.1.1 Mô Tả Đường Nét 22

Signature 22

Mô tả bằng chuỗi Fourier 23

Mã chuỗi xích (chain code) 25

2.1.2 Mô Tả Miền 27

Texture 27

Moment 28

2.2 NHẬN DẠNG 29

2.2.1 Mẫu-Lớp Mẫu 30

2.2.2 Phân Lớp 31

2.2.2.1 Phân lớp dựa vào khoảng cách nhỏ nhất 32

2.2.2.2 Phân lớp theo phương pháp tìm kiếm khối 33

2.2.2.3 Phân lớp dựa vào công cụ xác suất thống kê 33

2.2.2.4 Phân lớp sử dụng mạng neuron 36

2.2.3 Nhận Dạng Theo Cấu Trúc 36

Phương pháp sử dụng các mẫu tượng trưng 36

Phương pháp phân tích cú pháp 37

3.1 GIỚI THIỆU 38

3.1.1 Bộ Não Con Người Và Neuron Sinh Học 39

3.1.2 So Sánh Khả Năng Làm Việc Của Bộ Não Người Và Máy Tính 41

3.2 MẠNG NEURON NHÂN TẠO 43

3.2.1 Mô Hình Neuron Nhân Tạo 43

3.2.2 Mạng Neuron Nhân Tạo 45

3.2.2.1 Mạng Perceptron 49

3.2.2.2 Mạng Lan truyền 50

3.2.2.3 Mạng Kohonen 53

3.2.2.4 Mạng Hopfield 56

3.2.3 Một Số Vấn Đề Liên Quan Đến Mạng Neuron Nhân Tạo 57

• Khả năng tính toán và biểu diễn dữ liệu của mạng neuron 57

• Việc xác định cấu trúc mạng tối ưu 57

• Số lượng mẫu huấn luyện mạng 57

• Quá khớp 58

Chương 4 THỰC HIỆN CHƯƠNG TRÌNH 59

4.1 Tìm Ảnh Nền 61

4.2 Phân Đoạn 63

4.3 Xử Lý Hình Học 65

4.4 Chuẩn Hoá 67

4.5 Trích Đặc Tính Màu Sắc 69

4.6 Trích Đặc Tính Hình Dạng 72

4.7 Mạng Neuron 76

• Cấu trúc mạng neuron 77

• Huấn luyện mạng neuron 77

4.8 Quyết Định Kết Quả, Thống Kê Số Lượng Đối Tượng Và Quyết Định Huấn Luyện Tăng Cường Cho Mạng Neuron 83

4.9 Sử Dụng Thêm Một Đặc Tính Khác Để Tăng Số Lớp Mẫu 84

Chương 5 KẾT QUẢ VÀ NHẬN XÉT 88

5.1 KẾT QUẢ VÀ NHẬN XÉT 88

5.1.1 Chương Trình Nhận Dạng Sử Dụng Đặc Tính Signature Và Đặc Tính Màu Sắc 88

5.1.2 Sử Dụng Ma Trận Đặc Tính Trong Chương Trình Nhận Dạng 95

5.2 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 100

MỞ ĐẦU

Ngày nay, nhằm mục đích giải phóng con người, các nhà khoa học đang cố gắng tạo ra những cỗ máy có được những khả năng bình thường nhất của con người như: khả năng đi trên hai chân, khả năng “nghe”, khả năng “nhìn”,… Nói như thế có nghĩa là cho dù ngày nay những siêu máy tính có thể thực hiện được hàng tỉ phép tính trong mỗi giây, nhưng để cho những cỗ máy này có được những khả năng giống như những khả năng của con người thì các nhà khoa học cần phải có một khoảng thời gian (có thể là khá dài) Một trong những yếu tố chính làm cho con người có những khả năng như thế chính là nhờ vào cơ chế xử lý song song của mạng neuron thần kinh Thấy được tính ưu việt này, nhiều mô hình mô phỏng cơ chế hoạt động của mạng neuron thần kinh đã được đề xuất và chúng đã có nhiều ứng dụng vớiù kết quả rất khả quan Các mô hình mô phỏng theo mạng neuron thần kinh hay còn gọi là mạng neuron nhân tạo có rất nhiều ứng dụng Một trong những ứng dụng cho kết quả rất tốt đó là ứng dụng mạng neuron nhân tạo vào việc nhận dạng

Tổng quát có thể nói rằng, nhận dạng chính là quá trình “hiểu” các thông tin mà các sự vật hiện tượng trong môi trường cung cấp đến các “giác quan” Tuy nhiên, để có thể “hiểu” được các thông tin mà môi trường cung cấp, chủ thể của quá trình nhận dạng cần phải có một cơ sở “tri thức” nhất định, hay nói cách khác nó phải được huấn luyện trước với các “mẫu” thông tin của các sự vật hiện tượng đó Từ đó, nó mới đánh giá được mức độ tương đồng giữa thông tin nhận được từ môi trường với những thông tin được huấn luyện trước đó để có thể “nhận ra” được thông tin đó là gì, và hơn

nữa nó có thể sẽ “học” thông tin đó nếu thông tin đó là thông tin mới để từ đó làm giàu thêm cơ sở “tri thức” của nó

Hiện nay, nhiều lĩnh vực đòi hỏi việc tự động hoá để giải phóng con người khỏi các việc nguy hiểm, độc hại cũng như những công việc có tính lặp đi lặp lại nhàm chán Đồng thời việc tự động hóa cũng giúp cho quá trình xử lý công việc nhanh chóng, chính xác và mang tính khách quan hơn Công cuộc tự động hoá đòi hỏi sự phát triển của nhiều lĩnh vực khoa học và một mảng rất quan trọng đó là vấn đề tự động nhận dạng Kết quả của quá trình nhận dạng là

cơ sở cho việc ra quyết định của các khâu tiếp theo trong hệ thống tự động Một trong những khía cạnh của việc nhận dạng đang được nhiều nhà khoa học nghiên cứu và có liên quan đến nhiều lĩnh vực đó là vấn đề nhận dạng ảnh Phần dưới đây trình bày một số ứng dụng của việc nhận dạng ảnh trong một số lĩnh vực:

• Tự động hoá sản xuất: robot tự động, tự động đánh giá chất lượng sản phẩm…

• Nông nghiệp: tự động hoá việc chọn lọc giống

• Y sinh học: tự động hoá việc xác định, theo dõi và thống kê lượng tế bào, vi khuẩàn…

• Quân sự: tự động hoá việc phát hiện và tiêu diệt mục tiêu…

• An ninh: các hệ thống tự động giám sát an ninh, các hệ thống bảo mật thông tin tự động…

• Giao thông: hệ thống tự động nhận biết các vi phạm giao thông, tự động điều khiển phương tiện giao thông…

Một hệ thống tự động phân tích và nhận dạng ảnh cần phải thực hiện các công đoạn: thu thập ảnh, xử lý nâng cao chất lượng ảnh, phân đoạn tách các đối tượng ảnh, mô tả đối tượng ảnh bằng các

đặc tính, và cuối cùng là việc nhận dạng đối tượng ảnh Mỗi công đoạn có một vai trò nhất định, nhưng các công đoạn có tính quyết định đến thành công của hệ thống phân tích ảnh đó là: công đoạn phân đoạn tách các đối tượng ảnh; mô tả đối tượng ảnh bằng các đặc tính; và nhận dạng đối tượng ảnh Ba tiêu chí thường được dùng để đánh giá năng lực của một hệ thống tự động phân tích và nhận dạng ảnh là: (1) khả năng tách biệt đối tượng ảnh cần quan tâm; (2) khả năng học và xây dựng cơ sở tri thức từ những mẫu, áp dụng cơ sở tri thức này vào những hoàn cảnh mới; (3) khả năng suy luậân từ những thông tin không đầy đủ Một hệ thống tự động phân tích ảnh được xem là “tinh tế” khi quá trình phân đoạn tách đối tượng ảnh phải có độ chính xác cao, các đặc tính mô tả đối tượng ảnh phải thể hiện chính xác và đầy đủ về đối tượng ảnh, quá trình nhận dạng phải chính xác và mang tính “thông minh”, và hệ thống cần phải có cơ chế học tăng cường khi cơ sở tri thức hiện có chưa hoàn thiện

Nhiệm vụ của đề tài này là nghiên cứu, triển khai thực hiện một chương trình ứng dụng mạng neuron vào việc nhận dạng đối tượng trong chuỗi ảnh động, ứng dụng trong việc xác định và theo dõi đối tượng chuyển động Phần đầu của luận văn trình bày phần lý thuyết và các nghiên cứu liên quan đến việc phân tích và nhận dạng ảnh, bao gồm: việc phân đoạn ảnh, các phép biến đổi hình học, việc mô tả đối tượng ảnh, lý thuyết nhận dạng, lý thuyết về mạng neuron nhân tạo Phần tiếp theo trình bày việc triển khai thực hiện chương trình ứng dụng mạng neuron nhân tạo vào việc nhận dạng đối tượng trong chuỗi ảnh động Và phần cuối của luận văn trình bày những kết quả thu được, những giới hạn cũng như hướng khắùc phục, phát triển của đề tài

Chương 1 PHÂN ĐOẠN ẢNH VÀ CÁC PHÉP BIẾN ĐỔI HÌNH HỌC

1.1 PHÂN ĐOẠN ẢNH

Bước đầu tiên trong quá trình phân tích ảnh là việc phân đoạn ảnh Việc phân đoạn ảnh nhằm tách biệt các thành phần cấu thành bức ảnh hoặc tách các đối tượng cần quan tâm ra khỏi bức ảnh Đây là một trong những công việc khó nhất trong việc xử lý ảnh và nó có vai trò rất lớn đến sự thành công của việc phân tích ảnh

Việc phân đoạn ảnh tĩnh cơ bản dựa vào một trong hai đặc tính của các miền đó là sự không liên tục hoặc sự tương đồng Loại thứ nhất dựa trên sự không liên tục của các miền hay nói cách khác là dựa trên sự thay đổi đột ngột về đặc tính của miền, từ đó biên của các miền được thiết lập, và dựa vào biên giữa các miền từng miền sẽ được phân tách Loại thứ hai cơ bản dựa vào tính tương đồng hoặc không tương đồng về một đặc tính nào đó của các miền để thực hiện việc mở rộng miền, hợp nhất hoặc phân chia miền Ngoài ra, còn có một kỹ thuật phân đoạn khác được sử dụng khá phổ biến đó là kỹ thuật phân đoạn dựa vào giá trị mức xám (hay còn được gọi là phân đoạn dựa vào ngưỡng)

Đối với ảnh động, đặc tính chuyển động của đối tượng được sử dụng rất hiệu quả cho việc phân đoạn

Một số phương pháp phân đoạn ảnh sẽ được trình bày trong phần dưới đây

1.1.1 Phân Đoạn Dựa Trên Đường Biên [4],[36]

Một phương pháp phân đoạn điển hình dựa vào biên bao gồm các bước: Trước tiên, biên của các miền được tìm, chẳng hạn như bằng cách chập ảnh với mặt nạ tìm biên (prewitt, sobel, ) rồi lấy ngưỡng Sau đó, các đường biên này được xử lý để loại bỏ các các đường biên không mong muốn cũng như nối liền các đoạn biên bị đứt Một số các phương pháp chẳng hạn như phép biến đổi Hough, tìm lân cận… được sử dụng để nối liền các đoạn biên bị đứt Cuối cùng, các miền trong đường biên được lấp đầy để có được các miền được phân tách

(c)

Hình 1.1 minh họa việc phân đoạn dựa trên biên

(a): ảnh gốc (b): ảnh sau khi tách biên (c): ảnh với đối tượng cần quan tâm đã được lấp đầy

Ngoài ra, còn có các phương pháp phân đoạn ảnh dựa trên biên khác được áp dụng như: phương pháp Watershed, phương pháp Sneke,…

• Phương pháp Watershed

Watershed hiểu một cách đơn giản như sau: biên của các đối tượng có thể xem như là những đập ngăn nước và nước được chứa trong những vùng trũng với mực nước dâng cao dần đến mức cao nhất có thể từ đó hình thành các miền, tương ứng với các “hồ chứa nước” Thường thì cần phải có thêm khâu tiền xử lý và hậu xử lý cho việc phân đoạn watershed Quá trình tiền xử lý thường là những thủ tục nối biên để có được các đường biên kín Còn quá trình hậu xử lý phải loại bỏ các đường biên thừa, do nhược điểm của phương pháp này là nó thường phân quá nhiều đoạn (oversegmentation) so với số đối tượng trong ảnh Một trong những phương pháp thường được sử dụng để loại các biên dư thừa là phương pháp hợp nhất các miền tương đồng Một đặc điểm của phương pháp watershed là không làm xuất hiện những lỗ trong mỗi đoạn

(b) (a)

(a): ảnh gốc (b): những đập ngăn nước và thung lũng tương ứng

(c): kết quả việc phân đoạn

(c) Hình 1.2 minh họa phương pháp phân đoạn watershed

1.1.2 Phân Đoạn Dựa Trên Miền [4],[9],[36]

Theo phương pháp phân đoạn này, sự tương đồng hoặc không tương đồng của một số đặc tính nào đó của các miền kề nhau hay các pixel kề nhau được sử dụng cho việc mở rộng miền, hợp nhất hoặc phân chia miền

• Mở rộng miền: theo phương pháp này, từ các pixel ban đầu

(miền hạt nhân) trong một miền cần xem xét, các pixel lân cận với miền hạt nhân này sẽ được hợp nhất với miền hạt nhân này nếu chúng có sự tương đồng với miền hạt nhân Cứ như thế miền sẽ được mở rộng cho đến khi không còn các pixel lân cận nào tương đồng với miền hạt nhân

Hình 1.3 minh họa việc phân đoạn theo phương pháp mở rộng miền

(a): ảnh gốc (b): ảnh sau khi phân đoạn

• Hợp nhất miền: theo phương pháp này, hai miền kề nhau sẽ

được hợp nhất khi chúng thỏa một trong hai điều kiện: đặc tính hai miền kề nhau là tương đồng, hoặc đường biên giới giữa chúng không rõ ràng (quá mờ nhạt, nhiều đoạn đứt,…)

• Phân chia miền: phương pháp này ngược lại với phương pháp

hợp nhất miền, tức là một miền sẽ được chia thành các miền khác nhau khi chúng có đặc tính không tương đồng với nhau Một phương pháp khá phổ biến hiện nay thường được dùng là phân

tích quadtree Với phương pháp này một miền sẽ được chia làm 4 nếu có sự khác biệt về mức xám trong 4 miền con này, và các miền con tiếp tục được chia làm 4 nếu vẫn có sự không tương đồng về mức xám… và cứ như thế cho đến khi các miền con có sự tương đồng thì dừng lại

Hình 1.4 minh họa việc phân tích quadtree

1.1.3 Phân Đoạn Dựa Trên Ngưỡng [4],[9]

Phương pháp phân đoạn dựa trên ngưỡng là kỹ thuật được dùng

khá phổ biến Với phương pháp này, một toán tử lấy ngưỡng g

ánh xạ thang giá trị mức xám vào một giá trị nhị phân 0, 1 được định nghĩa:

t v v

g

1

0)(

với v là giá trị mức xám, t là ngưỡng

Hình dưới đây minh họa phương pháp phân đoạn này

0 500 1000

Hình 1.5 minh họa phương pháp phân đoạn dựa trên ngưỡng

Đối với những ảnh chứa các đối tượng với giá trị mức xám khác so với nền thì phương pháp phân đoạn dựa trên ngưỡng rất hiệu quả Hơn nữa nếu các đối tượng không chồng chập lên nhau thì các đối tượng có thể được phân tách dễ dàng

Đối với ảnh có nhiều đối tượng với mức xám khác nhau thì quá trình phân đoạn có thể dùng nhiều ngưỡng để phân đoạn: các pixel có giá trị mức xám nhỏ hơn ngưỡng thứ nhất thì thì thuộc vào đoạn 0, các pixel có giá trị mức xám ở giữa ngưỡng thứ 1 và

thứ 2 thì thuộc đoạn 1… Nếu dùng n ngưỡng thì toán tử lấy ngưỡng được định nghĩa như sau:

),,,(t1 t2 K t n

t v t

t v t

t v

v g

n

MM

3 2

2 1

1

210

)(

Như vậy sau khi lấy ngưỡng ảnh được phân thành n+1 đoạn

(a): ảnh gốc, (b): histogram và 3 ngưỡng được chọn

(c): kết quả phân đoạn theo 3 khoảng giá trị mức xám:

v t t v t t v

Histogram thường được sử dụng cho việc chọn các giá trị ngưỡng Phần dưới đây trình bày một số phương pháp thường được sử dụng trong việc chọn ngưỡng:

• Dùng đỉnh histogram: Giá trị ngưỡng có thể được tính: bằng

với trị trung bình mức xám giữa hai đỉnh liên tiếp; hoặc bằng giá trị mức xám có histogram nhỏ nhất giữa hai đỉnh liên tiếp

• Dùng cực tiểu variance: Ngưỡng được tính dựa vào cực tiểu

variance giữa đối tượng và nền Phần này chỉ xét tới trường hợp

đơn giản: ảnh chỉ có 2 đoạn, tức là chỉ cần tìm 1 ngưỡng t

Ở đây, histogram chuẩn hoá h (v) được sử dụng

là giá trị mức xám trung bình của ảnh

Ảnh có 2 đoạn 0 và 1 Khi đó, variance mức xám của mỗi đoạn là:

v h

v h

v vh

1

0 0

v vh

1

1 1

v h

v h

Variance tổng:

1 1 2 0 0

σw =h +h

Variance tổng này chỉ phụ thuộc vào giá trị ngưỡng , và t

được tính dựa trên giá trị cực tiểu của

2

w

)(

2

t

w

σTrong trường hợp ảnh có nhiều hơn 2 đoạn, phương pháp trên được mở rộng ứng với nhiều biến số giá trị ngưỡng khi đó, sẽ là hàm nhiều hơn một biến và nếu số đoạn lớn thì việc xác định các giá trị ngưỡng khá phức tạp

2

w

σ

1.1.4 Phân Đoạn Dựa Vào Chuyển Động [9]

Phương pháp phân đoạn dựa vào sự chuyển động của đối tượng áp dụng rất hiệu quả trong việc phân đoạn ảnh động

Việc phát hiện sự khác biệt giữa 2 frame và tại

thời điểm và được thực hiện bằng cách so sánh từng pixel

giữa hai frame

),,(x y t i

),,(),,(1

),(

j i

j i

ij

t y x f t y x f if

t y x f t y x f if y

x

Ở đây θ là mức ngưỡng

Việc so sánh này sẽ cho sự sai biệt tại miền ở cạnh trước và sau của đối tượng chuyển động, còn các miền khác thì sẽ không có sự khác biệt Ở đây sự ảnh hưởng của nhiễu đã không được xét đến Nếu có nhiễu xuất hiện thì mỗi frame trước khi đưa vào khâu này cần phải được lọc loại bỏ nhiễu

(b): Frame tại thời điểm t j

(c): Ảnh sai biệt

• Tích lũy sai biệt

làm frame tham chiếu Một ảnh tích lũy sai biệt được thiết lập bằng cách so sánh frame tham chiếu với từng frame trong chuỗi ảnh Tại vị trí của mỗi pixel trong ảnh tích lũy sai biệt chứa một biến đếm số lần khác biệt giữa frame tham chiếu với từng frame trong chuỗi ảnh Như vậy khi frame thứ trong chuỗi ảnh được so sánh với frame tham chiếu, các pixel trong ảnh tích lũy sai biệt cho biết số lần mức xám tại vị trí đó khác biệt với giá trị mức xám tại pixel tương ứng trong frame tham chiếu

),,(), ,,,(),,,(x y t1 f x y t2 f x y t n

),,(x y t1f

k

00000000 321 321

00000000 321 321

00000000 321 321

00000000 A98765438887654321

00000000 A98765438887654321 (e) 00000000 A98765438887654321 (i)

Hình 1.8 minh họa việc thiết lập ảnh tích lũy sai biệt

Hình trên minh họa việc thiết lập ảnh tích lũy sai biệt Hình (a) đến (e) biểu diễn đối tượng hình chữ nhật di chuyển sang phải với tốc độ đều 1 pixel/frame Hình (a) là frame tham chiếu, hình (b) đến (d) là các frame từ 2 đến 4, hình (e) là frame thứ 11 Hình (f) đến (i) là ảnh tích lũy sai biệt tương ứng tại các thời điểm khác nhau Ở hình (f), cột các giá trị 1 bên trái là kết quả của sự khác nhau giữi đối tượng trong hình (a) và background trong hình (b) Cột các giá trị 1 bên phải được hình thành bởi sự khác nhau giữa background trong frame tham chiếu (a) và cạnh trước của đối tượng chuyển động Tại thời điểm của frame thứ 4, cột khác 0 đầu tiên của ảnh tích lũy sai biệt biểu thị số đếm là 3 có nghĩa là, tổng số

đã có 3 lần xảy ra sự khác biệt trong cột này trong frame tham chiếu (a) và cột tương ứng trong chuỗi frame Cuối cùng, hình (i) cho thấy tổng số có 10 (biểu thị là A) sự thay đổi tại vị trí này Trong thực tế, 3 loại ảnh tích lũy sai biệt thường được sử dụng đó là: AADI (Absolute Accumulative Differences Image), PADI (Positive ADI) và NADI (Negative ADI) Loại AADI ta đã xét qua ở trên, còn loại PADI và NADI được thiết lập bằng cách sử dụng công thức (1.14) nhưng không có dấu trị tuyệt đối và frame tham chiếu là

Nếu mức xám của đối tượng lớn hơn background và trị sai biệt là dương thì ngưỡng dương được dùng để so sánh Nếu trị sai biệt là âm thì ngưỡng âm được dùng để so sánh Điều ngược lại được thực hiện nếu mức xám của đối tượng nhỏ hơn background

• Thiết Lập Ảnh Tham Chiếu

Như đã đề cập ở trên, sự sai biệt giữa 2 frame trong chuỗi ảnh động có khuynh hướng loại bỏ tất cả những thành phần tĩnh, chỉ để lại những thành phần tương ứng với nhiễu và đối tượng chuyển động Vấn đề nhiễu có thể được giải quyết bởi các bộ lọc nhiễu Một ảnh tham chiếu chỉ chứa các thành phần tĩnh có thể được xây dựng như sau: frame đầu tiên trong chuỗi ảnh được xem như ảnh tham chiếu Khi một thành phần không phải là thành phần tĩnh

di chuyển ra khỏi vị trí của nó trong ảnh tham chiếu, phần background trong frame hiện tại được sao lại vào đúng vị trí đó cho ảnh tham chiếu Khi tất cả các đối tượng di chuyển ra khỏi vị trí ban đầu của chúng thì ảnh tham chiếu chỉ còn lại thành phần tĩnh (background)

1.2 CÁC PHƯƠNG PHÁP XỬ LÝ HÌNH HỌC

Kết quả của quá trình phân đoạn là các đối tượng cần quan tâm Tuy nhiên ảnh các đối tượng này còn ở dạng thô và nó cần phải được xử lý về mặt hình học trước khi nó được đưa vào các khâu phân tích sau đó Việc xử lý về mặt hình học nhằm loại bỏ các mấu dư thừa, lấp đầy các lỗ, làm trơn đường bao đối tượng… Phần tiếp theo trình bày một số định nghĩa cơ sở, phương pháp nở rộng miền, phương pháp co hẹp miền, phương pháp mở và đóng miền

• Các định nghĩa cơ sở

Xét hai tập A và B thuộc không gian 2

Z vớiù các điểm thành viên

B b b b A a

1.2.1 Phép Nở Rộng Và Co Hẹp [9],[36]

Phép nở rộng tập A bằng tập B , ký hiệu là , được định nghĩa:

B

A⊕

Như vậy quá trình nở rộng bao gồm: đảo ngược tập B rồi dịch tập

bị đảo ngược đến điểm x và kết quả của việc nở rộng tập A bằng tập B là một tập với tất cả các điểm x sao cho phần giao giữa Bˆ

và là tập khác rỗng A

Trong hình minh họa dưới đây cho thấy, tập B có thể được hiểu

như một mặt nạ chập

(a)

B

(b) Hình 1.9 minh họa phép nở rộng tập A bằng tập B

(a): Ảnh mô tả tập A (b): Tập A sau khi được nở rộng bằng tập B

Phép co hẹp tập A bằng tập B, ký hiệu là AΘB, được định nghĩa:

1.2.2 Phép Mở Và Đóng (Opening & Closing) [9],[36]

Phép mở tập A bằng tập B, ký hiệu Ao , được định nghĩa như B

sau:

Định nghĩa này cho thấy, phép mở tập A bằng tập B được thực hiện bằng cách co hẹp tập A bằng tập B rồi sau đó nở rộng tập vừa bị co hẹp này bằng tập B

Phép đóng tập A bằng tập B, ký hiệu A•B, được định nghĩa như sau:

Phép đóng tập A bằng tập B được thực hiện bằng cách nở rộng

tập A bằng tập B rồi sau đó co hẹp tập vừa được nở rộng này bằng tập B

Hình dưới đây minh họa quá trình mở và đóng tập A bằng tập B:

B A

B

AΘ

B B A B

B

A⊕

B B A B

ình 1.11 minh họa quá trình mở và đóng tập A bằng tập B

H

Chương 2 MÔ TẢ ĐỐI TƯỢNG ẢNH VÀ NHẬN DẠNG

2.1 MÔ TẢ ĐỐI TƯỢNG ẢNH

Đây chính là việc biểu diễn đối tượng ảnh thông qua các đặc tính Trong quá trình này, dữ liệu của ảnh đối tượng được thu gọn lại Điều này là cần thiết nhằm giảm thiểu dung lương bộ nhớ cũng như thời gian tính toán trong quá trình nhận dạng Một đặc tính tốt nếu như nó duy trì và làm nổi bật đặc trưng của đối tượng mà đặc trưng này giúp cho việc phân lớp mẫu dễ dàng Đồng thời, các đặc tính mô tả đối tượng càng ít phụ thuộc vào các yếu tố như: kích thước, chiều hướng, vị trí của đối tượng, điều kiện chiếu sáng càng tốt

Cơ bản hai loại đặc tính của đối tượng ảnh thường được quan tâm đó là: các đặc tính mô tả đường nét, và các đặc tính mô tả miền

2.1.1 Mô Tả Đường Nét

• Signatures [9]

Signature là hàm một biến mô tả hình dạng của đối tượng ảnh, hay nói rõ hơn là nó mô tả đường bao của đối tượng Signature có thể được thiết lập bằng nhiều phương pháp khác nhau và một trong những phương pháp đó là dựa vào quan hệ giữa góc và khoảng cách tính từ trọng tâm đến đường bao đối tượng: r =r(θ) Theo cách thiết lập này, Signature không phụ thuộc vào vị trí của đối tượng Tuy nhiên, nó vẫn còn phụ thuộc vào chiều hướng cũng như kích thước của đối tượng

Hình 2.1 minh họa signature của hình tròn và hình vuông

Việc tìm điểm bắt đầu trong quá trình thiết lập signature có thể được thực hiện bằng cách chuẩn hoá về chiều hướng đối tượng sẽ được đề cập ở phần sau Việc chuẩn hoá về kích thước đối tượng có thể thực hiện đơn giản bằng cách đưa giá trị của hàm signature về đoạn [ , hoặc cũng có thể chia cho variance của hàm signature

]

10

• Mô tả bằng chuỗi Fourier [9]

Đường bao của đối tượng có thể được mô tả dưới dạng một chuỗi

điểm có thể được xem như một điểm trong mặt phẳng phức:

),(,),,(),,(x0 y0 x1 y1 K x N−1 y N−1

1,,2,1,0,)()

(

)

(k = x k + jy k k = N −

trục y tương ứng với trục ảo Khi đó, biến đổi Fourier của chuỗi s

1 ,,2,1,0,)

(

1)(

N

k

N uk j

N u

e k s N u

(

1

0

] / 2

=∑−

=

N k

e u a k

s

N

u

N uk

j π

Tuy nhiên, thay vì toàn bộ chuỗi được dùng để mô tả đường

bao đối tượng, chỉ cần dùng M hệ số đầu Khi đó, việc thực hiện

biến đổi ngược chuỗi sẽ cho kết quả xấp xỉ:

= ∑−

=

N k

e u a k

s

M

u

N uk

j π

Với M nhỏ, nhiều chi tiết của đường bao bị mất khi phục hồi chuỗi từ M hệ số Fourier Hình dưới đây minh họa điều này )

(k

(d) (c)

(b) (a) Hình 2.3 minh họa việc phục hồi chuỗi s(k) từ M hệ số a(u)

(a): ảnh gốc M=N=64, (b) M=2, (c) M=32, (d) M=62

Khi đối tượng thay đổi kích thước với hệ số α tương ứng với việc nhân s (k) với α Khi đó, chuỗi Fourier mô tả đường bao đối tượng:

a s(u)=αa(u) (2.4) Khi đối tượng xoay một góc θ , tương ứng với việc nhân chuỗi với hệ số , chuỗi Fourier mô tả đường bao đối tượng:

)()

(

1)(

N

k

N uk j j

N u

u=0,1,2,K,N −1

Khi đối tượng bị dịch một lượng ∆ ,x ∆y trong hệ truc xy, tương ứng

với việc cộng thêm lượng ∆xy =∆x+ j∆y vào chuỗi s (k):

s t(k)=[x(k)+∆x]+ j[y(k)+∆y] =s(k)+∆xy (2.6) Như vậy, chuỗi Fourier mô tả đường bao đối tượng là:

a t(u)=a(u)+∆xyδ(u) ,u=0,1, ,N −1 (2.7)

Ở đây, δ(u) là hàm xung đơn vị

• Mã chuỗi xích (chain codes) [9]

Chain code là một chuỗi mô tả một đường nào đó của đối tượng ảnh với mỗi thành viên chỉ ra hướng kết nối của 2 điểm liên tiếp Có 2 loại chain code là: chain code 4 hướng và chain code 8 hướng

Hình 2.4 hướng của Chain code 4 hướng và 8 hướng

Hình dưới đây minh họa việc thiết lập chain code 4 hướng và chain code 8 hướng cho một đường khép kín

(a) (b)

(c)

3 3 3 3 3 3 2 3 2

3 2 1 2 1 2

Hình 2.5 minh họa việc thiết lập chain code 4 hướng và 8 hướng (a): ảnh của 1 đường kín với lưới lấy mẫu chồng lên

(b): kết quả sau khi lấy mẫu (c): chain code 4 hướng, (d): chain code 8 hướng

Trước tiên ảnh của đường được áp đặt một lưới lấy mẫu lên như

minh hoạ trong hình (a) Xét sự cắt ngang của đường qua mỗi cạnh

của các mắt lưới, từ đó suy ra sự xấp xỉ của đường bằng các điểm

chấm trên hình (b) Với một điểm bắt đầu cho trước và một hướng

bắt đầu cho trước, chain code 4 hướng hoặc chain code 8 hướng có

thể được thiết lập như trong hình (c) và (d)

2.1.2 Mô Tả Miền

• Texture [9]

Ba phương pháp chính thường được sử dụng để mô tả texture là: phương pháp thống kê, phương pháp dựa trên cấu trúc và phương pháp dựa trên phổ

Với phương pháp thống kê thì nhiều thông số của miền được tính riêng rẽ Chẳng hạn như: giá trị trung bình của mức xám, chu

vi, diện tích, số lượng lỗ, momen của histogram mức xám của miền… Các thông số đó chính là các đặc tính mô tả miền

Với phương pháp dựa trên cấu trúc thì một số luật được đặt ra Chẳng hạn như luật: , có nghĩa là S có thể viết lại dưới dạng

aS Nếu a đại diện cho một hình tròn (hình (a)) và có ý nghĩa là

hình tròn dịch sang phải thì một chuỗi ký tự aaa… có nghĩa là một

dãy hình tròn với các hình tròn lần lượt được dịch sang phải như

hình (b) dược sinh ra Nếu một số luật khác được đặt ra như:

bằng cách tương tự

(a)

Hình 2.6 minh họa việc phát sinh mẫu từ các luật (a): mẫu texture, (b) phát sinh mẫu theo quy luật S -> aS, (c): texture được sinh ra từ quy luật aaabccbaa

(c) (b)

Phổ Fourier rất phù hợp cho việc mô tả những ảnh có tính có chu kỳ Ba đặc tính hữu dụng của phổ Fourier cho việc mô tả texture: (1) những đỉnh nổi bật trong ảnh phổ cho biết những hướng mang năng lượng chính trong ảnh (2) vị trí những đỉnh phổ cho biết những chu kỳ cơ bản của ảnh (3) ngoại trừ những thành phần có chu kỳ, những thành phần không có chu kỳ sẽ có xu hướng bị lọc loại bỏ Việc phân tích ảnh phổ thường được thực hiện bằng cách chuyển sang tọa độ cực S(r,θ) là hàm của ảnh

phổ phụ thuộc vào 2 biến r và θ trong tọa độ cực Hàm 2-D S(r,θ)có thể được chuyển thành hai hàm 1-D: S (r) và S(θ)

S S

0

)()

S là hàm S(r,θ) với r không đổi

R là bán kính đường tròn có tâm ở gốc tọa độ Với ảnh phổ kích

thước N×N thì R được chọn là N/2

Moment tại trọng tâm:

y = là tọa độ trọng tâm

Đối với ảnh số các biểu thức trên có thể được viết dưới dạng:

q p

Ba tiêu chí để đánh giá năng lực của một hệ thống tự động phân tích ảnh là: (1) khả năng tách biệt đối tượng ảnh cần quan tâm; (2) khả năng học và xây dựng cơ sở tri thức từ những mẫu, áp dụng cơ sở tri thức này vào những hoàn cảnh mới; (3) khả năng suy luân từ những thông tin không đầy đủ Một hệ thống tự động

phân tích ảnh được xem là “tinh tế” thì quá trình phân đoạn, tách đối tượng ảnh phải có độ chính xác cao, các đặc tính mô tả đối tượng ảnh phải thể hiện chính xác và đầy đủ về đối tượng ảnh, và quá trình nhận dạng phải chính xác và mang tính “thông minh” Hai bước đầu đã được trình bày trong các phần trước Bước nhận dạng là bước quyết định đến kết quả của việc phân tích ảnh, do đó nó có vai trò rất quan trọng trong hệ thống Việc nhận dạng chính là việc xác định đối tượng thuộc vào lớp đối tượng nào hay nói cách khác là việc gán một cái tên cho đối tượng Trên cơ bản, có 2 phương pháp nhận dạng chính đó là: phương pháp nhận dạng dựa vào việc phân hoạch không gian mẫu hay còn gọi là việc phân lớp mẫu và phương pháp nhận dạng theo cấu trúc Phần tiếp theo của chương này sẽ đề cập đến một số vấn đề liên quan đến việc nhận dạng theo phương pháp phân hoạch không gian mẫu như: mẫu, lớp mẫu, việc phân lớp, các phương pháp phân lớp; và một số phương pháp nhận dạng theo cấu trúc

2.2.1 Mẫu – Lớp Mẫu [5],[6],[9]

Mẫu là tập các mô tả (hay còn gọi là các đặc tính, hoặc thuộc tính) của đối tượng

Lớp mẫu là một họ các mẫu có cùng một tính chất nhất định

Một mẫu thường được ký hiệu bằng một vector:

M2 1

x

với là mô tả (đặc tính) thứ i, n là số lượng các mô tả x i

Các lớp mẫu được ký hiệu là: ϖ1,ϖ2 ,L,ϖM , với M là số lớp mẫu

2.2.2 Phân Lớp [5],[6],[9]

Như đã trình bày ở phần trước, các đặc tính của đối tượng được biểu diễn bởi nhiều giá trị Từng giá trị này được xem là một thành phần của vector mô tả mẫu Khi hệ thống được huấn luyện với một tập các mẫu chuẩn thì các mẫu này được phân bố trong không gian mẫu và chúng được phân thành các lớp mẫu chuẩn Khi các mẫu cần nhận dạng được đưa vào hệ thống, việc nhận dạng mẫu chính là việc tìm ra một quy tắc để sắp xếp vector biểu diễn mẫu đó vào một lớp mẫu chuẩn Để thực hiện được nhiệm vụ này trước hết cần có sự phân định rõ ràng giữa các lớp mẫu chuẩn, tức là phải phân hoạch không gian mẫu Vì các mẫu cùng một lớp có những đặc trưng tương tự nhau, do đó trong không gian biểu diễn mẫu các vector mô tả chúng nằm gần nhau Một lớp mẫu thực sự sẽ chiếm một vùng nào đó trong không gian mẫu,

vùng này được gọi là cluster

Thực tế, không gian mẫu không phải trong mọi trường hợp đều có sự phân tách hoàn toàn mà các cluster có thể có vùng chồng lên nhau, bởi vì bộ đặc tính của các mẫu có thể là chưa tối ưu để phân tách các đối tượng Trong trường hợp một vector mô tả mẫu cần nhận dạng rơi vào vùng chồng lên nhau này thì mẫu đó có thể không nhận dạng được Điều này rất có ý nghĩa trong việc xây dựng thư viện mẫu chuẩn và việc xác định các đặc tính để phân biệt các đối tượng

Phần tiếp theo sẽ trình bày một số phương pháp phân lớp mẫu

2.2.2.1 Phân lớp dựa vào khoảng cách nhỏ nhất

Giả sử, có M lớp mẫu ϖ1,ϖ2 ,L,ϖM Xét mẫu là một vector mẫu n chiều Việc nhận dạng mẫu

T n

x x

x thuộc vào lớp mẫu ϖi khi:

d i(x)>d j(x) j=1,2,L,M; i≠ j (2.14) Đường biên giới giữa hai lớp mẫu ϖi và ϖj được tìm qua phương trình:

j j

ở đây N j là số vector mẫu của lớp mẫu ϖj

Xét khoảng cách Euclidean từ vextor đến vector :

T n

x x

)(

2

1)(

)()()

i T

j i

ij

m m m m m

m

d d

2.2.2.2 Phân lớp theo phương pháp tìm kiếm khối

Mỗi cluster của các lớp chuẩn được xấp xỉ bằng một khối trong không gian mẫu Việc nhận dạng một mẫu chính là việc so sánh tọa độ của vector mô tả mẫu với tọa độ của những khối này Khi các đặc tính của đối tượng trực giao với nhau thì phương pháp phân lớp này tỏ ra rất hiệu quả Tuy nhiên, nếu các đặc tính của mẫu tương quan với nhau thì phương pháp này lại tỏ ra rất kém

Ưu điểm của phương pháp này là tốc độ xử lý nhanh

Hình 2.7 phân lớp theo kiểu tìm kiếm khối (a): Trường hợp các cluster không chồng lấp (b): trường hợp các cluster chồng lấp lên nhau

2.2.2.3 Phân lớp dựa vào công cụ xác suất thống kê

• Ra quyết định dựa trên chi phí tối thiểu

Bộ phân lớp mẫu cóù thể xem như một hộp đen với các đầu vào và đầu ra Khi đặt một vector mô tả mẫu p i ∈Π={p1,p2,K,p M} ở đầu vào thì ở đầu ra xuất giá trị n k∈Ω={n1,n2,K,n S} cho biết mẫu đó thuộc lớp mẫu nào Để đơn giản hoá ở đây dùng biến thay cho

k

k

n