Ứng dụng CNN trong xử lý ảnh tách biên

 NGHIÊN CỨU MẠNG NƠ RON TẾ BÀO CNN VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH TÁCH BIÊN Khoa Điện - Đại học Đông Á TÓM TẮT Mạng nơ ron tế bào CNN được nghiên cứu bởi Leon O.. Cấu trúc gồm nhiều lớp m



NGHIÊN CỨU MẠNG NƠ RON TẾ BÀO (CNN)

VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH TÁCH BIÊN

Khoa Điện - Đại học Đông Á

TÓM TẮT

Mạng nơ ron tế bào (CNN) được nghiên cứu bởi Leon O Chua và Lin Yang tại Berkeley năm 1988, là một cơ cấu tổ chức nghiêm ngặt với hệ thống xử lý thông tin phức tạp Cấu trúc gồm nhiều lớp mảng 2 chiều, 3 chiều có các kết nối mạng cục bộ, liên kết tế bào, tính toán và xử lý tín hiệu tương tự có tính liên tục về thời gian và biên độ, và các giá trị tương tác là các giá trị thực, đây

là một trong những ưu điểm của mạng nơron, đóng vai trò quan trọng trong các ứng dụng xử lý ảnh, tăng tốc độ xử lý, đảm bảo độ chính xác theo thời gian thực Trong bài báo này, trình bày tổng quan về kiến trúc của mạng CNN

và mô phỏng ứng dụng trong xử lý ảnh tách biên.

ABSTRACT

Cellular Neural Network (CNN’s) were introduced in 1988 by L.O.Chua and L.Yang, at the University of California, Berkeley, as a novel class of information processing systems CNN is an analog dynamic processor array, many complex computation problems can be formulated, as well-defined tasks where the signal values are placed on a regular geometric 2-D or 3D gird, and the direct interaction between signal values are limited within a finite local neighborhood, which possesses some of the key features of neural networks and which has important potential applications in such areas as image processing in pattern recognition The purpose of the paper is to present the standard CNN architecture and applications of CNN for edge dectection

in image processing

Keywords: Cellular Neural Networks, Edge detection, cloning template.

1 Giới thiệu chung

Sự ra đời của CNN mở ra một hướng mới cho sự phát triển của khoa học tính toán CNN là công nghệ xử lý song song cực mạnh và đa năng[1] Mạng Nơron tế bào CNN là một



giải pháp mở đầu cho loại máy tính vạn năng xử lý mảng dữ liệu Trong nhiều bài toán thực

tế, việc xử lý ảnh trong thời gian thực là yêu cầu bắt buộc Tuy nhiên các phương pháp xử lý ảnh truyền thống lại đòi hỏi nhiều thời gian xử lý nhất là với những ảnh có kích thước lớn

Để đáp ứng yêu cầu đó người ta đã và đang tìm kiếm nhiều phương pháp xử lý ảnh song song khác nhau nhằm giảm thời gian xử lý Mạng nơ ron tế bào (Cellular Neural Network - CNN)

là một trong những công cụ xử lý ảnh thời gian thực hữu hiệu và đang được quan tâm nghiên cứu rộng rãi trên thế giới do có nhiều ưu điểm trong đó có bản chất xử lý song song Ảnh số

là một mảng số thực hai chiều kích thước MxN trong đó mỗi phần tử ảnh là một tế bào C(i,j)

i = 1, 2, , M, j = 1, 2, , N, biểu thị mức xám của ảnh tại các vị trí (i,j) tương ứng Ảnh được coi là ảnh nhị phân nếu C(i,j) chỉ nhận giá trị 0 hoặc 1 Các đặc trưng của ảnh thường bao gồm các thành phần như: mật độ xám, phân bố xác suất, phân bố không gian, biên ảnh Biên là một vấn đề chủ yếu và đặc biệt quan trọng trong phân tích ảnh vì các kĩ thuật phân đoạn ảnh chủ yếu dựa vào biên Cho đến nay chưa có định nghĩa chính xác về biên, trong mỗi ứng dụng người ta đưa ra các độ đo khác nhau về biên, một trong các độ đo đó là độ

đo về sự thay đổi đột ngột về cấp xám Ví dụ: Đối với ảnh đen trắng, một điểm được gọi là điểm biên nếu nó là điểm đen có ít nhất một điểm trắng bên cạnh Tập hợp các điểm biên tạo nên biên hay đường bao của đối tượng Xuất phát từ cơ sở này người ta thường sử dụng hai phương pháp phát hiện biên cơ bản Phương pháp phát hiện biên trực tiếp làm nổi biên dựa vào sự biến thiên mức xám của ảnh Kỹ thuật chủ yếu dùng để phát hiện biên ở đây là dựa vào sự biến đổi cấp xám theo hướng Cách tiếp cận theo đạo hàm bậc nhất của ảnh dựa trên

kỹ thuật Gradient, nếu lấy đạo hàm bậc hai của ảnh dựa trên biến đổi giá trị ta có kỹ thuật Laplace Phát hiện biên gián tiếp, nếu bằng cách nào đó ta phân được ảnh thành các vùng thì ranh giới giữa các vùng đó gọi là biên Kỹ thuật dò biên và phân vùng ảnh là hai bài toán đối ngẫu nhau vì dò biên để thực hiện phân lớp đối tượng mà khi đã phân lớp xong nghĩa là

đã phân vùng được ảnh và ngược lại, khi đã phân vùng ảnh đã được phân lớp thành các đối tượng, do đó có thể phát hiện được biên

Do xuất phát từ những tiêu chuẩn và định nghĩa khác nhau về điểm biên, và quan hệ liên thông, các thuật toán dò biên cho ta các đường biên mang các sắc thái rất khác nhau Kết quả tác động của toán tử dò biên lên một điểm biên C(i,j) là tế bào C(k,l) nằm trong lân cận của tế bào C(i,j) Thông thường các toán tử này được xây dựng như một hàm đại số Boolean trên các láng giềng của C(i,j) cách xây dựng các toán tử đều phụ thuộc vào định nghĩa quan

hệ liên thông và điểm biên Do đó sẽ gây khó khăn cho việc khảo sát các tính chất của đường biên Ngoài ra, vì mỗi bước dò biên đều phải kiểm tra tất cả lân cận của mỗi điểm nên thuật toán thường kém hiệu quả Để khắc phục các hạn chế trên, ta sử dụng bộ mẫu dò đường biên {A, B, z} đóng vai trò là các toán tử dò biên áp dụng nguyên lý tính toán của mạng CNN Bộ mẫu dò đường biên của mạng CNN là một công cụ hữu hiệu giúp cho bài toán xử lý ảnh dò



đường biên chính xác và nhanh chóng hơn Tuy nhiên tùy theo từng loại mẫu dò biên khác nhau sẽ tạo ra chất lượng ảnh xử lý khác nhau, trong bài báo này đề cập đến kiến trúc mạng CNN cho ứng dụng xử lý ảnh và tìm các bộ mẫu dò biên tối ưu cho bài toán dò biên ảnh

2 Kiến trúc mạng CNN

Kiến trúc CNN chuẩn [1]: Là một mảng chữ nhật kích thước MxN gồm các tế bào

C(i,j) với các chiều (i, j ), i = 1, 2, , M, j = 1, 2, , N (Hình 2.1).

Hình 2.1: Kiến trúc mạng CNN Hình 2.2: a/Lân cận 3x3 (r=1),

b/lân cận 5x5(r=2)

Một lớp CNN kích thước MxN với các tế bào C(i,j) i=1,2,3 M, j=1,2, N là mạng chuẩn khi thỏa mãn các phương trình toán học sau

1 Phương trình trạng thái (state equation)



(2.1)

C(i,j), ( , ; , ) à B( , ; , )A i j k l v i j k l được gọi là toán tử phản hồi và toán tử dẫn nhập đầu vào.

3 Điều kiện biên xác định và là các tế bào thuộc thuộc hiệu ứng cầu của các tế bào cạnh nhưng nằm ngoài mảng kích thước MxN

( , )

r

S i j là hiệu ứng cầu của tế bào C(i,j) có bán kính r, khi tất cả các tế bào lân cận thỏa mãn điều kiện sau (r là một số nguyên dương)



1 ,1

( , ) ( , ) | max , r

≤ ≤ ≤ ≤

r k M l N

thường, nếu và chỉ nếu tất cả các tế bào lân cận C k l( , )∈S i j r( , ) tồn tại, C(i,j) còn lại là tế

bào biên (hình 2.3) Tế bào biên phía ngoài cùng xa nhất được gọi là tế bào cạnh Không

phải tất cả các tế bào biên đều là tế bào cạnh nếu r >1[2]

Hình 2.3: Các tế bào biên

Đối với ứng dụng CNN trong xử lý ảnh, đầu vào thường là cường độ điểm ảnh thang

Mạng CNN bất biến không gian và đẳng hướng nếu các toán tử A(i,j;k,l), B(i,j;k,l) và

toán tử dẫn nạp tuyến tính) có phương trình trạng thái (điều kiện tương tự phương trình 2.1) như sau:

( , ) ( , )

( , ) ( , )

ij

r

r

C k l S i j k i r l j r

C k l S i j k i r l j r

mn

A i j k l y A i k j l y

B i j k l u B i k j l u

z z a A m n

(2.1*)

Phần lớn các ứng dụng của CNN chỉ sử dụng CNN chuẩn bất biến không gian lân cận



1 Toán tử dẫn nạp hồi tiếp A(i,j;k,l), trong không gian bất biến có thể viết như sau

( , ) ( , )

( , ) ( , )

ij

r

r

C k l S i j k i r l j r

C k l S i j k i r l j r

mn

A i j k l y A i k j l y

B i j k l u B i k j l u

z z a A m n

(2.5)

+ +

=− =−

=

∑ ∑

( , ) ( , )

1, 1 1, 1 1,0 1, 1,1 1, 1 0, 1 , 1 0,0 ,

0,1 , 1 1, 1 1, 1 1,0 1, 1,1 1, 1

1 1

1 1

r

C k l S i j k i r l j r

i j i j i j i j i j

i j i j i j i j

k l i k j l

k l

A i j k l y A i k j l y

a y a y a y a y a y

a y a y a y a y

a y

(2.6)

∆

−

1, 1 1,0 1,1 i-1,j-1 i-1,j i-1,j+1

1, 1 1,0 1,1 i 1,j-1 i+1,j i+1,j 1

*

a a a y y y

a a a y y y A Y

a a a y y y

(2.7)

Ma trận A kích thước 3 × 3 được gọi là mẫu vô hướng hồi tiếp và ký tự “*” bao hàm tổng của các tích điểm, nên được gọi là tích điểm mẫu, toán tử này được gọi là toán tử “xoắn

kích thước cửa sổ 3x3 đến vị trí (i,j) của ma trận MxN đầu ra ảnh Y do vậy được gọi là ảnh đầu ra tại C(i,j)

(2.8)

gọi là các thành phần mẫu trung tâm và đường biên

2 Vai trò toán tử dẫn nhập đầu vào B(i,j;k,l)

+ +

r

kl kl k l i k j l

C k l S i j k i r l j r k l

B i j k l y B i k j l u b u (2.9)



∆

−

1, 1 1,0 1,1 i 1,j-1 i-1,j i 1,j+1

1, 1 1,0 1,1 i+1,j 1 i+1,j i+1,j+1

b b b u u u

b b b u u u B U

b b b u u u

(2.10)

Ma trận B kích thước 3x3 được gọi là mẫu dẫn nhập hoặc mẫu vô hướng đầu vào, và

trung tâm và đường biên

(2.11)

Tính chất bất biến không gian của CNN được mô tả hoàn chỉnh như sau

ij = − + ∗ + ∗ij ij ij+



ij( ; )ij ij = ij( )ij + ij( ; ); ( ; )ij ij ij = ∗ + ∗ij ij+

h x ω g x ω x t ω x t A Y B U z (2.14)

Mỗi CNN được xác định bởi 3 giá trị của các mẫu vô hướng ζ{A,B,z} Mũi tên được

in đậm đánh dấu đường dữ liệu song song từ đầu vào tới đầu ra của các tế bào đường biên

tương ứng là z, xij, và yij hình 2.4



Hình 2.4: Cấu trúc phân lớp của mạng CNN

3 Phân tích bài toán xử lý ảnh

Từ (1.2) phân lớp hệ động lực CNN chuẩn bằng các mẫu bất biến không gian được mô

tả bởi phương trình sau

0

( ) ( ); (0)



kl i k j l kl i k j l

k r l r k r k r

kl kl ij ij

(3.1)

Trong đó a và b là các phần tử của các ma trận mẫu không gian bất biến A và B Chúng

ta cần mô phỏng nghiệm của những phương trình vi phân này trên một máy tính số chuẩn, như PC với bộ vi xử lý Pentium Trong trường hợp tổng quát, phương trình vi phân như sau:

ω



0

( ; ), ( ), (0)

Có thể giải bằng phương thức tích phân số học, một phương pháp đơn giản nhất là sử dụng công thức Euler để tính toán giá trị x(t+∆t) từ x(t), ∆t là bước thời gian

( + ∆ ≅) ( )+ ∆ ( ) = ( )+ ∆ ( ( ); )ω

x(t+∆t) là giá trị định lượng chính xác và gần đúng nếu sử dụng ∆t là bước thời gian

đủ nhỏ Sử dụng (3.2) và (3.3), và các bước thời gian như nhau là 0, ∆t, 2∆t, , m∆t, đối với



hợp vô hướng đến trường hợp ma trận[3], có thể dễ dàng thực hiện khi phương trình CNN là đơn điệu, trong trường hợp tổng quát công thức tích phân vạn năng có thể gần đúng hoặc hội

tụ đến giá trị gần đúng Hệ động lực CNN trong các trường hợp thực tế là trung gian, chọn

∆t = 0.1 thường tạm chấp nhận giá trị chính xác và nghiệm hội tụ trong một số trường hợp

4 Mô phỏng bằng phần mềm

Chương trình phần mềm mô phỏng SimCNN[4] (cho cấu trúc mạng CNN nhiều lớp) SimCNN và các công cụ thiết kế CNN khác được sử dụng qua nền tảng phầm mềm Visual Mouse Platform được gọi là VisMouse có những chức năng chính sau đây Hình ảnh

“DIAMOND” được tải về từ thư viện hình ảnh

Hình 4.1: Đầu ra trong quá trình xử lý trung gian (phía bên phải)

Hình 4.2: Đầu ra cuối tại (t=5)

Ảnh gốc được tải ở bên trái (hình 4.1, hình 4.2) và ảnh đầu vào, trạng thái đầu ra khi

kết thúc giai đoạn tạm thời (ảnh phía trên, ở giữa, phía dưới bên phải)



Hình 4.3: Ảnh đầu ra ở các chu kỳ khác nhau

Bảng 4.1: Ngôn ngữ diễn tả mô phỏng cho mẫu dò biên trong CSD



Tại cuối chu kỳ mô phỏng của các ảnh chụp tạm thời có thể được vận hành lại, chuỗi tín hiệu cũng được hiển thị bằng đồ thị Trong các mô phỏng này các giá trị được mặc định

là bước thời gian bằng 0.1, khoảng thời gian bằng 5.0 (50 bước), giá trị biên được cố định

-1.0, và trạng thái khởi tạo (initial STATE) giống đầu vào (INPUT) (hình 4.3)

Nếu muốn thay đổi giá trị mặc định hoặc chạy một chu kỳ mẫu, phải viết chương trình CNN Script Description(CSD), một chương trình ví dụ biểu diễn mô phỏng bên trên được đưa ra ở bảng 3.1 Các ví dụ đều sử dụng mẫu dò biên [2], tải các hình ảnh khác nhau để đưa vào đầu vào và trạng thái khởi tạo Do đó sử dụng đầu vào và trạng thái khởi tạo là như nhau

Ba ví dụ tiếp theo minh họa vai trò của việc lựa chọn đúng bước thời gian ∆t, điều kiện khởi tạo, và điều kiện biên Trong trường hợp khác bước thời gian được đặt ở giá trị mặc định

là 0.1 Sử dụng bộ dò mẫu thành phần liên kết theo hàng ngang Điều kiện biên (được gọi là các “khung” trong bộ mô phỏng) là cố định tại [0] (mặc định)

Ví dụ 1: Ảnh đầu vào (phía bên trái) và cặp ảnh đầu ra và trạng thái với 3 bước thời gian khác nhau: 0.1 (cặp phía trên), 0.2 (cặp ở giữa), 2.0 (cặp ở dưới)

Hình 4.5: Ảnh đầu ra ở các bước thời gian khác nhau

Ảnh đầu vào được biểu diễn ở phía bên trái trong ví dụ 1 (cũng là vị trí của ảnh khởi tạo) 3 cặp ảnh thể hiện ở phía bên phải: một cặp là đầu ra (bên trái) và trạng thái (bên phải) trong hình 4.5 kết quả khác nhau biễu diễn trong trên các cột kế tiếp tương ứng với 3 bước thời gian khác nhau Trong trường hợp đầu tiên giá trị 2 bước thời gian là 0.1 và 0.2 cho kết quả tính toán chính xác, trường hợp thứ 3 bước thời gian là 2.0 kết quả sai, ngoài ra nó bắt đầu dao động Thông thường, bước thời gian nhỏ hơn 0.5 cho kết quả chính xác

Ví dụ 2: Kết quả của dò mẫu đường biên ít thô (less robust) với các điều kiện khởi bảo

khác nhau (+1, 0, -1 tại hàng trên đỉnh, giữa, dưới thấp)



Hình 4.6: Kết quả của dò mẫu đường biên ít thô

Trong ví dụ này, mô tả sự phụ thuộc của đầu ra vào điều kiện đầu ( điều kiện biên được mặc định là [Y]=[U]=[0]) Sử dụng mẫu “ít thô”, cùng mô hình được áp dụng 3 lần với ảnh đầu vào Điều kiện đầu là +1, 0, -1 (tương ứng với mầu đen, xám, và trắng cho tất cả các cell), đầu vào và 3 cặp ảnh đầu ra và trạng thái thể hiện trên hình của ví dụ 2 Đáp án chính xác được tính toán khi trạng thái khởi tạo là hoàn toàn mầu đen (+1) hoặc 0, nếu trạng thái khởi tạo là mầu trắng (-1) đầu ra sẽ sai

Ví dụ 3: Ảnh hưởng của điều kiện biên, tại các giá trị cố định khác nhau của điều kiện biên là 0, -1, +1, kết quả cặp ảnh đầu ra và trạng thái là hàng phía trên, ở giữa và ở dưới Trong ví dụ này, biểu diễn vai trò của điều kiện biên, ảnh đầu vào đặt ở trạng thái khởi tạo (phía bên trái), thành phần kết nối hàng ngang bộ dò mẫu được sử dụng với 3 điều kiện biên khác nhau Trường hợp đầu tiên điều kiện biên (khung) cố định bằng 0, [Y]=[U]=[0] Đầu ra

và trạng thái là chính xác thể hiện ở cặp ảnh phía trên trong ví dụ 3 Điều kiện biên tiếp theo đặt ở giá trị là -1.0 và 1.0, kết quả thể hiện ở cặp ảnh giữa và phía dưới trường hợp này đầu

ra sai Khi điều kiện biên là một chuỗi 0, hoặc tuần hoàn, kết quả bắt đầu lan truyền rộng

Hình 4.7: Kết quả đầu ra phụ thuộc điều kiện biên



5 Kết luận

Trong bài báo này đưa ra một cái nhìn khái quát kiến trúc mạng CNN các cơ sở toán học phân tích mạng nơ ron tế bào và mô phỏng mạng CNN ứng dụng trong xử lý ảnh tách biên Tuy nhiên ứng dụng này mới chỉ dừng lại ở ảnh hai chiều và trạng thái đầu vào đã được mã hóa theo mã nhị phân, nhưng đây là cơ sở cho những ứng dụng thực tế sáng tạo hơn trong xử lý ảnh trên nền mạng nơ ron tế bào Với kiến trúc mạng nơron tế bào nêu trên ta có một máy tính xử lý song song mà phép tính cơ bản của nó là lời giải của một phương trình

vi phân đạo hàm riêng phi tuyến (PDE) Phép tính này được thực hiện bằng một lệnh trong thời gian vài ms và chính là thời gian hội tụ của quá trình quá độ của phương trình động lực

cơ bản của tế bào CNN Trong khi đó ta biết rằng việc giải phương trình vi phân đạo hàm riêng ở máy tính số hiện hành là một vấn đề phức tạp đòi hỏi rất nhiều thời gian tính toán Trong bài toán xử lý ảnh, mạng CNN được tích hợp với cảm biến ảnh tạo thành chip thị giác (VisualMicroprocessor) có khả năng xử lý ảnh với tốc độ phi thường, tính ưu việt của mạng

nơ ron tế bào CNN còn thể hiện ở nhiều lĩnh vực khác nhau

Báo cáo đã hoàn thiện việc xây dựng kiến trúc mạng CNN, mô phỏng bằng phần mềm SimCNN, và so sánh kết quả đầu ra tách biên ảnh Ưu điểm là tốc độ xử lý ảnh nhanh, dò biên chính xác tuy nhiên lại giới hạn quy ước ảnh đầu vào, và đầu ra, chính vì vậy việc nâng cấp độ linh hoạt cho bộ mẫu dò biên là yêu cầu cần thiết Trong các nghiên cứu tiếp theo, tôi

sẽ tập trung vào việc tìm ra các bộ mẫu ưu việt hơn, đánh giá các đặc tính của mạng CNN, phát triển các ứng dụng xử lý ảnh nhanh, xử lý song song trên nền mạng nơron tế bào

TÀI LIỆU THAM KHẢO

Syst., Vol 35,pp 1257-1272, 1998

Foundations and Applications, Cambridge University Press 2002.

Academic Publishers 2003

Circuits Syst.,Vol.35 pp 1273-1290, 1998

[5] Analogic Computer Ltd http://www.analogic-computer.com

[6] http://wwwinst.eecs.berkeley.edu/~ee129/