Nghiên cứu tiếp cận công nghệ mạng nơron tế bào CNN và ứng dụng trong xử lý ảnh

Để có thể chế tạo được hệ thống điện tử có khả năng tính toán tương tựnhư hệ nơron tính toán này, đòi hỏi ta phải thay đổi về kiến trúc máy tính, vềthuật toán, về công nghệ và khả năng x

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

LUẬN VĂN CỬ NHÂN TIN HỌC

Giáo viên hướng dẫn Ts: Hà Mạnh Đào

HÀ NỘI- NĂM 2007

Nhận xét của giáo viên hướng dẫn

-Nhận xét của giáo viên phản biện

Em xin chân thành cảm ơn các thầy cô và bạn bè tại trung tâm, nơi mà em

đã được học và lao động suốt hơn bốn năm qua, đã tận tình giúp đỡ tạo điều kiện cho em hoàn thành luận văn này.

Mặc dù đã rất cố gắng, nhưng trong một khoảng thời gian cho phép,quá trình hoàn thành luận văn không tránh khỏi nhiều thiếu sót Kính mong quý thầy

cô, các bạn đóng góp ý kiến để luận văn được hoàn thiện hơn.

Sinh viên Đặng Thị Tho

LỜI MỞ ĐẦU

Trước kia nhiều người tưởng rằng hoạt động của máy tính điện tử phảnánh cơ chế hoạt động của bộ não con người Tuy nhiên hiện nay vấn đề đã trởnên rõ ràng là nơron và các tế bào thần kinh có cơ chế hoạt động hoàn toàn khác.Đối với các máy tính số hiện nay việc xử lý tín hiệu âm thanh, hình ảnh, hương

vị, tín hiệu tiếp xúc là những vấn đề phức tạp đòi hỏi độ tính toán lớn, ngược lại

ở các sinh vật sống việc xử lý các chuỗi tín hiệu này lại rất đơn giản Do vậy cầnphải có một nguyên lý tính toán mới, cấu trúc mới để tiếp tục nâng cao được khảnăng tính toán và giải quyết được những vấn đề mà máy tính điện tử hiện hànhchưa giải quyết được

Để có thể chế tạo được hệ thống điện tử có khả năng tính toán tương tựnhư hệ nơron tính toán này, đòi hỏi ta phải thay đổi về kiến trúc máy tính, vềthuật toán, về công nghệ và khả năng xử lý song song của hàng vạn hoặc hàngtriệu bộ xử lý trên một chíp Máy tính vạn năng CNN UM (Cellular NeuralNetwork Universal Machine) ra đời đã mở ra một hướng mới cho sự phát triểncủa khoa học tính toán tiếp cận đến các phương thức xử lý, cảm nhận và hànhđộng của các tổ chức trong cơ thể sinh vật sống Mạng nơron tế bào CNN(Cellular Neural Network) là một giải pháp mở đầu cho loại máy tính vạn năng

xử lý dòng mảng dữ liệu đầy tiềm năng này

Đây là một lĩnh vực khoa học công nghệ mới mẻ đầy triển vọng, hứa hẹnmột hệ thống máy tính thông minh có những chức năng xử lý tương tự như conngười Chính vì thế đối với em đây là vấn đề còn rất mới và rộng lớn, nhưng lại

là điều thúc đẩy em lựa chọn đề tài nghiên cứu về mạng nơron tế bào CNN(Cellular Neural Network), bước đầu làm quen với CNN Dưới sự gợi ý của thầy

giáo hướng dẫn em đã chọn lĩnh vực mô phỏng là ứng dụng của CNN vào xử lýảnh

Thời gian qua mạng tế bào CNN đã được nhiều nước trên thế giới đầu tưnghiên cứu như một công nghệ xử lý song song cực mạnh đa năng có nhiều ứngdụng quan trọng trong công nghiệp, quân sự, y tế,…Trong đó có các ứng dụng

xử lý ảnh tốc độ cao Đây là nhóm ứng dụng chủ yếu trong nhiều lĩnh vực củacuộc sống mà các hệ camera thông thường không đáp ứng được

Mạng nơron tế bào (Cellular Neural Network-CNN) là một hệ xử lý songsong có khả năng xử lý 1012 phép tính/giây với hàng chục ngàn CPU tích hợpsong song trên một chíp duy nhất và các ứng dụng công nghệ này cho phép giảiquyết nhiều bài toán xử lý thời gian thực mà các máy tính số hiện hành chưathực hiện được Ứng dụng công nghệ mạng nơron tế bào trong xử lý ảnh tốc độcao trong công nghiệp đã được nhiều nhóm nghiên cứu trên thế giới triển khai

Ở Việt Nam, lĩnh vực này còn mới mẻ và chưa được nghiên cứu nhiều

Đề tài của em với mong muốn tìm hiểu và nghiên cứu về mạng nơron tế bàoCNN, bước đầu làm quen với CNN và ứng dụng của CNN vào xử lý ảnh thờigian thực, em rất chân thành mong được sự ủng hộ của thầy cô và các bạn

Một lần nữa em xin cảm ơn thầy giáo hướng dẫn Ths Hà Mạnh Đào đã tậntình giúp đỡ em trong quá trình thực hiện và hoàn thành đề tài này

Em rất mong được sự góp ý, giúp đỡ của các thầy cô và bạn bè Em xinchân thành cám ơn!

Hà Nội 09- 2007 Sinh viên thực hiện Đặng Thị Tho

ĐỀ CƯƠNG CHI TIẾT LUẬN VĂN TỐT NGHIỆP

Tên đề tài:

NGHIÊN CỨU TIẾP CẬN CÔNG NGHỆ MẠNG NƠRON TẾ BÀO CNN

VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH

1 Mục đích và ý nghĩa của đề tài

Mạng nơron nói chung và mạng nơ ron tế bào nói riêng là một lĩnhvực của khoa học trí tuệ nhân tạo, được ứng dụng rộng rãi trong nhiềungành khoa học, kinh tế, giáo dục, y tế, quân sự,…Mạng nơron tế bào đã

mở ra một hướng mới cho sự phát triển của ngành khoa học tính toán Đây

là một lĩnh vực khoa học công nghệ mới mẻ, đầy triển vọng và đa dạngứng dụng Công nghệ mạng nơron tế bào đã tạo điều kiện cho khoa họckhám phá ra cơ chế hoạt động của nhiều tổ chức trong cơ thể con người vàcác quy luật sự sống khác

Với sự phát triển của công nghệ, các ứng dụng của CNN sẽ giảiquyết nhiều vấn đề mà các hệ máy tính hiện hành chưa giải quyết được.Cùng các tính năng vượt trội, một ngày không xa công nghệ CNN sẽ thaythế các ứng dụng của các máy tính hiện hành và thâm nhập vào các hệnhúng, hệ cơ điện tử tạo nên các sản phẩm và hệ thống

Với ý tưởng tiếp cận công nghệ mạng nơron tế bào, theo kịp sự pháttriển của công nghệ thông tin Em đã nghiên cứu, tìm hiểu các ứng dụngcủa mạng CNN nhằm mục đích làm chủ tầm lĩnh vực công nghệ quantrọng này Trong giai đoạn hiện nay, có nhiều ứng dụng mà máy tính sốTuring chưa thực hiện được Đây là vấn đề cần được quan tâm và đầu tưnghiên cứu, đặc biệt chú trọng các nghiên cứu cơ bản về mạng nơron tếbào, cần sớm đưa chương trình đào tạo, mở các môn học mới về tính toán

nơron, công nghệ mạng nơron tế bào vào các trường đại học cho các bậcđào tạo đại học và sau đại học.

2 Mục tiêu của đề tài

* Hiểu được một cách tổng quát về mạng nơron:

 Các cấu trúc cơ bản của mạng nơron nhân tạo

 Các ứng dụng quan trọng của mạng nơ ron

* Nghiên cứu và hiểu cơ sở, cấu trúc, những điểm nổi bật nhất và ứngdụng tiêu biểu nhất của mạng nơron tế bào CNN, nhất là ứng dụng trong

xử lý ảnh, xử lý tiếng nói và xử lý tín hiệu não

- Xây dựng được chương trình mô phỏng sử dụng CNN xử lý ảnh

- Trình bày được hướng phát triển của đề tài

- Hoàn thành luận văn theo đúng qui định

4 Môi trường cài đặt

- Máy tính cài đặt hệ điều hành windows 2k hoặc windows xp

- Cài đặt máy ảo java hoặc phần mềm Matlab

- Thực hiện cài đặt chương trình mô phỏng sử dụng công nghệ CNN vào

xử lý ảnh

5 Thời gian thực hiện: 5 tháng

- Một tháng đầu: Tìm hiểu, nghiên cứu cơ sở lý thuyết về công nghệ mạngnơron tế bào CNN

- Ba tháng sau: Tìm hiểu ứng dụng quan trọng của CNN, khảo sát tình hìnhtriển khai ứng dụng công nghệ CNN vào xử lý ảnh trong nước và trên thếgiới

- Một tháng cuối cùng: Xây dựng chương trình mô phỏng sử dụng CNN xử lýảnh Viết báo cáo và hoàn thiện luận văn

Giáo viên hướng dẫn Sinh viên thực hiện

TS Hà Mạnh Đào Đặng Thị Tho

Mục lục

DANH MỤC CÁC HÌNH VẼ 13

DANH MỤC CÁC BẢNG 15

PHẦN MỘT: GIỚI THIỆU VỀ CÔNG NGHỆ Chương 1 Giới thiệu về mạng nơron nhân tạo 17

1.1 Bộ não và nơron sinh học .17

1.2 Khái quát về mạng nơron nhân tạo 21

1.3 Hai cách nhìn về mạng nơron 22

1.4 Phân loại các mạng nơron 24

1.5 Ứng dụng của mạng nơron nhân tạo 26

Chương 2 Mạng nơron tế bào CNN 27

2.1 Tổng quan về mạng nơron tế bào CNN 27

2.1.1 Giới thiệu về mạng nơron tế bào 27

2.1.2 Khả năng ứng dụng của mạng CNN 30

2.1.3 Tình hình nghiên cứu hiện nay về mạng nơron tế bào CNN 32

2.1.3.1 Một số hướng nghiên cứu trên thế giới 32

2.1.3.2 Tình hình nghiên cứu về công nghệ CNN ở Việt Nam 35

2.2 Cơ sở toán học và hệ động lực trong mạng CNN 37

2.3 Một số phương pháp thiết kế mẫu cho mạng nơron tế bào CNN 42

2.3.1 Mẫu trong CNN 42

2.3.2 Một số phương pháp thiết kế mẫu 44

2.4 Một số ứng dụng tiêu biểu của mạng nơron tế bào 52

2.4.1 Máy tính vạn năng CNN UM 52

2.4.2 Giải phương trình vi phân đạo hàm riêng 55

PHẦN HAI: ỨNG DỤNG MẠNG CNN TRONG XỬ LÝ ẢNH Chương 3 Ứng dụng công nghệ CNN trong xử lý ảnh 60

3.1 Những vấn đề cơ bản trong xử lý ảnh 60

3.1.1 Các giai đoạn xử lý ảnh 60

3.1.2 Phương pháp tạo mẫu ảnh 62

3.2 Một số hạn chế trong xử lý ảnh truyền thống 65

3.3 Ứng dụng CNN để xử lý ảnh 67

3.3.1 Tiền xử lý ảnh 67

3.3.2 Tác vụ hình thái học 68

3.3.3 Đặc trưng của đối tượng ảnh 71

3.3.4 Phân loại ảnh 73

3.4 Khả năng ứng dụng công nghệ xử lý ảnh nhanh CNN trong các ngành công nghiệp 74

Chương 4 Mô phỏng 83

4.1 Giới thiệu về chương trình mô phỏng 83

4.2 Thực hiện quá trình mô phỏng 85

4.2.1 Khởi động chương trình mô phỏng 85

4.2.2 Các thao tác và khả năng của chương trình mô phỏng 86 4.2.2.1 Thay đổi kích thước của CNN 86

4.2.2.2 Đặt các tham số 87

4.2.2.3 Chạy chương trình 89

4.3 Kết quả mô phỏng 90

Chương 5 Kết luận và phương hướng phát triển

5.1 Những kết quả nghiên cứu đạt được 92

5.2 Đánh giá về kết quả chương trình mô phỏng 92

5.3 Hướng phát triển của đề tài 93

TÀI LIỆU THAM KHẢO 94

PHỤ LỤC 96

Lớp CNN.java 103

Lớp CNNimage.java 106

Lớp Template.java 106

Lớp CNNcanvas.java 107

Lớp CNNMath.java 107

Danh mục các hình vẽ

Chương một

1 Hình 1.1 Các thành phần của một nơron 17

2 Hình 1.2 Khớp nối (synapse) 18

3 Hình 1.3 Asimple nơron 21

4 Hình 1.4 Học tham số có giám sát 23

5 Hình 1.5 Mạng nơron truyền thẳng & nhiều lớp 24

6 Hình 1.6 Mạng nơron hồi qui 24

7 Hình 1.7 Sơ đồ hoạt động của một cell 28

Chương hai 1 Hình 2.1 Mạng nơron tế bào 2D, kích thước 4×4 30

2 Hình 2.2 Liên kết cục bộ giữa các tế bào 30

3 Hình 2.3 Ba kiểu lân cận tế bào 37

4 Hình 2.4 Ví dụ về mạch điện của 1 tế bào 39

5 Hình 2.5 Đặc tính của nguồn điều khiển phi tuyến 39

6 Hình 2.6 Sơ đồ khối của hệ động lực tế bào CNN tiêu chuẩn 40

7 Hình 2.7 Một số cửa sổ bảng logic 45

8 Hình 2.8 Cấu trúc máy tính CNN UM 53

Chương ba: 1 Hình 3.1 Các bước cơ bản trong xử lý ảnh .60

2 Hình 3.2 Các thành phần chính của hệ thống xử lý ảnh 61

3 Hình 3.3 Lấy mẫu và lượng hoá 63

4 Hình 3.4 Phương pháp lấy mẫu và lượng tử hoá 64

5 Hình 3.5 Thực hiện erosion và dilation ảnh nhị phân 66

6 Hình 3.6 Lưu đồ xác định diện tích của đối tượng ảnh 73

7 Hình 3.7 Lưu đồ chương trình phân loại DSP 74

8 Hình 3.8 Lưu đồ thuật toán phát hiện sự hình thành tia lửa 76

9 Hình 3.9 Lưu đồ chương trình ứng dụng phân loại thuốc viên chuyển động tốc độ cao sử dụng Bi-i V2 78

10 Hình 3.10 Các kiểu liên kết nơron trong võng mạc & mô hình CNN 79

11 Hình 3.11 Cấu trúc xử lý của một mô hình võng mạc 80

Danh mục các bảng

Bảng 1: So sánh khả năng làm việc với máy tính 23Bảng 2: Bảng về luật cục bộ 46Bảng 3: So sánh nguyên lý hoạt động của máy tính số

và máy tính vạn năng CNN 55Bảng 4: So sánh mạng nơron tế bào (CNN)

và phương trình vi phân đạo hàm riêng PDE 58Bảng 5: Đặc trưng của đối tượng ảnh 71

PHẦN PHẦN 1

GIỚI THIỆU

VỀ CÔNG NGHỆ 

CHƯƠNG 1 GIỚI THIỆU VỀ MẠNG NƠRON NHÂN TẠO

Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn, cho phéptạo ra thiết bị có thể kết hợp khả năng xử lý song song cao của bộ não với tốc độtính toán cao của máy tính Mạng nơron nhân tạo là một nhóm các nơron nhântạo được liên kết với nhau sử dụng các mô hình toán học hoặc các mô hình tínhtoán để xử lý thông tin

Các nơron nhân tạo là các mạch điện tử mô phỏng hoạt động của nơronsinh học, chúng nhận tín hiệu từ nhiều đầu vào khác nhau, tính toán các tín hiệunày và cho tín hiệu đầu ra tương ứng Trước tiên, chúng ta cần xem xét một sốkhái niệm cơ bản, các cấu trúc cơ bản, cũng như cơ chế hoạt động của mạngnơron sinh học

1.1 Bộ não và nơron sinh học

Các nhà nghiên cứu sinh học về bộ não cho ta thấy rằng các nơron (tế bàothần kinh) là đơn vị cơ sở đảm nhiệm những chức năng xử lý nhất định trong hệthần kinh, bao gồm não, tuỷ sống và các dây thần kinh Mỗi nơron sinh học gồm

3 phần (hình 1.1):

- Phần thân (cell body) và nhân (nucleus) bên trong: gọi là soma.

- Một đầu thần kinh ra (gọi là sợi trục axon)

- Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite)

Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân tế bào,chiếm diện tích khoảng 0.25 mm2, còn dây thần kinh ra tạo thành trục dài có thể

từ 1 cm cho đến hàng mét Đường kính của nhân tế bào thường chỉ là 10-4 m.Trục dây thần kinh ra cũng có thể phân nhánh theo dạng cây để nối với các dâythần kinh vào hoặc trực tiếp với nhân tế bào các nơron khác thông qua các khớpnối (gọi là synapse – hình 1.2)

Thông thường, mỗi nơron có thể gồm vài chục cho tới hàng trăm ngànkhớp nối để nối với các nơron khác Người ta ước lượng rằng lưới các dây thầnkinh ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt nơron

Các tín hiệu truyền trong các dây thần kinh vào và dây thần kinh ra củacác nơron là tín hiệu điện và được thực hiện thông qua các quá trình phản ứng vàgiải phóng các chất hữu cơ Các chất này được phát ra từ các khớp nối dẫn tớicác dây thần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào Khi điệnthế này đạt tới một ngưỡng nào đó, sẽ tạo ra một xung điện dẫn tới trục dây thần

Hình 1.2 Khớp nối (Synapse)

kinh ra Xung này được truyền theo trục, tới các nhánh rẽ khi chạm tới các khớpnối với các nơron khác sẽ giải phóng các chất truyền điện Người ta chia làm hailoại khớp nối: khớp nối kích thích (excitatory) hoặc khớp nối ức chế (inhibitory).

Phát hiện quan trọng nhất trong ngành nghiên cứu về bộ não là các liên kếtkhớp thần kinh khá mềm dẻo, có thể biến động và chỉnh đổi theo thời gian tuỳthuộc vào các dạng kích thích Hơn nữa, các nơron có thể sản sinh các liên kếtmới với các nơron khác và đôi khi, lưới các nơron có thể di trú từ vùng này sangvùng khác trong bộ não Các nhà khoa học cho rằng đây chính là cơ sở quantrọng để giải thích cơ chế học của bộ não con người

Phần lớn các quá trình xử lý thông tin đều xảy ra trên vỏ não, mỗi vùngnão đều có những chức năng nhất định Người ta thấy các nơron rất đơn giảntrong cơ chế làm việc, nhưng mạng các nơron liên kết với nhau lại có khả năngtính toán, suy nghĩ, ghi nhớ và điều khiển Ta có thể thấy chức năng cơ bản của

bộ não như sau:

- Bộ nhớ được tổ chức theo các bó thông tin và truy nhập theo nội dung

- Bộ não có khả năng tổng quát hoá, có thể truy xuất các tri thức hay cácmối liên kết chung của các đối tượng tương ứng với một khái niệmchung nào đó

- Bộ não có khả năng sửa sai, theo nghĩa có thể điều chỉnh hoặc tiếp xúcthực hiện ngay khi có những sai lệch do thông tin bị thiếu hoặc khôngchính xác Ngoài ra, bộ não còn có thể phát hiện và phục hồi các thôngtin bị mất dựa trên sự tương tự giữa các đối tượng

- Bộ não có khả năng xuống cấp và thay thế dần dần Khi có những trụctrặc tại vùng não (do bệnh, chấn thương) hoặc bắt gặp những thông tinhoàn toàn mới lạ, bộ não vẫn có thể tiếp tục làm việc

- Bộ não có khả năng học.

So sánh khả năng làm việc của bộ não với máy tính

Bảng 1:

Máy tính Bộ não người

Đơn vị tính toán Bộ xử lý trung tâm với 105

mạch logic cơ sở

Mạng 1011 nơron

Bộ nhớ 109 bit RAM 1011 nơron

1010 bit bộ nhớ ngoài 1014 khớp nối thần kinh Thời gian xử lý 10-8 giây 10-3 giây

Thông lượng 109 bit/giây 1014 bit/giây

Cập nhật thông tin 105 bit/giây 1014 nơron/giây

Dễ dàng thấy rằng bộ não người có thể lưu giữ nhiều thông tin hơn cácmáy tính hiện đại Tuy nhiên điều này không phải đúng mãi, bởi lẽ bộ não tiếnhoá chậm, trong khi đó nhờ những tiến bộ trong công nghệ vi điện tử, bộ nhớmáy tính được nâng cấp rất nhanh Hơn nữa sự hơn kém về bộ nhớ trở nên hoàntoàn thứ yếu so với sự khác biệt về tốc độ tính toán và khả năng xử lý song song.Các bộ vi xử lý có thể tính 108 lệnh trong một giây, trong khi đó mạng nơron não

bộ xử lý chậm hơn, cần khoảng vài miligiây để kích hoạt Tuy nhiên, bộ não cóthể kích hoạt hầu như cùng một lúc tại rất nhiều nơron và khớp nối, trong khi đóngay cả máy tính hiện đại cũng chỉ có một số hạn chế các bộ vi xử lý song song.Nếu chạy một mạng nơron nhân tạo trên máy tính, phải tốn hàng trăm lệnh máy

để kiểm tra một nơron có được kích hoạt hay không (tiêu phí khoảng 10-8.102

giây/nơron) Do đó, dù bộ vi xử lý có thể tính toán nhanh hơn hàng triệu lần sovới các nơron bộ não, nhưng xét tổng thể bộ não lại tính toán nhanh hơn hàng tỷlần

Như vậy cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn chophép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc

độ tính toán cao của máy tính

1.2 Khái quát về mạng nơron nhân tạo

Mạng nơron nhân tạo (Artificial Neural Network) gọi tắt là MMR baogồm các nút (đơn vị xử lý, nơron) được nối với nhau bởi các liên kết nơron Mỗiliên kết kèm theo một trọng số nào đó, đặc trưng cho đặc tính kích hoạt/ức chếgiữa các nơron Có thể xem các trọng số là phương tiện để lưu giữ thông tin dàihạn trong mạng nơron và nhiệm vụ của quá trình huấn luyện (học) mạng là cậpnhật các trọng số khi có thêm các thông tin về các mẫu học, hay nói một cáchkhác, các trọng số được điều chỉnh sao cho dáng điệu vào ra của nó mô phỏnghoàn toàn phù hợp môi trường đang xét Mạng nơron có thể học từ dữ liệu mẫu

và tổng quát hoá dựa trên các dữ liệu mẫu học Trong mạng nơron, các nơronđón nhận tín hiệu vào gọi là nơron vào và các nơron đưa thông tin ra gọi là nơronra

Ta có thể thấy mạng nơron nhân tạo là một thiết bị với nhiều đầu vào vàmột đầu ra như sau (hình 1.3)

X1 X2

Xn

Hình 1.3 A simple nơron

Mạng nơron như một công cụ tính toán:

Giả sử mạng nơron NN có m nơron vào và n nơron ra, khi đó với mỗi véc

tơ các tín hiệu vào X = (x1,…,xm), sau quá trình tính toán tại các nơron ẩn, tanhận được kết quả ra Y = (y1,…,yn) Theo nghĩa nào đó mạng nơron làm việcnhư 1 bảng tra mà không cần biết dạng phụ thuộc hàm tường minh giữa Y và X:

Y = Tinh (X, NN)Các nơron trên cùng một lớp có thể tính toán đồng thời, do vậy độ phứctạp tính toán nói chung sẽ phụ thuộc vào số lớp mạng

Các thông số cấu trúc mạng nơron bao gồm:

+ Số thông số cấu trúc mạng nơron

+ Số lớp nơron

+ Số nơron trên mỗi lớp ẩn

+ Số lượng liên kết của mỗi nơron (liên kết đầy đủ, liên kết bộ phận vàliên kết ngẫu nhiên)

+ Các trọng số liên kết nơron

 Mạng nơron có khả năng học

Mạng nơron như một hệ thống thích nghi có khả năng học (huấn luyện)

để tinh chỉnh các trọng số liên kết cũng như cấu trúc của mình sao cho phù hợpvới các mẫu học (samples) Người ta phân biệt ba loại kỹ thuật học:

 Học có giám sát (supervised learning) hay còn gọi là học cóthầy

 Học không có giám sát (unsupervised learning) hay còn gọi làhọc không có thầy

 Học tăng cường

Trong học có giám sát, mạng được cung cấp một tập mẫu học {(Xs, Ys)}theo nghĩa Xs là các tín hiệu vào, thì kết quả ra đúng của hệ phải là Ys Ở mỗi lầnhọc, véc tơ tín hiệu vào Xs được đưa vào mạng, sau đó so sánh sự sai khác giữacác kết quả ra đúng Ys, với kết quả tính toán outs Sai số này sẽ được dùng đểhiệu chỉnh lại các trọng số liên kết trong mạng Quá trình cứ tiếp tục cho đến khithoả mãn một tiêu chuẩn nào đó Có hai cách sử dụng tập mẫu học: hoặc dùngcác tập mẫu lần lượt, hết mẫu này đến mẫu khác, hoặc sử dụng đồng thời tất cảcác mẫu một lúc Các mạng với cơ chế học không giám sát được gọi là các mạng

tự tổ chức Các kỹ thuật học trong mạng nơron có thể nhằm vào hiệu chỉnh cáctrọng số liên kết (gọi là học tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạngbao gồm số lớp, số nơron, kiểu và trọng số các liên kết (gọi là học cấu trúc) Cảhai mục đích học này có thể thực hiện đồng thời hoặc tách biệt

- Học tham số: Giả sử có k nơron trong mạng và mỗi nơron có đúng 1

liên kết vào với các nơron khác Khi đó, ma trận trọng số liên kết W sẽ có kíchthước kxl Các thủ tục học tham số nhằm mục đích tìm kiếm ma trận W sao cho:

Ys = Tinh (Xs, W) đối với mọi mẫu học S = (Xs, Ys)

- Học cấu trúc: Với học tham số ta giả định rằng mạng có một cấu trúc

cố định Việc học cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm ra số lớpcủa mạng và số nơron trên mỗi lớp

Hình 1.6 Mạng nơron hồi qui

1.4 Phân loại các mạng nơron

- Theo kiểu liên kết nơron: Ta có mạng nơron truyền thẳng (feel-forward

Neural Network) và mạng nơron qui hồi (recurrent NN) Trong mạng nơrontruyền thẳng, các liên kết nơron đi theo một hướng nhất định, không tạo thành đồthị không có chu trình (Directed Acyclic Graph) với các đỉnh là các nơron, cáccung là các liên kết giữa chúng Ngược lại, các mạng qui hồi cho phép các liênkết nơron tạo thành chu trình Vì các thông tin ra của các nơron được truyền lạicho các nơron đã góp phần kích hoạt chúng, nên mạng hồi qui còn có khả nănglưu giữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng

số liên kết nơron

- Theo số lớp: Các nơron có thể tổ chức lại thành các lớp sao cho mỗi nơron

của lớp này chỉ được nối với các nơron ở lớp tiếp theo, không cho phép các liênkết giữa các nơron trong cùng một lớp, hoặc từ nơron lớp dưới lên nơron lớptrên Tuy nhiên cũng không cho phép các liên kết nơron nhảy qua một lớp

Dễ thấy các nơron cùng một lớp nhận được tín hiệu từ lớp trên cùng mộtlúc, do vậy về nguyên tắc chúng có thể xử lý song song Thông thường, lớpnơron vào chỉ chịu trách nhiệm truyền tín hiệu vào, không thực hiện một tínhtoán nào nên khi tính số lớp của mạng, người ta không tính lớp vào Ví dụ, mạngnơron ở hình 1.5 có hai lớp: một lớp ẩn và một lớp ra.

Ngoài ra còn nhiều hệ nơ ron khác như: Hệ nơ ron- mờ, hệ mờ- nơron, hệnơron-gen, Và đặc biệt gần đây nhất là sự phát minh ra mạng nơron tế bào(CNN) Phát kiến này đã đánh dấu một sự phát triển mới của khoa học mạngnơron Mạng nơron tế bào cho phép thực hiện trên các chíp (CNN chip), chophép tạo ra thế hệ máy tính mới xử lý song song tín hiệu tượng tự với tốc độ vàhiệu quả mà không một máy tính tuần tự nào hiện nay có thể sánh được Đặc biệtCNN đã mở ra một chân trời mới, một thời kỳ mới- thời kỳ ứng dụng mạnh mẽmạng nơ ron trong thực tế

1.5 Ứng dụng của mạng nơron nhân tạo

Mạng nơron nhân tạo ngày càng trở nên hoàn thiện và được ứng dụngtrong nhiều ngành, nhiều lĩnh vực khác nhau như:

CHƯƠNG 2 MẠNG NƠRON TẾ BÀO CNN

2.1 Tổng quan về mạng nơ ron tế bào

2.1.1 Giới thiệu về mạng nơ ron tế bào

Mạng nơron tế bào (CNN- Cellular Neural Network) được giới thiệu lầnđầu tiên bởi hai nhà khoa học Dr.Leon Chua và Dr.Lin Yang, trường đại họcCalifornia, Berkeley vào năm 1988 Sau khi ra đời, CNN đã mở ra một hướngnghiên cứu mới trong lĩnh vực mạng nơron nhân tạo, thu hút rất nhiều nhà khoahọc, nhiều Viện, nhiều Trung tâm lớn trên thế giới tham gia nghiên cứu

Như ta đã biết, các tín hiệu trong tự nhiên đều dưới dạng liên tục và các

“máy tính nơron” trong cơ thể sinh vật xử lý các dòng tín hiệu liên tục này khôngphải bằng phương pháp số hoá Hệ nơron tính toán (Neuro-Computing) ở cácsinh vật sống thường xử lý mảng tín hiệu tương tự (analog) có tính liên tục vềthời gian và biên độ Cấu trúc gồm nhiều lớp mảng 2D nơron với các kết nốimạng cục bộ (local) là chủ yếu Các nơron được tích hợp với các tế bào cảm biến

và các tế bào tác động Các nơron hoạt động với độ trễ thay đổi và có cả cơ chếhoạt động dạng sóng kích hoạt Các dữ liệu và sự kiện là các mảng tín hiệu phụthuộc cả không gian và thời gian

Rõ ràng với tính chất cơ bản nêu trên máy tính số hiện nay khó có thể tiếpcận đến khả năng xử lý của các sinh vật sống Để có thể chế tạo được hệ thốngđiện tử có khả năng tính toán tương tự như hệ nơron tính toán này, đòi hỏi taphải thay đổi về kiến trúc máy tính, về thuật toán, về công nghệ và khả năng xử

lý song song của hàng vạn hoặc hàng triệu bộ xử lý trên một chíp Mạng nơron tế

bào CNN (Cellular Neural Network) là một giải pháp mở đầu cho loại máy tínhvạn năng xử lý dòng mảng dữ liệu đầy tiềm năng này.

Ở Việt Nam, lĩnh vực này còn mới mẻ và chưa được nghiên cứu nhiều.Trong khi đó đã có rất nhiều các cuộc hội thảo quốc tế về CNN với sự tham giacủa hàng trăm nhà nghiên cứu về CNN trên thế giới, việc ứng dụng công nghệmạng nơron tế bào vào xử lý ảnh tốc độ cao trong công nghiệp cũng đã đượcnhiều nhóm nghiên cứu trên thế giới triển khai

Ta có thể thấy sơ đồ hoạt động của một tế bào CNN như hình 1.7 dưới đây

CNN là một hệ xử lý song song có khả năng xử lý 1012 phép tính/giâyvới hàng chục ngàn CPU tích hợp song song trên một chíp duy nhất và các ứngdụng công nghệ này cho phép giải quyết nhiều bài toán xử lý thời gian thực màcác máy tính số hiện hành chưa thực hiện được Mạng nơron tế bào là nền tảngcho sự ra đời của máy tính đa năng CNN-UM (CNN-Universal Machine), có thểgiải hệ phương trình phi tuyến đạo hàm riêng trong miền không gian, thời gian

cỡ miligiây, với tốc độ chính xác 7-8 bít Một ứng dụng tiêu biểu khác của CNN

là máy tính xử lý ảnh nhanh có tốc độ xử lý trên 10 000 ảnh/giây

Thành phần mạch cơ bản của mạng nơron tế bào là tế bào Cấu trúc củamạng nơron tế bào tương tự như cơ chế hoạt động trong tế bào sinh vật, bất kỳmột tế bào nào trong mạng đều chỉ được nối với các tế bào lân cận với nó.Những tế bào liền kề có thể ảnh hưởng lẫn nhau trực tiếp với những tế bào khác.Những tế bào không nối trực tiếp với nhau có thể có những tác động tới những tếbào gián tiếp khác thông qua hiệu ứng lan truyền của tính động liên tục theo thờigian của mạng

Về mặt lý thuyết, chúng ta có thể định nghĩa một mạng nơron tế bào vớikích thước tuỳ ý, nhưng để dễ dàng theo dõi ta chỉ tập trung vào CNN hai chiềunhằm vào lĩnh vực xử lý ảnh Các kết quả có thể khái quát được trong các trườnghợp nhiều chiều hơn CNN được định nghĩa là một mảng 2,3 hoặc n chiều củacác hệ thống động học gần như giống hệt nhau, gọi là các tế bào (cell), thoả mãnhai điều kiện:

 Hầu hết các tương tác là cục bộ trong một bán kính r xác định

 Tất cả các biến trạng thái là các tín hiệu liên tục

Mạng CNN có thể là mạng đơn lớp hoặc đa lớp Một lớp đơn chứa các tếbào Cij trong đó i, j là hàng và cột Về lý thuyết ta có thể định CNN với số chiềubất kỳ, một ví dụ về một CNN hai chiều được thể hiện như mô tả trong hình dướiđây

Chức năng cơ bản của mạng nơron tế bào cho quá trình xử lý ảnh chính làánh xạ hay chuyển đổi ảnh đầu vào sang ảnh đầu ra tương ứng Nếu thấy ảnh đầu

ra là ảnh nhị phân với giá trị điểm ảnh là -1; 1, thì ảnh đầu vào có thể có nhiềumức xám quy định điện áp tương ứng của nó Điều này có nghĩa là mạng nơron

tế bào xử lý ảnh phải luôn luôn hội tụ về trạng thái bền là hằng số sau mộtkhoảng thời gian quá độ khi khởi tạo hoặc có hình ảnh đầu vào

Các ứng dụng của xử lý ảnh tốc độ cao: đây là nhóm ứng dụng chủ yếutrong nhiều lĩnh vực của cuộc sống mà các hệ camera thông thườngkhông đáp ứng được.

Các ứng dụng đòi hỏi xử lý dữ liệu lớn trong thời gian thực như: giảiphương trình vi phân đạo hàm riêng (PDE), tạo sóng phi tuyến, xử lý

dòng tín hiệu video (On-the-fly analog video signal processing) v.v…

Một số ứng dụng của mạng CNN theo các lĩnh vực ứng dụng được liệt kênhư sau:

 Trong các ngành công nghiệp:

+ Phân tích bề mặt nhãn in, dệt, phân tích kết cấu sợi (Texture

analysis) tốc độ cao, kiểm tra lỗi và vị trí lỗi của các sản phẩm,

các nhãn, rubăng, vải… ngay trong quá trình sản xuất

+ Kiểm tra bề mặt (Surface inspection) trong công nghiệp chế

tạo giấy, nhôm, thép Ví dụ như kiểm tra các chỗ rối, các chỗrách, hỏng, những chỗ nhăn, các vết đen của giấy có thể đượcnhận dạng và xác định vị trí trong quá trình sản xuất Tuy nhiênđây là những kiểm tra không tiếp xúc

+ Phát hiện ánh sáng có thời gian tồn tại ngắn: dùng khi cầnkiểm tra độ cách điện cho sứ ở điện áp cao, cũng như kiểm traxuất hiện tia lửa điện khi đóng điện

+ Phân tích hình dáng và kích thước: kiểm tra, phân loại sốlượng lớn các vật nhỏ, như các viên thuốc, hạt ngũ cốc, hoa quả,các đai ốc, đinh ốc,… Tìm các mảnh vụn kim loại trong dầu bôitrơn trong các động cơ máy bay vận tải cỡ lớn Trong quá trìnhlàm việc, từ các chi tiết truyền động cơ khí có thể bong ra các

mảnh vỡ kim loại Cần phân biệt các mảnh vỡ này với bọt củadầu chuyển động bôi trơn và xác định số lượng chúng Từ đó cho

ra quyết định cảnh báo cho hệ thống và quyết định có nên thaydầu hay không

+ Giám sát tốc độ và kích thước các vật chuyển động tốc độ cao.+ Trong công nghiệp chế tạo ô tô: dùng làm các sensor phân tíchtình huống trong chế độ thời gian thực, làm sensor thông minhđiều khiển các túi khí bảo vệ, các gương chiếu hậu thông minh

 Trong y tếPhân tích thời gian thực chuỗi DNA, điện tâm đồ 2D thời gianthực, điện tâm đồ 3D trực tuyến, chế tạo mắt nhân tạo (dự kiếnnăm 2015 sẽ làm ra mắt nhân tạo sử dụng công nghệ CNN), xúcgiác nhân tạo v.v…

 Trong quân sự+ Sử dụng trong các thiết bị không người lái+ Các hệ nhận dạng bám đa mục tiêu di động Có thể thực hiệnhợp nhất các ảnh từ nhiều nguồn camera khác nhau trong thờigian thực, phát hiện mục tiêu di động, nhận dạng đa mục tiêutrong lĩnh vực giám sát và an ninh

+ Phân tích địa hình thời gian thực…v.v…

2.1.3.1 Một số hướng nghiên cứu CNN trên thế giới

Do tiềm năng về năng lực tính toán và khả năng ứng dụng rộng rãi trongnhiều lĩnh vực của cuộc sống, công nghệ CNN đã ngày càng thu hút được sựquan tâm của nhiều nhà nghiên cứu khoa học trên thế giới Các hướng nghiên

cứu trong thời gian tới về công nghệ CNN vẫn bao gồm cả lý thuyết và côngnghệ, cả cơ bản và ứng dụng Các nghiên cứu cơ bản đang được chú ý là khảosát độ ổn định của mạng CNN nhiều lớp, các mạng CNN có trễ, các phươngpháp nhận dạng trên cơ sở các tính chất lan truyền của sóng, các nghiên cứu vềthiết kế các mẫu trọng số tối ưu, các phương pháp giải phương trình vi phân đạohàm riêng dùng mạng CNN vv…

Liên quan đến lĩnh vực công nghệ đáng chú ý nhất là việc tích hợp chípCNN với các cảm biến địa hình (Topographic sensor) như cảm biến thị giác, xúcgiác, nhiệt độ và âm thanh cho ta các máy tính cảm biến (Sensor Computer)

Công nghệ CNN với thị giác và xúc giác nhân tạo

Khi kết hợp cảm biến thị giác với mạng nơron tế bào ta được một chíp vi xử

lý thị giác là cốt lõi của máy tính CNN thị giác Khác với các camera thông minhhiện hành, chíp vi xử lý thị giác CNN có khả năng lập trình tới từng pixel chocác bài toán xử lý ảnh phức tạp với tốc độ cao Trước đây cơ chế hoạt động ởphần trong của mắt còn là vấn đề bí hiểm đối với các nhà thần kinh học Trongkhi đó các kỹ sư điện tử với sự say mê khám phá đã phát triển một số mô hìnhcon ngươi bằng công nghệ bán dẫn Bản chất của các mô hình này là mạng CNNnhiều lớp có các kết nối cục bộ trong từng lớp (là chính) và một số ít kết nối giữacác lớp Các lớp mảng CNN có hệ số sóng lan truyền và hằng số thời gian khácnhau Các thực nghiệm với mô hình mắt 3 lớp với khoảng 5 tham số kết nối giữacác lớp đã cho ta khả năng tạo hầu hết các hiệu ứng sóng thường gặp

Các mảng cảm biến xúc giác thường được chế tạo bởi công nghệ MEMS.Việc kết hợp với mạng nơron tế bào CNN cho phép tạo ra nhiều cảm biến xúcgiác Hệ thống xúc giác ở đầu ngón tay chúng ta có các mảng cảm nhận với môhình xử lý 4 kênh Bốn kênh này có các đặc tính phụ thuộc không gian - thời

gian khác nhau Vấn đề khó trong chế tạo cảm biến xúc giác là tại mỗi điểm cảmứng taxel (tactile cell) phải đo được 3 thành phần của véc tơ áp lực tác động lênđiểm đó Mô hình cảm biến xúc giác CNN đầu tiên được nghiên cứu chế tạo tạiViện Vật lý và Vật liệu thuộc Viện hàn lâm khoa học Hungary bằng công nghệMEMS.

Sử dụng công nghệ FPGA cho chế tạo các mạng nơron tế bào có khả năngtái cấu hình cũng là một hướng nổi trội hiện nay Mạng CNN đầu tiên được chếtạo theo công nghệ này là mô hình mắt nhân tạo (retina) với 10 lớp mạng CNN

Các nguyên lý CNN trong quang học và công nghệ Nano

Cơ chế hoạt động của mạng nơron tế bào có nhiều điểm tương đồng với cáctính chất giao thoa, lan truyền của ánh sáng dẫn ta đến ý tưởng chế tạo các máytính quang học Ta biết trong quang học tác động tương quan giữa hai nguồn ánhsáng có thể thực hiện được tức thì ở tốc độ ánh sáng Nếu một nguồn sáng đóngvai trò như một mẫu có khả năng lập trình và nguồn thứ hai là chuỗi ảnh cần xử

lý ta sẽ có một máy tính xử lý ảnh quang học Máy tính quang học đầu tiênPOAC (Programable Opto-electronic Analogic CNN Computer) đã được chế tạothử nghiệm tại Budapest Hungary sử dụng 2 nguồn laser ánh sáng và một phim(bacterio-radiopsine) tạo nên một van ánh sáng có khả năng lập trình

Có thể khẳng định kiến trúc xử lý của mạng nơron tế bào sẽ đóng vai tròquan trọng trong các hệ nano cơ điện tử Ta có thể sử dụng các cấu trúc nanothân thiện, các kết nối (kể cả MEMS và NEMS), và tích hợp các chức năngtruyền thông (communication- ví dụ sử dụng các hệ truyền dữ liệu không dâyquang học MEMS) và chức năng chấp hành vào máy tính CNN Như vậy ta sẽ

có một hệ nano có khả năng cộng sinh với môi trường qua các chức năng cảmnhận, tác động và truyền thông

Nghiên cứu, đào tạo về mạng nơron tế bào

Mạng nơron tế bào đã được đưa vào chương trình đạo tạo ở nhiều trườngđại học hàng đầu ở Mỹ, Nhật, Tây âu, Hungary, Hàn quốc, Đài loan, Trungquốc…Nhiều bộ môn tính toán nơron (Neuro Computing) được hình thành vàđào tạo các bậc đại học và sau đại học kể cả đào tạo thác sỹ và tiến sỹ Các giáotrình đào tạo về công nghệ CNN được soạn thảo công phu và xuất bản bằngnhiều thứ tiếng Hàng năm số lượng sinh viên tốt nghiệp cao học và tiến sỹ vềmạng nơron tế bào ngày càng tăng với nhiều công trình nghiên cứu được công

bố trong các hội nghị quốc tế về CNN tổ chức hàng năm, chứng tỏ sự phát triểnkhông ngừng về lĩnh vực này

2.1.3.2 Tình hình nghiên cứu về công nghệ CNN ở Việt Nam

Công nghệ mạng nơron tế bào CNN cũng sớm được tiếp cận và triển khainghiên cứu ở Việt Nam, trong đó Viện Công nghệ thông tin- Viện Khoa học &Công nghệ Việt nam là đơn vị tiên phong đi đầu

Hơn một năm qua Viện công nghệ thông tin đã có nhiều nghiên cứu vềcông nghệ mạng nơron tế bào trên cơ sở hợp tác quốc tế qua đường nghị địnhthư với Viện nghiên cứu máy tính và tự động hoá của Viện Hàn lâm khoa họcHungary (MTA SzTAKI) Với sự hỗ trợ của Viện sỹ Roska Tamás thuộc phòngthí nghiệm tính toán nơron và tương tự số của Viện SzTAKI và là người đồngphát minh ra máy tính CNN vạn năng, Viện công nghệ thông tin đã tiếp cận vàlàm chủ được công nghệ CNN mới mẻ này Các kết quả nghiên cứu đạt đượctrong thời gian vừa qua tập trung vào các vấn đề sau đây:

Về nghiên cứu cơ bản:

 Nghiên cứu về cơ sở toán học của mạng nơron tế bào CNN, cấu trúcđộng lực học phi tuyến và độ ổn định toàn cục của mạng CNN

 Nghiên cứu các mẫu ma trận trọng liên kết (A, B, z) phương phápthiết kế các mẫu cho mạng CNN.

 Nghiên cứu các phương pháp giải phương trình vi phân đạo hàmriêng sử dụng mạng nơron tế bào

 Nghiên cứu các phương pháp thu thập, nhận dạng và bám đa mụctiêu di động trong thời gian thực sử dụng mạng CNN

 Nghiên cứu mô hình mắt nhân tạo

 Nghiên cứu các phương pháp thu thập và xử lý ảnh tốc độ cao sửdụng máy tính thị giác Bi-I

Về nghiên cứu thực nghiệm

 Nghiên cứu các công cụ và phương pháp lập trình phát triển các hệ

xử lý ảnh tốc độ cao trên máy tính thị giác CNN Bi-I.V.2

 Nghiên cứu phát triển các mô hình thu thập ảnh tốc độ cao

>10000fps phục vụ cho nghiên cứu và đào tạo:

 Mô hình cắt mẫu và phân tích tia lửa điện

 Mô hình quan sát quá trình nổ

 Nghiên cứu thử nghiệm quá trình nhận dạng xử lý ảnh tốc độ cao:

 Mô hình nhận dạng lỗi thuốc viên

 Mô hình nhận dạng lỗi đường sắt

 Mô hình nhận dạng vân tay

 Nghiên cứu các khả năng ứng dụng công nghệ CNN và Bi-I trongcông nghiệp và quốc phòng

Như em được biết hiện nay nhóm nghiên cứu về công nghệ CNN đã cóhơn 10 thành viên trong đó có 4 nghiên cứu sinh đang tiến hành các nghiến cứu

cơ bản về công nghệ CNN Hy vọng trong thời gian sắp tới công nghệ CNN sẽđược chính thức đưa vào nghiên cứu ở tất cả các trường đại học trên đất nước.

Đặc điểm mấu chốt của mạng nơron là xử lý song song không đồng bộ,liên tục và ảnh hưởng toàn cục của các phần tử mạng

Ta xét một mạng nơron tế bào M×N có M×N tế bào, trong đó tế bào ởhàng thứ i, cột thứ j gọi là tế bào C (i, j) Hình 2.1 là ví dụ về 1 mạng nơron tếbào 2D kích thước 4×4

Định nghĩa lân cận r

Vùng lân cận r của tế bào C(i, j) trong mạng nơron tế bào 2D kích thướcM×N được định nghĩa là:

Nr (i, j) = {C(k, l) | max {|k-i|, |l-j|} ≤ r; 1 ≤ k ≤ M; 1 ≤ l ≤ N} (1)

• Hình 2.3 sau đây thể hiện ba kiểu lân cận của cùng một tế bào với r =1;2;

nguồn điều khiển tuyến tính, phi tuyến và các nguồn độc lập Mỗi tế bào trongCNN chỉ kết nối tới các tế bào láng giềng Các tế bào liền kề có thể ảnh hưởngtrực tiếp tới nhau Các tế bào không liên kết trực tiếp có thể tác động đến các tếbào khác gián tiếp bởi sự tác động lan truyền của mạng CNN.

• Nhìn vào hình 2.2 ta thấy mỗi một tế bào Cij có các tế bào láng giềng Ckl

được định vị trong phạm vi lân cận Sij(r) có bán kính r, tâm ở tế bào Cij, mà r làmột số nguyên dương Mỗi một tế bào là một bộ xử lý với các giá trị tín hiệuthực đầu vào uij(t), trạng thái xij(t), và đầu ra yij(t) Hệ động lực tế bào đơn giản nhất gọi là phương trình CNN tiêu chuẩn được mô tả như sau:

Trong đó zij được gọi là ngưỡng của tế bào Cij ; A(ij;kl) và B(ij;kl) là cáctrọng liên kết hồi tiếp và dẫn nhập Trong trường hợp r=1 chúng là những matrận 3×3 Tín hiệu trạng thái và tín hiệu đầu ra của mỗi tế bào có quan hệ phituyến được mô tả trong phương trình sau:

Yij = f(xij) = ½ ( |xij + 1| - |xij – 1| ) (3)

Hình 2.4 sau đây chính là một ví dụ về mạch điện của một tế bào Trong đó u, x,

y biểu thị đầu vào, trạng thái và đầu ra

xij = - xij + zij + ∑ A(ij;kl).ykl + ∑ B(ij;kl).ukl (2)

CklЄSij(r) CklЄSij(r)

Trong mạch điện tế bào: u, x, y biểu thị đầu vào, trạng thái và đầu ra Nútđiện áp vxij của C(i, j) là trạng thái của tế bào với điều kiện ban đầu của nó cóbiên độ giả định nhỏ hơn hay bằng 1 Nút điện áp vuij là đầu vào của C(i, j), giảđịnh là hằng số có biên độ nhỏ hơn hay bằng 1 Nút điện áp vuij là đầu ra C là tụtuyến tính Rx, Ru, Ry là những điện trở tuyến tính, I là nguồn áp độc lập, Ixy(i, j, k,l) và Ixu(i, j, k, l) là những nguồn dòng tuyến tính điều khiển được với đặc tính

Ixy(i, j, k, l) = A(i, j, k, l)v ykl và I xu (i, j, k, l) = B(i, j, k, l)v ukl với tất cả các C(i, j) Є N(i,j); I yx = (1/Ry) f(v xyj ) là nguồn dòng tuyến tính một phần điều khiển được, đặctính phi tuyến của nó là hàng f(.) được mô tả như hình 2.5 Eij là nguồn áp độclập

Tất cả các nguồn dòng tuyến tính và tuyến tính từng phần trong mạngnơron tế bào có thể dễ dàng thực hiện nhờ việc sử dụng các bộ khuyếch đại thuậttoán.

+ Phương trình trạng thái của một tế bào CNN biểu diễn dưới dạng phương trình

vi phân phi tuyến bậc nhất:

trong đó 1 ≤ i ≤ M; 1 ≤ j ≤ N

+ Phương trình đầu ra của mỗi tế bào:

Vyij(t) = ½ ( |vxij(t) + 1| - |vxij(t) – 1| ); trong đó 1 ≤ i ≤ M; 1 ≤ j ≤ N (5)

+ Phương trình đầu vào:

vuij = Eij , 1 ≤ i ≤ M; 1 ≤ j ≤ N (6)

+ Điều kiện ràng buộc:

|vxij(0)| ≤ 1, 1 ≤ i ≤ M; 1 ≤ j ≤ N (7)

|v uij | ≤ 1 , 1 ≤ i ≤ M; 1 ≤ j ≤ N (8)

+ Giả thiết các thông số là:

A(i, j;k, l) = A(k, l;i, j) ; 1 ≤ i ≤ M; 1 ≤ j ≤ N; (9)

= - vxij(t) + ∑ A(i, j;k, l)vykl(t)

C (k,l) Є Nr(i,j) ∑ B(i, j;k, l)vukl(t)