Mạng nơron hopfield cho bài toán biến đổi AD

Sơ đồ cấu trúc mạng Hopfield có 4 nút Các nút trong mạng Hopfield là những nút ngưỡng có dạng nhị phân, tức là các nút này chỉ có hai giá trị khác nhau biểu hiện trạng thái và giá trị nà

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

KHOA CÔNG NGHỆ THÔNG TIN

- -

BÁO CÁO CHUYÊN ĐỀ TỐT NGHIỆP PHÁT TRIỂN HỆ THỐNG DỰA TRÊN TRI THỨC TÊN ĐỀ TÀI: MẠNG NƠ RON HOPFIELD CHO BÀI

TOÀN BIẾN ĐỔI A/D

Giảng viên hướng dẫn: Nguyễn Quang Hoan

Nhóm 2.7

Sinh viên thực hiện:

Đinh Thị Hải Yến B12DCCN264

Nguyễn Thị Tuyền B12DCCN357

Mục lục

I Giới thiệu chung 3

II Tìm hiểu mạng nơ ron Hopfield 3

1 Khái niệm mạng nơ ron Hopfiled 3

2 Cấu trúc mạng Hopfiled 4

3 Sự ổn định mạng 5

4 Mạng hopfiled nhị phân ( rời rạc)[7] 6

5 Mạng hopfiled liên tục 7

6 Khả năng ứng dụng giải quyết bài toán biến đổi A/D 8

III Ứng dụng mạng nơ ron Hopfield cho bài toán biến đổi A/D 8

Mạng hopfield cho bài toán biến đổi tối ưu 8

Ví dụ 1 9

Ví dụ 2 11

IV Các nghiên cứu biến đổi A/D dựa vào mạng nơ ron Hopfield trên thế giới 14

1 Tạp chí quốc tế nghiên cứu ứng dụng và robotics trên máy tính [5] 14

2 Tối ưu hóa mạng nơ ron: An A/D Converter, Signal Decision Circuit, and ‘a Linear Programming Circuit [6] 18

V Kết luận 18

VI Tài liệu tham khảo 19

I Giới thiệu chung

Một trong các mạng neuron hồi quy được báo cáo sớm nhất là mạng trợ giúp tự động được mô tả độc lập bởi Anderson [1] và Kohoen [4] năm 1977 Nó bao gồm một nhóm các neuron được kết nối với nhau, giữa các kết nối được thiết lập trọng Năm 1982,

Hopfield [3] tập hợp một số nghiên cứu trước đó và trình bày phân tích toán học hoàn chỉnh dựa trên các mô hình Ising spin [2] để cho ra đời mạng Hopfield Các mạng

Hopfield sử dụng cả hai quá trình truyền thẳng và phản hồi Sau khi quá trình phản hồi được thực hiện, nhìn chung trong các trường hợp sự ổn định của mạng là không được đảm bảo Do đó việc thiết kế mạng Hopfield phải đảm bảo được sự ổn định trong những thiết lập của nó

II Tìm hiểu mạng nơ ron Hopfield

1 Khái niệm mạng nơ ron Hopfiled

Mạng Hopfield là một dạng mạng nơ-ron nhân tạo học định kỳ do John Hopfield sáng

chế Mạng Hopfield đóng vai trò như các hệ thống bộ nhớ có thể đánh địa chỉ nội

dung với các nút ngưỡng dạng nhị phân Chúng được bảo đảm sẽ hội tụ về một cực tiểu cục bộ, nhưng không đảm bảo sẽ hội tụ về một trong các mẫu được lưu trữ

2 Cấu trúc mạng Hopfiled

Hình 1 Sơ đồ cấu trúc mạng Hopfield có 4 nút Các nút trong mạng Hopfield là những nút ngưỡng có dạng nhị phân, tức là các nút này chỉ có hai giá trị khác nhau biểu hiện trạng thái và giá trị này được xác định nhờ vào một ngưỡng mà ngõ nhập của nút có vượt quá hay không Các nút trong mạng Hopfield có thể

có giá trị 1 hoặc -1, hoặc các giá trị 1 hoặc 0 Do đó, có thể có hai cách định nghĩa cho việc xác định phần tử i, ai:

Trong đó:

 là độ lớn trọng số kết nối từ nút j đến nút i (trọng số của liên kết)

 là trạng thái của nút j

 là ngưỡng của nút i

Các liên kết trong mạng Hopfield thường có các ràng buộc sau:

 (không có nút nào liên kết với chính nó)

 (các liên kết là đối xứng)

Ràng buộc rằng các trọng số phải đối xứng thường được sử dụng, vì nó đảm bảo rằng hàm năng lượng sẽ giảm một cách đơn điệu trong khi làm theo các luật kích hoạt, và mạng có thể xuất hiện hành vi tuần hoàn hoặc hỗn loạn nếu dùng các trọng số không đối xứng Tuy nhiên, Hopfield nhận thấy rằng hành vi hỗn loạn này chỉ hạn chế ở những phần tương đối nhỏ của không gian pha, và không làm giảm đi khả năng thực hiện vai trò làm hệ thống bộ nhớ có thể đánh địa chỉ nội dung của mạng

Mạng Hopfield có một giá trị vô hướng gắn liền với mỗi trạng thái của mạng được gọi là

"năng lượng", E, của mạng, trong đó:

Giá trị này được gọi là "năng lượng" vì định nghĩa đảm bảo rằng nếu các nút được chọn cập nhật hoạt tính một cách ngẫu nhiên, mạng sẽ hội tụ về trạng thái, là những cực tiểu cục bộ trong hàm năng lượng (hàm được xem là hàm Lyapunov) Do đó, nếu một trạng thái là một cực tiểu cục bộ trong hàm năng lượng, nó là một trạng thái ổn định của mạng Chú ý rằng hàm năng lượng này phụ thuộc vào một nhóm các mô hình tổng quát

trong vật lý, có tên là mô hình Ising

3 Sự ổn định mạng

Điều chỉnh trọng trong một mạng thông tin phản hồi phải đảm bảo sự ổn định của mạng Cohen và Grossberg [8] đã chỉ ra rằng các mạng hồi quy có thể đảm bảo được sự ổn định nếu ma trận W của trọng là đối xứng và các phần tử trên đường chéo của nó bằng 0, tức là:

wij=wji i,j (1.21)

và wii=0 với i (1.22)

Yêu cầu trên được phát biểu thông qua định lý ổn định Lyapunov Trạng thái một mạng là

ổn định nếu có thể định nghĩa được một hàm năng lượng của mạng (hàm Lyapunov của

nó) luôn luôn giảm theo thời gian (Lyapunov 1907) Trạng thái của mạng là ổn định nếu xây dựng được một hàm E của các trạng thái y thỏa mãn định lý ổn định Lyapunov theo các điều kiện sau đây:

Điều kiện A: Bất kỳ sự thay đổi hữu hạn ở các trạng thái y của mạng sẽ dẫn đến sự giảm hữu hạn trong E

Điều kiện B: E là hàm bị chặn dưới

Do đó ta định nghĩa hàm năng lượng E như sau:

E=

1

1

w 2

j j j j ij j i



i: neuron thứ i

j: neuron thứ j

I j: Đầu vào bit tới neuron j

Th j: ngưỡng của neuron j

wij là một phần tử của ma trận trọng W biểu thị trọng từ đầu ra của neuron i đến đầu vào của neuron j

Tham khảo chứng minh sự ổn định mạng bằng định lý Lyapunov tại [9]

4 Mạng hopfiled nhị phân ( rời rạc)[7]

Xét mạng Hopfield rời rạc (năm 1982) Phương trình mô tả luật tác động:

x (t) =i W y (t)ij j I

j=1

n

i

  i,j = 1, ,n; (2-1)

Luật cập nhật đầu ra:

(2-2) Hàm quan hệ vào ra là hàm phi tuyến bước nhảy

(2-3) Luật cập nhật trọng liên kết theo luật Hebb tương quan:

(2-4)

Ii 12 Wij

j 1

n

 

 (2-5)

Trong đó, x i (t): tổng của tất cả các đầu vào; y i (t): đầu ra của nơ ron; W ij : là trọng liên

kết phản hồi từ nơ ron i tới nơ ron j ; I i : hằng số của nơ ron i; h là số mẫu được cất giữ; n

là số nơ ron; p là phần tử thứ p đang tác động

Hopfield cũng nêu hàm năng lượng mạng (hay hàm thế năng):

2 ij i j i i

1

y y

y E(y)

n

1 i n

1 j

n

1 i





 W  (2-6)

Nếu W ij =0 và W ij =W ji thì mỗi thay đổi không đồng bộ của y p, năng lượng (2.6) sẽ giảm phù hợp theo:

E [y (tp 1) y (t)] [p a ypj j w ]p

j 1

n



 (2-7)

5 Mạng hopfiled liên tục

Hopfield (1984) đa ra mô hình mạng mô tả bằng tập các phương trình vi phân

1

= j

j ij i

i i i

i +I + W y

R

x

-= x

C (2-15)

yj = gj(xj) (2-16)

x = gi i-1( yi) (2-17)

Trong đó, C i và R i là các hằng số; I i là ngưỡng; W ij là trọng liên kết giữa phần tử nơ

ron thứ j với nơ ron thứ i; x i là trạng thái nơ ron thứ i

Hopfield nêu hàm Liapunov với dạng sau:

V(x) (1/ R ) gi i-1 d I y W y y

0

y

i i

i =1

n

ij i j

i 1

j 1

n

i 1

n

  ( )    1 

2

(2-18)

6 Khả năng ứng dụng giải quyết bài toán biến đổi A/D

Sau công trình của mạng Hopfield đã được sử dụng nhiều vào việc giải bài toán tối ưu

tổ hợp Ta đã biết mạng Hopfield sẽ đạt tới trạng thái cân bằng khi hàm năng lượng của

nó đạt tới giá trị cực tiểu Vì vậy, từ bài toán cho trước, ta xây dựng một hàm mục tiêu

F nào đó (đã được xử lý các ràng buộc) và đặt F = E (E là hàm năng lượng), sau đó tìm mối liên hệ giữa các biến của chúng Chính vì vậy mà mạng Hopfield rất phù hợp với các bài toán tối ưu tổ hợp, đặc biệt là đối với một số bài toán thuộc lớp bài toán NP-đầy

đủ như: bài toán biến đổi analog sang digital , bài toán người bán hàng , tìm đường đi tối ưu cho tuyến đường xe bus trường học, bài toán người đưa thư,

III Ứng dụng mạng nơ ron Hopfield cho bài toán biến đổi A/D

Ngoài việc được sử dụng như những liên kết đáng ghi nhớ để thực hiện tìm kiếm thông tin hoặc công nhận của một nhiệm vụ, mạng Hopfield cũng được sử dụng rộng rãi trong một số lĩnh vực ứng dụng quan trọng giải quyết các vấn đề tối ưu hóa Đó là, mạng

dự kiến sẽ tìm thấy một cấu hình cho giảm thiểu một hàm năng lượng đóng vai trò như các chức năng chi phí của các vấn đề tối ưu hóa

Mạng hopfield cho bài toán biến đổi tối ưu

Ý tưởng ở đây là để xây dựng một bài toán tối ưu với hàm mục tiêu thích hợp mà có thể được sử dụng để xây dựng một mạng hopfield, đặc biệt là cho việc tìm kiếm trọng lượng của nó Khi nào chúng ta xây dựng các vấn đề tối ưu hóa để được giải quyết bởi các

mạng Hopfield, chúng tôi đang trong thực tế xây dựng một loại đặc biệt của thuật toán song song cho các giải pháp của họ

Ví dụ 1

Trong ví dụ này chúng ta sẽ thiết kế bộ chuyển đổi A/D 4 bít mà sử dụng mạng Hopfield liên tục

Mục đích là chuyển đổi từ một giá trị đầu vào là x (0< x <15) và đầu ra là y =  y 3 ,

y 2 , y 1 , y o T với y i  {0,1}; để giá trị thập phân của 8y 3 +4 y 2 +2 y 1 + y o và giá trị của x được gần nhau nếu có thể

Sai số của bộ chuyển đổi A/D, chính là hàm mục tiêu cần xác định cho phép biến đổi

E c =

2

1

(x-x i ) 2

Thay x i từ (2.1) vào công thức trên, ta có:

E c =

2

0









 

i i

y x

Rõ ràng là tối thiểu hàm hàm năng lượng tương đương với việc tối thiểu hoá sai số

chuyển đổi E c của bộ chuyển đổi A/D Mục đích là phải xây dựng mạng Hopfield liên tục

có 4 nút với hàm một hàm kích hoạt để tối thiểu hoá

Để phục vụ cho mục đích này, chúng ta phải tìm ra các thông số chính xác, gồm các trọng và đầu vào mở rộng của mạng Hopfied Việc này có thể được thực hiện được bằng cách so sánh giữa Ec và Eq (hàm năng lượng của mạng Hopfield liên tục)

Tuy vậy, trong biểu thức E c có y i 2 (i = 0, 1, 2, 3) với hệ số khác 0 có thể làm cho w ii

trong mạng Hopfield khác không Sự mâu thuẫn này được định nghĩa trong mạng Hopfield

Vì vậy, E c được thêm vào thành phần E a như sau:

E a = - 2  1

2

1 2 3

0





i i

y y Hàm tổng năng lượng E = E c + E a là:

E = E c + E a =

2

0









 

i i

y

2

1 2 3

0





i i

y

Chú ý rằng E a không âm và đạt giá trị thấp nhất khi y i =0 hoặc y i =1 Do đó, E a có thể cho trạng thái mạng phải vào các góc của hình sườn khối lập phương (Hypercube)

khi E đạt cực tiểu Ta có hàm năng lượng E của mạng Hopfield liên tục, có 1 lớp 4 noron Với các đầu vào ngoài x = x 3 , x 2 , x 1 , x o T và đầu ra y=y 3 , y 2 , y 1 , y oT

E = w y y x y G i y i a y dy

n i i i j i ij i j i i

) ( 1

2

0 1 3

0 3

0 3

0









 (2)

So sánh (1) và (2) ta có:

wij = - 2i+j và xi = -22i - 1 + 2i x với i, j = 0,1,2,3; i  j

Do đó:

Với ma trận trọng như vậy, ta có sơ đồ mạng Hopfield như sau:

Hình 2 Mô hình mạng nơron Hopfield làm bộ A/D 4 bit

Có hai kiểu bộ nhớ liên kết là bộ nhớ liên kết tự động và bộ nhớ liên kết không đồng nhất (Hereoassociative Memory)

Xem bộ nhớ liên kết như mạng Hopfield với m đầu vào và n đầu ra nhận các giỏ trị 1

hoặc -1

x{+1,-1} m , y{+1,-1} n , y=I(x)

Mạng lưu trữ gồm tập p mẫu {(x 1 , y 1 ), (x 2 ,y 2 ),…,(x p , y p )} thông qua các trọng số w ij

nhờ thuật toán lưu trữ W=F(x r , y r ) Nếu ta đưa vào mạng mẫu x thì khi mạng ổn định, sẽ

cho kết quả y=y r sao cho x r tương ứng giống x nhất trong p mẫu lưu trữ

Kiểu bộ nhớ tự liên kết: y r =I(x)=x r

Kiểu bộ nhớ không đồng nhất: y rx r

Khái niệm gần nhất “close” có thể xem như là một số phép xác định khoảng cách Xét khoảng cách của Oclit và khoảng cách Hamming:

Khoảng cách Oclit d (thường được dùng cho các giá trị dạng số thực) của 2 vector

x=(x 1 ,x 2 ,…,x n ) T và x ’ =(x ’ 1 ,x ’ 1 ,…,x ’

1 ) T được định nghĩa:

d=[(x 1 -x ’ 1) 2 +(x 2 -x ’ 2 ) 2 +…+(x n -x n ’ ) 2 ] 1/2

Khoảng cách Hamming HD(x, x ’ ) (thường được dùng cho các giá trị nhị phân), xác

định số lượng các cặp không bằng nhau giữa 2 vector x và x ’

Ví dụ: Nếu x=(1,1,0,1) T và x ’ =(0,1,0,0) T , khi đó: HD(x,x ’ )=(/1-0/+/1-1/+/0-1/+/1-0/)=2

Ví dụ 2

Trong ví dụ này chúng ta sẽ thiết kế bộ chuyển đổi A/D 8 bít mà sử dụng mạng Hopfield liên tục

Mục đích là chuyển đổi từ một giá trị đầu vào là x (0< x <255) và đầu ra là y =  y 7,

y 6 , y 5, y 4 , y 3 , y 2 , y 1 , y o T với y i  {0,1}; để giá trị thập phân của 128y 7 +64 y 6 +32y 5 + 16y o + 8y 3 +4 y 2 +2 y 1 + y o và giá trị của x được gần nhau nếu có thể

Sai số của bộ chuyển đổi A/D, chính là hàm mục tiêu cần xác định cho phép biến đổi

E c =

2 1

(x-x i ) 2

Thay x i từ (2.1) vào công thức trên, ta có:

E c =

2 1

Rõ ràng là tối thiểu hàm hàm năng lượng tương đương với việc tối thiểu hoá sai số

chuyển đổi E c của bộ chuyển đổi A/D Mục đích là phải xây dựng mạng Hopfield liên tục

có 7 nút với hàm một hàm kích hoạt để tối thiểu hoá

Để phục vụ cho mục đích này, chúng ta phải tìm ra các thông số chính xác, gồm các trọng và đầu vào mở rộng của mạng Hopfied Việc này có thể được thực hiện được bằng cách so sánh giữa Ec và Eq (hàm năng lượng của mạng Hopfield liên tục)

Tuy vậy, trong biểu thức E c có y i 2 (i = 0, 1, 2, 3, 4, 5, 6, 7) với hệ số khác 0 có thể

làm cho w ii trong mạng Hopfield khác không Sự mâu thuẫn này được định nghĩa trong

mạng Hopfield Vì vậy, E c được thêm vào thành phần E a như sau:

E a = -

Hàm tổng năng lượng E = E c + E a là:

E = E c + E a =

2

1

- (1)

Chú ý rằng E a không âm và đạt giá trị thấp nhất khi y i =0 hoặc y i =1 Do đó, E a có thể cho trạng thái mạng phải vào các góc của hình sườn khối lập phương (Hypercube)

khi E đạt cực tiểu Ta có hàm năng lượng E của mạng Hopfield liên tục, có 1 lớp 8 noron Với các đầu vào ngoài x =  x 7 , x 6 , x 5 , x 4 , x 3 , x 2 , x 1 , x o T và đầu ra y= y 7, y 6 ,

y 5, y 4 , y 3 , y 2 , y 1 , y oT

E = (2) (2)

So sánh (1) và (2) ta có:

wij = - 2i+j và xi = -23i - 1 + 2i x với i, j = 0,1,2,3,4,5,6,7; i  j

Do đó:

W =

X=

𝑥 − 0,5

2𝑥 − 4

4𝑥 − 32

8𝑥 − 256

16𝑥 − 2048

32𝑥 − 16384

64𝑥 − 131072

128𝑥 − 1048576

Với ma trận trọng như vậy, ta có sơ đồ mạng Hopfield như sau:

Hình 3: Mô hình mạng nơ ron Hopfield cho bài toán A/D

x 1

x 2

x 4

y 1

y 2

y 4

w 41

w 21

w 14

w 34

x 3

y 3

IV Các nghiên cứu biến đổi A/D dựa vào mạng nơ ron Hopfield trên thế giới

1 Tạp chí quốc tế nghiên cứu ứng dụng và robotics trên máy tính [5]

Tạp chí đưa ra cách tiếp cận được phát triển ban đầu với tham chiếu đên một mô hình toán học ADC, cho phép một mô hình thần kinh được thiết lập đúng Và sử dụng

MATLAB R2010a để thực hiện và đưa ra kết quả với độ chính xác cao.Việc chuyển đổi

dữ liệu nhanh chóng và đáng tin cậy

Các công trình liên quan:

Năm 2000, LN Cooper đã đề xuất một phương pháp cho Memories và bộ nhớ: Cách tiếp

cận một nhà vật lý đến não

Trong năm 2007, ông Deepak Mishra và Prem K Kalra đề xuất sửa đổi Hopfield cách

tiếp cận mạng lưới thần kinh để giải quyết phương trình đại số phi tuyến

Trong năm 2010, Yuriy V Pershin và Massimiliano Di Ventra đề xuất một chứng minh thực nghiệm của bộ nhớ kết hợp với mạng lưới thần kinh memristive

Trong năm 2011, Phần cứng thực hiện đền bù ADC sử dụng các mạng thần kinh đã được thực hiện bởi HerveChanal

Năm 2008, T.Munakata, chứng minh cơ bản của Tân Trí tuệ nhân tạo: thần kinh, tiến hóa, và hệ mờ

Chuyển đổi digital bằng Hopfield

Số lượt truy cập điều khiển ADC được thể hiện trong hình 4 N bit truy cập tạo ra một sản lượng digital n bit, trong đó được áp dụng như một đầu vào DAC Các đầu ra analog tương ứng với đầu vào digital từ DAC được so sánh với điện áp đầu vào tương

tự sử dụng một so sánh opamp Các opamp so sánh hai điện áp và nếu tạo DAC điện

áp thấp, nó sẽ tạo ra một xung cao để bit N truy cập như một xung đồng hồ để tăng truy cập Các cùng một quá trình sẽ được lặp đi lặp lại cho đến khi đầu ra DAC bằng với điện áp đầu vào tương tự