Ứng dụng mạng nơ ron giải một số bài toán về đồ thị

Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vnTRƯỜNG ĐẠI HỌC CNTT&TT HÀ DUYÊN HÙNG ỨNG DỤNG MẠNG NƠ-RON GIẢI MỘT SỐ BÀI TOÁN VỀ ĐỒ THỊ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍ

Trang 1

Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn

TRƯỜNG ĐẠI HỌC CNTT&TT

HÀ DUYÊN HÙNG

ỨNG DỤNG MẠNG NƠ-RON GIẢI MỘT SỐ BÀI TOÁN VỀ ĐỒ THỊ

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN, NĂM 2011

Trang 2

HÀ DUYÊN HÙNG

ỨNG DỤNG MẠNG NƠ-RON GIẢI MỘT SỐ BÀI TOÁN VỀ DỒ THỊ

Chuyên ngành: Khoa học máy tính

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC

PGS TS ĐẶNG QUANG Á

THÁI NGUYÊN, NĂM 2011

Trang 3

LỜI CẢM ƠN

Xin chân thành cảm ơn Thầy PGS, TS Đặng Quang Á đã tận tình chỉ

bảo, hướng dẫn tôi trong suốt thời gian học tập và làm luận văn

Em chân thành biết ơn đến các Thầy giáo Viện Công nghệ Thông tin đã giảng dạy, giúp đỡ trong suốt thời gian học tập

Xin cảm ơn tất cả các anh chị học viên Cao học khóa 8, cám ơn các cán

bộ công chức, giảng viên Trường Đại Học CNTT&TT- ĐH Thái Nguyên đã tạo điều kiện tốt cho tôi trong hai năm học vừa qua

Xin cám ơn đến các bạn bè, đồng nghiệp đã chỉ bảo tôi rất nhiều trong thời gian thực hiện luận văn này

Cuối cùng, xin chân thành cảm ơn các thành viên trong gia đình đã động viên và tạo mọi điều kiện thuận lợi để tôi có được kết qủa như ngày ngày hôm nay

THÁI NGUYÊN 11/2011 Người viết luận văn

Hà Duyên Hùng

Trang 4

LỜI CAM ĐOAN

Tôi xin cam đoan đề tài khoa học “Ứng dụng mạng nơ-ron giải một số

bài toán về đồ thị” là công trình nghiên cứu của bản thân tôi Các kết quả

nghiên cứu nêu trong luận văn này là trung thực Tôi xin chịu trách nhiệm về luận văn của mình

Trang 5

MỤC LỤC

Trang phụ bìa Trang

Lời cảm ơn i

Lời cam đoan ii

Mục lục iii

Danh mục các hình vẽ, ký hiệu, chữ viết tắt v

MỞ

ĐẦU -1-Chương 1 GIỚI THIỆU SƠ LƯỢC VỀ MẠNG NƠ-RON NHÂN TẠO -3-

1.1 Giới thiệu về mạng nơ-ron nhân tạo -3-

1.1.1 Lịch sử phát triển -3-

1.1.2 Mô hình mạng nơ-ron nhân tạo … -4-

1.2 Phạm vi ứng dụng của mạng nơ-ron -14-

1.2.1 Các lĩnh vực ứng dụng của mạng nơ-ron -14-

1.2.2 Ưu và nhược điểm của mạng nơ-ron -14-

1.3 Mạng Hopfield -15-

1.3.1 Mạng Hopfield rời rạc -16-

1.3.2 Mạng Hopfield liên tục: -18-

1.3.3 Ánh xạ các bài toán tối ưu tổ hợp lên mạng nơ-ron -19-

1.3.4 Mạng Hopfield với bài toán NP-C -22-

Chương 2 ỨNG DỤNG MẠNG NƠ-RON HOPIELD TRONG BÀI TOÁN SỐ CẠNH CẮT NHAU CỦA ĐỒ THỊ TRÒN -29-

2.1 Bài toán số cạnh cắt nhau của đồ thị tròn -29-

Trang 6

2.2 Mạng nơ-ron Hopfield với bài toán số cạnh cắt nhau của đồ thị tròn….… -31-

Chương 3 CÀI ĐẶT THUẬT TOÁN VÀ THỬ NGHIỆM -43-

3.1 Thiết kế chương trình ứng dụng mạng nơ-ron trong việc giải quyết bài toán số cạnh cắt nhau của đồ thị tròn -43-

3.2 Chương trình và kết quả thử nghiệm -44-

3.3 Đánh giá kết quả -53-

KẾT LUẬN VÀ ĐỀ NGHỊ……… …… -54-

TÀI LIỆU THAM KHẢO -55-

PHỤ LỤC ……… ……… -57-

Trang 7

Hình 2.2 Biểu diễn đồ thị có một điểm cắt nhau 30

Hình 2.4 Mạng nơ-ron giải bài toán đồ thị tròn 33

Hình 3.4 (a) Biểu diễn đồ thị trong thí dụ hình 3.4 (a) 46 Hình 3.4 (b) Biểu diễn đồ thị có một điểm cắt nhau 47 Hình 3.5 (a) Biểu diễn đồ thị trong thí dụ hình 3.5 (a) 49 Hình 3.5 (b) Biểu diễn đồ thị có mười điểm cắt nhau 50 Hình 3.6 (a) Biểu diễn đồ thị trong thí dụ hình 3.6 (a) 51 Hình 3.6 (b) Biểu diễn đồ thị có tám điểm cắt nhau 52

Trang 8

MỞ ĐẦU

Trong thực tế có nhiều bài toán phức tạp thuộc lớp các bài toán thoả mãn ràng buộc và bài toán tối ưu tổ hợp có ràng buộc Đây là các bài toán thuộc loại NP-C Đã có nhiều phương pháp để giải quyết các bài toán đó Trong số các bài toán điển hình phải kể đến bài toán tìm đường đi ngắn nhất, bài toán tô màu bản đồ, bài toán xếp hậu, bài toán số cạnh cắt nhau của đồ thị tròn, bài toán người bán hàng rong, Các giải thuật heuristic được đề xuất nói chung thường phức tạp và có những hạn chế nhất định về độ chính xác Trong khoảng hơn hai chục năm trở lại đây một hướng nghiên cứu mới là mạng nơ-ron nhân tạo đã được phát triển và có nhiều ứng dụng trong các lĩnh vực của công nghệ thông tin Đặc biệt mạng Hopfield rất thích hợp cho các bài toán trên

Nhận thức được vấn đề đó và có sự gợi ý và định hướng của PGS, TS Đặng Quang Á em đã mạnh dạn nghiên cứu đề tài " Ứng dụng mạng nơ-ron giải một số bài toán về đồ thị " Nội dung cơ bản của luận văn tốt nghiệp gồm

có ba chương:

Chương một trình bày tổng quan về cơ sở của mạng nơ-ron nhân tạo và các phương pháp giải bài toán NP-C, bao gồm: Giới thiệu mạng nơ-ron sinh học, mô hình mạng nơ-ron nhân tạo, phạm vi ứng dụng của mạng nơ-ron Hopfield, ưu và nhược điểm của mạng nơ-ron, phương pháp ánh xạ một bài toán lên mạng nơ-ron, mạng nơ-ron với một số bài toán NP-C, khái niệm về các bài toán lớp NP-C và NP-hard, khái quát về các phương pháp giải

Chương hai trình bày về ứng dụng mạng nơ-ron Hopfield trong bài toán

số cạnh cắt nhau của đồ thị tròn Đây là bài toán có nhiều ý nghĩa trong thực tiễn như thiết kế mạch điện tử, định tuyến và tối ưu mạch điện tử đây Bài toán thuộc lớp bài toán tối ưu có ràng buộc

Trang 9

Chương ba cài đặt thuật toán và thử nghiệm chương trình giải bài toán bằng mạng Hopfield trong bài toán số cạnh cắt nhau của đồ thị tròn Là bài toán mang ý nghĩa thực tiễn Khi chạy chương trình trên máy tính kết quả luôn luôn ổn định, thuật toán đơn giản

Trang 10

Chương 1 GIỚI THIỆU SƠ LƯỢC VỀ MẠNG NƠ RON NHÂN TẠO

1.1 Giới thiệu về mạng nơ-ron nhân tạo

1.1.1 Lịch sử phát triển

Quá trình nghiên cứu và phát triển mạng nơ-ron nhân tạo có thể chia thành bốn giai đoạn như sau:

+ Giai đoạn một: Có thể tính từ nghiên cứu của William (1890) về tâm

lý học với sự liên kết các nơ-ron thần kinh Năm 1940, MeCulloch và Pitts đã cho biết: nơ-ron có thể được mô hình hoá như thiết bị ngưỡng (giới hạn) để thực hiện các phép tính logic và mô hình mạng nơ-ron của Mc Culloch-Pitts cùng với giải thuật huấn luyện mạng của Hebb ra đời năm 1943

+ Giai đoạn hai: Vào khoảng gần những năm 1960, một số mô hình ron hoàn thiện hơn đã được đưa ra như: mô hình Perceptron của Rosenblatt (1958), Adaline của Widrow (1962) Trong đó mô hình Perceptron rất được quan tâm vì nguyên lý đơn giản, nhưng nó cũng có hạn chế vì như Marvin Minsky và Seymour papert của MIT (Massachurehs Insritute of Technology)

nơ-đã chứng minh nó không dùng được cho các hàm logic phức (1969) Còn Adaline là mô hình tuyến tính, tự chỉnh, được dùng rộng rãi trong điều khiển thích nghi, tách nhiễu và vẫn phát triển cho đến nay

+ Giai đoạn ba: Có thể tính vào khoảng đầu thập niên 80 Những đóng góp lớn cho mạng nơ-ron trong giai đoạn này phải kể đến Grossberg, Kohonen, Rumelhart và Hopfield Trong đó đóng góp lớn của Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 và mạng liên tục năm 1984 Đặc biệt, ông đã dự kiến nhiều khả năng tính toán lớn của mạng mà một nơ-ron không có khả năng đó Cảm nhận của Hopfield đã được Rumelhart, Hinton và Williams đề xuất thuật toán sai số truyền ngược nổi tiếng để huấn luyện mạng

Trang 11

nơ-ron nhiều lớp nhằm giải bài toán mà mạng khác không thực hiện được Nhiều ứng dụng mạnh mẽ của mạng nơ-ron ra đời cùng với các mạng theo kiểu máy Boltzmann và mạng Neocognition của Fukushima

+ Giai đoạn bốn: Tính từ năm 1987 đến nay, hàng năm thế giới đều mở hội nghị toàn cầu chuyên ngành nơ-ron IJCNN (International Joint Conference on Neural Networks) Rất nhiều công trình được nghiên cứu để ứng dụng mạng nơ-ron vào các lĩnh vực, ví dụ như: Kỹ thuật tính, tối ưu, sinh học, y học, thống kê, giao thông, hoá học… Cho đến nay, mạng nơ-ron đã tìm được và khẳng định được vị trí của mình trong rất nhiều ứng dụng khác nhau

1.1.2 Mô hình mạng nơ-ron nhân tạo

1.1.2.1 Nơ-ron sinh học

Hệ thần kinh ở người có khoảng 1010 tế bào thần kinh được gọi là các ron Mỗi nơ-ron gồm có ba phần: Thân nơ-ron với nhân ở bên trong (soma), một đầu thần kinh ra (axon) và một hệ thống hình cây thần kinh (dendrite) Có nhiều loại nơ-ron khác nhau và kích thước và khả năng thu phát tín hiệu Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động chung Hình vẽ (1.1) là một hình ảnh đơn giản hoá của một loại nơ-ron như vậy Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0.25 mm2) để nhận các tín hiệu

nơ-từ các nơ-ron khác Đầu thần kinh ra được rẽ nhánh nhằm chuyển giao tín hiệu

từ thân nơ-ron tới nơ-ron khác Các nhánh của đầu thần kinh được nối với các khớp thần kinh (synapse) Các khớp thần kinh này được nối với thần kinh vào của các nơ-ron khác Thêm vào đó, các nơ-ron có thể sửa đổi tín hiệu tại các khớp, trong các nơ-ron nhân tạo được gọi là trọng số

Trang 12

Hoạt động của nơ-ron sinh học có thể mô tả tóm tắt như sau:

Mỗi nơ-ron nhân tín hiệu vào từ các tế bào thần kinh khác.Chúng tích hợp các tín hiệu vào, khi tổng tín hiệu vượt quá một ngưỡng nào đó chúng tạo tín hiệu ra và gửi tín hiệu này tới các nơ-ron khác thông qua dây thần kinh Các nơ-ron liên kết với nhau thành mạng Mức độ bền vững của các liên kết này xác định một hệ số gọi là trọng số liên kết

1.1.2.2 Nơ-ron nhân tạo

 Trọng số và tổng tín hiệu đầu vào:

Mô phỏng nơ-ron sinh học để tạo ra nơ-ron nhân tạo Mỗi nơ-ron có rất nhiều dây thần kinh vào, nghĩa là mỗi nơ-ron có thể tiếp nhận đồng thời nhiều tín hiệu Giả sử tại nơ-ron i có N tín hiệu vào, mỗi tín hiệu vào S j được gán một trọng số W ij tương ứng Ta ước lượng tổng tín hiệu đi vào nơ-ron net i

i w s net

1

, (1.1)

Khớp nối dây thần kinh (Đầu vào) Nhân

Trang 13

(ii) Dạng toàn phương:





 N

j j ij

i w s net

(1.3) trong đó  và w ijj 1 ,N lần lượt là bán kính và tâm cầu

 Hàm kích hoạt:

Hàm biến đổi tín hiệu đầu vào net cho tín hiệu đầu ra out được gọi là hàm

kích hoạt Hàm này có đặc điểm là không âm và bị chặn Có nhiều dạng hàm

kích hoạt, người ta thường sử dụng một hàm kích hoạt chung cho toàn mạng

f out

net f

LTP net

UTP net net

f

1

(1.5)

Trang 14

ở đây UTP>LTP Trong đó:

UTP là ngưỡng trên (Upper Trip Point)

LTP là ngưỡng dưới (Lower Trip Point)

f out

1

1, (1.6)

trong đó   0là hằng số xác định độ nghiêng của hàm

 Nút bias:

Là một nút thêm vào nhằm tăng khả năng thích nghi của mạng nơ-ron trong quá trình học Trong các mạng nơ-ron có sử dụng bias, mỗi nơ-ron có thể có một trọng số tương ứng với bias Trong số nay luôn có giá trị là 1

 Mô hình của một nút xử lý (nút thứ i):

i j ij

i W V U

# 1

θ , (1.7)

 i i

Trang 15

Với việc giả lập các hệ thống sinh học, các cấu trúc tính toán, mạng ron có thể giải quyết được các lớp bài toán nhất định, như: Bài toán người du lịch, bài toán tô màu bản đồ, bài toán xếp loại, bài toán lập lịch, bài toán tìm kiếm, bài toán nhận dạng mẫu Các bài toán phức tạp cao, không xác định Tuy nhiên, sự liên kết giữa một bài toán bất kỳ trong thực tế với một giải pháp mạng nơ-ron lại là một việc không dễ dàng

nơ-Xét một cách tổng quát, mạng nơ-ron là một cấu trúc xử lý song song thông tin phân tán mang các đặc tính nổi bật sau :

 Là mô hình toán học dựa trên bản chất của nơ-ron

 Bao gồm một số lượng rất lớn các nơ-ron liên kết với nhau

 Mạng nơ-ron có khả năng học, khái quát hóa tập dữ liệu học thông qua việc gán và hiệu chỉnh các trọng số liên kết

Trang 16

 Tổ chức theo kiểu tập hợp mang lại cho mạng nơ-ron khă năng tính toán rất lớn, trong đó không có nơ-ron nào mang thông tin riêng biệt

Ví dụ : Hình 1.2, 1.3, 1.4, 1.5 là một số mô hình mạng thông dụng

(i) Mạng truyền thẳng:

Mạng truyền thẳng một lớp

Mô hình mạng nơ-ron truyền thẳng một lớp là mô hình liên kết cơ bản

và đơn giản nhất Các nơ-ron tổ chức lại với nhau tạo thành một lớp, đường truyền tín hiệu được truyền theo một hướng nhất định nào đó Các đầu vào được nối với các nơ-ron theo các trọng số khác nhau, sau quá trình xử lý cho

ra một chuỗi các tín hiệu ra Nếu mạng nơ-ron là mô hình LTU thì nó được gọi là mạng Perception, còn mạng nơ-ron là mô hình LGU thì nó được gọi là mạng Adaline

Với mỗi giá trị đầu vào  T

n

x x x

x 1, 2, , Qua quá trình xử lý của mạng

ta sẽ thu được một bộ tương ứng các giá trị đầu ra là  T

n

y y y

y 1, 2, , được xác định như sau :

y

1

, 1 ), (  (1.9) Trong đó :

Trang 17

in i

i T

ra của mạng đƣợc gọi là lớp ra Các lớp ở giữa lớp vào và lớp ra đƣợc gọi là lớp ẩn Hình (1.4) mô tả cấu trúc của mạng nơ-ron truyền thẳng nhiều lớp

(ii) Mạng hồi quy:

Mạng hồi quy một lớp có nối ngược

Trang 18

Mạng hồi quy nhiều lớp có nối ngược

1.1.2.4 Luật học

Mạng nơ-ron có một số ƣu điểm so với máy tính truyền thống Cấu trúc song song của mạng nơ-ron rất thích hợp cho những ứng dụng đòi hỏi tốc độ nhanh theo thời gian thực Khả năng huấn luyện của mạng nơ-ron có thể khai thác để phát triển hệ thống thích nghi Mặt khác, với khả năng tổng quát hóa của mạng nơ-ron, nó có thể áp dụng để điều khiển nhiều tham số phức tạp đồng thời từ đó giải quyết dễ dàng một số bài toán thuộc lớp bài toán NP- đầy

đủ (NP-Complete )

Các luật học đóng vai trò quan trọng trong việc xác định một mạng ron nhân tạo Một cách đơn giản về khái niệm học của mạng nơ-ron là cập nhật trọng số trên cơ sở các mẫu Theo nghĩa rộng thì học có thể đƣợc chia ra làm hai loại: Học tham số và học cấu trúc

nơ Học tham số: Các thủ tục học này nhằm tìm kiếm ma trận trọng số sao cho mạng có khả năng đƣa ra dự báo sát với thực tế Dạng chung của luật học tham số có thể đƣợc mô tả nhƣ sau:

M j N i rx

W ij  j,  1 , ,  1 ,

  (1.10) trong đó:

Y1

Y2

YM

X1

X2

XN

Hình 1.6 Mạng nhiều lớp có nối ngƣợc

Trang 19

+ Học có tín hiệu chỉ đạo: Là quá trình mạng học dựa vào sai số giữa

đầu ra thực và đầu ra mong muốn để làm cơ sở cho việc hiệu chỉnh trọng số Sai số này chính là hằng số học r Luật học điển hình của nhóm này là luật học Delta của Widrow (1962) nêu ra đầu tiên dùng để xấp xỉ trọng của Adaline dựa trên nguyên tắc giảm gradient

Trong nhóm luật học này cũng cần phải kể đến luật học Perceptron của Rosenblatt (1958) Về cơ bản luật học này thay đổi các giá trị trọng trong thời gian học, còn luật Perceptron thì thêm hoặc bỏ trọng tùy theo giá trị sai số dương hay âm

Một loạt các luật học khác cũng được dựa trên tư tưởng này Luật Oja

là cải tiến và nâng cấp của luật Delta Luật truyền ngược là luật mở rộng của luật Delta cho mạng nhiều lớp Đối với mạng truyền thẳng thường sử dụng luật truyền ngược để chỉnh trọng với tín hiệu chỉ đạo từ bên ngoài và người ta gọi mạng này là mạng lan truyền ngược

+ Học không có tín hiệu chỉ đạo: Luật học này sử dụng đầu ra của

mạng làm cơ sở để hiệu chỉnh các trọng số liên kết Hay trong luật này chính

là tín hiệu ra của mạng Điển hình là luật Hebb (1949) thường dùng cho các

Trang 20

mạng tự liên kết, luật LVQ (Learning Vector Quantization) dùng cho mạng tự

tổ chức một lớp thuộc lớp mạng ánh xạ đặc trưng của Kohonen

Luật học Hebb là luật sinh học xuất phát từ tiên đề của Hebb cho rằng: Giữa hai nơ-ron có quan hệ và có thay đổi thế năng màng thì giữa chúng có

sự thay đổi trọng số liên kết Nói cách khác, trọng số được điều chỉnh theo mối tương quan trước và sau, nghĩa là:

M j N i x y

W ij  i j,  1 , ,  1 ,

  (1.11) trong đó:

Luật Hebb giải thích việc chỉnh trọng trong phạm vi cục bộ của mạng

mà không cần tín hiệu chỉ đạo từ bên ngoài Hopfield cũng cải tiến luật Hebb cho các mạng tự liên kết thành 16 dạng khác nhau theo kiểu luật Hebb, luật đối Hebb, luật Hopfield

Như vậy, ứng với mỗi nhóm mạng thường áp dụng một luật học nhất định Nếu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong mạng nơ-ron có thể tăng lên rất nhiều lần

Đối với mạng phản hồi thường sử dụng luật Hebb và các luật cải tiến của nó để chỉnh trọng mà không cần tín hiệu chỉ đạo từ bên ngoài

+ Học tăng cường: Trong một số trường hợp, thông tin phản hồi chỉ là

tín hiệu bao gồm hai trạng thái cho biết tín hiệu đầu ra của mạng là đúng hay sai Quá trình học dựa trên các thông tin hướng dẫn như vậy được gọi là học

có củng cố (học tăng cường) và tín hiệu mang thông tin phản hồi được gọi là tín hiệu củng cố cho quá trình học Ta có thể thấy rằng quá trình học này là

Trang 21

một dạng của quá trình học có tín hiệu chỉ đạo bởi vì mạng nhận được một số thông tin phản hồi từ bên ngoài

- Học cấu trúc: Tìm kiếm các tham số của cấu trúc mạng để tìm ra một

cấu trúc mạng hoạt động tốt nhất Trong thực tế, việc học cấu trúc là tìm ra số lớp ẩn và tìm ra số nơ-ron trên mỗi lớp đó Giải thuật di truyền thường được

sử dụng trong các cấu trúc nhưng thường chạy rất lâu, thậm chí ngay cả đối với mạng có kích thước trung bình Ngoài ra kỹ thuật gọt tỉa mạng hay mạng tăng dần cũng được áp dụng trong việc học cấu trúc của mạng có kích thước tương đối nhỏ

1.2 Phạm vi ứng dụng của mạng nơ-ron

1.2.1 Các lĩnh vực ứng dụng của mạng nơ-ron

Khó có thể thống kê đầy đủ các ứng dụng của mạng nơ-ron nói chung

và mạng Hopfield nói riêng Tuy nhiên, có thể nêu một số ứng dụng như sau:

Trang 22

- Không đòi hỏi các đặc trưng mở rộng của bài toán (chủ yếu dựa trên tập học)

 Nhược điểm:

- Không có các quy tắc và các hướng dẫn thiết kế một cách rõ ràng đối với một ứng dụng nhất định

- Không có cách tổng quát để đánh giá hoạt động bên trong mạng

- Việc học đối với mạng có thể khó (hoặc không thể) thực hiện

- Khó có thể dự đoán trước được hiệu quả của mạng trong tương lai (khả năng tổng quát hoá)

1.3 Mạng Hopfield

Trong mạng hồi quy tín hiệu ra của một nơ-ron có thể được truyền ngược lại làm tín hiệu vào cho các nơ-ron ở các lớp trước, hoặc các nơ-ron trong cùng một lớp Phần này sẽ trình bày mô hình mạng tiêu biểu thuộc lớp mạng hồi quy, đó là mạng Hopfield

Mạng Hopfield được bắt đầu nghiên cứu từ năm 1982 Đây là mạng một lớp với thông tin và quá trình xử lý có nối ngược Chính công trình của Hopfield được tìm thấy rất nhiều ứng dụng, đặc biệt trong bộ nhớ liên kết và trong các bài toán tối ưu

Giả sử mạng được xây dựng dưới dạng mạng một lớp, mỗi nơ-ron được truyền ngược lại làm tín hiệu vào cho các nơ-ron khác nhưng bản thân các nơ-ron không tự liên kết với chính nó Khi đó mô hình mạng Hopfield được biểu diễn như Hình 1.6

Tín hiệu ra của nơ-ron thứ j nào đó được truyền ngược lại làm tín hiệu vào cho các nơ-ron khác trong mạng một cách đầy đủ thông qua các trọng số tương ứng

Trang 23

Ký hiệu Wij là liên kết gữa hai nơ-ron i và j (wij  wji), Vi là đầu ra của nơ-ron i Ta coi véc tơ (V1, V2, Vn) là trạng thái của mạng Tại mỗi thời điểm t mỗi nơ-ron i tổng hợp các tin hiệu Vj từ các nơ-ron khác và tin hiệu từ bên ngoài (bias)

 



j

i j ij

i W V I U

Tuỳ theo hàm kích hoạt fi mà nơ ron i cho đầu ra là

)) ( ( ) 1 (t f V t

Mạng đạt trạng thái cân bằng nếu V i(t 1 ) V i(t),  i

Ta định nghĩa hàm năng lƣợng của mạng là:

i

j i n j i j ij

V V V E E

1

1 1 , 2

1

2

1 ) , , ,

Trang 24

(1.13) Việc cho hàm kích hoạt (1.13) tương đương với quy tắc chuyển trạng thái của mạng

i i

i t V t V

V(  1 )  ( )  trong đó Vi được cho bởi công thức (quy tắc)

trongcác

t vàV I

t V W

t vàV I

t V W

V

j

i i

j ij j

i i

j ij i

0

1 ) ( 0 )

( 1

0 ) ( 0 )

( 1

(1.14)

trạng thái như trên và cập nhật không đồng bộ thì năng lượng của mạng không tăng (tức là giảm hoặc giữ nguyên)

Chứng minh: Giả sử nơ-ron không thay đổi trạng thái từ thời điểm t

đến t+1 Khi đó mạng sẽ thay đổi năng lượng và

kj V t I V W

t E t

E

Vì thế theo công thức (1.14) ta luôn có E 0, tức là năng lượng của mạng không tăng Vì thế hàm năng lượng sẽ đạt tới giá trị cực tiểu Do hàm giới nội

Trang 25

Do tính chất hội tụ và giá trị nhị phân của các nơ ron nên mạng Hopfield rời rạc đƣợc sử dụng cho các bài toán tối ƣu 0 , 1

Một mở rộng của mạng nhị phân là mạng lƣợng tử hoá (Xem [12].) Đây là một loại mạng mới đƣợc đề xuất và thích hợp cho việc giải các bài toán quy hoạch nguyên

I V W dt

dU

(1.15) )

Sự hội tụ của mạng Hopfield liên tục cho bởi định lý sau:

i i

dV V

E dt

dU dU

dV V

E dt

Trang 26

)) 2 tanh(

1 ( 2

1 1

1 )

e U

Sigmoid V

Nhận xét rằng hàm kích hoạt Sigmoid đƣợc định nghĩa bởi (1.16) là một hàm nén (squashing function) trong dải [0, 1] và vì thế thích hợp cho các bài toán tối ƣu {0, 1} Nếu cần giải bài toán tố ƣu {-1, 1} cần sử dụng hàm nén trong dải [-1, 1], chẳng hạn hàm tanh (x)

1.3.3 Ánh xạ các bài toán tối ưu tổ hợp lên mạng nơ-ron

-5 -4 -3 -2 -1 0 1 2 3 4 5 -1

-0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

Đồ thị hàm Hàm y = tanh(x)

-5 -4 -3 -2 -1 0 1 2 3 4 5 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

lamda =2

Đồ thị hàm Sigmoid

Trang 27

Sau công trình của Hopfield và Tank (1985) mạng Hopfield đã được sử dụng nhiều vào việc giải bài toán tối ưu tổ hợp

Như đã biết, mạng Hopfield sẽ đạt tới trạng thái cân băng khi hàm năng lượng đạt tới giá trị cực tiểu Vì vậy, từ bài toán cho trước, ta xây dựng một hàm mục tiêu F nào đó (đã được xử lý các ràng buộc) và đặt F = E ( E là hàm năng lượng), sau đó tìm mối liên hệ giữa các biến của chúng Chính vì vậy mà mạng Hopfield rất phù hợp với các bài toán tối ưu tổ hợp, đặc biệt là đối với một số bài toán thuộc lớp bài toán NP-đầy đủ như bài toán người bán hàng rong, bài toán số cạnh cắt nhau của đồ thị tròn.v.v

Tuy nhiên, khi sử dụng mạng Hopfield vào việc giải các bài toán tối ưu trong thực tế còn gặp một số hạn chế sau:

 Mạng Hopfield không đảm bảo cho hội tụ toàn cục Để khắc phục người ta đã kết hợp mạng Hopfield với một số gải thuật khác, thí dụ như giải thuật di truyền v.v , hoặc dựa vào phương trình động học một số hạng đặc biệt gọi là số hạng leo đồi Từ đó hàm năng lượng của mạng có thể thay đổi đến một trạng thái cao hơn, tranh được hội tụ địa phương và tiến tới hội tụ toàn cục

 Việc chọn hệ số của hàm mục tiêu và hệ số của hàm ràng buộc để nhận được một lời giải tốt là hết sức khó khăn Cho đến nay, việc chon nó vẫn chủ yếu dựa vào kinh nghiệm Hiện nay, đã có một số phương pháp điều khiển các hệ số này bằng cách dùng điều khiển mờ (Xem [6].)

Một số cách tổng quát, có thể xây dụng một số bước cần phải thực hiện khi sử dụng mạng Hopfield vào việc giải bài toán tối ưu như sau: (Ánh xạ bài toán tối ưu lên mạng nơ-ron, Xem [9].)

1 Lập sơ đồ biểu diễn các đâu ra cảu mạng sao cho nó có thể giải mã thành nghiệm của bài toán tối ưu

Trang 28

2 Tạo hàm năng lượng sao cho giá trị cực tiểu của nó ứng với nghiệm tốt nhất của bài toán cần ánh xạ

3 Gán giá trị cho các tham số của hàm năng lượng, điều này xác định các trọng số tương đối gán cho các thành phần khác nhau của hàm năng lượng

4 Đưa ra phương trình động học cho các nơ-ron

5 Khởi tạo các giá trị đầu vào

* Chú ý: Không có phương pháp ánh xạ trực tiếp các bài toán tối ưu có

ràng buộc lên mạng nơ-ron Cho nên phải thêm vào hàm mục tiêu các thành phần phạt khi các ràng buộc bị phá vỡ Khi đó hàm năng lượng được biểu diễn như tổng của hàm mục tiêu và các thành phần phạt

* Thí dụ: Xét bài toán sánh cặp có trọng

j là dij phải nối các điểm thành từng cặp, mỗi điểm chỉ nối đúng một điểm khác sao cho tổng độ dài của đường nối là nhỏ nhất

Hình vẽ dưới đây chỉ là ví dụ khi n = 6

(a) Lời giải tốt (b) Lời giải xấu

Ánh xạ bài toán lên mạng nơ-ron:

Hình 1.8

Trang 29

Ta gán cho mỗi cặp điểm (i, j) với i<j một nơ-ron ij với đầu ra là V ij

Như vậy cần tất cả  

2 1



n n

nơ-ron Mỗi phương án của bài toán ứng với một

trạng thái của mạng với

víi nèi nÕu 1

0

j i

ij V d

(1.17) Trong đó: dij là khoảng cách từ điểm i đến điểm j

V

1

1, i 1 ,n, (1.18)

Các ràng buộc trên chỉ ra ràng mỗi điểm chỉ được nối với đúng một

điểm khác Ta định nghĩa V ij V ji khi i j và v ij  0 Đưa ra thành phần phạt

vào hàm cần cực tiểu hoá ta đi đến hàm năng lượng:

ij

d E

2 ,

1 2 2

, (1.19) Trong đó:  là tham số

Từ đây lấy đạo hàm riêng

ij

V V V

E dt

dU

γ , (1.20)

Trang 30

Có thể chọn hàm kích hoạt làm hàm McCulloch – Pitts hay hàm

Sigmoid Và như vậy ta đã ánh xạ được bài toán sánh cặp có trong lên mạng nơ-ron nhân tạo

1.3.4 Mạng Hopfield với các bài toán NP-C

1.3.4.1 Bài toán bốn màu

Phát biểu bài toán bốn màu:

Cho một bản đồ trong đó có N nước Cần tô màu cho các nước sao cho hai nước kề nhau (tức là có chung biên giới) được tô bởi hai màu khác nhau, nhờ đó có thể phân biệt các vùng một cách dễ dàng

Bài toán sẽ không còn tồn tại nếu như có số lượng màu lớn Tuy nhiên,

sẽ thực sự khó khăn với ràng buộc rằng phải sử dụng số màu là nhỏ nhất

Đầu những năm 1850, Francis Guthrie quan tâm tới bài toán này và đã trình bày bài toán với Augustus DeMorgan Khi đó nhiều nhà toán học khác

đã cố gắng chứng minh rằng bất kỳ một đồ thị phẳng nào cũng có thể tô được bởi bốn màu Vào tháng 8 năm 1976, Kenneth Appel và Wolfgang Haken đã trình bày công việc của họ với những thành viên của hội toán học Mỹ Tuy nhiên, cách tô màu của họ dựa trên phương pháp tuần tự nên mất nhiều thời gian để giải bài toán lớn (cỡ O(n2

))

Một số thuật toán song song đã được công bố bởi E, D Dahl(1987), Moopenn(1987), và Thakoor (1987) giới thiệu lần đầu tiên cho bài toán k màu

Bài toán bốn màu là bài toán thuộc lớp NP - đầy đủ

1.3.4.2 Bài toán phẳng hóa đồ thị

Phẳng hoá đồ thị là một trong những bài toán quan trọng trong việc thiết kế mạch điện tử và định tuyến tối ưu mạch tổ hợp

Một đồ thị được gọi là phẳng nếu như nó không có hai cạnh nào cắt nhau khi biểu diễn chúng trên cùng một mặt phẳng

Trang 31

Một cách tổng quát bài toán phẳng hóa đồ thị được phát biểu như sau: Từ một đồ thị cho trước (là đồ thị phẳng hoặc không phẳng), hãy tìm ra một đồ thị con lớn nhất để có thể phẳng hoá được, sau đó phẳng hóa đồ thị con đó sao cho không có cạnh nào cắt nhau khi biểu diễn chúng trên cùng một mặt phẳng

Với đồ thị không phẳng cho trước, để thực hiện phẳng hoá nó, trước hết

ta phải chọn từ nó một đồ thị con lớn nhất có thể phẳng hóa được Đồ thị con này được chọn sao cho số cạnh của nó là lớn nhất, tương đương với số cạnh bị loại bỏ khỏi đồ thị cho trước là nhỏ nhất Như vậy, bài toán tìm một đồ thị con lớn nhất từ một đồ thị không phẳng cho trước sau đó phẳng hoá nó là một bài toán thuộc lớp bài toán NP- đầy đủ

Như vậy để phẳng hoá một đồ thị ta phải thực hiện các bước sau:

- Với một đồ thị cho trước kiểm tra xem nó có phẳng hay không, nếu không phẳng, ta tìm một đồ thị con lớn nhất có thể phẳng hoá được

- Biểu diễn đồ thị tìm được lên mặt phẳng sau đó thực hiện phẳng hoá

Trang 32

Hình (1.10) và hình (1.11) là đồ thị phẳng

Để giải bài toán phẳng hoá đồ thị, người ta đưa ra một phương pháp biểu diễn đồ thị, đó là phương pháp biểu diễn đồ thị trên một hàng đơn (single – row- routing representation) Các đỉnh của một đồ thị được đặt trên cùng một hàng và được sắp xếp theo thứ tự, các cạnh của đồ thị được biểu diễn bởi các đường nối trên và các đường nối dưới Với phương pháp này đồ thị hình (1.7) được biểu diễn như sau:

1.3.4.3 Bài toán người du lịch

Phát biểu bài toán:

Cho N điểm với khoảng cách dij Tìm đường đi khép kín ngắn nhất sao cho mỗi điểm chỉ đi qua một lần và trở về điểm xuất phát

Trang 33

Nguồn gốc của bài toán người du lịch đến nay vẫn chưa rõ ràng Một cuốn sách cho người du lịch từ năm 1832 đã đề cập tới vấn đề và bao gồm vài

ví dụ về các đường đi từ Đức qua Thụy Sỹ nhưng không chứa đựng ý nghĩa toán học nào

Vấn đề toán học liên quan tới bài toán người du lịch đã được nhắc đến trong những năm 1800 bởi nhà toán học Ireland W R Hamilton và nhà toán học người Anh Thomas Kirkman Trò chơi Icosian Game của Hamilton là một trò đố vui dựa trên cơ sở tìm chu trình Hamilton Dạng tổng quát của bài toán TSP được nghiên cứu bởi các nhà toán học suốt những năm 1930 ở đại học Harvard, đáng chú ý là Karl Menger người đã định nghĩa bài toán, xem xét giải thuật brute-force và quan sát thấy tính không tối ưu của heuristic dựa trên láng giếng gần nhất

Hassler Whitney ở đại học Princeton University là ngừời đầu tiên đặt

tên người du lịch cho bài toán không lâu sau đó

Trong những năm 1950 và 1960, bài toán trở nên ngày càng phổ biến trong khoa học ở châu Âu và Mỹ Những đóng góp đáng chú ý được kể đến như George Dantzig, Delbert Ray Fulkerson và Selmer M Johnson tại RAND Corporation ở Santa Monica, những người đã trình bày bài toán như bài toán số nguyên tuyến tính và phát triển phương thức cắt cho lời giải của

nó Với những phương thức mới này họ đã giải được một thí dụ của bài toán với 49 thành phố để xây dựng một cách tối ưu và chứng minh rằng không còn đường đi nào ngắn hơn nữa Trong những thập kỷ tiếp theo, bài toán được nghiên cứu bởi rất nhiều nhà nghiên cứ từ toán học, khoa học máy tính, hóa học, vật lý và những khoa học khác

Richard M Karp năm 1972 chỉ ra rằng bài toán chu trình Hamiltonian thuộc lớp NP-complete, và qua đó chỉ ra tính NP khó (NP-hardness ) của bài

Trang 34

toán TSP Điều này giải thích một cách khoa học cho độ phức tạp tính toán của việc tìm lời giải tối ưu cho bài toán

Nhiều thành tựu đã đạt được trong suốt những năm cuối thập kỷ 1970

và 1980, khi Grötschel, Padberg, Rinaldi và những người khác cố gắng giải một cách chính xác một thể hiện của bài toán với 2392 thành phố, sử dụng phương thức cắt và branch-and-bound

Trong những năm 1990 Applegate, Bixby, Chvátal, và Cook đã

phát triển chương trình Concorde mà đã được sử dụng nhiều trong việc

giải các bài toán TSP cho đến nay Gerhard Reinelt đã công bố thư viện TSPLIB vào năm 1991, đó là một tập các thể hiện của bài toán TSP với nhiều độ khó khác nhau, và đã được sử dụng bởi nhiều nhóm nghiên cứu khác nhau để so sánh kết quả Năm 2005, Cook và những người khác đã tính được độ dài tối ưu cho chu trình với thể hiện của bài toán TSP lên tới 33,810 thành phố, được lấy ra từ bài toán xây dựng layout cho microchip, cho tới nay vẫn là thể hiện lớn nhất trong các thể hiện ở TSPLIB Nhiều thể hiện khác với hàng triệu thành phố, lời giải tìm được có thể chứng minh nằm trong khoảng 1% của lời giải tối ưu

Mô hình đồ thị của bài toán

TSP có thể được mô hình như một đồ thị, các đỉnh của đồ thị tương ứng với các thành phố và các cạnh thì tương ứng với đường nối giữa các thành phố, chiều dài của một cạnh tương ứng với khoảng cách giữa 2 thành phố

Hình 1.13

Trang 35

Một đường đi trong bài toán TSP là một chu trình Hamilton trên đồ thị và một lời giải tối ưu của bài toán là chu trình Hamilton ngắn nhất

Thường thì đồ thị là đồ thị đầy đủ, vì vậy mọi cặp đỉnh đều được nối bởi các cạnh Đây là bước đơn giản hóa bài toán vì việc tìm chu trình Hamilton trong một đồ thị đầy đủ là dễ Các bài toán mà không phải 2 thành phố nào cũng được nối với nhau có thể được chuyển đổi thành đồ thị đầy đủ bằng cách thêm những cạnh có độ dài lớn giữa cách thành phố này, những cạnh sẽ không xuất hiện trong chu trình tối ưu

1.3.4.4 Bài toán số cạnh cắt nhau của đồ thị tròn

Phát biểu bài toán

Cho đồ thị tròn G = (V, E) gồm n đỉnh và m cạnh Số cạnh cắt nhau của

đồ thị tròn khi sắp xếp lại các tập đỉnh mà vẫn bảo toàn tính liền kề, sao cho

số cạnh cắt nhau là bé nhất Đây là bài toán NP – hard

Vấn đề số cạnh cắt nhau của đồ thị tròn là vấn đề dựa trên các khái niệm có tính liền kề giữa các đỉnh để đơn giản hóa đồ thị, nhưng nó là một trong những vấn đề khó khăn nhất để giải quyết bài toán tối ưu hóa tổ hợp

1.4 Kết luận

Chương này đã trình bày một cách tổng quát về mạng nơ-ron nhân tạo bao gồm cấu trúc, luận học và phạm vi ứng dụng của mạng nơ-ron, sơ lược về các bài toán NP-C và các phương pháp giải Một mô hình mạng nơ-ron cụ thể được đề cập trong chương này là mạng nơ-ron Hopfield và ứng dụng của mạng nơ-ron Hopfield vào việc giải quyết các bài toán tối ưu tổ hợp Thí dụ

Trang 36

minh hoạ bài toán sánh cặp có trọng Việc giải bài toán cụ thể sẽ được trình bày ở chương sau

Chương 2 ỨNG DỤNG MẠNG NƠ-RON HOPFIELD TRONG BÀI TOÁN

SỐ CẠNH CẮT NHAU CỦA ĐỒ THỊ TRÒN

2.1 Giới thiệu bài toán số cạnh cắt nhau của đồ thị tròn

Các đồ thị mà có thể vẽ lại sao cho không có các cạnh cắt nhau (đồ thị phẳng) có ưu thế rất tự nhiên khi hiện thị Khi hiện thị các đồ thị không phẳng một cách tiếp cận tự nhiên là vẽ lại dồ thị sao cho nó gần phẳng nhất, nghĩa là với số cạnh cắt nhau ít nhất Đặc biệt, khi ta muốn vẽ một đồ thị để làm cho thông tin chứa trong cấu trúc của nó dễ truy cập, chúng ta rất mong muốn vẽ lại được đồ thị với số cạnh cắt nhau ít nhất [16] Trong ngữ cảnh khi các đỉnh của đồ thị được đặt trên một đường tròn chúng ta có bài toán về số cạnh cắt nhau ít nhất của đồ thị Bài toán được phát biểu cụ thể như sau:

Trang 37

Cho đồ thị tròn G gồm n đỉnh và m cạnh Bài toán đặt ra là sắp xếp lại

vị trí các đỉnh trên đường tròn mà vẫn bảo toán tính liền kề giữa các đỉnh, sao cho số cạnh cắt nhau là bé nhất Đây là bài toán đã được chứng minh là NP – hard [17]

Ký hiệu ma trận liền kề của đồ thị G là A, trong đó A= (aij), các đỉnh

Thí dụ 2.1: Giả sử ta có một đồ thị gồm mười ba cạnh và mười đỉnh được

biểu diễn bởi Hình 2.1 Đồ thị này có 25 cạnh cắt nhau

Có thể sắp xếp lại các đỉnh của đồ thị mà vẫn bảo toàn tính liền kề sao cho số cạnh cắt nhau bằng 1 như Hình 2.2 Đây là số cạnh cắt nhau bé nhất

Hình 2.1 Biểu diễn đồ thị trong Thí dụ 2.1

Trang 38

2.2 Mạng nơ-ron Hopfield với bài toán số cạnh cắt nhau của đồ thị tròn

2.2.1 Mô hình mạng nơ-ron Hopfield

Mô hình mạng nơ-ron Hopfield là một mô hình rất quan trọng cho rất nhiều nhà nghiên cứu Mô hình này đƣợc đề xuất bởi McCulloch and Pitts [10] Nhƣng Hopfield đã phân tích tính ổn định của mô hình này và so sánh với lý thuyết vật lý của vật liệu từ tính Họ mô tả phiên bản nguyên thủy mà cập nhật những giá trị kích hoạt đồng thời và độc lập của các nơ-ron [4] Mô hình mạng nơ-ron Hopfield có thể tìm thấy trong Síma [14]

Mạng nơ-ron Hopfield là mạng hồi quy đầy đủ với n nơ-ron dựa trên những liên kết đối xứng đƣợc minh họa bởi hình (2.3) Tất cả các nơ-ron có đầu vào và đầu ra các giá trị kích hoạt là nhị phân ban đầu Hopfield chọn các giá trị 0 , 1 nhƣng có thể sử dụng giá trị  1 , 1 bởi các hàm biến đổi

Nơ-ron i tính toán giá trị V i(t 1 ),t  0 , 1 , tại thời điểm t+1 bởi công thức (2.2)

v1(G) = 1

Định dạng
Số trang	77
Dung lượng	1,18 MB