Tài liệu An introduction to Neural Networks pptx

Vectors are indicated with a bold non-slanted font: j , k , ::: the unit j,k,:::; i an input unit; h a hidden unit; o an output unit; xp thepth input pattern vector; xpj thejth element o

c1996 The University of Amsterdam Permission is granted to distribute single copies of thisbook for non-commercial use, as long as it is distributed as a whole in its original form, andthe names of the authors and the University of Amsterdam are mentioned Permission is alsogranted to use this book for non-commercial courses, provided the authors are noti ed of thisbeforehand.

The authors can be reached at:

Faculty of Mathematics & Computer Science Institute of Robotics and System Dynamics

Kruislaan 403, NL{1098 SJ Amsterdam P O Box 1116, D{82230 Wessling

URL: http://www.fwi.uva.nl/research/neuro/ URL:http://www.op.dlr.de/FF-DR-RS/

3.1 Networks with threshold activation functions : : : : : : : : : : : : : : : : : : : : 233.2 Perceptron learning rule and convergence theorem : : : : : : : : : : : : : : : : : 243.2.1 Example of the Perceptron learning rule : : : : : : : : : : : : : : : : : : : 253.2.2 Convergence theorem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 253.2.3 The original Perceptron : : : : : : : : : : : : : : : : : : : : : : : : : : : : 263.3 The adaptive linear element (Adaline) : : : : : : : : : : : : : : : : : : : : : : : : 273.4 Networks with linear activation functions: the delta rule : : : : : : : : : : : : : : 283.5 Exclusive-OR problem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 293.6 Multi-layer perceptrons can do everything : : : : : : : : : : : : : : : : : : : : : : 303.7 Conclusions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 31

4.1 Multi-layer feed-forward networks: : : : : : : : : : : : : : : : : : : : : : : : : : : 334.2 The generalised delta rule : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 334.2.1 Understanding back-propagation : : : : : : : : : : : : : : : : : : : : : : : 354.3 Working with back-propagation : : : : : : : : : : : : : : : : : : : : : : : : : : : : 364.4 An example : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 374.5 Other activation functions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 38

3

4.6 De ciencies of back-propagation: : : : : : : : : : : : : : : : : : : : : : : : : : : : 394.7 Advanced algorithms : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 404.8 How good are multi-layer feed-forward networks? : : : : : : : : : : : : : : : : : : 424.8.1 The eect of the number of learning samples : : : : : : : : : : : : : : : : 434.8.2 The eect of the number of hidden units : : : : : : : : : : : : : : : : : : : 444.9 Applications: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 45

5.1 The generalised delta-rule in recurrent networks: : : : : : : : : : : : : : : : : : : 475.1.1 The Jordan network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 485.1.2 The Elman network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 485.1.3 Back-propagation in fully recurrent networks : : : : : : : : : : : : : : : : 505.2 The Hop eld network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 505.2.1 Description : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 505.2.2 Hop eld network as associative memory : : : : : : : : : : : : : : : : : : : 525.2.3 Neurons with graded response: : : : : : : : : : : : : : : : : : : : : : : : : 525.3 Boltzmann machines : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 54

6.1 Competitive learning : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 576.1.1 Clustering : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 576.1.2 Vector quantisation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 616.2 Kohonen network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 646.3 Principal component networks: : : : : : : : : : : : : : : : : : : : : : : : : : : : : 666.3.1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 666.3.2 Normalised Hebbian rule : : : : : : : : : : : : : : : : : : : : : : : : : : : 676.3.3 Principal component extractor : : : : : : : : : : : : : : : : : : : : : : : : 686.3.4 More eigenvectors : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 696.4 Adaptive resonance theory: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 696.4.1 Background: Adaptive resonance theory : : : : : : : : : : : : : : : : : : : 696.4.2 ART1: The simpli ed neural network model: : : : : : : : : : : : : : : : : 706.4.3 ART1: The original model: : : : : : : : : : : : : : : : : : : : : : : : : : : 72

7.1 The critic : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 757.2 The controller network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 767.3 Barto's approach: the ASE-ACE combination : : : : : : : : : : : : : : : : : : : : 777.3.1 Associative search : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 777.3.2 Adaptive critic : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 787.3.3 The cart-pole system : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 797.4 Reinforcement learning versus optimal control : : : : : : : : : : : : : : : : : : : : 80

8.1 End-eector positioning : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 868.1.1 Camera{robot coordination is function approximation : : : : : : : : : : : 878.2 Robot arm dynamics : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 918.3 Mobile robots : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 948.3.1 Model based navigation : : : : : : : : : : : : : : : : : : : : : : : : : : : : 948.3.2 Sensor based control : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 95

CONTENTS 5

9.1 Introduction: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 979.2 Feed-forward types of networks : : : : : : : : : : : : : : : : : : : : : : : : : : : : 979.3 Self-organising networks for image compression : : : : : : : : : : : : : : : : : : : 989.3.1 Back-propagation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 999.3.2 Linear networks: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 999.3.3 Principal components as features : : : : : : : : : : : : : : : : : : : : : : : 999.4 The cognitron and neocognitron : : : : : : : : : : : : : : : : : : : : : : : : : : : 1009.4.1 Description of the cells: : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1009.4.2 Structure of the cognitron : : : : : : : : : : : : : : : : : : : : : : : : : : : 1019.4.3 Simulation results : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1029.5 Relaxation types of networks : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1039.5.1 Depth from stereo : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1039.5.2 Image restoration and image segmentation: : : : : : : : : : : : : : : : : : 1059.5.3 Silicon retina : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 105

10.1 The Connection Machine : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11210.1.1 Architecture : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11210.1.2 Applicability to neural networks : : : : : : : : : : : : : : : : : : : : : : : 11310.2 Systolic arrays : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 114

11.1 General issues : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11511.1.1 Connectivity constraints : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11511.1.2 Analogue vs digital : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11611.1.3 Optics : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11611.1.4 Learning vs non-learning : : : : : : : : : : : : : : : : : : : : : : : : : : : 11711.2 Implementation examples : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11711.2.1 Carver Mead's silicon retina : : : : : : : : : : : : : : : : : : : : : : : : : : 11711.2.2 LEP's LNeuro chip : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 119

List of Figures

2.1 The basic components of an arti cial neural network.: : : : : : : : : : : : : : : : 162.2 Various activation functions for a unit : : : : : : : : : : : : : : : : : : : : : : : : 173.1 Single layer network with one output and two inputs.: : : : : : : : : : : : : : : : 233.2 Geometric representation of the discriminant function and the weights : : : : : : 243.3 Discriminant function before and after weight update : : : : : : : : : : : : : : : 253.4 The Perceptron : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 273.5 The Adaline : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 273.6 Geometric representation of input space : : : : : : : : : : : : : : : : : : : : : : : 293.7 Solution of the XOR problem.: : : : : : : : : : : : : : : : : : : : : : : : : : : : : 304.1 A multi-layer network withllayers of units : : : : : : : : : : : : : : : : : : : : : 344.2 The descent in weight space : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 374.3 Example of function approximation with a feedforward network : : : : : : : : : 384.4 The periodic function f(x) = sin(2x)sin(x) approximated with sine activationfunctions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 394.5 The periodic functionf(x) = sin(2x)sin(x) approximated with sigmoid activationfunctions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 404.6 Slow decrease with conjugate gradient in non-quadratic systems : : : : : : : : : 424.7 Eect of the learning set size on the generalization : : : : : : : : : : : : : : : : : 444.8 Eect of the learning set size on the error rate : : : : : : : : : : : : : : : : : : : 444.9 Eect of the number of hidden units on the network performance : : : : : : : : : 454.10 Eect of the number of hidden units on the error rate : : : : : : : : : : : : : : : 455.1 The Jordan network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 485.2 The Elman network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 495.3 Training an Elman network to control an object: : : : : : : : : : : : : : : : : : : 495.4 Training a feed-forward network to control an object : : : : : : : : : : : : : : : : 505.5 The auto-associator network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 516.1 A simple competitive learning network : : : : : : : : : : : : : : : : : : : : : : : 586.2 Example of clustering in 3D with normalised vectors : : : : : : : : : : : : : : : : 596.3 Determining the winner in a competitive learning network : : : : : : : : : : : : 596.4 Competitive learning for clustering data : : : : : : : : : : : : : : : : : : : : : : : 616.5 Vector quantisation tracks input density : : : : : : : : : : : : : : : : : : : : : : : 626.6 A network combining a vector quantisation layer with a 1-layer feed-forward neu-ral network This network can be used to approximate functions from < 2 to < 2,the input space < 2 is discretised in 5 disjoint subspaces : : : : : : : : : : : : : : 626.7 Gaussian neuron distance function : : : : : : : : : : : : : : : : : : : : : : : : : : 656.8 A topology-conserving map converging : : : : : : : : : : : : : : : : : : : : : : : 656.9 The mapping of a two-dimensional input space on a one-dimensional Kohonennetwork : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 66

7

6.10 Mexican hat: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 666.11 Distribution of input samples : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 676.12 The ART architecture : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 706.13 The ART1 neural network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 716.14 An example ART run : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 727.1 Reinforcement learning scheme : : : : : : : : : : : : : : : : : : : : : : : : : : : : 757.2 Architecture of a reinforcement learning scheme with critic element : : : : : : : : 787.3 The cart-pole system : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 808.1 An exemplar robot manipulator : : : : : : : : : : : : : : : : : : : : : : : : : : : 858.2 Indirect learning system for robotics : : : : : : : : : : : : : : : : : : : : : : : : : 888.3 The system used for specialised learning.: : : : : : : : : : : : : : : : : : : : : : : 898.4 A Kohonen network merging the output of two cameras : : : : : : : : : : : : : : 908.5 The neural model proposed by Kawato et al : : : : : : : : : : : : : : : : : : : : 928.6 The neural network used by Kawato et al : : : : : : : : : : : : : : : : : : : : : : 928.7 The desired joint pattern for joints 1 Joints 2 and 3 have similar time patterns 938.8 Schematic representation of the stored rooms, and the partial information which

is available from a single sonar scan : : : : : : : : : : : : : : : : : : : : : : : : : 958.9 The structure of the network for the autonomous land vehicle : : : : : : : : : : 959.1 Input image for the network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1009.2 Weights of the PCA network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1009.3 The basic structure of the cognitron : : : : : : : : : : : : : : : : : : : : : : : : : 1019.4 Cognitron receptive regions : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1029.5 Two learning iterations in the cognitron : : : : : : : : : : : : : : : : : : : : : : : 1039.6 Feeding back activation values in the cognitron : : : : : : : : : : : : : : : : : : : 10410.1 The Connection Machine system organisation.: : : : : : : : : : : : : : : : : : : : 11310.2 Typical use of a systolic array : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11410.3 The Warp system architecture : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11411.1 Connections between M input andN output neurons : : : : : : : : : : : : : : : 11511.2 Optical implementation of matrix multiplication : : : : : : : : : : : : : : : : : : 11711.3 The photo-receptor used by Mead : : : : : : : : : : : : : : : : : : : : : : : : : : 11811.4 The resistive layer (a) and, enlarged, a single node (b) : : : : : : : : : : : : : : : 11911.5 The LNeuro chip : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 120

This manuscript attempts to provide the reader with an insight in arti cial neural networks.Back in 1990, the absence of any state-of-the-art textbook forced us into writing our own.However, in the meantime a number of worthwhile textbooks have been published which can

be used for background and in-depth information We are aware of the fact that, at times, thismanuscript may prove to be too thorough or not thorough enough for a complete understanding

of the material; therefore, further reading material can be found in some excellent text bookssuch as (Hertz, Krogh, & Palmer, 1991; Ritter, Martinetz, & Schulten, 1990; Kohonen, 1995;Anderson & Rosenfeld, 1988; DARPA, 1988; McClelland & Rumelhart, 1986; Rumelhart &McClelland, 1986)

Some of the material in this book, especially parts III and IV, contains timely material andthus may heavily change throughout the ages The choice of describing robotics and vision asneural network applications coincides with the neural network research interests of the authors.Much of the material presented in chapter 6 has been written by Joris van Dam and Anuj Dev

at the University of Amsterdam Also, Anuj contributed to material in chapter 9 The basis ofchapter 7 was form by a report of Gerard Schram at the University of Amsterdam Furthermore,

we express our gratitude to those people out there in Net-Land who gave us feedback on thismanuscript, especially Michiel van der Korst and Nicolas Maudit who pointed out quite a few

of our goof-ups We owe them many kwartjes for their help

The seventh edition is not drastically dierent from the sixth one; we corrected some typingerrors, added some examples and deleted some obscure parts of the text In the eighth edition,symbols used in the text have been globally changed Also, the chapter on recurrent networkshas been (albeit marginally) updated The index still requires an update, though

Amsterdam/Oberpfaenhofen, November 1996

Patrick van der Smagt

Ben Krose

9

FUNDAMENT ALS

11

1 Introduction

A rst wave of interest in neural networks (also known as `connectionist models' or `paralleldistributed processing') emerged after the introduction of simpli ed neurons by McCulloch andPitts in 1943 (McCulloch & Pitts, 1943) These neurons were presented as models of biologicalneurons and as conceptual components for circuits that could perform computational tasks.When Minsky and Papert published their book Perceptrons in 1969 (Minsky & Papert, 1969)

in which they showed the de ... (non -neural) models; the intriguing question

is to which extent the neural approach proves to be better suited for certain applications thanexisting models To date an equivocal answer to. .. implication ofthe networks, and we will at most occasionally refer to biological neural models We considerneural networks as an alternative computational scheme rather than anything else

These...

This manuscript attempts to provide the reader with an insight in articial neural networks. Back