Neurol Networks and applications ppsx

 Từ các nghiên cứu về tâm lý học: Làm thế nào để động vật có thể học được…  Từ vật lý về tâm lý thực nghiệm giúp các nhà khoa học hiểu các neuron và nhóm các neuron làm việc như thế

Neural Networks and

Nội dung môn học

Gồm lý thuyết và thực hành:

1 Lý thuyết đưa ra các chủ đề về neural

network và ứng dụng vào quá trình học có/không có giám sát

(supervised/unsupervised learning)

thuật toán học trong neural network

trong lĩnh vực điện tử-viễn thông

Lịch sử

Nguồn gốc của NN bắt nguồn từ:

 Các nghiên cứu về thần kinh sinh học (cách đây cả thế

kỷ):

Từ những kích thích thần kinh, và ngưỡng kích thích bằng

bao nhiêu thì có đáp ứng? etc

 Từ các nghiên cứu về tâm lý học:

Làm thế nào để động vật có thể học được…

 Từ vật lý về tâm lý thực nghiệm giúp các nhà khoa học

hiểu các neuron và nhóm các neuron làm việc như thế

nào.

 McCulloch và Pitts lần đầu tiên đưa ra mô hình toán của

neuron đơn và nó được ứng dụng cho các nghiên cứu

sau này.

Lịch sử, cont

Tiền sử:

 Golgi and Ramony Cajal nghiên cứu các hệ thống thần

kinh và phát hiện ra các neuron (cuối thế kỷ 19)

Tóm tắt qua các mốc thời gian:

 McCulloch và Pitts (1943): NN đầu tiên với các neuron

binary

 Hebb (1949): quá trình học khi các neuron nối với nhau

 Minsky (1954): NN cho quá trình reinforcement

learning

 Taylor (1956): associative memory

Lịch sử, cont

 Widrow and Hoff (1960): Adaline (adaptive linear neuron)

 Minsky and Papert (1969): đưa ra các hạn chế của perceptron

một lớp và đưa đến perceptron nhiều lớp

Ngừng trệ trong thập kỷ 70:

 Các nhà nghiên cứu độc lập tiếp tục nghiên cứu

 von der Marlsburg (1973): đưa ra quá trình học competitive

learning và self-organization

NN phát triển cực manh ở thập niên 80's

 Grossberg: adaptive resonance theory (ART)

 Hopfield: Hopfield network

 Kohonen: self-organising map (SOM)

Lịch sử, cont

 Oja: phân tích thành phần độc lập(PCA)

 Ackley, Hinton and Sejnowski: Máy Boltzmann

 Rumelhart, Hinton and Williams: backpropagation

Sự đa dạng hóa trong thập niên 90's:

 Machine learning: Phương pháp toán, Bayesian các

phương pháp, lý thuyết thông tin, support vector

machines (công cụ mạnh hiện nay),

 Computational neurosciences: làm việc với hầu hết các

phần của hệ thống của não và được hiểu ở mức nào

đó Nghiên cứu từ các mô hình mức thấp của các

neuron đến các mô hình bộ não.

Phân loại các giải thuật học

radial basis function

support vector machines

NN models:

self-organizing maps (SOM) Hopfield networks

NNs: mục đích và thiết kế

 Học được thực hiện với tập các mẫu

(dataset) và được gọi là training examples

 Một NN được quan tâm theo 3 khía cạnh:

 Kiến trúc của mạng: Các neuron và liên kết giữa chúng với nhau Mỗi liên kết có một trọng số, gọi là weight ,

 Mô hình của Neuron : liên quan đến số đầu vào và hàm

kích hoạt,

 Thuật tóan học: dùng để dạy NN thông qua điều chỉnh các weight để có đầu ra như mong muốn

 Mục đích cuối cùng là có được NN có thể nhận ra được những thông tin được đưa

Ví dụ: Alvinn

Tự động lái ở tốc độ 110 Km/h

Camera

image

Đầu vào là các ảnh 30x32 pixels

30 đầu ra

30x32 weights Cho 1 trong

4 hidden neuron

4 hidden

Neurons

Các kiến trúc mạng neuron

 Có 3 loại kiến trúc

 single-layer feed-forward Các neuron được nối với nhau

 multi-layer feed-forward không tạo ra vòng (acyclic)

 Recurrent neural network

 kiến trúc của NN có liên hệ với giải thuật học được dùng để

dạy cho mạng

Single Layer Feed-forward

Input layer

of source nodes

Output layer

of neurons

Multi layer feed-forward

Input

layer

Output layer

Hidden Layer

3-4-2 Network

b

Activation function

Local Field

Tín hiệu vào và Weights

 Weights được dùng trong

kết nối giữa các đầu vào

và hàm tổng, hoặc giữa đầu ra của một neuron với đầu vào hàm tổng của lớp tiếp theo.

 Hoạt động của NN được theo các Weights

 Bias là đầu vào hằng số

và có weight xác định

 Thường weights được

 Hàm kích hoạt (Activation function) hình

thành đầu ra dựa trên

(u

Bias của Neuron

 bias b và u

v = u + b

 v được gọi là induced field của neuron

x2 x1

u = −

x1-x2=0 x1-x2= 1

x1 x2 x1-x2= -1

Bias as extra input

• Bias có thể được xem như một đầu vào

Input

signal

Synaptic weights

Summing function

Activation function

Local Field

x w

0 1

v if

v if v

2 1 2

1

2 1 1

v if

v if

v

v if v

) exp(

=

ϕ ϕ ( ) v = tanh ( ) v

1 exp

2

1 )

(

σ

µ σ

π

) exp(

1

1 )

(

y xv

z

v

+

− +

>

<

=

otherwise ))

/(

) )(

((

if

if

)

(

c d a b c v a

d v b

c v

a v

c v

a v

if

if

)

(

ϕ

Các giải thuật học

Phụ thuộc vào kiến trúc của mạng:

 Error correcting learning (dùng cho

perceptron)

 Delta rule (AdaLine, Backprop.)

 Competitive Learning (Self Organizing

Maps)

Supervised learning Non-linear classifiers

Linear classifiers

Perceptron Adaline

Feed-forward networks Radial basis function networks

Support vector machines

Unsupervised learning

Clustering

Self-organizing maps K-means

Ứng dụng

Ứng dụng

điểm trong không

1 2

) ,

, 2

, 1 (

v v

n

x v

n

x x

x v

Vector Addition

) ,

( )

, (

) ,

( x 1 x 2 + y 1 y 2 = x 1 + y 1 x 2 + y 2

= + w

v

v

w V+w

Scalar Product

) ,

( )

, ( x 1 x 2 ax 1 ax 2 a

a v = =

v

av

Operations on vectors

 max, min, mean, sort, …

 Pointwise: ^

Inner (dot) Product

v

w

α

2 2

1 1 2

1 2

(

The inner product is a

The inner product is a SCALAR! SCALAR!

).(

, (

m m m

m n

a a

a

a a

a

a a

a

a a

332

31

222

21

112

11

m n m

n m

C × = × + × Sum:

ij ij

c = +

A and B must have the same dimensions

p m m n p

n n

A × × ≠ × ×

Identity Matrix:

A AI

m n

T n

B

A + ) = + (

If A T = A A is symmetric

I A

A A

1222

122122

11

1

2221

12

11 1

a a

a

a a

a a

a a

a

a a

2D Translation

t

P

P’

P ' = ( x + t x , y + t y ) = +

) ,

(

) , (

y

x t t

2D Translation using Matrices

(

) , (

y

x t t

0 0

1

x t

t t

y

t x

y

x y

x

P

P

P’

( '

) ,

(

sy sx

s sy

sx

0

0 '

P

S P

S

P ' = ⋅