Đề tài: Camera dùng mạng Nơtron trong matlab giao tiếp Plc potx

Sự liên kết các nơron 1.1.2 Cấu trúc và mô hình của một nơron nhân tạo Mô hình toán học của mạng nơron sinh học được đề xuất bởi McCulloch vàPitts, thường được gọi là nơron M-P, ngoài ra

Luận văn

Đề tài: Camera dùng mạng Nơtron trong matlab giao tiếp

Plc

LỜI NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

………

……….

………

Tp.Hồ Chí Minh Ngày … Tháng …… Năm 2013

Giáo viên hướng dẫn

Nguyễn Tấn Lũy

LỜI NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

……….

………

………

……….

………

Tp.Hồ Chí Minh Ngày … Tháng …… Năm 2013

Giáo viên phản biện

Lời Cảm Ơn

Chúng em xin gửi lời cảm ơn chân thành tới Ban Giám Hiệu và các thầy cô trường ĐH Công Nghiệp TP Hồ Chí Minh đã tận tình giảng dạy chúng em trong thời gian qua.

Trong quá trình thực hiện đồ án môn học, chúng em xin chân thành cảm ơn

GVHD Thầy Nguyễn Tấn Lũy đã tận tình giúp đỡ tạo điều kiện cho chúng em xây

dựng và phát triển đề tài, các thầy cô trong khoa, ban quản lý thư viện trường cùng các bạn trong và ngoài lớp đã trao đổi, góp ý, giúp đỡ chúng em hoàn thành

đồ án môn học.

Mục Lục

Chương 1 giới thiêu 6

Chương 2 nội dung 7

I lý thuyet co ban 7

1 mạng noron 7

1.1 câu trúc và mô hình mạng noron 7

1.2 câu tạo và Phuong thưc làm việc của mạng noron 11

1.3 các luật học 20

1.4 Thuật toán lan truyền ngược 24

1.5 Kết luận 32

2 xử lý ảnh trong matlab 33

2.1 một số lẹnh cơ bản trong xử lý ảnh 34

2.2 Các bước thu thập ảnh cỏ bản 38

2.3 Tao giao diện gui 41

3 kết nối matlab và PLC 46

3.1 tạo kết nối với PC Access 46

3.2 các bước tạo kết nôi OPC 48

II Thiết kế và thi công mô hình 53

1 Phần Cứng……….……… 53

2 Nguyên Lý Hoạt Động……….54

3 Sơ đồ khối 55

3.1 khối camera 56

3.2Khối cảm biến 56

3.3 Khối máy tính 57

4 Học và huấn luyện mạng Noron 57

4.1 Ma trận dữ liệu 57

4.2 Tạo ma trận dữ liệu ra 59

4.3 tao mạng noron qua công cu network nẻual 60

5 Phần mềm 66

5.1 Lưu đồ chương trình chính 66

5.2 Lưu đồ xử lý ảnh 67

III Thực nghiệm 69

1 Thiết lập thực nghiệm 69

2 kết quả 69

3 đánh giá 69

IV kết luận và hướng phát triển 70

1 kết luân 70

2 hướng phát triên 70

Phụ lục 71

CHƯƠNG 1 GIỚI THIỆU

Thời đại tự động hóa và số hóa đang đóng một vai trò thiết yếu trong tất cảcác ngành trên mọi lĩnh vực và đời sống mọi công việc tự động hóa dựa trên sốhóa và xử lý hình ảnh đang thực sự làm giảm bớt đi công sức và tiền bạc cho xãhội làm đẩy nhanh tốc độ xử lý công việc, mang lại nhiều thuận lợi về thời giantrong sản xuất và đời sống, cuộc sống trở nên tiện ích và hiện đại hơn

Là một sinh viên của ngành tự động nắm được ý nghĩa trên em đã quyết địnhchọn đề tài “ Nhận dạng hình dáng sản phẩm dùng xử lý ảnh và mạng noural nhântạo”, dựa trên nên tảng của mô hình “SMC automatic 200” đã được làm đồ ántrước đó, đề tài này là một hướng phát triển ,nó đã trở nên ưu việt và hiệu quả hơnrất nhiều so với đề tài trước đó

Đề tài thực sự hữu ích cho những ai học ngành tự động vì nó đòi hỏi ngườilàm phải kiên trì , tìm hiểu và nghiên cứu rất nhiều nó đã cho em hiểu nhiều vềmatlab, về xử lý ảnh và đặc biệt là hiểu về mạng neural còn khá mới mẽ, nhưngcũng đã được ứng dụng rất nhiều trong thực tế

Tuy đã hết sức cố gắng để hoàn thành đề tài Tuy nhiên không thể tránh khỏinhững thiếu xót và khiếm khuyết rất mong được quý thầy cô và các bạn góp ý để

em có thể ngày càng hoàn thiện hơn

CHƯƠNG 2 NỘI DUNG

1 Mạng Noron

1.1 Cấu Trúc Và Mô Hình Mạng Nơron

1.1.1 Mô hình một nơron sinh học

Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron, phần tửnày có thể chia làm bốn thành phần cơ bản như sau: dendrites, soma, axon, vàsynapses

- Dendrites: là phần nhận tín hiệu đầu vào

- Soma: là hạt nhân

- Axon: là phần dẫn ra tín hiệu xử lý

- Synapses: là đường tín hiệu điện hóa giao tiếp giữa các nơron

Kiến trúc cơ sở này của bộ não con người có một vài đặc tính chung Mộtcách tổng quát, thì một nơron sinh học nhận đầu vào từ các nguồn khác nhau, kếthợp chúng tại với nhau, thực thi tổ hợp phi tuyến chúng để cho ra kết quả cuốicùng ở đầu ra Hình 1.1 chỉ ra mối quan hệ giữa bốn phần tử của một nơron sinhhọc

Hình 1.1.1 Một nơron sinh học

Một nơron sinh học chỉ có một số chức năng cơ bản như vậy, ta nhận thấykhả năng xử lý thông tin của nó là rất yếu Để có được khả năng xử lý thông tinhoàn hảo như bộ não con người, thì các nơron phải kết hợp và trao đổi thông tinvới nhau Ta hình dung sơ đồ liên kết, và trao đổi thông tin giữa hai nơron nhưhình 1.2.

Hình 1.1.2 Sự liên kết các nơron

1.1.2 Cấu trúc và mô hình của một nơron nhân tạo

Mô hình toán học của mạng nơron sinh học được đề xuất bởi McCulloch vàPitts, thường được gọi là nơron M-P, ngoài ra nó còn được gọi là phần tử xử lý vàđược ký hiệu là PE (Processing Element)

Mô hình nơron có m đầu vào x1, x2, , xm, và một đầu ra yi như sau:

Hình 1.1.3 Mô hình một nơron nhân tạo

Giải thích các thành phần cơ bản:

- Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thườngđược đưa vào dưới dạng một vector m chiều

- Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng

số (thường được gọi là trọng số liên kết) Trọng số liên kết giữa tín hiệuvào thứ j cho nơron i thường được ký hiệu là wij Thông thường các trọng

số này được khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và được cậpnhật liên tục trong quá trình học mạng

- Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào vớitrọng số liên kết của nó

- Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của hàmtruyền

- Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơron

Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thôngthường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1]hoặc [-1,1] Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính

hoặc phi tuyến Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán vàkinh nghiệm của người thiết kế mạng

- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa mộtđầu ra

Về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp biểu thứcsau:

) ( i i

i f net

và

j n

trong đó: x1, x2, …xm là các tín hiệu đầu vào, còn wi1, wi2,…,wim là các trọng số

kết nối của nơron thứ i, neti là hàm tổng, f là hàm truyền, θi

là một ngưỡng, yi

là tín hiệu đầu ra của nơron

Như vậy, tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tínhiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng cáctích thu được rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra (là kếtquả của hàm truyền)

0 1

x khi

x khi y

0 1

) sgn(

x khi

x khi x

y

(1.7)

- Hàm bậc thang

1 0

1 1

) sgn(

x khi

x khi

x

x khi x

2

− +

1.2 Cấu Tạo Và Phương Thức Làm Việc Của Mạng Nơron

Dựa trên những phương pháp xây dựng nơron đã trình bày ở mục trên, ta có thểhình dung mạng nơron như là một hệ truyền đạt và xử lý tín hiệu Đặc tính truyềnđạt của nơron phần lớn là đặc tính truyền đạt tĩnh

Khi liên kết các đầu vào/ra của nhiều nơron với nhau, ta thu được một mạngnơron, việc ghép nối các nơron trong mạng với nhau có thể là theo một nguyên tắcbất kỳ Vì mạng nơron là một hệ truyền đạt và xử lý tín hiệu, nên có thể phân biệtcác loại nơron khác nhau, các nơron có đầu vào nhận thông tin từ môi trường bênngoài khác với các nơron có đầu vào được nối với các nơron khác trong mạng,chúng được phân biệt với nhau qua vector hàm trọng số ở đầu vào w

Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm nhiềunơron có cùng chức năng trong mạng Hình 1.5 là mô hình hoạt động của mộtmạng nơron 3 lớp với 8 phần tử nơron Mạng có ba đầu vào là x1, x2, x3 và hai đầu

ra y1, y2 Các tín hiệu đầu vào được đưa đến 3 nơron đầu vào, 3 nơron này làmthành lớp đầu vào của mạng Các nơron trong lớp này được gọi là nơron đầu vào.Đầu ra của các nơron này được đưa đến đầu vào của 3 nơron tiếp theo, 3 nơron nàykhông trực tiếp tiếp xúc với môi trường bên ngoài mà làm thành lớp ẩn, hay còngọi là lớp trung gian Các nơron trong lớp này có tên là nơron nội hay nơron ẩn.Đầu ra của các nơron này được đưa đến 2 nơron đưa tín hiệu ra môi trường bênngoài Các nơron trong lớp đầu ra này được gọi là nơron đầu ra

Hình 1.1.5 Mạng nơron ba lớp

Mạng nơron được xây dựng như trên là mạng gồm 3 lớp mắc nối tiếp nhau đi từđầu vào đến đầu ra Trong mạng không tồn tại bất kỳ một mạch hồi tiếp nào Mộtmạng nơron có cấu trúc như vậy gọi là mạng một hướng hay mạng truyền thẳngmột hướng (Feed forward network), và có cấu trúc mạng ghép nối hoàn toàn (vìbất cứ một nơron nào trong mạng cũng được nối với một hoặc vài nơron khác).Mạng nơron bao gồm một hay nhiều lớp trung gian được gọi là mạng MultilayerPerceptrons) (MLP-Network)

Mạng nơron khi mới được hình thành thì chưa có tri thức, tri thức của mạng sẽđược hình thành dần dần sau một quá trình học Mạng nơron được học bằng cáchđưa vào những kích thích, và mạng hình thành những đáp ứng tương ứng, nhữngđáp ứng tương ứng phù hợp với từng loại kích thích sẽ được lưu trữ Giai đoạn nàyđược gọi là giai đoạn học của mạng Khi đã hình thành tri thức mạng, mạng có thểgiải quyết các vấn đề một cách đúng đắn Đó có thể là vấn đề ứng dụng rất khácnhau, được giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầuvào của mạng và các đáp ứng đầu ra

• Nếu nhiệm vụ của một mạng là hoàn chỉnh hoặc hiệu chỉnh các thông tin thuđược không đầy đủ hoặc bị tác động của nhiễu Mạng nơron kiểu này đượcứng dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể lànhận dạng chữ viết.

• Nhiệm vụ tổng quát của một mạng nơron là lưu giữ động các thông tin.Dạng thông tin lưu giữ này chính là quan hệ giữa các thông tin đầu vào vàcác đáp ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vàomạng, mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp Đâychính là chức năng nhận dạng theo mẫu của mạng nơron Để thực hiện chứcnăng này, mạng nơron đóng vai trò như một bộ phận tổ chức các nhómthông tin đầu vào, và tương ứng với mỗi nhóm là một đáp ứng đầu ra phùhợp Như vậy, một nhóm bao gồm một loại thông tin đầu vào và một đápứng đầu ra Các nhóm có thể được hình thành trong quá trình học, và cũng

có thể không hình thành trong quá trình học

Hình 1.6 là một số liên kết đặc thù của mạng nơron Nơron được vẽ là các vòngtròn xem như một tế bào thần kinh, chúng có các mối liên hệ đến các nơron khácnhờ các trọng số liên kết Tập hợp các trọng số liên kết này sẽ lập thành các matrận trọng số tương ứng

1.2.1 Mạng nơron một lớp

Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp cáctrọng số Mạng một lớp truyền thẳng như hình 1.6a Một lớp nơron là một nhómcác nơron mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu vào đồngthời

Trong ma trận trọng số, các hàng là thể hiện nơron, hàng thứ j có thể đặtnhãn như một vector wj của nơron thứ j gồm m trọng số wji Các trọng số trongcùng một cột thứ j (j=1,2, ,n) đồng thời cùng nhận một tín hiệu đầu vào xj.

(d) Mạng nơron hồi quy

Hình 1.1.6 Một số dạng mạng nơron

1.2.2 Mạng nơron truyền thẳng nhiều lớp

Mạng nơron nhiều lớp (Hình 1.6.c) có các lớp được phân chia thành 3 loại sauđây:

• Lớp vào là lớp nơron đầu tiên nhận tín hiệu vào xi (i = 1, 2, , n) Mỗi tínhiệu xi được đưa đến tất cả các nơron của lớp đầu vào Thông thường, cácnơron đầu vào không làm biến đổi các tín hiệu vào xi, tức là chúng không cócác trọng số hoặc không có các loại hàm chuyển đổi nào, chúng chỉ đóng vaitrò phân phối các tín hiệu

• Lớp ẩn là lớp nơron sau lớp vào, chúng không trực tiếp liên hệ với thế giớibên ngoài như các lớp nơron vào/ra

• Lớp ra là lớp nơron tạo ra các tín hiệu ra cuối cùng

1.2.3 Mạng nơron phản hồi

Mạng nơron phản hồi là mạng mà đầu ra của mỗi nơron được quay trở lại

nối với đầu vào của các nơron cùng lớp được gọi là mạng Laeral như hình 1.6b

1.2.4 Mạng nơron hồi quy

Mạng nơron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơronhồi quy như hình 1.6d Mạng nơron hồi quy có trọng số liên kết đối xứng nhưmạng Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 1.6.b) Mạng BAMthuộc nhóm mạng nơron hồi quy, gồm 2 lớp liên kết 2 chiều, không được gắn vớitín hiệu vào/ra Nghiên cứu mạng nơron hồi quy mà có trọng số liên kết không đốixứng, thì sẽ gặp phải vấn đề phức tạp nhiều hơn so với mạng truyền thẳng và mạnghồi quy có trọng số liên kết đối xứng

Như mạng Hopfield đã vẽ ở trên, ta thấy nút có một đầu vào bên ngoài xj và

của nút khác qua trọng số wij, với i≠

j, (i = 1,2, ,n), hay nói cách khác wii = 0, (với

i = 1,2, ,n)

Một điều quan trọng nữa là trọng số của mạng Hopfield là đối xứng, tức là

wij = wji, (với i,j = 1,2, ,n) Khi đó, luật cập nhật cho mỗi nút mạng là như sau:

, sgn

1

) ( )

i

k j ij

k

i = 1,2, ,n (1.11)

Luật cập nhật trên được tính toán trong cách thức không đồng bộ Điều này

có nghĩa là, với một thời gian cho trước, chỉ có một nút mạng cập nhật được đầu racủa nó Sự cập nhật tiếp theo trên một nút sẽ sử dụng chính những đầu ra đã đượccập nhật Nói cách khác, dưới hình thức hoạt động không đồng bộ của mạng, mỗiđầu ra được cập nhật độc lập

Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng bộ.Với luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của hệ (vớigiá trị đầu đã được xác định trước) Trong khi đó, với luật cập nhật đồng bộ thì cóthể làm mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn

1.2.6 Mạng BAM

Mạng BAM bao gồm hai lớp và được xem như là trường hợp mở rộng củamạng Hopfield Ở đây ta chỉ xét mạng rời rạc, vì nó đơn giản và dễ hiểu

Hình 1.1.8 Cấu trúc của BAM

Khi mạng nơron được tích cực với giá trị đầu vào của vector tại đầu vào củamột lớp, mạng sẽ có hai mẫu trạng thái ổn định, với mỗi mẫu tại đầu ra của nó làmột lớp Tính động học của mạng thể hiện dưới dạng tác động qua lại giữa hai lớp

Cụ thể hơn, giả sử một vector đầu vào x được cung cấp cho đầu vào của lớp nơron

y Đầu vào được xử lý và truyền tới đầu ra của lớp y như sau:

Sau đó x’ nuôi trở lại đầu vào của lớp y và tạo ra hàm y’’ theo phương trình(1.12) Quá trình này cứ tiếp tục, bao gồm các bước như sau:

y(1) = a(wx(0)) (truyền thẳng lần thứ nhất)

x(2) = a(w(T)y(1)) (truyền ngược lần thứ nhất)

y(3) = a(wx(2)) (truyền thẳng lần thứ hai)

x(4) = a(w(T)y(3)) (truyền ngược lần thứ hai) (1.14)



x(k) = a(w(T)y(k-1)) (truyền ngược lần thứ k/2)

Chú ý rằng trạng thái cập nhật trong phương trình (1.14) là đồng bộ theophương trình (1.12) và (1.13) Trạng thái cập nhật cũng có thể không đồng bộ theophương trình (1.12) và (1.13) với các nút i, j được chọn tự do Người ta đã chỉ rarằng, hệ thống ổn định cho cả hai chế độ đồng bộ và không đồng bộ Tuy nhiên,chế độ đồng bộ sẽ làm cho hệ thống hội tụ nhanh hơn nhiều

1.3 Các Luật Học

Thông thường, mạng nơron được điều chỉnh hoặc được huấn luyện để hướngcác đầu vào riêng biệt đến đích ở đầu ra Cấu trúc huấn luyện mạng được chỉ ra ởhình dưới Ở đây, hàm trọng số của mạng được điều chỉnh trên cơ sở so sánh đầu

ra với đích mong muốn (taget), cho tới khi đầu ra của mạng phù hợp với đích.Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng

ANN Trọng số wi So sánh

Đích

Dữ liệu vào

Điều chỉnh

Hình 1.1.9: Cấu trúc huấn luyện mạng nơron

Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng vàgiá trị ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giátrị mong muốn Bình thường, nó sẽ tồn tại một sai số vì giá trị mong muốn khônghoàn toàn phù hợp với giá trị thực Sau mỗi lần chạy, ta có tổng bình phương củatất cả các sai số Sai số này được sử dụng để xác định các hàm trọng số mới

Sau mỗi lần chạy, hàm trọng số của mạng được sửa đổi với đặc tính tốt hơntương ứng với đặc tính mong muốn Từng cặp giá trị vào/ra phải được kiểm tra vàtrọng số được điều chỉnh một vài lần Sự thay đổi các hàm trọng số của mạng sẽđược dừng lại, nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước, hoặc

đã chạy đủ một số lần chạy xác định (trong trường hợp này, mạng có thể khôngthoả mãn yêu cầu đặt ra do sai lệch còn cao) Có hai kiểu học:

• Học tham số: là các tham số về trọng số cập nhật kết nối giữa các nơron

• Học cấu trúc: trọng tâm là sự biến đổi cấu trúc của các mạng nơron gồm sốlượng nút và các loại liên kết

Giả sử ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng nơron.Nhiệm vụ của việc học tham số là tìm ra được ma trận chính xác mong muốn từ

ma trận giả thiết ban đầu (với cấu trúc của mạng nơron có sẵn) Để làm được điều

này thì mạng nơron phải sử dụng các trọng số điều chỉnh, với nhiều phương pháphọc khác nhau để có thể tính toán gần đúng ma trận W cần tìm đặc trưng chomạng Sau đây là 3 phương pháp học:

1.3.1 Học có giám sát

Học có giám sát: là quá trình học có tín hiệu chỉ đạo bên ngoài d (Hình1.10) Trong học có giám sát, thì tại mỗi thời điểm khi đầu vào được cung cấp tớimạng nơron, phản ứng đầu ra mong muốn d tương ứng của hệ thống được đưa ra

Ở hình (1.10), khi mỗi đầu vào x(k) được đặt vào mạng, đầu ra mong muốn tươngứng d(k) cũng được cung cấp tới mạng Hiệu giữa đầu ra thực y(k) và đầu ra mongmuốn d(k) được đo trong máy phát tín hiệu lỗi Máy này sẽ tạo ra tín hiệu lỗi chomạng để hiệu chỉnh các trọng số của mạng, và với các hiệu chỉnh này thì đầu rathực sẽ tiến sát với đầu ra mong muốn

Hình 1.1.10: Học có giám sát

1.3.2 Học củng cố

Tín hiệu chủ đạo d có thể lấy từ môi trường bên ngoài, nhưng tín hiệu nàykhông được đầy đủ, mà chỉ có một vài bit đại diện có tính chất kiểm tra quá trìnhtốt hay xấu Học củng cố cũng là một dạng của học có giám sát, bởi vì mạng vẫnnhận một số tín hiệu từ bên ngoài Nhưng tín hiệu phản hồi chỉ mang tính chấtđánh giá hơn là mạng tính chất chỉ dẫn Nó cho biết mức độ tốt hay xấu của mộtđầu ra đặc biệt Tín hiệu củng cố bên ngoài thường được xử lý bằng máy phát tín

hiệu đánh giá để tạo ra nhiều hơn nữa các thông tin tín hiệu đánh giá, sau đó dùng

để điều chỉnh các trọng số với mục đích đạt được tín hiệu đánh giá tốt hơn

1.3.3 Học không có giám sát

Hình 1.1.11: Học không có giám sát

Trong phần học không có giám sát, sẽ không có thầy hướng dẫn, tức làkhông có tín hiệu d cung cấp tới mạch phản hồi Điều này cho thấy, ta sẽ khôngbiết đầu ra đạt giá trị gì Với loại này, thì các nơron tự xoay xở với các dữ liệu mẫu

mà nó có được, chứ không có “thầy” gợi ý cần luyện theo hướng nào Mạng phải

tự khám phá mẫu, đặc tính, sự tương quan hay loại đầu vào Trong khi khám phánhững đặc tính này, tham số của mạng sẽ bị thay đổi Quá trình này được gọi là tự

tổ chức Một ví dụ điển hình là quá trình phân loại đối tượng không có thầy, nhữnglớp thích hợp được hình thành bằng cách khám phá sự tương tự và không tương tựtrong số các đối tượng

Hình (1.12) mô tả cấu trúc chung của quá trình học của ba phương pháp học

đã nêu ở trên Trong tín hiệu vào xj (j = 1,2, ,m), có thể được lấy từ đầu ra của cácnơron khác hoặc có thể được lấy ra từ bên ngoài Trọng số của nơron thứ i đượcthay đổi tùy theo tín hiệu ở đầu vào mà nó thu nhận giá trị đầu ra của nó

Dạng tổng quát của luật học trọng số của mạng nơron cho biết số gia của

i w

r w x d f

r=

(1.16)

Hình 1.1.12: Sơ đồ cấu trúc chung của quá trình học

Từ hình (1.12) ta thấy, vector trọng số wi = [wi1, wi2, , wim]T có số gia tỷ lệvới tín hiệu vào x và tín hiệu học r Vector trọng số ở thời điểm (t+1) được tínhnhư sau:

wi(t+1) = wi(t) + η

fr(wi(t),x(t),d(t)).x(t) (1.17)

Phương trình liên quan đến sự biến đổi trọng số trong mạng nơron rời rạc, vàtương ứng với sự thay đổi trọng số trong mạng nơron liên tục theo biểu thức sau:

) ( r x t dt

Mạng nơron nhân tạo có các tính chất sau:

• Là hệ phi tuyến

• Là hệ xử lý song song

• Là hệ học và thích nghi: Mạng được luyện từ số liệu quá khứ, có khả năng

tự chỉnh đầu vào khi số liệu đầu vào bị mất

• Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MISO), rất tiện dùng khi điềukhiển đối tượng có nhiều biến số

1.4 Thuật Toán Lan Truyền Ngược

Thuật toán lan truyền ngược được ứng dụng để giải các bài toán điều khiển các

hệ phi tuyến phức tạp và bất ổn định Lan truyền ngược là một phương pháp chophép xác định tập trọng số tốt nhất của mạng để giải một bài toán đã cho Việc ápdụng phương pháp lan truyền ngược là một quá trình lặp đi lặp lại nhiều lần haitiến trình chính: lan truyền tiến để thực hiện ánh xạ và lan truyền ngược sai số đểcập nhật các trọng số Các trọng số của mạng là các hệ số của mô hình Phươngpháp giảm gradient được dùng để cập nhật những hệ số này sao cho giảm thiểuđược sai số của mô hình

Xét lớp mạng 3 lớp như hình (1.14)

Hình 1.1.14: Mạng 3 lớp lan truyền ngược

Thuật toán: Đầu tiên ta cho lan truyền thẳng suốt trong mạng, qua các phần tửnơron và được tiếp tục với các hàm kích hoạt của phần tử nơron Các mạng đượcnghiên cứu cùng với thuật toán học lan truyền ngược được gọi là mạng lan truyềnngược

Huấn luyện các cặp vào/ra

{(x(k), d(k))}, k = 1,2, ,p

Thuật toán cung cấp một thủ tục cho việc thay đổi các vector trọng số trongmạng, đầu ra của mạng được lan truyền ngược trở lại lớp đầu vào cho đúng cácmẫu Cơ sở cho việc cập nhật các trọng số là phương pháp độ dốc Gradient

Với cặp vào ra (x(k), d(k)), thuật toán lan truyền ngược thực hiện các bước nhưsau:

Đầu tiên, mẫu x(k) được lan truyền từ lớp đầu vào qua các lớp ẩn đi đến lớp đầu

ra có kết quả là y(k) Sau đó, sai số giữa y(k) và d(k) được lan truyền ngược trở lại từ

lớp đầu ra tới lớp đầu vào để cập nhật trọng số Hình (1.14) diễn giải thuật toán lantruyền ngược Kết quả có thể mở rộng sang mạng nơron nhiều lớp.

Trên hình (1.14) có m phần tử nơron đầu vào, l phần tử nơron ở lớp ẩn, và nphần tử nơron ở lớp đầu ra Đường nét liền diễn tả lan truyền thẳng của các tínhiệu, đường nét đứt diên tả lan truyền ngược của các sai số Đầu tiên huấn luyệnvào cặp vào/ra ký hiệu (x,d) để cho đơn giản ta bỏ chỉ số k Khi một mẫu đầu vào

x được đưa vào thì các phần tử trong mạng sẽ được tính như sau:

Đầu vào phần tử q của lớp ẩn sẽ được tính theo phương trình:

j m j qj

1 1

1

j m j qj l

q iq q

l q iq

( ) (

) (

1 1

1

j m j qj l

q iq q

l q iq i

[ ] 2

2

1 1

2

2

1 ) ( 2

1 ) (

n i

i i

w

E w

i i

i i

i i

w

net net

net net

y y

net

y y

E net

(1.26)

Trong đó, neti là đầu vào của phần tử nơron thứ i trong lớp đầu ra và

i

i i

net

net a

Với trọng số nối giữa đầu vào và các lớp ẩn, ta sử dụng thay đổi luật cùng phươngpháp độ dốc Gradient, ta cập nhật trọng số để kết nối giữa phần tử thứ j của lớp đầuvào với phần tử thứ q của lớp ẩn Khi đó:

q q

qj

q q

qj qj

v

net net

z z

E v

net net

E v

E

(1.27)

Từ công thức (1.23), thì mỗi sai số [di-yi], với i=1,2, ,n là một hàm của zq

Đánh giá thay đổi luật ta có:

( )

n i

iq i i

i

iq oi

i oi q q

q q

q

net

z z

E net

(1.30)

Trong đó, netq là đầu vào phần tử thứ q của lớp ẩn

Tín hiệu sai số của một phần tử trong lớp ẩn khác so với tín hiệu sai số củamột phần tử trong lớp đầu ra, như đã được chỉ ra trong công thức (1.30) và (1.26)

Do có sự khác nhau này, nên các thủ tục cập nhật các trọng số trên được gọi là luật

học delta tổng quát Chúng ta xem xét công thức (1.30), sai số tín hiệu hq

∂

của

phần tử lớp ẩn q có thể được xác định trong các mẫu của các tín hiệu sai số δoi

củacác phần tử ở lớp ra thứ i (yi) cung ứng Các hệ số là các trọng số được sử dụng

cho lan truyền thẳng, nhưng ở đây chúng truyền các tín hiệu sai số (δoi

) ngược trởlại, đó chính là các đường nét đứt trong hình (1.13) Điều này đã chứng tỏ đượcđặc điểm quan trọng của thuật toán lan truyền ngược – luật cập nhật cục bộ, đâychính là tính toán trọng số thay đổi dựa vào sự kết nối, và chúng ta chỉ cần giá trị ởhai đầu của kết nối này

Sự đạo hàm ở trên có thể dễ dàng mở rộng cho mạng có nhiều hơn một lớp

ẩn, bằng cách sử dụng chuỗi luật liên tiếp Trong trường hợp chung, với số lớp tùy

ý, thì sự lan truyền ngược được cập nhật luật ở dạng sau:

j input i output j

một đầu vào bên ngoài Ngoài ra, δi

là tín hiệu học được định nghĩa bởi công thức(1.26) với đầu ra hoặc lớp cuối cùng của các trọng số kết nối, và được định nghĩabởi công thức (1.30) cho tất cả các lớp khác Khi hàm sigmoid lưỡng cực được sửdụng làm hàm kích hoạt, đồng thời sử dụng (1.26) và (1.30) ta có hàm y được xácđịnh như sau:

1 1

1 )

a

y

Khi đó ta có:

2

1 ) ( 1 2

1 ) ( ) (

net

net a net

1

δ δ

(1.33)

Thuật toán lan truyền ngược

Xem xét một mạng với Q lớp lan truyền ngược, q=1,2, ,Q; với qneti và qyi

lần lượt là đầu vào và đầu ra của khối trong lớp thứ q Mạng có m nơron đầu vào, lnơron ở lớp ẩn, và n nơron đầu ra Với qwij là trọng số nối từ q-1wj đến qyi

Đầu vào: các cặp huấn luyện {x(k), d(k) | k=1,2, ,p}, ở đó giá trị đầu vào của

phần tử cuối cùng bằng -1, tức là

1

) (

1 = −

+

k m x

Bước 0 (Đặt giá trị ban đầu)

- Lựa chọn bước tính (Hằng số học) 0<η<1 và Emax (sai số lớn nhất chophép)

- Chọn các trọng số ban đầu nối từ phần tử thứ j của lớp (q – 1) đến phần

tử thứ i của lớp q là qwij có giá trị nhỏ và ngẫu nhiên

- Cho sai số E = 0 và k = 1

Bước 1 (Vòng lặp huấn luyện)

Áp dụng mẫu vào thứ k, cho lớp đầu vào q=1 Khi đó ta có:

qyi = 1yi = xi(k) cho tất cả các i = 1,2,3,…,m (1.34)

Bước 2 (Lan truyền thẳng)

Lan truyền tín hiệu thẳng xuyên suốt mạng sử dụng công thức (1.35) chomỗi i và q cho tới khi các đầu ra của lớp đầu ra Qyi được thực hiện

) (

) ( = ∑ − 1

=

q ij

q i

q i

(1.35)

Bước 3 (Đo lường sai số đầu ra)

Tính toán giá trị sai lệch và tín hiệu sai lệch i

Qδ

cho lớp đầu ra như sau:

E y

)

( 2

1

) '(

).

( ( )

i

Q i Q k i i

i Q i

Q

net d

da net

Các sai số lan truyền ngược với mục đích để cập nhật các trọng số và

tính toán các tín hiệu sai lệch i

q− 1 δ

cho các lớp xử lý:

j

q i

q ij

q w = − 1y

q old ij q new ij

q w = w + ∆ w

(1.38)

j j

q ji

q i

q i

- là tín hiệu ra của phần tử j của lớp (q-1)

Bước 5 (Sau mỗi vòng lặp)

Kiểm tra xem đã lặp hết các giá trị mẫu huấn luyện chưa, nếu chưa quayvòng hết (tức là k<p) tăng k=k+1, và nhảy tới bước 1, ngược lại (tức k=p) thìchuyển sang bước 6

Bước 6 (Kiểm tra tổng sai số)

Kiểm tra sự khác nhau giữa tổng sai số và sai số cho phép:

- Nếu tổng sai số nhỏ hơn sai số cho phép (tức là E<Emax) thì kết thúc quátrình huấn luyện, và ghi lại các giá trị trọng số cuối cùng

- Trái lại, thì lại gán E=0, k=1 và bắt đầu một quá trình huấn luyện mớibằng cách nhảy tới bước 1.

1.5 Kết Luận

Trong chương này, chúng ta tìm hiểu một mạng nơron và thuật toán lantruyền ngược Quá trình học của mạng truyền thẳng chỉ ra một phương thức đểmạng nơron nhận dạng một mẫu, nó giống như quá trình học của lan truyền ngược,

đó là mô tả một quá trình mạng nơron sẽ được huấn luyện

Một mạng nơron truyền thẳng là một mạng mà ở đó các nơron chỉ được kếtnối tới một lớp tiếp theo Không có kết nối giữa các nơron với các lớp trước hoặcvới chính nơron đó Thêm vào đó, các nơron sẽ không kết nối tới các nơron quá xa

ở lớp tiếp theo Một mẫu được xử lý bởi sự truyền thẳng, độ lệch và các trọng sốkết nối sẽ được áp dụng

Các mạng nơron được huấn luyện bằng cách sử dụng thuật toán lan truyềnngược Thuật toán lan truyền ngược là một dạng huấn luyện có giám sát Mạngnơron được đưa vào dữ liệu huấn luyện cho cho ra kết quả, các kết quả này được

so sánh với các kết quả được mong đợi Sự khác nhau giữa các kết quả thực tế vàcác kết quả mong đợi sẽ có một mức sai số nào đó Để giảm thiểu sai số này, người

ta tiến hành sử dụng thuật toán lan truyền ngược để điều chỉnh các trọng số và độlệch của mạng Đây là cách mà sai số được giảm đáng kể Trong chương tiếp theo,chúng ta sẽ tìm hiều về mạng nơron Kohonen Sự khác nhau quan trọng nhất giữamạng nơron Kohonen và mạng nơron lan truyền ngược là phương thức huấn luyện.Phương thức lan truyền ngược sử dụng phương thức huấn luyện có giám sát Cònmạng nơron Kohonen sử dụng phương thức huấn luyện không giám sát

2 Xử Lý Ảnh Trong Matlab

Hình 1.2.1 Giao diện của matlab

chao cac ban

chao cac ban

2.1.7 Lệnh FUNCTION

tên biến, là nơi lưu giá trị ngập vào.

‘promt’: chuỗi ký tự muốn nhập vào

- Ví dụ:

x = input(‘nhập giá trị của biến x: ’)

nhập giá trị của biến x: 5