Chương 1: Tổng quan về mạng Neural - 1 - Chương I TỔNG QUAN VỀ MẠNG NEURAL I. LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NEURAL Năm 1936, Alan Turing là người đầu tiên xem bộ não như một mô hình xử lý thông tin. Năm 1943, Warren McCulloch và Walter Pitts đã đề xuất cách hoạt động của các Neural, họ đã tạo ra một mạng Neural đơn giản bằng các mạch điện. Từ đó các nhà khoa học lao vào nghiên cứu các bộ máy thông minh. Năm 1949, Donall Hebb đề xuất một giải thuật huấn luyện mạng Neural rất nổi tiếng, mà ngày nay nó vẫn còn được sử dụng . Thập niên 50 là thời kỳ mà mạng Neural phát triển cả phần cứng lẫn phần mềm. Nathaniel Rochester và một số người khác từ các phòng thí nghiệm của IBM đã xây dựng phần mềm mô phỏng mạng Neural dựa trên giải thuật của Hebb. Năm 1957, Frank Roseblantt bắt đầu nghiên cứu về mạng Perceptron và đã thành công trong việc thiết kế Mack I Perceptron nuerocomputer, đó là mạng Neural cổ điển nhất vẫn còn sử dụng đến ngày nay . Năm 1959, Bernard Widrow và Marcian Hoff đã xây dựng mạng Adaline, nó là áp dụng đầu tiên của mạng Neural vào thực tế để dập tiếng vọng trên đường dây điện thoại. Năm 1967, Avanlanche áp dụng các mạng Neural vào việc nhận dạng giọng nói, điều khiển motor và một số ứng dụng khác. Từ năm 1969 đến năm 1981 mạng Neural rơi vào trạng thái im lặng cả về nghiên cứu và ứng dụng. Tuy nhiên, có thể kể đến bài báo cáo của Marvin Minsky và Seymour Papert bình luận về mạng perceptron, các nghiên cứu về quá trình học của mạng nhiều lớp, mạng tự tổ chức ( Self Organization ) của Teuvo Kohonen, mạng kiểu bộ nhớ kết hợp ( BAM – Bidirectional Associative Memory ) của Anderson và mạng ART ( Adaptive Resonance Theory Neural Networks ) của Capenter. Năm 1982, John Hopfield công bố một công trình về mạng Neural một lớp trên National Academy of Sciences, nó được coi là một động lực lôi kéo các nhà khoa học quay trở lại nghiên cứu về mạng Neural. Đây là thời kỳ phục hưng của các nghiên cứu và ứng dụng mạnh mẽ của mạng Neural với các nghiên cứu về giải thuật lan truyền ngược sai số ( Backpropagation of error ), mạng Boltzmann, mạng Neocognitron của Fukushima. Từ cuối thập niên 80, đầu thập niên 90 đến nay, mạng Neural đã khẳng đònh được vò trí của mình trong nhiều ứng dụng khác nhau . Chương 1: Tổng quan về mạng Neural - 2 - II. MẠNG NEURAL VÀ CÁC KHÁI NIỆM CƠ BẢN II.1. Giới thiệu về mạng Neural Mạng Neural là mạng mà được xây dựng bằng cách sao chép lại các nguyên lý tổ chức của hệ Neural con người. Bộ óc con người là một hệ Neural gồm có 10 10 đến 10 12 Neural được tổ chức có cấu trúc vào khoảng 200 mô hình khác nhau dưới dạng nhiều lớp. Cấu trúc cơ bản của một Neural trong hệ Neural con người gồm có đó là các đầu vào (input) thân Neural và đầu ra (output). Thân Neural là phần tử xử lý có chức năng thu thập tất cả các thông tin từ các đầu vào tính toán và đưa ra các quyết đònh ở ngõ ra để gửi tín hiệu đến các Neural khác như mô tả ở hình 1.1. Input Thân Neural Output Mỗi Neural có nhiều input nhưng chỉ có một output, từ output này mới rẽ nhánh đưa thông tin đến các Neural khác. Trong mạng Neural nhân tạo, tín hiệu truyền từ Neural này đến Neural khác là tín hiệu điện áp. Có hai loại tín hiệu điện áp đó là điện áp dương và điện áp âm. Điện áp dương được xem như là tín hiệu kích động (excitory) để kích động Neural gửi tín hiệu đến các Neural khác và điện áp âm được xem như là tín hiệu ức chế (inhibitory) để ức chế Neural gửi tín hiệu đến các Neural khác. Khi điện áp là zero thì không có sự liên lạc giữa hai Neural. Cũng giống như hệ Neural con người, mạng Neural nhân tạo bao gồm lớp đầu vào, các lớp ẩn và lớp Neural đầu ra. Trong mạng, đầu ra của Neural này kết nối với đầu vào của nhiều Neural khác hoặc kết nối với đầu vào của Neural chính nó. Cường độ các kết nối xác đònh lượng tín hiệu truyền đến đầu vào. Giá trò của cường độ kết nối được gọi là trọng số. Trong thời gian hệ tiếp xúc với một vài đối tượng, một số phần tử cảm biến bò tác động, cường độ kết nối của một số Neural thích hợp trong hệ sẽ được gia tăng nhằm cung cấp thông tin về đối tượng mà hệ tiếp xúc và đưa ra các quyết đònh ở lớp đầu ra. Quá trình này được gọi là quá trình học, sự thay đổi của các trọng số trong quá trình này gọi là luật học. Để xây dựng một mạng Neural giống như hệ Neural con người, ý tưởng đầu tiên của Mc.culloch và Pitts vào năm 1943 đề ra cấu trúc cơ bản của một Neural thứ i trong mô hình của mạng Neural nhân tạo như hình 1.2. Hình 1.1 Chương 1: Tổng quan về mạng Neural - 3 - Trong đó: - xj là đầu ra của Neural thứ j hoặc đầu vào tứ môi trường bên ngoài. - wi,j là trọng số kết nối giữa Neural thứ i và Neural thứ j. - b là một hằng số (Bias). - ai là đầu ra của Neural thứ i. - f là hàm truyền. - net là đối số của hàm f. net=wi,1.x1+wi,2.x2+…+wi,r.xr+b (1.1) ai=f(n) (1.2) Các thông số: +Đầu vào (input): Thông số hay dữ liệu đầu vào +Đầu ra (output) : Thông số hay dữ liệu đầu ra + Trọng số(Weight) : Kết nối giữa hai Neural trong mạng Neural gọi là trọng số, chúng có thể điều chỉnh được. Khi các tín hiệu được đưa vào Neural để xử lý thì nó được nhân với hệ số ảnh hưởng của mạng giữa hai lớp, gọi là hệ số trọng số w và sau đó được biến đổi bởi hàm phi tuyến (hàm truyền). + Bias: Là hằng số được đưa trực tiếp vào mạng Neural thông qua bộ tổng, cũng có thể đưa vào mạng thông qua input với trọng số nhân với nó là w=1. Bias cho phép thay đổi đường phân chia về phía dưới, hoặc trên gốc toạ độ. +Tốc độ dạy: Đây là thông số rất quan trọng, nó quyết đònh đến kết quả của quá trình huấn luyện. Nếu n quá lớn thì quá trình tính toán nhanh nhưng kết quả toàn cục sẽ không tìm được, ngược lại, nếu n quá nhỏ thì kết quả toàn cục tìm được nhưng số bước tính toán lại rất nhiều. Để quá trình tính toán đạt hiệu quả người ta thường chọn 0.1 < n < 1. + Hàm truyền (hàm kích hoạt, hàm hoạt động): Hàm truyền của Neural được biểu diễn bởi hàm f(x). Nó đònh nghóa tín hiệu output của Neural nếu tín hiệu input đã được biết trước. Tác dụng của hàm truyền là làm cho các tín hiệu nhập gần với tính hiệu xuất chuẩn. Có các loại hàm hoạt động sau: b a i Wi,1 Wi,2 Wi,r Σ f x1 x2 x3 x4 xr Hình 1.2 net Chöông 1: Toång quan veà maïng Neural - 4 - Hình 1.3 Hình 1.4 Hình 1.5 Hình 1.6 Hình 1.7 Hình 1.8 Hình 1.9 Hình 1.10 Chương 1: Tổng quan về mạng Neural - 5 - Hình 1.11 Trong nội dung luận văn này chỉ đề cập đến 4 hàm thường được sử dụng sau: Bảng 1.1 Loại hàm Phương trình Hình vẽ Hàm tuyến tính F(x)=x Hình 1.5 Hàm ngưỡng F(x)=    < > 0x nếu 1- 0x nếu 1 Hình 1.3 Hàm Logsig x e )x(F + = 1 1 Hình 1.4 Hàm tansig 1 1 2 − + = −ax e )x(F Hình 1.6 Việc lựa chọn hàm truyền ảnh hưởng đến thời gian dạy mạng và được xác đònh bởi: - Đặc tính của bài toán (tuyến tính, phi tuyến, liên tục, gián đoạn ) - Thuận lợi cho việc ứng dụng máy tính. - Thuật toán dạy mạng. + Lớp (layer): Mạng Neural có thể có một hay nhiều lớp. Lớp đầu vào gọi là input layer, lớp cuối cùng có giá trò đầu ra là output thì gọi là output layer (lớp output). Các lớp còn lại gọi là hidden layer (lớp ẩn). +Khái niệm dạy mạng: là quá trình làm thay đổi các thông số trong mạng (trọng số, Bias) cho phù hợp với kích thích bên ngoài, sau đó chúng lưu giữ các giá trò này. Cách dạy được xác đònh thông qua cách thức thay đổi thông số. Chương 1: Tổng quan về mạng Neural - 6 - Đó là: -Mạng Neural được kích thích bởi đầu vào . - Mạng Neural thay dổi các thông số theo kết quả kích thích. - Mạng Neural phản ứng lại một kích thích mới bằng những thay đổi tìm thấy trong cấu trúc mạng. II.2. Phân loại mạng Neural II.2.1 Phân loại theo cấu trúc: Mô hình kết nối của các mạng Neural nhân tạo dựa vào cấu trúc có thể được chia ra làm hai loại: Mạng nuôi tiến và mạng nuôi lùi. a. Mạng feedforward : Hình 1.12 Các Neural tạo thành nhóm trong các lớp , tín hiệu truyền từ lớp input đến lớp ouput . Các Neural không cùng lớp thì nối với nhau nhưng các Neural cùng lớp thì không nối với nhau . Ví dụ như mạng perceptron nhiều lớp , mạng chuẩn hoá vecto học hỏi , mạng điều khiển phát âm và mạng lưu trữ dữ liệu . b. Mạng recurrent : hình 1.13 Các đầu ra của một số Neural hồi tiếp lại chính nó hay các Neural ở các lớp kế cận. Mạng recurrent có bộ nhớ động , ngõ ra của nó phản ánh input hiện hành như các input và output trước đó . Ví dụ như mạng Hopfied, mạng Elman, mạng Jordan. Chương 1: Tổng quan về mạng Neural - 7 - II.2.2 Phân loại theo phương pháp dạy: 1.Mạng học hỏi có giám sát Thuật toán này dùng để điều chỉnh sự khác nhau giữa các output thực tế và output yêu cầu tương ứng từng mẫu đưa vào. Ví dụ như qui tắc delta do Windrow và Hoff đưa ra vào năm 1960, thuật toán giải thuật lan truyền ngược (backpropagation) do Rumelhart và Mc Clellan đưa ra năm 1986, thuật toán vecto học hỏi do Kohonen đưa ra năm 1989. 2.Mạng học hỏi không giám sát Thuật toán này không đòi hỏi cần biết trước ngõ ra yêu cầu. Trong quá trình huấn luyện các mẫu nhập đưa vào mạng và thuật toán tự điều chỉnh các trọng số kết nối, các mẫu nhập có đặc điểm tương tự sẽ ở trong cùng một lớp. Ví dụ như thuật toán học hỏi cạnh tranh ATR của Carpenter và Grossberg đưa ra vào năm 1988. đầu vào x đầu ra thực tế y 3.Mạng học hỏi có điều chỉnh Thuật toán học hỏi có điều chỉnh sử dụng tiêu chuẩn đánh giá các đặc điểm tốt của output mạng tương ứng và input đưa vào. Ví dụ như thuật toán Gen do Holland đưa ra năm 1975. Đầu vào x Đầu ra thực tế y Mạng Neural w Hình 1.15 Mô hình huấn luyện không giám sát Mạng Neural w Sai số Hình 1.14 Mô hình mạng huấn luyện có giám sát Đầu ra thực tế y đầu ra mong muốn d Đầu vào x Mạng Neural Hình 1.16 Chương 1: Tổng quan về mạng Neural - 8 - tín hiệu tăng cường II.3 Cấu trúc mạng Neural II.3.1. Mạng Neural có một lớp : Bao gồm các phần tử xử lý trên cùng mức. w 1,1 a 1 p 1 b 1 p 2 a 2 p 3 b 2 w S,R a S p R b S Trong đó: - p i : Dữ liệu đầu vào. - a = f(wp + b) (1.3) - R :số lượng vecto đầu vào - S : số lượng Neural trong một lớp Trong mạng này, mỗi đầu vào p được nối với mỗi Neural thông qua ma trận trọng số W. Mỗi Neural có một bộ tổng để cộng các trọng số và bias. Kết quả của chúng là đầu vào của hàm f. Thường thì số vecto đầu vào khác với số Neural (R ≠S). Trong mạng không bắt buộc số đầu vào bằng số Neural (R=S). Ma trận trọng số w Σ f Σ f Σ f Hình 1.17 Mạng Neural nuôi tiến một lớp Tín hiệu Hồi Chương 1: Tổng quan về mạng Neural - 9 -               = S,RS,2,S 2,R2,2, 1,R1,2, w . . . w w w . . . w w w . . . w w W 1 12 11 Chỉ số hàng trong ma trận cho biết nơi đến Neural và chỉ số cột cho biết nơi bắt đầu xuất phát từ input của trọng số . Ví du: W 1,2 cho biết trọng số xuất phát từ input thứ 2 và kết thúc ở Neural thứ 1. Tín hiệu hồi tiếp a 1 p 1 b 1 p 2 b 2 a 2 p R a S b 3 II.3.2. Mạng Neural nhiều lớp Trong mạng Neural có thể có nhiều lớp. Mỗi lớp có một ma trận trọng số w và một bias b, và một output a. Lớp Neural đầu tiên gọi là lớp đầu vào, lớp Neural cuối là lớp đầu ra, các lơp Neural giữa hai lớp đầu vào và đầu ra gọi là lớp ẩn. Trong mạng Neural một lớp, chỉ có một lớp đầu vào, một lớp đầu ra và một lớp ẩn. Để phân biệt các giá trò này trong các lớp ta dùng các chỉ số như hình vẽ bên dưới. Hình 1.18 Mạng Neural nuôi lùi một lớp Σ f Σ f Σ f Σ f Σ f Σ f Σ f Σ f Σ f P1 a 1,1 a 1,2 a 1,n b 1,1 b 1,1 b 1,n P2 a 2,1 a 2,2 a 2,n b 2,1 b 2,1 b 2,n Chương 1: Tổng quan về mạng Neural - 10 - Lớp cuối cùng có giá trò đầu ra là output thì gọi là output layer, lớp đầu vào (input) gọi là input layer. Các lớp còn lại gọi là hidden layer (lớp ẩn). Một vài tác giả thì cho rằng input là lớp thứ 4. III. LUẬT HỌC VÀ CÁC PHƯƠNG PHÁP DẠY MẠNG Học là quá trình làm thay đổi các thông số trong mạng (trọng số) cho phù hợp với kích thích bên ngoài, sau đó chúng lưu giữ các giá trò này. Cách học hỏi được xác đònh thông qua cách thức thay đổi thông số. Σ f Σ f Σ f Σ f Σ f Σ f Σ f Σ f Σ f P 1 a 1,1 a 1,2 a 1,n b 1,1 b 1,2 b 1,n P 2 a 2,1 a 2,2 a 2,n b 2,1 b 2,2 b 2,n P r a r,1 a r,2 a r,n b r,1 b r,2 b r,n Hình 1.20 Mạng Neural nuôi lùi nhiều lớp [...]... (1. 89) ∂x2 (2) = x1 (1) .x2 (2) [1 − x2 (2)] ∂w2 (1, 2) (1. 90) Vì vậy: ∂w = −2 x1 (1) x2 [1 − x2 ( 2)].w3 ( 2 ,1) .x3 (1) [1 − x3 (1) ][d − x3 (1) ] (1. 91) ∂w2 (1, 2) Và ∆w2 (1, 2) = 2kx1 (1) x2(2) [1- x2(2)].w3(2 ,1) .x3 (1) [1- x3 (1) ][d-x3 (1) ] Hoặc ∆w2 (1, 2) = 2kx1 (1) x2(2) [1- x2(2)].w3(2 ,1) .δ3 (1) Ở đây δ3 (1) = x3 (1) [1- x3 (1) ][d-x3 (1) ] ∆w2 (1, 2)=2kx1 δ2 (1) (1. 92) (1. 93) δ2 (1) = x2(2) [1- x2(2)].w3(2 ,1) .δ3 (1) Mà Nếu có nhiều đầu... Hình 1. 31 Sai số bình phương tại đầu ra e = (d – x3 (1) ) 2 X3 (1) = f( ∑ w3 (i ,1) .x2(i)) (1. 84) i =0 2 X2(2) = f( ∑ w2 (i,2).x1(i)) (1. 85) ∂x3 (1) ∂E ∂E = ∂w2 (1, 2) ∂x3 (1) ∂w2 (1, 2) (1. 86) ∂E ∂E ∂x3 (1) ∂x2 (2) = ∂w2 (1, 2) ∂x3 (1) ∂x2 ( 2) ∂w2 (1, 2) (1. 87) ∂E = −2[d − x3 (1) ] ∂x3 (1) (1. 88) i =0 - 26 - Chương 1: Tổng quan về mạng Neural ∂x3 (1) = w3 (2 ,1) x3 (1) [1 − x3 (1) ] ∂x2 (2) (1. 89) ∂x2 (2) = x1... (1 − y p ).xip ∂wi p p =1 Vì vậy (1. 79) (1. 80) ∆wi = 2k p ∑ xip y p (d p - y p ) (1 − y p ) p p =1 (1. 81) δ p = y p (1 − y p )(d p - y p ) (1. 82) η = 2k được gọi là hệ số huấn luyện ∆wi = η p p ∑x p =1 ip δp (1. 83) Ví dụ : xét perceptron 3 lớp một đầu ra W2 (0 ,1) W2 (1, 1) W2 (2 ,1) X0 (1) X2 (1) X1 (1) W2 (0,2) W2 (1, 2) W2 (2,2) X0(2) W2 (0,3) W2 (1, 3) W2 (2,3) X1(2) X2(2) W2(0 ,1) W2 (1, 1) W2(2 ,1) X3 (1) ... 24 - Chương 1: Tổng quan về mạng Neural Lớp đầu vào Lớp ẩn Lớp đầu ra X0 (1) X3 (1) X3 (1) X1 (1) W2(0 ,1) W2 (1, 1) W2(2 ,1) W2(3 ,1) X2 (1) X0(2) X1(2) W3(02) W3 (12 ) W3(2,2) X1(2) W2(0,2) W2 (1, 2) W2(2,2) W2(3,2) X0(3) W3(0 ,1) W3 (1, 1) W3(2 ,1) X2(2) X1(3) X3(2) W3(0,3) W3 (1, 3) W3(2,3) X3(3) Hình 1. 30 Perceptron 3 lớp Lấy vi phân hàm Sigmoid dy = y ' = y (1 − y) dx (1. 73) Huấn luyện mạng giống như luật Delta,... toán học bộ nhớ trong mạng Neural Với việc sử dụng luật Hebbian để lập trình cho mạng Neural X1 1 X2 2 - 27 - n Y1 Y2 Chương 1: Tổng quan về mạng Neural Xn Yn V.5 Mạng Hemmin Tương tự như mạng Hopfild nhưng có hai lớp Mạng Hermmin được trình bày như hình vẽ 1. 25 X1 Y1 1 X2 Xn 1 2 2 n n Y2 Yn Hình 1. 33 Mạng Hemmin V.5 Mạng Functional Link Net (FLN) Mạng FLN tương tự như những mạng Neural khác, FLN là... ∆wi=- ∂E ∂Wi (1. 74) dùng hàm sai số bình phương để huấn luyện 1 p E = ∑ ep p p =1 (1. 75) Với ep= (dp - yp)2 yp = 1 1 + e −netp n với netp = ∑ ( wi xi ) (1. 76) i =0 ∂E 1 p ∂e p 1 p ∂e p ∂y p = ∑ = ∑ ∂wi p p =1 ∂wi p p =1 ∂y p ∂wi (1. 77) ∂y p ∂E 1 p = ∑ - 2(d p - y p ) ∂wi p p =1 ∂wi (1. 78) - 25 - Chương 1: Tổng quan về mạng Neural ∂y p ∂net p ∂E − 2 p = ∑ (d p - y p ) ∂net ∂w ∂wi p p =1 i i ∂E − 2 p... dữ liệu học được cho bởi: x1 - 16 - Chương 1: Tổng quan về mạng Neural x2 y xn Ek(W,w) = 1 k k2 (d -y ) 2 (1. 36) Độ sai lệch tổng thể được tính bằng cách lấy tổng các độ sai lệch: k E(W,w) = ∑ E k (W, w) (1. 37) k =1 Đầu ra của mạng Neural: Yk = 1 1 + exp( − w T o k ) (1. 38) Trong đó ok là giá trò đầu ra của lớp ẩn, được tính bởi: ok = 1 k 1 + exp( − w1 x k ) (1. 39) Với w1 là vecto trọng số của Neural... được tính : E= [d1-x3 (1) ]2 + [d2 – x3 (1) ]2 + ….+ [dm – x3(m)]2 (1. 94) Đạo hàm sai số E được tính k ∂E i =1 3 ∑ ∂x (i) = − 2∑ [d i − x3 (i )] (1. 95) Ta được phương trình δ cho phần tử q trong lớp ẩn p là k δ p (q ) = x p ( q) [1 − x p (q )].∑ w p +1 (q, i ).δ p +1 (i ) (1. 96) i =1 K : số Neural trong lớp k +1 Phương trình dùng để huấn luyện truy ngược trong mạng perceptron nhiều lớp V.4 Mạng Hopfiled Hopfiled... dạng cấu trúc như hình 1. 26a và 1. 26b X1 X2 X1 X3 sin(X1) X12 X13 Y cos(X1) sin(2*X1) - 28 - Y Chương 1: Tổng quan về mạng Neural X23 cos(2*X1) (b) X123 (a) Hình 1. 34 Mạng Neural có một lớp, một con Neural với một output và nhiều input Những input này được tạo ra không chỉ là dữ liệu thực tế mà còn là những giá trò được biến đổi từ những dữ liệu bằng những hàm bậc cao Ví dụ cho mạng ba đầu vào : A, B,... wl-η (1. 40) ∂E k ( W, w) ∂Wl (1. 41) Trong đó η là hệ số học Sử dụng luật dây chuyền để rút ra hàm tổng hợp:  ∂E k ( W, w) 1 ∂  k 1 = d − T k  ∂W 2 ∂w  1 + exp( − W o )  =-(dk-yk)yk (1- yk)ok Vậy luật thay đổi trọng số của đầu ra là: - 17 - 2 (1. 42) Chương 1: Tổng quan về mạng Neural W = W + η(dk-yk)yk (1- yk)ok = W + ηδkok (1. 43) Xét riêng lẻ cho từng trọng số thì : Wi =Wi + ηδkoki (1. 44) Với i =1, . Hình 1. 18 Mạng Neural nuôi lùi một lớp Σ f Σ f Σ f Σ f Σ f Σ f Σ f Σ f Σ f P1 a 1, 1 a 1, 2 a 1, n b 1, 1 b 1, 1 b 1, n P2 a 2 ,1 a 2,2 a 2,n b 2 ,1 b 2 ,1 b 2,n Chương. f Σ f Σ f P 1 a 1, 1 a 1, 2 a 1, n b 1, 1 b 1, 2 b 1, n P 2 a 2 ,1 a 2,2 a 2,n b 2 ,1 b 2,2 b 2,n P r a r ,1 a r,2 a r,n b r ,1 b r,2 b r,n Hình 1. 20 Mạng Neural