M M ạ ạ ng nơron truy ng n ơron truy ề ề n th n th ẳ ẳ ng ng v v à à ứ ứ ng d ng d ụ ụ ng trong d ng trong d ự ự b b á á o d o d ữ ữ li li ệ ệ u u Gi Gi á á o viên hư o viên hư ớ ớ ng d ng d ẫ ẫ n n TS. Lê H TS. Lê H ả ả i Khôi i Khôi Ngư Ngư ờ ờ i th i th ự ự c hi c hi ệ ệ n n Tr Tr ầ ầ n Đ n Đ ứ ứ c Minh c Minh LU LU Ậ Ậ N VĂN TH N VĂN TH Ạ Ạ C S C S Ĩ Ĩ KHOA H KHOA H Ọ Ọ C C 2 Nội dung 1. Gi 1. Gi ớ ớ i thi i thi ệ ệ u. u. 2. C 2. C á á c kh c kh á á i ni i ni ệ ệ m cơ b m cơ b ả ả n v n v ề ề m m ạ ạ ng nơron ng nơron . . 3. M 3. M ạ ạ ng nơron truy ng nơron truy ề ề n th n th ẳ ẳ ng. ng. 4. Thu th 4. Thu th ậ ậ p, Phân t p, Phân t í í ch v ch v à à x x ử ử lý d lý d ữ ữ li li ệ ệ u. u. 5. 5. Chương tr Chương tr ì ì nh d nh d ự ự b b á á o d o d ữ ữ li li ệ ệ u. u. 6. K 6. K ế ế t lu t lu ậ ậ n n 3 1. Giới thiệu   M M ạ ạ ng nơron nhân t ng nơron nhân t ạ ạ o xu o xu ấ ấ t ph t ph á á t t t t ừ ừ vi vi ệ ệ c mô ph c mô ph ỏ ỏ ng ho ng ho ạ ạ t t đ đ ộ ộ ng c ng c ủ ủ a b a b ộ ộ não con ngư não con ngư ờ ờ i. i.   M M ạ ạ ng nơron l ng nơron l à à c c á á c mô h c mô h ì ì nh t nh t í í nh to nh to á á n ch n ch ứ ứ a c a c á á c đơn v c đơn v ị ị x x ử ử lý lý c c ó ó kh kh ả ả năng truy năng truy ề ề n thông v n thông v ớ ớ i nhau b i nhau b ằ ằ ng c ng c á á ch g ch g ử ử i c i c á á c t c t í í n n hi hi ệ ệ u đ u đ ế ế n l n l ẫ ẫ n nhau thông qua c n nhau thông qua c á á c liên k c liên k ế ế t c t c ó ó tr tr ọ ọ ng s ng s ố ố . .   C C ó ó kh kh ả ả năng th năng th í í ch nghi, ngh ch nghi, ngh ĩ ĩ a l a l à à “ “ h h ọ ọ c t c t ừ ừ c c á á c m c m ẫ ẫ u u ” ” thay v thay v ì ì “ “ l l ậ ậ p tr p tr ì ì nh nh ” ” . .   C C á á c c ứ ứ ng d ng d ụ ụ ng c ng c ủ ủ a m a m ạ ạ ng nơron ng nơron : :   Phân lo Phân lo ạ ạ i: t i: t í í n hi n hi ệ ệ u radar; xem x u radar; xem x é é t c t c á á c m c m ẫ ẫ u b u b ệ ệ nh, nh, … …   Gi Gi ả ả m nhi m nhi ễ ễ u: ti u: ti ế ế ng n ng n ó ó i, i, ả ả nh t nh t ĩ ĩ nh b nh b ị ị nhi nhi ễ ễ u, u, … …   D D ự ự đo đo á á n/D n/D ự ự b b á á o : o : lư lư ợ ợ ng s ng s ử ử d d ụ ụ ng, th ng, th ị ị trư trư ờ ờ ng, d ng, d ự ự đo đo á á n n lư lư ợ ợ ng b ng b á á n, n, … … 4 2. Các khái niệm cơ bản về mạng nơron: M M ạ ạ ng nơron c ng nơron c ó ó c c á á c đ c đ ặ ặ c trưng sau c trưng sau : :   T T ậ ậ p c p c á á c đơn v c đơn v ị ị x x ử ử lý. lý.   M M ộ ộ t m t m ứ ứ c k c k í í ch ho ch ho ạ ạ t cho m t cho m ỗ ỗ i đơn v i đơn v ị ị . .   C C á á c liên k c liên k ế ế t gi t gi ữ ữ a c a c á á c đơn v c đơn v ị ị . .   Lu Lu ậ ậ t lan truy t lan truy ề ề n. n.   C C á á c h c h à à m chuy m chuy ể ể n. n.   C C á á c đ c đ ầ ầ u v u v à à o ngo o ngo à à i d i d ữ ữ li li ệ ệ u u ( ( đ đ ộ ộ l l ệ ệ ch ch - - bias bias ). ).   Phương ph Phương ph á á p thu th p thu th ậ ậ p thông tin p thông tin - - Lu Lu ậ ậ t h t h ọ ọ c. c.   Môi trư Môi trư ờ ờ ng trong đ ng trong đ ó ó h h ệ ệ th th ố ố ng c ng c ó ó th th ể ể ho ho ạ ạ t đ t đ ộ ộ ng. ng. Σ g(a j ) x 0 x 1 x n w j0 w jn a j z j j n i ijij xwa     1 )( jj agz  j . θ j w j1 5 3. Mạng nơron truyền thẳng 3.1. Cấu trúc cơ bản x 1 x 2 h 2 x l h 1 h m y 1 y 2 y n … … … x 0 h 0 Input Layer Hidden Layer Output Layer bias bias ij w )1( jk w )2( • Bao gồm một số lớp (1 lớp vào, 1 hay nhi ều lớp ẩn và 1 lớp ra). • M ỗi lớp có một số các đơn vị. • M ỗi đơn vị nhận đầu vào từ các đơn vị ở lớp trước đó và gửi các tín hiệu nà y đến các đơn vị ở lớp kế tiếp. • Đầu ra được biểu diễn bởi một hàm tường minh của các trọng số và độ lệch.    l i ijijj xwgagh 0 )1( )()(    l i ijij xwa 0 )1(    m j jkjk hwa 0 )2( ))((2)(2 0 0 )1()2(      m j l i ijikjkk xwgwgagy Đơn vị ẩn: Đơn vị đầu ra: 6   C C á á c m c m ạ ạ ng không c ng không c ó ó c c á á c l c l ớ ớ p p ẩ ẩ n ch n ch ỉ ỉ c c ó ó kh kh ả ả năng gi năng gi ả ả i quy i quy ế ế t t c c á á c b c b à à i to i to á á n kh n kh ả ả phân tuy phân tuy ế ế n t n t í í nh. nh.   C C á á c m c m ạ ạ ng nơron v ng nơron v ớ ớ i m i m ộ ộ t l t l ớ ớ p p ẩ ẩ n c n c ó ó th th ể ể x x ấ ấ p x p x ỉ ỉ kh kh á á t t ố ố t b t b ấ ấ t t k k ỳ ỳ m m ộ ộ t t á á nh x nh x ạ ạ h h à à m n m n à à o t o t ừ ừ không gian h không gian h ữ ữ u h u h ạ ạ n m n m ộ ộ t chi t chi ề ề u u sang m sang m ộ ộ t không gian kh t không gian kh á á c. c.   C C á á c m c m ạ ạ ng nơron v ng nơron v ớ ớ i 2 l i 2 l ớ ớ p p ẩ ẩ n c n c ó ó kh kh ả ả năng th năng th ể ể hi hi ệ ệ n m n m ộ ộ t t đư đư ờ ờ ng phân chia hay x ng phân chia hay x ấ ấ p x p x ỉ ỉ m m ộ ộ t t á á nh x nh x ạ ạ m m ị ị n b n b ấ ấ t k t k ỳ ỳ t t ớ ớ i m i m ộ ộ t t đ đ ộ ộ ch ch í í nh x nh x á á c b c b ấ ấ t k t k ỳ ỳ . . 3.2. Khả năng thể hiện 7 3.3. Huấn luyện bằng thuật toán lan truyền ngược: • Đây là phương pháp thông dụng nhất để huấn luyện cho các mạng nơron truyền thẳng nhiều lớp. • Có th ể áp dụng cho các mạng truyền thẳng với các hàm chuyển và các hàm l ỗi khả vi . Bước 1: Lan truyền xuôi đầu vào qua mạng: a 0 = p a m+1 = f m+1 (W m+1 a m + b m+1 ), với m = 0, 1, ., M – 1. a = a M Bước 2: Lan truyền độ nhậy cảm (lỗi) ngược lại qua mạng: , trong đó , v ới m = M – 1, ., 2, 1. Bước 3: Cuối cùng, các trọng số và độ lệch được cập nhật bởi công thức sau:     atnFs   M M M 2    11    m T mm m m sWnFs           mmm T mmmm kk kk sbb asWW      1 1 1 ∆W m (k) = ∆W m (k - 1) – (1 - ) s m (a m – 1 ) T , ∆b m (k) = ∆b m (k - 1) - (1 - ) s m . Sử dụng bước đà: 8 4. Thu thập, Phân tích và Xử lý dữ liệu Xác định yêu cầu về dữ liệu - Dữ liệu nào có liên quan trực tiếp đến bài toán . - Dữ liệu nào có thể không liên quan . Thu thập, phân tích d ữ liệu Tiền xử lý dữ liệu Mạng nơron Hậu xử lý dữ liệu Phân t Phân t í í ch sơ b ch sơ b ộ ộ d d ữ ữ li li ệ ệ u (Th u (Th ố ố ng kê v ng kê v à à Tr Tr ự ự c quan h c quan h ó ó a) a) Ki Ki ể ể m tra t m tra t í í nh h nh h ợ ợ p l p l ệ ệ c c ủ ủ a d a d ữ ữ li li ệ ệ u u Phân ho Phân ho ạ ạ ch d ch d ữ ữ li li ệ ệ u (Hu u (Hu ấ ấ n luy n luy ệ ệ n/Ki n/Ki ể ể m tra/Ki m tra/Ki ể ể m đ m đ ị ị nh) nh) Biến đổi Điều chỉnh giá trị về khoảng (0,1) hoặc (-1,1) Áp d ụng một hàm toán học cho các giá trị (chẳng hạn hàm logarit hay bì nh phương) Mã hóa các bi ến số / Trích chọn đặc trưng. Tùy thuộc vào ứng dụng và quá trình tiền xử lý. Phân loại D ự báo, … 9 5. Chương trình Dự báo dữ liệu Bài toán dự báo lượng sử dụng khí ga 10 5.1. Mục tiêu Dự đoán lượng sử dụng hàng giờ trong 1 đến 5 ngày cho các công ty cung c ấp ga để:  Đáp ứng được nhu cầu trong tương lai  Tối thiểu chi phí điều hành  Lập kế hoạch dự trữ. 5.2. Các nhân tố ảnh hưởng Các điều kiện thời tiết: nhiệt độ, tốc độ gió, . Thời gian: giờ, ngày trong tuần, tháng, ngày cuối tuần. Thông tin kinh tế: giá ga, giá dầu, … [...]... tối ưu, có thể áp dụng phương pháp Thử-sai (Trial-and-errors) … 17 5.6 Các bước thực hiện Dưới đây là các bước chính khi thực hiện thiết kế và thực thi mạng nơron cho bài toán dự báo: 1 Chọn lựa các biến 2 Thu thập dữ liệu 3 Tiền xử lý dữ liệu 4 Phân chia tập dữ liệu thành các tập: huấn luyện, kiểm tra, kiểm định 5 Xác định cấu trúc mạng:  số lớp ẩn  số nơron trong các lớp ẩn  số nơron đầu ra  các... Huấn luyện mạng 8 Thực thi trong thực tế Trong khi thực hiện, không nhất thiết phải theo thứ tự các bước mà có thể quay lại các bước trước đó, đặc biệt là ở bước Huấn luyện và Lựa chọn các biến tham gia đầu vào 18 6 Kết luận 1) Mạng nơron là các bộ xấp xỉ đa năng Chúng có lợi điểm so với các cách tiếp cận truyền thống: không yêu cầu dữ liệu phải đầy đủ 2) Chương trình Dự báo được xây dựng và áp dụng thử... nghiệm cho dữ liệu lượng sử dụng khí ga (lấy trên Internet) có khả năng dự báo rất tốt 3) Các mô hình tương tự có thể xây dựng cho các bài toán dự báo khác như: điện, nước, dự đoán thị trường, chứng khoán, lưu lượng giao thông, lượng bán của các sản phẩm,… chừng nào những mối liên hệ giữa các đầu vào và đầu ra được xác định bằng thực tế và lý thuyết 4) Các thuật toán cải tiến có thể áp dụng để tăng... độ Nhiệt độ Tốc độ gió Tốc độ gió Giờ trong ngày Giờ trong ngày Ngày trong tuần Ngày trong tuần Cuối tuần Cuối tuần Tháng trong năm Tháng trong năm 11 5.3 Mô hình dự báo (tiếp) 3) Cấu trúc mạng bias bias Nhiệt độ Gió Giờ Ngày tuần Lượng Sử dụng … Cuối tuần Tháng Lớp vào Lớp ẩn Lớp ra Hàm chuyển của các đơn vị ẩn sử dụng hàm sigmoid Hàm chuyển của các đơn vị ẩn sử dụng hàm sigmoid Hàm chuyển cho lớp ra... các đơn vị trong lớp ẩn • Đánh giá ảnh hưởng của hệ số học và hệ số bước đà • Đánh giá được khả năng tổng quát hóa của mạng trong khi huấn luyện • Dự báo dữ liệu tương lai 13 5.4 Các đặc trưng của hệ thống (tiếp) 1) Xác định các tham số cho hệ thống 14 5.4 Các đặc trưng của hệ thống (tiếp) 3) Huấn luyện mạng và kiểm tra khả năng tổng quát hóa 15 5.4 Các đặc trưng của hệ thống (tiếp) 4) Dự báo tương... 16 5.5 Phân tích kết quả  Mạng được huấn luyện tốt có khả năng dự báo chính xác đến 90%  Hệ số học và hệ số bước đà có ảnh hưởng rất nhiều đến thời gian huấn luyện của mạng  Đối với đơn vị lớp ra, hàm chuyển sử dụng là sigmoid hay hàm đồng nhất không có khác biệt đáng kể  Tùy thuộc vào độ phức tạp của bài toán, chương trình có thời gian huấn luyện, số đơn vị sử dụng trong lớp ẩn khác nhau Để chọn...5.3 Mô hình dự báo 1) Dữ liệu thô Ngày 02-08-1998 02-08-1998 02-08-1998 02-08-1998 02-08-1998 02-08-1998 02-08-1998 02-08-1998 Gio Nhiet do Gio Su dung 00 01 02 03 04 05 06 07 37 37 37 37 37 37 36 34 3 9 6 3 3 5 5 6 1168 1213 1316 1417 1534 1680 1819 1967 6 hiệu ứng 2) Dữ liệu sau xử lý sơ bộ Nhiet do 37 37 37 37 37 37 36 34 Gio 3 9 6 3 3 5 5 6 Gio trong Ngay 00 01 02 03 04 05 06... thông, lượng bán của các sản phẩm,… chừng nào những mối liên hệ giữa các đầu vào và đầu ra được xác định bằng thực tế và lý thuyết 4) Các thuật toán cải tiến có thể áp dụng để tăng cường hiệu năng của mạng 19 XIN CẢM ƠN! XIN CẢM ƠN! 20 . thuộc vào ứng dụng và quá trình tiền xử lý. Phân loại D ự báo, … 9 5. Chương trình Dự báo dữ liệu Bài toán dự báo lượng sử dụng khí ga 10 5.1. Mục tiêu Dự. thiết kế và thực thi mạng nơron cho bài toán dự báo: 1. Ch ọn lựa các biến. 2. Thu th ập dữ liệu. 3. Ti ền xử lý dữ liệu. 4. Phân chia t ập dữ liệu thành