Tìm hiểu về mạng nơron và ứng dụng bài toán thời tiết

Tìm hiểu về mạng nơron và ứng dụng bài toán thời tiết Dự báo thời tiết ra đời từ xa xưa, từ khi có sự xuất hiện của con người và càng ngày càng gắn bó với cuộc sống của chúng ta. Từ thủa ban đầu, con người đã có thể “dự đoán ” trước được các hiện tượng tự nhiên sẽ xảy ra trong khoảng thời gian gần. Dần dần kinh nghiệm quan sát được tích lũy, cộng thêm những tư duy sâu xa đã giúp họ có được các dự báo chính xác hơn cho các hiện tượng khí tượng trong tương lai. Những phân tích, kinh nghiệm tích lũy dần được đúc kết thành các bài toán dự báo, cho phép tính toán khá chính xác hiện tượng thời tiết sắp xảy ra.

Bài tập lớn – Trí tuệ nhân tạo nâng cao

MỤC LỤC

LỜI NÓI ĐẦU 2

CHƯƠNG I - BÀI TOÁN DỰ BÁO THỜI TIẾT 3

1 Giới thiệu bài toán dự báo thời tiết 3

2 Một số phương pháp với bài toán dự báo thời tiết 3

2.1 Phương pháp quán tính 3

2.2 Phương pháp dự báo theo xu hướng 3

2.3 Phương pháp khí hậu học 4

2.4 Phương pháp tương tự 4

2.5 Phương pháp dự báo sử dụng văn bản 4

2.7 Phương pháp tổng hợp 5

2.8 Phương pháp số trị 5

2.9 Phương pháp thống kê 5

CHƯƠNG II - TỔNG QUAN LÝ THUYẾT MẠNG NƠ RON NHÂN TẠO 7

1 Giới thiệu nơ ron và mạng nơ ron nhân tạo 7

1.1 Giới thiệu 7

1.2. Nơ ron sinh vật 8

2 Mô hình mạng nơ ron nhân tạo 8

2.1 Mô hình một nơ ron nhân tạo 8

2.2 Cấu trúc mạng nơ ron nhân tạo 10

3 Các hình thức học của mạng nơ ron nhân tạo 11

3.1 Học theo tham số: 11

3.2 Học theo cấu trúc: 12

4 Kết hợp mạng nơron với lý thuyết mờ 13

4.1 Lý do 13

4.2.Một số khái niệm cơ bản trong lý thuyết mờ 14

4.3.Mạng lan truyền ngược 15

CHƯƠNG III - ỨNG DỤNG MẠNG NƠ RON NHÂN TẠO TRONG BÀI TOÁN THỜI TIẾT 21

1 Cơ sở ứng dụng mạng nơ ron nhân tạo trong bài toán thời tiết 21

2 Mô tả bài toán 22

3 Thực nghiệm - kết quả 28

4 Nhận xét 30

KẾT LUẬN 31

TÀI LIỆU THAM KHẢO 32

1

LỜI NÓI ĐẦU

Dự báo thời tiết ra đời từ xa xưa, từ khi có sự xuất hiện của con người và càng ngày cànggắn bó với cuộc sống của chúng ta Từ thủa ban đầu, con người đã có thể “dự đoán ” trướcđược các hiện tượng tự nhiên sẽ xảy ra trong khoảng thời gian gần Dần dần kinh nghiệmquan sát được tích lũy, cộng thêm những tư duy sâu xa đã giúp họ có được các dự báo chínhxác hơn cho các hiện tượng khí tượng trong tương lai Những phân tích, kinh nghiệm tíchlũy dần được đúc kết thành các bài toán dự báo, cho phép tính toán khá chính xác hiện tượngthời tiết sắp xảy ra

Hiện nay trên thế giới các hệ thống dự báo thời tiết nghiệp vụ được thực hiện bởi nhiềuphương pháp khác nhau như: phương pháp Synôp, phương pháp thống kê, phương pháp sốtrị, … Trong mỗi phương pháp đó lại có rất nhiều phương pháp và các mô hình dự báo cụthể Mỗi phương pháp đều có những ưu điểm và nhược điểm riêng Việc ứng dụng phươngpháp nào là tùy thuộc vào tài nguyên của hệ thống, trình độ của người dự báo, yêu cầu vàmục đích của người xây dựng hệ thống,

Ứng dụng mạng nơron nhân tạo là một trong những phương pháp thống kê Đó là mộtphương pháp mới, có nhiều ưu thế vượt trội trong việc giải quyết các vấn đề phi tuyến Cácphương pháp thống kê nói chung và ứng dụng mạng nơron nhân tạo nói riêng mang tínhkhách quan và đáp ứng được nhiều yêu cầu của thực tiễn mà dự báo bằng các phương phápkhác không đáp ứng được

Khái niệm mạng nơron được bắt đầu vào cuối những năm 1890 khi người ta cố gắng mô

tả hoạt động của trí tuệ con người Từ đó, lý thuyết mạng nơron được phát triển để áp dụngtrong nhiều lĩnh vực trong đó có dự báo Trên thế giới, mạng nơron đã và đang được ápdụng trong nhiều lĩnh vực trong đó có khí tượng thủy văn từ nhiều năm trước và đã thu đượcnhiều thành tựu

Với những ưu thế vượt trội của việc ứng dụng mạng nơron nhân tạo như tính mềm dẻo,khả năng dung thứ lỗi cao, giải quyết được các vấn đề phi tuyến thích hợp trong việc xử lý

dữ liệu có tính biến động lớn,… Đó là những lý do để nhóm em chọn đề tài: Mạng nơronnhân tạo và ứng dụng trong dự báo thời tiết

Do thời gian nghiên cứu chưa nhiều và hiểu biết còn hạn chế dẫn đến việc trình bày cácvấn đề không tránh khỏi việc thiếu sót và chưa chính xác Nhóm em rất mong nhận đượcnhững ý kiến đóng góp của Thầy cũng như của các bạn để nhóm em có thể hoàn thiện hơn

đề tài của mình

Nhóm thực hiện đề tài xin chân thành cảm ơn sự giúp đỡ của các thầy trong khoa, cácbạn cùng lớp và đặc biệt là sự hướng dẫn, chỉ bảo tận tình của Thầy – Tiến Sĩ Nguyễn MạnhCường đã giúp em trong quá trình thực hiện đề tài này

Xin chân thành cảm ơn!

2

Bài tập lớn – Trí tuệ nhân tạo nâng cao

CHƯƠNG I - BÀI TOÁN DỰ BÁO THỜI TIẾT

1 Giới thiệu bài toán dự báo thời tiết

Dự báo là một phát biểu về tương lai Mỗi phát biểu như vậy có một cơ sở chắc chắnnhất định Các dự báo được xây dựng bằng nhiều phương pháp, kiểm chứng qua biểu thứcđánh giá Vì vậy, dự báo là một lĩnh vực có tiềm năng rộng lớn

Để phòng tránh và giảm nhẹ những tác hại do thời tiết gây ra, việc dự báo thời tiết có ýnghĩa rất quan trọng Nhiều khi chỉ cần dự báo trước một vài tiếng đồng hồ cũng đủ để sơtán người và của ra khỏi vùng nguy hiểm, cứu được nhiều sinh mạng và tài sản chính vì vậy,

đã từ lâu con người đã quan tâm đến việc theo dõi và tìm cách dự báo thời tiết

Dự báo thời tiết là một công việc hết sức phức tạp Mặc dù khoa học dự báo thời tiết rađời đã trên 100 năm và hiện nay hàng trăm ngàn nhà khoa học ở nhiều nước đang nỗ lựcnghiên cứu để tìm cách nâng cao chất lượng công tác dự báo thời tiết nhưng cho đến nayngười ta vẫn chưa khẳng định được chính xác thời tiết của ngày hôm sau sẽ ra sao

Dự báo thời tiết cần có một hệ thống thu nhập và trao đổi số liệu trên toàn cầu cùng vớicác công cụ để xử lý làm căn cứ cho việc dự báo Hệ thống quan trắc là cơ sở đầu tiên của hệthống dự báo thời tiết Bên cạnh đó, hệ thống thông tin liên lạc có vai trò cực kỳ quan trọng.Khâu cuối cùng trong hệ thống dự báo thời tiết là chỉnh lý các số liệu đã thu nhập và sử dụngcác phương pháp khác nhau đưa ra kết quả dự báo

Như vậy, các phương pháp dự báo thời tiết được đề cập đến trong đề tài chỉ những mắtxích cuối cùng trong hệ thống dự báo thời tiết

2 Một số phương pháp với bài toán dự báo thời tiết

Dự báo thời tiết là một khoa học và là một nghệ thuật Rất nhiều phương pháp

đã được ứng dụng cho dự báo thời tiết Phương pháp cụ thể nàp được áp dụng phụthuộc vào một số các yếu tố như số lượng thông tin được sử dụng, mức độ phức tạp

mà ứng dụng dự báo thể hiện và kinh nghiệm của người dự báo,…

2.1 Phương pháp quán tính

Là phương pháp đơn giản nhất trong dự báo thời tiết Phương pháp này giả thiếtrằng thời tiết ngày mai cũng giống thời tiết hôm nay, nghĩa là các điều kiện tại thờiđiểm được dự báo sẽ không thay đổi Phương pháp quán tính làm việc tốt khi cácmẫu thời tiết thay đổi rất ít và các đặc tính trên bản đồ thời tiết thay đổi rất chậm.Nếu điều kiện thời tiết thay đổi đáng kể từng ngày thì phương pháp này không thể

sử dụng được

2.2 Phương pháp dự báo theo xu hướng

Một kỹ thuật dự báo thời tiết quan trọng khác là thông qua bản đồ thời tiết.Phương pháp xu hướng yêu cầu xác định hướng, tốc độ di chuyển của các khối khí,

hệ thống áp suất và các vùng mây, lượng mưa Dựa vào các thông tin trên mà người

dự báo sẽ dự báo các đặc tính thời tiết trong tương lai Các khác biệt trong miền, sựtăng tốc hay giảm tốc có thể của hệ thống bão, các tác động cục bộ như địa hình,

3

khối nước và độ nóng của đảo ảnh hưởng đến dự báo, do đó các yếu tố trên cũngđược xem xét.

2.3 Phương pháp khí hậu học

Phương pháp khí hậu học cũng là một phương pháp đơn giản khác để dự báothời tiết Điều đầu tiên được biết đến về dự báo của một vùng là khí hậu của nó(nhiệt độ cao, thấp, trung bình hoặc lượng mưa) Phương pháp này cần đến thống kêthời tiết trung bình được tính qua nhiều năm để thực hiện dự báo Khí hậu học hiếmkhi là một dự báo đúng cho một ngày đã cho, vì dự báo có thể biến đổi cao hoặcthấp so với trung bình Phương pháp khí hậu học chỉ làm việc được tốt khi mẫu thờitiết tương tự nahu ở cùng thời điểm trong năm Nếu mẫu thời tiết quá bất thườngvới một thời điểm đã cho trong năm thì phương pháp này thất bại

2.4 Phương pháp tương tự

Phương pháp tương tự là phương pháp hơi phức tạp hơn để tạo nên một dự báo

Nó liên quan đến việc xác định kịch bản dự báo của một ngày và nhớ đến một ngàytrong quá khứ khi kịch bản thời tiết là khá tương tự Người dự báo có thể dự báorằng thời tiết trong dự báo rất giống như trong quá khứ Ví dụ, hôm nay rất ấmnhưng có khối khí lạnh đang đến gần khu vực này Ta đến điều kiện thời tiết tương

tự một tuần trước đó, cũng một ngày ấm nhưng có khối khí lạnh đang đến gần Vàongày đó cũng nhớ có sấm sét, mưa to vào buổi chiều khi khối khí lạnh tràn vào khuvực Do đó, sử dụng phương pháp tương tự, ta có thể dự báo rằng khối khí lạnhcũng sẽ tạo ra sấm sét và mưa to vào buổi chiều Phương pháp tương tự là khó sửdụng vì không thể tìm được sự tương tự hoàn toàn Hiện tượng thời tiết đa dạnghiếm khi lặp lại ở cùng một địa phương nơi mà chúng đã từng xảy ra Tuy nhiên quathời gian dài, khi nhiều dữ liệu thời tiết được thu thập thì cơ hội tìm được một sựtương tự tốt cho tình huống thời tiết hiện tại có thể khá hơn và dự báo tương tự cóthể được cải thiện

2.5 Phương pháp dự báo sử dụng văn bản

Văn bản đưa ra một cách tổng quan về các thông tin thời tiết quan trọng trong

24 giờ đã qua cũng như là các biểu thị quan trọng của thời tiết trong 24 giờ tới.Tổng kết dữ liệu ngày trước của thành phố để biết lượng mưa cũng như nhiệt độ caothấp Sau đó, đồ thị được vẽ trên bản đồ trong một số giờ để tìm xu hướng chuyểnđộng của các khối khí, hệ thống thời tiết Những bản đồ này được phân tích và thờitiết trong tương lai sẽ được dự báo Dự báo sử dụng văn bản là khó thực hiện dự báochỉ sử dụng duy nhất thông tin văn bản về thời tiết Hầu hết các phương pháp trìnhbày ở trên được sử dụng từ vài thập kỷ trước khi máy tính chưa phát triển đủ mạnh

để thực hiện các dự báo số trị Ngày nay, chúng được sử dụng để đánh giá mức độhiệu quả của các dự báo thời tiết: so sánh với dự báo quán tính hoặc với chuẩn khíhậu Sau đây xin giới thiệu một số phương pháp dự báo thời tiết nghiệp vụ (nhữngphương pháp mới, được ứng dụng trong những hệ thống lớn, chuyên nghiệp)

2.6 Phương pháp Synôp

Đây là phương pháp dự báo thời tiết cổ điển được sử dụng chủ yếu trong hơn

100 năm qua và cho đến nay vẫn được các nhà khí tượng ở nhiều nước sử dụng,

4

Bài tập lớn – Trí tuệ nhân tạo nâng cao

trong đó có Việt Nam, dựa trên việc thiết lập các bản đồ thời tiết Việc dự báo phụthuộc rất lớn vào kinh nghiệm phân tích và đánh giá chủ quan của người làm dự báobên cạnh các thông tin bổ trợ từ các sản phẩm của mô hình dự báo số và phân tíchảnh mây vệ tinh,… Dự báo theo phương pháp này cho kết quả tương đối tốt trongphần lớn các trường hợp, riêng với mưa, sản phẩm dự báo mang tính định tính nhưmưa vừa, mưa to, mưa rất to,…mà không có con số định lượng cụ thể Hiện nay bảntin dự báo thời tiết đưa trên đài truyền hình Việt Nam là kết quả của phương phápnày Dự báo theo phương pháp này đòi hỏi người dự báo có kiến thức về kỹ thuật

dự báo còn phải có những kinh nghiệm và hiểu biết về khí hậu thời tiết ở địaphương Đây cũng là một hạn chế của phương pháp Synôp, cũng do đặc điểm này

mà dẫn đến những hạn chế khác như không thể dự báo trước nhiều ngày, không thể

dự báo cho nhiều vùng khác nhau,…

2.7 Phương pháp tổng hợp

Dự báo tổng hợp là một hướng mới đang được phát triển mạnh tại các trung tâm

dự báo khí tượng nghiệp vụ trên thế giới Với việc coi khí quyển được cảm nhận và

mô phỏng (bởi quan trắc và các mô hình số trị) là một hệ thống tập hợp thống kêthay vì là một hệ xác định, đặc trưng thống kê của tập hợp các dự báo khác nhau sẽcho kết quả tin cậy hơn của từng dự báo riêng biệt Nghiên cứu ứng dụng phươngpháp dự báo tổng hợp ở Việt Nam đã nhận được một số kết quả ban đầu rất khảquan tại trung tâm Khí tượng Thủy văn quốc gia

2.8 Phương pháp số trị

Phương pháp dự báo số trị - dự báo bằng mô hình thủy động lực học hiện đại có

độ phân giải cao áp dụng cho từng khu vực đã được sử dụng ở nhiều quốc gia trênthế giới, đặc biệt là các nước phát triển Phương pháp này sử dụng sức mạnh củamáy tính điện tử, bằng rất nhiều cách khác nhau để giải hệ phương trình mô tả khíquyển để suy ra các biến khí quyển như áp suất, nhiệt độ, vận tốc gió,… Chất lượng

dự báo mưa lớn cao hơn hẳn các phương pháp trên và sản phẩm số của mô hình dựbáo có thể đảm bảo những yêu cầu của mô hình dự báo thủy văn đối với lũ lụt, lũquét Một trong những nhân tố quyết định gây nên sự hình thành và phát triển mưalớn trong các hiện tượng thời tiết nguy hiểm như xoáy thuận nhiệt đới,… là đối lưumây tích Các quá trình đối lưu này đóng vai trò quan trọng trong chu trình vậnchuyển năng lượng của khí quyển và do đó phân bố lại sự đốt nóng không đồng đềutrên bề mặt trái đất Ngoài phụ thuộc vào độ hội tụ ẩm mực thấp, đối lưu mạnh cònphụ thuộc vào tính bất ổn định của khí quyển,…Các quá trình quy mô vừa này chỉ

có thể tính được bằng các mô hình số trị Với các phương pháp số trị, hiên naynhững trung tâm khí tượng lớn trên thế giới có thể đưa ra những dự báo thời tiếttrên phạm vi toàn cầu trước hàng tuần mà phương pháp Synôp cổ điển không thểnào thực hiện được

2.9 Phương pháp thống kê

Phương pháp thống kê lấy số liệu quá khứ làm đầu vào Phương pháp này có ưuđiểm mang tính chất khách quan, đơn giản và dễ xây dựng mô hình cũng như sửdụng trong nghiệp vụ Độ chính xác của mô hình phụ thuộc rất nhiều vào việc lựa

5

chọn các tham số dự báo và quá trình xử lý số liệu Bên cạnh đó, do đặc điểm cơbản của phương pháp thống kê là coi những quá trình xảy ra ở hiện tại và tương laiđều tuân theo các quy luật thu được từ số liệu trong quá khứ, dẫn tới kết quả của môhình dự báo phụ thuộc vào độ dài tập mẫu Chuỗi số liệu tập mẫu quá ngắn sẽ chứatrong nó những quy luật mà hiện tại không có, còn chuỗi số liệu quá dài có thể gâymất ổn định hệ thống.

6

Bài tập lớn – Trí tuệ nhân tạo nâng cao

CHƯƠNG II - TỔNG QUAN LÝ THUYẾT MẠNG NƠ RON

về mạng nơron Lý thuyết về mạng nơron đã hình thành và đang phát triển, đặc biệt

là nghiên cứu các ứng dụng của chúng Cơ sở xây dựng mạng nơron nhân tạo chính

là cố gắng mô phỏng lại các quá trình diễn ra trong các nơron sinh vật Quá trìnhnghiên cứu và phát triển mạng nơron nhân tạo có thể được chia thành 4 giai đoạnnhư sau: - Giai đoạn một: Giai đoạn một có thể tính từ nghiên cứu của William(1980) về tâm lý học với sự liên kết các nơron thần kinh Từ năm 1940 Mc.Colloch

và Pitts đã cho biết: nơron có thể được mô hình hóa như thiết bị ngưỡng (giới hạn)

để thực hiện các phép tính logic Cũng thời gian đó Wiener đã xét các mối liên hệgiữa các nguyên lý phản hồi và chức năng bộ não - Giai đoạn hai: Giai đoạn haivào những năm 1960, gần như đồng thời một số mô hình nơron hoàn hảo hơn đãđược đưa ra, đó là mô hình Perceptron của Rosenblatt hay Adaline của Widrow.Trong đó mô hình Perceptron rất được quan tâm vì nguyên lý đơn giản, nhưng nócũng có hạn chế vì không dùng được cho các hàm logic phức tạp Còn Adaline là

mô hình tuyến tính, tự chỉnh, được dùng rộng rãi trong điều khiển thích nghi, táchnhiễu, mô hình này vẫn đang được phát triển và ứng dụng cho đến ngày nay - Giaiđoạn ba: Giai đoạn ba có thể được tính là khoảng đầu của những năm 80 của thế kỷ

20 Những đóng góp lớn cho mạng nơron trong giai đoạn này phải kể đếnGrossberg, Kohonen và Hopfield Đóng góp lớn của Hopfield là hai mạng phản hồi:mạng rời rạc năm 1983 và mạng liên tục năm 1984 Đặc biệt, ông đã dự kiến nhiềukhả năng tính toán lớn của mạng nơron mà một nơron không có khả năng đó Cảmnhận của Hopfield đã được Rumelhart, Hinton đề xuất thuật toán truyền ngược sai

số nổi tiếng để huấn luyện mạng nơron nhiều lớp nhằm giải quyết nhiều lớp bài toánphức tạp - Giai đoạn bốn: Giai đoạn bốn là từ năm 1987 đến nay Hàng năm thếgiới đều mở hộ nghị toàn cầu chuyên ngành nơron Các công trình nghiên cứu đểhoàn thiện thêm về lý thuyết mạng nơron như: mở rộng hoàn thiện các lớp mạng,phân tích tính ổn định của mạng, kết hợp lý thuyết mạng nơron với các lý thuyếtkhác Hàng loạt các lĩnh vực khác như: kỹ thuật tính, tối ưu, sinh học, y học, thống

kê, giao thông, hóa học, truyền thông, khí tượng, …đã đóng góp nhiều công trìnhnghiên cứu, ứng dụng mạng nơron vào lĩnh vực của mình và đem lại những kết quảđáng khích lệ Ở trong nước, mạng nơron được nghiên cứu từ những năm 1980, đivào ứng dụng trong các lĩnh vực tin học, viễn thông, đo lường, điều khiển, khítượng, … Một số chip nơron đã được dùng trong kỹ thuật lọc và một số ứng dụngkhác Trong ngành khí tượng thủy văn, mạng nơron đã và đang được áp dụng cho

dự báo lũ, dự báo trường nhiệt độ, dự báo bức xạ mặt trời

7

1.2 Nơ ron sinh vật

Nơron sinh vật có nhiều dạng khác nhau như dạng hình tháp, dạng tổ ong, dạng

dễ cây Tuy khác nhau về hình dạng, nhưng chúng có cấu trúc và nguyên lý hoạtđộng chung Một tế bào nơron gồm bốn phần cơ bản như hình 2.1 dưới đây Cácnhánh và rễ: Các nhánh và rễ là các bộ phận nhận thông tin, các đầu nhận và cácđầu ra của các nơron khác bám vào rễ hoặc nhánh của một nơron Khi các đầu vào

từ ngoài này có sự chênh lệch về nồng độ K+, Na+ hay Cl- so với nồng độ bêntrong của nó thì xảy ra hiện tượng thấm từ ngoài vào trong thông qua một cơ chếmàng thấm đặc biệt Hiện tượng thẩm thấu như vậy tạo nên một cơ chế truyền đạtthông tin với hàng nàn hàng vạn nối vào trên một nơron sinh vật, ứng với hàngnghìn hàng vạn liên kết khác nhau, mức độ thẩm thấu đặc trưng bởi cơ chế màngtượng trưng bằng một tỷ lệ Tỷ lệ đó được gọi là tỷ trọng hay đơn giản gọi là trọngsố

Thân thần kinh: Thân thần kinh chứa các nhân và cơ quan tổng hợp protein Các ion vào

được tổng hợp và biến đổi Khi nồng độ các ion đạt đến một giá trị nhất định, xảy ra quá trình phát xung (hay kích thích) Xung đó được phát ra ở đầu ra của nơron Dây dẫn đầu ra của nơron được gọi là dây thần kinh

Dây thần kinh: Dây thần kinh là đầu ra Đó là phương tiện truyền dẫn tín hiệu Dây thần

kinh được cấu tạo gồm các đốt và có thể dài từ vài micro mét đến vài mét tùy từng kết cấu

cụ thể Đầu ra này có thể truyền tín hiệu đến các nơron khác

Khớp thần kinh: Khớp thần kinh là bộ phận tiếp xúc của đầu ra nơron với rễ, nhánh của

các nơron khác Chúng có cấu trúc màng đặc biệt để tiếp nhận các tín hiệu khi có sự chênh lệch về nồng độ ion giữa bên trong và bên ngoài Nếu độ lệch về nồng độ càng lớn thì việc truyền các ion càng nhiều và ngược lại Mức độ thẩm thấu của các ion có thể coi là một đại lượng thay đổi tùy thuộc vào nồng độ như một giá trị đo thay đổi được gọi là trọng số

2 Mô hình mạng nơ ron nhân tạo

2.1 Mô hình một nơ ron nhân tạo

Trên cơ sở mô hình nơron sinh vật tổng quát, người ta đề xuất mô hình nơron nhân tạogồm 2 thành phần chính: bộ tổng các liên kết đầu vào và bộ kích hoạt

8

Wm

y

.

Bài tập lớn – Trí tuệ nhân tạo nâng cao

Hình 2.2: Mô hình nơron nhân tạo

Mô hình nơron nhân tạo

Để mô phỏng một nơron ta có thể coi nó như một hệ thống nhiều đầu vào và một đầu ra(hình trên)

Bộ tổng: Bộ tổng hợp các liên kết đầu vào của một phần tử nơron có thể mô tả như sau:

v(t) là tổng tất cả đầu vào mô tả toàn bộ thế năng tác động ở thân nơron

x(t) là các đầu vào ngoài; k = 1, 2,…, m; m là số lượng đầu vào tín hiệu vào từ các đầunhạy thần kinh hoặc từ các nơron khác đưa vào

wk: Trọng số liên kết ngoài, là hệ số mô tả mức độ liên kết giữa các đầu vào ngoài tớinơron hiện tại; k= 1, … m; m là số đầu vào

θ: là hằng số, còn gọi là ngưỡng, xác định ngưỡng kích thích hay ức chế

Bước nhảy đơn vị

Bảng 2.1: Một số hàm kích hoạt thường được sử dụng trong các mô hình nơron

Phần này sử dụng hàm quan hệ f(.) cho đầu ra y, để chặn tín hiệu ở đầu ra Các hàm đầu

ra thông thường là các hàm có giới hạn ngưỡng phù hợp với đặc điểm đầu ra của nơron sinhvật Hàm dạng này thể hiện đặc điểm kích hoạt hay ức chế của một nơron

Với u(t)= v(t) và y(t) là đầu ra nơron mô tả tín hiệu đưa ra.

Hàm f(.) ở đây được chia thành hai nhóm: nhóm hàm bước nhảy và nhóm hàm liên tục.Đặc điểm chung của các hàm này thường tiến tới một giá trị cố định với các giá trị được gán[0, 1] hoặc [-1, 1] Những dạng hàm kích hoạt hay dùng cung cấp ở bảng trên Một số dạnghàm khác cũng được sử dụng như: dạng hàm Gauss, hàm logarit, hàm mũ, hàm arctg

2.2 Cấu trúc mạng nơ ron nhân tạo

Có thể xây dựng cấu trúc mạng nơron dựa theo những yếu tố sau:

 Số lớp có trong mạng và số nơron trong từng lớp

 Mạng một lớp là tập hợp các phần tử nơron mà mỗi nơron có đầu vào và đầu racủa mạng cùng ở trên phần tử nơron đó Nếu mạng nối các đầu ra của phần này với đầu vàocủa phần tử kia gọi là mạng tự liên kết

 Mạng nhiều lớp gồm một lớp đầu vào và một lớp đầu ra riêng biệt Các lớp nằmgiữa lớp vào và lớp đầu ra gọi là các lớp ẩn

 Đường truyền tín hiệu trong mạng

 Mạng truyền thẳng là mạng hai hay nhiều lớp mà quá trình truyền tín hiệu từ đầunày đến đầu kia theo một hướng

Hình 2.3: Mạng nơron truyền thẳng nhiều lớp (Feed-forward neural network)

 Mạng phản hồi là mạng trong đó một hay nhiều đầu ra của các phần tử lớp sautruyền ngược tới đầu vào lớp trước

Hình 2.4: Mạng hồi quy

10

Bài tập lớn – Trí tuệ nhân tạo nâng cao

 Mạng tự tổ chức là mạng có khả năng sử dụng những kinh nghiệm quá khứ đểthích ứng với những biến đổi của môi trường (không dự báo trước) Loại mạng này thuộcnhóm tự học, thích nghi không cần có tín hiệu chỉ đạo từ ngoài

Trong mỗi lớp mạng lại có nhiều mạng với các tên gọi và các đặc trưng khác nhau Một

số mô hình mạng nơron cơ bản được mô tả trong hình trên

Như vậy, mạng nơron nhân tạo có cấu trúc khác nhau tùy theo số lớp, số nơron trongmỗi lớp và cách tổ chức đường truyền tín hiệu trong mạng

3 Các hình thức học của mạng nơ ron nhân tạo

Thuật toán học là phần trí tuệ thông minh của mạng nơron mà các công trình nghiên cứuchiếm số lượng lớn trong mấy chục thập kỷ qua Thuật toán học được chia làm 2 loại: Họctheo tham số và học theo cấu trúc

3.1 Học theo tham số:

Tư tưởng của việc học theo tham số là thay đổi, cập nhật các trọng số liên kết Hầu hếtcác luật học tồn tại thuộc kiểu học theo tham số Trong chương này, các kiến trúc mạng điểnhình đưa ra cũng thuộc dạng học theo tham số Thông thường, thuật toán học theo tham sốđược chia làm 3 loại chính: học có giám sát, học không giám sát và học củng cố

3.1.1 Học có giám sát:

Trong học có giám sát, tại mỗi thời điểm có đầu vào mạng nơron thì đầu ra mongmuốn của hệ sẽ được cho sẵn Nói một cách rõ ràng hơn: mạng được cung cấp một tập các

mẫu (x (1) , d (1) ), (x (2) , d (2) ), …, (x (k) , d (k) ) là các cặp đầu vào – đầu ra mong muốn Khi một đầu

vào x (k) được đưa vào mạng, đầu ra mong muốn d (k) cũng được đưa vào mạng Sự sai khác

giữa giá trị đầu ra thực sự y (k) và đầu ra mong muốn d (k) sẽ là cơ sở tạo tín hiệu lỗi để mạngsửa đổi trọng số sao cho đầu ra thực sự gần với đầu ra mong muốn

Hình 2.5: Học có giám sát

3.1.2 Học không giám sát:

Trong dạng học này không có bất kỳ một thông tin phản hồi nào từ môi trường.Mạng phải tự tìm ra các mẫu, đặc tính, tính quy tắc, sự tương quan trong dữ liệu đầu vào vàtập hợp lại để tạo đầu ra Khi tự tìm ra các đặc điểm này, mạng đã trải qua các thay đổi vềtham số của nó Quá trình này gọi là tự tổ chức

Các thuật toán theo tham số có thể được khái quát thành dạng chung với lượng điềuchỉnh trọng số như sau:

w rx t

 

11

Trong đó: i là nơron thứ i; j là đầu vào thứ j; α là hằng số học (dương) xác định tốc độhọc và được xác định bằng thực nghiệm; r là tín hiệu học Tín hiệu học tổng quát là một hàmcủa w, x, và d tức là: r = f(w, x, d).

Đối với các trọng số biến đổi liên tục, có thể sử dụng dạng sau:

cố Luật học củng cố là một dạng của luật học có giám sát vì mạng vẫn có được một vàithông tin phản hồi từ môi trường Tuy nhiên thông tin phản hồi này chỉ mang tính chất đánhgiá chứ không phải mang tính chất dạy Tín hiệu củng cố ngày được mạng sử dụng để điềuchỉnh trọng số với hy vọng là có được đánh giá phản hồi tốt hơn trong lần học tiếp theo

3.2 Học theo cấu trúc:

Tư tưởng của học theo cấu trúc là thay đổi số lớp, số nơron trong từng lớp, kiểu liên kết

để làm cấu trúc mạng thay đổi Đối với học theo tham số, chúng ta giả sử cấu trúc mạng đã

có, sau đó đưa ra các thuật toán học cho các tham số mạng để huấn luyện mạng thực hiệnđược nhiệm vụ như mong muốn Còn việc học theo cấu trúc có thể sử dụng kỹ thuật liênquan đến thuật toán gen và lập trình tiến hóa Các cách tìm kiếm trong lập trình tiến hóa làkhá tiêu tốn thời gian ngay cả đối với mạng có kích thước trung bình Do đó, còn có thể sửdụng các kỹ thuật sửa đổi hay xây dựng mạng dần dần từ một cấu trúc mạng ban đầu Các

kỹ thuật này bao gồm cắt xén bớt mạng nơron, phát triển mạng và kết hợp cả hai cách cắtxén và phát triển mạng nơron

4 Kết hợp mạng nơron với lý thuyết mờ

4.1 Lý do

Hai công nghệ mạng nơron và lý thuyết mờ đều có những mục đích gần gũi Hơn nữanhững thành đạt cũng có những điểm tương tự Do đó sự kết hợp với nhau là lẽ rất tự nhiên.Sau đây là mấy điểm tương đồng giữa 2 hệ thống trên cơ sở lý thuyết mờ và mạng nơronnhân tạo

Cả hai đều nhằm tăng thêm tri thức, tăng độ thông minh cho các hệ thống với sự giúp đỡcủa các hệ thống kỹ thuật (đặc biệt với máy tính), trong môi trường bất định, có nhiễu, thôngtin và tri thức thiếu chính xác

Cả hai đều là hệ động, là công cụ ước lượng bằng số, không dùng mô hình số chọntrước

Cả hai khi ước lượng hàm số không đòi hỏi mô tả bằng dạng toán học y=f(x), thườnghọc được từ mẫu dữ liệu, tiệm cận với các số liệu

Cả hai loại hệ thống và công nghệ đều rất thành công, đã được ứng dụng trong nhiều hệthống và thiết bị dùng trong đời sống hàng ngày

12

Bài tập lớn – Trí tuệ nhân tạo nâng cao

Họ các mạng nơron với một số đủ lớn các nơron trong lớp ẩn cũng có thể xấp xỉ mộthàm bất kỳ Nếu thu hẹp hơn nữa các hệ suy diễn mờ và mạng nơron ta có kết quả như sau:Các hệ suy diễn mờ sử dụng suy diễn tích, phép giải mờ trọng tâm, hàm thuộc dạng Gausstương ứng với họ các mạng nơron RBF với một lớp ẩn và sử dụng hàm kích hoạt dạngGauss

Về lý thuyết, mạng nơron và các hệ thống mờ là các hệ thống tương đương theo nghĩachúng có khả năng chuyển đổi được nhưng trong thực tế, mỗi hệ thống lại có những ưunhược điểm riêng

Đối với các mạng nơron, tri thức có thể tự động thu được bởi thuật toán hồi quy nhưngquá trình luyện lại tương đối chậm và việc phân tích mạng đã luyện là khá khó khăn Ngoài

ra chúng ta không có khả năng rút ra được tri thức có dạng cấu trúc (các luật) từ mạng nơron

đã luyện cũng như không thể đưa thêm các thông tin đặc thù vào trong mạng nơron để đơngiản hóa quá trình học

Các hệ thống mờ tốt hơn theo nghĩa cách hoạt động của các hệ thống mờ có thể giảithích được dựa trên các luật mờ và như vậy tốc độ thực thi của chúng có thể điều chỉnh đượcbằng cách chỉnh định các luật Tuy nhiên, thông thường việc thu được tri thức là khá khókhăn và việc xem xét ngôn từ của mỗi biến vào cần phải được chia thành nhiều khoảng nêncác ứng dụng của hệ thống mờ bị giới hạn trong các vùng mà ở đó phải có được tri thứcchuyên gia cũng như số lượng biến đầu vào nhỏ

Từ mong muốn có được ưu điểm của cả nguyên lý mờ và mạng nơron trong một bộ điềukhiển, người ta đã ghép chung bộ điều khiển mờ và mạng nơron thành bộ điều khiển mờ -nơron Có thể kể ra ba hướng chính khi tích hợp mạng nơron và hệ mờ:

A - Các hệ mờ nơron sử dụng công cụ mạng nơron trong mô hình mờ

B - Các mạng nơron mờ nhằm mờ hóa các mô hình nơron và mạng nơron truyền thống

4.2.2 Số mờ

13

Một số mờ là một tập mờ lồi được chuẩn hóa ~AR, hàm thành viên của tập này cótính chất liên tục ít nhất tại từng giai đoạn, và hàm có giá trị μA(x)=1 tại đúng một phần tử.A(x)=1 tại đúng một phần tử.

Có 3 dạng số mờ thường gặp là dạng tam giác, dạng hình thang và dạng Gauss

4.2.3 Tập mức

Cho 0<αα1, A là tập mờ thuộc X; μA(x)=1 tại đúng một phần tử.A: X →[0, 1];

Tập Aα = {xxX: μA(x)=1 tại đúng một phần tử.A(x) α}, gọi là tập mức Rõ ràng Aα là tập rõ

4.2.4 Một số phương pháp mờ hòa mạng nơron

Gần đây, những nhà nghiên cứu đề xuất rất nhiều các phương pháp mờ hóa mạngnơron nhân tạo Một cách tiếp cận là mờ hóa trực tiếp bằng cách mở rộng các đầu vào thực

và các giá trị đích thực, các trọng số thực trong kiến trúc mạng nơron truyền thống thành các

số mờ Sự mở rộng này được tổng kết trong bảng:

Bảng 2.2:Một số phương pháp mờ hóa mạng nơron truyền thống

Trong các trường hợp mở rộng ở bảng trên, các trường hợp 1, 2, 3, 4 đã được nghiêncứu ứng dụng trong nhiều bài toán Trường hợp 5, 6, 7 không thực tế Trong trường hợp 5,đầu ra luôn là số thực vì cả đầu vào và trọng số đều là số thực Do đó, trọng số cần được mờhóa để tạo đầu ra mờ trong trường hợp thứ 5 Trong các trường thứ 6 và thứ 7, việc mờ hóatrọng số là không cần thiết vì các giá trị đầu ra là những số thực

4.3 Mạng lan truyền ngược

14

j

m

1q

X1

Xj

Xm

Y1

Yi

Yn

Bài tập lớn – Trí tuệ nhân tạo nâng cao

Mỗi nút trong lớp đầu vào nhận giá trị của một biến độc lập và được chuyển vàomạng Dữ liệu từ tất cả các nút trong lớp đầu vào được chuyển cho lớp ẩn Gọi là ẩn vì cácnút trong lớp này chỉ liên lạc với các nút trong lớp đầu vào và đầu ra, và chỉ người thiết kếmới biết lớp này Tương tự, các nút trong lớp ra cũng nhận tín hiệu từ các nút ẩn Mỗi núttrong lớp ra tương ứng một biến phụ thuộc

Mạng lan truyền ngược chỉ có thể ở một trong hai trạng thái: trạng thái ánh xạ vàtrạng thái học Trong trạng thái ánh xạ, thông tin lan truyền từ lớp vào tới lớp ra và mạngthực hiện ánh xạ để tính giá trị các biến phụ thuộc vào các biến độc lập được cho Trongtrạng thái học, thông tin được lan truyền theo hai chiều nhiều lần để học các trọng số

Hình 2.7: Cấu trúc mạng nơron lan truyền ngược Quá trình ánh xạ thông tin trong mạng có thể được mô tả như sau:

- Trước hết, giá trị của các biến độc lập được chuyển vào cho lớp của mạng Các nútđầu vào không tính toán gì cả Mỗi nút vào chuyển giá trị của nó cho tất cả các nút ẩn Mỗinút ẩn tính tổng trọng hóa của tất cả dữ liệu nhập bằng cách cộng tất cả các tích giữa giá trịnút vào với trọng số của cung liên kết giữa nút đầu vào và nút ẩn

- Tiếp theo, một hàm truyền (hay hàm kích họat) được áp dụng trên tổng trọng hóanày cùng với một ngưỡng của nút ẩn đó để cho ra giá trị thực của nút ẩn Hàm truyền chỉđơn giản nén giá trị vào một miền giới hạn nào đó Trong đề tài này, hàm kích hoạt đối vớilớp ẩn là hàm Sigmoid, còn đối với lớp ra cũng là hàm Sigmoid Sau khi nén tổng trọng hóacủa nó, đến lượt mình, mỗi nút ẩn sẽ gửi kết quả đến tất cả các nút đầu ra

- Mỗi nút đầu ra thực hiện các thao tác tương tự như đã thực hiện trong nút ẩn để cho

ra giá trị kết xuất của nút đầu ra Giá trị của đầu ra chính là giá trị thực, có nghĩa là giá trị củacác biến phụ thuộc cần xác định

15