Nhận biết các yếu tố rủi ro chính gây chậm tiến độ của dự án thủy điện ứng dụng cho trường hợp thủy điện đak mi 3

Bộ não người được hình thành từ sự liên kết của khoảng 1011 phần tử tế bào, trong đó có khoảng 1010 phần tử là neuron, số còn lại khoảng 9*1010 phần tử là các tế bào thần kinh đệm và chú

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

MAI VĂN TRÍ

NHẬN BIẾT CÁC YẾU TỐ RỦI RO CHÍNH

GÂY CHẬM TIẾN ĐỘ CỦA DỰ ÁN THỦY ĐIỆN ỨNG DỤNG CHO TRƯỜNG HỢP THỦY ĐIỆN ĐAK MI 3

Chuyên ngành : CÔNG NGHỆ VÀ QUẢN LÝ XÂY DỰNG

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 06 năm 2009

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học: PGS TS NGUYỄN THỐNG

Cán bộ chấm nhận xét 1:

Cán bộ chấm nhận xét 2:

Luận văn thạc sĩ được bảo vệ tại HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ

TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày tháng năm

- -oOo -

Tp HCM, ngày … tháng … năm 2009

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Ngày, tháng, năm sinh: 03-09-1982 Nơi sinh: NAM ĐỊNH Chuyên ngành: CÔNG NGHỆ & QUẢN LÝ XÂY DỰNG Mã ngành: 60.58.90

MSHV: 00807589

1 TÊN ĐỀ TÀI: NHẬN BIẾT CÁC YẾU TỐ RỦI RO CHÍNH GÂY CHẬM TIẾN ĐỘ CỦA DỰ ÁN THỦY ĐIỆN, ỨNG DỤNG CHO TRƯỜNG HỢP THỦY ĐIỆN ĐAK MI 3

2 NHIỆM VỤ LUẬN VĂN: Luận văn bao gồm các nội dung sau:

− Tổng quan và phương pháp luận

− Giới thiệu mạng thần kinh nhân tạo

− Phương pháp thu thập và xử lý số liệu

− Ứng dụng xây dựng mô hình dự báo

− Ảnh hưởng chậm tiến độ đến hiệu quả đầu tư dự án Thủy điện Đak Mi 3

− Kết luận, kiến nghị và hướng nghiên cứu

3 NGÀY GIAO NHIỆM VỤ : 03-02-2009

4 NGÀY HOÀN THÀNH NHIỆM VỤ :

5 HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: PGS TS NGUYỄN THỐNG

Nội dung và đề cương Luận văn thạc sĩ đã được Hội Đồng Chuyên Ngành thông qua

CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN KHOA QL CHUYÊN NGÀNH

(Họ tên và chữ ký) QUẢN LÝ CHUYÊN NGÀNH (Họ tên và chữ ký)

(Họ tên và chữ ký)

PGS TS Nguyễn Thống TS Ngô Quang Tường

Luận văn Thạc sĩ kỹ thuật với đề tài “Nhận biết các yếu tố rủi ro chính gây

chậm tiến độ của dự án thủy điện, Ứng dụng cho trường hợp thủy điện Đak

Mi 3” được thực hiện với kiến thức tác giả thu thập trong suốt quá trình học tập tại

trường Cùng với sự cố gắng của bản thân là sự giúp đỡ, động viên của các thầy cô,

bạn bè, đồng nghiệp và gia đình trong suốt quá trình học tập và thực hiện luận văn

Tôi xin gởi lời cảm ơn chân thành đến PGS.TS Nguyễn Thống đã nhiệt tình hướng

dẫn, động viên tôi trong suốt quá trình thực hiện luận văn

Xin gửi lời cảm ơn đến quý thầy cô bộ môn Thi Công, những người đã cho tôi

những kiến thức và kinh nghiệm quý báu trong suốt quá trình học tập tại trường

Xin gửi lời cảm ơn đến các học viên chuyên ngành Công Nghệ và Quản Lý Xây

Dựng khóa 2007, những người bạn đã đồng hành và giúp đỡ tôi trong suốt quá

trình học

Xin gửi lời cảm ơn đến các đồng nghiệp công ty Cổ phần Tư vấn Xây dựng Á

Đông, những người đã tạo điều kiện và giúp đỡ rất nhiều trong suốt quá trình học

tập và thực hiện luận văn

Cuối cùng, tôi xin cảm ơn bố mẹ và gia đình đã động viên và tạo điều kiện tốt nhất

cho tôi về vật chất và tinh thần trong những năm tháng học tập tại trường

Luận văn được hoàn thành nhưng không thể tránh được những thiếu sót và hạn

chế Rất mong nhận được sự đóng góp của quý thầy cô, bạn bè và đồng nghiệp để

luận văn được hoàn thiện và có ý nghĩa thực tiễn

Trân trọng!

Học viên

MỤC LỤC

CHƯƠNG 1: TỔNG QUAN 1

1.1 CƠ SỞ HÌNH THÀNH ĐỀ TÀI 1

1.2 MỤC TIÊU NGHIÊN CỨU .8

1.3 GIỚI HẠN NGHIÊN CỨU .9

CHƯƠNG 2: MẠNG THẦN KINH NHÂN TẠO 10

2.1 MÔ HÌNH NEURON SINH HỌC 10

2.2 ĐỊNH NGHĨA VÀ LỊCH SỬ PHÁT TRIỂN MẠNG THẦN KINH NHÂN TẠO .14

2.3 CÁC TÍNH CHẤT CỦA MẠNG NEURON NHÂN TẠO 17

2.4 NHỮNG ỨNG DỤNG CỦA MẠNG THẦN KINH NHÂN TẠO 17

2.5 MẠNG NEURON NHÂN TẠO 21

2.6 XÁC ĐỊNH CẤU TRÚC MẠNG TỐI ƯU .27

2.7 MẠNG NEURON LAN TRUYỀN NGƯỢC (BACK-PROPAGATION NEURAL NETWORK) .28

2.8 PHƯƠNG PHÁP GIẢM GRADIENT .31

2.9 THUẬT HỌC LAN TRUYỀN NGƯỢC ( BACK-PROPAGATION) .34

CHƯƠNG 3: PHƯƠNG PHÁP THU THẬP VÀ XỬ LÝ SỐ LIỆU 40

3.1 TIẾN ĐỘ VÀ CÁC NHÂN TỐ ẢNH HƯỞNG .40

3.2 BẢNG CÂU HỎI 44

3.3 KÍCH THƯỚC MẪU VÀ KIỂM ĐỊNH THANG ĐO .45

3.4 KHẢO SÁT LẦN 1 – KHẢO SÁT THỬ NGHIỆM .47

3.5 KHẢO SÁT LẦN 2 – KHẢO SÁT CÁC NHÂN TỐ ẢNH HƯỞNG .53

3.6 KHẢO SÁT LẦN 3 – THU THẬP SỐ LIỆU TỪ CÁC CÔNG TRÌNH

THỰC TẾ 62

CHƯƠNG 4: ỨNG DỤNG XÂY DỰNG MÔ HÌNH DỰ BÁO 66

4.1 MÔ HÌNH DỰ BÁO BẰNG ARTIFICIAL NEURAL NETWORKS (ANNS) .66

4.2 DỮ LIỆU HUẤN LUYỆN MẠNG .67

4.3 GIỚI THIỆU ARTIFICIAL NEURAL NETWORKS TRONG PHẦN MỀM SPSS 17 67

4.4 KẾT QUẢ TÍNH TOÁN VÀ KIỂM TRA KẾT QUẢ CỦA MÔ HÌNH 77

4.5 LẬP TRÌNH ỨNG DỤNG KẾT QUẢ HUẤN LUYỆN MẠNG NEURAL NETWORKS .94

4.6 KẾT LUẬN : 97

CHƯƠNG 5: ẢNH HƯỞNG CHẬM TIẾN ĐỘ ĐẾN HIỆU QUẢ ĐẦU TƯ DỰ ÁN THUỶ ĐIỆN ĐAK MI 3 98

5.1 MỤC TIÊU .98

5.2 GIỚI THIỆU CHUNG 98

5.3 NHIỆM VỤ CỦA DỰ ÁN .99

5.4 CÁC THÔNG SỐ CHÍNH CỦA DỰ ÁN .99

5.5 PHÂN TÍCH TÀI CHÍNH DỰ ÁN .103

KẾT LUẬN 109

KIẾN NGHỊ VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN VĂN 111

CHƯƠNG 1: TỔNG QUAN 1.1 CƠ SỞ HÌNH THÀNH ĐỀ TÀI

Trong bối cảnh hội nhập vào nền kinh tế thế giới và gia nhập WTO, Việt Nam

đang đứng trước những cơ hội lớn để biến đổi mình nhưng kèm theo nó là hàng

loạt những nguy cơ và thách thức cho các doanh nghiệp trong nước, trao đổi

thương mại giữa các quốc gia ngày càng phát triển đã và đang là một trong

những động lực chính góp phần vào sự tăng trưởng kinh tế và phát triển xã hội

Trước hoàn cảnh đó, doanh nghiệp ở các nước đang phát triển như Việt Nam

nếu không bắt kịp xu hướng mới sẽ bị loại ra khỏi thương trường cạnh tranh đầy

quyết liệt này Việc thiếu cơ sở hạ tầng, năng lượng, nguyên vật liệu và các kỹ

năng quản lý cần thiết sẽ là những rào cản lớn đối với doanh nghiệp khi tiếp cận

với các thị trường quốc tế, đồng thời sẽ cản trở đối với doanh nghiệp hội nhập

vào các chuỗi sản xuất và cung ứng quốc tế Để tồn tại được trong môi trường

này, các doanh nghiệp cần phải cung cấp những sản phẩm có chất lượng, an toàn

và tiết kiệm chi phí

Việt Nam là một trong những nước có tốc độ tăng trưởng tổng sản phẩm quốc

nội GDP cao nhất thế giới 8.5% năm 2007 (Nguồn Tổng cục Thống kê)

Bảng 1.1 : Tăng trưởng GDP (%, giá năm 1994)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 20078.15 5.56 4.77 6.79 6.89 7.08 7.34 7.69 8.43 8.2 8.5

Nguồn : Tổng cục Thống kê (TCTK)

Theo báo cáo có tựa đề Foresight 2020 của Economist Intelligence Unit (EIU)

của tạp chí The Economist và hãng Cisco dự báo giai đoạn 2006-2010 sẽ là thời

kỳ vàng son của kinh tế Việt Nam Trong giai đoạn này, GDP sẽ có tốc độ tăng

hàng năm khoảng 7%, cao thứ hai Châu Á và chỉ sau Trung Quốc

Cùng với sự tăng trưởng kinh tế nhanh là sự chuyển dịch thay đổi trong cơ cấu

của nền kinh tế Sau 15 năm, tỷ trọng của ngành Công nghiệp – Xây Dựng liên

tục tăng, từ tỷ trọng khá thấp trong tổng thể nền kinh tế, chỉ với tỷ trọng 22.6%

vào năm 1990, thì đến năm 2002 ngành Công nghiệp – Xây dựng đã chiếm tỷ

trọng 38.55%, cao nhất trong nền kinh tế, và tiếp tục tăng trưởng đạt tỷ trọng

41.03% trong năm 2005 Trong đó, ngành xây dựng chiếm 3-5% tỷ trọng của tổng thể nền kinh tế

Bảng 1.2 : Cơ cấu các ngành kinh tế ở Việt Nam

Tỷ trọng của các ngành Năm

Nông nghiệp Công nghiệp Xây dựng Dịch vụ

Nguồn : Thời báo kinh tế Việt Nam

Để đáp ứng được yêu cầu tăng trưởng của nền kinh tế, vấn đề năng lượng được đặt lên hàng đầu Theo số liệu của Tập đoàn Điện lực Việt Nam, hàng năm số

lượng phụ tải luôn phát triển nhanh hơn lượng nguồn phát Vấn đề thiếu điện

luôn luôn đe dọa đến nền kinh tế quốc dân, nhất là vào mùa khô

Đầu tư vào các dự án nguồn năng lượng đang là ưu tiên số 1 Chính phủ đã ban

hành nhiều cơ chế đặc biệt để nhanh chóng triển khai các dự án nguồn điện, đáp

ứng yêu cầu ngày càng tăng của nền kinh tế

Một trong số các nguồn điện đươc xem là công nghệ sạch và bền vững đó là thủy

điện, đã và đang được đầu tư, xây dựng trên khắp cả nước

Theo các báo cáo của Tập đoàn Điện lực Việt Nam, hầu hết các dự án đều thi

công chậm tiến độ, phải lùi thời điểm phát điện, điều này càng gây áp lực lớn cho

nền kinh tế Đặc biệt giá xăng dầu và giá lương thực thế giới tăng cao, trượt giá

và lạm phát trong nước luôn là hai con số Mùa khô năm 2008, thiếu điện sẽ diễn

ra diện rộng và trầm trọng Tập đoàn Công ty Điện lực Việt Nam đang hoàn

chỉnh Tổng sơ đồ phát triển giai đoạn 5, và quy hoạch Tổng sơ đồ VI

Dự báo nhu cầu phụ tải năm 2010-2020 Nhu cầu phụ tải phụ thuộc rất nhiều vào

tốc độ phát triển kinh tế Ở đây, dự đoán tốc độ phát triển GDP giai đoạn

2001-2005 có 3 mức : 6,5%, 7,2%, 8%/năm Từ đó, bằng phương pháp đàn hồi giữa

tốc độ tăng trưởng kinh tế và tốc độ tăng trưởng nhu cầu điện năng có :

Bảng 1.3 : Quy hoạch điện V

Điện thương phẩm năm 2005

Nhu cầu điện năm 2010 được dự kiến từ 56,429 tỷ Kwh đến 68,592 tỷ Kwh điện

thương phẩm và điện sản xuất từ 64,533 tỷ Kwh đến 78,466 tỷ Kwh

Nhu cầu điện năm 2015, 2020 dự kiến

Bảng 1.4 : Dự báo nhu cầu điện

Tăng trưởng

bq (%) Phương án thấp

Điện năng sản xuất (tr.Kwh)

26000

4477 21430

26000

4477 21430

42409

7141 35589

44230

7447 37117

46554

7838 39067

Nguồn : Vụ Công nghiệp – Bộ Kế hoạch và Đầu tư

Quy hoạch phát triển điện lực quốc gia giai đoạn 2006-2015 có xét đến năm

2025 (Quy hoạch điện VI) có mức dự báo phụ tải được đánh giá là khá cao so

với các giai đoạn trước đây, với mức 17%/năm (phương án cơ sở), 20%/năm

(phương án cao) trong giai đoạn 2006-2015; chuẩn bị phương án 22%/năm cho

từng trường hợp tăng đột biến Trong QHĐ VI, phương án phụ tải cơ sở đã tăng

17%/năm và phương án phụ tải cao tới 20%/năm

Cơ sở khoa học của quyết định này, trước hết là dựa vào chiến lược phát triển

ngành Điện đã được Thủ tướng Chính phủ phê duyệt với nội dung : Đáp ứng đầy

đủ nhu cầu điện năng cho nhu cầu sản xuất và tiêu dùng của đất nước Sử dụng

nhiều phương pháp khoa học trong dự báo phụ tải nhằm đối chứng lẫn nhau để

có được kết quả hợp lý nhất, là cơ sở thiết kế cho chương trình phát triển nguồn

và lưới điện Việt Nam Về cơ bản đã sử dụng kết hợp 2 loại phương pháp dự báo

trực tiếp cho giai đoạn 2006-2010 và phương pháp dự báo gián tiếp (đa hồi quy)

cho giai đoạn 2010-2025 Đó cũng là phương pháp dùng trên thế giới cho các

quy hoạch ngắn hạn 5 năm và dài hạn 10 năm của ngành điện

Trong sơ đồ VI các nhà máy thủy điện dự kiến thời gian hoàn thành và phát điện

như sau :

Bảng 1.5 : máy thủy điện dự kiến thời gian hoàn thành và phát điện sơ đồ VI

Công trình vào vận hành năm 2007 690

1 Thủy điện Quảng Trị 64

2 Thủy điện Nậm Đông 22

6 Thủy điện Tuyên Quang (tổ máy 1) 114

10 Thủy điện Plei Krông (tổ máy 1) 55

Công trình vào vận hành năm 2008 1475

1 Thủy điện Tuyên Quang (tổ máy 2, 3) 2 x 114

6 Thủy điện Plei Krông (tổ máy 2) 50

10 Thủy điện Bản Vẽ (tổ máy 1) 160

11 Thủy điện Bảo Lộc-Đan Sách 30

12 Thủy điện Cốc San+Thái An+Văn Chấn 119

Công trình vào vận hành năm 2009 1302

1 Thủy điện Bản Vẽ (tổ máy 2) 160

3 Thủy điện Bản Cốc – Hương Sơn 2 30

5 Thủy điện Đồng Nai 3 (tổ máy 1, 2) 2 x 90

6 Thủy điện Sê San 4 (tổ máy 1) 120

7 Thủy điện Ngòi Bo (Sử Pán) 35

13 Các Thủy điện nhỏ miền Trung 84

1 Thủy điện Sê San 4 (tổ máy 2, 3) 240

10 Thủy điện Sơn La (tổ máy 1) 1 x 400

Bảng 1.6 : Danh mục các thủy điện đang kêu gọi đầu tư

1 Dự án thủy điện Đak Mi 1 210

2 Dự án thủy điện Đồng Nai 5 174

3 Dự án thủy điện Khe Bố 90

4 Dự án thủy điện Nho Quế 1 41

5 Dự án thủy điện Nho Quế 2 68

6 Dự án thủy điện Nho Quế 3 140

7 Dự án thủy điện Sông Boung 5 85

8 Dự án thủy điện Serepok 4 70

9 Dự án thủy điện Thượng Kon Tum 220

Nguồn : Tập đoàn Điện lực Việt Nam (EVN)

Cùng với sự phát triển đó, vẫn còn tồn tại một số vấn đề trong ngành như : chậm tiến độ, vượt chi phí, kém chất lượng, thất thoát trong xây dựng… Với vai trò của ngành Điện trong nền kinh tế quốc dân, quản lý tiến độ và hiệu quả đầu tư ảnh hưởng đáng kể đến sự phát triển kinh tế chung của đất nước

Vậy làm thế nào để đảm bảo được tiến độ cũng như hiệu quả các dự án nguồn điện mà cụ thể là các dự án Thủy điện là yêu cấu cấp bách đang đặt ra

Việc chọn đề tài : “Nhận biết các yếu tố rủi ro chính gây chậm tiến độ của dự

án Thuỷ điện, Ứng dụng cho trường hợp thuỷ điện Đăk Mi 3.” với mong

muốn đóng góp thêm giải pháp trong việc dự báo, định lượng, từ đó có cơ sở để cải thiện hiệu quả đầu tư cũng như giảm thiểu rủi ro trong quá trình thực hiện dự

án

1.2 MỤC TIÊU NGHIÊN CỨU

Hiện nay mặc dù có rất nhiều công cụ để lập, quản lý và kiểm soát tiến độ như phần mềm MS project, Primaveda Tuy nhiên tại Việt Nam hiện nay chưa có phần mềm nào dùng để dự báo về tiến độ xây dựng nói chung và lĩnh vực xây dựng thuỷ điện nói riêng Một phần do tiếp xúc tri thức thế giới còn hạn chế, mặt khác thuỷ điện là một lĩnh vực đặc thù, phụ thuộc rất nhiều yếu tố khách quan Đội ngũ thực hiện dự án đa số làm việc tại các công trường vùng sâu, vùng cao,

xa khu dân cư Do đó việc liên hệ với các đơn vị, trung tâm nghiên cứu còn nhiều hạn chế Ngày nay với mạng internet khoảng cách về địa lý dần được xoá bỏ, vì vậy việc nghiên cứu trong việc quản lý dự án có nhiều cải tiến và được cập nhật thường xuyên, phản ánh đúng dần với thực tế Từ thực tế thấy rằng tiến độ của các dự án thuỷ điện thường chậm so với tiến độ thiết kế, việc chậm tiến độ sẽ ảnh hưởng tới đời sống kinh tế của dự án Do đó trực tiếp sẽ ảnh hưởng tới hiệu quả đầu tư của dự án Do đó nghiên cứu này thực hiện với mục tiêu :

− Xác định các yếu tố rủi ro chính ảnh hưởng đến tiến độ thi công của các dự

án thuỷ điện trong giai đoạn thi công xây dựng

− Sử dụng công cụ mạng neuron nhân tạo (Artificial neural networks – ANNs)

để xây dựng mô hình dự báo và đánh giá về sự chậm tiến độ của dự án thuỷ điện

− Kiểm tra kết quả mô hình và so sánh kết quả so với thực tế, đánh giá độ chính xác và khả năng ứng dụng mô hình vào thực tế

− Viết chương trình ứng dụng các kết quả nghiên cứu nhằm tạo ra một giao diện thân thiện, dễ sử dụng Đây có thể xem như một công cụ khá hữu dụng cho các nhà đầu tư, nhà thầu để thêm một phương tiện so sánh thời gian thi công với tiến độ được lập sẵn

− Từ việc chậm tiến độ sẽ tính toán lại hiệu quả đầu tư so với kết quả tính toán của phương án cơ sở Áp dụng thực tế việc chậm tiến độ sẽ ảnh hưởng đến hiệu quả đầu tư cho thuỷ điện Đăk Mi 3

1.3 GIỚI HẠN NGHIÊN CỨU

Dữ liệu thu thập dùng cho việc huấn luyện mạng neuron hạn chế như sau :

− Công trình xây dựng thuỷ điện

− Thời gian thực hiện từ năm 2003 đến 2008

− Số lượng mẫu dùng cho việc huấn luyện là 27 mẫu chiếm 90% so với tổng số mẫu thu thập là 30 mẫu

Giới hạn phân tích hiệu quả đầu tư thuỷ điện Đak Mi 3 :

− Phân tích dự án ở mức độ tiền khả thi

− Phân tích tài chính theo quan điểm chủ đầu tư

CHƯƠNG 2: MẠNG THẦN KINH NHÂN TẠO 2.1 MÔ HÌNH NEURON SINH HỌC

2.1.1 Mô hình neuron sinh học

Bộ não người có chức năng hết sức quan trọng trong đời sống của con người Nó gần như kiểm soát hầu hết mọi hành vi của con người từ các hoạt động cơ bắp đơn giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng tạo,

Bộ não người được hình thành từ sự liên kết của khoảng 1011 phần tử (tế bào), trong đó có khoảng 1010 phần tử là neuron, số còn lại khoảng 9*1010 phần tử là các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng như hỗ trợ cho các neuron Thông thường một bộ não trung bình cân nặng khoảng 1,5 kg và có thể tích là 235 cm3 Cho đến nay người ta vẫn chưa thực sự biết rõ cấu tạo chi tiết của bộ não Tuy vậy về đại thể thì cấu tạo não bộ được phân chia ra thành nhiều vùng khác nhau Mỗi vùng có thể kiểm soát một hay nhiều hoạt động của con người

2.1.1.1 Các đặc tính của não người

− Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin được

xử lý theo các tầng

− Tính môđun: Các vùng của bộ nhớ được phân thành các môđun được mã hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác

quan và các tín hiệu ra

− Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem như

các liên hệ phản hồi khi truyền tín hiệu

− Xử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua nhiều kênh

thông tin khác nhau, được xử lý bằng các phương pháp đặc biệt

Bộ não có cấu trúc nhiều lớp Lớp bên ngoài thường thấy như là các nếp nhăn, là lớp có cấu tạo phức tạp nhất Đây là nơi kiểm soát và phát sinh các hành động phức tạp như nghe, nhìn, tư duy,

Tín hiệu thu, nhận ở các dạng xung điện – Màng (Membrane): Mỗi tế bào thần kinh có một màng, có nhiệm vụ giữ cho các chất nuôi tế bào không tràn ra ngoài

Do đó, các phần tử nội bào và ngoại bào không bằng nhau, giữa chúng có dung dịch muối lỏng làm cho chúng bị phân rã thành các nguyên tử âm và dương Các nguyên tử dương trong màng tạo ra điện thế màng, nó tồn tại trong trạng thái cân bằng lực: lực đẩy các nguyên tử dương ra khỏi tế bào bằng với lực hút chúng vào trong tế bào

Điện thế màng là phần tử quan trọng trong quá trình truyền tin của hệ thần kinh Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng của tế bào bị thay đổi và tiến tới một ngưỡng nào đó, đồng thời sinh ra dòng điện, dòng điện này gây ra phản ứng kích thích làm thay đổi khả năng thẩm thấu ion của tế bào tiếp theo

2.1.1.2 Xử lý thông tin trong bộ não

Thông tin được tiếp nhận từ các giác quan và chuyển vào các tế bào thần kinh vận động vào các tế bào cơ Mỗi tế bào thần kinh tiếp nhận thông tin, điện thế sẽ tăng trong thần kinh cảm giác, nếu điện thế này vượt ngưỡng nó tạo ra dòng điện trong tế bào thần kinh cảm giác, ý nghĩa dòng điện đó được giải mã và lưu ở thần kinh trung ương, kết quả xử lý thông tin được gửi đến các tế bào cơ

Các tế bào thần kinh đưa các tín hiệu giống nhau, do đó không thể phân biệt được đó là của loài động vật nguyên thuỷ hay của một giáo sư Các khớp thần kinh chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản lại Lượng tín hiệu được biến đổi được gọi là cường độ khớp thần kinh đó chính là trọng số của neuron trong mạng neuron nhân tạo

Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao Có thể trả lời ngắn gọn là sự giống nhau của các tín hiệu của các tế bào thần kinh đơn lẻ,

do đó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay các tế bào thần kinh liên kết với nhau thành một mạng thần kinh hay một mạng neuron (Neural Networks)

Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con người quan tâm nghiên cứu từ lâu nhưng cho đến nay người ta vẫn chưa hiểu rõ thực sự

về hoạt động của bộ não và hệ thần kinh Đặc biệt là trong các hoạt động liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo, Tuy thế cho đến nay, người ta cũng có những hiểu biết căn bản về hoạt động cấp thấp của não

Mỗi neuron liên kết với khoảng 104 neuron khác, cho nên khi hoạt động thì bộ não hoạt động một cách tổng lực và đạt hiệu quả cao Nói một cách khác là các phần tử của não hoạt động một cách song song và tương tác hết sức tinh vi phức tạp, hiệu quả hoạt động thường rất cao, nhất là trong các vấn đề phức tạp Về tốc

độ xử lý của bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi neuron (có thể xem như phần tử xử lý hay phần tử tính) là rất chậm so với xử lý của các cổng logic silicon trong các chip vi xử lý (10-3 giây so với 10-10 giây)

2.1.1.3 Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan như

sau

Trước hết con người bị kích thích bởi giác quan từ bên ngoài hoặc trong cơ thể

Sự kích thích đó được biến thành các xung điện bởi chính các giác quan tiếp nhận kích thích Những tín hiệu này được chuyển về trung ương thần kinh là não

bộ để xử lý Trong thực tế não bộ liên tục nhận thông tin xử lý, đánh giá và so sánh với thông tin lưu trữ để đưa ra các quyết định thích đáng

Những mệnh lệnh cần thiết được phát sinh và gửi đến những bộ phận thi hành thích hợp như các cơ tay, chân, Những bộ phận thi hành biến những xung điện thành dữ liệu xuất của hệ thống

Tóm lại: Bộ não người có chức năng hết sức quan trọng đối với đời sống của con

người Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ mạng neuron có hàng chục tỉ tế bào với mức độ liên kết giữa các neuron là rất cao Hơn nữa, nó còn được chia thành các vùng và các lớp khác nhau Bộ não hoạt động dựa trên

cơ chế hoạt động song song của các neuron tạo nên nó

2.1.2 Mạng neuron sinh học

2.1.2.1 Cấu tạo

Neuron là phần tử cơ bản tạo nên bộ não con người Sơ đồ cấu tạo của một neuron sinh học được chỉ ra như sau Một neuron điển hình có 3 phần chính:

− Thân tế bào (Cell body)

− Một hệ thống hình cây các đầu dây thần kinh vào (Dendrite)

− Một trục (Axon) dẫn đến các đầu dây thần kinh ra Tại đầu của các dây thần kinh có các khớp thần kinh (Synapse) để liên kết với các tế bào thần kinh khác Đây là một nối kết, hình trụ dài và mang các tín hiệu từ đó ra ngoài Phần cuối của axon được chia thành nhiều nhánh nhỏ Mỗi nhánh nhỏ (cả của

dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ hành được gọi là synapte mà tại đây các neuron đưa các tín hiệu của nó vào các neuron khác Những điểm tiếp nhận với các synapte trên các neuron khác có thể ở các dendrite hay chính soma

Hình 2.1 : Mô hình neuron sinh học

2.1.2.2 Hoạt động

Tín hiệu truyền trong các dây thần kinh vào và dây thần kinh ra của các tế bào thần kinh là tín hiệu điện phát sinh thông qua các quá trình phản ứng và giải phóng các chất hữu cơ Các chất này được phát ra từ các khớp nối dẫn tới các dây thần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào

Khi điện thế này đạt đến một ngưỡng nào đó sẽ tạo ra một xung điện dẫn đến trục dây thần kinh ra Xung này được truyền theo trục tới các nhánh rẽ khi chạm tới các khớp nối với các tế bào thần kinh khác sẽ giải phóng các chất truyền điện Quá trình lan truyền tín hiệu cứ tiếp tục như vậy cho đến khi đến đầu ra cuối cùng

Mạng thần kinh nhân tạo là mô hình toán học đơn giản của bộ não người Bản chất thần kinh nhân tạo là mạng tính toán phân bố song song

Hình 2.2 : Mô hình hoạt động của neuron sinh học

2.2 ĐỊNH NGHĨA VÀ LỊCH SỬ PHÁT TRIỂN MẠNG THẦN KINH

NHÂN TẠO

2.2.1 Định nghĩa

Mạng thần kinh nhân tạo (Artificial Neural Network – ANN) một cách đơn giản

là hệ thống xử lý thông tin có cấu trúc mạng, gồm các phần tử đơn giản kết nối với nhau theo một cấu trúc nhất định nhằm tạo mô hình tính toán theo khả năng nhận biết của con người Mạng sẽ gồm ba loại lớp : lớp nhập (Input layer), lớp ẩn hay còn gọi là lớp trung gian (Hidden layer) và lớp xuất (Output layer)

Mạng thần kinh nhân tạo có thể xem như là mô hình toán học đơn giản của bộ não con người Mạng thần kinh nhân tạo gồm các tế bào thần kinh nhân tạo kết nối với nhau bởi các liên kết Mỗi liên kết kèm theo một trọng số, đặc trưng cho đặc tích kích thích hay ức chế giữa các tế bào thần kinh nhân tạo

So sánh với tế bào thần kinh sinh học, ở tế bào thần kinh nhân tạo, trọng số w đặc

trưng cho mức liên kết của các khớp (synapse), phần thân (cell body) được biểu diễn bởi phép toán cộng Σ và hàm chuyển đổi f Và ngõ ra a là tín hiệu ra trên

trục (axon)

Lớp nhập Lớp ẩn Lớp xuất

Hình 2.3 : cấu trúc cơ bản một mạng neuron nhân tạo

lý, hệ tâm lý và bệnh học thần kinh Những nghiên cứu này làm nổi bật lý thuyết tổng quan về sự học, sự nhìn, tình cảnh, v.v Nhưng nĩ khơng chỉ

ra mơ hình tốn học của tế bào thần kinh sinh học

− Thập niên 1940: Donald Hebb đã đề xuất cơ chế cho việc học trong các tế bào thần kinh sinh học Warren McCulloch và Walter Pitts đã đề xuất một

mơ hình đầu tiên cho mạng thần kinh nhân tạo cĩ khả năng tính tốn số học bất kỳ hoặc các hàm logic bất kỳ và giải thuật huấn luyện mạng của Hebb

− Thập niên 1950: Frank Rosenblatt đã cĩ những thí nghiệm đầu tiên mạng thần kinh nhân tạo và với phát minh của mạng Perceptron và luật học hỗ trợ Rosenblatt đã xây dựng mạng perceptron và minh chứng khả năng của mạng cĩ thể nhận dạng mẫu vật Tuy nhiên, mạng perceptron chỉ cĩ thể giải quyết được một số vần đề giới hạn Cùng thời, Bernard Widrow and Ted Hoff giới thiệu một luật học mới và sử dụng để huấn luyện mạng neural tuyến tính thích nghi - Adaline Mạng này cĩ cấu trúc tương tự và khả năng giống mạng perceptron Tuy nhiên, cả mạng perceptron và adaline gặp phải những vấn đề giới hạn của chính bản thân của mạng Rosenblatt và Widrow đã đề xuất mạng mới cĩ thể giải quyết được những

giới hạn nội tại Tuy nhiên, họ đã không thành công trong chỉnh sửa thuật toán huấn luyện cho một mạng phức hợp

− Thập niên 1960: Nhiều nhà khoa học tin rằng mạng neural không phát triển được và cũng không có một máy tính đủ mạnh để thực hiện những thí nghiệm, mạng neural bị lãng quên trong thập niên 1960

− Thập niên 1970: Teuvo Kohonen và James Anderson đã độc lập và tách biệt phát triển một mạng neural mới Mạng này có thể hoạt động như một

bộ nhớ Stephen Grossberg cũng phát minh ra mạng tự tổ chức Organizing)

(Self-− Thập niên 1980: Những nghiên cứu về mạng neural đã bị lãng quên trong thập niên 1960 bởi vì không có ý tưởng mới cho mạng và không có máy tính thử nghiệm Tuy nhiên trong thập niên 1980, cả hai vấn đề này điều được giải quyết và những nghiên cứu về mạng neural phát triển một cách đột phá

− Thập niên 1980: Hai khái niệm mới đã làm hồi sinh cho mạng neural Đầu tiên là sử dụng cơ chế thống kê để diễn tả hoạt động của một lớp mạng hồi quy (recurrent network) Mạng này có thể hoạt động như một bộ nhớ và được phát minh bởi John Hopfield Thứ hai là giải thuật học lan truyền ngược (backpropagation) cho huấn luyện mạng perceptron đa lớp Giải thuật này được phát hiện bởi rất nhiều nhà khoa học và hoàn thiện bởi

David Rumelhart và James McClelland

− Từ những năm 90 đến nay đã tìm được và khẳng định được vị trí của mình trong rất nhiều ứng dụng khác nhau trong công nghệ nhờ kết hợp chúng với các kỹ thuật của trí tuệ nhân tạo : giải thuật di truyền, logic mờ,

và suy diễn xấp xỉ, hệ chuyên gia để phân tích dữ liệu và thu thập tri thức phục vụ cho việc xây dựng các hệ thống thông minh : Lippman (1987) và gần đây Hush và Horne (1993) đã công bố cập nhật một vài mô hình về ANN Barron (1989) và Levin (1990) đã đưa ra một sự giải thích bằng thống kê của các phương pháp huấn luyện ANN

− Những phát triển mới lại tiếp thêm sinh lực cho mạng neural Trong những năm gần đây, hàng ngàn bài báo được viết và nhiều ứng dụng được thực hiện trên nhiều lĩnh vực Rất khó để tuyên đoán mức độ thành công

trong tương lai của mạng neural, một số lượng rất lớn và đa ứng dụng đã

và đang sử dụng kỹ thuật mạng neural

2.3 CÁC TÍNH CHẤT CỦA MẠNG NEURON NHÂN TẠO

− Là hệ phi tuyến: Mạng neuron có khả năng to lớn trong lĩnh vực nhận dạng và điều khiển các đối tượng phi tuyến

− Là hệ xử lý song song: Mạng neuron có cấu trúc song song, do đó có độ tính toán rất cao rất phù hợp với lĩnh vực nhận dạng và điều khiển

− Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ và có khả năng tự chỉnh khi số liệu đầu vào bị mất

− Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra, rất tiện dùng khi đối tượng điều khiển có nhiều biến số

2.4 NHỮNG ỨNG DỤNG CỦA MẠNG THẦN KINH NHÂN TẠO

2.4.1 Ngoài ngành xây dựng

− Trong kỹ thuật hàng không: máy bay tự lái, mô phỏng hành trình bay, điều khiển hệ thống máy bay, mô phỏng cách hành xử của các hệ thống trên máy bay, dò tìm hư hỏng trên máy bay…

Ví dụ: F-15 intelligent flight control system neural network flight systems,

Nasa

Mục tiêu của thực nghiệm là dùng neural hoặc các kỹ thuật thích nghi tương

tự xác định xem các lỗi nghiêm trọng trong thiết kế để từ đó có được những

(http://www.techbriefs.com/content/view/617/34/)

− Trong công nghiệp ôtô: Hệ thống tự lái, phân tích chế độ bảo hành, hệ thống treo của xe

Ví dụ: Neural network learning control of automotive active suspension systems

Y Watanabe, R.S Sharp , International Journal of Vehicle Design 1999 - Vol

21, No.2/3 pp 124 – 147 Mục tiêu bài báo giới thiệu lý thuyết về bộ điều khiển neural và ứng dụng trong các hệ thống giảm chấn của xe hơi Trong mỗi trường hợp khác nhau, bộ điều khiển sẽ nhận dạng đối tượng và tự cài đặt hệ số học cho mạng neural để nâng cao hành vi của hệ thống giảm chấn, giúp xe hoạt động êm

hơn

(http://www.inderscience.com/search/index.php?action=record&rec_id=5572&prevQuery=&ps=10&m=or)

− Trong ngân hàng: kiểm tra nhận dạng thẻ và các loại thẻ, phân tích dữ liệu tài chính

Ví dụ: Efficiency in the Italian Banking Industry: Data Envelopment Analysis and Neural Networks, Dimitrios Angelidis, Katerina Lyroudi, International

Research Journal of Finance and Economics ISSN 1450-2887 Issue 5 (2006) Mục tiêu của bài báo thực hiện tính toán với 100 ngân hàng lớn của Italy trong thời gian 2001-2002 Giá trị vào và ra của mạng là những giá trị tự nhiên (đơn vị tính triệu euro) và già trị luận lý tự nhiên Giá trị sai số trung bình giữa các yếu tố thực và giá trị ước lượng được tính toán theo 2 phương pháp được đề xuất bởi nhóm tác giả Kết quả cho thấy dùng neural đã làm giảm sai số trong ước lượng (www.eurojournals.com/IRJFE/6/dimitrios.pdf)

− Trong quốc phòng: điều khiển hệ thống tên lửa, đạn đạo tự hành, nhận dạng bề mặt địa hình, nhận dạng và xử lý ảnh …

− Trong điện tử: mô phỏng giọng nói, chuẩn đoán tình trạng chip, phân tích giọng nói, mô phỏng phi tuyến …

− Trong phân tích tài chính: ước tính, cho lời khuyên về vay nợ, phân tích tài chính, tuyên đoán giá cả…

− Trong kỹ thuật chế tạo: điều khiển quá trình, thiết kế sản phẩm và phân tích, nhận dạng, phân tích chất lượng mối hàn, tuyên đoán chất lượng giấy, phân tích bảo trì máy, kế hoạch và quản lý, mô phỏng động quá trình phản ứng hóa học…

− Trong viễn thông: Nhận dạng và xử lý ảnh, xử lý dữ liệu, dịch ngôn ngữ trong thời gian thực

− Trong công nghiệp robot: robot tự hành, điều khiển tay máy, người máy,

hệ thống nhận dạng

− Trong Y học: phân tích tế bào ung thư, phân tích EEG và ECG, phát triển chất lượng sản y tế, lời khuyên trong tình trạng khẩn cấp

− Trong kỹ thuật giọng nói: nhận dạng giọng nói, nén giọng nói, chuyển từ ngữ thành giọng nói…

− Trong chứng khoán: phân tích thị trường, tỉ giá, hệ thống hướng dẫn thương mại

− Trong giao thông: hệ thống phân luồng, quản lý điều hành phương tiện giao thông…

2.4.2 Trong ngành xây dựng

2.4.2.1 Trong nước

− “Xây dựng mô hình dự báo sự mất năng suất lao động ở các dự án xây dựng trong giai đoạn thi công sử dụng mạng neuron nhân tạo ANN”, Luận văn thạc sỹ Nguyễn Nam Cường, Đại học Bách Khoa Tp HCM (2007)

− “Ứng dụng neural network tối ưu hóa tiến độ mạng”, Luận văn thạc sỹ Hồ Hải Đăng, Đại học Bách Khoa Tp HCM (2004)

− “Nguyên cứu ứng dụng trí tuệ nhân tạo trong chọn thầu thi công”, Luận văn thạc sỹ Phạm Trường Giang, Đại học Bách Khoa Tp HCM (2003)

− “Xác định chi phí xây dựng dựa trên ứng dụng mạng neuron mờ”, Luận văn thạc sỹ Trần Bách, Đại học Bách Khoa Tp HCM (2006)

− “Ước lượng chi phí đầu tư xây dựng dự án chung cư bằng neural networks”, Luận văn thạc sỹ Phan Văn Khoa, Đại học Bách Khoa Tp HCM (2006)

− “Ước lượng chi phí xây dựng chung cư bằng mạng neuron nhân tạo”, Phan Văn Khoa, Lưu Trường Văn, Lê Hoài Long, Trường Đại học Bách Khoa, ĐHQG-HCM

− …

2.4.2.2 Ngoài nước

− Florence Yean Yng (Singapore) và MinLiu (USA): Đã nghiên cứu “ứng dụng Neural network để dự báo kế hoạch thực hiện xây dựng dự án ở Singapore” Theo nghiên cứu này tác giả đã thực hiện trên 11 phép đo, 65 nhân tố tác động đến sự thành công của 33 dự án trước đây Chỉ ra 6 phép

đo có thể dự báo sự thành công của kế hoạch thực hiện dự án với mức độ chính xác hợp lý: tầm quan trọng dự án, tốc độ xây dựng, tốc độ giải

quyết vấn đề khó khăn, sự luân phiên thay thế công nhân nghỉ việc, chất lượng của hệ thống và thiết bị

− Về lĩnh vực dự toán chi phí cho một dự án: Tarek Hegazy và Amr Ayed

đã ứng dụng ANN để dự toán chi phí cho một dự án đường cao tốc

− Hoijat Adeli và Mingyang Wu dự toán giá bê tông cốt thép vỉa hè cho dự

án xây dựng đường

− Xishi Huang, Danny Ho, Jing Ren, Luiz F.Caprest đã ứng dụng Neural Fuzzy phát triển mô hình COMOCO, trên cơ sở dữ liệu kinh nghiệm của các dự án trước đây, mô hình này cho phép ước lượng được chi phí của các dự án khác lớn hơn và được ứng dụng trong ước lượng chi phí của dự

án quốc tế gồm: nguồn tiền, khối thị trường, sự thành công của nền kinh

tế, kiểu hợp đồng, hệ số rủi ro

− _ Hashem Al- Tabtabai ứng dụng ANN để xây dựng mô hình phân tích kinh nghiệm và hệ thống dự báo cho dự án xây dựng Trên cơ sở dữ liệu các dự án trước đây về: tiến độ thực hiện của nhà thầu, dòng ngân lưu, vật liệu và thiết bị, thời tiết và môi trường, phần trăm công việc hoàn thành, chất lượng, giá cả vật tư, thuế, bảo hiểm để dự báo phần trăm thay đổi của kế hoạch, phần trăm thay đổi của chất lượng, công nhân lao động sản xuất, thay đổi mức lương lao động, thay đổi giá vật tư, thay đổi chi phí đầu tư, thay đổi chi phí trong quá trình thực hiện dự án

− VK Gupta, JG Chen, MB Murtaza đã ứng dụng để phân loại các dự án xây dựng công nghiệp, theo các biến quan hệ: vị trí xây dựng, lao động, vấn đề về tổ chức, đặc điểm khu vực, rủi ro của dự án và môi trường

− …

2.5 MẠNG NEURON NHÂN TẠO

Mạng thần kinh nhân tạo gồm các neuron được sắp xếp trong các lớp và liên kết

với nhau bởi các liên kết neuron Mỗi liên kết neuron kèm theo một trọng số

liên kết (w), đặc trưng cho đặc tích kích thích hay ức chế giữa các tế bào thần

kinh nhân tạo (neuron) Trong mạng neuron các neuron nhận tín hiệu vào (p) gọi

là các neuron vào nằm trong lớp nhập (Input layer) Các neuron liên lạc với các neuron trong lớp nhập và lớp xuất gọi là các neuron lớp ẩn (Hidden layer) Các neuron nhận thơng tin từ các neuron nằm trong lớp ẩn và đưa thơng tin ra (a) gọi là neuron lớp xuất (Output layer)

Lớp nhập Lớp ẩn Lớp xuất

2.5.1 Phân loại mạng neuron

− Mạng truyển thẳng (Feed-forward network) : mỗi neuron ở lớp này chỉ được nối với các neuron ở lớp kế tiếp, khơng cho phép các liên kết giữa các neuron trong cùng một lớp hoặc từ lớp dưới lên lớp trên và cũng khơng cho phép các liên kết neuron nhẩy quá một lớp

Hình 2.5 : Mạng neuron truyền thẳng nhiều lớp

− Mạng hồi tiếp (Feedback network) : Các đầu ra của neuron của lớp được định hướng quay lùi về làm đầu vào cho các neuron đứng trước nó

Hình 2.6 : Mạng hồi tiếp

− Mạng hồi quy (Recurrent network) : nếu mạng hồi tiếp mà các đầu ra của các neuron đầu ra của lớp đầu ra là các đầu vào của lớp neuron đầu vào thì gọi là mạng hồi quy.Ban đầu mạng nhận các đầu vào từ môi trường ngoài sau đó thông qua việc huấn luyện các đầu ra cũng chính là đầu vào của mạng

Hình 2.7 : Mạng hồi quy

Một số nghiên cứu đã chỉ ra cấu trúc của mạng neuron ứng dụng bài toán dự báo trong xây dựng là mạng truyền thẳng nhiều lớp (multilayer feed-forward networks) và thuật toán lan truyền ngược (backpropagation) là thích hợp nhất [7,8,18]

Để thiết kế một mạng neuron cần phải xây dựng hai vấn đề :

− Xác định cấu trúc mạng : tùy từng mục đích cụ thể mà người thiết kế mạng sẽ xây dựng một cấu trúc mạng ANN phù hợp Các thông số cấu trúc mạng ANN bao gồm:

• Số thông tin vào, số thông tin ra

• Số lớp neuron

• Số neuron trên mỗi lớp

• Số lượng liên kết của mỗi neuron

• Các trọng số liên của các neuron

− Huấn luyện mạng : Để mạng có thể đáp ứng yêu cầu thì phải điều chỉnh các trọng số Muốn vậy ta phải huấn luyện mạng (training) Thông thường

để huấn luyện cho mạng thì ta sử dụng các cặp đầu vào và tham khảo đầu

ra (inputs và targets) Quá trình điều chỉnh các trọng số được thực hiện dần dần sao cho đáp ứng đầu ra của mạng tiến tới gía trị targets ở một sai

số cho phép (thường được gọi là goal)

Input Neural Network Output Compare Target

Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng và giá trị

ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giá trị mong muốn Bình thường tồn tại một sai số bởi lẽ giá trị mong muốn không hoàn toàn phù hợp với giá trị thực Sau mỗi lần chạy, ta có tổng bình phương của tất

cả các sai số Sai số này được sử dụng để xác định các hàm trọng mới

Sau mỗi lần chạy, hàm trọng của mạng được sửa đổi với đặc tính tốt hơn tương ứng với đặc tính mong muốn Từng cặp giá trị vào/ra phải được kiểm tra và trọng lượng được điều chỉnh một vài lần Sự thay đổi các hàm trọng của mạng được

dừng lại nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước hoặc đã chạy đủ một số lần chạy xác định (trong trường hợp này mạng có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao) Có hai kiểu học:

− Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số

về trọng số, cập nhật kết nối giữa các neuron

− Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của mạng neuron gồm số lượng nút (node) và các mẫu liên kết

Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng neuron có sẵn

Để làm được việc đó, mạng neuron sử dụng các trọng số điều chỉnh, với nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng.Có ba phương pháp học:

− Học có giám sát ( Supervised Learning)

− Học củng cố:(Reinforcement Learning)

− Học không có giám sát (Unsupervied Learning)

Học có giám sát : Là quá trình học ở mỗi thời điểm thứ i khi đưa tín hiệu xi vào mạng neuron, tương ứng sẽ có các đáp ứng mong muốn di của đầu ra cho trước ở thời điểm đó Hay nói cách khác, trong quá trình học có giám sát, mạng neuron được cung cấp liên tục các cặp số liệu mong muốn vào/ra ở từng thời điểm (x1,d1), (x2, d2),… (xk, dk),…khi cho tín hiệu vào thực là xk sẽ tương ứng có tín hiệu đầu ra cũng được lặp lại là dk giống như mong muốn Kết quả của quá trình học

có giám sát là tạo được một hộp đen có đầu vào là véc tơ tín hiệu vào X sẽ đưa ra được câu trả lời đúng d

Để đạt được kết quả mong muốn trên, khi đưa vào tín hiệu xk, thông thường sẽ có sai lệch ek giữa tín hiệu đầu ra thực yk với tín hiệu đầu ra mong muốn dk Sai lệch

đó sẽ được truyền ngược tới đầu vào để điều chỉnh thông số mạng neuron là ma trận trọng số W…Quá trình cứ thế tiếp diễn sao cho sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi cho phép, kết quả nhận được ma trận trọng số với các phần tử wij đã được điều chỉnh phù hợp với đặc điểm của đối tượng hay hàm số mạng neuron cần học Mô hình học có giám sát được minh hoạ như hình sau

Network

Phát hiện sai số

Hình 2.9 : Mơ hình học cĩ giám sát và học củng cố

Học củng cố : Là phương pháp học trong đĩ tín hiệu d được đưa từ bên ngồi

nhưng khơng được đầy đủ mà cĩ thể chỉ đưa đại diện một ít để cĩ tính chất kiểm tra quá trình đúng hay sai Tín hiệu đĩ được gọi là tín hiệu củng cố (Reinforcement Signal) Phương pháp học củng cố chỉ là một phương pháp học riêng của phương pháp học cĩ giám sát, bởi vì nĩ cũng nhận tín hiệu chỉ đạo từ bên ngồi Chỉ khác là tín hiệu củng cố cĩ tính ước lượng hơn là để dạy Tín hiệu giám sát bên ngồi d thường được tiến hành bởi các tín hiệu ước lượng để tạo thơng tin ước lượng cho mạng neuron điều chỉnh trọng số với hy vọng sự ước lượng đĩ mang lại sự chính xác trong quá trình tính tốn Mơ hình học củng cố được minh hoạ như hình 6

Học khơng cĩ giám sát : Trong trường hợp này, hồn tồn khơng cĩ tín hiệu ở

bên ngồi Giá trị mục tiêu điều khiển khơng được cung cấp và khơng được tăng cường, khơng cĩ bất kỳ một một thơng tin hồi tiếp d nào từ mơi trường để xác nhận kết quả đầu ra y đúng hay sai Trong cách học này mạng chỉ được cung cấp các các mẫu đầu vào x và mạng phải tự điều chỉnh các trọng số kết nối giữa các neuron trong mạng bằng cách sử dụng các mẫu đầu ra y thực sự của mạng Mơ hình học khơng cĩ giám sát được minh hoạ như hình 7

Neural

Network

Hình 2.10 : Mơ hình học khơng cĩ giám sát

Cấu trúc chung của quá trình học được mơ tả như hình :

Hình 2.11 : Sơ đồ cấu trúc chung của quá trình học

Trong đó tín hiệu vào xj, j=1,2,3…,m, có thể được lấy từ đầu ra của các neuron khác hoặc có thể được lấy từ bên ngoài Tín hiệu mong muốn di có sẵn chỉ có trong phương pháp học có giám sát hoặc củng cố Từ hai phương pháp học trên, trọng số của neuron thứ i được thay đổi tuỳ theo tín hiệu ở đầu vào mà nó thu nhận và giá trị đầu ra của nó Trong phương pháp học không có giám sát sự thay đổi của trọng số chỉ dựa trên cơ sở các giá trị đầu vào và đầu ra Dạng tổng quát của luật học trọng số của mạng neuron là cho biết gia số của véctơ wi là ∆wi tỷ lệ với tín hiệu học r và tín hiệu đầu vào x(t):

w (t+1) = w (t) + f {w (t),x(t),d (t)}.x(t)η

Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật trọng số có trong mạng neuron

Nếu là chế độ học giám sát thì tín hiệu học r được biểu diễn bằng một hàm có dạng tổng quát :

r = f w ,x,d =d -y

Nếu là chế độ học củng cố thì tín hiệu học r được biểu diễn bằng một hàm có dạng tổng quát :

phần tử véctơ đầu vào Huấn luyện tiến dần đôi khi được xem như huấn luyện

trực tuyến hay huấn luyện thích nghi

Thông thường để huấn luyện mạng neuron, người ta sử dụng phương pháp huấn luyện có giám sát

2.6 XÁC ĐỊNH CẤU TRÚC MẠNG TỐI ƯU

Lựa chọn sai cấu trúc mạng có thể dẫn tới hoạt động mạng trở nên kém hiệu quả Nếu ta chọn mạng quá nhỏ có thể chúng không biểu diễn được sự phụ thuộc dữ liệu mong muốn Nếu chọn mạng quá lớn để có thể nhớ được tất cả các mẫu học dưới dạng bảng tra, nhưng hoàn toàn không thể tổng quát hóa được cho những tín hiệu vào chưa biết trước Nói cách khác, cũng giống như trong các mô hình thống kê, các mạng neuron có thể đưa tới tình trạng quá thừa tham số

Bài toán xác định cấu trúc mạng tốt có thể xem như bài toán tìm kiếm tối ưu trong không gian tham số, có thể áp dụng các cơ chế tìm kiếm kinh điển theo gradient hay các giải thuật di truyền, lập trình tiến hóa,… Tuy vậy, không gian tham số có thể rất lớn và để xác định một trạng thái W trong không gian đòi hỏi phải huấn luyện mạng

Tóm lại, việc thiết kế mạng (khi các biến ngõ vào đã được chọn) gồm các bước sau:

− Chọn cấu hình ban đầu (thường một lớp ẩn có số neuron ẩn bằng nửa tổng số neuron ngõ vào và ngõ ra)

− Thực hiện lặp đi lặp lại số thí nghiệm của mỗi cấu hình, giữ lại mạng tốt nhất (thường dựa trên sai số xác minh) Thí nghiệm nhiều lần trên mỗi cấu hình mạng để tránh rơi vào sai số cục bộ

− Trong mỗi lần thí nghiệm, nếu xảy ra việc học chưa đủ (mạng không đạt được mức hiệu suất chấp nhận) thì thử tăng số neuron trong lớp ẩn Nếu không hiệu quả, thì thêm một lớp ẩn

− Nếu xảy ra học quá mức (sai số xác minh bắt đầu tăng lên) thử bỏ bớt một vài neuron ẩn (và có thể bỏ lớp ẩn)

2.7 MẠNG NEURON LAN TRUYỀN NGƯỢC (BACK-PROPAGATION

NEURAL NETWORK)

Mạng neuron nhiều lớp lan truyền ngược là một giải pháp hữu hiệu cho việc mô hình hóa, đặc biệt với các quá trình phức tạp hoặc các cơ chế chưa được biết rõ rang Nó không đòi hỏi bất kỳ sự hiểu biết trước về các dạng hàm cũng như các tham số Thực tế nó hoạt động như một hộp đen, với một số đủ lớn các trọng số mạng hoàn toàn có đủ độ tự do để biểu diễn mối quan hệ giữa các đại lượng vào

và ra Mạng sử dụng tập quá trình thực nghiệm cho quá trình học hay quá trình điều chỉnh các trọng số Việc xác định mô hình đơn giản là lựa chọn một cấu trúc mạng và cho mạng học số liệu Quá trình học có thể tốn thời gian song một khi

đã ổn định, việc dự báo trở nên rất nhanh

Mạng neuron lan truyền ngược luôn có một lớp vào, một lớp ra và không có hoặc

có một lớp ẩn Các neuron trên các lớp được xếp tuyến tính, số lượng neuron của lớp vào bằng số biến của véc tơ vào, số neuron của lớp ra bằng số biến của véc tơ

ra, các lớp của mạng được nối với nhau một cách đầy đủ Ngoài ra, trên các lớp trừ lớp ra có thêm một tham số điều khiển (bias) Số lớp cũng như số lượng các neuron trên mỗi lớp tùy thuộc và từng ứng dụng, trên thực tế việc xây dựng mạng dựa trên việc thử và sai Các mạng được sử dụng trong thực tế thường chỉ gồm 03 lớp : lớp vào, lớp ra và một lớp ẩn

Cấu trúc mạng neuron truyền thẳng nhiều lớp lan truyền ngược ( the back - propagation algorithm – the multilayer feedforward networks)

f 1

1 1

f

f

ΣΣΣ

f 2

2 2

f

f

ΣΣΣ

f 3

3 3

Hình 2.12 : Cấu trúc mạng truyền thẳng nhiều lớp lan truyền ngược

Một mạng neuron có thể có một vài lớp Mỗi lớp có ma trận trọng liên kết W, véc tơ độ dốc b (bias), hàm truyền f (transter function) và véc tơ đầu ra a

Trong đó R là số phần tử lớp vào và S1 là số neuron của lớp 1 Ta thấy ma trận trọng liên kết với véc tơ vào P là ma trận trọng vào có nguồn là lớp 1 và đích là lớp 2

Chú ý rằng đầu ra của mỗi lớp trung gian là đầu vào của lớp tiếp theo Như vậy lớp 2 có thể được xem như mạng 1 lớp với S1 đầu vào, S2 neuron và S2 x S1 trọng liên kết của ma trận W2 Đầu vào của lớp 2 là véc tơ a1, đầu ra là véc tơ a2 a3 là đầu ra của mạng.Các lớp của mạng nhiều lớp đóng vai trò khác nhau Lớp cuối cùng là kết quả ở đầu ra của mạng, được gọi là lớp ra Lớp đầu tiên thu thập tín hiệu vào được gọi là lớp vào, các lớp khác được gọi là lớp ẩn Mạng 3 lớp ở trên hình 2.12 có 1 lớp ra (lớp3) có 1 lớp vào (lớp 1) và 1 lớp ẩn (lớp 2)

Giá trị các nút trong lớp ẩn là giá trị của hàm truyền f với tham số là tổng các trọng số Hàm truyền thỏa mãn các tính chất sau :

− Là hàm bị chặn Nghĩa là các giá trị của hàm truyền không bao giờ được vượt quá chặn trên cũng như thấp hơn chặn dưới bất chấp giá trị của biến vào

− Là hàm đơn điệu tăng Giá trị của hàm truyền luôn tăng khi giá trị của biến vào tăng Do tính chất thứ nhất ta thấy khi giá trị của biến vào tăng thì giá trị của hàm truyền tăng nhưng không bao giờ vượt quá giới hạn của cận trên Và khi biến vào giảm thì giá trị của hàm truyền là chặn dưới của hàm truyền

− Là hàm liên tục và trơn Vì là hàm liên tục nên đồ thị của hàm truyền không

có khe và góc cạnh Do tình tiên tục nên hàm có đạo hàm và độ dốc của nó rõ ràng và phân biệt tại từng nút

Hàm truyền thường được sử dụng là các hàm sau :

− Hàm Binary sigmoid (Sigmoid)

n

1 f(n) =

1 1+

e

0

1

n a

Kết quả xuất a có giá trị nằm trong khoảng [0;1]

− Hàm Bipolar sigmoid (Hyberbolic tangent)

n n

1 - e f(n) =

1 + e

0

1

n a

-1

Kết quả xuất a có giá trị nằm trong khoảng [-1;1]

Tất cả các hàm truyền này đều phục vụ khá tốt cho các mục đích của mạng neuron và chúng có thể thay thế cho nhau Do khác nhau về các giới hạn của chúng, có thể chọn hàm này hoặc hàm khác tùy theo khoảng giá trị cần xuất (0 đến 1 hay -1 đến 1), vì kết quả xuất thường rơi vào giữa các giới hạn này

Kỹ thuật cơ bản trong lan truyền ngược là cập nhật trọng số theo hướng giảm gradient – một hình thức leo đồi với thông tin hướng dẫn là đạo hàm bậc nhất Phương pháp giảm gradient được dùng để cập nhật những hệ số sao cho giảm thiểu sai số của mô hình Sai số được đo bằng phương pháp sai số trung bình bình phương – là phương pháp thường được sử dụng để xây dựng các mô hình

2.8 PHƯƠNG PHÁP GIẢM GRADIENT

Phương pháp giảm gradient là một trong những giải thuật dùng để cập nhật trọng

số trong mạng neuron lan truyền ngược Trong quá trình học các trọng số được điều chỉnh theo thuật toán trượt theo hướng dốc nhất trong không gian tham số (deepest descent)

Khi hoàn thành một bước lặp qua toàn bộ tập mẫu, tất cả các trọng số của mạng

sẽ được cập nhật dựa vào các thông tin đạo hàm tiêng theo từng trọng số tích lũy được Các trọng số sẽ được cập nhật theo hướng mà hàm sai số E sẽ tụt xuống dốc nhất

Phương pháp giảm gradient dựa trên tính chất đạo hàm mà nền tảng là phương thức giảm nên có thể dùng cho hàm truyền bất kỳ

Đạo hàm của hàm số f tại một điểm x thuộc miền xác định, ký hiệu là f’(x) được cho bởi :

0 0

Trọng số wk sẽ luôn được cập nhật mới sao cho độ dốc của tiếp tuyến (hay hệ số góc của tiếp tuyến) dịch chuyển về 0 khi đó giá trị sai số là nhỏ nhất Quá trình dịch chuyển này còn phụ thuộc vào hằng số η do người sử dụng cài đặt, η là hệ

số học của mạng nó ảnh hưởng rất lớn đến tốc độ học của quá trình

Nếu η quá lớn tốc độ học của mạng sẽ nhanh nhưng quá trình học sẽ không chính xác vì có thể bước nhẩy ∆Wk(n) sẽ vượt quá giá trị mong muốn của quá trình học

Hình 2.15 : Bước điều chỉnh trọng số vượt quá E min

Ngược lại nếu η quá nhỏ thì bước nhẩy sẽ nhỏ và khả năng nhận biết giá trị trọng

số mong muốn cao, tuy nhiên vẫn có tình trạng không tốt xẩy ra đó là giá trị trọng số rơi vào những điểm có 0

2.9 THUẬT HỌC LAN TRUYỀN NGƯỢC ( BACK-PROPAGATION)

Thuật toán Back-propagation được sử dụng để điều chỉnh các trọng số kết nối

sao cho tổng sai số E nhỏ nhất

2 i 1

( ( , w)-y(x ))

n i i

=

=∑

Trong đó :

− t(xi,w) : giá trị thực của tập mẫu

− y(xi) : Giá trị xuất ra của mạng

Mỗi neuron đều có giá trị vào và ra, mỗi giá trị vào đều có một trọng số để đánh giá mức độ ảnh hưởng của giá trị vào đó Thuật học Back-propagation sẽ điều chỉnh các trọng số đó để cho giá trị e=tj-yj là nhỏ nhất

Các bước thực hiện của thật học Back-propagation :

− Bước 1 : xác định các trọng số ban đầu cho tất cả các đầu vào của từng neuron Giá trị trọng số này không thực sự quan trọng lắm đối với quá trình học nhưng được gán bằng số ngẫu nhiên và không đồng đều bằng 0

− Bước 2 : Tính toán giá trị xuất ra của mạng

− Bước 3 : Tính toán giá trị sai số E của mạng

− Bước 4 : Sao sánh sai số E của mạng với giá trị sai số mong muốn ε

− Bước 5 : Cập nhật lại trọng số mới rồi trở lại bước 2 cho đến khi đạt giá trị sai

số mong muốn

Trình tự các bước thực hiện huấn luyện Back-propagation

2 i 1

( ( , w)-y(x ))

n i i

=

=∑