Nghiên cứu mạng nơron và ứng dụng trong khảo sát, đánh giá, thống kê kết quả học tập tại trường đại học công nghiệp quang ninh

Số hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI XUÂN ĐẠT NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG TRONG KHẢO

Trang 1

Số hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

MAI XUÂN ĐẠT

NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG

TRONG KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ KẾT QUẢ HỌC TẬP TẠI TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP

QUẢNG NINH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Trang 2

Thái Nguyên - 2013

Trang 3

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

MAI XUÂN ĐẠT

NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG

TRONG KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ KẾT QUẢ HỌC TẬP TẠI TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP

QUẢNG NINH Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã số: 60 48 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: PGS.TS NGÔ QUỐC TẠO

Thái Nguyên – 2013

Trang 4

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn là công trình nghiên cứu của riêng cá nhân tôi, không sao chép của ai do tôi tự nghiên cứu, đọc, dịch tài liệu, tổng hợp và thực hiện Nội dung lý thuyết trong trong luận văn tôi có sử dụng một số tài liệu tham khảo như

đã trình bày trong phần tài liệu tham khảo Các số liệu, chương trình phần mềm và những kết quả trong luận văn là trung thực và chưa được công bố trong bất kỳ một công trình nào khác

Thái Nguyên, ngày 09 tháng 10 năm 2013

Học viên thực hiện

Mai Xuân Đạt

Trang 5

LỜI CẢM ƠN

Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến PGS.TS Ngô Quốc Tạo người

đã tận tình hướng dẫn, chỉ bảo, giúp đỡ em trong suốt quá trình làm luận văn

Em cũng xin gửi lời cảm ơn đến các thầy cô giáo trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên, các thầy cô Viện Công nghệ thông tin đã truyền đạt những kiến thức và giúp đỡ em trong suốt quá trình học của mình Tôi cũng xin gửi lời cảm ơn tới các đồng nghiệp, gia đình và bạn bè những người đã ủng hộ, động viên tạo mọi điều kiện giúp đỡ để tôi có thể hoàn thành tốt luận văn

Tôi cũng xin gửi lời cảm ơn tới Ban giám hiệu Trường Đại học Công nghiệp Quảng Ninh đã tạo kiện thuận lợi cho tôi tham gia khóa học và trong suốt quá trình hoàn thành luận văn

Một lần nữa, xin chân thành cảm ơn

Mai Xuân Đạt

Trang 6

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT vi

DANH MỤC CÁC BẢNG vii

DANH MỤC CÁC HÌNH viii

MỞ ĐẦU 1

Chương 1: GIỚI THIỆU VỀ MẠNG NƠRON 3

1.1 Giới thiệu về mạng nơron nhân tạo 3

1.1.1 Cấu trúc và mô hình mạng nơron 3

1.1.2 Cấu tạo và phương thức làm việc của mạng nơron 6

1.1.3 Các luật học 8

1.2 Kết luận chương 1 11

Chương 2: MẠNG SOM VÀ MỘT SỐ PHƯƠNG PHÁP PHÂN CỤM 13

2.1 Thuật toán phân cụm dữ liệu 13

2.2 Một số thuật toán cơ bản trong phân cụm dữ liệu 14

2.2.1 Thuật toán phân cụm phân cấp 14

2.2.2 Thuật toán phân cụm phân hoạch (Thuật toán K-means) 15

2.2.3 Thuật toán phân cụm dựa trên mật độ (Thuật toán DBSCAN) 17

2.2.4 Thuật toán phân cụm dựa trên lưới (Thuật toán STING) 19

2.2.5 Các thuật toán phân cụm dựa trên mô hình (Thuật toán EM) 20

2.3 Thuật toán phân cụm bằng mạng Kohonen 21

2.3.1 Mạng Kohonen là gì? 21

2.3.2 Cấu trúc mô hình mạng Kohonen 21

2.3.3 Thuật toán phân cụm bằng mạng Kohonen 22

2.4 Một số vấn đề phân cụm bằng mạng Kohonen 25

2.4.1 Khởi tạo mạng Kohonen (SOM) 25

2.4.2 Huấn luyện mạng Kohonen 25

Trang 7

2.4.3 Tỉ lệ học 26

2.4.4 Cập nhật lại trọng số 27

2.4.5 Xác định nơron chiến thắng 28

2.5 Kohonen (SOM) sử dụng trong phân cụm dữ liệu 29

2.5.1 SOM phân cụm với bản đồ một chiều 29

2.5.2 SOM phân cụm với bản đồ hai chiều 29

2.5.3 Xác định ranh giới các cụm 30

2.5.4 Trực quan mạng 31

2.5.5 Số lượng nhóm khi phân cụm 32

Chương 3: ỨNG DỤNG MÔ HÌNH SOM TRONG BÀI TOÁN KHẢO SÁT, ĐÁNH GIÁ, THỐNG KÊ KẾT QUẢ HỌC TẬP CỦA SINH VIÊN TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH 34

3.1 Phát biểu bài toán 34

3.2 Khảo sát, đánh giá, thống kê quá trình học tập của sinh viên trường đại học Công nghiệp Quảng Ninh 34

3.2.1 Thu thập dữ liệu 34

3.3 Thực nghiệm sử dụng mô hình SOM để khảo sát, đánh giá, thống kê kết quả học tập của sinh viên trường đại học Công nghiệp Quảng Ninh 43

3.3.1 Các chức năng của chương trình 43

3.3.2 Phân tích dữ liệu 43

3.3.3 Giao diện chương trình 51

3.3.4 Kết quả và phân tích kết quả sau khi huấn luyện mô hình mạng kohonen 53

KẾT LUẬN 64

TÀI LIỆU THAM KHẢO 64

Trang 8

Trang 9

DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT

BMU(Best - Matching unit): Đơn vị phù hợp nhất

U-matrix (unified distance matrix): Ma trận thống nhất khoảng cách

EM (Expectation maximization): Thuật toán tối đa hóa

STING (STatistical INformation Grid ): Thuật toán thống kê thông tin lưới DBSCAN (Density Based Spatial) : Phân cụm dữ liệu dựa trên không

Clustering (of Applications with Noise): Gian mật độ ứng với nhiễu

Trang 10

DANH MỤC CÁC BẢNG

Bảng 3.1 Bảng xếp loại điểm 40

Bảng 3.2 Dữ liệu thống kê phân cụm, môn học 45

Bảng 3.3 Dữ liệu thống kê phân cụm, môn học 46

Bảng 3.4 Dữ liệu thống kê phân cụm của sinh viên theo điểm thi 48

Bảng 3.5 Dữ liệu thống kê phân cụm của sinh viên theo điểm thi 49

Bảng 3.6 Kết quả các cụm môn sau khi huấn luyện mạng Kohonen 54

Bảng 3.7 Kết quả các cụm Sinh viên sau khi huấn luyện mạng Kohonen 62

Trang 11

Trang 12

DANH MỤC CÁC HÌNH

Hình 1.1: Một nơron sinh học 3

Hình 1.2: Sự liên kết các nơron 4

Hình 1.3: Mô hình một nơron nhân tạo 5

Hình 1.4: Đồ thị các dạng hàm truyền 6

Hình 1.5: Mạng nơron ba lớp 7

Hình 1.6: Một số dạng mạng nơron 8

Hình 1.7: Cấu trúc huấn luyện mạng nơron 9

Hình 1.8: Học có giám sát 9

Hình 1.9: Học không có giám sát 10

Hình 1.10: Sơ đồ cấu trúc chung của quá trình học 11

Hình 2.1 Các thiết lập để xác định ranh giới các cụm ban đầu 15

Hình 2.2 Tính toán trọng tâm của các cụm mới 16

Hình 2.4 Một dạng mạng nơron Kohonen 22

Hình 2.5 Phần tử nơron chiến thắng BMU 22

Hình 2.6 Các vùng lân cận 23

Hình 2.7: Hàm tỉ lệ học theo thời gian 27

Hình 3.1 Kết quả chạy chương trình huấn luyện SOM 52

Hình 3.2 Kết quả phân cụm môn học, mô đun sử dụng phương pháp trực quan U-Matrix 53

Hình 3.3 Kết quả phân cụm điểm sử dung phương pháp trực quan các biểu đồ thành phần 57

Hình 3.4 Kết quả phân cụm sinh viên theo môn học, mô đun sử dụng phương pháp trực quan U-Matrix 61

Trang 13

MỞ ĐẦU

Trong cuộc sống hàng ngày con người chúng ta tiếp nhận rất nhiều thông tin Với khối lượng thông tin khổng lồ đòi hỏi con người phải phân tích chúng và phân chia chúng thành các dạng thông tin khác nhau Cùng với sự phát triển của công nghệ thông tin các phương pháp, thuật toán phân cụm dữ liệu ra đời giúp cho con người có khả năng phân chia các loại thông tin khác nhau để phục vụ cho công việc

và trong cuộc sống hàng ngày

Mạng nơron SOM được giáo sư Teuvo Kohonen của trường đại học Helsinki Phần Lan phát triển vào những năm 80 của thế kỷ 20[7] Đây là mạng truyền thẳng

sử dụng thuật học cạnh tranh, không giám sát có khả năng phân cụm dữ liệu với một lượng lớn dữ liệu đầu vào

Thông tin giáo dục đào tạo của các trường hiện nay hầu hết được lưu trữ trong máy tính và chúng ta cần phải tìm ra những thông tin hữu ích từ cơ sở dữ liệu đó để

có các biện pháp phù hợp, cần thiết cho việc cải cách, nâng cao chất lượng giáo dục đào tạo thông qua việc khảo, đánh giá, thống kê, báo cáo

Chính vì lý do đó tôi chọn đề tài: "Nghiên cứu mạng Nơron và Ứng dụng

trong Khảo sát, đánh giá, thống kê kết quả học tập tại Trường Đại học Công nghiệp Quảng Ninh" Luận văn tập trung vào tìm hiểu mạng SOM và sử dụng

SOM trong phân cụm dữ liệu

Phương pháp nghiên cứu chính là tìm hiểu các tài liệu bài báo viết về mạng SOM và huấn luyện mạng SOM phân cụm điểm các môn học và phân cụm sinh viên của Trường Đại học Công nghiệp Quảng Ninh từ đó đưa ra những nhận xét, đánh giá, tư vấn cho phòng đào tạo và học sinh đăng kí học theo từng môn, từng kỳ học phù hợp với mình

Nội dung luận văn gồm có 3 chương:

Chương I: Giới thiệu về mạng nơron sinh học bao gồm cấu trúc của mạng

nơron sinh học và nguyên lý hoạt động của nơron sinh học Về nơron nhân tạo giới

thiệu cấu trúc của một nơron nhân tạo, mô hình của mạng nơron nhân tạo

Trang 14

Chương II: Giới thiệu về một số phương pháp phân cụm và một số thuật

toán phân cụm phổ biến, ưu nhược điểm của từng thuật toán phân cụm Trong chương này trình bày về mạng SOM: giới thiệu về mạng SOM, cấu trúc của SOM, các phương pháp khởi tạo, huấn luyện SOM, tỉ lệ học, các hàm lân cận, phương pháp xác định nơron chiến thắng và sử dụng SOM trong phân cụm dữ liệu

Chương III: Trình bày về sử dụng công cụm SOM phân cụm điểm từng môn

học và từng sinh viên để đưa ra những nhận xét, đánh giá về các môn học từ cơ sở

dữ liệu đó để có các biện pháp phù hợp, nâng cao chất lượng giáo dục đào tạo

Trang 15

Chương 1 GIỚI THIỆU VỀ MẠNG NƠRON 1.1 Giới thiệu về mạng nơron nhân tạo

1.1.1 Cấu trúc và mô hình mạng nơron

1.1.1.1 Mô hình một nơron sinh học

Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron, phần tử này có thể chia làm bốn thành phần cơ bản như sau:

- Dendrites: Là phần nhận tín hiệu đầu vào

- Soma: Là hạt nhân

- Axon: Là phần dẫn ra tín hiệu xử lý

- Synapses: Là đường tín hiệu điện hóa giao tiếp giữa các nơron

Một cách tổng quát, một nơron sinh học nhận đầu vào từ các nguồn khác nhau, kết hợp chúng tại với nhau, thực thi tổ hợp phi tuyến chúng để cho ra kết quả cuối cùng ở đầu ra Hình 1.1 chỉ ra mối quan hệ giữa bốn thành phần của một nơron sinh học

Hình 1.1: Một nơron sinh học

Trang 16

Một nơron sinh học chỉ có một số chức năng cơ bản như vậy nên khả năng

xử lý thông tin của nó là rất yếu Để có được khả năng xử lý thông tin hoàn hảo như

bộ não con người thì các nơron phải kết hợp và trao đổi thông tin với nhau

Sơ đồ liên kết và trao đổi thông tin giữa hai nơron như hình sau:

Hình 1.2: Sự liên kết các nơron

1.1.1.2 Cấu trúc và mô hình của một nơron nhân tạo

Mô hình toán học của mạng nơron nhân tạo được đề xuất bởi McCulloch và Pitts gọi là nơron M-P (ngoài ra nó còn được gọi là phần tử xử lý và được ký hiệu là

PE - Processing Element)

Mô hình nơron có m đầu vào x1, x2, , xm và một đầu ra yi như sau:

Trang 17

00

01

x khi

x khi y

Hình 1.3: Mô hình một nơron nhân tạo Giải thích các thành phần cơ bản:

- Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thường

được đưa vào dưới dạng một vector m chiều

- Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng

số (thường được gọi là trọng số liên kết) Trọng số liên kết giữa tín hiệu vào thứ j cho nơron i thường được ký hiệu là wij

- Bộ tổng (hàm tổng): Thường dùng để tính tổng của tích các đầu vào với

trọng số liên kết của nó

- Ngưỡng: Ngưỡng thường được đưa vào như một thành phần của hàm truyền

- Hàm truyền: Hàm truyền dùng để giới hạn phạm vi đầu ra của mỗi nơron

Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1,1]

- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một

đầu ra Về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp biểu thức sau: y i f(net i i) và j

n

j ij

net

1

Trong đó: x1, x2, …xm là các tín hiệu đầu vào; wi1, wi2,…,wim là các trọng

số kết nối của nơron thứ i, neti là hàm tổng, f là hàm truyền, i là một ngưỡng, yi là tín hiệu đầu ra của nơron

Như vậy, tương tự như nơron sinh học nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả đến hàm truyền) và cho một tín hiệu đầu ra (là kết quả của hàm truyền)

Hàm truyền có thể có các dạng sau:

- Hàm bước

Trang 18

01

)sgn(

x khi

x khi x

y

00

10

11

)sgn(

x khi

x

x khi x

11

2x

e y

- Hàm giới hạn chặt

- Hàm bậc thang

(1.3)

Mạng nơron là một hệ truyền đạt và xử lý tín hiệu, đặc tính truyền đạt của nơron phần lớn là đặc tính truyền đạt tĩnh nên có thể phân biệt các loại nơron khác nhau Các nơron có đầu vào nhận thông tin từ môi trường bên ngoài khác với các nơron có đầu vào được nối với các nơron khác trong mạng, chúng được phân biệt với nhau qua vector hàm trọng số ở đầu vào w

Trang 19

Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều nơron có cùng chức năng trong mạng Hình 1.5 là mô hình hoạt động của một mạng nơron 3 lớp với 8 phần tử nơron Các tín hiệu đầu vào được đưa đến 3 nơron đầu vào x1, x2, x3; 3 nơron này làm thành lớp đầu vào của mạng Đầu ra của các nơron này được đưa đến đầu vào của 3 nơron tiếp theo, 3 nơron này không trực tiếp tiếp xúc với môi trường bên ngoài mà làm thành lớp ẩn hay còn gọi là lớp trung gian Đầu ra của các nơron này được đưa đến 2 nơron đưa tín hiệu ra môi trường bên ngoài y1, y2

Hình 1.5: Mạng nơron ba lớp

Mạng nơron có cấu trúc như trên gọi là mạng một hướng hay mạng truyền thẳng một hướng (Feed forward network) và có cấu trúc mạng ghép nối hoàn toàn Mạng nơron bao gồm một hay nhiều lớp trung gian được gọi là mạng Multilayer Perceptrons (MLP-Network)

Mạng nơron khi mới được hình thành thì chưa có tri thức, tri thức của mạng

sẽ được hình thành dần dần sau một quá trình học Khi đã hình thành tri thức, mạng

có thể giải quyết các vấn đề một cách đúng đắn

Nhiệm vụ tổng quát của một mạng nơron là lưu giữ động các thông tin Dạng thông tin lưu giữ này chính là quan hệ giữa các thông tin đầu vào và các đáp ứng đầu ra tương ứng để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp Đây chính là chức năng nhận dạng theo mẫu của mạng nơron

Trang 20

Trang 21

Hình 1.7: Cấu trúc huấn luyện mạng nơron

Ở đây, hàm trọng số của mạng được điều chỉnh trên cơ sở so sánh đầu ra với đích mong muốn (taget) cho tới khi đầu ra của mạng phù hợp với đích Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng

Sau mỗi lần chạy ta có tổng bình phương của tất cả các sai số, sai số này được sử dụng để xác định các hàm trọng số mới Hàm trọng số của mạng được sửa đổi với đặc tính tốt hơn tương ứng với đặc tính mong muốn Sự thay đổi các hàm trọng số của mạng sẽ được dừng lại nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước hoặc đã chạy đủ số lần chạy xác định (trong trường hợp này mạng

có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao)

Có hai kiểu học:

- Học tham số: Là các tham số về trọng số cập nhật kết nối giữa các nơron

- Học cấu trúc: Trọng tâm là sự biến đổi cấu trúc của các mạng nơron gồm

số lượng nút và các loại liên kết

Nhiệm vụ của việc học tham số là tìm ra được ma trận chính xác mong muốn

từ ma trận giả thiết ban đầu (với cấu trúc của mạng nơron có sẵn) Để làm được điều này thì mạng nơron phải sử dụng các trọng số điều chỉnh với nhiều phương pháp học khác nhau để có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng Sau đây là 3 phương pháp học:

Học có giám sát

Là quá trình học có tín hiệu chỉ đạo bên ngoài d Tại mỗi thời điểm khi đầu vào được cung cấp tới mạng nơron thì phản ứng đầu ra mong muốn d tương ứng của hệ thống được đưa ra

Hình 1.8: Học có giám sát

Trang 22

Khi mỗi đầu vào x(k)

được đặt vào mạng, đầu ra mong muốn tương ứng d(k)cũng được cung cấp tới mạng Hiệu giữa đầu ra thực y(k)

và đầu ra mong muốn d(k) được đo trong máy phát tín hiệu lỗi Máy này sẽ tạo ra tín hiệu lỗi cho mạng để hiệu chỉnh các trọng số của mạng để đầu ra thực sẽ tiến sát với đầu ra mong muốn

Học củng cố

Tín hiệu chủ đạo d có thể lấy từ môi trường bên ngoài nhưng tín hiệu này không được đầy đủ mà chỉ có một vài bit đại diện có tính chất kiểm tra quá trình tốt hay xấu Học củng cố cũng là một dạng của học có giám sát bởi vì mạng vẫn nhận một số tín hiệu từ bên ngoài nhưng tín hiệu phản hồi ở đây chỉ mang tính chất đánh giá hơn là mang tính chất chỉ dẫn Tín hiệu củng cố bên ngoài thường được xử lý bằng máy phát tín hiệu đánh giá để tạo ra nhiều hơn nữa các thông tin tín hiệu đánh giá, sau đó dùng để điều chỉnh các trọng số với mục đích đạt được tín hiệu đánh giá tốt hơn

Hình 1.10 mô tả cấu trúc chung quá trình học của ba phương pháp học đã nêu ở trên Trong tín hiệu vào xj (j = 1,2, ,m) có thể được lấy từ đầu ra của các nơron khác hoặc có thể được lấy ra từ bên ngoài Trọng số của nơron thứ i được thay đổi tùy theo tín hiệu ở đầu vào mà nó thu nhận giá trị đầu ra của nó

Trang 23

Hình 1.10: Sơ đồ cấu trúc chung của quá trình học

Dạng tổng quát của luật học trọng số của mạng nơron cho biết số gia của vector wi là w i tỉ lệ với tín hiệu học r và tín hiệu đầu vào x(t)

r w x d f

Vector trọng số wi = [wi1, wi2, , wim]T có số gia tỷ lệ với tín hiệu vào x và tín hiệu học r Vector trọng số ở thời điểm (t+1) được tính như sau:

wi(t+1) = wi(t) + fr(wi(t),x(t),d(t)).x(t) (1.8) Phương trình liên quan đến sự biến đổi trọng số trong mạng nơron rời rạc, tương ứng với sự thay đổi trọng số trong mạng nơron liên tục theo biểu thức sau:

) ( r x t dt

Trang 24

Số hóa bởi Trung tâm Học liệu http://lrc.tnu.edu.vn Quy tắc học của mạng nơron, trình bày 3 luật học cơ bản của mạng nơron bao gồm: học có giám sát, học củng cố và học không giám sát

Trang 25

Chương 2 MẠNG SOM VÀ MỘT SỐ PHƯƠNG PHÁP PHÂN CỤM 2.1 Thuật toán phân cụm dữ liệu

PCDL là kỹ thuật sử dụng quan sát đối tượng, mục đích để tổ chức một tập các đối tượng cụ thể hoặc trừu tượng vào các nhóm, cụm phân biệt Bài toán phân cụm thường được thực hiện khi chúng ta không biết được nội dung thông tin của các thành phần thuộc cụm để định nghĩa trước các lớp Vì lý do này mà công việc phân cụm thường được nhìn dưới con mắt của học máy không giám sát, phương pháp học mà khi ta cho trước một mẫu chỉ gồm các đối tượng cần tìm một cấu trúc đáng quan tâm của dữ liệu và nhóm lại các dữ liệu giống nhau

Thuật toán phân cụm phát triển có thể cho kết quả tốt nhất với một loại tập hợp dữ liệu, nhưng có thể thất bại hoặc cho kết quả kém với các dữ liệu của các loại khác Mặc dù đã có nhiều nỗ lực để tiêu chuẩn hóa các thuật toán có thể thực hiện tốt trong tất cả các trường hợp tình huống tuy nhiên vẫn chưa đạt được kết quả như mong muốn Nhiều thuật toán phân nhóm đã được đề xuất Mỗi thuật toán có giá trị riêng và điểm yếu riêng và không thể làm việc cho tất cả các tình huống thực tế Phân cụm là quá trình phân vùng dữ liệu được thiết lập thành các nhóm dựa trên những đặc điểm tương tự nhau Đây là vấn đề quan trọng trong học không giám sát

Nó thực hiện công việc với cấu trúc tìm kiếm trong một bộ dữ liệu không được dán nhãn Để thực hiện tốt các thuật toán phân cụm thì cần phải có những điều kiện [6]:

- Khả năng mở rộng - dữ liệu phải được mở rộng nếu không sẽ đưa ra kết quả sai

- Thuật toán phân cụm phải có khả năng giải quyết với các loại thuộc tính khác nhau

- Thuật toán phân cụm phải tìm ra các cụm dữ liệu với những hình dạng khác nhau

- Thuật toán phân cụm không bị ảnh hưởng bởi nhiễu và giá trị ngoại lệ

- Kết quả thu được có thể giải thích được và có thể sử dụng để hiểu biết tối đa các thông số đầu vào

Trang 26

- Thuật toán phân cụm phải có khả năng giải quyết tập dữ liệu đa chiều

2.2 Một số thuật toán cơ bản trong phân cụm dữ liệu

2.2.1 Thuật toán phân cụm phân cấp

Thuật toán phân cụm phân cấp gồm có 2 loại: Thuật toán phân cụm theo thứ bậc trên xuống (Agglomerative Hierarchical) Thuật toán phân cụm theo thứ bậc từ dưới lên (Divisive Hierarchical) Hai thuật toán này trình tự làm việc ngược nhau Thuật toán phân cụm phân cấp, thuật toán này hoạt động bằng cách nhóm dữ liệu từng cặp một trên cơ sở các biện pháp khoảng cách gần nhất của khoảng cách giữa các điểm dữ liệu tất cả các cặp Một lần nữa khoảng cách giữa các điểm dữ liệu được tính toán lại Khi các nhóm đã được hình thành cần xem xét lại khoảng cách giữa các điểm dữ liệu Một số phương pháp xem xét khoảng cách giữa các điểm dữ liệu:

- Khoảng cách gần nhất hoặc liên kết đơn nhất

- Khoảng cách xa nhất hoặc liên kết đầy đủ

- Khoảng cách trung bình hoặc liên kết trung bình

- Tổng bình phương Euclide là nhỏ nhất

Thuật toán phân cụm phân cấp:

Cho X={x1,x2…xn} là tập hợp các điểm dữ liệu

Bước 1: Bắt đầu với phân chia các nhóm có mức L(0) = 0 và dãy số m = 0 Bước 2: Tìm khoảng cách tối thiểu của cụm trong cụm hiện tại biểu diễn bằng

cặp (r), (s) theo công thức d[(r),(s)]=min d[i,j] là nhỏ nhất so với các cụm hiện tại

Bước 3: Tăng số thứ tự m=m+1 Hợp nhất các cụm (r) và (s) vào một cụm duy

nhất hình thành m cụm tiếp theo Thiết lập mức của nhóm này là L (m)=d[(r),(s)]

Bước 4: Cập nhật ma trận khoảng cách D bằng cách xóa các hàng và cột

tương ứng với cụm (r) và (s) và thêm một hàng và cột tương ứng với cụm mới được thành lập Khoảng cách giữa cụm mới ký hiệu là (r,s) và cụm cũ (k) được định nghĩa d[(k),(r,s)] = min(d[(k),(r)],d[(k),(s)])

Bước 5: Nếu tất cả các điểm dữ liệu trong một cụm thì dừng lại nếu không lặp

lại từ bước 2

Trang 27

Ưu điểm của thuật toán phân cụm phân cấp

- Không có thông tin về các cụm được yêu cầu

- Dễ dàng thực hiện và cho kết quả tốt nhất trong một số trường hợp

Nhược điểm của thuật toán phân cụm phân cấp

Thuật toán không thể quay lại những gì đã thực hiện trước đó Độ phức tạp của thuật toán O(n2log n) với n là số điểm dữ liệu Không có hàm mục tiêu được giảm thiểu ngay lập tức Khó xác định số lượng các cụm chính xác bởi sơ đồ nhánh

Phân cụm phân cấp bao gồm một số thuật toán như: Thuật toán CURE; Thuật toán BIRCH; Thuật toán AGNES; Thuật toán DIANA; Thuật toán ROCK; Thuật toán CHANMELEON

2.2.2 Thuật toán phân cụm phân hoạch (Thuật toán K-means)

Thuật toán K-mean là một trong các thuật toán học không giám sát để thực hiện phân cụm dữ liệu Thủ tục đơn giản và dễ dàng để phân loại dữ liệu được thiết lập thông qua số lượng nhất định các cụm (giả sử k cụm)

Hình 2.1 Các thiết lập để xác định ranh giới các cụm ban đầu

Xác định trung tâm của mỗi cụm Trung tâm của mỗi cụm phải được đặt ở những vị trí chính xác vì đặt ở những vị trí khác nhau sẽ đưa ra kết quả khác nhau

Vị trí đặt các trung tâm ở những vị trí càng xa nhau càng tốt Bước tiếp theo là lấy mỗi điểm thuộc một tập hợp dữ liệu đưa ra và liên kết đến trung tâm gần nhất Khi không có điểm chờ xử lý bước đầu tiên được hoàn thành và một nhóm đầu tiên được thực hiện Tại thời điểm này chúng ta cần phải tính toán lại trọng tâm k mới như là trọng tâm của các cụm kết quả từ bước trước Sau khi có những trọng tâm k

Trang 28

C C

di chuyển nào Thuật toán này nhằm mục đích giảm thiểu hàm mục tiêu như là hàm bình phương sai số:

(2.1) Trong đó:

: là khoảng cách Euclide

Ci: Số điểm dữ liệu trong cụm thứ i

C: Số lượng các trung tâm cụm

Hình 2.2 Tính toán trọng tâm của các cụm mới

Các bước thực hiện thuật toán K-mean

Cho X={x1,x2…xn} là tập hợp các điểm dữ liệu, V={v1,v2,v3…vn} là tập các trung tâm

Bước 1: Chọn ngẫu nhiên trung tâm cụm c

Bước 2: Tính khoảng cách giữa các điểm với trung tâm cụm

Bước 3: Gán các điểm dữ liệu đến trung tâm cụm có khoảng cách tối thiểu của tất

cả các trung tâm cụm

Bước 4: Tính toán lại các trung tâm cụm mới bằng công thức:

Trang 29

Trong đó: ci đại diện cho số lượng các điểm dữ liệu trong cụm thứ i

Bước 5: Tính toán lại khoảng cách giữa mỗi điểm dữ liệu và các trung tâm cụm mới

thu được

Bước 6: Nếu không có điểm dữ liệu được gán lại khi dừng thì lặp lại bước 3

Ưu điểm của thuật toán K-mean:

- Thuật toán thực hiện cho ra kết quả nhanh chóng, mạnh mẽ và dễ hiểu

- Độ phức tạp của thuật toán O(tknd) trong đó n là các đối tượng, k là các cụm,

d kích thước của từng đối tượng t là số lần lặp thông thường k,d,t<<n

- Cho kết quả tốt nhất với tập dữ liệu riêng biệt hoặc tách rời nhau

Nhược điểm của thuật toán K-mean:

- Thuật toán yêu cầu biết trước số lượng trung tâm cụm

- Nếu có nhiều hơn 2 bộ dữ liệu chồng chéo nhau thì thuật toán khó phân cụm

- Dữ liệu đại diện cho mẫu của tọa độ đề các và tọa độ cực sẽ cho kết quả khác nhau

- Lựa chọn ngẫu nhiên trung tâm các cụm có thể dẫn tới kết quả không tối ưu

- Không thể xử lý nhiễu và dữ liệu ngoại lai

- Thuật toán thất bại với tập dữ liệu phi tuyến tính

Ngoài thuật toán K-means ra, phân cụm phân hoạch còn bao gồm một số

các thuật toán khác như: Thuật toán PAM; Thuật toán CLARA; Thuật toán CLARANS

2.2.3 Thuật toán phân cụm dựa trên mật độ (Thuật toán DBSCAN)

Thuật toán phân cụm dựa trên mật độ đóng vai trò quan trọng trong tìm kiếm cấu trúc phi tuyến tính dựa trên mật độ Thuật toán phân cụm dựa trên không gian mật độ DBSCAN (Density-Based Spatial Clustering of Applications with Noise) là một giải thuật phân cụm dựa trên mật độ, được phát triển bởi Ester, Kriegel, Sander

và Xu (1996) được sử dụng rộng rãi dựa trên mật độ Nó dựa trên hai khái niệm khả năng tiếp cận mật độ và khả năng kết nối mật độ

Trang 30

Khả năng tiếp cận mật độ: một điểm p được gọi là mật độ truy cập từ một điểm q nếu p nằm trong khoảng cách ε từ điểm q và q có đủ số điểm lân cận với khoảng cách trong phạm vi ε

Khả năng kết nối mật độ: một điểm p và q được cho là kết nối mật độ nếu có tồn tại một điểm r trong đó có đủ số điểm trong lân cận và cả hai điểm p và q nằm trong khoảng cách ε Nếu q là lân cận của r, r là lân cận của s, s là lân cận của t, t là lân cận của p có nghĩa là q là lân cận của p

Hình 2.3 Hình dạng các cụm được khám phá bởi thuật toán DBSCAN

Các bước của thuật toán phân cụm dựa trên mật độ DBSCAN:

Cho tập hợp các điểm dữ liệu X={x1,x2,x3…xn} DBSCAN yêu cầu hai tham số: ε và số lượng tối thiểu các điểm cần thiết để tạo thành một cụm

Bước 1: Bắt đầu với một điểm tùy ý không được kiểm tra

Bước 2: Rút ra các lân cận của điểm này bằng cách sử dụng khoảng cách ε

Bước 3: Nếu có đầy đủ các điểm lân cận xung quanh điểm này thì bắt đầu

quá trình phân cụm và điểm được đánh dấu truy cập khác thời điểm này được dán nhãn như là nhiễu

Bước 4: Nếu một điểm được tìm thấy là một phần của cụm thì lân cận ε của

nó cũng là một phần của cụm và thủ tục trên từ bước 2 được lặp đi lặp lại cho tất cả các điểm lân cận ε Điều này được lặp đi lặp lại cho đến khi tất cả các điểm trong cụm được xác định

Bước 5: Một điểm mới ghé thăm thường xuyên được lấy ra và xử lý, dẫn

đến việc phát hiện ra một cụm hoặc nhiễu

Trang 31

Bước 6: Quá trình này được thực hiện cho tới khi các điểm viếng thăm được

đánh dấu

Ngoài thuật toán DBSCAN ra, phân cụm dựa trên mật độ còn bao gồm 2

thuật toán khác như: Thuật toán OPTICS; Thuật toán DENCLUE

2.2.4 Thuật toán phân cụm dựa trên lưới (Thuật toán STING)

Thuật toán STING là kỹ thuật phân cụm đa phân giải dựa trên lưới, trong đó vùng không gian dữ liệu được phân rã thành số hữu hạn các ô chữ nhật, điều này có nghĩa là các ô lưới được hình thành từ các ô lưới con để thực hiện phân cụm Có nhiều mức của các ô chữ nhật tương ứng với các mức khác nhau của phân giải trong cấu trúc lưới, và các ô này hình thành cấu trúc phân cấp: mỗi ô ở mức cao được phân hoạch thành số các ô nhỏ ở mức thấp hơn tiếp theo trong cấu trúc phân cấp Các điểm dữ liệu được nạp từ CSDL, giá trị của các tham số thống kê cho các thuộc tính của đối tượng dữ liệu trong mỗi ô lưới được tính toán từ dữ liệu và lưu trữ thông qua các tham số thống kê ở các ô mức thấp hơn Các giá trị của các tham

số thống kê gồm: số trung bình - mean, số tối đa - max, số tối thiểu - min, số đếm - count, độ lệch chuẩn - s,

Các đối tượng dữ liệu lần lượt được chèn vào lưới và các tham số thống kê ở trên được tính trực tiếp thông qua các đối tượng dữ liệu này STING có khả năng

mở rộng cao, nhưng do sử dụng phương pháp đa phân giải nên nó phụ thuộc chặt chẽ vào trọng tâm của mức thấp nhất Cấu trúc dữ liệu lưới thuận tiện cho quá trình

xử lí song song và cập nhật liên tục, khi duyệt toàn bộ CSDL một lần để tính toán các đại lượng thống kê cho mỗi ô, nên nó rất hiệu quả và do đó độ phức tạp thời gian để tạo các cụm xấp xỉ O(n), trong đó n là tổng số các đối tượng Sau khi xây dựng cấu trúc phân cấp, thời gian xử lý cho các truy vấn là O(g), trong đó g là tổng

Trang 32

1 2

khoảng) của xác suất mà ô này liên quan tới truy vấn

Bước 3: Từ khoảng tin cậy của tính toán trên, gán nhãn cho là có liên quan

hoặc không liên quan

Bước 4: Nếu lớp này là lớp dưới cùng, chuyển sang bước 6, nếu khác thì

chuyển sang Bước 5

Bước 5: Duyệt xuống dưới của cấu trúc cây phân cấp một mức Chuyển sang

bước 2 cho các ô mà hình thành các ô lên quan của lớp có mức cao hơn

Bước 6: Nếu đặc tả được câu truy vấn, chuyển sang bước 8, nếu không thì

chuyển sang bước 7

Bước 7: Truy lục dữ liệu vào trong các ô liên quan và thực hiện xử lí Trả lại

kết quả phù hợp yêu cầu của truy vấn Chuyển sang bước 9

Bước 8: Tìm thấy các miền có các ô liên quan Trả lại miền mà phù hợp với

yêu cầu của truy vấn Chuyển sang bước 9

Bước 9: Dừng

Ngoài thuật toán STING ra, phân cụm dựa trên lưới còn có thêm một thuật

toán khác là: Thuật toán CLIQUE

2.2.5 Các thuật toán phân cụm dựa trên mô hình (Thuật toán EM)

Thuật toán EM gán các đối tượng cho các cụm đã cho theo xác suất phân phối thành phần của đối tượng đó Phân phối xác suất thường được sử dụng là phân phối xác suất Gaussian với mục đích là khám phá lặp các giá trị tốt cho các tham số của nó bằng hàm tiêu chuẩn là hàm logarit khả năng của đối tượng dữ liệu, đây là hàm tốt để mô hình xác suất cho các đối tượng dữ liệu EM có thể khám phá ra nhiều hình dạng cụm khác nhau, tuy nhiên do thời gian lặp của thuật toán khá nhiều nhằm xác định các tham số tốt nên chi phí tính toán của thuật toán khá cao Thuật toán được chia thành hai bước và quá trình đó được lặp lại cho đến khi vấn

đề được giải quyết: các bước thực hiện của thuật toán EM

Các bước thực hiện của thuật toán EM

Bước 1: Khởi tạo tham số

Trang 33

Lặp lại bước 2 và 3 cho đến khi đạt được kết quả

Ngoài thuật toán EM ra, phân cụm dựa trên mô hình còn có thêm một

thuật toán khác là: Thuật toán COBWEB

2.3 Thuật toán phân cụm bằng mạng Kohonen

2.3.1 Mạng Kohonen là gì?

Mạng Kohonen (hay còn được gọi là Self Organizing Maps viết tắt là SOMs)

là một kỹ thuật trực quan dữ liệu được phát minh bởi giáo sư Teuvo Kohonen, nó giúp giảm số chiều (kích thước) của dữ liệu, qua đó giúp cho chúng ta hiểu được dữ liệu với kích thước lớn đó

Điểm nổi bật của thuật toán SOM là nó sẽ chuyển các dạng quan hệ phức tạp, thống kê rời rạc giữa các đối tượng dữ liệu đa chiều (n chiều) về các quan hệ hình học trực quan đơn giản với số chiều được rút gọn đi nhiều lần - thường là một hoặc hai chiều Về bản chất giải thuật được biết đến như là kỹ thuật nén dữ liệu dựa trên véc tơ trọng số

2.3.2 Cấu trúc mô hình mạng Kohonen

Mạng Kohonen hai chiều gồm có 2 lớp đó là lớp vào và lớp ra Kohonen Lớp vào (Input layer): dùng để đưa dữ liệu huấn luyện vào mạng Kohonen Kích thước của lớp vào tương ứng với kích thước của mỗi mẫu học Trong mạng Kohonen hai chiều, các nơron của lớp ra được sắp xếp trên một mảng 2 chiều, mảng này được gọi là lớp ra Kohonen Tất cả các nơron của lớp vào đều được nối với các nơron trên lớp ra Kohonen Mỗi liên kết giữa đầu vào và đầu ra của mạng Kohonen tương

Trang 34

ứng với một trọng số Kích thước của mỗi véctơ trọng số bằng kích thước của lớp vào Ta có thể hình dung cấu trúc mạng Kohonen theo hình sau:

Hình 2.4 Một dạng mạng nơron Kohonen 2.3.3 Thuật toán phân cụm bằng mạng Kohonen

Xét một tập dữ liệu là các véc tơ trong không gian n chiều

V = [V1, V2, ,Vn]

Khởi tạo tham số thời gian t: t = 0

Bước 1: Khởi tạo vector trọng số Wij cho mỗi nơron i trong mạng Kohonen

Bước 2: Lấy một mẫu huấn luyện x từ tập huấn luyện

Bước 3: Tìm mẫu khớp tốt nhất (BMU) - phần tử nơron chiến thắng:

Hình 2.5 Phần tử nơron chiến thắng BMU

Trang 35

0exp t ( 1, 2,3 )

Duyệt tất cả các nút và tính khoảng cách Euclide giữa vector trọng số của mỗi

nút và vector nhập hiện hành Công thức để tính khoảng cách Euclide được cho

V: vector nhập hiện hành; W: vector trọng số của phần tử được chọn Nút

có vector trọng số gần nhất với giá trị của vector nhập sẽ được chọn là BMU

Bước 4: Xây dựng các phần tử lân cận

Các nơron lân cận tùy thuộc vào bán kính, được sắp xếp trong lưới theo hình chữ nhật hoặc hình lục giác Số các lân cận xác định trọng tâm của ma trận kết quả,

có ảnh hưởng đến độ chính xác và khả năng sinh ma trận của SOM

Hình 2.6 Các vùng lân cận

- Đặc tính duy nhất của thuật toán học Kohonen là vùng lân cận của BMU được xây dựng trên vector khoảng cách sẽ được co lại sau một số lần lặp nhất định Điều này được thực hiện bằng cách co lại bán kính của vùng lân cận theo số lần lặp

- Phép co sẽ được thực hiện theo hàm mũ nội suy sau:

σ: bán kính lân cận của BMU tại thời điểm t

σ0: bán kính lân cận của BMU tại thời điểm t0

λ: hằng số thời gian t: là bước lặp hiện tại

- Giá trị của hằng số λ phụ thuộc vào σ và số lần lặp để chạy giải thuật Nó được tính theo công thức sau:

N: số lần lặp để chạy giải thuật (số lần học của mạng)

λ và σ sẽ được dùng để tính bán kính lân cận trong mỗi lần lặp của giải thuật

- Khi bán kính lân cận đã được xác định, việc xác định các phần tử lân cận

Trang 36

( 1) W( ) ( ) ( )( ( ) W( ))

W t t a t L t V t t

2 2

Bước 5: Hiệu chỉnh trọng số của các phần tử lân cận - quá trình học của giải thuật SOM

Trọng số của các phần tử lân cận được xác định ở bước trên bao gồm cả BMU

sẽ được điều chỉnh để chúng có giá trị gần giống với giá trị của vector nhập hơn Phần tử càng gần với BMU, thì trọng số của nó sẽ càng dễ bị thay đổi nhiều hơn Các vector trọng số sẽ được hiệu chỉnh theo công thức sau:

(2.6) Hàm nội suy theo thời gian học thể hiện sự tác động của khoảng cách đối với quá trình học và được tính theo công thức sau:

(2.7) dist : là khoảng cách từ một nơron đến nơron chiến thắng

t : bước lặp hiện tại.;

L: tốc độ học (sẽ giảm dần theo số lần lặp)

- Biểu thức trên cho thấy trọng số của một nút sau khi hiệu chỉnh chính là giá trị trọng số cũ W của nó cộng thêm phần giá trị khác biệt giữa trọng số W và vector nhập V theo hệ số tốc độ học

- Hàm nội suy tốc độ học L(t) cho mỗi bước lặp đựơc tính theo công thức sau:

(2.8)

L0: Giá trị khởi tạo ban đầu của tốc độ học; λ: hằng số thời gian

- Càng tiến dần về điểm giữa thì tốc độ học sẽ càng giống với hàm mũ nội suy của phép co Tốc độ học sẽ được nội suy dần theo tốc độ học và giá trị của hàm sẽ tiến dần về không khi số lần lặp đạt đến những bước cuối cùng

Bước 6: Vòng lặp: Tăng t, lấy mẫu học tiếp theo Lặp lại bước 2 cho đến khi giải

thuật tối ưu hoặc đạt đến số lần lặp xác định N cho trước

Chú ý: Số lượng vector của tập huấn luyện là có giới hạn Để cho việc huấn

luyện mang lại kết quả tốt nhất đòi hỏi số bước huấn luyện phải lớn và nếu kích thước của tập huấn luyện là nhỏ thì những mẫu huấn luyện có thể được sử dụng lặp

Trang 37

lại, những mẫu có thể được áp dụng đều đặn theo chu kỳ hoặc theo một trật tự hoán

vị ngẫu nhiên

2.4 Một số vấn đề phân cụm bằng mạng Kohonen

2.4.1 Khởi tạo mạng Kohonen (SOM)

Trong thuật toán SOM cơ sở mối quan hệ giữa các topo và số nơron được bố trí ngay từ đầu Số lượng các nơron thường được lựa chọn là lớn nhất với kích thước lân cận điều chỉnh độ mịn và tính khái quát của bản đồ Bản đồ không bị ảnh hưởng nhiều khi số lượng nơron vượt quá số lượng vector đầu vào nếu kích thước lân cận được lựa chọn thích hợp Khi kích thước của bản đồ tăng số lượng nơron các giai đoạn huấn luyện trở nên nặng nề và khó khăn Trước khi huấn luyện phải khởi tạo giá trị ban đầu cho vector trọng số Có ba phương pháp khởi tạo được sử dụng [10]: khởi tạo ngẫu nhiên, khởi tạo sử dụng hàm mẫu ban đầu, khởi tạo tuyến tính

- Khởi tạo ngẫu nhiên: các giá trị ngẫu nhiên được gán cho vector bảng mã đây là trường hợp được sử dụng khi dữ liệu đầu vào tại thời gian khởi tạo không có

gì hoặc ít được biết đến

- Khởi tạo sử dụng mẫu ban đầu: sử dụng các mẫu ban đầu được thực hiện bởi các mẫu ban đầu của bộ dữ liệu đầu vào và có thể được sử dụng cho khởi tạo vector bảng mã Điều này có lợi thế mà các điểm tự động đặt trong cùng một phần tử không gian đầu vào với dữ liệu

- Khởi tạo tuyến tính: phương pháp khởi tạo sử dụng phân tích các thành phần chính của dữ liệu đầu vào Vector bảng mã được khởi tạo nằm trong cùng một không gian đầu vào được kéo dài bởi 2 vector đặc trưng tương ứng với những giá trị riêng lớn nhất của dữ liệu đầu vào Điều này có tác dụng kéo SOM cùng hướng dữ liệu có năng lượng quan trọng nhất Phương pháp khởi tạo tuyến tính được sử dụng thành công Tuyến tính là phương pháp tốt cho khởi tạo bản đồ đa chiều

2.4.2 Huấn luyện mạng Kohonen

Bước 1: Lựa chọn ngẫu nhiên vector mẫu x từ tập dữ liệu đầu vào và sử dụng các biện pháp đo khoảng cách giữa vector mẫu và các vector trọng số của bản đồ Thông thường sử dụng biện pháp đo khoảng cách Euclide Chọn phần tử trùng khớp

Trang 38

2.4.3 Tỉ lệ học

Tỉ lệ học kí hiệu là α, là một hằng số và luôn luôn nhỏ hơn 1, thông thường ta đặt cho tham số học một giá trị từ 0.4 đến 0.5 hoặc thấp hơn Tỉ lệ học lớn sẽ làm cho quá trình học nhanh hơn Tuy nhiên nếu tỉ lệ học quá cao thì hội tụ sẽ không bao giờ xảy ra

Định dạng
Số trang	77
Dung lượng	0,94 MB