Tiểu luận môn hệ hỗ trợ quyết định NEURAL NETWORK VÀ ỨNG DỤNG TRONG NHẬN DIỆN THẺ TÍN DỤNG XẤU

Cùng với sự phát triển như vũ bão của công nghệ thông tin trong thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, để tạo ra một mạng Neural nhân tạo có thể thực hiện tín

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

Giảng viên hướng dẫn: PGS.TS Đỗ Phúc

Học viên thực hiện: CH1301031 - Nguyễn Thành Phương

TP Hồ Chí Minh, tháng 6 năm 2014

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

1.1 Lý do chọn đề tài 1

1.2 Mục đích nghiên cứu 2

1.3 Nội dung nghiên cứu 2

1.4 Bố cục báo cáo 2

CHƯƠNG 2: MẠNG NEURAL 3

2.1 Cấu trúc và mô hình của một neural nhân tạo .3

2.2 Lớp neural 5

2.3 Khái niệm và phân loại mạng neural 6

2.4 Các thủ tục học của mạng 11

2.5 Giải thuật lan truyền ngược 15

CHƯƠNG 3: TÌM HIỂU VIỆC ĐÁNH GIÁ RỦI RO THẺ TÍN DỤNG 20

3.1 Mở đầu 20

3.2 Thẻ tín dụng là gì 20

3.3 Khả năng và rủi ro của thẻ tín dụng 20

CHƯƠNG 4: THUẬT TOÁN VÀ MÔ HÌNH CỦA ỨNG DỤNG MINH HỌA 22

4.1 Thuật toán và mô hình 22

4.2 Các biến input 22

4.3 Các bước chạy thử và kết quả chương trình 23

CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 27

5.1 Kết quả 27

5.2 Hạn chế 27

tử, công cụ chủ yếu của công nghệ thông tin hiện đại, phát triển tới mức độ cao thì những ý tưởng này đã được hiện thực hoá Chất lượng và khối lượng của các hoạt động trí óc này không ngừng tăng lên theo sự tiến triển nhanh chóng về khả năng lưu trữ và xử lý thông tin của máy Từ hàng chục năm nay, cùng với khả năng tính toán khoa học kỹ thuật không ngừng được nâng cao, các hệ thống máy tính đã được ứng dụng và thực hiện được rất nhiều mô hình tính toán thông minh để phục vụ cho các ngành kinh tế, xã hội, hình thành dần kết cấu hạ tầng thông tin quốc gia, nền móng của

sự phát triển kinh tế thông tin ở nhiều nước Sự phong phú về thông tin, dữ liệu cùng với khả năng kịp thời khai thác chúng đã mang đến những năng suất và chất lượng mới cho công tác quản lý, hoạt động kinh doanh, phát triển sản xuất và dịch vụ

Một trong những mô hình tính toán thông minh đó, ta phải kể đến đó chính là mạng Neural nhân tạo Điểm quyết định nên sự tồn tại và phát triển ở một con người

đó chính là bộ não Cùng với sự phát triển như vũ bão của công nghệ thông tin trong thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, để tạo ra một mạng Neural nhân tạo có thể thực hiện tính toán và làm được những điều huyền bí, tưởng chừng như nan giải! Với sự kết hợp kỳ diệu của tin học và sinh học, con người

đã có thể mô phỏng được hoạt động của các mạng noron trong bộ não của chúng ta thông qua các chương trình máy tính

Có lẽ mạng Neural không chỉ hấp dẫn đối với những người yêu thích công nghệ thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng dụng thực tiễn trong cuộc sống của nó Chúng ta hoàn toàn có thể nhận dạng dấu vết vân tay của tội phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dự đoán thời tiết, dự toán chi phí cho một dự án đường cao tốc, khôi phục những tấm ảnh, hay một chiếc xe lăn dành cho người khuyết tật có thể nhận được mệnh lệnh điều khiển bằng cử chỉ, hành

1.2 Mục đích nghiên cứu

- Tìm hiểu về mạng neural và ứng dụng

- Nghiên cứu các bước xây dựng một ứng dụng nhờ mạng Neural

- Nghiên cứu cách ứng dụng mạng Neural để dự đoán độ rủi ro của thẻ tín dụng

1.3 Nội dung nghiên cứu

- Mạng Neural

- Một giải thuật học của các mạng Neural với các trọng số

- Thẻ tín dụng và cách nhận diện rủi ro bằng neural network

1.4 Bố cục báo cáo

- Chương 1: Tổng quan

- Chương 2: Mạng neural

- Chương 3: Tìm hiểu việc đánh giá rủi ro thẻ tín dụng

- Chương 4: Thuật toán và mô hình của các mạng Neural mờ sử dụng trong ứng dụng

- Chương 5: Kết luận và hướng phát triển

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

CHƯƠNG 2: MẠNG NEURAL

2.1 Cấu trúc và mô hình của một neural nhân tạo

Mô hình toán học của mạng neural sinh học được đề xuất bởi McCulloch và Pitts, thường được gọi là Neural M-P, ngoài ra nó còn được gọi là phần tử xử lý và được ký hiệu là PE (Processing Element)

Mô hình Neural có m đầu vào x1, x2, , xm, và một đầu ra yi như sau:

Hình 2.1 Mô hình một Neural nhân tạo

- Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với trọng

số liên kết của nó

- Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của hàm truyền

- Đầu ra: Là tín hiệu đầu ra của một Neural, với mỗi Neural sẽ có tối đa một đầu

01

x khi

x khi

01

)sgn(

x khi

x khi x

10

11

)sgn(

x khi

x khi

x

x khi x

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

- Hàm ngưỡng hai cực

11

Vì mỗi noron trong một lớp sản sinh ra Net đầu vào và tín hiệu ra Out riêng nên tất cả các tín hiệu này được tổ chức thành các vecto Net và Out Các vecto Out này có thể dùng như tín hiệu vào X của các noron kế tiếp Hình vẽ sau là một ví dụ về 1 lớp có

4 noron và vecto tín hiệu vào có 3 biến

Hình 2.4 Mạng truyền thẳng một lớp

Trong ma trận trọng số, các hàng là thể hiện Neural, hàng thứ j có thể đặt nhãn như một vector wj của Neural thứ j gồm m trọng số wji Các trọng số trong cùng một cột thứ j (j=1,2, ,n) đồng thời cùng nhận một tín hiệu đầu vào xj

wj = [wj1, wj2, ., wjm]

Tại cùng một thời điểm, vector đầu vào x = [x1, x2, , xn] có thể là một nguồn bên ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

2.3.2 Mạng neural truyền thẳng nhiều lớp

Hình 2.5 Mạng truyền thẳng nhiều lớp

Mạng neural nhiều lớp có các lớp được phân chia thành 3 loại sau đây:

- Lớp vào là lớp Neural đầu tiên nhận tín hiệu vào xi (i = 1, 2, , n) Mỗi tín hiệu

xi được đưa đến tất cả các Neural của lớp đầu vào Thông thường, các Neural đầu vào không làm biến đổi các tín hiệu vào xi, tức là chúng không có các trọng số hoặc không

có các loại hàm chuyển đổi nào, chúng chỉ đóng vai trò phân phối các tín hiệu

- Lớp ẩn là lớp Neural sau lớp vào, chúng không trực tiếp liên hệ với thế giới bên ngoài như các lớp Neural vào/ra

- Lớp ra là lớp Neural tạo ra các tín hiệu ra cuối cùng

2.3.3 Mạng neural phản hồi

Mạng neural phản hồi là mạng mà đầu ra của mỗi Neural được quay trở lại nối với đầu vào của các Neural cùng lớp được gọi là mạng Laeral như hình 6

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Hình 2.6 Mạng hồi tiếp một lớp

2.3.4 Mạng neural hồi quy

Hình 2.7 Mạng neural hồi quy

Mạng neural phản hồi có thể thực hiện đóng vòng được gọi là mạng neural hồi quy như hình 7 Mạng neural hồi quy có trọng số liên kết đối xứng như mạng Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 6) Mạng BAM thuộc nhóm mạng neural hồi quy, gồm 2 lớp liên kết 2 chiều, không được gắn với tín hiệu vào/ra Nghiên cứu mạng neural hồi quy mà có trọng số liên kết không đối xứng, thì sẽ gặp phải vấn đề phức tạp nhiều hơn so với mạng truyền thẳng và mạng hồi quy có trọng số liên kết đối xứng

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Hình 2.8 Cấu trúc của mạng Hopfield

Như mạng Hopfield đã vẽ ở trên, ta thấy nút có một đầu vào bên ngoài xj và một giá trị ngưỡng j(j = 1,2, n) Một điều quan trọng cần nói ở đây là mỗi nút không có đường phản hồi về chính nó Nút đầu ra thứ j được nối tới mỗi đầu vào của nút khác qua trọng số wij, với ij, (i = 1,2, ,n), hay nói cách khác wii = 0, (với i = 1,2, ,n) Một điều quan trọng nữa là trọng số của mạng Hopfield là đối xứng, tức là wij =

wji, (với i,j = 1,2, ,n) Khi đó, luật cập nhật cho mỗi nút mạng là như sau:

,sgn

1

) ( )

i k j ij k

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng bộ Với luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của hệ (với giá trị đầu đã được xác định trước) Trong khi đó, với luật cập nhật đồng bộ thì có thể làm mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn

2.3.6 Mạng BAM

Mạng BAM bao gồm hai lớp và được xem như là trường hợp mở rộng của mạng Hopfield Ở đây ta chỉ xét mạng rời rạc, vì nó đơn giản và dễ hiểụ

Hình 2.9 Cấu trúc của BAM

Khi mạng neural được tích cực với giá trị đầu vào của vector tại đầu vào của một lớp, mạng sẽ có hai mẫu trạng thái ổn định, với mỗi mẫu tại đầu ra của nó là một lớp Tính động học của mạng thể hiện dưới dạng tác động qua lại giữa hai lớp Cụ thể hơn, giả sử một vector đầu vào x được cung cấp cho đầu vào của lớp Neural ỵ Đầu vào được xử lý và truyền tới đầu ra của lớp y như sau:

y’ = ăwx) ; y i' aw ij x j ; với i = 1,2, ,n (7)

Ở đó ặ) là hàm truyền, vector y’ bây giờ lại nuôi trở lại lớp Neural X và tạo nên đầu ra như sau:

x(2) = a(w(T )y(1)) (truyền ngược lần thứ nhất)

y(3) = a(wx(2)) (truyền thẳng lần thứ hai)

x(4) = a(w(T )y(3)) (truyền ngược lần thứ hai) (9)



x(k) = a(w(T )y(k-1)) (truyền ngược lần thứ k/2)

Chú ý rằng trạng thái cập nhật trong phương trình (9) là đồng bộ theo phương trình (7) và (8) Trạng thái cập nhật cũng có thể không đồng bộ theo phương trình (7)

và (8) với các nút i, j được chọn tự do Người ta đã chỉ ra rằng, hệ thống ổn định cho

cả hai chế độ đồng bộ và không đồng bộ Tuy nhiên, chế độ đồng bộ sẽ làm cho hệ thống hội tụ nhanh hơn nhiều

2.4 Các thủ tục học của mạng

Nguyên tắc học của mạng noron được chia làm 2 loại: học tham số và học cấu trúc Trong đo, học tham số quam tâm đến chiến lược hiệu chỉnh trong số của các noron trong mạng Học cấu trúc tập trung vào việc thay đổi cấu trúc bao gốm số lớp, số noron, cấu trúc topo của các trọng số Cả 2 loại có thể học đồng thời hoặc tách biệt

2.4.1 Học tham số

Giả sử co n noron, mỗi noron có m trọng số Chúng có thể được kết hợp lại tạo thành ma trận dạng sau:

T T

W

W W

2 1

n

m m

W W

W

W W

W

W W

2 22

21

1 12

11

Trong đó, wi=(wi1,wi2,…,wim)T, i=1,2,…,n là vecto trọng số của noron thứ i và

wij là trọng số kết nối từ noron thứ j đến noron thứ i

Các thủ tục học tham số nhằm tìm kiếm ma trận trọng số W sao cho mạng có khả năng đưa ra các dự báo sát với thực tế Các thủ tục học tham số có thể chia thành 3 lớp nhỏ hơn là: học có chỉ đạo (học có thầy), học tăng cường, học không có chỉ đạo(học không có thầy)

2.4.2 Học có chỉ đạo:

Mỗi lần vectơ tín hiệu vào X được cung cấp cho mạng, ta cũng cấp luôn cho mạng vectơ đầu ra mong muốn là Y Và mạng phải sản sinh ra tín hiệu ra Out sao cho

nó gần với Y nhất Cụ thể, nếu ta cấp một tập ngẫu nhiên M=(Xi,Yi) tức là khi vectơ Xi

đi vào mạng, vectơ đầu ra Yi cũng được cung cấp (hình 1).Độ lệch giữa tín hiệu đầu

ra Out và vectơ đầu ra Yi sẽ được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai

số Tín hiệu sai số này sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu ra Out sẽ gần với vectơ đầu ra mong muốn Yi

Nếu tín hiệu đầu ra Out= Y thì lúc đó mạng noron đã bão hoà, khi đó thủ tục học của mạng đã hội tụ

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

2.4.3 Học tăng cường:

cũng là một dạng của học có chỉ đạo vì mạng noron vẫn nhận tín hiệu bên ngoài môi trường Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê phán, chứ không phải là các chỉ dẫn cụ thể như trong học có chỉ đạo Nghĩa là, tín hiệu tăng cường chỉ có thể nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai chứ không chỉ cho mạng biết tín hiệu đúng như thế nào Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường (hình 2) nhằm mục đích giúp cho mạn hiệu chỉnh các trọng số với hi vọng nhận được tín hiệu tăng cường tốt hơn trong tương lai Các thủ tục học tăng cường thường được biết đến như các thủ tục học với nhà phê bình chứ

không phải là học với thầy như các thủ tục học có chỉ đạo

2.4.4 Học không chỉ đạo:

Trong thủ tục này, không có thông tin nào từ bên ngoài môi trường chỉ ra tín hiệu đầu ra Out phải như thế nào hoặc đúng hay sai Mạng noron phải tự khám phá các đặc điểm, các mối quan hệ đang quan tâm như: dạng đường nét, có chuẩn – có bình thường hay không, các hệ số tương quan, tính cân xứng, tính chạy,… của các mẫu học

và sau đó chuyển những quan hệ tìm thấy qua đầu ra Trong quá trình học, các trọng số

của mạng sẽ thay đổi để thể hiện các đặc tính được phát hiện

Vecto vào

Sản sinh tín hiệu tăng cường

Tín hiệu tăng cường

Hình 2.11- Sơ đồ học tăng cường

Vecto vào Mạng noron Tín hiệu ra Out

Hình 2.12- Sơ đồ học không chỉ đạo

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Các noron lớp thứ t được nối đầy đủ với các noron lớp thứ t+1 Trong nhiều ứng dụng thực tế, để đơn giản, người ta thường sử dụng mạng có 1 lớp ẩn, số noron trong lớp ẩn được xác định dựa trên kinh nghiệm, hoặc dựa trên các kỹ thuật tìm kiếm khác nhau

Cấu trúc của mạng là đặc điểm chính tác động đến tính mềm dẻo của mô hình mà mạng sản sinh ra, đó là số lớp, số noron và cách mà chúng được nối với nhau Các đặc điểm chính của mạng với chiến lược học lan truyền ngược sai số thường là:

- Các lớp của mạng noron lan truyền ngược của sai số được nối đầy đủ với nhau, tức là tín hiệu ra của các noron trên lớp này chính là tín hiệu vào của tất cả các noron trên lớp kế tiếp

- Mỗi noron có một kết nối với Bias làm tăng khả năng thích nghi và tăng tính mềm dẻo của mạng trong quá trình học

- Số noron trên lớp vào và lớp ra là cố định đối vì nó chính là số chiều của vecto vào và vecto lời giải Chúng được xác định trước phụ, thuộc vào tương ứng ứng dụng

đủ bao phủ toàn không gian biến

2.5.2 Huấn luyện mạng

Học có giám sát với tập mẫu {(Xp, Tp)}

Thủ tục học có thể tóm lược như sau:

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Mỗi khi đưa một mẫu Xp=(xp1, …., xpni) vào mạng, ta thực hiện các công việc sau:

Lan truyền mẫu Xp qua mạng để có Op = Tinh(Xp, W)

Tính sai số e của mạng dựa trên sai lệch Op-Tp

Hiệu chỉnh các trọng số liên kết noron dẫn tới lớp ra từ noron j tại lớp ẩn cuối cùng tới

noron i tại lớp ra:

wij = wij + α aj δi (1.23)

ở đây α là hệ số học

aj là đầu ra của noron j

δi là sai số mà noron i ở lớp ra phải chịu trách nhiệm, được xác định theo

δi = ei g’(Neti) (1.24)

Với erri là sai số thành phần thứ i trong ep, Neti là tổng thông tin vào có trọng

số của noron thứ i (Neti = ∑wij aj) và g’(.) là đạo hàm của hàm kích hoạt g được dùng