nạn rửa tiền và các phương pháp cảnh báo hiện tượng rửa tiền

Giao diện hệ thống.. Kiến trúc mạng nơron... Hơn nữa mạng nơron... Chức năng tạo đầu ra được thể hiện bằng hàm truyền transfer function... Thông thường nơron có nhiều

Trang 1

Mục lục

Lời cảm ơn 1

Lời giới thiệu 2

Chương 1 - Nạn rửa tiền và các phương pháp cảnh báo hiện tượng rửa tiền 1.1 Các khái niệm về nạn rửa tiền 6

1.2 Các thủ thuật rửa tiền tinh vi 7

1.3 Các phương pháp cảnh báo hiện tượng rửa tiền 8

Chương 2 - Giới thiệu về mạng nơron 2.1 Giới thiệu chung về mạng nơron 2.1.1 Khái niệm về nơron 8

2.1.2 Mô hình nơron 9

2.1.3 Khái niệm về mạng nơron 10

2.1.4 Một số chức năng của mạng nơron 11

2.1.4.1- Chức năng phân loại mẫu 11

2.1.4.2- Học và tổng quát hoá: 11

2.1.5 Kiến trúc mạng nơron 12

2.1.5.1- Lớp của các nơron 12

2.1.5.2- Mạng nơron nhiều lớp 13

2.2 Các mạng hàm cơ sở xuyên tâm 14

2.2.1 - Giới thiệu 2.2.2 - Cấu trúc mạng RBF

2.2.3 - Các đặc trưng đơn vị RBF

2.2.4 - Diễn giải hàm cơ sở 16

2.2.5 - Thiết kế và đào tạo mạng RBF 16

2.2.6 - Các ứng dụng của mạng RBF 17

Chương 3 - ứng dụng mạng nơron cảnh báo hiện tượng rửa tiền 3.1 Thiết kế mạng nơron 18

3.2 Các cân nhắc về dữ liệu 22

3.3 Hiệu suất của mô hình 24

3.4 Các yêu cầu về phần cứng và phần mềm 26

3.5 Cập nhật mô hình 29

Chương 4 - Cài đặt và thử nghiệm 4.1 Giao diện hệ thống 30

4.2 Tổ chức và quản lý dữ liệu .35

4.3 Kiến trúc mạng nơron 39

4.4 Giai đoạn huấn luyện mạng 45

4.5 Sử dụng mạng để cảnh báo hiện tượng rửa tiền Kết luận và hướng phát triển 53

Tài liệu tham khảo 54

Trang 2

Lời giới thiệu:

Mạng nơron nhân tạo là một lĩnh vực đang được quan tâm nghiên cứuứng dụng trong các ngành kinh tế, kỹ thuật và thương mại Vì khả năng ứngdụng thực tiễn của nó đang ngày càng mở rộng, nên nó đã trở thành một mônhọc chuyên ngành của sinh viên hệ cử nhân ngành Công nghệ thông tin, cũngnhư một số ngành kỹ thuật khác trong các trường Đại học kỹ thuật Điều đó đãnói lên tính cần thiết của khoa học về mạng nơron trong việc áp dụng giảiquyết các bài toán truyền thống Trong khuôn khổ của khoá luận, em xin trìnhbày ứng dụng của mạng nơron trong việc phát hiện nạn rửa tiền qua ngân hàng Với ý tưởng trên, để trình bày một cách lôgíc các vấn đề và các kỹ thuậttrong việc phát hiện nạn rửa tiền qua ngân hàng bằng mạng nơron, luận vănđược chia làm 4 chương Chương 1 trình bày về nạn rửa tiền và các phươngpháp cảnh báo hiện tượng rửa tiền hiện tại Chương 2 giới thiệu về mạng nơronmục đích của chương này nhằm cung cấp cho người đọc các khái niệm, cácthành phần cơ bản tạo nên mạng nơron, một số mạng nơron kiểu hàm cơ sởRadian (RBF) và cách thức hoạt động của nó

Chương 3 trình bày về ứng dụng mạng nơron cảnh báo hiện tượng rửa tiền,thuật toán của mạng và cách lập trình cơ bản Chương 4 là phần cài đặt thửnghiệm ứng dụng mạng vào thực tế

Do thời gian và kiến thức cũng như kinh nghiệm còn hạn chế, nên đồ ánkhông tránh khỏi còn thiếu sót Kính mong các thầy cô chỉ bảo và các bạn đồngnghiệp quan tâm góp ý

Một lần nữa em xin chân thành cám ơn tất cả các thầy cô đã truyền thụ cho

em kiến thức khoa học và dẫn dắt chúng em trưởng thành

Trang 3

Chương 1: Nạn rửa tiền và các phương pháp cảnh báo

hiện tượng rửa tiền

1.1 Các khái niệm về nạn rửa tiền

Rửa tiền đã trở thành một tội phạm ngày càng tăng chống lại các tổ chức,các thể chế tài chính và các hãng đầu tư trên toàn thế giới Tính nghiêm trọngcủa vấn đề này và sự tấn công tinh vi của nó vào một thể chế tài chính đòi hỏimột biện pháp phát hiện đặc biệt và phức tạp hơn rất nhiều hệ thống dựa vàocác quy tắc đang được sử dụng hiện nay Rửa tiền được xác định như là mộtquá trình giao dịch để chuyển những nguồn tiền bất hợp pháp sang một hìnhthức mới, làm cho nó có vẻ như xuất phát từ những nguồn chính đáng và bằngcách đó che dấu nhân dạng của các cá nhân nắm giữ nguồn tiền đó Ngay cảsau khi được rửa, những đồng tiền này không bao giờ là hợp pháp bởi vì vẻ bềngoài chính đáng không tương ứng với một bản chất được hợp pháp hoá.Luợng tiền rửa trên toàn thế giới ước tính khoảng một nghìn tỷ đô la Mỹ (1).Vì mục tiêu của rửa tiền là che dấu và các tổ chức riêng lẻ không có các nguồndữ liệu rõ ràng về những nguồn tiền được rửa qua tài khoản của họ, khó có thểcó được những con số chính xác Xét đến các thể chế tài chính riêng lẻ, ướctính tỷ lệ phần trăm của hoạt động rửa tiền trên tổng số các giao dịch cũng khócó được mặc dù các con số không chính thức mà Nestor tìm được nằm trongkhoảng 0 – 5% của tất cả các giao dịch, tuỳ thuộc vào quy mô của thể chế Dosự phát triển của công nghệ thông tin, các nước tiên tiến đã ứng dụng mạngNơron để phát hiện các phương pháp rửa tiền tinh vi

Rửa tiền được xác định như là một quá trình giao dịch để chuyển nhữngnguồn tiền bất hợp pháp sang một hình thức mới, làm cho nó có vẻ như xuấtphát từ những nguồn chính đáng và bằng cách đó che dấu nhân dạng của các cá

Trang 4

nhân nắm giữ nguồn tiền đó Ngay cả sau khi được rửa, những đồng tiền nàykhông bao giờ là hợp pháp bởi vì vẻ bề ngoài chính đáng không tương ứng vớimột bản chất được hợp pháp hoá Luợng tiền rửa trên toàn thế giới ước tínhkhoảng một nghìn tỷ đô la Mỹ Vì mục tiêu của rửa tiền là che dấu và các thểchế riêng lẻ không có các nguồn dữ liệu rõ ràng về những nguồn tiền được rửaqua tài khoản của họ, khó có thể có được những con số chính xác Xét đến cácthể chế tài chính riêng lẻ, ước tính tỷ lệ phần trăm của hoạt động rửa tiền trêntổng số các giao dịch cũng khó có được mặc dù các con số không chính thứcmà Nestor tìm được nằm trong khoảng 0 – 5% của tất cả các giao dịch, tuỳthuộc vào quy mô của thể chế.

1.2 Các thủ thuật rửa tiền tinh vi:

Các cơ chế rửa tiền dẫn đến sự chuyển dịch của các nguồn tiền thông quacác thể chế thay đổi và không ngừng tiến triển bởi các nỗ lực của các tổ chứcthực hiện rửa tiền Phần lớn các cơ chế bao gồm 3 giai đoạn: đưa tiền thâmnhập vào hệ thống tài chính, chuyển đổi và đầu tư hợp pháp Trong giai đoạnđưa tiền thâm nhập vào hệ thống tài chính, những kẻ rửa tiền thay đổi vẻ bênngoài của đồng tiền, thường là gửi vào tài khoản dưới dạng tiền mặt Trong giaiđoạn chuyển đổi, các giao dịch phức tạp được thực hiện để cắt đứt mối liên hệgiữa số tiền ban đầu với kẻ rửa tiền ở giai đoạn đầu tư hợp pháp, kẻ rửa tiềngắn cho số tiền một nguồn gốc có vẻ hợp lệ, thường là một công việc kinhdoanh chính đáng Với những cơ chế liên quan đến các thể chế tài chính, cácgiao dịch xảy ra ở cả 3 giai đoạn Điều này làm tăng khả năng có thể sử dụngmột hệ thống phát thiện đủ tinh vi để tìm ra những phương thức khó nhận racủa những cơ chế này Một ví dụ đơn giản về một cơ chế rửa tiền là một sốlượng lớn tiền buôn ma tuý được gửi vào các tài khoản tiết kiệm, từ đó đượcchuyển tới một số tài khoản khác nhằm mục đích chuyển đổi Cuối cùng, nóđược chuyển vào tài khoản của một doanh nghiệp hợp lệ rồi được rút ra dưới

Trang 5

nhiều và thường dính líu đến rất các tài khoản, thể chế tài chính và phương tiệnrửa tiền đa dạng

Các phương tiện tài chính có thể dính líu với việc rửa tiền bao gồm không chỉlà các tài khoản tiết kiệm, ghi nợ, tín dụng và đầu tư Những kẻ rửa tiền khôngthực hiện các giao dịch thông qua các tài khoản kinh doanh của chúng mà cònsử dụng cả những tài khoản hợp pháp của các cá nhân – những người cho phépchúng sử dụng với mục đích rửa tiền Những người này thường được đền bù từviệc cho phép sử dụng tài khoản của họ chứ không tự mình thực hiện các giaodịch rửa tiền Điều này làm cho việc phát hiện rất khó khăn vì sự trà trộn giữagiao dịch hợp pháp và bất hợp pháp

Kỹ thuật hiện đại của rửa tiền bắt đầu xuất hiện sau những năm 1920 khi màở Canada xuất khẩu rượu cồn vào Mỹ không phải là bất hợp pháp và chỉ bấthợp pháp khi nhập khẩu nó từ nước Mỹ Như để làm chúng ở ngoài một công

ty có tên là Bronfmans mở ra một tài khoản tại Ngân hàng của thành phốMontreal

dưới cái tên khác “ J Norton ” Không ai biết bất cứ chút nào về “J Norton”,nhưng tiền vẫn có thể được chuyển bằng điện thoại cho tài khoản này từ Mỹ.Một khoản USD bằng tiền mặt hoặc những chi phiếu có thể sử dụng để muamột hối phiếu đứng tên “ J Norton ” tại bất kỳ chi nhánh nào của Ngân hàng ởMontreal Những “bản thảo” này có thể rồi được đặt vào trong tài khoản ngânhàng của bất kỳ Bronfman nào - công ty kiểm soát và khi thủ quỹ của công tynhìn thấy tên “ J Norton ” thì gửi những đề nghị thanh toán tới công ty ở Mỹ

Giống như với các vấn đề quản lý rủi ro khác, phương thức hoạt động củanhững kẻ rửa tiền cũng tương tự, đôi khi không phân biệt được với hành vi củachủ các tài khoản hợp lệ Vì thế, ngoài việc đưa ra được một tỷ lệ thấp trongcác dữ liệu, phát hiện ra việc rửa tiền mang tính sác xuất Hơn nữa mạng nơron

Trang 6

kiểu đặc biệt mà yêu cầu của sự phân ly giữa các mục tiêu gồm cả hai dạngphân bố không tuyến tính và non-Gaussian Hơn nữa, không gian đặc tính làmột sự ồn ào: không kẻ rửa tiền nào hoặc người nắm giữ tài khoản thích ứngvới sự phân biệt những ranh giới trong đặc trưng không gian, trừ phi nhữngranh giới đặc trưng hiện hữu không rõ ràng và sắp xếp theo mức độ.

1 3 Các phương pháp cảnh báo hiện tượng rửa tiền

Các quốc gia khác nhau có các luật lệ khác nhau liên quan đến việc giám sátvà báo cáo về các luân chuyển của tiền tệ Phần lớn các nước có một giá trịngưỡng Bất cứ khối lượng nào vượt qua ngưỡng này, kể cả chi tiết đầy đủ củagiao dịch phải được báo cáo tới các cơ quan nhà nước thích hợp Nhiều nướccũng có các luật lệ yêu cầu phải báo cáo về các hoạt động bị cho là đáng nghingờ bởi các thể chế tài chính mặc dù một số nước có các chính sách tự do hơncác nước khác Kết quả là, những kẻ rửa tiền thường nhằm vào những nướcnày Các cân nhắc đạo đức và kinh doanh cùng với các luật lệ nói trên buộc cácthể chế tài chính phải nỗ lực phát hiện các hoạt động rửa tiền

Bản chất chính xác của các luật lệ và các quy tắc về khối lượng giao dịch khiếnhọ thích ứng với việc thực hiện một hệ thống phát hiện dựa vào quy tắc Các hệthống này cho phép nhà quản lý rủi ro xác định các quy tắc chính xác để thuyếtphục các luật lệ và lọc ra các hoạt động tài chính có thể bị nghi ngờ Hình 1dưới đây mô tả 2 quy tắc được biểu đồ hoá trong một khoảng trống hai chiều.Trục đứng thể hiện số khoản tiền gửi một người chủ tài khoản thực hiện trongmột khoảng thời gian xác định Trục ngang thể khối lượng tiền gửi tối đa chocác giao dịch này Quy tắc trong trường hợp này là:

Nếu {(5 <= Số các khoản tiền gửi 20) và (Khối lượng tiền gửi > = 10.000)}thìKiểm tra tài khoản có nghi vấn Các tài khoản có bất kỳ giao dịch nào bằnghoặc lớn hơn 10.000 đơn vị sẽ bị báo động cũng như các tài khoản nhận từ 2

Trang 7

thể thêm vào dưới dạng các chiều khác trong khoảng trống, điều này có thể côlập được các giao dịch rửa tiền Mặc dù quy tắc như vậy có thể thoả mãn cácnguyên tắc của chính phủ nhưng những hạn chế của nó là rõ ràng Chẳng hạnmột chủ tài khoản hợp pháp có 5 khoản tiền gửi trong một thời gian xác địnhcó thể bị báo động nhầm Ngược lại, một kẻ rử a tiền thực hiện 4 lần gửi tiềntrong một thời gian xác định hoặc có một giao dịch 9.500 đơn vị lại không bịbáo động Hơn nữa, một chuyên gia hiểu biết về rửa tiền phải xác định đượccác giá trị của ranh giới của các quy tắc Đây là một vấn đề đối với các thể chếtài chính chưa vận hành một hệ thống phát hiện rửa tiền Cuối cùng, các quytắc này mang tính tĩnh và không được cập nhập theo phương thức tự động khikẻ rửa tiền và các chủ tài khoản hợp lệ thay đổi phương thức hoạt động Hệ quảlà một hệ thống trong sự cô lập như vậy sẽ tạo ra số lượng nhiều hơn các khẳngđịnh và phủ định sai.

Mặc dù chưa có một khảo sát kỹ lưỡng nào về các loại hệ thống phát hiệnrửa tiền mà các thể chế tài chính sử dụng Một khảo sát không chính thức củacác tác giả Bernard Chartier & Thomas Spillane đã chỉ ra rằng một số lượnglớn các thể chế hoặc áp dụng một hệ thống dựa trên các quy tắc hoặc không cóhệ thống nào cả Vì hệ thống dựa trên các quy tắc có rất nhiều hạn chế, rõ rànglà cần có thêm một cấu phần trí tuệ nhân tạo để tối đa hóa các phát hiện và hạnchế tối thiểu những khẳng định sai và thích ứng với phương thức rửa tiền đangthay đổi cũng như những khuynh hướng tốt trong các danh mục đầu tư

Hình 1: Hai đường kẻ mô tả qui tắc nhận dạng để phát hiện các giao dịch rửa tiền

B Số khoản gửi

20

Trang 8

10.000 Khối lượng tiền gửi

Chương 2: Giới thiệu về mạng nơron

2.1 – Giới thiệu chung về mạng nơron

2.1.1 - Khái niệm về nơron nhân tạo:

Nơron nhân tạo (Atificial Neural Networks) là sự mô phỏng đơn giản của

nơron sinh học Mỗi nơron nhân tạo thực hiện hai chức năng: chức năng tổnghợp đầu vào và chức năng tạo đầu ra Mỗi nơron nhân tạo có một số đầu vào và

một đầu ra Mỗi đầu vào được gắn một hệ số nhân gọi là trọng số (weight) có ý

nghĩa như mức độ liên kết tại khớp nối trong mạng nơron sinh học Trọng sốcó thể là dương hoặc âm, tương ứng như trong mạng nơron sinh học có hai loại

khớp nối: khớp nối kích thích và khớp nối ức chế Mỗi nơron có một giá trị ngưỡng; chức năng đầu vào chính là tổng có trọng số các tín hiệu vào kết hợp với ngưỡng để tạo tín hiệu đầu vào net input Sự kết hợp này được thực hiện bằng một bộ tổng hay theo một số tài liệu gọi là hàm PSP ( Post Synaptic Potential function) – hàm thế sau khớp nối Chức năng tạo đầu ra được thể hiện bằng hàm truyền (transfer function) Hàm này sẽ nhận tín hiệu đầu vào và tạo

tín hiệu đầu ra của nơron

2.1.2 - Mô hình Nơron

Mạng nơron nhân tạo gồm hai thành phần: các nút (đơn vị sử lý,nơron) vàcác liên kết giữa chúng được gán một trọng số nào đó đặc trưng cho cường độliên kết Ta ký hiệu Pi là tín hiệu đầu vào, Xi là tín hiệu đầu ra của nơron thứ i,trạng thái đầu vào của nơron thứ i được xác định bởi tổng tuyến tính của các tínhiệu vào có trọng số từ các nơron thứ j khác

P w n a  f

Trang 9

b

1

Đầu vào Bộ tổng Hàm truyền

Hình 2: Mô hình Nơron một đầu vào

Một nơron đơn giản với một đầu vào được diễn tả bởi hình vẽ trên Đầu

vào vô hướng p được nhân với trọng số vô hướng w thành wp là một trong hai số hạng được đưa vào bộ tổng Một đầu vào khác là 1 được nhân với hệ số bias

b sau đó được đưa vào bộ tổng Bộ tổng cho ra n, thường được gọi là tín hiệu

đầu vào net input; n được cho qua hàm truyền f kết quả được đầu ra a của nơron Một số tài liệu gọi hàm f là hàm hoạt hoá (activation function)

Nếu chúng ta liên hệ mô hình đơn giản này với một nơron sinh học thì

trọng số w tương ứng với độ liên kết của khớp nối (synapse), đầu vào p tương ứng với dây thần kinh tiếp nhận (dendrite) còn thân nơron (cell body) được mô hình bởi bộ tổng và hàm truyền, đầu ra của nơron a diễn tả tín hiệu ra trên sợi trục nơron sinh học (axon) Đầu ra của nơron được tính bởi:

a = f (wp + b) (1.1)

Đầu ra a phụ thuộc vào hàm truyền f được chọn là hàm nào đó trong từng

trường hợp cụ thể Hệ số bias cũng giống như một trọng số với đầu vào luôn là

1 Nơron có thể có hoặc không có hệ số bias.

Ta thấy rằng w và b là các tham số vô hướng có thể điều chỉnh được của

nơron.Thông thường dạng hàm truyền được chọn bởi người thiết kế và sau đó

các tham số w và b sẽ được điều chỉnh bởi một số luật học để mối quan hệ vào/

ra của nơron thoả mãn mục đích cụ thể của người thiết kế Hàm truyề n f có thể

là hàm tuyến tính hoặc phi tuyến đối với n Có rất nhiều dạng hàm truyền được

sủ dụng

Thông thường nơron có nhiều đầu vào Mỗi đầu vào riêng biệt p1, p2, …pR

đều tương ứng với một trọng số w1.1, w1.2,… w1.R trong ma trận trọng số W Tacó:

Trang 10

n = w1.1p1 + w1.2p2 + … + w1.RpR + b

Hay viết dưới dạng ma trận: n = Wp + b, trong trường hợp này ma trận W chỉ

gồm một hàng Véctơ tín hiệu vào được biểu diễn dưới dạng ma trận sau:

Đầu ra của nơron được tính: a = f (Wp + b) Đối với mỗi phần tử của ma trận

W, ta qui ước để chỉ trọng số nối đầu vào thứ j với nơron thứ i (trong trườnghợp này chỉ có một nơron nên i = 1)

2.1.3 - Khái niệm về mạng nơron:

Mạng nơron nhân tạo là sự liên kết giữa các nơron nhân tạo với nhau Mỗiliên kết kèm theo một trọng số nào đó đặc trưng cho đặc tính kích hoạt / ức chếgiữa các nơron Các nơron còn gọi là các nút được sắp xếp trong mạng theo cáclớp, bao gồm lớp ra (output layer) và các lớp che dấu (hiden layer) Mạngnơron nhân tạo có các đặc điểm sau:

+ Mạng được xây dựng bằng các nơron liên kết lại với nhau

+ Chức năng của mạng được xác định bởi cấu trúc mạng, quá trình xử lý bêntrong của từng nơron và mức độ liên kết giữa các nơron

+ Mức độ liên kết giữa các nơron được xác định thông qua quá trình học củamạng (quá trình huấn luyện mạng) Có thể xem các trọng số là các phương tiệnđể lưu trữ thông tin dài hạn trong mạng nơron Nhiệm vụ của quá trình huấnluyện mạng là cập nhật các trọng số khi có thông tin về các mẫu học

Người ta nêu ra một số định nghĩa về mạng nơron như sau:

+ Mạng nơron là một hệ thống gồm nhiều phần tử xử lý hoạt động song song.Chức năng của nó được xác định bởi cấu trúc mạng, độ lớn các liên kết và quátrình xử lý tại mỗi nút hoặc đơn vị tính toán

+ Một mạng nơron là một bộ xử lý song song đồ sộ, có xu hướng tự nhiên làlưu trữ các tri thức dựa trên kinh nghiệm và tạo ra tri thức mới dựa vào cái đãcó Nó tương tự như bộ não ở hai khía cạnh:

- Tri thức được thông qua quá trình học

Trang 11

- độ lớn liên kết giữ các nơron được dùng như một phương tiện lưu trữthông tin.

+ Hệ thống nơron nhân tạo, hay còn gọi là mạng nơron, là một tập hợp các tếbào vật lý, được liên kết với nhau nhằm mục đích thu thập, lưu trữ và sử dụngtri thức, kinh nghiệm một cách tốt nhất

2.1.4 - Một số chức năng của mạng nơron:

2.1.4.1 – Chức năng phân loại mẫu:

Phân loại mẫu là sự sắp xếp các mẫu thành các nhóm khác nhau Mạngnơron có thể tạo ra một mẫu ra khi đưa vcho nó một mẫu vào, đây là chức năngphân loại mẫu của mạng nơron Nó nhận mẫu đầu vào và tạo một mẫu ở đầu rađúng với phân loại Có thể nói mạng nơron là một bộ phân loại mẫu Điểmkhác của mạng nơron với các bộ phân loại mẫu khác là khả năng học và tổngquát hoá của nó

2.1.4.2 – Học và tổng quát hoá:

Đầu tiên là việc học, có thể hiểu việc này là: cho mạng nơron xem một ítmẫu kèm với đầu ra tương ứng với mẫu đó và mạng rơron phải học để phânloại đúng được các mẫu này Khả năng tổng quát hoá là: mạng rơron không chỉnhận biết được các mẫu nó đã được học mà có thể nhận được các mẫu gần vớimẫu nó đã đưọc học Tức là mạng nơron có thể suy ra các đặc tính chung củacác lớp khác nhau từ các mẫu đã cho Chức năng này tạo ra một chiến lược tínhtoán rất phù hợp cho việc giải quayết các vấn đề mang tính “động”, tức làthông tin về chúng có rất ít hoặc không đầy đủ Điều quan trọng là tìm được

mô hình mạng và phương pháp học thích hợp đối với từng bài toán Ngoài ramạng nơron còn có khả năng được huấn luyện để trở thành một bộ xấp xỉ hàmliên tục bất kỳ

2.1.5– Kiến trúc mạng nơron

Một nơron với rất nhiều đầu vào cũng không đủ để giải quyết các bài toán

Ta cần nhiều nơron được tổ chức song song tạo thành “lớp”

Trang 12

2.1.5.1 – Lớp của các nơron

Một mạng một lớp của S nơron với đầu vào được diễn tả bởi hình sau:

Hình 3: Mô hình mạng nơron một lớp có S nơron

Mỗi một thành phần của R đầu vào được nối với mỗi một nơron trong lớp Snơron Trong trường hợp này ma trận trọng số W gồm S hàng và R cột, véctơ

đầu ra a gồm S phần tử:

2

s

R R

w w

w

w w

w

w w

w

2

1

.

2 2

2 1

.

2

1 2

1 1

Lớp nơron bao gồm ma trận trọng số, các bộ tổng véctơ hệ số bias b Một số

tài liệu coi đầu vào là một lớp vào, với ý nghĩa lớp vào gồm các nơron chỉ cóchức năng nhận tín hiệu vào Nhưng ở đây ta coi đầu vào là một véctơ các tínhiệu vào chứ không coi là một lớp các nơron Do đó mạng nơron trên chỉ cómột lớp là lớp ra của mạng

Nơ rron thứ i trong lớp có hệ số bias bi, bộ tổng hàm truyền f, đầu ra ai. Kếthợp các nơron trong lớp thì đầu ra là vectơ a Thông thường số đầu vào R khácsố nơron S Mỗi một nơron trong lớp có thể có một hàm truyền riêng, không

W

+b

f

Trang 13

nhất thiết tất cả các nơron trong cùng một lớp thì phải có cùng một dạng hàmtruyền.

2.1.5.2 – Mạng nơron nhiều lớp (Multiple Layers of Neurons)

Ta xét mạng nhiều lớp; mỗi lớp có ma trận trọng số W, véctơ bias b, véctơnet input n, và véctơ đầu ra a Để phân biệt các lớp khác nhau ta dùng thêm chỉsố phụ cho mỗi biến Do đó, Wq để chỉ ma trận trọng số của lớp q, bq chỉ véctơbias của lớp q,

1

a   a2 f2 (W2a1 b2 )

Hình 4: Mô hình nơron 2 lớp

Theo hình vẽ trên mạng có R đầu vào, có S1 nơron ở lớp thứ nhất, S2 nơron ởlớp thứ hai Đầu ra của lớp trước là đầu vào của lớp sau Lớp thứ có đầu vàogồm S 1 phần tử trong véc tơ a1, có ma trận W2 với kích thước S 2 x S 1

Lớp cuối cùng đưa ra kết quả của mạng gọi là lớp ra Các lớp còn lại gọi làlớp ẩn Mạng trên có lớp ẩn (lớp 1) và lớp ra là lớp 2 Mạng có nhiều lớp có

khả năng lớn hơn mạng một lớp Ví dụ mạng hai lớp với hàm truyền sigmoid ở

lớp ẩn, hàm truyền tuyến tính tại lớp ra thì có thể được huấn luyện để xấp xỉbất cứ hàm phi tuyến nào, nhưng mạng một lớp không có khả năng này

Trang 14

Tuỳ từng bài toán cụ thể mà ta lựa chọn số đầu vào, số nơron trên lớp ra củamạng Ví dụ nếu ta có 4 biến được sử dụng là đầu vào thì sẽ có mạng với 4 đầuvào, nếu có 2 tham số ra thì trên lớp ra của mạng sẽ có 2 nơron ra tương ứngvới 2 tham số ra đó Dạng của hàm truyền tại lớp ra cũng phụ thuộc vào đặctính của biến ra Chẳng hạn nếu biến ra có giá trị nằm trong khoảng [-1,1] thì

hàm truyền hard limit có thể được chọn cho các nơron trên lớp ra Như vậy,

đối với mạng nơron một lớp thì kiến trúc mạng được thiết kế dễ dàng tuỳ thuộcvào bài toán Nhưng đối với mạng nơron nhiều lớp (có ít nhất 1 lớp ẩn) thì vấnđề tìm ra số lớp ẩn và số nơron trên từng lớp ẩn là rất khó Đây vẫn là lĩnh vựcđang được nghiên cứu, trong thực tế chỉ dùng 1 đến 2 lớp ẩn, trường hợp dùng

3 hay 4 lớp ẩn là rất hiếm

Đối với mỗi nơron có thể có hoặc không có hệ số bias b Hệ số này tạo thêmcho mạng một biến phụ, do đó mạng có nhiều năng lực hơn so với mạng khôngcó hệ số bias Ví dụ đơn giản nơron không có hệ số bias sẽ cho kết quả netinput n là 0, nếu đầu vào p là 0 Điều này là không tốt và có thể tránh được nếunơron có hệ số bias

2.2 - Các mạng hàm cơ sở xuyên tâm

2.2.1 – Giới thiệu:

Trong các hệ thần kinh của các cơ thể sinh học, có dấu hiệu về các nơronmà các đặc trưng phản ứng của chúng là “cục bộ” hoặc “được điều hướng” đốivới một vùng không gian đầu vào nào đó Một minh hoạ là các tế bào địnhhướng –nhạy của vỏ não thị giác mà phản ứng của chúng là nhạy đối với cáckhu vực của lớp võng mô của mắt ở đây chúng ta khảo sát một cấu trúc mạngliên quan đến mạng cấp trước đa lớp (FF) và được biết đến như là mạng hàm

cơ sở xuyên tâm (RBF) Mạng RBF là cấu trúc cấp trước có một lớp che dấuđược sửa đổi và thật toánđào tạo mà có thể được sử dụng cho các phép ánh xạ

2.2.2 – Cấu trúc mạng RBF

Trang 15

Như đã đề cập các mạng RBF mô phỏng đặc tính của các mạng sinh hoạtnhất định Về có bản, lớp che dấu đơn gồm các đơn vị nhạy cục bộ hoặc đượcđiều hướng cục bộ và lớp đầu ra (đối với hầu hết các trường hợp) gồm các đơnvị tuyến tính ậ các đơn vị lớp che dấu, phản ứng đơn vị được định vị và giảmtheo hàm số của khoảng cách của các đầu vào đối với tâm đường tiếp thu củađơn vị Cấu trúc mạng tổng thể được trình bày ở hình 3

2.2.3 – Các đặc trưng đơn vị RBF

Một dạng phổ biến của đơn vị RBF bên trong hoặc lớp che dấu ứng dụng mộthàm kích hoạt Gau-xơ có thể được mô tả bởi phương trình:

= w (tức là neti = 0) Như vậy, độ nhạy đơn vị được xem là phụ thuộc khoảngcách hay cục bộ

Tất nhiên các thông số đơn vị điều chỉnh được khác, cũng có thể được sửdụng Ví dụ, đường kính của vùng hiệu dụng của trường tiếp thu các đơn vị cóthể được điều khiển nhờ sử dụng i, tức là:

  2 2

/ )

được các kích hoạt dẫn đến các đầu ra khác 0 Hình 5: Mạng RBF

Định dạng
Số trang	31
Dung lượng	3,52 MB