MẠNG NO RON VÀ ỨNG DỤNG TRONG XỬ LÝ TÍN HIỆU

MỞ ĐẦU*Lý do chọn đề tài Mạng Nơron nhân tạo Artificial Neural Network- ANN là mô hình xử lý thôngtin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lư

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI

KHOA ĐIỆN – ĐIỆN TỬ

TIỂU LUẬN

MẠNG NO RON VÀ ỨNG DỤNG TRONG

XỬ LÝ TÍN HIỆU

Giảng viên hướng dẫn : TH.S VÕ THIỆN LĨNH

Nhóm Sinh viên thực hiện:

ĐINH THỊ TỐ LOAN MSSV: 5951020045

Lớp : Kỹ thuật điện tử tin học công nghiệp K59

Khoá : 59

TPHCM, tháng 12 năm 2021

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI

KHOA ĐIỆN – ĐIỆN TỬ

TIỂU LUẬN

MẠNG NO RON VÀ ỨNG DỤNG TRONG

XỬ LÝ TÍN HIỆU

Giảng viên hướng dẫn : TH.S VÕ THIỆN LĨNH

Nhóm Sinh viên thực hiện:

ĐINH THỊ TỐ LOAN MSSV: 5951020045

Lớp : Kỹ thuật điện tử tin học công nghiệp K59

Khoá : 59

MỞ ĐẦU

*Lý do chọn đề tài

Mạng Nơron nhân tạo (Artificial Neural Network- ANN) là mô hình xử lý thôngtin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm

số lượng lớn các Nơron được gắn kết để xử lý thông tin

Với sự phát triển ngày càng lớn mạnh của khoa học công nghệ, mạng noron đượccoi là một thành phần quan trọng và không thể thiếu trong cuộc sống hiện nay.Mạng no ron được ứng dụng vào rất nhiều các lĩnh vực khác nhau như: Nhận dạngchữ viết tay, dự đoán giao dịch chứng khoáng, nhận dạng hoặc phát hiện vật thể,

Nhà đầu tư thường bỏ ra một lượng tiền khá lớn hoặc cực lớn để kinh doanhchứng khoán, do đó, giá cổ phiếu luôn là một trong những vấn đề quan tâm hàngđầu Nếu dự đoán giá cả diễn biến chính xác, sẽ mang lại thành công lớn; và ngượclại, sẽ thua thiệt, thậm chí có khi dẫn đến phá sản Sau khi học xong môn học

“Mạng no ron và ứng dụng trong xử lí tín hiệu” em muốn ứng dụng kiến thức đãhọc để dự đoán giá cổ phiếu trong tương lai dựa vào những giá cổ phiếu thu thậpđược trong quá khứ mà mạng đã học được

*Mục đích thiết kế

Sử dụng mạng LSTM (Long Short Term Memory) để dự đoán cổ phiếu

*Phạm vi đề tài

-Tìm hiểu các khái niệm về mạng neu ron

-Tìm hiểu về thuật toán perceptron và giải bài tập huấn luyện các mẫu perceptron

-Tìm hiểu về mạng perceptron nhiều lớp và giải bài tập

-Dự đoán cổ phiếu sử dụng mạng LSTM

MỤC LỤC

( Bold, size 14)

Mở đầu: (size 13)

Trang Chương 1

1.1 1

1.1.1 1.1.2 1.1.3

1.2 7

1.2.1 1.2.2…

1.3

22

Chương 2

2.1…

2.1.1… 2.1.2…

2.2 …

…

Chương 3 50

3.1…

3.1.1… 3.1.2… 3.2 ………

KẾT LUẬN 120

PHỤ LỤC 121

Ghi chú:

- In đậm và in hoa tiêu đề của các chương, mục lớn

- Chữ số thứ nhất chỉ thứ tự chương

- Chử số thứ 2 chỉ thứ tự mục trong chương

- Chữ số thứ 3,…,chỉ thứ tự các tiểu mục

DANH MỤC CÁC BẢNG BIỂU

(In đậm, in hoa, size14) BÁNG 1.1 (size 13) số trang

BẢNG 1.2

……

……

……

Ghi chú:

- Xếp sau trang Mục lục

- Chữ số thứ nhất chỉ tên chương

- Chữ số thứ hai chỉ thứ tự bảng biểu, sơ đồ, hình,…trong mỗi chương

(Mẫu khuyến khích thực hiện)

KÍ HIỆU CÁC CỤM TỪ VIẾT TẮT (size 14)

(Được xếp sau trang Danh mục Các hình vẽ)

STT Từ viết tắt Từ tiếng Anh Nghĩa tiếng Việt

1 ATCS Advanced Train Control System Hệ thống điều khiển chạy tàu tiên tiến

2 ATC Automatic Train Control Tự động điều khiển đoàn tàu

3 ATO Automatic Train Operation Tự động lái tàu

4 ATP Automatic Train Protection Tự động phòng vệ đoàn tàu

5 ATS Automatic Train Supervision Tự động giám sát đoàn tàu

Ghi chú:

Cụm từ viết viết tắt là các chữ cái và các ký hiệu thay chữ được viết liềnnhau, để thay cho một cụm từ có nghĩa thường được lặp nhiều lần trong văn bảnhoặc được mọi người mặc nhiên chấp nhận

CHƯƠNG 1: CẤU TẠO CƠ BẢN CỦA MỘT TẾ BÀO NO RON NHÂN

TẠO

1.1 CẤU TẠO CƠ BẢN CỦA MỘT TẾ BÀO NO RON NHÂN TẠO.

1.1.1 Cấu tạo của một tế bào no ron sinh học

Theo các nhà nghiên cứu sinh học, hệ thống thần kinh của con người bao gồmkhoảng 1011 tế bào thần kinh, thường gọi là các nơron Mỗi tế bào nơron gồm baphần:

 Thân nơron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra cácxung động thần kinh

 Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tớinhân nơron Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thânnơron, chiếm diện tích khoảng 0,25 mm2

 Đầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể dài

từ một cm đến hàng mét Chúng nối với các dây thần kinh vào hoặc trực tiếp vớinhân tế bào của các nơron khác thông qua các khớp nối (gọi là synapse) Có hai loạikhớp nối, khớp nối kích thích (excitatory) sẽ cho tín hiệu qua nó để tới nơron cònkhớp nối ức chế (inhibitory) có tác dụng làm cản tín hiệu tới nơron Người ta ướctính mỗi nơron trong bộ não của con người có khoảng 104 khớp nối

Chức năng cơ bản của các tế bào nơron là liên kết với nhau để tạo nên hệ thốngthần kinh điều khiển hoạt động của cơ thể sống Các tế bào nơron truyền tín hiệucho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện

và được tạo ra từ các quá trình phản ứng hoá học phức tạp Tại nhân tế bào, khi điệnthế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫntới trục dây thần kinh ra Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tụctruyền tới các nơron khác

Hình 1.1 Cấu tạo của tế bào nơron sinh học

1.1.2 Cấu tạo của một tế bào no ron nhân tạo.

Mạng nơron nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng nơron,neural network, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tincủa các hệ nơron sinh học Nó được tạo nên từ một số lượng lớn các phần tử (gọi làphần tử xử lý hay 3 nơron) kết nối với nhau thông qua các liên kết (gọi là trọng sốliên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó

Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một mạngnơron Cấu trúc của một nơron được mô tả trên hình dưới

Hình 1.2 Nơron nhân tạoCác thành phần cơ bản của một nơron nhân tạo bao gồm:

 Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu nàythường được đưa vào dưới dạng một vec-tơ m chiều

 Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liênkết.

– Synaptic weight) Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thườngđược kí hiệu là wjk Thông thường, các trọng số này được khởi tạo một cách ngẫunhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình họcmạng

 Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào vớitrọng số liên kết của nó

 Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào nhưmột thành phần của hàm truyền

 Hàm truyền (Transfer function) còn gọi là Hàm kích hoạt (Activation function):Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron Nó nhận đầu vào làkết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi đầu ra của mỗinơron được giới hạn trong đoạn [0,1] hoặc [-1, 1] Các hàm truyền rất đa dạng đượcliệt kê trong bảng 1.1, có thể là các hàm tuyến tính hoặc phi tuyến Việc lựa chọnhàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kếmạng

Bảng 1.1 Các hàm kích hoạt thường được sử dụng

2.1 ĐỀ BÀI

Cho tế bào perceptron có 3 ngõ vào

w T(0).P2+b=[1 1 1][−11

−1] + 0 = -1+1-1+0 = -1  y1 = 0( Thỏa mãn)Mẫu P3:

w T(0).P3+b=[1 1 1][−1−1

1 ] + 0 = -1-1+1+0 = -1  y1 = 0( Không thỏa mãn)Cập nhật w w(n+1) = w(n) + 𝜂 [ d(n) – y(n) ] x(n)

Mẫu P4:

w T(1).P4+b=[0.7 0.7 1.3][ 11

−1] + 0 = 0.7 + 0.7 - 1.3 + 0 = 0.1  y1 = 1

( Không thỏa mãn)Cập nhật w w(n+1) = w(n) + 𝜂 [ d(n) – y(n) ] x(n)

w T(2).P2+b=[0.4 0.4 1.6][−11

−1] + 0 = -0.4 + 0.4 – 1.6 +0 = -1.6  y1 = 0

( Thỏa mãn)Mẫu P3:

w T(2).P3+b=[0.4 0.4 1.6][−1−1

1 ] + 0 = -0.4 - 0.4 + 1.6 +0 = 0.8  y1 = 1

( Thỏa mãn)Mẫu P4 :

w T(2).P +b=[0.4 0.4 1.6][ 11 ] + 0 = 0.4 + 0.4 - 1.6 +0 = -0.8  y = 0

( Thỏa mãn)

 Trọng số w thỏa mãn yêu cầu bài toán là w = [0.40.4

1.6]

*Training trên Excel

2.2.2 Cách 2: Giải với bias b cũng là một tham số học.

Bias b cũng được coi là một tham số trong quá trình học

w(0) = [01

1

1] w T(0) = [0 1 1 1]

Học mẫu 1

w T(0)x1 = [0 1 1 1][ 11

−1

1 ] = 0+1-1+1 = 1 y =1 (Thỏa mãn)Học mẫu 2

w T(0)x2 = [0 1 1 1][−11

1

−1]= 0-1+1-1 = -1 y =0 (Thỏa mãn)Học mẫu 3

w T(0)x3 = [0 1 1 1][−11

−1

1 ]= 0-1-1+1 = -1 y =0 (Không thỏa mãn)Cập nhật w w(n+1) = w(n) + 𝜂 [ d(n) – y(n) ] x(n)

Với 𝜂 = 0.3

w(2) =[0.30.7

0.71.3]+ 0.3 [0-1][ 11

1

−1] = [0.40

0.41.6]

w T(2)x1 = [0 0.4 0.4 1.6][ 11

−1

1 ] = 0+0.4-0.4+1.6 = 1.6 y =1 (Thỏa mãn)Học mẫu 2

w T(2)x2 = [0 0.4 0.4 1.6][−11

1

−1] = 0-0.4+0.4-1.6 = -1.6 y =0 (Thỏa mãn)Học mẫu 3

w T(2)x3 = [0 0.4 0.4 1.6][−11

−1

1 ] = 0-0.4-0.4+1.6 = 0.8 y =1 (Thỏa mãn)Học mẫu 4

*Training trên Excel

CHƯƠNG 3: GIẢI BÀI TẬP VỀ MẠNG PERCEPTRON NHIỀU LỚP

y2] = [z1(2)w112 (1)+ z2(2)w122 (1)

z1(2)w212 (1)+ z2(2)w222 (1)] = [0,507.0,52+0,507.0,520,507.0,58+0,507.0,58] = [0,5270,588]

δ1(2) = [δ11

δ21] = [δ12(2)w112 (2)+δ22(2)w212 (2)

δ12(2)w122 (2)+δ22(2)w222 (2)] = [(−0,127) 0,501+ 0,012.0,58 2

(−0,127).0,501+ 0,012.0,582] = [−0,057−0,057]

y2] = [z1(3)w112 (2)+ z2(3)w122 (2)

z1(3)w212 (2)+z2(3)w222 (2)] = [0,49 0,582+0,49 0,58 20,49.0,501+0,49.0,501 ] = [0,4910,57]

e = d-y = [0.40.6] - [0,4910,57 ]=[−0,0910,03 ]

Ngược 3

δ2(3) = [δ12

δ22] = φ '.e = 1.[−0,0910,03 ]=[−0,0910,03 ]

CHƯƠNG 4: SỬ DỤNG MẠNG LSTM ĐỂ DỰ ĐOÁN CỔ PHIẾU

4.1 CƠ SỞ LÝ THUYẾT

Deep learning có 2 mô hình lớn là Convolutional Neural Network (CNN) cho bàitoán có input là ảnh và Recurrent neural network (RNN) cho bài toán dữ liệu dạngchuỗi (sequence)

4.1.1 Mạng hồi quy RNN là gì?

Để có thể hiểu rõ về RNN, trước tiên chúng ta cùng nhìn lại mô hình NeuralNetwork dưới đây:

Neural Network bao gồm 3 phần chính là Input layer, Hidden layer và Output layer.Đầu vào và đầu ra của mạng neuron này là độc lập với nhau Mô hình này khôngphù hợp với những bài toán dạng chuỗi như mô tả, hoàn thành câu, vì những dựđoán tiếp theo như từ tiếp theo phụ thuộc vào vị trí của nó trong câu và những từ

Như vậy RNN ra đời với ý tưởng chính là sử dụng một bộ nhớ để lưu lại thông tin từ

từ những bước tính toán xử lý trước để dựa vào nó có thể đưa ra dự đoán chính xácnhất cho bước dự đoán hiện tại

Hình: Mô hình mạng RNN

Nếu như mạng Neural Network chỉ là input layer xx đi qua hidden layer h và cho ra

output layer y với full connected giữa các layer thì trong RNN, các input x t sẽ đượckết hợp với hidden layer h t −1 bằng hàm f w để tính toán ra hidden layer h t hiện tại vàoutput y t sẽ được tính ra từ h t

4.1.2 LSTM là gì?

Mạng bộ nhớ dài-ngắn (Long Short Term Memory networks), thường được gọi làLSTM - là một dạng đặc biệt của RNN Nó có khả năng học được các phụ thuộc xa.LSTM có thể nhớ thông tin trong suốt thời gian dài, đây là đặc tính mặc định của chúng,

ta không cần phải huấn luyện nó để có thể nhớ được

Mọi mạng hồi quy đều có dạng là một chuỗi các mô-đun lặp đi lặp lại của mạng nơ-ron.Với mạng RNN chuẩn, các mô-dun này có cấu trúc rất đơn giản, thường là một

LSTM cũng có kiến trúc dạng chuỗi như vậy, nhưng các mô-đun trong nó có cấu trúckhác với mạng RNN chuẩn Thay vì chỉ có một tầng mạng nơ-ron, chúng có tới 4 tầngtương tác với nhau một cách rất đặc biệt.

* Ý tưởng cốt lõi của LSTM

Chìa khóa của LSTM là trạng thái tế bào (cell state) - chính đường chạy thông ngangphía trên của sơ đồ hình vẽ

Trạng thái tế bào là một dạng giống như băng truyền Nó chạy xuyên suốt tất cả các mắtxích (các nút mạng) và chỉ tương tác tuyến tính đôi chút Vì vậy mà các thông tin có thể

dễ dàng truyền đi thông suốt mà không sợ bị thay đổi

LSTM có khả năng bỏ đi hoặc thêm vào các thông tin cần thiết cho trạng thái tế báo,chúng được điều chỉnh cẩn thận bởi các nhóm được gọi là cổng (gate)

Các cổng là nơi sàng lọc thông tin đi qua nó, chúng được kết hợp bởi một tầng mạngsigmoid và một phép nhân

Tầng sigmoid sẽ cho đầu ra là một số trong khoản [0, 1][0,1], mô tả có bao nhiêu thôngtin có thể được thông qua Khi đầu ra là 00 thì có nghĩa là không cho thông tin nào qua

cả, còn khi là 11 thì có nghĩa là cho tất cả các thông tin đi qua nó

Một LSTM gồm có 3 cổng như vậy để duy trì và điều hành trạng thái của tế bào

hiện rằng nó giữ toàn bộ thông tin lại, còn 00 chỉ rằng taonf bộ thông tin sẽ bị bỏ đi

Quay trở lại với ví dụ mô hình ngôn ngữ dự đoán từ tiếp theo dựa trên tất cả các từ trước

đó, với những bài toán như vậy, thì trạng thái tế bào có thể sẽ mang thông tin về giớitính của một nhân vật nào đó giúp ta sử dụng được đại từ nhân xưng chuẩn xác Tuynhiên, khi đề cập tới một người khác thì ta sẽ không muốn nhớ tới giới tính của nhân vậtnữa, vì nó không còn tác dụng gì với chủ thế mới này

Bước tiếp theo là quyết định xem thông tin mới nào ta sẽ lưu vào trạng thái tế bào Việcnày gồm 2 phần Đầu tiên là sử dụng một tầng sigmoid được gọi là “tầng cổng vào”(input gate layer) để quyết định giá trị nào ta sẽ cập nhập Tiếp theo là một

tầng tanhtanh tạo ra một véc-tơ cho giá trị mới \tilde{C_t}Ct~ nhằm thêm vào cho

trạng thái Trong bước tiếp theo, ta sẽ kết hợp 2 giá trị đó lại để tạo ra một cập nhập chotrạng thái

Chẳng hạn với ví dụ mô hình ngôn ngữ của ta, ta sẽ muốn thêm giới tính của nhân vậtmới này vào trạng thái tế bào và thay thế giới tính của nhân vật trước đó

Giờ là lúc cập nhập trạng thái tế bào cũ Ct−1 thành trạng thái mới Ct Ở các bước trước

đó đã quyết định những việc cần làm, nên giờ ta chỉ cần thực hiện là xong

Ta sẽ nhân trạng thái cũ với f_t để bỏ đi những thông tin ta quyết định quên lúc trước.

Sau đó cộng thêm Trạng thái mơi thu được này phụ thuộc vào việc ta quyếtđịnh cập nhập mỗi giá trị trạng thái ra sao

Với bài toàn mô hình ngôn ngữ, chính là việc ta bỏ đi thông tin về giới tính của nhân vật

cũ, và thêm thông tin về giới tính của nhân vật mới như ta đã quyết định ở các bướctrước đó

Cuối cùng, ta cần quyết định xem ta muốn đầu ra là gì Giá trị đầu ra sẽ dựa vào trạngthái tế bào, nhưng sẽ được tiếp tục sàng lọc Đầu tiên, ta chạy một tầng sigmoid đểquyết định phần nào của trạng thái tế bào ta muốn xuất ra Sau đó, ta đưa nó trạng thái tế

bảo qua một hàm tanh để co giá trị nó về khoảng [-1, 1][−1,1], và nhân nó với đầu ra

của cổng sigmoid để được giá trị đầu ra ta mong muốn

Với ví dụ về mô hình ngôn ngữ, chỉ cần xem chủ thể mà ta có thể đưa ra thông tin vềmột trạng từ đi sau đó Ví dụ, nếu đầu ra của chủ thể là số ít hoặc số nhiều thì ta có thểbiết được dạng của trạng từ đi theo sau nó phải như thế nào

4.2 PHÂN TÍCH

(Mẫu)

DANH MỤC TÀI LIỆU THAM KHẢO

[1] Tên tài liệu, tên tác giả, Nhà xuất bản, năm phát hành

[2] ………

Tiếng Anh:

[1] Ho T K, Mao B H , Yuan Z Z, Liu H D, Fung Y F Computer Simulation andModeling in Railway Applications [J ] Computer Physics Communications, 2002, 143,pp:1-10