Thời điểm dừng tối ưu cho bài toán quảng cáo và bài toán bán tài sản

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮTΩ, F , P Không gian xác suất đầy đủ h.c.c Hầu chắc chắn hoặc với xác suất bằng 1 ĐLNN Đại lượng ngẫu nhiên EX Kỳ vọng của biến ngẫu nhiên X DX Phươ

ĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

ĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

LUẬN ÁN TIẾN SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:

PGS TS Phan Viết Thư

Hà Nội – 2020

LỜI CAM ĐOAN

Tôi xin cam đoan các kết quả trình bày trong luận án là công trình nghiên cứucủa tôi dưới sự hướng dẫn của cán bộ hướng dẫn Các số liệu, các kết quả trìnhbày trong luận án hoàn toàn trung thực và chưa được công bố trong các côngtrình trước đây Các dữ liệu tham khảo được trích dẫn đầy đủ

Hà Nội, ngày tháng năm 20

Nguyễn Thành Trung

LỜI CẢM ƠN

Trong quá trình nghiên cứu và hoàn thành Luận án, Nghiên cứu sinh đãnhận được sự định hướng, giúp đỡ, các ý kiến đóng góp quý báu và những lờiđộng viên của các nhà khoa học, các thầy cô giáo, đồng nghiệp và gia đình.Trước hết, Nghiên cứu sinh xin bày tỏ lời cảm ơn tới thầy PGS.TS PhanViết Thư đã tận tình hướng dẫn và giúp đỡ trong quá trình nghiên cứu

Cho phép Nghiên cứu sinh chân thành cảm ơn các thầy cô giáo, các nhàkhoa học của Bộ môn Xác suất - Thống kê, Khoa Toán - Cơ - Tin học, TrườngĐại học Khoa học Tự nhiên, ĐHQG Hà Nội, đã có các góp ý quý báu choNghiên cứu sinh trong quá trình thực hiện Luận án này

Nghiên cứu sinh chân thành cảm ơn Ban Giám đốc, Phòng Đào tạo, Họcviện Hậu cần đã tạo điều kiện thuận lợi để Nghiên cứu sinh hoàn thành nhiệm

vụ nghiên cứu

Cuối cùng Nghiên cứu sinh bày tỏ lời cảm ơn tới các đồng nghiệp, gia đình,bạn bè đã luôn động viên, chia sẻ, ủng hộ và giúp đỡ Nghiên cứu sinh vượt quakhó khăn để đạt được những kết quả nghiên cứu trong Luận án này

NCS Nguyễn Thành Trung

MỤC LỤC

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT v

DANH MỤC CÁC HÌNH VẼ vi

DANH MỤC CÁC BẢNG BIỂU vi

MỞ ĐẦU 1

CHƯƠNG 1 KIẾN THỨC CHUẨN BỊ 4 1.1 Phương trình vi phân ngẫu nhiên 5

1.2 Bài toán thời điểm dừng tối ưu 9

1.2.1 Trường hợp thời gian rời rạc 9

1.2.2 Trường hợp thời gian liên tục 12

1.3 Tổng quan về mạng nơ-ron 15

1.3.1 Nơ-ron sinh học và nơ-ron nhân tạo 17

1.3.2 Mô hình mạng nơ-ron 20

1.3.3 Huấn luyện mạng nơ-ron 22

1.3.4 Ví dụ chi tiết xây dựng một mạng nơ-ron với ngôn ngữ lập trình Python 25

1.4 Kết luận chương 1 31

CHƯƠNG 2 THỜI ĐIỂM DỪNG TỐI ƯU CHO BÀI TOÁN QUẢNG CÁO 32 2.1 Mô hình bài toán quảng cáo 33

2.2 Giải mô hình 36

2.3 Xấp xỉ thời điểm dừng tối ưu bằng mạng nơ-ron 39

2.4 Giải thuật giải bài toán thời điểm dừng tối ưu 45

2.5 Kết quả mô phỏng 47

2.6 Kết luận chương 2 49

CHƯƠNG 3 THỜI ĐIỂM DỪNG TỐI ƯU CHO BÀI TOÁN BÁN TÀI SẢN 50 3.1 Bài toán bán tài sản tối ưu và lời giải 50

3.2 Xấp xỉ đường bao tối ưu bằng mạng nơ-ron 58

3.3 Kết quả mô phỏng 74

3.4 Kết luận chương 3 77

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

(Ω, F , P ) Không gian xác suất đầy đủ

h.c.c Hầu chắc chắn hoặc với xác suất bằng 1

ĐLNN Đại lượng ngẫu nhiên

EX Kỳ vọng của biến ngẫu nhiên X

DX Phương sai của biến ngẫu nhiên X

Ft= σ(X(s))0≤s≤t σ-trường bé nhất sinh bởi quá trình ngẫu nhiên X

Rn Không gian Euclide n chiều

|x| Giá trị tuyệt đối của số thực x

IA Hàm chỉ số của tập A, nghĩa là IA(x) = 1 nếu x ∈ A

= Bằng nhau hầu chắc chắn dưới độ đo xác suất π

(almost surely equal)

DANH MỤC CÁC HÌNH VẼ

Hình 1.1 Cấu trúc của một nơ-ron sinh học điển hình 18

Hình 1.2 Nơ-ron nhân tạo 19

Hình 1.3 Mạng MLP tổng quát 21

Hình 1.4 Huấn luyện mạng nơ-ron 23

Hình 1.5 Ví dụ xây dựng một mạng nơ-ron 26

Hình 1.6 Vòng lặp huấn luyện mạng nơ-ron 27

Hình 1.7 Phương pháp hướng giảm gradient 29

Hình 2.1 Mô phỏng cho thời điểm dừng tối ưu 35

Hình 2.2 Thời điểm dừng thu được làτ∗= 137; X (τ∗) = 0.321177633918076 48 Hình 2.3 Thời điểm dừng thu được làτ∗= 266; X (τ∗) = 0.394082392905975 48 Hình 2.4 Thời điểm dừng thu được làτ∗= 324; X (τ∗) = 0.341861018848676 49 Hình 3.1 Thời điểm bán và giá bán tối ưu τB = 120; X (τB) = 1.4474 75 Hình 3.2 Thời điểm và giá bán tối ưu τB = 300; X (τB) = 2.4888 76

Hình 3.3 Thời điểm và giá bán tối ưu τB = 300; X (τB) = 3.0850 77

DANH MỤC CÁC BẢNG BIỂU

Bảng 3.1 Phân bố ban đầu của độ trượt 51

MỞ ĐẦU

Trong các lĩnh vực mang tính xác suất ngẫu nhiên thì thời điểm dừng tối

ưu mang ý nghĩa rất quan trọng Những người chơi trò chơi Poker thường nói

"thắng thua là việc hoàn toàn bình thường, không có gì lạ lẫm cả Nếu bạnkhông kiểm soát những rủi ro, bạn sẽ bị những rủi ro kiểm soát" Biết rằng rủi

ro là không thể kiểm soát, cũng không thể dự liệu trước, chi bằng ta hãy cốgắng tránh nó, chứ không phải là kiểm soát nó Việc xác lập được thời điểmdừng tối ưu là việc làm cần thiết để chúng ta tránh được những thất bại nặng

nề bởi tình trạng mất kiểm soát khi ưu thế không nằm ở phía mình Đặc biệt,trong các "trò chơi kinh tế" như chứng khoán, cũng như trong điều hành kinh

tế thời điểm dừng tối ưu phải được tính toán cân nhắc thận trọng và ngay cảkhi đó cũng nên tiếp tục thực hiện các biện pháp dài hạn để thu về lợi nhuậncao nhất, bền vững và lâu dài

Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hìnhhóa các nguyên lý của những lý thuyết liên quan tới cách thức con người suynghĩ đã trở thành hiện thực Nathanial Rochester sau nhiều năm làm việc tạicác phòng thí nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để môphỏng một mạng nơ-ron Trong thời kì này tính toán truyền thống đã đạt đượcnhững thành công rực rỡ trong khi đó những nghiên cứu về nơ-ron còn ở giaiđoạn sơ khai Mặc dù vậy những người ủng hộ triết lý “thinking machines” (cácmáy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trường của mình Năm 1956 dự

án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial Intelligence) đã mở rathời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng nơ-ron Tácđộng tích cực của nó là thúc đẩy hơn nữa sự quan tâm của các nhà khoa học vềtrí tuệ nhân tạo và quá trình xử lý ở mức đơn giản của mạng nơ-ron trong bộnão con người

Bài toán thời điểm dừng tối ưu đã được nhiều tác giả xem xét chủ yếu tronglĩnh vực tài chính và được giải thông qua việc giải các phương trình vi phân đạohàm riêng Trong luận án này chúng tôi xem xét một cách tiếp cận khác cho bàitoán thời điểm dừng tối ưu đó là tiếp cận học máy Mỗi một quyết định dừnghay tiếp tục tại thời điểm tđược biểu diễn bởi một hàm (gọi là hàm quyết định)nhận giá trị trong tập {0, 1}, trong đó giá trị 0là tiếp tục chiến dịch, giá trị 1 làdừng lại Chúng tôi tiếp tục xấp xỉ hàm quyết định bởi một mạng nơ-ron nhiềulớp Sau khi đã huấn luyện mạng nơ-ron, cho dữ liệu qua mạng ta sẽ nhận đượcquyết định dừng hay tiếp tục.

Bố cục của luận án:

Ngoài phần mở đầu và phần kết luận, kiến nghị, Luận án được chia thành 3chương với bố cục như sau:

Chương 1 KIẾN THỨC CHUẨN BỊ

Chương này chúng tôi trình bày một cách tóm lược nhất một số kiến thức cơbản của giải tích ngẫu nhiên bao gồm phương trình vi phân ngẫu nhiên, bài toánthời điểm dừng tối ưu Trong chương này cũng giới thiệu các vấn đề cơ bản vềmạng nơ-ron, gồm các khái niệm của mạng nơ-ron nhân tạo, các mô hình mạng

và phương pháp xây dựng cũng như huấn luyện mạng Trong đó đi sâu vào việcxây dựng một mạng nơ-ron với ngôn ngữ lập trình Python Nội dung ở chươngnày chủ yếu được trích dẫn từ các tài liệu [3], [5], [6], [7], [8], [24]

Chương 2 THỜI ĐIỂM DỪNG TỐI ƯU CHO BÀI TOÁN QUẢNG CÁO.Trong chương này chúng tôi xem xét một bài toán thực tế đó là xác định thờiđiểm dừng tối ưu cho một chiến dịch quảng cáo Thị phần (tiềm năng) của công

ty đang xét về một sản phẩm A nào đó được mô tả bằng một phương trình

vi phân ngẫu nhiên dưới tác động của chiến dịch quảng cáo thông qua truyềnthông cũng như sự truyền miệng của các khách hàng đã có của công ty Hàmmục tiêu là một hàm liên tục xác định trên thời gian t và thị phần đạt được củachiến dịch quảng cáo Trong chương này ngoài việc giải mô hình chúng tôi xemxét một cách tiếp cận khác cho bài toán thời điểm dừng tối ưu đó là tiếp cận

học máy Các kết quả này đã được công bố trong [CT2] và [CT3].

Chương 3 THỜI ĐIỂM DỪNG TỐI ƯU CHO BÀI TOÁN BÁN TÀI SẢN.Trong chương này chúng tôi xem xét bài toán tìm thời điểm dừng tối ưu cho quátrình bán tài sản với tốc độ tăng giá là quá trình Markov rời rạc hai trạng thái(tăng giá và giảm giá) Kết quả tìm được các ngưỡng cố định cho quá trình xácsuất hậu nghiệm Nếu quá trình xác suất hậu nghiệm vượt qua ngưỡng này thì

ta quyết định bán tài sản Các kết quả thu được là khả quan và được kiểm tratrên dữ liệu mô phỏng cho thấy tính đúng đắn của các kết quả tìm được Cũngnhư trong chương 2, chương này chúng tôi cũng xem xét một cách tiếp cận kháccho bài toán thời điểm dừng tối ưu đó là tiếp cận học máy Xấp xỉ hàm quyếtđịnh bởi một mạng nơ-ron nhiều lớp, sau khi đã huấn luyện mạng nơ-ron, cho

dữ liệu qua mạng ta sẽ nhận được quyết định bán tài sản Các kết quả này đãđược công bố trong [CT1]

CHƯƠNG 1 KIẾN THỨC CHUẨN BỊ

Trong nhiều thế kỷ qua, với công lao đóng góp của nhiều thế hệ các nhàtoán học, giải tích toán học đã trở thành một lĩnh vực toán học lớn với nhữngchuyên ngành như: phép tính vi tích phân, phương trình vi phân, phương trìnhđạo hàm riêng, lý thuyết toán tử tuyến tính, Nó cung cấp cho nhiều ngànhkhoa học và kỹ thuật một công cụ hết sức đắc lực để xử lý và tính toán các môhình tất định

Tuy nhiên, chúng ta đang sống trong một thế giới chịu nhiều tác động củanhân tố ngẫu nhiên Phần lớn các hệ động lực, các quá trình trong tự nhiên làcác hệ động lực ngẫu nhiên và quá trình ngẫu nhiên Thành thử để phản ánhthực tế đúng đắn hơn, ngoài việc nghiên cứu các mô hình tất định, việc nghiêncứu các mô hình ngẫu nhiên là một tất yếu và cần thiết

Trong vài chục năm gần đây, một mặt do nhu cầu phát triển nội tại củatoán học, mặt khác nhằm cung cấp một ngôn ngữ, một công cụ cho phép mô tả,phân tích, dự báo và điều khiển các mô hình ngẫu nhiên, giải tích ngẫu nhiên

đã ra đời với các lý thuyết về độ đo ngẫu nhiên, tích phân ngẫu nhiên, phươngtrình vi phân ngẫu nhiên, toán tử ngẫu nhiên, hệ động lực ngẫu nhiên,

Lý thuyết Martingale bắt nguồn từ trò chơi cờ bạc nay trở thành một loạiquá trình ngẫu nhiên có rất nhiều ứng dụng về lý thuyết cũng như thực tiễn,đặc biệt là một công cụ không thể thiếu trong tính toán ngẫu nhiên và toánhọc trong tài chính Một công cụ quan trọng trong lý thuyết Martingale và cácứng dụng của chúng là các thời điểm dừng Thí dụ, chúng ta muốn dừng mộtMartingale trước khi nó nhận các giá trị quá lớn Tuy nhiên, dừng nên đượcthực hiện sao cho đối tượng dừng lại là một Martingale mới thực sự có ý nghĩaquan trọng

Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên cứuứng dụng mạng nơ-ron để giải quyết các bài toán thực tế được diễn ra ở khắp mọinơi Các ứng dụng mạng nơ-ron ra đời ngày càng nhiều và ngày càng hoàn thiệnhơn Điển hình là các ứng dụng: xử lý ngôn ngữ (Language Processing), nhậndạng kí tự (Character Recognition), nhận dạng tiếng nói (Voice Recognition),nhận dạng mẫu (Pattern Recognition), xử lý tín hiệu (Signal Processing), Lọc

dữ liệu (Data Filtering),

Chương này chúng tôi sẽ trình bày một cách tóm lược nhất một số kiếnthức của giải tích ngẫu nhiên bao gồm phương trình vi phân ngẫu nhiên, bàitoán thời điểm dừng tối ưu Cũng trong chương này chúng tôi trình bày các vấn

đề cơ bản về mạng nơ-ron, gồm các khái niệm của mạng nơ-ron nhân tạo, các

mô hình mạng và phương pháp xây dựng cũng như huấn luyện mạng Nội dung

ở chương này chủ yếu được tham khảo và trích dẫn từ các tài liệu [3], [5], [6],[7], [8], [24], [26]

1.1 Phương trình vi phân ngẫu nhiên

Phương trình vi phân ngẫu nhiên đóng vai trò rất quan trọng trong kĩ thuật,vật lý, kinh tế và một số ngành khoa học khác Sự ra đời của nó xuất phát từnhu cầu xác định mối quan hệ giữa một bên là một đại lượng biến thiên liên tụcvới một bên là độ biến thiên của đại lượng đó Các mối quan hệ như thế xuấthiện thường xuyên trong các ứng dụng thực tế

Tìm các quá trình X = (X t , t ≥ 0) có thể thoả mãn phương trình

dX t

dt = b (t, Xt) + σ (t, Xt) Wt (1.1)trong đó b(t, x) ∈ R, σ(t, x) ∈ R và Wt là "tiếng ồn trắng" 1-chiều

X t cũng là lời giải của phương trình tích phân

Xt = X0+

Z t 0

b(s, Xs)ds +

Z t 0

hay viết dưới dạng vi phân

dXt= b (t, Xt) dt + σ (t, Xt) dBt (1.3)Như vậy từ (1.1) sang (1.3) ta đã thay thế một cách hình thức

W t bởi dBt

dt

Vấn đề tự nhiên đối với phương trình (1.3) là:

1 Với những điều kiện nào của các hệ số b và σ thì tồn tại nghiệm và nghiệm

đó là duy nhất

2 Giải phương trình đó như thế nào?

Công cụ cơ bản để tìm lời giải của một phương trình vi phân ngẫu nhiên chính

là công thức Itô

Định lý 1.1 (Công thức Itô [7]) Chou(t, x)là một hàm xác định trên [0, T ]×

R có các đạo hàm riêng ut, ux, uxx liên tục Cho Xt là một quá trình Itô với viphân ngẫu nhiên

Ta cũng có thể viết công thức Itô dưới dạng dễ nhớ hơn như sau

Tổng quát hơn ta xétn quá trình Itô X1(t), X2(t), , Xn(t)với các vi phân ngẫu

nhiên Itô

dXi(t) = fi(t, ω)dt + gi(t, ω)dWt.

Giả sử rằng u = u (t, x1, x2, , xn) là một hàm số xác định trên [0, T ] × Rn với

các đạo hàm riêng liên tục ut, uxi, uxixj với mọi i, j 6n Xét quá trình

Yt= u (t, X1(t), X2(t), , Xn(t))

Ta có công thức Itô suy rộng sau đây

Định lý 1.2 (Công thức Itô mở rộng [7]) Quá trìnhYt = u (t, X1(t), X2(t), , Xn(t))

là một quá trình Itô với vi phân ngẫu nhiên cho bởi

Ví dụ 1.1 (Chuyển động Brown trên đường tròn đơn vị) Ta chọn X =

B, một chuyển động Brown một chiều và

g(t, x) = eix= (cos x, sin x) ∈ R2 với x ∈ R

Khi đó

Y = g(t, X) = eiB = (cos B, sin B)

Y = (Y1, Y2) với Y1= cos B, Y2 = sin B

Theo công thức Itô ta có

Định lý 1.3 (Định lý tồn tại duy nhất nghiệm [5]) Giả sử các hàmb (t, x)

và σ (t, x) thỏa mãn các điều kiện sau

1.2 Bài toán thời điểm dừng tối ưu

1.2.1 Trường hợp thời gian rời rạc

Giả sử (Ω, F , P ) là không gian xác suất, G ∈ F là σ-trường con của F MộtĐLNN X được gọi là tương thích với G nếu X là G-đo được Trong trường hợp

Định nghĩa 1.1 ([7]) Cho biến ngẫu nhiên τ : Ω → {0, 1, , ∞} Ta nói rằng

τ là một thời điểm Markov đối với dãy Fn nếu

{ω : τ (ω) = n} ∈ F n

Thời điểm Markov τ gọi là thời điểm dừng nếu τ hữu hạn hầu chắc chắn

Ta thấy rằng τ là thời điểm Markov khi và chỉ khi

Ví dụ 1.2 Cho (Xn) là dãy các ĐLNN và B là một tập Borel của R Gọi τ làthời điểm đầu tiên (X n ) chạm vào B tức là τ (ω) = min {n : X n (ω) ∈ B} trongtrường hợp ω ∈S∞

n=1 {Xn ∈ B} và τ (ω) = ∞ nếu trái lại Khi đó τ là thời điểmMarkov đối với σ-trường tự nhiên

Chứng minh suy ra từ đẳng thức sau

Sau đây là một số tính chất của thời điểm Markov ([7], [8])

1 Giả sử τ là thời điểm Markov đối với (Fn) khi đó {τ < n} ∈ Fn

2 Giả sửτ1, τ2là thời điểm Markov đối với(Fn) Khi đó các đại lượngmin(τ1, τ2),

max(τ1, τ2) và τ1+ τ2 cũng là các thời điểm Markov đối với (Fn)

3 Nếu (τk) là dãy các thời điểm Markov đối với (F n ) Khi đó infkτk, supkτk

cũng là các thời điểm Markov đối với (Fn)

4 Nêu τ là thời điểm Markov đối với (Fn) thì τ ∈ Fτ Hơn nữa nếu γ là thờiđiểm Markov đối với (F n ) mà P (γ ≤ τ ) = 1 thì F γ ⊂ F τ

5 Nếu(τk) , k = 1, 2, là dãy các thời điểm Markov đối với (Fn) và τ = infkτk

thì

Fτ =\

k

Fτk

Cho G = (Gn), n = 1, 2, là dãy các đại lượng ngẫu nhiên tương thích với dãy

(Fn) Ký hiệu M là tập tất cả các thời điểm dừng và M là tập tất cả các thờiđiểm Markov Ký hiệu

trong đó 0 ≤ n ≤ N

Bài toán thời điểm dừng tối ưu

Bài toán thời điểm dừng tối ưu là bài toán xác định thời điểm dừng thỏa mãn

i) Tính giá trị của hàm giá V∗

ii) Tìm thời điểm dừng tối ưu τ∗

Để tồn tại EGτ trong (1.6) chúng ta cần điều kiện sau

trong đó 0 ≤ n ≤ N

Mục đích chính của phần này là nghiên cứu bài toán thời điểm dừng tối ưu (1.8)dùng cách tiếp cận Martingale

Phương pháp quy nạp ngược

Xét bài toán thời điểm dừng tối ưu (1.8) khi N < ∞ Khi đó (1.8) có thể viết

lại dưới dạng như sau

0≤n≤N bằng quy nạp như sau

Hơn nữa, nếu 0 ≤ n ≤ N được cho cố định, khi đó chúng ta có:

i) Thời điểm dừng τnN là tối ưu cho bài toán (1.9)

ii) Nếu τ∗ là thời điểm dừng tối ưu cho bài toán (1.9) thì τnN ≤ τ∗ h.c.c

1.2.2 Trường hợp thời gian liên tục

Cho không gian xác suất đầy đủ (Ω, F , P ), tức là F chứa tất cả các tập cóxác suất 0 (Tập N được gọi là tập có xác suất 0 nếu tồn tại A ∈ F sao cho

N ⊂ A) Một họ Ft, t ∈ R+
các σ - trường con của F được gọi là một lọc nếu

Fs ⊂ Ft nếus < t Lọc Ft, t ∈ R+
được gọi là liên tục phải nếu với mọi t ∈ R+

Ft = Ft+ =\

s>t

Fs

Để cho gọn khi nói về lọc (Ft) ta hiểu là xét lọc Ft, t ∈ R+

Định nghĩa 1.2 ([7]) Một hàm τ : Ω → [0, ∞) được gọi là một thời điểmMarkov đối với lọc (Ft) nếu nó là F - đo được và với mỗi t ta có

Khi đó τ là thời điểm Markov đối với lọc (Ft)

Thật vậy, đặt G = R\F Khi đó G là tập mở do đó tồn tại dãy tập đóng (Kn)

sao cho G = ∪ n K n và do X = (X t ) là quá trình liên tục nên

đường thẳng Giả sử τ là thời điểm lần đầu tiên (Xt) chạm vào tập G nghĩa là

trong đó τ là thời điểm dừng và 0 ≤ t ≤ T

Để giải bài toán (1.12) ta xét quá trình ngẫu nhiên S = (St)t≥0 được xác địnhnhư sau

Định lý 1.5 ([26]) Xét bài toán thời điểm dừng tối ưu (1.12) với giả thiết điềukiện (1.11) được thỏa mãn Hơn nữa giả sử

P (τt< ∞) = 1

với t ≥ 0 Khi đó với mọi t ≥ 0 chúng ta có:

St ≥ E (Gτ|Ft) với mỗi τ ∈ Mt

St = E (Gτt|Ft)

trong đó Mt là tập tất cả các thời điểm dừng τ thỏa mãn τ ≥ t Hơn nữa, nếu

t ≥ 0 được cho cố định, khi đó chúng ta có:

i) Thời điểm dừng τt là tối ưu cho bài toán (1.12)

ii) Nếu τ∗ là thời điểm dừng tối ưu cho bài toán (1.12) thì τt ≤ τ∗ h.c.c

1.3 Tổng quan về mạng nơ-ron

Khái niệm mạng neural (phiên âm tiếng Việt: nơ-ron) được bắt đầu vàocuối thập kỷ 1800 khi người ta cố gắng mô tả hoạt động của trí tuệ con người Ýtưởng này bắt đầu được áp dụng cho các mô hình tính toán từ mạng Perceptron.Đầu thập kỷ 1950 Friedrich Hayek là người đầu tiên khẳng định ý tưởng vềtrật tự tự phát trong não xuất phát từ các mạng phân tán gồm các đơn vị đơngiản (neural) Cuối thập kỷ 1940, Donnald Hebb đưa ra giả thuyết đầu tiên vềmột cơ chế thần kinh mềm dẻo (neural plasticity), Hebbian learning Hebbianlearning được coi là một quy tắc "điển hình" của học không có giám sát Nó (vàcác biến thể) là mô hình thời kỳ đầu của long term potentiation (tạo tiềm lựcdài hạn)

Perceptron là một bộ phân loại tuyến tính dành cho việc phân loại dữ liệu

x ∈ Rn xác định bằng các tham số w ∈ Rn, b ∈ R và một hàm đầu ra f = w0x + b.Các tham số của nó được thích nghi với một quy tắc tùy biến (ad-hoc) tương tựvới xuống dốc ngẫu nhiên (stochastic steepest gradient descent) Perceptron chỉ

có thể phân loại hoàn hảo một tập dữ liệu mà các lớp khác nhau là phân táchtuyến tính (linearly separable) trong không gian đầu vào Nó thường thất bạihoàn toàn đối với dữ liệu không chia tách được Sự phát triển của thuật toánnày ban đầu đã tạo ra một số hứng khởi, phần vì mối quan hệ của nó đối vớicác cơ chế sinh học Sau này, phát hiện về điểm yếu này đã làm cho các mô hìnhPerceptron bị bỏ mặc cho đến khi các mô hình phi tuyến được đưa ra.

Cognitron (1975) là một mạng nơ-ron đa tầng thời kỳ đầu với một thuậttoán huấn luyện Các chiến lược thần kinh khác nhau sẽ khác nhau về cấu trúcthực sự của mạng và các phương pháp thiết lập trọng số cho các kết nối Mỗidạng có các ưu điểm và nhược điểm riêng Mạng có thể lan truyền thông tin chỉtheo một hướng, hoặc thông tin có thể được đẩy đi đẩy lại cho đến khi tại mộtnút xuất hiện sự tự kích hoạt và mạng sẽ dừng tại một trạng thái kết thúc Khảnăng truyền dữ liệu hai chiều giữa các nơ-ron/nút còn được sử dụng trong mạngHopfield (1982), và sự chuyên hóa các tầng nút này cho các mục đích cụ thể đãđược đưa ra trong mạng nơ-ron lai (hybrid neural network) đầu tiên

Giữa thập kỷ 1980, xử lý phân tán song song (parallel distributed processing)trở nên một chủ đề thu hút được nhiều quan tâm dưới cái tên connectionism.Mạng truyền ngược (backpropagation) có lẽ đã là nguyên nhân chính của sựtái xuất của mạng neural từ khi công trình "Learning Internal Representations

by Error Propagation" (học các biểu diễn bên trong bằng cách lan truyền lỗi)được xuất bản năm 1986 Mạng truyền ngược ban đầu sử dụng nhiều tầng, mỗitầng gồm các đơn vị tổng-trọng-số có dạng f = g (w0x + b) là một hàm sigmoid.Huấn luyện được thực hiện theo kiểu xuống dốc ngẫu nhiên Việc sử dụng quytắc tính nguyên hàm cho hàm hợp (chain rule) khi tính toán các thay đổi thíchhợp cho các tham số dẫn đến một thuật toán có vẻ "truyền ngược lỗi" Đó

là nguồn gốc của thuật ngữ truyền ngược Tuy nhiên, về bản chất, đây chỉ làmột dạng xuống dốc Việc xác định các tham số tối ưu cho một mô hình thuộcdạng này không đơn giản, không thể dựa vào các phương pháp xuống dốc để

có được lời giải tốt mà không cần một xuất phát điểm tốt Ngày nay, các mạng

có cùng kiến trúc với mạng truyền ngược được gọi là các mạng Perceptron đatầng Thuật ngữ này không hàm ý bất cứ giới hạn nào đối với loại thuật toándùng cho việc học.

Mạng truyền ngược đã tạo ra nhiều hứng khởi và đã có nhiều tranh cãi vềchuyện quy trình học đó có thể được thực hiện trong bộ não hay không Mộtphần vì khi đó chưa tìm ra cơ chế truyền tín hiệu ngược Nhưng lý do quantrọng nhất là chưa có một nguồn tín hiệu "dạy" hay tín hiệu "đích" đáng tincậy

Ngày nay, các nhà thần kinh học đã thành công trong việc tìm ra mối liên

hệ giữa học tăng cường và hệ thống hưởng thưởng dopamine (dopamine system

of reward) Tuy nhiên, vai trò của nó vẫn đang được nghiên cứu

1.3.1 Nơ-ron sinh học và nơ-ron nhân tạo

a) Nơ-ron sinh học

Mạng nơ-ron sinh học là một mạng lưới (plexus) các nơ-ron có kết nối hoặc

có liên quan về mặt chức năng trực thuộc hệ thần kinh ngoại biên (peripheralnervous system) hay hệ thần kinh trung ương (central nervous system) Trongngành thần kinh học (neuroscience), nó thường được dùng để chỉ một nhómnơ-ron thuộc hệ thần kinh là đối tượng của một nghiên cứu khoa học nhất định.Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người baogồm khoảng1011 nơ-ron tham gia vào khoảng1015 kết nối trên các đường truyền.Mỗi đường truyền này dài khoảng hơn một mét Các nơ-ron có nhiều đặc điểmchung với các tế bào khác trong cơ thể, ngoài ra chúng còn có những khả năng

mà các tế bào khác không có được, đó là khả năng nhận, xử lý và truyền các tínhiệu điện hóa trên các đường mòn nơ-ron, các con đường này tạo nên hệ thốnggiao tiếp của bộ não

Mỗi nơ-ron sinh học có 3 thành phần cơ bản:

ˆ Các nhánh vào hình cây (dendrites)

Hình 1.1: Cấu trúc của một nơ-ron sinh học điển hình

ˆ Thân tế bào (cell body)

ˆ Sợi trục ra (axon)

Các nhánh hình cây truyền tín hiệu vào đến thân tế bào Thân tế bào tổng hợp

và xử lý cho tín hiệu đi ra Sợi trục truyền tín hiệu ra từ thân tế bào này sangnơ-ron khác Điểm liên kết giữa sợi trục của nơ-ron này với nhánh hình cây củanơ-ron khác gọi là synapse Liên kết giữa các nơ-ron và độ nhạy của mỗi synapseđược xác định bởi quá trình hóa học phức tạp Một số cấu trúc của nơ-ron đượcxác định trước lúc sinh ra Một số cấu trúc được phát triển thông qua quá trìnhhọc Trong cuộc đời cá thể, một số liên kết mới được hình thành, một số khác

bị hủy bỏ

Như vậy nơ-ron sinh học hoạt động theo cách thức sau: nhận tín hiệu đầuvào, xử lý các tín hiệu này và cho ra một tín hiệu output Tín hiệu output nàysau đó được truyền đi làm tín hiệu đầu vào cho các nơ-ron khác

Dựa trên những hiểu biết về nơ-ron sinh học, con người xây dựng nơ-ronnhân tạo với hy vọng tạo nên một mô hình có sức mạnh như bộ não.

b) Nơ-ron nhân tạo

Mạng nơ-ron nhân tạo được thiết kế để mô hình một số tính chất của mạngnơ-ron sinh học, tuy nhiên, khác với các mô hình nhận thức, phần lớn các ứngdụng lại có bản chất kỹ thuật

Một nơ-ron là một đơn vị xử lý thông tin và là thành phần cơ bản của mộtmạng nơ-ron Cấu trúc của một nơ-ron được mô tả ở hình dưới

Hình 1.2: Nơ-ron nhân tạo

Các thành phần cơ bản của một nơ-ron nhân tạo bao gồm:

Tập các đầu vào Là các tín hiệu vào (input signals) của nơ-ron, các tín hiệunày thường được đưa vào dưới dạng một vectơ N chiều

Tập các liên kết Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng sốliên kết – Synaptic weight ) Trọng số liên kết giữa tín hiệu vào thứ i vớinơ-ron thường được kí hiệu là wi Thông thường, các trọng số nàyđược khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng

và được cập nhật liên tục trong quá trình học mạng.

Bộ tổng (Summing function) Thường dùng để tính tổng của tích các đầu vàovới trọng số liên kết của nó

Ngưỡng (còn gọi là một độ lệch - bias) Ngưỡng này thường được đưa vào nhưmột thành phần của hàm truyền

Hàm truyền (Transfer function) Hàm này được dùng để giới hạn phạm vi đầu

ra của mỗi nơ-ron Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng

đã cho Thông thường, phạm vi đầu ra của mỗi nơ-ron được giới hạn trongđoạn[0, 1]hoặc[−1, 1] Các hàm truyền rất đa dạng, có thể là các hàm tuyếntính hoặc phi tuyến Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từngbài toán và kinh nghiệm của người thiết kế mạng

Đầu ra Là tín hiệu đầu ra của một nơ-ron, với mỗi nơ-ron sẽ có tối đa là mộtđầu ra

Như vậy tương tự như nơ-ron sinh học, nơ-ron nhân tạo cũng nhận các tínhiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng cáctích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (làkết quả của hàm truyền)

1.3.2 Mô hình mạng nơ-ron

Mặc dù mỗi nơ-ron đơn lẻ có thể thực hiện những chức năng xử lý thôngtin nhất định, sức mạnh của tính toán nơ-ron chủ yếu có được nhờ sự kết hợpcác nơ-ron trong một kiến trúc thống nhất Một mạng nơ-ron là một mô hìnhtính toán được xác định qua các tham số: kiểu nơ-ron (như là các nút nếu tacoi cả mạng nơ-ron là một đồ thị), kiến trúc kết nối (sự tổ chức kết nối giữa cácnơ-ron) và thuật toán học (thuật toán dùng để học cho mạng)

Về bản chất một mạng nơ-ron có chức năng như là một ánh xạ F : X → Y,trong đó X là không gian trạng thái đầu vào (input state space) và Y là không

gian trạng thái đầu ra (output state space) của mạng Các mạng chỉ đơn giản

là làm nhiệm vụ ánh xạ các vectơ đầu vào x ∈ X sang các vector đầu ra y ∈ Y

thông qua “bộ lọc” (filter ) các trọng số Tức là y = F (x) = s(W, x), trong đó W

là ma trận trọng số liên kết Hoạt động của mạng thường là các tính toán sốthực trên các ma trận

Mô hình mạng nơ-ron được sử dụng rộng rãi nhất là mô hình mạng nhiềutầng truyền thẳng (MLP: Multi Layer Perceptron) Một mạng MLP tổng quát

có một lớp đầu vào, các lớp ẩn và một lớp đầu ra

Hình 1.3: Mạng MLP tổng quát

Kiến trúc của một mạng MLP tổng quát có thể mô tả như sau:

ˆ Đầu vào là các vectơ (x1, x2, , xp) trong không gian p chiều, đầu ra là cácvectơ (y 1 , y 2 , , y q )trong không gian q chiều Đối với các bài toán phân loại,

p chính là kích thước của mẫu đầu vào,q chính là số lớp cần phân loại Xét

ví dụ trong bài toán nhận dạng chữ số: với mỗi mẫu ta lưu tọa độ (x, y)

của 8 điểm trên chữ số đó, và nhiệm vụ của mạng là phân loại các mẫu nàyvào một trong 10 lớp tương ứng với 10 chữ số 0, 1, , 9 Khi đó p là kíchthước mẫu và bằng 8 x 2 = 16; q là số lớp và bằng 10

ˆ Mỗi nơ-ron thuộc tầng sau liên kết với tất cả các nơ-ron thuộc tầng liềntrước nó.

ˆ Đầu ra của nơ-ron tầng trước là đầu vào của nơ-ron thuộc tầng liền sau nó.Hoạt động của mạng MLP như sau: tại tầng đầu vào các nơ-ron nhận tín hiệuvào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quảcủa hàm truyền); kết quả này sẽ được truyền tới các nơ-ron thuộc tầng ẩn thứnhất; các nơ-ron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quảđến tầng ẩn thứ 2; ; quá trình tiếp tục cho đến khi các nơ-ron thuộc tầng racho kết quả

1.3.3 Huấn luyện mạng nơ-ron

a) Các phương pháp học

Học là quá trình thay đổi hành vi của các vật theo một cách nào đó làm chochúng có thể thực hiện tốt hơn trong tương lai Một mạng nơ-ron được huấnluyện sao cho với một tập các vectơ đầu vào X, mạng có khả năng tạo ra tậpcác vectơ đầu ra mong muốn Y của nó Tập X được sử dụng cho huấn luyệnmạng được gọi là tập huấn luyện (training set ) Các phần tửx thuộcX được gọi

là các mẫu huấn luyện (training example) Quá trình huấn luyện bản chất

là sự thay đổi các trọng số liên kết của mạng Trong quá trình này, cáctrọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi vectơ đầu vào x

từ tập huấn luyện, mạng sẽ cho ra vectơ đầu ra y như mong muốn

Ví dụ 1.5 Image Classification hay hiểu đơn giản là phân loại hình ảnh, là mộttrong những nhiệm vụ phổ biến trong trí tuệ nhân tạo (Artificial Intelligence).Mục tiêu chính của bài toán này đó chính là phân loại một hình ảnh đầu vào(input) thành một nhãn (label) đầu ra (output) Một ví dụ đơn giản chúng tacần phân biệt bức ảnh đầu vào là con chó hay con mèo chẳng hạn

Có ba phương pháp học phổ biến là học có giám sát (supervised learning),

Hình 1.4: Huấn luyện mạng nơ-ron

học không giám sát (unsupervised learning) và học tăng cường (Reinforcementlearning):

Học có giám sát Là quá trình học có sự tham gia giám sát của một “thầygiáo” Cũng giống như việc ta dạy một em nhỏ các chữ cái Ta đưa ra mộtchữ “a” và bảo với em đó rằng đây là chữ “a” Việc này được thực hiện trêntất cả các mẫu chữ cái Sau đó khi kiểm tra ta sẽ đưa ra một chữ cái bất kì(có thể viết hơi khác đi) và hỏi em đó đây là chữ gì?

Với học có giám sát, tập mẫu huấn luyện được cho dưới dạng

D =(x, t) | (x, t) ∈ RN × RK

trong đó x = (x 1 , x 2 , , xN) là vectơ đặc trưng N chiều của mẫu huấn luyện

và t = (t1, t2, , tK) là vectơ mục tiêu K chiều tương ứng, nhiệm vụ củathuật toán là phải thiết lập được một cách tính toán trên mạng như thếnào đó để sao cho với mỗi vectơ đặc trưng đầu vào thì sai số giữa giá trịđầu ra thực sự của mạng và giá trị mục tiêu tương ứng là nhỏ nhất Chẳnghạn mạng có thể học để xấp xỉ một hàm t = f (x) biểu diễn mối quan hệ

trên tập các mẫu huấn luyện (x, t).

Như vậy với học có giám sát, số lớp cần phân loại đã được biết trước Nhiệm

vụ của thuật toán là phải xác định được một cách thức phân lớp sao chovới mỗi vectơ đầu vào sẽ được phân loại chính xác vào lớp của nó

Học không giám sát Là việc học không cần có bất kỳ một sự giám sát nào.Trong bài toán học không giám sát, tập dữ liệu huấn luyện được cho dướidạng:

D = {(x1, x2, , xN)}

với (x1, x2, , xN) là vectơ đặc trưng của mẫu huấn luyện Nhiệm vụ củathuật toán là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhómchứa các vectơ đầu vào có đặc trưng giống nhau

Như vậy với học không giám sát, số lớp phân loại chưa được biết trước, vàtùy theo tiêu chuẩn đánh giá độ tương tự giữa các mẫu mà ta có thể có cáclớp phân loại khác nhau

Học tăng cường Đôi khi còn được gọi là học thưởng-phạt (reward-penaltylearning), là sự tổ hợp của cả hai mô hình trên Phương pháp này cụ thểnhư sau: với vector đầu vào, quan sát vector đầu ra do mạng tính được.Nếu kết quả được xem là “tốt” thì mạng sẽ được thưởng theo nghĩa tăng cáctrọng số kết nối lên; ngược lại mạng sẽ bị phạt, các trọng số kết nối khôngthích hợp sẽ được giảm xuống Do đó học tăng cường là học theo nhà phêbình (critic), ngược với học có giám sát là học theo thầy giáo (teacher ).b) Học có giám sát trong các mạng nơ-ron

Học có giám sát có thể được xem như việc xấp xỉ một ánh xạ: X → Y, trong

đó X là tập các vấn đề và Y là tập các lời giải tương ứng cho vấn đề đó Cácmẫu (x, y) với x = (x1, x2, , xn) ∈ X, y = (y1, y2, , yn) ∈ Y được cho trước Học

có giám sát trong các mạng nơ-ron thường được thực hiện theo các bước sau:

Bước 1 Xây dựng cấu trúc thích hợp cho mạng nơ-ron, chẳng hạn có (n + 1)

nơ-ron vào (n nơ-ron cho biến vào và 1 nơ-ron cho ngưỡng x 0), m nơ-ronđầu ra, và khởi tạo các trọng số liên kết của mạng

Bước 2 Đưa một vectơ x trong tập mẫu huấn luyện X vào mạng

Bước 3 Tính vectơ đầu ra o của mạng

Bước 4 So sánh vectơ đầu ra mong muốny(là kết quả được cho trong tập huấnluyện) với vectơ đầu ra o do mạng tạo ra, nếu có thể thì đánh giá lỗi.Bước 5 Hiệu chỉnh các trọng số liên kết theo một cách nào đó sao cho ở lầntiếp theo khi đưa vectơ x vào mạng, vectơ đầu ra o sẽ giống với y hơn.Bước 6 Nếu cần, lặp lại các bước từ 2 đến 5 cho tới khi mạng đạt tới trạngthái hội tụ

Việc đánh giá lỗi có thể thực hiện theo nhiều cách, cách dùng nhiều nhất là sửdụng Err = (o − y) (lỗi tức thời) hoặc Err = |o − y| hoặc Err = (o − y)2/2 (lỗitrung bình bình phương MSE: mean-square error)

1.3.4 Ví dụ chi tiết xây dựng một mạng nơ-ron với ngôn ngữ lập

trình Python

Python là một ngôn ngữ lập trình bậc cao cho các mục đích lập trình đanăng, do Guido van Rossum tạo ra và lần đầu ra mắt vào năm 1991 Pythonđược thiết kế với ưu điểm mạnh là dễ đọc, dễ học và dễ nhớ Học máy (MachineLearning) rất quan trọng trong thế giới hiện đại, điều này liên quan thế nào vớiPython? Trong khi có các thư viện được thiết kế để làm việc với các ngôn ngữphổ biến khác, Python là ngôn ngữ thực tế dành cho học máy TensorFlow củaGoogle hoạt động chủ yếu với Python Hầu hết các khóa học về học máy đều sửdụng ngôn ngữ lập trình này Việc phân tích dữ liệu và phân tích cú pháp cầnthiết cho việc học máy đều thực hiện tốt với Python và các thư viện của nó

Hình 1.5 miêu tả một kiến trúc mạng nơ-ron gồm 2 lớp (lớp đầu vào x

thường không được tính vào số lượng lớp của mạng)

Hình 1.5: Ví dụ xây dựng một mạng nơ-ron

Bây giờ chúng ta sẽ bắt đầu xây dựng kiến trúc trên với Python

1) Đầu tiên là khởi tạo class NeuralNetwork Để đơn giản hóa môhình, ta sẽ mặc định là các biến bias bằng 0

self.y = y; self.output = np.zeros(y.shape)

2) Tiếp theo ta sẽ huấn luyện mạng nơ-ron

Với kiến trúc trên, biếnybthể hiển đầu ra của mạng sẽ được tính theo công thức:

b

y = σ (W 2 σ (W 1 x + b 1 ) + b 2 )

Theo công thức trên, có thể thấy được rằng các biến weights W và bias b đóngvai trò quyết định đầu ra by Giá trị của các biến này cần được tinh chỉnh đểtăng độ chính xác trong những dự đoán của mạng nơ-ron Quá trình tinh chỉnhcác biến này được gọi là quá trình huấn luyện mạng Quá trình này là một vònglặp gồm các bước:

ˆ Feedforward: Tính toán đầu ra by

ˆ Backpropagation: Cập nhật các giá trị W và b

Mỗi vòng lặp trong quá trình huấn luyện diễn ra như sau:

Hình 1.6: Vòng lặp huấn luyện mạng nơ-ron

Chúng ta sẽ đi vào chi tiết từng phần

a) Feedforward (lan truyền tiến)

Sau bước feedforward, ta đã tính được đầu ra by của mạng nơ-ron Tuy nhiên tavẫn chưa xây dựng một cách thức để đánh giá mức độ đúng đắn của dự đoánnày Phương thức phổ biến nhất dùng để đánh giá mức độ chênh lệch giữa dựđoánby (Giá trị output của mạng) với kết quả mong muốny (Giá trị output thực

sự mà ta muốn) là sử dụng hàm mất mát - Loss function

b) Hàm mất mát - Loss function

Là một hàm để tính toán mức độ chênh lệch giữa by và y Vì giá trị độ chênhlệch này biểu diễn sự sai sót trong quá trình dự đoán của mạng nên giá trị nàycòn được gọi là giá trị lỗi Giá trị lỗi càng nhỏ thì dự đoán của mạng nơ-roncàng chính xác Có rất nhiều biến thể của hàm mất mát phù hợp cho từng bàitoán khác nhau, trong ví dụ này ta sẽ sử dụng hàm tổng bình phương lỗi (Sum

c) Backpropagation

Sau khi đã tính được giá trị lỗi, ta cần phải cập nhật các biến W và b sao chocác dự đoán by về sau có giá trị lỗi nhỏ nhất có thể Nhắc lại kiến thức về giảitích, để tìm cực tiểu của một hàm số ta phải tính đạo hàm của hàm số đó theotừng biến Các giá trị đạo hàm nói cho ta biết về các "hướng" cần di chuyển cácbiến để hàm số đi về cực tiểu Vì vậy, một khi ta đã có đạo hàm của hàm mấtmát theo từng biến W và b, ta sẽ cập nhật các giá trị của chúng theo giá trị cácđạo hàm tương ứng Phương pháp này được gọi là phương pháp hướng giảmgradient

Để tính toán các đạo hàm của hàm mất mát theo từng biếnW và b, ta sử dụng

Hình 1.7: Phương pháp hướng giảm gradient

quy tắc tính đạo hàm của hàm số hợp như sau:

Hãy huấn luyện Mạng nơ-ron với 1500 lần lặp và xem điều gì sẽ xảy ra:

Thuật toán feedforward và backpropagation đã đào tạo một mạng nơ-ron thànhcông và các dự đoán được hội tụ trên các giá trị thực Lưu ý rằng có một sựkhác biệt nhỏ giữa dự đoán và giá trị thực tế Điều này là cần thiết, vì nó tránh

việc mô hình bị overfitting và cho phép mạng nơ-ron dự đoán tốt hơn với dữliệu mới.

1.4 Kết luận chương 1

Chương này chúng tôi đã trình bày một số kiến thức cơ bản của giải tíchngẫu nhiên, trong đó thời điểm dừng tối ưu là khái niệm liên quan trực tiếp tớicác chương tiếp theo Cũng trong chương này chúng tôi trình bày tổng quan vềmạng nơ-ron, gồm các khái niệm của mạng nơ-ron nhân tạo, các mô hình mạng

và phương pháp xây dựng cũng như huấn luyện mạng Trong đó đi sâu vào việcxây dựng một mạng nơ-ron với ngôn ngữ lập trình Python

Các vấn đề cần nghiên cứu triển khai là:

ˆ Tìm hiểu về các thuật toán huấn luyện mạng nơ-ron khác, để có thể đưa racác so sánh, cũng như chọn mô hình thích hợp cho các bài toán cụ thể

ˆ Phát triển chương trình thực nghiệm có ý nghĩa thực tế như nhận dạng chữviết tay, nhận dạng ảnh,