Ứng dụng kỹ thuật học sâu xây dựng chương trình hỗ trợ chẩn đoán rối loạn phổ tự kỷ

Hiện nay số lượng trẻ em bị rối loạn phổ tự kỷ đang ngày càng tăng Rối loạn phổ tự kỷ trở thành nỗi lo lắng của rất nhiều gia đình Việt Do đó việc chẩn đoán để phát hiện sớm rối loạn phổ tự kỷ ở trẻ em là việc làm rất cần thiết để có biện pháp điều trị kịp thời Tuy nhiên ở Việt Nam có rất ít hệ thống hỗ trợ chẩn đoán rối loạn phổ tự kỷ Nghiên cứu này được đề xuất với mục tiêu ứng dụng kỹ thuật học sâu để vận dụng xây dựng hệ thống hỗ trợ trong dự đoán rối loạn phổ tự kỷ Từ những kiến thức cơ bản về rối loạn phổ tự kỷ cùng với kỹ thuật học sâu tác giả đã đưa ra quy trình ứng dụng hệ thống mạng học sâu trong chẩn đoán rối loạn phổ tự kỷ Sau đó biến đổi các triệu chứng bệnh thành các thuộc tính của dữ liệu vào và các kết luận bệnh thành thuộc tính của dữ liệu ra rồi tiến hành cài đặt ứng dụng Tác giả đã tóm tắt đánh giá các kết quả đã đạt được và đưa ra các hướng phát triển tiếp theo

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA

Đà Nẵng - Năm 2019

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA

PHẠM THỊ HOÀI

ỨNG DỤNG KỸ THUẬT HỌC SÂU, XÂY DỰNG CHƯƠNG TRÌNH HỖ TRỢ CHẨN ĐOÁN RỐI LOẠN

PHỔ TỰ KỶ

Chuyên ngành: Khoa học máy tính

Mã số: 8480101

Khóa: K35

LUẬN VĂN THẠC SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS Nguyễn Văn Hiệu

Đà Nẵng - Năm 2019

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác

Tác giả

Phạm Thị Hoài

LỜI CÁM ƠN

Luận văn thạc sĩ khoa học chuyên ngành khoa học máy tính với đề tài “Ứng dụng

kỹ thuật học sâu, xây dựng chương trình hỗ trợ chẩn đoán rối loạn phổ tự kỷ” là kết quả

của quá trình cố gắng không ngừng của bản thân và được sự giúp đỡ, động viên khích

lệ của các thầy cô, bạn bè đồng nghiệp và người thân

Trước hết tôi xin tỏ lòng kính trọng và biết ơn sâu sắc đối với thầy giáo TS Nguyễn Văn Hiệu đã trực tiếp tận tình hướng dẫn cũng như cung cấp tài liệu, thông tin khoa học cần thiết cho luận văn này

Xin gửi lời cảm ơn chân thành nhất tới Lãnh đạo trường Đại học Bách khoa Đà

Nẵng, khoa Công nghệ thông tin đã tạo điều kiện cho tôi trong quá trình học tập

Xin cùng bày tỏ lòng biết ơn chân thành tới các thầy cô giáo của trường Đại học Bách khoa Đà Nẵng cũng như các trường trực thuộc Đại học Đà Nẵng, những người đã đem lại cho tôi những kiến thức vô cùng có ích trong những năm học vừa qua

Tôi cũng xin chân thành cảm ơn lãnh đạo đơn vị công tác, các đồng nghiệp đã tạo điều kiện tốt nhất cho tôi học tập và thực hiện luận văn

Cuối cùng tôi xin gửi lời cám ơn đến gia đình, bạn bè, những người đã luôn bên tôi, động viên và khuyến khích tôi trong quá trình thực hiện đề tài nghiên cứu của mình Mặc dù đã cố gắng hoàn thành luận văn trong phạm vi và khả năng cho phép nhưng cũng không thể tránh khỏi những thiếu sót Rất mong nhận được sự cảm thông cũng như

sự đóng góp chỉ dẫn của quý thầy cô

Một lần nữa tôi xin chân thành cảm ơn!

Học viên

Phạm Thị Hoài

TÓM TẮT LUẬN VĂN ỨNG DỤNG KỸ THUẬT HỌC SÂU, XÂY DỰNG CHƯƠNG TRÌNH HỖ

TRỢ CHẨN ĐOÁN RỐI LOẠN PHỔ TỰ KỶ

Học viên: Phạm Thị Hoài Chuyên ngành: Khoa học máy tính

Mã số: 8480101 Khóa: K35 Trường Đại học Bách khoa - ĐHĐN

Tóm tắt – Hiện nay, số lượng trẻ em bị rối loạn phổ tự kỷ đang ngày càng tăng Rối

loạn phổ tự kỷ trở thành nỗi lo lắng của rất nhiều gia đình Việt Do đó, việc chẩn đoán để phát hiện sớm rối loạn phổ tự kỷ ở trẻ em là việc làm rất cần thiết để có biện pháp điều trị kịp thời Tuy nhiên ở Việt Nam có rất ít hệ thống hỗ trợ chẩn đoán rối loạn phổ tự kỷ Nghiên cứu này được đề xuất với mục tiêu ứng dụng kỹ thuật học sâu để vận dụng xây dựng hệ thống hỗ trợ trong dự đoán rối loạn phổ tự kỷ Từ những kiến thức cơ bản về rối loạn phổ tự kỷ cùng với kỷ thuật học sâu, tác giả đã đưa ra quy trình ứng dụng hệ thống mạng học sâu trong chẩn đoán rối loạn phổ tự kỷ Sau đó biến đổi các triệu chứng bệnh thành các thuộc tính của dữ liệu vào và các kết luận bệnh thành thuộc tính của dữ liệu ra rồi tiến hành cài đặt ứng dụng Tác giả đã tóm tắt đánh giá các kết quả đã đạt được và đưa

ra các hướng phát triển tiếp theo

Từ khóa – rối loạn phổ tự kỷ; chẩn đoán; kỹ thuật học sâu; (3 từ khóa)

APPLICATION OF DEEP LEARNING TECHNIQUES, BUILDING THE PROGRAM SUPPORTING DIAGNOSTIC AUTISM SPECTRUM DISORDER Abstract - Currently, the number of children with autism spectrum disorder are

constantly increasing Autism spectrum disorder become anxiety of many Vietnamese families Therefore, the diagnosis for the early detection of autism spectrum disorder in children is much needed jobs for timely treatment But in Vietnam there are few support systems autism spectrum disorder diagnosis This research was proposed with the aim of applying deep learning techniques to apply the construction of a support system in predicting autism spectrum disorders From the basic knowledge of autism spectrum disorder along with deep learning techniques, the author has introduced the process of applying deep learning system in diagnosing autism spectrum disorder Then transform the disease symptoms into the attributes of the input and the disease conclusions into the properties of the output data and then proceed to install the application The author summarized the evaluation of the achieved results and gave the next development directions

Key words – autism spectrum disorder; diagnostics; deep learning techniques

MỤC LỤC

CHƯƠNG MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Mục tiêu và nội dung nghiên cứu 3

3 Đối tượng và phạm vi nghiên cứu 3

4 Phương pháp nghiên cứu 3

5 Ý nghĩa khoa học và thực tiễn 3

6 Cấu trúc luận văn 4

CHƯƠNG 1 TỔNG QUAN VỀ RỐI LOẠN PHỔ TỰ KỶ 5

1.1 Lịch sử về rối loạn phổ tự kỷ 5

1.2 Khái niệm của rối loạn phổ tự kỷ 5

1.3 Nguyên nhân của rối loạn phổ tự kỷ 6

1.3.1 Tổn thương não hoặc não bộ kém phát triển do: 6

1.3.2 Yếu tố di truyền 6

1.3.3 Yếu tố môi trường 6

1.3.4 Yếu tố tâm lý thần kinh 7

1.3.5 Yếu tố hoá chất 8

1.4 Triệu chứng đặc trưng của rối loạn phổ tự kỷ 8

1.4.1 Tự kỷ và trầm cảm 8

1.4.2 Triệu chứng lâm sàng 8

1.5 Các mức độ 11

1.5.1 Theo thời điểm mắc tự kỷ 11

1.5.2 Theo chỉ số thông minh 11

1.5.3 Theo mức độ 12

1.6 Các hướng nghiên cứu đã có 12

CHƯƠNG 2 MÔ HÌNH HỌC SÂU 12

2.1 Deep Learing là gì? 13

2.2 Mạng nơ-ron nhân tạo 13

2.2.1 Khái niệm 13

2.2.2 Kiến trúc mạng Nơ-ron nhân tạo 13

2.2.3 Mạng Nơ-ron mờ 15

2.2.4 Mạng Nơ-ron truyền thẳng 15

2.2.5 Mạng Nơ-ron lan truyền ngược 17

2.3 Mô hình mạng Nơ-ron tích chập (CNN) 19

2.3.1 Giới thiệu mạng Nơ-ron tích chập 19

2.3.2 Kiến trúc mạng nơ-ron tích chập CNN 20

2.3.3 Phục vụ chẩn đoán 21

2.4 Mô hình mạng RNN – LSTM 22

2.4.1 Mạng nơ-ron hồi quy (RNN) 22

2.4.2 Vấn đề phụ thuộc xa 24

2.4.3 Mạng LSTM 25

2.4.4 Phục vụ chẩn đoán 29

2.5 Mô hình LSTM-CNN 30

2.5.1 Giới thiệu mô hình LSTM-CNN 30

2.5.2 Cấu trúc mạng LSTM-CNN 30

2.5.3 Ứng dụng Mô hình LSTM-CNN 33

CHƯƠNG 3 ỨNG DỤNG MÔ HÌNH VÀO CHẨN ĐOÁN RỐI LOẠN PHỔ TỰ KỶ 34

3.1 Quy trình ứng dụng vào chẩn đoán bệnh tự kỷ 34

3.1.1 Thu thập dữ liệu 34

3.1.2 Phân tích dữ liệu 34

3.1.3 Mô hình chẩn đoán ……….….……… 41

3.1.4 Cấu trúc mạng 42

3.1.5 Ứng dụng mô hình trong chẩn đoán bệnh 42

3.2 Phân tích thiết kế hệ thống 42

3.2.1 Xác định yêu cầu 42

3.2.2 Biểu đồ ca sử dụng 43

3.2.3 Biểu đồ hoạt động 45

3.2.4 Biểu đồ tuần tự 46

3.2.5 Biểu đồ triển khai hệ thống 47

3.3 Xây dựng chương trình 47

3 4 Đánh giá mô hình 49

3.4.1 Độ chính xác của mô hình 49

3.4.2 Hàm mất mát của mô hình 49

3.5 Nhận xét 50

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 51

1 Kết luận 51

2 Hướng phát triển của đề tài 51

TÀI LIỆU THAM KHẢO……… 53

BẢNG CÁC TỪ VIẾT TẮT

ADDM Automatic Database Diagnostic

Monitor

Theo dõi chẩn đoán cơ sở dữ liệu

tự động CNN Convolutionalal Neural Network Mạng Nơ-ron tích chập

RNN Recurrent Neural Network Mạng nơ-ron hồi quy

LSTM Long Short-Term Memory Mạng nơ-ron cải tiến giải quyết

vấn đề phụ thuộc từ quá dài ASD Autism Spectrum Disorder Rối loạn phổ tự kỷ

MRI Magnetic Resonance Imaging Cộng hưởng từ

ANN Artificial Neural Network Mạng Nơ-ron nhân tạo

ADD/ADHD Attention Deficit Hyperactivity

Disorder

Rối loạn tăng động giảm chú ý

IEP Individualized Education

Program

Chương trình Giáo dục Cá nhân

NSCH National Survey Of Children’s

Health

Khảo sát quốc gia về sức khỏe trẻ

em PDD Pervasive Developmental

Disorders

Rối loạn phát triển lan tỏa

DANH MỤC CÁC HÌNH VẼ

Số hiệu

2.22 Cổng vào it và tanh 𝐶𝑡 ̃ (LSTM focus i) 28

2.24 Giá trị cổng ra và vector trạng thái ẩn ht (LSTM focus o) 29 2.25 Minh họa mô hình LSTM của chúng tôi để phân loại tình cảm 31

3.6 Biểu đồ hoạt động đăng nhập của người dùng 45

3.8 Biểu đồ tuần tự của hoạt động đăng nhập 46

CHƯƠNG MỞ ĐẦU

1 Lý do chọn đề tài

Rối loạn phổ tự kỷ là một loại khuyết tật phát triển suốt đời được thể hiện trong

vòng 3 năm đầu đời Tự kỷ là do rối loạn của hệ thần kinh gây ảnh hưởng đến hoạt động của não bộ Rối loạn phổ tự kỷ được biểu hiện ra ngoài bằng những khiếm khuyết về tương tác xã hội, khó khăn về giao tiếp ngôn ngữ và phi ngôn ngữ, và hành vi, sở thích

và hoạt động mang tính hạn hẹp và lặp đi lặp lại

Theo báo cáo từ ADDM Network (Mạng lưới theo dõi tự kỷ và khiếm khuyết phát triển) ở Mỹ gần đây, tỉ lệ trẻ em mắc rối loạn phổ tự kỷ là tỉ lệ 1/68 vào năm 2009 và 1/110 vào năm 2016 Tự kỷ đang trở thành mối quan tâm đặc biệt của nhiều quốc gia trên thế giới, trong đó có Việt Nam Tuy chưa có con số thống kê chính thức, nhưng theo Mạng lưới người tự kỷ Việt Nam, hiện cả nước có khoảng 200.000 người mắc chứng tự kỷ và tỷ lệ người mới mắc đang có dấu hiệu gia tăng Hiện có 75%-88% trẻ

em có rối loạn phổ tự kỷ có những dấu hiệu sớm của tình trạng này trong 2 năm đầu đời, 31%-55% có biểu hiện triệu chứng trong năm đầu tiên Tuy nhiên, đáng lo ngại là việc phát hiện tình trạng bệnh của trẻ và đưa đi điều trị trong thời gian qua là khá chậm, phần nhiều đã từ 3-4 tuổi Các nghiên cứu cho thấy trẻ từ 18-36 tháng tuổi, nếu phát hiện sớm

tự kỷ và can thiệp kịp thời thì khoảng 30% khả năng sẽ bình thường và có thể hòa nhập trở lại với cộng đồng Nếu can thiệp sớm từ 1-3 tuổi với những trẻ tự kỷ nhẹ và trung bình sẽ cải thiện và gia tăng khả năng giao tiếp qua ngôn ngữ, hành vi Các nghiên cứu cũng cho biết nếu phát hiện sớm, 80% trẻ tự kỷ có thể đi học với các bạn bình thường

Tự kỷ không chỉ là nỗi đau của gia đình và bản thân người mắc tự kỷ mà nó còn là gánh nặng kinh tế của quốc gia cũng như là nhân tố tiêu cực trong tiến trình phát triển của loài người Với đặc trưng phức tạp, tự kỷ là một phổ rộng, từ rất nặng đến nhẹ, không rõ nguyên nhân và không có tiêu chí phòng ngừa cụ thể, vì vậy, việc phát hiện sớm là chìa khóa để đẩy lùi rối loạn phổ tự kỷ, bởi vì phát hiện càng sớm thì việc can thiệp, khắc phục sẽ có kết quả càng cao, trẻ càng có cơ hội hòa nhập với cộng đồng, tự lập trong cuộc sống

Với sự phát triển của khoa học công nghệ trong lĩnh vực khai phá dữ liệu, việc áp dụng các thuật toán học máy đã tạo nên những cú híc trong tiến trình chuẩn đoán bệnh Trong đó, điển hình là tỉ lệ chẩn đoán ung thư lâm sàng của bác sĩ là 79.9%, nhưng khi

áp dụng khoa học công nghệ vào chẩn đoán thì tỉ lệ đó là 91.1% Vẫn chưa có con số cụ thể trong chẩn đoán rối loạn phổ tự kỷ, tuy nhiên số lượng ca chẩn đoán sai là đáng kể

do sự thiếu hụt trong chuyên môn cũng như số lượng đội ngũ chuyên gia Các phương pháp chẩn đoán rối loạn phổ tự kỷ ngày nay hầu hết được áp dụng đối với trẻ sau hai tuổi Ngoài ra phương pháp chẩn đoán sớm, trước hai tuổi thường chỉ là tổ hợp những triệu chứng đơn giản, thường gây hiểu nhầm và khó áp dụng trong nhiều trường hợp

Có thể nói bản chất của bài toán chẩn đoán sớm rối loạn phổ tự kỷ là một hàm phi tuyến cực kỳ phức tạp, rất khó định hình Cũng chính vì lẽ đó, đề tài đề xuất hướng tiếp cận nghiên cứu sử dụng kết hợp giữa mạng Nơ-ron nhân tạo và logic mờ để xây dựng

hệ thống chẩn đoán sớm rối loạn phổ tự kỷ Tính hiệu quả của sự kết hợp giữa mạng Nơ-ron nhân tạo và logic mờ đã được chứng minh trong nhiều lĩnh vực, tài chính, địa chất, vật lý, y học… cũng như trong các hệ thống ra quyết định thông minh Với hướng tiếp cận này, chương trình sẽ giải quyết được tính phức tạp trong các biểu hiện rối loạn phổ tự kỷ nhờ khả năng nắm bắt mối quan hệ phức tạp giữa đầu vào và đầu ra của mạng Nơ-ron nhân tạo, giải quyết được mức độ biểu hiện rõ ràng đến mờ nhạt của triệu chứng cũng như tính chính xác của thông tin thu thập từ bố mẹ trẻ

Mặc dầu trên thế giới đã có nhiều công cụ chẩn đoán rối loạn phổ tự kỷ hay tiền rối loạn phổ tự kỷ, tuy nhiên hai vấn đề sau chưa được giải quyết:

1) Các công cụ chẩn đoán hiện tại xem như là một quá trình các thông tin đầu vào (các triệu chứng, các đặc điểm, ….) để xác định thông tin đầu ra (các bệnh dẫn đến bệnh tiền tự kỷ); Về mặt toán học các công cụ tồn tại tương đương với việc giải phương trình nhiều ẩn số Tuy nhiên, khi số ấn quá lớn thì việc giải quyết là vấn đề khó khăn

2) Tri thức, kinh nghiệm thực tế của các chuyên gia tâm lý về vấn đề chẩn đoán và kết quả chẩn đoán trong thời gian qua, làm thế nào để chúng ta tập hợp chúng thành các quy luật và để từ đó đưa vào máy tính giúp chẩn đoán

Với các đặc điểm phức tạp của ASD, một số phương pháp đã được sử dụng để phát hiện bệnh tự kỷ.Phương pháp đầu tiên là chẩn đoán bệnh tự kỷ dựa trên một loạt các triệu chứng lặp đi lặp lại kỳ lạ, không chính thức.Tuy nhiên, phương pháp này có độ chính xác thấp và không phù hợp để chẩn đoán bệnh tự kỷ ở trẻ trước 24 tháng tuổi vì biểu hiện của các triệu chứng tự kỷ ở trẻ nhỏ không rõ ràng

Bảng câu hỏi sàng lọc được sử dụng rộng rãi để chẩn đoán ASD, một số trong số

đó là CARS (Thang đánh giá tự kỷ ở trẻ em), M-CHAT, M-CHAT-R, v.v Những thang đánh giá ASD đó thường có điểm chung.Họ nhận được thông tin về các triệu chứng tự kỷ thông qua các câu hỏi, sau đó tổng hợp các điểm và cuối cùng kết luận phân loại các loại và mức độ tự kỷ.Theo thang điểm CARS, có 3 cấp độ rối loạn: bình thường, nhẹ đến trung bình, nặng.Là một trong những thang đo phổ biến nhất, CARS là một hệ thống gồm 15 phần, mỗi phần có 4 cấp chính và 3 cấp phụ Người đánh giá, là người chăm sóc trẻ em như cha mẹ hoặc giáo viên, cần đánh giá hành vi của trẻ và sau đó chấm điểm chúng tương ứng với các triệu chứng được mô tả trong 15 phần được liệt kê theo

7 cấp độ, từ 1, 1.5, 2 , đến 4 Sau đó, tổng của 15 điểm sẽ xác định mức độ tự kỷ được

đo theo thang đo này: nhỏ hơn 30 - bình thường, từ 30 đến 36 - nhẹ đến trung bình, lớn hơn 36 - nghiêm trọng Các phương pháp chẩn đoán ASD hiện tại chia sẻ một số tính năng chung: chúng dễ sử dụng và có thể nhận ra nhiều trường hợp tự kỷ Tuy nhiên, các phương pháp này không có khả năng nắm bắt sự phức tạp của ASD dẫn đến rất nhiều

trường hợp dương tính giả và trường hợp âm tính giả, nguyên nhân chủ yếu là do tính chất của thang đánh giá và độ chính xác của câu trả lời của người đánh giá Hơn nữa, chẩn đoán sử dụng thang đánh giá như CARS là không phù hợp để áp dụng cho trẻ sơ sinh.Để khắc phục những nhược điểm đó, các thuật toán khai thác dữ liệu, cụ thể là các

kỹ thuật phân loại, sẽ được áp dụng để cải thiện độ chính xác của chẩn đoán tự kỷ sớm

Vì thế đề tài “Ứng dụng kỹ thuật học sâu, xây dựng chương trình hỗ trợ chẩn đoán

rối loạn phổ tự kỷ” là đề tài được tôi chọn để nghiên cứu

2 Mục tiêu và nội dung nghiên cứu

2.1 Mục tiêu

Xây dựng chương trình hỗ trợ chẩn đoán rối loạn phổ tự kỷ

2.2 Nội dung nghiên cứu

- Tìm hiểu tổng quan về rối loạn phổ tự kỷ

- Nghiên cứu kỷ thuật học sâu để ứng dụng vào chẩn đoán rối loạn phổ tự kỷ

- Phân tích, thiết kế, xây dựng và triển khai hệ thống chẩn đoán dựa vào phương

pháp đề xuất

3 Đối tượng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu

- Bệnh rối loạn phổ tự kỷ

- Lý thuyết Lôgic mờ và mạng Nơ-ron nhân tạo

- Lý thuyết học sâu: Mô hình CNN, Mô hình RNN-LSTM, Mô hình LSTM-CNN

3.2 Phạm vi nghiên cứu

- Hệ thống chẩn đoán rối loạn phổ tự kỷ

- Phương pháp khai phá dữ liêu, kỹ thuật học sâu

4 Phương pháp nghiên cứu

4.1 Phương pháp lý thuyết

- Nghiên cứu lý thuyết về khai phá dữ liệu

- Nghiên cứu phương pháp chẩn đoán

- Nghiên cứu phương pháp thống kê

4.2 Phương pháp thực nghiệm

- Xây dựng cơ sở dữ liệu chẩn đoán rối loạn phổ tự kỷ

- Xây dựng chương trình thử nghiệm

5 Ý nghĩa khoa học và thực tiễn

6 Cấu trúc luận văn

Nội dung của luận văn gồm các nội dung chính sau đây:

Chương 1:

Trình bày những kiến thức cơ bản về bệnh tự kỷ ở trẻ em, khái niệm, nguyên nhân

gây bệnh, triệu chứng bệnh, tác hại và các mức độ của bệnh tự kỷ

các hoạt động chính của ứng dụng, tiến hành cài đặt ứng dụng

CHƯƠNG 1 TỔNG QUAN VỀ RỐI LOẠN PHỔ TỰ KỶ

1.1 Lịch sử về rối loạn phổ tự kỷ

Thuật ngữ tự kỷ bắt đầu từ Kanner (1943) với tên gọi là “tự kỷ nhủ nhi” Năm

1980, DSM-3 ra đời thì tự kỷ được gọi “rối loạn phổ tự kỷ” là một thể riêng biệt được đặt trong rối loạn phát triển lan tỏa Đến năm 2000 tổ chức Giám sát bệnh tự kỷ và rối loạn sự phát triển (ADDM) đã sử dụng thuật ngữ “phổ” tự kỷ để chỉ đến rối loạn phổ tự

kỷ và các rối loạn khuyết tật có liên quan đến tự kỷ Đến tháng 6 năm 2013, DSM-5 ra đời là phiên bản mới nhất được cộng đồng chuyên ngành tâm thần học trên thế giới ứng dụng để chẩn đoán rối loạn phổ tự kỷ, đã giúp cho việc phát hiện sớm hơn các trẻ tự kỷ [13] Trong phiên bản này các chẩn đoán của rối loạn phát triển lan tỏa trước đó được sáp nhập vào chẩn đoán duy nhất là rối loạn phổ tự kỷ, thuật ngữ “Rối loạn phát triển lan tỏa” của DSM-4 đã không còn được sử dụng

Trên thế giới: Những năm gần đây tỷ lệ trẻ em bị rối loạn phổ tự kỷ[15] tăng rõ rệt Năm 2013, tác giả Alison Presmanes Hill tổng hợp 81 nghiên cứu về tỷ lệ mắc rối loạn phổ tự kỷ ở trẻ em trên thế giới, cho thấy tỷ lệ mắc rối loạn phổ tự kỷ trên thế giới

là khoảng 6,6/1.000 [16] Ở Mỹ trước năm 1980 tỷ lệ trẻ rối loạn phổ tự kỷ là 1/2.000, nhưng hiện tỷ lệ này là 2 - 6/1.000 [11] Năm 2006, tỷ lệ trẻ em dưới 8 tuổi tại Mỹ mắc rối loạn phổ tự kỷ là 9/1.000, so sánh với năm 2002 cho thấy tỷ lệ rối loạn phổ tự kỷ tăng 57% Năm 2007, tỷ lệ trẻ em từ 3 - 17 tuổi mắc rối loạn phổ tự kỷ là 11/1.000 [17] Năm 2008, tỷ lệ trẻ em dưới 8 tuổi tại Mỹ mắc rối loạn phổ tự kỷ là 11,3% tăng 78% so với năm 2002 [18] Năm 2010 trẻ dưới 8 tuổi, tỷ lệ trẻ em 8 tuổi tại Mỹ mắc rối loạn

phổ tự kỷ là 14,7% [19]

Ở Việt nam: Trước năm 1980 có nhiều chuyên gia cho rằng tại Việt Nam không

có trẻ rối loạn phổ tự kỷ, khái niệm rối loạn phổ tự kỷ còn rất xa lạ với thầy thuốc nhi khoa; nhưng 15 năm trở lại đây, có sự gia tăng chẩn đoán cũng như tỷ lệ mắc mới rối loạn phổ tự kỷ [14] Năm 2010 tỷ lệ mắc rối loạn phổ tự kỷ là 0,59% Năm 2012, tỷ lệ

rối loạn phổ tự kỷ ở trẻ là 0,51%

1.2 Khái niệm của rối loạn phổ tự kỷ

Tự kỷ và rối loạn phổ tự kỷ (ASD - Autism Spectrum Disorder) là hai thuật ngữ được sử dụng để chỉ một nhóm các rối loạn phức tạp của sự phát triển não bộ Những rối loạn này gây ra những khó khăn trong tương tác xã hội, giao tiếp, ngôn ngữ và hành

vi lặp lại ở những mức độ khác nhau

Tự kỷ có thể đi kèm với các khuyết tật trí tuệ, khó khăn trong việc phối hợp vận động, ngôn ngữ, sự chú ý và các vấn đề sức khỏe thể chất như giấc ngủ và rối loạn tiêu hóa Một số trẻ tự kỷ khá nổi trội trong các kỹ năng liên quan tới thị giác, âm nhạc, toán học và nghệ thuật

Tự kỷ có nguồn gốc từ trong giai đoạn phát triển rất sớm của não bộ Tuy nhiên, những dấu hiệu và triệu chứng rõ ràng nhất của tự kỷ thường xuất hiện khi trẻ nằm trong

độ tuổi từ 2 đến 3 tuổi

1.3 Nguyên nhân của rối loạn phổ tự kỷ

Các nghiên cứu hiện nay đều chưa dám khẳng định nguyên nhân chính xác của chứng tự kỷ Một số giả thiết cho rằng, tự kỷ có nguyên nhân từ các yếu tố sinh học hoặc môi trường, hoặc cả hai, bao gồm cả các yếu tố nhiễm khuẩn lúc mang thai, các khiếm

khuyết của hệ thống miễn dịch, gen

1.3.1 Tổn thương não hoặc não bộ kém phát triển do:

− Đẻ non tháng dưới 37 tuần

− Cân nặng khi sinh thấp dưới 2.500g

− Ngạt hoặc thiếu ô xy não khi sinh

− Chấn thương sọ não do can thiệp sản khoa

− Vàng da nhân não sơ sinh

− Chảy máu não-màng não sơ sinh

− Nhiễm khuẩn thần kinh như viêm não, viêm màng não

− Thiếu ôxy não do suy hô hấp nặng

− Chấn thương sọ não

− Nhiễm độc thuỷ ngân

1.3.2 Yếu tố di truyền

Trong một gia đình, anh chị em của một cá nhân tự kỷ có nhiều nguy cơ bị tự kỷ,

và những cặp sinh đôi càng có nhiều nguy cơ hơn Điều này có nghĩa: gần như chắc chắc

tự kỷ có yếu tố di truyền nhưng không hẳn là một gen duy nhất là nguyên nhân, hoặc di truyền là nguy cơ duy nhất của tự kỷ Trên thực tế, nhiều nhà nghiên cứu tin rằng một chuỗi gen, và một số hình thái môi trường, là nguyên nhân của tự kỷ

Di truyền học phân tử: Nghiên cứu mới về di truyền học phân tử cho thấy một số

vùng đặc biệt trên nhiều nhiễm sắc thể khác nhau, đặc biệt là các nhiễm sắc thể số 2, 7,

13 và 15 có thể là vị trí của những gen nhạy cảm với tự kỷ, tuy nhiên, tên của các gen nhạy cảm này vẫn chưa được xác định Các gen nhạy cảm không trực tiếp gây ra rối loạn nhưng có thể tương tác với các yếu tố môi trường để gây ra tự kỷ Có hơn 100 gen

đã được đánh giá như là gen nhạy cảm đối với tự kỷ Gen EN-2 trên nhiễm sắc thể số 7

có liên quan đến sự phát triển của tiểu não Những bất thường trong sự phát triển của tiểu não có bằng chứng tương ứng ở những cá thể bị tự kỷ, những bất thường này bao gồm: những tế bào Purkinje bị suy giảm ở vỏ của tiểu não

1.3.3 Yếu tố môi trường:

- Khoa học hiện nay đang nghiên cứu sự ảnh hưởng của các yếu tố môi trường (bao

gồm cả môi trường sống xung quanh cũng như môi trường xung quanh bào thai ảnh hưởng đến sự phát triển của thai nhi) Ví dụ như: tiền sử tiếp xúc với chất độc, người

mẹ có bệnh sởi, bệnh tiểu đường, các biến chứng trong khi sinh hoặc mang thai, và trẻ

sinh ra có cân nặng sơ sinh thấp Càng phơi nhiễm với nhiều yếu tố nguy cơ, trẻ càng dễ tăng nguy cơ mắc tự kỷ Tuy nhiên, yếu tố môi trường chiếm tỉ lệ rất nhỏ vào nguy cơ mắc tự kỷ Có rất nhiều người phơi nhiễm với nhiều yếu tố môi trường nhưng không bị

tự kỷ

1.3.4 Yếu tố tâm lý thần kinh

Tỷ lệ động kinh và những bất thường về điện não đồ có ở khoảng 50% người bị tự

kỷ, điều này cho chúng ta một chứng cứ chung về bất thường chức năng của não bộ Có hàng loạt các bất thường về não bộ đã được xác định tương ứng với xáo trộn ở giai đoạn rất sớm của quá trình phát triển thần kinh xảy ra trước 30 tuần tuổi thai

Các suy kém về tâm lý thần kinh xảy ra ở nhiều lĩnh vực khác nhau như ngôn ngữ, định hướng, chú ý, trí nhớ, chức năng thực hành, Bản chất lan toả của những suy kém này gợi ý có nhiều vùng của não có liên quan bao gồm cả vỏ não và dưới vỏ não Các kiểu tâm lý thần kinh cũng thay đổi theo mức độ nặng nhẹ của rối loạn

Chuyển hoá glucose (chất đường) ở não trẻ tự kỷ cao hơn so với người bình thường Những nghiên cứu về chuyển hoá của não gợi ý có sự suy giảm lưu lượng máu ở thùy trán và thùy thái dương, giảm các nối kết chức năng giữa các vùng vỏ não và dưới vỏ,

có một sự trưởng thành chậm của vỏ não trán, những phát hiện này gợi ý sự trưởng thành chậm của vỏ não trán có liên quan đến suy kém chức năng thực hành ở trẻ tự kỷ

Các thay đổi ở thân não, vùng phía sau của cầu não bị giảm kích thước, những nhân ở vùng này bao gồm nhân thần kinh mặt, nhân olive trên,… nhỏ hơn so với kích thước bình thường hoặc thậm chí có thể biến mất

Có một số bất thường ở thuỳ thái dương, tiểu não ở nhiều trường hợp nhưng lại không đúng cho tất cả các trường hợp Tiểu não là phần não liên quan đến khả năng vận động và thăng bằng, tuy nhiên tiểu não còn liên quan đến ngôn ngữ, học tập, cảm xúc,

và chú ý, có những vùng đặc biệt trong tiểu não ở người tự kỷ nhỏ hơn so với người bình thường

Vùng hạnh nhân (Amygdala) là một vùng thuộc thuỳ thái dương giữa (medial temporal lobe) có kích thước lớn hơn một cách bất thường, vùng này phụ trách xử lý thông tin về cảm xúc, điều này có thể ảnh hưởng đến sự suy kém về việc ghi nhận biểu

lộ nét mặt và cùng nhau chú ý đến vật thể khác, đây là hai chức năng nhận thức xã hội đều bị ảnh hưởng ở trẻ tự kỷ

Não của trẻ tự kỷ lớn hơn và nặng hơn so với não của trẻ phát triển bình thường, phần lớn hơn là do quá nhiều chất trắng, phần này gồm các mô liên kết liên quan đến sự kết nối giữa các vùng với nhau

Kết quả từ nghiên cứu hình ảnh cộng hưởng từ (MRI) cũng tương ứng với những kết quả nghiên cứu về vòng đầu Ví dụ, trẻ từ 2 – 4 tuổi bị tự kỷ được phát hiện thấy có thể tích não tổng cộng lớn hơn so với bình thường

1.3.5 Yếu tố hoá chất

Trên tạp chí khoa học về Sức khỏe Môi trường của Mỹ (Environmental Health Perspectives), các nhà khoa học đã chỉ ra một mối tương quan chặt chẽ cần phải cảnh giác giữa bệnh tự kỷ, các rối loạn thần kinh với các độc chất hóa học Các tác giả cho rằng, nguyên nhân sâu xa của những chứng bệnh này đều ít nhiều có liên quan tới các độc chất Các chất độc đáng chú ý như:

- Chì: là yếu tố gây hại trên thần kinh trung ương

- Hợp chất của thủy ngân: là thủ phạm gây rối loạn thần kinh và các rối loạn dạng

tự kỷ ở trẻ em

- Phospho hữu cơ: là thủ phạm diệt luôn cả chức năng của não bộ

- Clo hữu cơ: ảnh hưởng xấu của đến sự phát triển của não bộ và các rối loạn thần

kinh

- Các hợp chất hữu cơ đa vòng: Đây là những hợp chất vô cùng thông dụng và cần

thiết trong công nghiệp liên quan đến dầu mỏ, hoá dầu, bào chế chất thơm… Nhưng thật không may là nó lại làm giảm năng lực trí tuệ ở trẻ em, đồng thời đứa trẻ cũng xuất hiện các rối loạn dạng tự kỷ

1.4 Triệu chứng đặc trưng của rối loạn phổ tự kỷ

1.4.1 Tự kỷ và trầm cảm

Tự kỷ và trầm cảm đều là chứng bệnh sợ hãi quá độ, ảnh hưởng đến hành vi, suy nghĩ và giao tiếp của con người Bệnh nhân mắc chứng bệnh này thường ngại giao tiếp, ngại tụ tập những nơi đông người, có xu hướng thích một mình

- Bệnh tự kỷ: Bệnh tự kỷ thường xuất hiện ở độ tuổi từ 3 – 10 tuổi, liên quan đến

sự rối loạn về nhận thức và hành vi thần kinh Bệnh thể hiện qua sự sút kém trong khả năng hòa nhập xã hội, sút kém trong việc giao tiếp bằng ngôn ngữ cũng như phi ngôn ngữ

- Bệnh trầm cảm: Trầm cảm là một dạng rối loạn tâm thần hay gặp nhất trong các

dạng rối loạn tâm thần Thời đại bùng nổ thông tin, do áp lực học tập lớn nên bệnh gặp khá nhiều ở lứa tuổi học sinh, sinh viên Triệu chứng rất đa dạng và phong phú như: Mất ngủ, mệt mỏi, biếng ăn, cảm giác buồn, khó chịu, buông xuôi,…

1.4.2 Triệu chứng lâm sàng

Không có hai trẻ tự kỷ nào hoàn toàn giống nhau về các triệu chứng hay mức độ nặng nhẹ của bệnh Những dấu hiệu dưới đây là những vấn đề và hành vi thường gặp ở trẻ tự kỷ

a Dấu hiệu cảnh báo dưới 1 tuổi

- Giai đoạn từ 0 – 6 tháng tuổi: Trẻ bị tự kỷ trong giai đoạn này thường có các biểu

hiện: Không hoặc ít phản ứng với âm thanh như tiếng gọi của mẹ, tiếng xúc sắc của trò chơi Không tập trung ánh mắt vào người nói chuyện, không có tương tác khi hỏi chuyện

Bé có những biểu hiện tăng động như quấy khóc nhiều, khó dỗ dành hoặc bé quá “hiền”, thờ ơ yên lặng, không đòi được chăm sóc

- Giai đoạn từ 6 – 12 tháng tuổi: Không chú ý đến những hoạt động và người xung

quanh, trẻ bình thường lúc này đã biết theo mẹ, giữ mẹ và thích có bạn chơi cùng; phát

âm rất ít hoặc không phát âm; chơi một mình, sử dụng đồ vật một cách bất thường như gãi, cào hay cọ xát, chơi với các ngón tay và tay ở trước mặt; không vẫy tay chào, tạm biệt, chỉ tay hay các biểu hiện hành động tương tự

b Dấu hiệu cảnh báo trên 1 tuổi

- Khiếm khuyết về quan hệ xã hội: Trẻ thể hiện khả năng bất thường trong quan hệ

với mọi người Trẻ có thể tránh nhìn vào mắt người lớn, tránh xa người lớn, không có phản ứng với người lớn như trẻ cùng tuổi Đôi khi trẻ thể hiện thái độ xa lánh (không nhận biết hoặc không quan tâm đến những sự vật, hiện tượng xung quanh) Ở mức độ nặng hơn, trẻ luôn luôn tách biệt hoặc không nhận ra được những việc người lớn đang tác động đến trẻ, trẻ hầu như không bao giờ đáp ứng hoặc chủ động tiếp xúc với người lớn

- Khiếm khuyết về khả năng bắt chước: Trẻ chỉ có khả năng bắt chước được các

hành vi đơn giản như vỗ tay hoặc phát ra các âm thanh đơn lẻ, đôi khi chỉ bắt chước sau khi được khích lệ hoặc sau một thời gian chờ đợi Ở mức độ nặng hơn, trẻ rất ít khi hoặc không bao giờ bắt chước âm thanh, từ ngữ hoặc các hành động ngay cả khi có sự khích

lệ và giúp đỡ của người lớn

- Khiếm khuyết về khả năng đáp ứng tình cảm: Trẻ biểu lộ cách thức và mức độ

đáp ứng tình cảm không phù hợp với tuổi, đáp ứng của trẻ có thể rụt rè quá mức hoặc không liên quan đến tình huống, có biểu hiện nhăn nhó, cười lớn hoặc trở nên máy móc ngay cả khi không có đối tượng hoặc sự việc gây xúc động xuất hiện Ở mức độ nặng hơn, một khi trẻ đang ở trong tâm trạng nào đó thì rất khó để hướng sang tâm trạng khác, hoặc trẻ có thể biểu hiện rất nhiều tâm trạng khác nhau ngay cả khi không có sự thay đổi nào cả

- Khiếm khuyết về các động tác cơ thể: Trẻ có một vài biểu hiện khác thường nhỏ,

ví dụ như vụng về, động tác lặp đi lặp lại, sự phối hợp các động tác kém, hoặc đôi khi biểu hiện một số động tác bất thường Ở mức độ nặng hơn, những động tác cơ thể bất thường được mô tả ở trên thể hiện liên tục và mãnh liệt hơn, các hành vi bất thường này vẫn tồn tại cho dù đã có những cố gắng để hạn chế hoặc lôi kéo trẻ vào các hoạt động khác

- Khiếm khuyết về sử dụng đồ vật: Trẻ thiếu thích hợp trong việc sử dụng đồ vật,

thiếu thích thú với đồ chơi và các đồ vật khác Trẻ có thể ít ham thích đến đồ chơi và các đồ vật khác hoặc có thể trẻ bị cuốn hút vào đồ chơi và các đồ vật khác một cách bất thường Trẻ có thể tập trung vào một bộ phận không quan trọng của đồ chơi, bị thu hút vào phần không phản xạ ánh sáng, di chuyển lặp lại một bộ phận của đồ vật hoặc chỉ chơi riêng với một đồ vật

- Khiếm khuyết về khả năng thích nghi với sự thay đổi: Khi người lớn cố gắng thay

đổi sự kiện, trẻ có thể vẫn tiếp tục thực hiện các hành động cũ hoặc sử dụng các đồ vật

trước đó Trẻ phản ứng mạnh mẽ với sự thay đổi thói quen thông thường hằng ngày, tiếp tục duy trì các hành vi cũ và khó có thể lôi kéo trẻ đến hành vi mới Trẻ có thể biểu lộ cáu giận hoặc buồn phiền khi những thói quen thông thường bị thay đổi Ở mức độ nặng hơn, trẻ phản ứng gay gắt đối với sự thay đổi, nếu bị buộc phải thay đổi, trẻ có thể trở nên cáu giận cực độ hoặc bất hợp tác và phản ứng lại với cơn thịnh nộ

- Khiếm khuyết về phản ứng thị giác: Trẻ thích nhìn vào gương hoặc tia sáng hơn

bạn bè, thi thoảng chăm chú nhìn lên khoảng không (nhìn mơ màng), hoặc tránh nhìn vào mắt người lớn Trẻ thường xuyên được nhắc nhìn vào những gì trẻ đang làm Trẻ có thể nhìn chằm chằm vào khoảng không, tránh không nhìn vào mắt người lớn, nhìn vào

đồ vật từ một góc độ bất thường, hoặc giữ đồ vật rất gần với mắt Ở mức độ nặng hơn, trẻ luôn luôn tránh nhìn vào mắt người lớn hoặc các đồ vật cụ thể nào đó và thể hiện tính chất hết sức kì lạ về thị giác như đã nêu ở trên

- Khiếm khuyết về phản ứng thính giác: Trẻ đôi khi không phản ứng hoặc phản

ứng nhẹ với một số loại âm thanh nhất định Có thể phản ứng chậm trễ với âm thanh, và

âm thanh cần được nhắc lại để lôi kéo sự chú ý của trẻ Trẻ có thể bị phân tán bởi âm thanh bên ngoài Ở mức độ nặng hơn, trẻ quá phản ứng hoặc phản ứng dưới mức bình thường với âm thanh cho dù đó là loại âm thanh nào

- Khiếm khuyết về phản ứng vị giác, khứu giác, xúc giác: Trẻ có thể hay ngậm đồ

vật, có thể ngửi và nếm những vật không ăn được, có thể bỏ qua hoặc phản ứng mạnh với những đau đớn nhẹ mà những trẻ bình thường chỉ thể hiện khó chịu Trẻ có thể khó chịu ở mức độ vừa phải với sự đụng chạm, có thể phản ứng dưới mức hoặc quá mức Ở mức độ nặng hơn, trẻ thực sự khó chịu với sự đụng chạm Trẻ ngửi, nếm, sờ mó, đụng chạm đồ vật theo cảm giác hơn là khám phá thông thường Trẻ có thể hoàn toàn bỏ qua cảm giác đau đớn hoặc phản ứng dữ dội với khó chịu nhỏ

- Khiếm khuyết về cảm giác sợ hãi và hồi hộp: Trong một vài tình huống, trẻ thể

hiện sự sợ hãi hoặc hồi hộp hơi khác so với những trẻ bình thường khác Ở mức độ nặng hơn, trẻ luôn sợ hãi khi gặp những tình huống hoặc đồ vật vô hại Rất khó để trấn an trẻ bình tĩnh hoặc thoải mái Ngược lại, trẻ không cho thấy sự chú ý cần thiết đến những nguy hiểm, trong khi trẻ bình thường tránh được những nguy hiểm này

- Khiếm khuyết về giao tiếp bằng lời: Hầu hết lời nói có nghĩa, tuy nhiên có thể

xuất hiện sự lặp lại máy móc hoặc phát âm bị đảo lộn Đôi khi trẻ dùng một số từ khác thường hoặc không có nghĩa Khi nói, giao tiếp bằng lời có thể lẫn lộn giữa những lời nói có nghĩa và không có nghĩa Lặp lại máy móc hoặc phát âm đảo lộn Lời nói có nghĩa cũng có điểm khác thường (như câu hỏi thừa) Những khác thường trong ngôn ngữ giao tiếp có nghĩa bao gồm những câu hỏi thừa hoặc bận tâm, lo lắng về một chủ đề nào đó

Ở mức độ nặng hơn, lời nói của trẻ không có nghĩa (không nói hay sử dụng ngôn ngữ

tự phát, vô nghĩa), trẻ kêu thét như trẻ mới sinh, phát những âm thanh kì lạ hay những tiếng kêu như của động vật

- Khiếm khuyết về giao tiếp không lời: Trẻ thể hiện sự yếu kém trong việc dùng

các đối tượng không lời Trẻ có thể chỉ tay nhưng ở mức độ không rõ ràng, hoặc vươn tay tới cái mà trẻ muốn, trong khi đó trẻ bình thường cùng tuổi có thể chỉ trỏ hoặc ra hiệu chính xác cái gì nó muốn Trẻ thường không hiểu giao tiếp qua nét mặt, thái độ, cử chỉ của người khác Ở mức độ nặng hơn, trẻ thể hiện những cử chỉ kì lạ hoặc khác thường, người lớn không hiểu rõ nghĩa, trẻ không nhận biết được các ý nghĩa của cử chỉ hoặc điệu bộ trên nét mặt người khác

- Khiếm khuyết về mức độ hoạt động: Trẻ có thể quá hiếu động và khó có thể dừng

hành vi Trẻ có thể hoạt động không biết mệt mỏi và có thể không muốn ngủ về đêm Ngược lại, trẻ cũng có thể thờ ơ và cần phải thúc giục rất nhiều mới làm cho trẻ vận động Ở mức độ nặng hơn, trẻ thể hiện hoặc quá thụ động hoặc quá hiếu động và có thể thay đổi dễ dàng từ trạng thái này qua trạng thái kia

- Khiếm khuyết về đáp ứng trí tuệ: Trẻ không thông minh như những trẻ bình

thường cùng lứa tuổi, kỹ năng hơi chậm trên các lĩnh vực Tuy nhiên, trẻ có thể có những chức năng gần như bình thường đối với một số lĩnh vực có liên quan đến trí tuệ

1.5 Các mức độ

1.5.1 Theo thời điểm mắc tự kỷ:

− Tự kỷ điển hình - hay tự kỷ bẩm sinh: triệu trứng tự kỷ xuất hiện dần dần trong

3 năm đầu

− Tự kỷ không điển hình - hay tự kỷ mắc phải: trẻ phát triển về ngôn ngữ và giao tiếp bình thường trong 3 năm đầu, sau đó triệu trứng tự kỷ xuất hiện dần dần và có sự thoái triển về ngôn ngữ-giao tiếp

1.5.2 Theo chỉ số thông minh:

− Tự kỷ có chỉ số thông minh cao và nói được: Trẻ không có những hành vi tiêu cực song rất thụ động, có hành vi bất thường trong bối cảnh xã hội Có thể biết đọc sớm (2 - 3 tuổi), kỹ năng nhìn tốt, có xu hướng bị ám ảnh, nhận thức tốt hơn về hành vi khi trưởng thành

− Trẻ tự kỷ có chỉ số thông minh cao và không nói được: Trẻ có sự khác biệt giữa

kỹ năng nói và kỹ năng vận động, cử động, thực hiện Trẻ có thể quá nhạy cảm khi kích thích thính giác, hành vi có thể bất thường ở mức độ nhẹ Kỹ năng nhìn tốt (có thể nhìn

đồ vật một cách chăm chú), có thể giữ yên lặng hoặc tự cô lập một cách dễ dàng, có thể buớng bỉnh, có thể giao tiếp luân phiên hoặc thích giao tiếp

− Trẻ tự kỷ có chỉ số thông minh thấp và nói được: Trẻ có hành vi kém nhất trong các dạng tự kỷ (thường xuyên la hét to, có thể trở nên hung hãn khi tuổi lớn hơn)

Có hành vi tự kích thích, trí nhớ kém, nói lặp lại (lời nói không có nghĩa đầy đủ), khả năng tập trung kém

− Trẻ tự kỷ có chỉ số thông minh thấp và không nói được: Trẻ thường xuyên im lặng, biết dùng một ít từ hoặc ít cử chỉ, có sự quan tâm đặc biệt đến máy móc, nhạy cảm

với các âm thanh/tiếng động Kỹ năng xã hội không thích hợp, không có mối quan hệ với người khác

1.5.3 Theo mức độ:

− Tự kỷ mức độ nhẹ: Trẻ có thể giao tiếp bằng mắt tương đối bình thường, giao tiếp với người ngoài hơi hạn chế, học được các hoạt động đơn giản, kỹ năng chơi và nói được tương đối bình thường

− Tự kỷ mức trung bình: Trẻ có thể giao tiếp bằng mắt, giao tiếp với người ngoài hạn chế và nói được nhưng hạn chế

− Tự kỷ mức độ nặng: Trẻ không giao tiếp bằng mắt, không giao tiếp với người ngoài và không nói được

1.6 Các hướng nghiên cứu đã có

Tác giả Nguyễn Thị Thanh Mai (2013) thực hiện nghiên cứu “Tìm hiểu phát hiện

của cha mẹ về các dấu hiệu phát triển bất thường trước chẩn đoán ở trẻ tự kỷ” [20] Tác giả Nguyễn Thị Hương Giang (2010) đã nghiên cứu về đề tài “Nghiên cứu

một số đặc điểm lâm sàng của trẻ tự kỷ từ 18 tháng đến 36 tháng tuổi” [21]

Tác giả Nguyễn Thị Kim Hòa (2014) nghiên cứu “Biểu hiện lâm sàng và các yếu

tố liên quan ở trẻ rối loạn phổ tự kỷ tại Bệnh viện Tâm thần Trung Ương 2 Biên Hòa”

[23]

Tác giả Nguyễn Lan Trang (2012) nghiên cứu “Thực trạng trẻ em từ 18 - 60

tháng tuổi tại Thành phố Thái Nguyên”

CHƯƠNG 2 MÔ HÌNH HỌC SÂU

2.1 Deep Learing là gì?

Deep Learing là một kỹ thuật máy học (Machine Learning) mạnh mẽ đang được nhiều người trong ngành biết đến và nghiên cứu Với khả năng biểu diễn thông tin (represent problem/feature engineering) và học (learning) Bênh cạnh các lĩnh vực đã gặt hái được nhiều thành công như xử lý ảnh số và video số, hay xử lí tiếng nói, và được

áp dụng vào trong xử lý ngôn ngữ tự nhiên

2.2 Mạng nơ-ron nhân tạo

2.2.1 Khái niệm

Mạng Nơ-ron nhân tạo (Artificial Neural Network- ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh học, bao gồm số lượng lớn các Nơ-ron được gắn kết để xử lý thông tin ANN giống như bộ não con người, được học bởi kinh nghiệm (thông qua huấn luyện), có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết

2.2.2 Kiến trúc mạng Nơ-ron nhân tạo

Kiến trúc ANN là tập hợp các nơ-ron được kết nối, các đầu ra của một số nơ-ron

có thể trở thành đầu vào của các nơ-ron khác

Kiến trúc chung của một mạng Nơ-ron nhân tạo (ANN) gồm 3 lớp đó là: Input Layer, Hidden Layer và Output Layer

Trong đó, lớp ẩn (Hidden Layer) gồm các Nơ-ron nhận dữ liệu vào từ các Nơ-ron

ở lớp (Layer) trước đó và chuyển đổi các input này cho các lớp xử lý tiếp theo Trong một ANN có thể có nhiều lớp ẩn (Hidden Layer)

Hình 2.1 Kiến trúc tổng quát của một ANN

Các thành phần cơ bản của một Nơ-ron nhân tạo bao gồm:

- Tập các đầu vào (Inputs): các tín hiệu vào của nơ-ron, các tín hiệu này

thường là một vectơ N chiều

- Tập các đầu ra (Outputs): là tín hiệu đầu ra của một nơ-ron , với mỗi nơ-ron

sẽ có tối đa một đầu ra

Hình 2.2 Mô hình cấu tạo của một ANN

- Connection Weights (Trọng số liên kết): Đây là thành phần rất quan trọng của một ANN, nó thể hiện mức độ quan trọng (độ mạnh) của dữ liệu đầu vào đối với quá trình xử lý thông tin (quá trình chuyển đổi dữ liệu từ Layer này sang layer khác) Quá trình học (Learning Processing) của ANN thực ra là quá trình điều chỉnh các trọng số (Weight) của các input data để có được kết quả mong muốn

- Summation Function (Hàm tổng): Tính tổng trọng số của tất cả các input được đưa vào mỗi Nơ-ron (phần tử xử lý PE)

+ Hàm tổng của một Nơ-ron đối với n input được tính theo công thức sau:

i

n i i

Hình 2.3 Hàm chuyển đổi

Việc lựa chọn Transfer Function có tác động lớn đến kết quả của ANN Hàm chuyển đổi phi tuyến được sử dụng phổ biến trong ANN là sigmoid (logical activation) function

Kết quả xử lý tại các Nơ-ron (Output) đôi khi rất lớn, vì vậy transfer function được

sử dụng để xử lý output này trước khi chuyển đến layer tiếp theo Đôi khi thay vì sử dụng Transfer Function người ta sử dụng giá trị ngưỡng (Threshold value) để kiểm soát các output của các Nơ-ron tại một layer nào đó trước khi chuyển các output này đến các Layer tiếp theo Nếu output của một Nơ-ron nào đó nhỏ hơn giá trị ngưỡng thì nó sẽ không được chuyển đến Layer tiếp theo

2.2.3 Mạng Nơ-ron mờ

Lấy nguồn cảm hứng từ nguyên lý hoạt động mạng Nơ-ron sinh học của não bộ động vật, mạng Nơ-ron nhân tạo là một hàm ước tính phi tuyến, với đầu vào là bộ dữ liệu chưa thể xác định được định dạng, quy luật, hay chưa thể phân loại Nhiệm vụ của mạng Nơ-ron là tìm ra quy luật của bộ dữ liệu đó, từ đó giải bài toán phân lớp… cũng

là những bài toán cốt lõi trong ngành khai phá dữ liệu hay khoa học nhận dạng

Hình 2.4 Tính chất mạng Nơ-ron mờ

Mạng Nơ-ron mờ là mạng Nơ-ron sử dụng dữ liệu vào, ra, tham số mờ hoặc các phép tính trên tập mờ Có thể chia mạng Nơ-ron mờ thành 4 loại:

• Loại 1: Tín hiệu vào là số thực, trọng số mờ

• Loại 2: Tín hiệu vào là tập mờ, trọng số là số thực

• Loại 3: Cả tín hiệu vào và trọng số đều là mờ

• Loại 4: Khai thác các phép toán t-chuẩn, t-đối chuẩn

2.2.4 Mạng Nơ-ron truyền thẳng

Tùy thuộc vào mục đích sử dụng mà mạng Nơ-ron nhân tạo có nhiều loại khác nhau, trong đó, loại phổ biến nhất là mô hình truyền thẳng nhiều lớp

Hàm phi tuyến Hàm ước tính

Bộ dữ liệu vào

Bộ dữ liệu ra

Mô hình mạng Nơ-ron truyền thẳng nhiều lớp được cấu tạo từ 3 lớp chính: lớp đầu vào, lớp ẩn và lớp đầu ra Với thành phần cơ sở là các “tế bào Nơ-ron”, mỗi lớp sẽ chứa một số lượng các tế bào nhất định, kết nối tín hiệu giữa các tế bào là các khớp thần kinh, hay synapse

Hình 2.5.Cấu trúc mạng Nơ-ron truyền thẳng

Để kiểm soát quá trình truyền tín hiệu giữa các tế bào, hàm kích hoạt sẽ được sử dụng, nó cho biết khả năng kích hoạt của một tế bào Nơ-ron Với mỗi tín hiệu vào một

tế bào, hàm kích hoạt sẽ quyết định tín hiệu có được truyền tiếp hay không, nếu được thì truyền tiếp với cường độ như thế nào

Hàm kích hoạt thường được sử dụng là hàm Sigmoid:

1 ( )

Để minh họa mạng Nơ-ron nhân tạo bằng toán học, ta thiết kế mạng Nơ-ron đơn giản với số lớp là 3, số Nơ-ron trên các lớp vào, ẩn, ra tương ứng là: v, a, r Hàm kích hoạt

➢

1 2

là tín hiệu vào của Nơ-ron ẩn aj

➢ OAj = f(Sj) là tín hiệu ra của Nơ-ron ẩn Aj

➢

1 2

O O I

là tín hiệu vào của Nơ-ron đầu ra Rk

➢ ORk = f(IRk) là tín hiệu ra của Nơ-ron đầu ra Rk

Với bộ trọng số w có được sau khi huấn luyện, mỗi bộ tín hiệu I = {i1, i2, …, iv} vào sẽ cho ra một bộ tín hiệu ra R= {OR1, OR2, …, ORr}

Để mạng Nơ-ron có thể sử dụng được, công tác quan trọng nhất chính là huấn luyện, bước này quyết định sự thành công của mạng Có nhiều phương pháp huấn luyện mạng Nơ-ron, nhưng có thể chia thành ba nhóm chính là huấn luyện có giám sát, không giám sát và huấn luyện tăng cường Tùy thuộc vào bộ dữ liệu, cấu trúc và mục đích của mạng Nơ-ron mà ta có thể chọn phương án huấn luyện phù hợp Đối với trường hợp mục đích là chẩn đoán bệnh tự kỷ, phương pháp được chọn là huấn luyện có giám sát, theo đó, bộ dữ liệu được sử dụng bao gồm cả dữ liệu vào lẫn dữ liệu ra, tức là chứa cả

tổ hợp triệu chứng và kết quả chẩn đoán Hàng trăm, hàng ngàn mẫu dữ liệu như vậy sẽ được sử dụng để huấn luyện cho mạng nhằm mục đích làm cho nó thông minh hơn, kết quả dự đoán sẽ chính xác hơn Giải thuật huấn luyện có giám sát cụ thể thường được sử dụng là lan truyền ngược

2.2.5 Mạng Nơ-ron lan truyền ngược

2.2.5.1 Mô hình mạng nơ-ron lan truyền ngược

Hình 2.6 Mô hình mạng nơ-ron lan truyền ngược

Mạng có 3 lớp:

- Lớp vào (Input Layer) – số node vào là số thuộc tính của đối tượng cần phân lớp

- Lớp ra (Output Layer) – Số node ra là số đặc điểm cần hướng tới của đối tượng (giá trị ra cần hướng đến – học có giám sát)

- Lớp ẩn (Hidden Layer) – Số node ẩn thường là không xác định trước, nó thường

là do kinh nghiệm của người thiết kế mạng, nếu số node ẩn quá nhiều mạng sẽ cồng kềnh, quá trình học sẽ chậm, còn nếu số node ẩn quá ít làm mạng học không chính xác Các nơ-ron ở các lớp trong thường được kết nối đầy đủ với tất cả các nơ-ron lớp ngoài, trên mỗi đường kết nối giữa 2 nơ-ron ở 2 lớp khác nhau có 1 trọng số mạng (weight) Các trọng số này đóng vai trò là các giá trị ẩn số mà mạng cần phải tìm ra (học) sao cho với các giá trị đầu vào, thông qua mạng ta nhận được kết quả xấp xỉ với đầu ra mong muốn tương ứng của mẫu học

2.2.5.2 Hoạt động mạng nơ-ron lan truyền ngược

Ta sử dụng một số kí hiệu sau:

xi: Giá trị đầu vào của nơ-ron thứ i

yk: Giá trị đầu ra của nơ-ron thứ k

Vij: vector trọng số trên đường kết nối từ nơ-ron node vào thứ i tới nơ-ron node ẩn thứ j

Wjk: vector trọng số trên đường kết nối từ nơ-ron node ẩn thứ j tới nơ-ron node ra thứ k

dk: Giá trị đầu ra mong muốn của nơ-ron nút ra thứ k

η: tốc độ học (Hệ số học) của mạng

f: hàm truyền với: f(x) = 1 / (1 + e-x ) - Ở đây chúng ta sử dụng hàm truyền là hàm Sigmoid, giới hạn giá trị đầu ra trong khoảng [0-1]

Ta sử dụng thêm 1 số ký hiệu sau:

IIi – Input của node Input thứ i

OIi – Ouput của node Input thứ i

IHi – Input của node Hidden thứ i

OHi – Output của node Hidden thứ i

IOi – Input của node Output thứ i

OOi – Output của node Output thứ i

2.2.5.3 Thuật toán mạng nơ-ron lan truyền ngược

+ Tại node vào thứ i (Input): IIi = xi , OIi = IIi

+ Tại node ẩn thứ p (Hidden): IHp = ΣOIiVip, OHp = f(IHp) = 1 / (1 + e-IHp) + Tại node ra thứ q (Output): IOq = ΣOHiWiq , OOq = f(IOq) = 1 / (1 + e-IOq)

Nhờ vậy giá trị đầu ra thực tế của mạng với bộ trọng số ngẫu nhiên ban đầu là: yk

= OOk Thực tế ta có thể nhận thấy đầu ra mong muốn dk và đầu ra thực tế yk là luôn khác nhau, chúng ta cần phải tính toán độ sai khác này và có phương pháp điều chỉnh các trọng số mạng qua từng bước học sao cho qua mỗi lần học sự sai khác này giảm xuống, quá trình học sẽ dừng khi sự sai khác này đạt đến 1 ngưỡng giới hạn phù hợp nào đó

Bước 3: Đánh giá lỗi học - lỗi trung bình bình phương (MSE: meansquare error):

E = 1/L*sqrt(Σ(dk - yk)2 ) Nếu E ≤ ԑ thì dừng học

Bước 4: Lan truyền ngược điều chỉnh trọng số

+ Với mỗi nút q thuộc tầng ra, tính đạo hàm ngược sai số thành phần δq theo công thức: δq = (dq – yq)yq(1 – yq)

+ Cập nhật các trọng số từ tầng ẩn tới tầng ra Wjk:

Δwpq = ηδqOHp

Wpq(New) = wpq(Old) + Δwpq + Với mỗi nút p thuộc tầng ẩn, tính đạo hàm ngược sai số δp theo công thức: δp =

OHp(1-OHp)Σ(wpk(old).δk), k=1 L

+ Cập nhật các trọng số từ tầng vào tới tầng ẩn Vij:

Δvip = ηδpOIi

vip(New) = vip(Old) + Δvip Lặp lại bước 2 cho tới khi thỏa mãn điều kiện kết thúc ở bước 3 Kết quả thu được

bộ trọng số chuẩn Vij, Wjk sao cho giá trị đầu ra thực tế và giá trị đầu ra mong muốn là gần giống nhau nhất (Trung bình bình phương lỗi nhỏ nhất)

2.3 Mô hình mạng Nơ-ron tích chập (CNN)

2.3.1 Giới thiệu mạng Nơ-ron tích chập

Mạng Nơ-ron tích chập (Convolutionalal Neural Network-CNN) là một mô hình mạng học sâu giúp cho chúng ta xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay, sử dụng phép tích chập để trích chọn các đặc trưng đầu vào

(input layer) kết hợp với các hàm kích hoạt phi tính (nonlinear activation function) như

ReLU để tạo ra thông tin trừu tượng hơn (abstract/higher-level) cho các layer tiếp theo, quá trình này được lặp lại qua nhiều lớp ẩn (sử dụng bộ lọc tích chập) để sau cùng có một số đặc trưng để nhận dạng đối tượng Mạng CNN thường áp dụng trong các bài toán

về nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên,…

CNN được phát triển dựa trên ba ý tưởng chính: tính kết nối cục bộ (Local connectivity hay compositionality), tính bất biến (Location invariance) và tính bất biến đối với quá trình chuyển đổi cục bộ (Invariance to local transition)

Hình 2.7 Mô hình CNN

2.3.2 Kiến trúc mạng nơ-ron tích chập CNN

Hình 2.8 Kiến trúc của mạng nơ-ron tích chập

Cấu trúc cơ bản của CNN gồm các lớp tích chập (Convolutional layer), lớp phi tuyến (Nonlinear layer) và lớp lọc (Pooling layer) Các lớp tích chập kết hợp với các lớp phi tuyến sử dụng các hàm phi tuyến như ReLU hay tanh để tạo ra các thông tin trừu tượng hơn cho các lớp tiếp theo

+ Convolutional layer: Lớp này sử dụng các bộ lọc (filter) có kích thước nhỏ so với ảnh (thường là 5x5 hoặc 3x3) so khớp vào một vùng ảnh, sau đó tính tích chập giữa

bộ lọc và giá trị các điểm ảnh trong vùng đó để cho ra một giá trị duy nhất, bộ lọc tiếp tục trượt (stride) dọc và quét hết toàn bộ ảnh Đầu ra của phép tích chập là một tập các

giá trị ảnh được gọi là mạng đặc trưng (features map) Thực chất, ở các layer đầu tiên, phép tích chập đơn giản là nó sẽ làm hiện lên các đặc trưng của đối tượng trong ảnh như đường vẽ xung quanh đối tượng, các góc cạnh,… và các layer tiếp theo sẽ lại trích xuất tiếp các đặc trưng của các đối tượng đó, việc có nhiều layer như vậy cho phép chúng ta chia nhỏ đặc trưng của ảnh tới mức nhỏ nhất có thể

Nếu có bao nhiêu bộ lọc trong lớp này sẽ có bấy nhiêu lớp ảnh tương ứng mà lớp này trả ra và được truyền vào lớp tiếp theo Các trọng số filter ban đầu sẽ được khởi tạo ngẫu nhiên và sẽ được học dần trong quá trình huấn luyện

+ Lớp chuyển đổi ReLU (Rectified Linear Unit): Lớp này thường được cài đặt ngay sau lớp Convolutional và sử dụng hàm kích hoạt giá trị cực đại và f(x)=max(0,x) Lớp ReLU đưa ảnh một mức ngưỡng, ở đây là 0 và không thay đổi kích thước của ảnh

và không có thêm bất kỳ tham số nào Để loại bỏ các giá trị âm không cần thiết mà có thể sẽ ảnh hưởng cho việc tính toán ở các layer sau đó

+ Lớp Pooling: lớp này cũng sử dụng một cửa sổ trượt quét hết toàn bộ bức ảnh, tuy nhiên nó khác ở chỗ là nó không tính tích chập mà tiến hành lấy mẫu (subsampling) khi cửa sổ trượt đến vùng ảnh nó chỉ lấy 1 giá trị để xem làm giá trị đại diện cho vùng ảnh đó (giá trị mẫu) Giá trị lấy phổ biến trong lớp Pooling là MaxPooling (giá trị lớn nhất), MinPooling (giá trị nhỏ nhất) và AveragePooling (giá trị trung bình)

+ Lớp Fully Connected Layer (FC): Tại lớp này, mỗi một nơ-ron của layer này sẽ liên kết tới mọi nơ-ron của lớp khác Để đưa ảnh từ các layer trước vào mạng này, buộc phải dàn phẳng bức ảnh ra thành 1 vector thay vì mảng nhiều chiều như trước Tại layer cuối cùng sẽ sử dụng hàm softmax để phân loại đối tượng dựa vào vector đặc trưng đã được tính toán của các lớp trước đó

2.3.3 Phục vụ chẩn đoán

Mạng CNN được sử dụng trong các bài toán:

- Nhận dạng hình ảnh: nhận dạng mặt người, nhận dạng biển số xe, phân loại ảnh,…

- Nhận dạng chữ viết: Với chương trình nhận dạng chữ viết in có thể chuyển hàng ngàn đầu sách trong thư viện thành văn bản điện tử trong thời gian ngắn Nhận dạng chữ viết của con người có ứng dụng khoa học hình sự và bảo mật thông tin (nhận dạng chữ

ký điện tử)

- Bài toán xử lí ngôn ngữ tự nhiên: Phân tích cảm xúc trong ngôn ngữ bằng việc kết hợp giữa nhận dạng ngôn ngữ với phân tích cảm xúc, biểu cảm Mục tiêu là máy tính nhận dạng đánh giá các mức độ tâm lý của con người trong ngôn ngữ

- Phân loại văn bản.

Hình 2.9 Mô hình CNN trong phân loại văn bản

Các bộ lọc thực hiện nhân tích chập (convolution) lên ma trận của câu văn đầu vào

và mỗi bộ lọc tạo ra một map lưu trữ các đặc trưng (features map) Các map đặc trưng này từng map sẽ đi qua 1-max pooling – Tức là giá trị lớn nhất trong mỗi map đặc trưng

sẽ được lưu lại

Do vậy, một vector có 1 phần tử được tạo ra ở mỗi map đặc trưng Sau đó, các giá trị này được nối lại với nhau tạo nên lớp áp chót ở trong hình Và cuối cùng, kết quả này

đi qua một hàm softmax và nhận được là một vector đặc trưng và dùng nó để dự đoán nhãn cho văn bản

2.4 Mô hình mạng RNN – LSTM

2.4.1 Mạng nơ-ron hồi quy (RNN)

Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) ra đời với ý tưởng chính là

sử dụng một bộ nhớ để lưu lại thông tin từ những bước tính toán xử lý trước để dựa vào

nó có thể đưa ra dự đoán chính xác nhất cho bước dự đoán hiện tại

Hình 2.10 Mô hình Many to Many trong mạng RNN

Các input x t sẽ được kết hợp với hidden layer h t−1 bằng hàm f W để tính toán ra hidden

layer h t hiện tại và output y t sẽ được tính ra từ h t , W là tập các trọng số và nó được ở tất

cả các cụm, các L 1, L2, ,Lt là các hàm mất mát Như vậy kết quả từ các quá trình tính

toán trước đã được "nhớ" bằng cách kết hợp thêm h t−1 tính ra h t để tăng độ chính xác cho những dự đoán ở hiện tại Cụ thể quá trình tính toán được viết dưới dạng toán như sau:

ht = fW(ht-1, xt)

Hàm f W chúng ta sẽ xử dụng hàm tanh, công thức trên sẽ trở thành :

ht =tanh(W hhht −1+W xhxt)

yt =W hyht

RNN sử dụng 3 ma trận trọng số cho 2 quá trình tính toán: W hh kết hợp với "bộ nhớ

trước" h t−1 và W kết hợp với x t để tính ra "bộ nhớ của bước hiện tại" h t từ đó kết hợp với

Why để tính ra yt

Ngoài mô hình Many to Many như ta thấy ở trên thì RNN còn rất nhiều dạng khác như sau:

Hình 2.11 Các mô hình trong mạng RNN

Mạng RNN chứa các vòng lặp bên trong cho phép thông tin có thể lưu lại được Hình

2.12 mô tả một đoạn của mạng nơ-ron hồi quy Avới đầu vào là x t và đầu ra là ht Một vòng

lặp cho phép thông tin có thể được truyền từ bước này qua bước khác của mạng nơ-ron

aq

Hình 2.12 Mạng nơ-ron hồi quy có vòng lặp

Một mạng nơ-ron hồi quy có thể được coi là nhiều bản sao chép của cùng một mạng, trong đó mỗi đầu ra của mạng này là đầu vào của một mạng sao chép khác

Trong những trường hợp cần nhiều thông tin hơn, RRN có thể phải tìm những thông tin có liên quan và số lượng các điểm đó trở nên rất lớn thì RNN không thể học

để kết nối các thông tin lại với nhau

Hình 2.15 RNN phụ thuộc long-term

Hạn chế ở mạng RNN là lớp ẩn không có trí nhớ dài hạn, hay còn được nhắc tới với tên vanishing/exploding gradient problem Nếu chỉ dừng lại ở việc áp dụng phương án học chuỗi với RNN thì vấn đề độ dài câu đối thoại sẽ là một bài toán khó Bằng việc cải tiến, bổ sung các module nhớ cho RNN, mạng bộ nhớ dài-ngắn (Long Short Term Memory networks), thường được gọi là LSTM - là một dạng đặc biệt của RNN, nó có khả năng học được các phụ thuộc xa LSTM được giới thiệu bởi Hochreiter & Schmidhuber (1997), sau đó đã được cải tiến và khả năng tương thích với nhiều bài toán nên được sử dụng rộng rãi ở các ngành liên quan LSTM được thiết kế để giải quyết các bài toán về phụ thuộc xa (long-term dependency) Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của LSTM LSTM được thiết kế nhằm loại bỏ vấn đề phụ thuộc quá dài

2.4.3 Mạng LSTM

Mô hình RNN bên dưới, các layer đều mắc nối với nhau Trong RNN chuẩn, mô đun lặp lại này có cấu trúc rất đơn giản chỉ gồm một lớp một tầng tanh

Hình 2.16 Các module lặp của mạng RNN chứa một layer

LSTM cũng có cấu trúc mắt xích tương tự, nhưng các mô đun lặp có cấu trúc khác hẳn Thay vì chỉ có một lớp mạng nơ-ron, thì LSTM có tới bốn lớp, tương tác với nhau theo một cấu trúc cụ thể

Hình 2.17 Các mô-đun lặp của mạng LSTM chứa bốn lớp

Trong đó, các ký hiệu sử dụng trong mạng LSTM gồm có: hình chữ nhật là các lớp ẩn của mạng nơ-ron, hình tròn biểu diễn toán tử Pointwise, đường kẻ gộp lại với nhau biểu thị phép nối các toán hạng, và đường rẽ nhánh biểu thị cho sự sao chép từ vị trí này sang vị trí khác Mô hình thiết kế của LSTM là một bảng mạch số, gồm các mạch logic và các phép toán logic trên đó Thông tin, hay là tần số của dòng điện di chuyển trong mạch sẽ được lưu trữ, lan truyền theo cách thiết kế bảng mạch Cốt lõi của LSTM bao gồm trạng thái tế bào (cell state) và cổng (gate) Trạng thái tế bào giống như băng chuyền, chạy xuyên suốt qua tất cả các nút mạng giúp thông tin được truyền đạt dễ dàng, còn cổng là nơi sàng lọc thông tin đi qua nó, chúng được kết hợp bởi một tầng mạng sigmoid

Hình 2.18 Cell state của LSTM giống như một băng truyền

LSTM có khả năng thêm hoặc bớt thông tin vào cell state, được quy định một cách cẩn thận bởi các cấu trúc gọi là cổng (gate) Các cổng này là một cách (tuỳ chọn) để định nghĩa thông tin băng qua Chúng được tạo bởi hàm sigmoid và một toán tử nhân pointwise

Hình 2.19 Cổng trạng thái LSTM

Hàm kích hoạt Sigmoid có giá trị từ 0 – 1, mô tả độ lớn thông tin được phép truyền qua tại mỗi lớp mạng Nếu ta thu được 0 điều này có nghĩa là “không cho bất kỳ cái gì