Luận văn thạc sĩ nghiên cứu xây dựng phần mềm nhận dạng hoạt Động người sử dụng Điện thoại trên hệ Điều hành android

Trong hiện văn này, tôi đưa ra phương phái sử dụng các cảm biên gia tốc trên thiết bị Android, dễ có thể tận dựng các chức năng sẵn có của thiết bị, ứng dụng vào việc nhận điện hành v

_BQ GIAO DUC VA BAO TAO |

TRUONG DAI IIOC BACII KHOA HA NOL

KIỂU THE HUNG

NGIIÊN CỨU XÂY DỰNG PIÄN M

_BQ GIAO DUC VA BAO TAO |

TRUONG DAI IIOC BACII KHOA HA NOL

KIEU THE HUNG

NGHIEN CUU XAY DU'NG PHAN MEM

NITAN DANG IIOAT DONG NGƯỜI SỬ DỤNG ĐIỆN THOẠI

TREN IE DIEU DANII ANDROID

LUAN VAN THAC Si KY THUAT

KỸ THUẬT VIỄN THIÔNG

NGƯỜI HƯỚNG DẪN KHOA HỌC:

PGS.TS NGUYÊN VĂN DỨC

HÀ NỘI - NĂM 2018

LOI CAM DOAN

Téi xin cam đoan đây là công trinh nghiên cứu của riêng tôi đưới sự hướng, dan của PG8.TS Nguyễn Văn Đức Các số liệu, kết quả nêu trong luận văn là trung, thực, Nội đung của luận văn cỏ tham khảo và sử đụng một số thông tim, tài liệu từ các nguiên sách, tạp chí được liệt kê trong danh mục cáo tài liệu tham khảo

LOI CAM ON

Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS Nguyễn Văn Dức, người đã tận

tình chỉ bão tôi những kiến thức chuyên môn, phương pháp nghiên cứu khoa học

đông thời cũng là tắm gương trong mọi mặt của cuộc sống để tôi học lập và nơi

theo

Tôi xin chân rảnh cảm cm các thấy, cô giáo trường Đại học Bách Khoa Hà

Nội đã cũng cấp cho tỏi những kiến thức bễ ich trong thời gian tôi học tập tại trường

Cuối cùng tôi xin gửi lời cảm ơn tới gia đình lôi đã luôn ủng hộ tôi trên con

dường, học tập và nghiên cứu với nhiều khỏ khăn, vất và Mặc dù tôi dã có gắng hết sức trong quả trình làm luận văn nhưng không thể tránh khỏi thiếu sót, rất mong, nhận dược những góp ý của thầy cô và các bạn

là Nồi ngây tháng năm

Học viên

Kiểu Thể Hung

CHUONG 1: TONG QUAK VE GIAM SAT HOAT BONG VA PHUGNG PHAP

1.4.3 Phân lớp nhận dạng, hành vì ii chọi teiniieieerorvÐ

1

1.4.5, Trich chọn tính nẵng nnerererrrirrererererooo.T2

CHƯNG 2: GIỚI TIIIỆU MẠNG NORON TỈCH CHẶP VÀ CÁC GIẢI THUẬT

2.1.2 Mang noron nhiều tằng truyền thẳng MILP

2.2 Thuật toàn lan trưyển ngược series TB

2.3.1 Sự thay đổi về kiến trú€ con on 20

2.3.2 Chi tiết các lớp Irong mô hình - - - +2

2.4, Các giải thuật Optiimiz8LON s cà cnoneneieiiirrrrirrrrrersraoue TỔ

ii

241, Cie gil that CO aD ec esssecieceeeseeesiensteeeineeinee

2.4.3 Các giải thuật đựa vào chiên lược lụa chọn Learning Rate

3.4.3 Lựa chọn giải thuật Optimizetion nào?

CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ

3.1 Giới thiệu TensorifloW cà chen cerereridre

3.2 Giới thiệu phương pháp tạo dữ liêu huấn luyện nhận dạng hành động người

dùng của lập Actiraokker co

3.3 Thông tin về bộ dữ liệu

3.4 Thiết kế hệ thống

3.4.1 Tiền xử lý đữ liệu

3.5 Mi trường thực ngÌhiệm - eee cesses rae

5.1 Quá trình huấn lưyện mồ hình CNN

3.5.2 Kết quá luận luyện CNN

ia S

bạ 3

3.6 Xây dựng phân mêm nhận dạng hoạt động người sử đụng điện thoại thông qua

xiên lũng diện thoại di động Android

3.7, Kết quá thực nghiệm trên thiết bị Android

3.8 Nhận xét và đánh giá

KÉT LUẬN VẢ KIÊN NGHI se neneirieerre

TẢI LIÊU THAM KIÃO

PHU LUC CHƯƠNG TRÌNH -222 2 seirerree

iv

44 .46

DANII MUC CAC DINILVE VA BO TIT

Tỉnh 1.1 Hệ trục trên điện thoại di động [22]

linh 1.2 Sơ đề biểu diễn quy trình học rnáy [27]

10 Tình 1.3 Mô hình nhận đạng hành vì từ dữ liệu cảm biến trên điện thoại Android

Hinh 2 1 Câu trúc một noron nhân tạo [6]

linh 2.2 Mạng MLP tổng quát [6] not mini Tình 2.3 Mạng nơron lich chập | 19]

THỉnh 2.4 Tỉnh tích chập với FÌiIteT cnHnhHeeerrrierreee

Tình 2.5 Tỉnh toán với phương pháp MaxPooling

Hình 2.6 Mô hình Softnax Regression dưới dạng mạng nơron [23

Hình 3.1 Trục tương đổi cho người đùng thiết bị Android [1]

Tĩinh 3.2 Tỉ lệ các nhãn được gán trong tập đữ liệu Actitracker [3]

Tình 3.3 Sơ dỗ khói hệ thống |24|

Tình 3.4 Mô hình mạng nhận đạng hoạt động người sử dụng điện thoại [3]

Hình 3.5 Dữ liệu dược gắn nhãn “ngồi” sau khi chuân hoá |3|

Hình 3.6 Dữ liệu được gắn nhân “ đứng” sau khi chuẩn hoá [3]

Hình 3.7 Dữ liệu được gắn nhân “đi bộ” sau khi chuẩn hoá [3]

Tình 3.8 Dữ liệu được gắn nhãn “xuống cầu thang” sau khi chuẩn hoá [3]

Hình 3.9 Dữ liệu được gắn nhãn “lên câu thang” sau khi chuẩn hoá [3| Hinh 3.L0 Dữ liệu được gắn nhãn “chạy bộ” sau khi chuẩn hoá [3]

DANIIMUC CAC BANG BIEU

Bảng 1.1 Tóm tất các nghiên cửu trước dây về nhận dạng hoạt dộng sử dụng cảm

biến gia tốc Cột tập dữ liệu quy định cụ thể dữ liệu được thu thập trong

n (T2), tự nhiên (N), hoặc bản tự nhiên (8) [22) 5

Bang 3.3 Dữ liệu huần luyện sau khi đi qua lớp Max pooling [3] -.- 42

Bang 3.4 Kết quả huần luyện mạng, nơron |3Í cssseeeeerreiseeeoo.e để

Bảng 3.6 Nhận dạng hành động “lên câu thang” esseeeeersesseoooe đ7

DANH MỤC CHẾ Vị

ANN Atificial Neural Network Mang noron nhan tao

GPS Global Positioning System — Hệ thống định vị toàn cầu

K-NN K-Nearest Neighbours Mô hình phân lớp K hang

xóm gân nhất

sean Stochastic Gradient Descent

vii

MOD

Với su phát triển của khoa học kĩ thuật, các thiết bị phục vụ nhu câu của con

người ngày cảng trở niên hiện đại, nhiều tính năng, đặc biệt là các thiết bị đi dộng,

ma trong đỏ, các thiết bị chạy trên nên tăng hệ điều hành Android chiếm thị phần lớn nhất Các thiết bị này mang những tính năng mà hẳu hết người sử đụng cũng Thư các nhà phát triển ứng dụng chưa tận đựng hết được, trong đó có thể kế đến các cảm biển gia tốc, chuyển động của thiết bị

Trong hiện văn này, tôi đưa ra phương phái

sử dụng các cảm biên gia tốc trên thiết bị Android, dễ có thể tận dựng các chức năng sẵn có của thiết bị, ứng dụng vào

việc nhận điện hành vi của người đùng thông qua các cảm biển này Nghiên cứu

thục hiện trên các thiết bị Android, với các cảm biến gìa tốc Quá trình nhận điện

lành dộng của người sử dụng dựa vào việc thu thập giá trị do được của các cảm biến này, thông qua quả trình huấn luyện một mạng noron nhân tạo tử tập dữ liệu cho Irước, đưa ra kết quả lá hành động của nguồn ding

Do thei gian thực hiện để tải không cho phép thu thập dữ liệu thực tê, nên

luận văn xây dụng dựa trên tập đữ liệu có sẵn Actitracker, thu thập trong mỗi

trường thí nghiệm Do đó, việc nhận diện chính xác hơn khi thiết bị được đặt trong, tải của người sử dụng,

Kết quả của ứng dụng là nhận điện được hành động cửa người ding là một

trong các hành động sau chạy bộ, lên cảu thang, xuống cầu thang, ngồi, đì bộ, đứng

Để tại nghiên cửu nhằm tận đựng các cảm biên của thiết bị Android, từ đó có

thể ứng dụng cho các công việc thực tiến hơn: ứng dụng tập thể dục, hỗ trợ luyện tập,

Để tài được xây dụng theo hai phần chính:

+ Xi)! đựng mạng noron: mạng norơn nhân tạo này được sử dụng để nhận diện nhãn của hành động theo các giá trị thu được từ cảm biển của thiết bị

Android Mạng được xảy dựng sử dụng các lớp tích chập vả Max-pooling,

dữ liệu huấn luyện và kiểm thử được sử dụng từ tập đữ liêu Actitracker

(WISDM)

+ AXhân diện hành động: dữ liệu cho việc nhận điện được thu trực tiếp từ các

cắm biển của thiết bị Android, các đữ liện này được đưa vào mạng noron

(các trọng số thu được từ việc xây dựng và huấn luyện mạng), và được gắn nhãn theo một trong các hành động: chạy, lên câu thang, xuống cầu thang, đứng, ngồi, đi bộ

ĐỒ tải sử dụng phương pháp nghiên cứu tải liệu, dựa trên các để tài về xây dụng,

thiết kế mạng noren, xử lý ảnh, xử lý tín hiệu sẻ, từ đó áp đựng vào phân tích và

giải quyết bài loán của để tải

Nội dung, của luận văn nghiên cửu, và phát triển dược trình bảy thông qua ba

CHUONG 1

TONG QUAN VE GIAM SAT HOẠT DỌNG VÀ PHƯƠNG

PHAP NHAN DANG HANH VI

1.1 Téng quan về giảm sát hoạt động

Khải niệm hoạt động đã được xem xét trong tương tác người máy (TICT) để thiết kế tốt hơn các mõ hình điện toán phân tán đựa trên hành vi người đừng (Bao &

Intile, 2004) Các mục tiêu của điện toán phản tán là có mặt khắp mọi nơi và kin

đáo, hoặc đần là nên tăng hỗ trợ con người trong khi học thực hiện các hoạt động

khắp, tuy nhiên việc sử dụng các hành dòng cô lập để phân tích các tỉnh huông thực

tế bên ngoài không thanh công, bởi vỉ hành động luôn nằm trong một bồi cảnh, và

hệ thông không thể hiểu được bối cảnh đó Sự phát triển của các bệ thống nhận biết ngữ cảnh là quan trọng đẻ nhận ra một hoạt dộng, chính lá bỏi cảnh có ý nghĩa tốt thiếu để hiểu được hoạt động cá nhân Phát hiện các từ thế không đủ để phân biệt

được môi số các hoạt động, chỉ khi có dược bồi cảnh, G hoại động có thô được

phân biệt một cách chính xảo [22]

Quả trình giám sát hành vi người đủng bắt đâu bằng việc tim thập các đít liệu thô, đặc biệt lá dữ liệu chuyén động, Cám biến quản tính là một giải pháp thích hợp

để phát hiện chuyên động Khững căm biển phản ứng với các kích thích bằng cách

tạo ra các tín hiệu có thế phân lích và điển lá Thông thường, các cảm biến được đặt bên cạnh cơ thể nên đem lại sự thoải mái cho người sử dụng, Cáo thể hệ mới của

điện thoại thông mình được trang bị với một loạt cáo cảm biển bên trong: cảm biển gia tốc, câm biến son quay hồi chuyển, cảm biển nhịp tim, câm biến tiêm cận, câm

biến độ âm, cảm biến ánh sáng, Một số cảm biến có thể được sử dụng dé giám sat hoạt động hàng ngày của con người: cảm biển gia tốc, con quay hồi chuyến Các thiết bị này rất tiên lợi, nhỏ và kin dao, nó trở thành ý tưởng cho hệ thông nhận dang hành vi người dùng Tỉnh năng hấp dẫn khác là có thể đeo được, lâm việc với thời gian thực và được sử dụng để theø đối lâu dài Những thiết bị này có thể ghỉ

nhận, xử lý và có được thông tin hữu ích từ dữ liêu thô của cảm biển, nhưng khó

khăn chính của việc tạo ra các tmg dụng nhận biết bồi cảnh lả việc phát triển các thuật toán cỏ thẻ nhận diện bói cảnh từ dữ liệu cảm biến có nhiều vả không rõ rằng Cảm biển gia tốc là một cảm biển lý tưởng vì chúng đòi hỏi sức mạnh xử lý thấp và

tiêu thu it năng lượng [22]

1.2 Cảm biến

Cảm biên có thẻ thu thập dữ liêu được sử dụng đề phát hiện các hảnh vi của con người Cỏ 3 vẫn đề chính liên quan đến cảm biến: loại, vị trí và số lượng Phân lớn các hệ thống nhận biết cử động sử dụng cảm biến quán tính, đặc biệt là cảm

biển gia tốc đề ước tỉnh độ nghiêng của cơ thể và xác định phương hướng, chuyên

động của người sử dụng [22]

Tin hiệu thu được với cảm biến gia tốc có 2 thánh phần, “một là gia tốc trọng trường cung cấp thông tìn về tư thẻ của chủ thể, và một thành phần tăng tốc của cơ thể cung cập thông tin vẻ sự chuyển động của chủ thể” Một cảm biển gia tốc 3

chiều đo gia tốc theo trục x, y, z so với màn hình của điện thoại được mô tả như

hình dưới Gia tốc được đo bằng don vi m/s? [22]

Hình 1.1 Hệ trục trên điện thoại di động [22]

Một số điều tra sử dụng số lượng hoạt động và thị giác máy tính có kha ning

hỗ trợ nhận dạng hành động sử dụng cảm biến gia tốc cũng được mô tả trong

chương này Nhiễu nghiên cửu trước đây đã chứng minh 85-95% cho đánh giá nhận

dang hành động, tư thế và các hoạt dòng khác sử dụng đữ liều cảm biến gia tốc Một

số công trinh được mô tả trong báng 11:

Các hoạt động Cảm biên Vị trí cảm biên | Tập dữ liệu | Chính xác nhận

dạng

của người X,Y GPS

20 ADL Gia tốc Dai trải, mắt cá | 20 người (5) | 84.2696

đắng 1.1 Tóm tắt các nghiên cửu trước đây về nhận dạng hoại động sử đụng

cam biểm gia tốc Cột tập dữ liệu quọ định cụ thể dữ: liệu được thu thập trong

phòng thí nghiệm (L), tự nhiên (N), hoặc bán tự nhiên (S} [22]

1.3 Điệu thoại thông minh

Thế hệ mới của điện thoại thông mình đang được xem xét bởi nhiều người đùng như là mnột thiết bị cá nhân quan trọng Các liết bị này có Hiểm năng cho sự

tăng trưởng cân xứng với việc thu thập dữ liệu hành vị cho việc xây dựng hệ thống

dự đoán hành vi con người Nhận thức v é loi ich của chúng đang trở nên phê biến,

và người dùng đã quen với việc có mặt khắp mọi tơi của chúng Điện thoại thông

xanh dược trang bị với hàng loạt các cảm biến bên trong, trong dó cắm biến gia tóc,

và cảm biển con quay hỏi chuyên có thể được sử đụng để giám sát hành vị hang Trgày của con người Các thiết bị nảy rất tiên lợi, nhỏ và kín đáo, nó trở thành nên tăng lý tưởng, cho một hệ thông nhận dạng hành ví phổ biển [22

Sự phát triển của điện thoại thông minh cho việc đự đoán hảnh vi can người

có muội số nhược điểm nhức pm hạn chế, bộ nhớ không cao và các phát triển mới trên lĩnh vực này cần giải quyết các câu hỏi như: tác động của các img dụng lên pin

của điện thoại, tỉ lệ mẫu dé đạt được kết quả chính xác, thời gian đề tạo mô hinh vả

không gian bộ nhớ cần thiết chờ nó Về quy trình thu thập đữ Hệu, 1a có thể chọn

thu thập đữ liệu với một điện thoại thông minh được đặt ở những vị trí xác định

trước hoặc ở 1 phần cơ thể và tạo ra một tập đữ liệu thích hợp, hoặc sử đụng bộ đữ

liệu công cộng với dữ liệu dã dược chủ thích Các tùy chọn trước đây đôi khi dược

tra thích ví một tập dữ liệu cỏ củng kích thước và được chủ thích lá cẩn thiết đề đánh giá thuật loán phân lớp, bởi vì một bộ dữ liệu có chủ thích sẽ có thể kiếm tra được kết quả Đề thu thập một bộ dữ liệu hoàn chỉnh có thé khéng kha thi, vi no 'phải thu thập một lượng lớn dữ liệu tử người sử dụng trong ruột thời gian dài dé tao

rø một thuật loán mạnh nổ và chính xác cho việc đoán định người dùng mới Một

số nghiên cứu trước dây đã hưởng, dẫn cho việc ghỉ dữ liệu sử dụng, các dỗi tượng, khác nhau, ưu tiên không phái người nghiên cứu hoặc không có sự giảm sát để có được đữ liêu tự nhiên Các đối tượng được yêu cần thục hiện một loạt các hành động và chú thích vào sau mỗi hoạt dộng hoặc dễ thực hiện ngấu nhiên các trình tự

của hoạt động được xác định trước [22

1-4 Công nghệ nhận đạng hành vỉ

1.4.1 Khái niệm phân lớp

Phân lớp để liệu có thể coi lả quá trình học một mô bình mả mô hình này

dùng để mô tà các lớp đữ liệu khác nhau Các lớp đữ liệu ở đây đã được xảo định

trước Khác với phân cụm dữ liệu, phân lớp dữ liệu được xem là một quá trình “hợc

có giảm sát” Sau khi được xây dựng, mô hình phân lớp có thể được sứ dụng đề

phân lớp các đỡ liệu mới Mỗi bên ghi trong tập đữ liêu học ó một thuộc tí

nhãn lop (Class lable) dễ chí ra bản ghỉ dé thuộc lớp náo [35]

1.4.2 Phân lớp dữ liệu

Ngày nay phân lớp đữ liệu (elassifieation) là một trong những hướng nghiên

cứu chính của khai phá đữ liệu Thực tế đặt ra nhu câu là từ một cơ sở dữ liệu với nhiều théng tin ẫn con người có thể Irích rủi va các quyết định nghiệp vụ thông

xinh Phân lớp vá dự đoán lá hai dạng của phân tích dữ liệu nhằm trích rút ra một

mô bình mô tâ các lớp đữ liệu quan trọng hay dự đoán xu hướng dữ liệu tương lai Phân lớp dự đoán giá trị của những nhãn xác dịnh (catcgerieal label) hay những giá

trị rời rạc (discrete value), cỏ nghĩa là phân lớp thao tác với những đi tượng dữ liệu

xô có bộ giá trị là biết trước Trong khi đỏ, dự đoán lại xây dựng mô hình với các

hàm nhận giả trị liên tục Vị dụ mô hình phân lớp dự báo thời tiết eo thẻ cho biết thời tiết ngày mai là mưa, hay nẵng đựa vào những thông số về độ âm, sức gió,

nhiệt độ, của ngày hôm nay và các ngày trước đó Trong những năm qua, phân

lớp dữ liệu đã thu hút sự quan tâm các nhà nghiên cửu trong nhiều lĩnh vực khác

nhau như học máy (machine learning), hé chuyén gia (expert system), thong kê

(staisHcs) Công nghệ này cũng ứng dụng rong nhiều lĩnh vực khác nhau như thương mại, nhà bằng, makeeting, nghiên cửu thị trường, bão hiểm, v tế, giáo dục

Thân lớn các thuật toán ra đời trước đều sử đụng cơ chế đữ liệu cư trú trong bộ nhớ

(memery residert), thường thao tác với lượng đữ liệu nhô Một số thuật toán ra đồi sau này đã sử dụng kỹ thuật cư trú trên dĩa cải thiện đáng kẻ khả năng mở rộng của thuật toán với những tập đữ liệu lớn lên tới bàng tỉ bản ghỉ Quá trinh phân lớp đữ liêu gồm hai phần [25]

«Học (lenming)

Quá trình học nhằm xây đựng một mö hình mô tã một tập các lớp đữ liệu hay các khái niêm định trước Đầu vào của quá trình này là một tập đữ liệu có cầu trúc được mô tá bằng các thuộc tính và được tạo ra từ lập các bộ giả trị của các thuộc

tỉnh đó Mỗi bộ giả trị được gọi chung là một phan ta dé ligu (data tuple), co thé 1a

cáo mẫu (sarnple), vi dụ (example), đối tượng (object), ban ghi (record) hay trường,

hợp (case) Khoá luận sử đụng các thuật ngữ này với nghĩa lương đương Trong lập

dữ liệu này, mỗi phần tử đữ liệu dược giá sử thuộc về một lớp dịnh trước, lớp ở dây

là giá trị của ruột thuộc tính được chọn làm thuộc tính gán nhãn lớp hay thuộc tính

phân lớp (class label sttributc) Đâu ra của bước này thường là các quy tắc phân lớp dưới dạng luật dạng if-then, cây quyết định, công thúc logic, hay mang noron [25]

«Phan lop (classification)

Bước thứ hai dùng mô hình đã xây đựng 3 bude trade dé phan lớp dữ liệu mới, Trước tiên độ chỉnh xác mang tính chất dự đoán của mô hình phân lớp vừa tạo

ra được tóc lượng Ileldont là một kỹ thuật đơn giản để ước lượng độ chính xác đó

Kỹ thuật này sử đựng mội tập dứ liệu kiểm tra với các mẫu đá được gán nhấn lớp

Các mẫu này được chọn ngẫu nhiên và độc lập với các mẫu trong tập dữ liệu đảo tao Độ chính xác của mã hình trên tập đữ liệu kiếm tra đã đưa la tỉ lệ phân trăm

hình được sử dụng để phân lép những dữ liệu tượng lai, hoặc những dữ liệu mà giá

trị của thuộc tính phân lợp là chưa biết [25]

Trong mô hình phan lớp, thuật toàn phân lớp giữ vai trỏ trung tâm, quyết định tới sự thành công của mö hình phân lớp Do vậy chia khóa của van 48 phân lớp

dữ liệu là tìm ra được một thuật toán phân lớp nhanh, hiệu quả, có độ chính xác cao

và có khả năng mở rộng được Trong đó khả năng mở rộng được của thuật toán được đặc biệt chủ trọng và phát triển [25]

Có thể liệt kê ra dây một số kỹ thuật có thể dược dùng cho phân lớp dữ liệu

i25

«_ Phân lớp cây quyết định (Decision tree classification)

« Bộ phần lớp Bayesian (Bayesian classifier)

e _ Mô hìmh phân lớp K-hàng xóm gân nhất (K-nearest neighbor classifier)

« Mạng nơron

« Thảntích thống kê

« Phuong phap tap thé (Rough set Approach)

1.4.3 Phân lớp nhận dạng hành vi

Một khi đữ liệu đã sẵn sàng, một thuật toán phân loại cần phải được [hực

hiện Như đã dễ cập trade dé, dự doán hành vĩ của con người thường dược coi là xột vẫn để phân loại, sử dung kỹ thuật hoc may dựa trên lý thuyết về xác suất thông,

kế Vào nấm 1959, Arthur Sarnuel định nghĩa bọc máy như lả một lĩnh vực nghiêu

cửu cũng cấp cho máy tính khả năng học hói mà không cần được lập trình một cách

rõ ràng Các cơ sở của học máy là chính xác như Samuel đã mô tả, nó xây đựng một xmô hình và phân loại, khả năng học từ đữ liệu vô hình Mô hình đại diện cho đại diện dữ liệu (thông thường mỗi trường hợp đại diện cho một cửa số dữ liệu với kích

Thước có định) và đại điện chứo năng trong bước huấn luyên va cuỗi cùng là phân

loại cỏ thể khải quát hỏa cho dữ liệu không nhìn thấy Học máy làm một ngành khoa học máy tỉnh có liên quan đến vấn đề mà mô hình cơ bản cho việc đự đoán hoặc mô tâ phải được thực hiện, đựa trên những thuộc tính đã biết để huần luyện từ

bộ đữ liệu huận lưyện |22

Thuật loan hoc may cé the chia ra thành các loại

- Hoc may bén gidm sát: kỳ thuật cho phép thuật toán có thể thích nghị với dữ

liệu mới Một số thuật toán cho học máy này như: mỗ hình Markov ẫn

(HMM), mang Naive Bayes, cay quyết định, K-Nearest Neighbours, May

vecter hỗ trợ (SVM)

- Hoc may giam sat: sir dung dữ liệu được gản nhãn đẻ huân luyện thuật toán,

sau đó chủng có thể phân lớp dữ liệu chưa được gản nhãn

-_ Học máy không giám sát cô gắng xây dựng mô hình trực tiếp từ dữ liệu

không được gán nhãn Cách tiếp cận này sử dụng ước lượng mật độ đẻ tìm các cụm mẫu tương tự đề tạo ra mô hình học máy

- Hoe máy tăng cường: huấn luyện nhiều học máy để giải quyết củng một van

đẻ Khả năng tổng quát của chủng có thê tốt hơn nhiều so với sử dụng một

học máy

Tiền xử lý:

Tập dữ liệu công, liêu, phân chia đữ

Hinh 1.2 So dé biéu dién quy trinh hoc may [22]

Liên quan đến mục đích mả hệ thống nhận dạng hành vi được thiết kế, điều

quan trong là thu thập cảng nhiêu dữ liệu của từng hoạt động cảng tốt, nhưng không chỉ số lượng lả quan trọng, tính chỉnh xác của việc xử lý bản ghi cũng lả điêu càn

thiết bởi vi các thuật toán dựa rất nhiều vảo số liệu Chủng loại, vi trí và số lượng

cảm biển được sử dụng đề thu thập dữ liệu cũng rât quan trọng và so sánh các kết

quả của các nghiên cứu chi kha thi néu các điều kiện tương tự nhau, không nhất thiết phải mô phỏng theo [22]

Các quá trình can thiết để nhận dạng hành vi của con người được tóm tắt

trong hình và vẻ cơ bản nỏ bao gồm các bước: thu thập dữ liệu chuyển động cho các

hoạt đông, tiền xử lý tin hiệu nảy với các bộ lọc, lấy mẫu lại trong các cửa số được xác định trước để phân tích và phân lớp dữ liệu Sau khi lựa chọn thuộc tính, các số

liệu đánh giá càn được tính toán vả đầu ra của mô hình phân lớp sẽ cho chúng ta

mỗi thẻ hiện của các dữ liệu hoạt đông là gi [22

cửa số cản xác định trước khi thu thập dữ liệu Các phương pháp được sử dụng phd

biến nhất là cửa số trượt, các tín hiệu được chia trong các cửa số không cỏ khoảng

trồng Tuy nhiên, kế hoạch này có nhược điểm là các kich thước cửa sở được thiết

lập một cách tủy tiện, nó cỏ thể dần đền việc tách đữ liệu trong một nơi không thuận

tiện, không ghi được “toàn bộ chu kỳ” của hoạt động cần được ghi nhận Kỹ thuật

nảy có thể được sử dụng với sự chong chéo (thông thường lả 50%) Trong nghiên

cứu nảy sẽ sử dụng cửa số với kích thước 90 mẫu (tương ửng với 4.5 giây của dữ

liệu) [22].

Dữ liệu thô cần chia thành tập huấn luyến và kiểm thứ Tập huấn luyện sẽ được sử dụng để đảo tạo các thuật toán nhận dạng và tập kiểm thứ sau đỏ sẽ được dùng để đánh giá các thuật toán sau khi đào tạo Điều mày là rất quan trọng để không sử dụng, mẫu thử nghiệm đẻ huấn luyện mô hình dẻ không, thiên vị kết quả vả

đảm bảo phân loại được đánh giá trong dữ liệu không nhìn thầy [22]

1.4.5 Trích chon tinh nang

Đôi với mỗi của số, một số tính năng được chiết suật đế mô tâ các tín hiệu

Những lính nắng này sau đô được sử đụng như là dầu vào cho thuật toán nhận dạng,

kết hợp mỗi cửa số với một hoạt động, Miễn thời gian, miễn tần số và các tỉnh năng,

miền chuỗi biểu tượng có thể được chiết xuất Lừ đữ liệu chuyển động Tuy nhiền,

„một sự kết hợp của chúng là một kỷ vọng |/

« Time-domain Ïeatures (tỉnh năng miễn thôi gian) lả số liệu toán hoo và thống,

kẻ đơn giản sử dụng đẻ trích xuất thông tin tín hiệu cơ bản từ đữ liệu thỏ Nó cũng

có thể được tính như đữ liệu đang được đọc Thông thường, tính năng nay rat don giản dễ tỉnh toán Bảng 1.2 tom tắt một số tính năng trong miễn thời gian

trung Đình Tách đữ liệu thánh hai nữa chỉnh trục, phân biệt tư

thế khác nhau

D6 chênh lệch std Sự sai kháo trưng binh binh phương | ên định tin hiệu

| phương sai từ căn bậc hai của phương sai

Nhỏ nhái, lớn nhất, Pham vi là sự khác Uiệt giữa giá tị | Phân biệt chạy và đi bộ

phạm vi nhỏ nhất và giá trị lớn nhất

Tổng hợp Ving tín hiện đười độ cong dữ liệu [ốc tính tốc độ và

khoảng cách

Sự khác nhau Git tín hiệu trong một sắp xếp | 8o sánh cường độ tín

ân tốc góc Góc giữa trục ase và lực hấp đẫn | Xác định hưởng, phát

Zero-Crossing, Các điểm nơi tin hiệu đi một nửa [Nhận dang các di

Vừng độ lớn tín Tổng của vùng đưởi độ lớn của mỗi | Tính toán tiều hao năng

Bing 1.2 Tink ndng mién thời gian Công thức tởng ứng và cúc ứng đụng (22L

12

« Trequency-domain techniques (miễn tân số) năm bắt được bản chất tương

ứng của một tín hiệu cảm biến Œigo ct al., 2010) Trong tỉnh năng miễn tằn

số, các cứa số đữ liệu cảm biển phải được chuyển thành miền tần số, sử dụng,

các bién dai Fourier (FFT), dé 1a một đại điện phỏ của tín hiệu Một đại diện

dựa trên lẫn số, dựa lrên sự phân hôy của một lập các vecor trực giao là biến

adi Wavelet Bàng 1.3 cho thấy một số tính năng miễn tân số:

Thành phần DC lIệ số đầu tiên trong đại điện

pho Trung bình tín hiệu

Năng lượng quang Tổng bình phương của hệ số| Xác định đường vận phổ quang phố được chuẩn hóa bởi | chuyển

chiều dài của cửa sở mẫu

Thôngtnenropy Thông tin đữ liệu ngau nhiên | Sự khác biệt giữa các tín

bình thường của FF1 TỎI tạc hệ

Ut thé tan số Gia tr] tan số tương ứng tới hệ số

đúng dang di bộ hoặc

dang cha Các hệ số tong Tổng kết của một tập hợp các hệ | Công nhân một số hoạt

Bang 1.3 Tinh năng miễn lẫn số Công thức tưởng ứng và các ứng đụng 22}

Một tính năng khác được chuyển hóa từ miễn chuỗi biểu tượng (symbolic

string-domain), noi ma đữ liệu gia tốc chuyển thành chuối các ký hiệu rời rac, str dụng một bảng chữ cái biểu tượng để đại diện cho các tín hiệu

Khi áp đụng các tính năng tính toán trên một điện thoại thông minh, 1a nên

cân thận với dộ phúc tạp tỉnh toản của chủng, bởi vỉ các diện thoại thông mình có

bộ nhớ bạn chế, khả năng xử lý và tuổi thọ của pin Do đó hầu như tất cả các tính

năng trong miễn thời gian phù hợp hơn cho các thiết bi đi động, đua vào bảng điểu

các hoại động Lương quan cô cỉn phí cao hơn Với ngoại lệ của các số liệu dụa trên

biển đối Wavelet, tất cả các tính năng khác miễn tấn số là tổn kém về chỉ phi tỉnh

toán [22

13

1.4.6 Phân lớn dữ liệu

Sau khi lây ra các tín hiệu tính nầng, ta nên áp đụng kỹ thuật học máy để xây

dựng một bộ phân lớp Năm 2006, học sâu dã xuất hiện như một lĩnh vực mới của

nghiên cửu học máy Nó cho phép các mô hỉnh tính toán được bao gồm nhiều lớp

để học các đại điện của dữ liệu với nhiều cấp độ trừu tượng Những phương pháp

này cải tiến dáng kể trạng thải của kỳ thuật trong nhận dang giọng nói, nhận dạng, đổi tượng thị giác, phát hiện đổi tượng và nhiên lĩnh vực khác Học sâu phát hiện ra

câu trúc phức tap trong các tập dữ liệu lớn bắng cách sử dụng các thuật toán lan truyền ngược dé chi ra làm thé nào một máy sẽ thay đổi các thông số bên tong cla

nó để sử đụng tính toán các đại điện trang mỗi lớp từ các đại điện trong lớp trước

đó Mạng tích chập sân đã đem lại những bước đội phá trong việc xử lý trình ảnh, vidco, giọng nỏi, và âm thanh Trong nghiên cứu của em, em sử dụng một trong, những thuật toán học máy thâng thường, CNNS (mạng noron tích chập) Em sử dụng nó với đữ liêu đã thu thập được từ các cảm biểu gia tốc trong điệu thoại thông, mình [32

1.4.7 Đánh giá thuật toán

Có nhiều cách khác nhau đề đánh giá hiệu suất của một thuật toán phân lớp,

cách thường được đùng nhất là sử đựng ma trận nhằm lẫn với tỉnh chính xác và

đúng đẫn Hiệu quả của bộ phân lớp thường được đánh giá qua so sánh quyết định

của bộ phân lớp đó với quyết định của can người khi tiên hãnh trên một tận kiếm

thử (Iest se!) các văn bản đã được gần nhăn lớp trước Có bá độ đo điền bình đuợc

sử dụng để đánh giá độ biểu quả của thuật toán phân lớp, đỏ là độ chính xác P

(precision), 46 héi tuéng R (recall) va độ đo I'-meastre [22

14

CHUONG 2

THUẬT LIÊN QUAN 3.1 Mang Noron

21.1, Gidi thigu vé mang Noron

Mạng noran nbin tao, Artificial Neural Network (ANN) là một mô hình xử

lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học Nó

được †ạo nên từ một số lượng lớn cáo phân tử (nơron) kết nối với nhau thông qua các liên kết (trong số liên kết) làm việc như một thế thống nhất để giải quyết một vẫn đề cụ thể nào đó Một mạng, nơron nhân tạo được cấu hinh cho một ung dung

cụ thê (nhận đạng mẫu, phân loại đữ liệu, ) thêng qua một quá trình học tử tập các nấu huấn luyện Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết

Hình 3.1 Cấu trúc một nơron nhân tạo J6j' Các thành phần cơ bản của một noron nhân tạo bao gêm [6]:

« Dâu vào: Là cáo tin hiệu vào của noron, các tín hiệu này thường được đưa

vào dưới dang mét vector n phân tử (Xa, X; , , #„)

e Tập các liên kết: Mỗi Hên kết được thể hiện bởi một trạng số liên kết

(synaptic woight) Trong số liên kết giữa tín hiệu vào thử j với nơrou k thường dược kí hiệu là wyy Thông thường, các trong số nảy dược khởi tạo

một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục

trong qua trinh hoc mang,

tin hiệu vào của noron

năng tính toàn của mạng noron

« Ham truyén f (Transfer function): Cén gọi là hảm kích hoạt hay hẻm tích hợp Hàm nảy được dùng để giới hạn phạm vi đầu ra của mỗi noron Nó

nhận đầu vào là kết quả của hàm tổng và ngưỡng

« Dâu ra: Là tin hiệu đầu ra của một noron, với mdi noron sẽ có tối đa là một

Yrong do: (%1,%2, ,%,)1a cdc tin higu vac, (Wy+, W¿s, , „„ ) là cáo trợng,

số liên kết của noren thứ k, t là hảm tổng; b„ là một ngưỡng; ƒ lả hảm truyền

va y, là tin hiện đầu ra của neron

Như vậy noron nhân tạo nhận các tin hiệu đần vào, xử lý (nhân các tin hiệu

này với trọng số liên kết, tính tổng, các tích tu dược rồi gửi kết quả tới hảm truyền),

và cho một tín hiệu đầu ra đà kết quả của hàm truyền)

Củc hằm truyền phải có các đặc tinh sau [6]

« Hàm cỏ tính dơn điệu

lá

e dm bị chặn trên và chặn đưới

« Tam có tính liên tục và trơn

Trong thực lế ta thường chọn các hầm sai

2.1.2 Mang noron nhiều tằng truyền thẳng MLP

Mô hình mạng noron được sử đụng rộng rãi nhật là mô hình mạng nhiều tầng

truyén thing (MLP: Multi Layer Perceptron) Mot mang MLP téng quát lả mạng cỏ 1n @>2) tầng (thông thường tầng đầu vào không được tính đến): trong đó gồm một tang dau ra (tang thir n) va (n-1) tang an

Tang vào

Tinh 2.2 Mang MLP ting quat [6]

Kién tric mét mang MLP téng quát có thể mỏ tả như sau:

« Dau vao 1a cdc vector (24, %2, %,)trong không gian p chiều, đâu ra là các

vector (i,yz, ya)trong không gian q chiêu Đối vái các bài toán phân loại, p chính lá kích thước của mẫu dâu vào, q chính là số lớp cần phân loại

« Mỗi noron thuộc tảng sau liên kết với tất cả các noron thuộc tảng liên trước

nó

« Đẳu ra của ngron tâng trước là dầu vào của nơron tầng liên sau nó,

Hoạt động của mạng MLP: tại tẳng đầu vào các nơron nhận tín hiệu vào xủ

lý (tinh tổng trọng số, gửi tới hàm truyền) rồi chơ ra kết quả (là kết quá của hàm truyền), kết quả này sẽ được truyền tới các noron thuộc tầng ấn thứ nhất, các noron tại đây Hếp nhận như là tín liệu đâu vào, xử lý và gũi kết quả đến tang an thir 2, qua trinh tiếp tục cho đến khi các noron thuộc ting ra cho két qua [6]

2.3 Thuật toán lan truyền ngược

Ta sử đụng các kỉ hiệu |6]

*;: giả trị neron đầu váo thứ ¡

«: giả trị noron đâu ra thử k

Vị;: vector trọng số của kết nỗi từ node ¡ của lớp vào tới node j cúa lớp ẫn,

Wy: vector trọng số của kết nổi tir node j otia lớp an tới lớp k của lớp ra

đụ: giả trị dẫu ra mong muốn của node k của lớp ra

7: te dé hoo ofa mang

† hảm truyền, ở đây dùng ham Sigmoid véi gidi han dau ra trong đoạn [Ú, 1]

f= 1lt+e* (2.6)

Tg: dau vao cia node vao tht i

0,;: d4u ra ctia node vao thiri

Tại: đầu vào của nođe ân thứ ¡

One: đầu ra của node Ấn thứ ¡

Tp; đầu vào của nođe thứ ¡ của lớp ra

Oạ;: đầu ra của node thứ ¡ của lớp ra

18

Mô lä thuật tuán [6]:

Input:

Tập huấn luyện: D = (%¿, đ„)lá tập vector đầu vào, đầu ra mơng muốn

Mang feed-forward voi n dau vào, m nút Ân, L dâu ra

Hệ số học ty

Sai sd s

Output: Cac vector trong 36 sau khi học

Thuật toán:

Bude I: Khoi tạo các trọng số V;;, W;yvới các giá trị ngẫu nhiên

Wij = random(-1,1) , Wy, = random (-1,1)

Bude 2: Tan truyén tinh todn dau ra thu tễ y„

là: yụ„ = Oọy Thực tế ta có thể nhận thây đầu ra mong muốn th, và đầu ra thục tế yị,

là luôn khác nhau, chúng ta cân phải tỉnh toán độ sai khác nảy và có phương pháp điều chính các trọng số mạng qua từng bước học sao cho qua mỗi lần học sự sai

khác này giảm xuống, quá trình học sẽ đừng khi sự sai khác này đạt đến l ngưỡng,

® Tai node vao tht i: (input)

«_ Tại node ấn thứp: (Hidder)

Ine = Ð) 0Ýy (28)

1

Nếu E< e thì dừng học,

Bước 4: Lan truyền ngược điều chính trọng số

© Voi mai node q ở lép ra, ta tính đạo hảm ngược sai số thành phẩn

Lap lai bude 2 cho Wi khi théa ian điều kiện kết thúc ở bước 3 Kết quả thu

được bộ trọng số chuẩu Vij, Wy, sav cho gia ti dau ra thực tế và giả trị dầu ra mong Trấn là gần giếng nhau nhất (trung bình bình phương lãi nhỏ nhật) [6]

2.3 Mạng Noron tích chập

23.1 Sự thay dỗi vả hiểu trắc

Mô hình mang noron nhan tao tuyén thing (feedforward neural network) ra đời đã được áp dụng nhiều Irong các bài toán nhận đạng Tuy nhiền rạng nơron

truyền thẳng không thể hiện tót lắm đối với các đữ liệu bình ánh, Chính sự liên kết

quá đây đủ tạo nên những lưn chế cho mô bình Dữ Rệu hình ảnh có kích thước khá lớn, một tắm ảnh xám cỏ kích thước 32x32 (pixels) sẽ cho ra vector đặc trưng cỏ

1024 chiều, còn đổi với ảnh máu củng kích thước sẽ là 3072 chiều Diễu nảy cũng

có nghĩa là cân tới 3072 trọng số nỗi giữa lớp vào vả một node ở lớp ẫn kế tiếp Số lượng trọng số sẽ cảng nhân rộng hơn nữa nẻu số lượng node trong lớp ấn tăng lên,

số lượng lớp ấn táng lên Như vậy chỉ với một bức ảnh nhỏ (32x32) thì cũng cần

đến một mô hình khá để số Điều này khiển cho việc thao tác với các ảnh có kích

thước lớn hơn trở nên khỏ khăn [19],

20

Một điệu nữa là việc liên kết một cách đây đủ các điểm ảnh vào một node

trong mạng có vẻ dư thừa vỉ sự phụ thuộc lẫn nhau giữa các điểm ảnh xa nhau lả

không nhiêu mả chủ yếu lả sự phụ thuộc giữa các điểm lân cận với no Dựa trên tư

tưởng này mạng nơron tích chập (Convolutional Neural Network) ra đời với một

kiên trúc khác so với mạng truyền thẳng Thay vi toan bộ ảnh nồi với một node thì

chỉ có một phân cục bộ trong anh ndi đến một node trong lớp tiếp theo (local

connectivity) Di liéu hình ảnh thông qua các lớp của mỏ hình này sẽ được "học" ra

các đặc trưng đề tiền hành phân lớp một cách hiệu quả [19]

Cũng giống như mạng NN truyền thong, CNN hoat động theo phương thức

nhận tin hiệu vào và biển đổi tin hiệu vào thông qua các layer, tuy nhiên điểm khác

biệt nằm ở cầu trúc của đầu vảo và câu trúc bên trong 1 layer [19]

Tín hiệu vào: lẫy cảm hứng từ xử lý ảnh nên tin hiệu vào của CNN cỏ dạng

như một bức ảnh chứ không có dạng vector như ANN, cu thể một bức ảnh sau khi

số hỏa có dạng width x height x depth (width: số lượng điểm ảnh trên chiều rộng, height: số lượng điểm ảnh trên chiều cao, depth: số lượng kênh chẳng hạn như RGB

cỏ 3 kênh đại điện cho mức độ của 3 mau dé, lục, lam [19]

Ve cơ bản mô hình mạng nơron tích chập bao gồm các lớp sau: lớp tích chập

(Convolutional), lớp RELU, lớp Pooling, lớp kết nỏi đây đủ (Fully connected) Sự sắp xép về số lượng và thứ tự giữa các lớp nảy sẽ tạo ra những mô hình khác nhau

phủ hợp cho các bải toán khác nhau [19]

2.3.2 Chi tiét các lớp trong mô hình

2.3.2.1 Lép tích chập - Convolufional

Lớp này chính là nơi thẻ hiện tư tưởng ban đầu của mạng nơron tích chập

Thay vì kết nối toàn bộ điểm ảnh, lớp nảy sẽ sử dụng một bộ các bộ lọc (filters) có kich thước nhỏ so với ảnh (thường là 3x3 hoặc 5x5) äp vào một vủng trong ảnh vả tiên hành tỉnh tích chập giữa bộ filter va gia tri diem anh trong ving cục bộ đó Bộ filer sẽ lần lượt địch chuyển theo một giá trị bước trượt (stride) chạy đọc theo ảnh

và quét toàn bộ ảnh Số chiều của tích chập chính là số hướng mả bỏ filter có thể di chuyên được [19]

- Tich chap 1 chiéu sé chi cho phép bé filter di chuyén theo 1 chiều ( nghĩa là

ảnh phải chuyển đổi vé dang vector) chính là độ đài của vector:

~ _ Tích chập 2 chiều sẽ cho phép bộ filter di chuyên theo 2 chiêu ( theo cả chiều

tỉnh tích chập cho các trưởng hợp filter quét ra các biên cạnh) là kết quả tích chập

của filter và ảnh Với bao nhiêu filter trong lớp nảy thi ta sẽ cỏ bẩy nhiều ảnh tương,

ng mà lớp này trả ra vả được truyền vào lớp tiếp theo Cae trong so cua filter ban

đầu sẽ được khởi tạo ngâu nhién va sé duoc hoc dan trong qua trinh luyén mé hinh

[19]

2.3.2.2, Lép lay mau - Pooling

22

Lớp này sử dụng một cửa số trượt quét qua toàn bộ ảnh đỡ liệu, mỗi lần trượt

theo một bước trượt (sride) cho trước Khác với lớp tích chập, lớp pooling không

tỉnh tích chập mà liên hành lây mẫu (subssmpling) Khi cửa số trượt trên ảnh, el

Xét một ảnh có kích thước 32x32 va lép Pooling sti dung bé lac (filter) od

kích thước 2x2 với bước trượt sinds

phương pháp sữ dụng là MaxPooling,

TriHer sẽ lần lượt duyệt qua ảnh, với mỗi lần duyệt chỉ có giá trị lớn nhất trong 4 giá

trị năm trong vùng cửa số 2x2 của filler được giữ lại và đưa ra đầu ra Như vậy sau Idi qua lép Pooling, anh sé giam kích thước xuống còn 16x16 (kich thước mỗi

Hình 25 Tính toán với phương pháp Tẩy giá trị lớn nhất

Tiếp Pooling có vai trò giảm kích thước đữ liệu Với một bức ảnh kích thước

lớn qua nhiều lớp Pooling sẽ được thu nhé lại tưy nhién vẫn giữ được những đặt trưng cần cho việc nhận dang (thing qua cách lấy mẫu) Việc giảm kích thước đữ liêu sẽ làm giãm lượng tham số, tầng hiệu quả tinh loan va gop phân kiểm soát hiện

tượng quá khớp (overfiting) [19]

Lép FC - Fully Connected

23

Lớp này tương tự với lớp trong mang noron truyền thẳng, các giá bị ảnh được liên kết đây đú vào node trong lớp tiếp theo Sau khi ảnh được xử lý và rut

trích đặc Irưng từ các lớp trước đó, đỡ liệu ảnh sẽ không còn quả lớn sơ với mô hình

truyền thẳng nên ta có thể sử dụng mô hình truyền thẳng dé tién hanh nhận dang Tém lại, lớp FC đóng vai trỏ như một mô bình phản lớp và tiên hành dựa trên đữ

liệu đã dược xử lý ở các lớp trước đỏ [19]

23.24 Lop phan logi - Softmax

Chúng ta cân một mô hình xác suất sao cho với mỗi dau vao x, a; thé hién xác suất đế đầu vào dé roi vao class i Vay điêu kiện cân là các a¡ phải đương và tổng của chúng bằng 1, Để có thể thỏa mãn điều kiện này, chúng ta cầu nhìn vào mọi giả trị Z¡ và dựa trên quan hệ giữa các Z¡ này để tình toán giá trị của đ; Ngoài các điều kiện 4; lớn hơn 0 và có tổng bằng 1, chúng ta sẽ thêm một điều kiện cũng,

suất đữ liệu rơi vào class E

rất tự nhiên nữa, đó là: giả trị; wƑx cảng lớn thì

cảng cao Điều kiện cuối nảy chỉ ra rằng chủng ta cần một hàm đồng biển ở đây

Chủ ý rằng z; có thẻ nhận giá trị cả âm và đương Một số hàm mượt đơn giản

có thể chắc chăn biển z¡ thành một giá trị đương, và hơn nữa, đồng biển lả hàm

exp(7,) — #?t, Điều kiện mượt đẻ thuận lợi hơn cho việc tỉnh đạo hàm sau này Điều kiện cuối cùng, lông các a; bằng 1 có thể được đâm bảo nêu:

‘Ham sé nay, tính tắt cả cáo a; dựa vào tất cả các Z¡, thóa mãn tất cả các điều

kiện đã xét dương, tong bang 1, giữ được thứ tự của Z Hàm số này được gọi là

softmax function Chi y rang với cách định nghĩa này, không có xác suất a; nào tuyệt đối bằng 0 hoặc tuyệt đối băng !, mac du ching co thé rat gn 0 hoặc l khi z;

rất nhỏ hoặc rất lớn khi sơ sánh với cáo z;, kếi

Lúc này tạ có thể giả sử răng,

Trong đó, P{y = ¡| x; W) được hiểu là xác suất để một điếm đữ liệu x rơi vào

class thứ ï nếu biết tham số rô hình (ma trận trọng số) là W,

Hình về dưới dây thé hién mang Softmax Regression dudi dạng mạng nơron

14

lớp z[23]

2.4 Các giải thuật tối ưu - Optimization

Thuật toán huân luyện của rất nhiều mô hình máy học được phát biểu hình

thức dưới dang một bải toán Optimization, chẳng hạn các mô hình như

25

Iinear/logistic regression, ANN, SVM, KMecans ¥ tudng chung là mỗi mô hình

đều có một tập tham số 0 nào đó cần phái được xác định giả trị thông qua quá trình tuần luyện với dữ liệu và ta oần Lim 6 để cực tiểu hóa ham chỉ phí C(6),

Mặc dù lí thuyết optimization về vẫn dễ này rất diy di với nhiều phương, pháp khác nhau, trong nghiên cứu nảy trình bày tổng quan về một số giải thuật

thuật toán cực đại hoá kỷ vọng (Expectztion Maxinuization) [26]

Tuy nhiên việc lấy đạo hàm và giải phương trình trên không phải lúc nào

cũng thực hiện được, do đó cân sử dụng các phương pháp tôi ưu Phương pháp hay

sử dựng nhft trong Machine Leaming la Gradient Descent [26]

Gradient descent la tir vi trí biện tại, ta đi theo chiên giảm của dao ham bac

nhất cho đến khi không thể giâm dược nữa Khi dỏ ta đã ở một diễm tôi tru cục bộ

Công thức cập nhật cho Gradient 12eseent là [26]:

a

2.41.2 Stochastic Gradient Descent

Nhan thay C là trung binh cộng, và thông thường tập huân luyện Ja iid

(independently and identically địstribulcd) niên lại mỗi bước 1s có thể cập nhật than