Tiểu luận các vấn Đề hiện Đại của kỹ thuật máy tính Đề tài các phương pháp tối Ưu hóa các mô hình ai và thuật toán trong hệ thống nhúng

Trong bối cảnh ngày càng có nhiều yêu cầu cao về hiệu suất và tính linh hoạt của hệ thống nhúng, những tiến bộ trong thuật toán và mô hình trí tuệ nhân tạo, đã dẫn đến vấn đề tiêu thụ nă

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Tiểu luận Các vấn đề hiện đại của kỹ thuật máy tính

Đề tài tiểu luận: Các phương pháp Tối Ưu Hóa Các Mô Hình AI

và Thuật Toán trong Hệ Thống Nhúng

Sinh viên 1 : Phạm Công Thắng - 21020101 Sinh viên 2 : Nguyễn Văn Thao- 21020938

Giảng viên phụ trách: PGS.TS Bùi Thanh Tùng

Hà Nội – 2024

LỜI CẢM ƠN

Lời đầu tiên, em gửi lời cảm ơn chân thành đến Trường Đại học Công Nghệ -ĐHQGHN

đã đưa môn học “Các vấn đề hiện đại của Kỹ thuật máy tính” vào chương trình giảng dạy Đặc biệt em xin gửi lời cảm ơn sâu sắc đến giảng viên bộ môn - PGS.TS Bùi Thanh Tùng, đã dạy dỗ, truyền đạt những kiến thức quý báu cho chúng em trong suốt thời gian học tập vừa qua Trong thời gian tham gia lớp học, em đã có thêm nhiều kiến thức bổ ích, đảm bảo cung cấp đầy đủ kiến thức, gắn liền với thực tế và là hành trang quan trọng cho chúng em khi làm việc Xin gửi lời tri ân nhất của em đối với những điều mà thầy

cô đã danh cho sinh viên chúng em Mặc dù đã cố gắng hoàn thành bài tiểu luận với tất

cả nỗ lực và cố gắng của bản thân, nhưng do hạn chế về kiến thức và kinh nghiệm thực tiễn cũng như sự giới hạn về thời gian, bài tiểu luận của em không tránh khỏi những thiếu sót cả về nội dung và hình thức Em rất mong nhận được sự chỉ bảo và góp ý của các thầy cô để giúp cho bài tiểu luận của em thêm hoàn thiện hơn

Em xin chân thành cảm ơn!

Mục lục

I Tổng quan về vấn đề nghiên cứu 1

1 Tính cấp thiết của trí tuệ Nhúng (EI) áp dụng cho các thành phố thông minh 1

2 Thách thức trong triển khai mô hình trí tuệ nhân tạo cho hệ thống nhúng 1 3 Mục tiêu và nội dung nghiên cứu 1

II Nội dung của vấn đề nghiên cứu 1

1 Phương pháp giảm kích thước và tăng tốc độ 1

1.1 Quantization 1

1.2 Pruning 4

1.3 Sparsity 7

1.4 Kết luận 9

2 Phương pháp chọn mô hình phù hợp nhất 9

2.1 Adaptive Model Selection 10

2.2 Các kiến trúc premodel 10

2.3 Quy trình lựa chọn mô hình 11

2.4 Ví dụ minh hoạ 12

2.5 Tiêu chí đánh giá hiệu quả của mô hình 13

2.6 Kết quả thực nghiệm 14

2.7 Kết luận 15

III Kết luận 15

IV Danh mục tài liệu tham khảo 16

Mục lục hình ảnh

Hình 1: Ánh xạ các đầu vào liên tục tới các giá trị cố định ở đầu ra 2

Hình 2: Độ chính xác hàng đầu của các mô hình dấu phẩy động được chuyển đổi trực tiếp thành trọng số và kích hoạt 4 bit mà không cần đào tạo lại 3

Hình 3: Mạng phối ngẫu 4

Hình 4: Một số phương pháp cắt tỉa được nhóm lại theo cách tiếp cận được áp dụng 5

Hình 5: Tổng quan về các thành phần DNN để phân tán 7

Hình 6: So sánh thời gian suy luận của mô hình 9

Hình 7: Lựa chọn mô hình học sâu thích ứng trên các hệ thống nhúng 10

Hình 8: Model selection sẽ chỉ sử dụng 1 model phân loại 10

Hình 9: K-Nearest Neighbour (KNN): Một bộ phân loại dựa trên cụm đơn giản 11

Hình 10: Biểu đồ tần suất một mô hình CNN được coi là tối ưu dưới top-1 trên tập dữ liệu huấn luyện 12

Hình 11: Biểu đồ độ chính xác top-1 và thời gian suy luận của tất cả mô hình CNN 12

Hình 12: Biểu đồ độ chính xác top-1 của tất cả mô hình CNN đối với dữ liệu mà MobileNet_v1_100 thất bại 13

Hình 13: Biểu đồ độ chính xác top-1 của tất cả mô hình CNN đối với dữ liệu mà MobileNet_v1_100 và Inception_v4 thất bại 13

1

I Tổng quan về vấn đề nghiên cứu

1 Tính cấp thiết của trí tuệ Nhúng (EI) áp dụng cho các thành phố thông minh

Trong bối cảnh đô thị hóa nhanh chóng và sự gia tăng dân số, các thành phố thông minh đang trở thành một giải pháp cần thiết để giải quyết các thách thức về quản lý tài nguyên, giao thông, an ninh và môi trường Trí tuệ Nhúng (Embedded Intelligence - EI) đóng vai trò quan trọng trong việc hiện thực hóa các thành phố thông minh thông qua việc tích hợp công nghệ vào các hệ thống và cơ sở hạ tầng đô thị từ đó nâng cao chất lượng cuộc sống của người dân

2 Thách thức trong triển khai mô hình trí tuệ nhân tạo cho hệ thống nhúng

Tuy nhiên, việc áp dụng các mô hình trí tuệ nhân tạo cho hệ thống nhúng là một thách thức lớn vì các hệ thống này thường có tài nguyên hạn chế, như dung lượng bộ nhớ, tốc độ vi xử lý và năng lượng tiêu hao Điều này yêu cầu các nhà phát triển phải tối ưu hóa mã nguồn sao cho chương trình có thể chạy hiệu quả mà không gặp phải vấn

đề như hết bộ nhớ hoặc quá tải tài nguyên Bên cạnh đó, các hệ thống nhúng phải đảm bảo các yêu cầu nghiêm ngặt về độ trễ và độ chính xác trong môi trường thời gian thực Trong bối cảnh ngày càng có nhiều yêu cầu cao về hiệu suất và tính linh hoạt của hệ thống nhúng, những tiến bộ trong thuật toán và mô hình trí tuệ nhân tạo, đã dẫn đến vấn

đề tiêu thụ năng lượng cao và khả năng tương thích kém khi triển khai các mô hình và mạng trí tuệ nhân tạo trên các thiết bị nhúng trở nên có thể giải quyết được

3 Mục tiêu và nội dung nghiên cứu

Mục tiêu của bài tiểu luận này là nghiên cứu và phân tích các phương pháp tối ưu hóa cho các hệ thống AI nhúng Cụ thể, bài viết sẽ phân tích theo hai hướng tối ưu hoá:

- Xu hướng tập trung vào việc giảm kích thước và tăng tốc độ của mô hình để có thể hoạt động hiệu quả trên các thiết bị nhúng với tài nguyên hạn chế

- Xu hướng tập trung vào việc chọn mô hình phù hợp nhất cho hệ thống với từng đầu vào cụ thể dựa trên độ chính xác, mong muốn và thời gian đáp ứng mà không cần thay đổi cấu trúc mô hình

II Nội dung của vấn đề nghiên cứu

Chúng ta có thể đưa ra phân tích chi tiết hơn về các phương pháp tối ưu hóa này

1 Phương pháp giảm kích thước và tăng tốc độ

1.1 Quantization

2

Hình 1: Ánh xạ các đầu vào liên tục tới các giá trị cố định ở đầu ra

Quantization là kỹ thuật nén dữ liệu bằng cách giảm số bit dùng để biểu diễn các tham số (số thực) trong mạng nơ-ron nhằm giảm độ phức tạp và kích thước của mô hình, quá trình ánh xạ các giá trị liên tục của trọng số và kích hoạt vào một tập hợp các giá trị rời rạc cố định ở đầu ra Điều này thường được thực hiện bằng cách giảm độ chính xác

từ 32-bit xuống 8-bit hoặc thấp hơn Cụ thể, các giá trị liên tục được ánh xạ vào các giá trị rời rạc thông qua một hàm lượng tử hóa

1.1.1 Ưu, nhược điểm của Quantization

Ưu điểm:

- Giảm yêu cầu bộ nhớ: Sử dụng ít bit hơn để lưu trữ các trọng số và kích hoạt

giúp giảm yêu cầu bộ nhớ

- Tăng tốc độ tính toán: Các phép toán với số bit thấp hơn thường nhanh hơn,

giúp tăng tốc độ suy luận của mô hình

- Tiết kiệm năng lượng: Sử dụng số nguyên và các phép toán đơn giản hơn giúp

giảm mức tiêu thụ năng lượng, làm cho lượng tử hóa phù hợp với các ứng dụng yêu cầu hiệu quả năng lượng cao

- Khả năng triển khai trên các thiết bị nhỏ gọn: Lượng tử hóa cho phép mô hình

có thể được chạy trên các thiết bị có khả năng tính toán thấp, như các thiết bị IoT hoặc các cảm biến thông minh

Nhược điểm:

- Mất mát độ chính xác: Việc giảm độ chính xác có thể dẫn đến mất mát thông

tin và giảm hiệu suất của mô hình

3

- Cần điều chỉnh: Cần phải điều chỉnh cẩn thận để đảm bảo rằng hiệu suất của mô

hình không bị ảnh hưởng quá nhiều

- Tính phức tạp trong triển khai: Một số phương pháp lượng tử hóa yêu cầu các

kỹ thuật đặc biệt hoặc công cụ hỗ trợ, làm cho quá trình triển khai trở nên phức tạp hơn so với việc triển khai mô hình ban đầu

- Hạn chế với một số loại mô hình: Lượng tử hóa có thể không phù hợp hoặc

mang lại hiệu quả thấp đối với một số loại mô hình hoặc tác vụ mà các tham số rất nhạy cảm với độ chính xác

1.1.2 Các phương pháp lượng tử hoá

- ACIQ(Analytical Clipping for Integer Quantization): để lượng tử hóa kích

hoạt và hiệu chỉnh độ lệch để lượng tử hóa trọng số Phương pháp phân bổ bit theo kênh được sử dụng để lượng tử hóa cả trọng số và kích hoạt Các phương pháp này được đánh giá trên sáu mô hình ImageNet ACIQ và hiệu chỉnh độ lệch cải thiện trung bình 4 bit cơ sở lần lượt là 3,2% và 6,0% Phân bổ bit theo kênh cải thiện trung bình 2,85% lượng tử hóa kích hoạt và 6,3% lượng tử hóa trọng số Khi ba phương pháp được sử dụng kết hợp để lượng tử hóa cả trọng số và kích hoạt, hầu hết sự suy giảm được khôi phục mà không cần đào tạo lại

Hình 2: Độ chính xác hàng đầu của các mô hình dấu phẩy động được chuyển đổi trực

tiếp thành trọng số và kích hoạt 4 bit mà không cần đào tạo lại

- BRECQ (PTQ): Một framework cho lượng tử hóa sau huấn luyện (Post-training

Quantization - PTQ), giúp giới hạn số bit ở mức INT2 Framework này nghiên cứu lý thuyết về lỗi bậc hai để cân bằng phụ thuộc giữa các lớp và lỗi tổng quát hóa, áp dụng các kỹ thuật độ chính xác lai Kết quả thử nghiệm cho thấy phương pháp này có thể đạt độ chính xác chỉ với 4 bit, đồng thời tăng tốc độ sản xuất mô hình lên 240 lần

- Phương pháp lượng tử hóa không cần dữ liệu: Không yêu cầu dữ liệu, tinh chỉnh hay tối ưu tham số Phương pháp này tận dụng tính chất đồng dạng tỉ lệ của hàm

4

kích hoạt để điều chỉnh phạm vi trọng số và sửa lỗi phát sinh trong quá trình lượng tử hóa Kết quả là đạt độ chính xác gần như mô hình gốc, có thể so sánh với các phương pháp huấn luyện phức tạp hơn

- AdaRound: Cơ chế làm tròn trọng số mà không cần tinh chỉnh mạng, chỉ cần

một lượng nhỏ dữ liệu không nhãn Phương pháp này giữ cho độ mất mát độ chính xác dưới 1% khi lượng tử hóa trọng số của ResNet-18 và ResNet-50 xuống

4 bit

- Deep Compression: Quy trình ba giai đoạn bao gồm tỉa (pruning), lượng tử hóa

huấn luyện và mã hóa Huffman Phương pháp này giảm yêu cầu lưu trữ cho mạng nơ-ron từ 240 MB xuống 6.9 MB trên AlexNet mà không làm giảm độ chính xác, đồng thời tăng tốc độ và hiệu quả năng lượng lên nhiều lần

- EIE (Efficient Inference Engine): Được thiết kế để triển khai trên SRAM, sử

dụng tính thưa thớt (sparsity) của hàm kích hoạt và trọng số, cùng với lượng tử hóa EIE tiết kiệm năng lượng đáng kể (120 lần), phù hợp cho các thiết bị có tài nguyên hạn chế như thiết bị nhúng

1.1.3 Ứng dụng trong hệ thống

Quantization giúp tối ưu hóa các mô hình học sâu để chúng có thể chạy trên các thiết bị và hệ thống có tài nguyên hạn chế mà không làm mất quá nhiều độ chính xác, thường được sử dụng trong các hệ thống nhúng và di động, nơi tài nguyên bộ nhớ và tính toán bị giới hạn Nó giúp các mô hình học sâu có thể chạy hiệu quả trên các thiết bị này mà không cần phần cứng mạnh mẽ

Một số ứng dụng của Quantization trong thực tế: Thiết bị di động và thiết bị nhúng, Ứng dụng trong ô tô (xe tự lái), Hệ thống giám sát và phân tích video, Các dịch vụ trên đám mây, Thiết bị y tế, …

1.2 Pruning

Hình 3: Mạng phối ngẫu

5

Pruning là quá trình loại bỏ các tham số không quan trọng trong mạng nơ-ron Điều này được thực hiện bằng cách đánh giá tầm quan trọng của các tham số và loại bỏ những tham số ít quan trọng Mục tiêu là làm giảm số lượng tham số, từ đó giúp mô hình nhỏ gọn hơn mà vẫn giữ được hiệu suất tốt Các phương pháp pruning có thể bao gồm pruning không cấu trúc (loại bỏ các trọng số riêng lẻ) và pruning có cấu trúc (loại bỏ toàn bộ các kênh hoặc lớp)

1.2.1 Ưu, nhược điểm của Pruning

Ưu điểm:

- Giảm kích thước mô hình: Bằng cách loại bỏ các tham số không cần thiết, mô

hình sẽ nhỏ gọn hơn và yêu cầu ít bộ nhớ hơn

- Tăng hiệu suất: Mô hình nhỏ gọn hơn có thể tính toán nhanh hơn, giúp tăng tốc

độ suy luận

Nhược điểm:

- Cần tái huấn luyện: Sau khi pruning, mô hình cần được tái huấn luyện để đảm

bảo rằng hiệu suất không bị giảm sút

- Phức tạp trong triển khai: Quá trình pruning có thể phức tạp và yêu cầu nhiều

bước để thực hiện đúng cách

1.2.2 Các phương pháp Pruning

Hình 4: Một số phương pháp cắt tỉa được nhóm lại theo cách tiếp cận được áp dụng

6

- Phương pháp truyền thống:

• Cách thực hiện:

o Bước 1: Huấn luyện mạng để học các kết nối quan trọng

o Bước 2: Cắt tỉa các kết nối không quan trọng

o Bước 3: Huấn luyện lại mạng để điều chỉnh các trọng số còn lại

• Kết quả: Ví dụ, với mạng AlexNet, số tham số có thể giảm đi 9 lần mà không ảnh hưởng đáng kể đến hiệu suất

- ProbMask (Cắt tỉa dựa trên xác suất):

• Điểm nổi bật: Phương pháp này đánh giá tầm quan trọng của các trọng số dựa trên xác suất tiêu chí toàn cầu cho tất cả các lớp trong mạng Nó có khả năng học tự động bằng cách thiết lập các ràng buộc

• Hiệu quả: ProbMask có thể cải thiện độ chính xác top-1 lên khoảng 10% so với các phương pháp trước đó

- ManiDp (Cắt tỉa dựa trên khai thác động):

• Cách hoạt động: Phương pháp này khai thác thông tin hình học của các lớp

và nhúng thông tin của các mẫu dữ liệu vào không gian mạng đã cắt tỉa Nó loại bỏ các bộ lọc không cần thiết một cách động

• Kết quả: Áp dụng trên ResNet-34, ManiDp có thể giảm 55.3% số lượng phép tính dấu chấm động (Flops) và chỉ làm giảm độ chính xác top-1 khoảng 0.57%

- CHEX (Cắt tỉa và hồi phục kênh):

• Đặc điểm: Thay vì cắt tỉa một lần, CHEX liên tục cắt tỉa và hồi phục các kênh trong quá trình huấn luyện Điều này giúp tránh cắt bỏ quá sớm các kênh quan trọng

• Hiệu quả: CHEX đạt được độ chính xác top-1 là 76% trên bộ dữ liệu ImageNet với mô hình ResNet-50 nén, và giảm lượng Flops xuống còn 25%

so với mô hình gốc

- Cắt tỉa ngẫu nhiên:

• Cách tiếp cận: Sử dụng phương pháp tìm kiếm ngẫu nhiên để xác định các kênh cần cắt tỉa Phương pháp này đơn giản để triển khai nhưng hiệu suất mô hình có thể bị giới hạn so với các phương pháp tinh chỉnh hơn

• Kết quả: Hiệu suất của mô hình phụ thuộc vào số lượng tham số, với số lượng tham số càng lớn thì tỷ lệ lỗi càng thấp

1.2.3 Ứng dụng trong hệ thống

Pruning thường được sử dụng trong các hệ thống nhúng và di động để giảm kích thước mô hình và tăng tốc độ suy luận Nó cũng có thể được sử dụng trong các hệ thống đám mây để giảm chi phí lưu trữ và tính toán

7

Một số ứng dụng của pruning trong thực tế: Thiết bị di động và nhúng, Triển khai trên nền tảng đám mây, Ứng dụng IoT, Tăng cường khả năng đào tạo và huấn luyện mô hình, …

➔ Quantization và Pruning thay đổi trực tiếp cấu trúc và trọng số của mô hình để giảm yêu cầu bộ nhớ và tăng tốc độ tính toán Những phương pháp này giúp tối ưu hóa các mạng nơ-ron để chúng có thể hoạt động hiệu quả trên các thiết bị nhúng với tài nguyên hạn chế

1.3 Sparsity

Hình 5: Tổng quan về các thành phần DNN để phân tán

Sparsity trong mạng nơ-ron sâu (DNN) đề cập đến việc làm cho mô hình thưa thớt,

tức là giảm số lượng các thành phần không cần thiết như trọng số (weights), kích hoạt (activations) bằng 0, kết nối, hoặc thậm chí các lớp trong mạng Các mạng thưa thớt không chỉ giảm kích thước và chi phí tính toán mà còn có thể giữ nguyên hoặc cải thiện

độ chính xác so với mạng đầy đủ (dense network)

1.3.1 Ưu, nhược điểm của sparsity

Các mạng lớn đòi hỏi năng lượng lớn và tài nguyên tính toán khổng lồ, khiến chúng khó triển khai trên thiết bị có tài nguyên hạn chế như điện thoại di động

Ưu điểm:

- Giảm kích thước: Mạng nhỏ gọn hơn dễ triển khai trên thiết bị nhúng

- Rút ngắn thời gian huấn luyện: Mạng thưa thớt yêu cầu ít phép tính hơn, tăng

tốc quá trình huấn luyện

- Tổng quát hóa tốt hơn: Một số nghiên cứu cho thấy mạng thưa thớt có khả năng

dự đoán và tổng quát hóa tốt hơn mạng đầy đủ

- Tiết kiệm năng lượng: Khi số lượng phép toán giảm nhờ sparsity, tiêu thụ năng

lượng trên các thiết bị tính toán (như GPU hoặc CPU) cũng giảm, kéo dài thời

gian hoạt động cho các thiết bị di động hoặc IoT