(Đồ án tốt nghiệp) nghiên cứu và ứng dụng module trợ lý ảo trên hệ thống điều hòa ô tô

Tính mới và sáng tạo: Đề tài nghiên cứu trợ lý ảo trên hệ thống điều hòa ô tô đã đưa ra được giải pháp là kếthợp máy tính nhúng, vi điều khiển và can thiệp cả hệ thống điện và cơ khí của

THÀNH PHỐ HỒ CHÍ MINH

CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN

NGHIÊN CỨU VÀ ỨNG DỤNG MODULE TRỢ LÝ

ẢO TRÊN HỆ THỐNG ĐIỀU HÒA Ô TÔ

MÃ SỐ: SV2022-09 CHỦ NHIỆM ĐỀ TÀI: NGUYỄN VĂN THANH PHÚC

SKC008106

Tp Hồ Chí Minh, tháng 11/2022

BÁO CÁO TỔNG KẾT

ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN

NGHIÊN CỨU VÀ ỨNG DỤNG MODULE TRỢ LÝ ẢO

TRÊN HỆ THỐNG ĐIỀU HÒA Ô TÔ

MÃ SỐ: SV2022-09

Thuộc nhóm ngành khoa học: Kỹ thuật

MỤC LỤC

MỤC LỤC i

DANH MỤC CÁC HÌNH iii

DANH MỤC CÁC BẢNG vi

MỞ ĐẦU 1

1 Đặt vấn đề 1

2 Tổng quan tài liệu 1

2.1 Tổng quan tóm lược đề tài 1

2.2 Nghiên cứu trong và ngoài nước 2

2.2.1 Nghiên cứu trong nước 2

2.2.2 Nghiên cứu ngoài nước 3

2.3 Những vấn đề còn tồn tại 4

2.4 Phương án giải quyết vấn đề 4

2.5 Đối tượng và phạm vi nghiên cứu 4

3 Mục tiêu nghiên cứu và phương pháp nghiên cứu 5

3.1 Mục tiêu 5

3.2 Phương pháp nghiên cứu 5

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 6

1.1 Cơ sở lý thuyết hệ thống điều hòa ô tô Toyota Vios 2007 6

1.1.1 Vị trí các thành phần của hệ thống điều hòa 6

1.1.2 Sơ đồ điều khiển hệ thống điều hòa 8

1.1.3 Sơ đồ mạch điện 12

1.1.4 Nguyên lý hoạt động hệ thống điều hòa 17

1.2 Nghiên cứu trợ lý ảo thuần túy 23

1.2.1 Cấu trúc trợ lý ảo thuần túy 23

1.2.2 Sử dụng Google Speech Recognition nhận dạng giọng nói 24

1.2.3 Phản hồi bằng âm thanh 26

1.2.4 Logic engine 26

1.3 Cơ sở xây dựng giao diện tương tác người dùng Tkinter 29

1.4 Cơ sở Raspberry Pi 3 Model B+ sử dụng trong nghiên cứu 33

1.4.1 Tự động chạy chương trình khi khởi động Raspberry Pi 3 Model B+ [17] 33

1.4.2 Tự động shutdown Raspberry với ngôn ngữ Python 35

1.5 Arduino Nano sự dụng trong nghiên cứu 36

1.5.1 Phương pháp giao tiếp Raspberry Pi với Arduino 36

1.5.2 Phương pháp điều khiển động cơ DC encoder 38

CHƯƠNG 2: KẾT QUẢ VÀ ĐÁNH GIÁ 38

2.1 Kết quả nghiên cứu trợ lý ảo trên hệ thống điều hòa ô tô Toyota Vios 2007 38

2.1.1 Kết quả thu thập các thông số đo đạt trên hệ thống điều hòa cần thiết cho nghiên cứu 38

2.1.2 Kết quả nghiên cứu các cơ cấu thay thế hệ thống điều hòa 41

2.1.3 Kết quả nghiên cứu chương trình trợ lý ảo trên Raspberry Pi 3 model B+ 46

2.1.3.1 Chương trình luồng 1 xử lý lệnh và điều kiện đáp ứng yêu cầu người dùng 46

2.1.3.2 Chương trình luồng 2 giao tiếp với Arduino điều khiển cơ cấu chấp hành 61

2.1.3.3 Chương trình luồng 3 giao tiếp với POWER ARDUINO để tắt Raspberry và kiểm tra trạng thái điều hòa 62

2.1.3.4 Chương trình giao diện người dùng 64

2.1.4 Kết quả nghiên cứu chương trình điều khiển Arduino 66

2.1.4.1 Chương trình quản lý cung cấp nguồn và tắt Raspberry của Arduino 66

2.1.4.2 Chương trình tính toán và điều khiển cơ cấu chấp hành trên Arduino 68

2.2 Thực nghiệm và kết quả nghiên cứu 76

2.2.1 Thực nghiệm chế độ mở và tắt hệ thống trợ lý ảo 77

2.2.2 Thử nghiệm các mức độ gió 79

2.2.3 Thử nghiệm với chế độ tăng giảm nhiệt độ 81

2.2.4 Thử nghiệm đáp ứng cơ cấu chấp hành 84

2.2.5 Đánh giá kết quả thực nghiệm 88

CHƯƠNG 3: KẾT LUẬN VÀ ĐỀ XUẤT PHÁT TRIỂN 89

3.1 Ý nghĩa khoa học 89

3.2 Ý nghĩa thực tiễn 89

3.3 Đề xuất hướng nghiên cứu phát triển 90

Tài liệu tham khảo 93

Phụ lục 96

DANH MỤC CÁC HÌNH

Hình 1.1: Vị trí bố trị các bộ phận hệ thống điều hòa 7

Hình 1.2: Sơ đồ điều khiển hệ thống điều hòa 8

Hình 1.3: Vị trí các chế dộ hoạt động van điều khiển các hướng gió 9

Hình 1.4: Các cửa gió ra khoang hàng khách 11

Hình 1.5: Núm vặng ở vị trí 0 18

Hình 1.6: Vị trí công tắc núm xoay ở LOW 19

Hình 1.7: Vị trí công tắc núm xoay ở M1 19

Hình 1.8: Vị trí công tắc núm xoay ở M2 20

Hình 1.9: Vị trí công tắc núm xoay ở H1 21

Hình 1.10: Sơ đồ hoạt động trợ lý ảo giọng nói 23

Hình 1.11: Lưu đồ giải thuật bộ logic engine 27

Hình 1.12: Lưu đồ giải thuật kết hợp giao tiếp giọng nói và cảm ứng 29

Hình 1.13: Hiển thị nút nhấn (button) trên tkinter 30

Hình 1.14: Hiển thị một lable trên tkinter 31

Hình 1.15: Vị trí một đối tượng trong giao diện tkinter 32

Hình 1.16: Config(thay đổi) biểu tượng button trong tkinter 33

Hình 1.17: Khởi tạo trình tử động chạy một chương trình Python 35

Hình 1.18: Lưu đồ xử lý tín hiệu OFF khóa điện 36

Hình 1.19: Lưu đồ điều vị trí động cơ kết hợp khâu P của PID 38

Hình 2.1: Cụm điều khiển điều hòa trên Toyota Vios 2007 39

Hình 2.2: Kết quả đo thực nghiệm các góc của cơ cấu lấy gió 39

Hình 2.3: Kết quả đo thực nghiệm các góc của cơ cấu điều chỉnh hướng gió 40

Hình 2.4: Kết quả đo thực nghiệm góc giới hạn cơ cấu điều chỉnh nhiệt độ 40

Hình 2.5: Relay thay thế các tiếp điểm của cụm cơ cấu điều chỉnh lưu lượng gió 41

Hình 2.6: Relay thay thế các tiếp điểm A/C và sưởi kính sau 41

Hình 2.7: Hình Cơ cấu phục vụ cho điều khiển cụm điều chỉnh lấy gió trong/ngoài 42

Hình 2.8: Kích thước cơ cấu phục vụ cho điều khiển cánh lấy gió trong/ngoài 42

Hình 2.9: Cơ cấu phục vụ cho điều khiển cụm điều chỉnh cánh nhiệt 43

Hình 2.10: Kích thức cơ cấu phục vụ cho điều khiển cụm điều chỉnh cánh nhiệt 43

Hình 2.11: Cơ cấu phục vụ cho điều khiển cụm điều chỉnh hướng gió 44

Hình 2.12: Kích thức cơ cấu phục vụ cho điều khiển cụm điều chỉnh hướng gió 44

Hình 2.13: Mô hình lắm ráp 3D trước khi thực nghiệm 45

Hình 2.14: Mô hình thực nghiệm thay thế các cụm điều khiển 46

Hình 2.15: Sơ đồ giao tiếp giữa các luồng xử lý trên Raspberry với Arduino 46

Hình 2.16: Lưu đồ giải thuật luồng 1 47

Hình 2.17: Lưu đồ giải thuật kiểm tra điều kiện tắt điều hòa 48

Hình 2.18: Lưu đồ giải thuật kiểm tra điều kiện mở điều hòa 49

Hình 2.19: Lưu đồ giải thuật kiểm tra điều kiện giảm gió 49

Hình 2.20: Lưu đồ giải thuật kiểm tra điều kiện tăng gió 50

Hình 2.21: Lưu đồ giải thuật kiểm tra điều kiện tăng nhiệt 51

Hình 2.22: Lưu đồ giải thuật kiểm tra điều kiện giảm nhiệt 51

Hình 2.23: Lưu đồ giải thuật kiểm tra điều kiện điều chỉnh hướng gió vào mặt và xuống chân 52

Hình 2.24: Lưu đồ giải thuật kiểm tra điều kiện điều chỉnh hướng gió xông kính chắn gió 52

Hình 2.25: Lưu đồ giải thuật kiểm tra điều kiện điều chỉnh hướng gió xuống chân 53

Hình 2.26: Lưu đồ giải thuật kiểm tra điều kiện điều chỉnh hướng gió xuống chân và xông kính chắn gió 53

Hình 2.27: Lưu đồ giải thuật kiểm tra điều kiện điều chỉnh hướng gió vào mặt 54

Hình 2.28: Lưu đồ giải thuật kiểm tra điều kiện mở sưởi kính chắn gió sau 54

Hình 2.29: Lưu đồ giải thuật kiểm tra điều kiện tắt sưởi kính chắn gió sau 55

Hình 2.30: Lưu đồ giải thuật kiểm tra điều kiện lấy gió tuần hoàn 55

Hình 2.31: Lưu đồ giải thuật kiểm tra điều kiện lấy gió ngoài môi trường 55

Hình 2.32: Lưu đồ giải thuật hàm chức năng lấy gió trong/ngoài 56

Hình 2.33: Lưu đồ giải thuật hàm chức năng mở và tắt điều hòa 57

Hình 2.34: Lưu đồ giải thuật hàm chức năng tăng/giảm gió 58

Hình 2.35: Lưu đồ giải thuật hàm chức năng tăng/ giảm nhiệt độ 59

Hình 2.36: Lưu đồ giải thuật hàm chức năng thay đổi các chế độ hướng gió 60

Hình 2.37: Lưu đồ giải thuật hàm chức năng sưởi kính chắn gió sau 61

Hình 2.38: Lưu đồ giải thuật luồng 2 giao tiếp với ARDUINO CONTROL 62

Hình 2.39: Lưu đồ giải thuật luồng chương trình shutdown hệ thống 64

Hình 2.40: Lưu đồ giải thuật luồng giao diện người dùng 65

Hình 2.41: kết quả giao diện người dùng 65

Hình 2.42: Sơ đồ khối power Arduino điều khiển quản lý cung cấp nguồn 66

Hình 2.43: Sơ đồ khối ARDUINO CONTROL với nhiệm vụ điều khiển cơ cấu chấp hành 66

Hình 2.44: Lưu đồ giải thuật chương trình code POWER ARDUINO 68

Hình 2.45: Lưu đồ giải thuật chương trình code POWER ARDUINO 70

Hình 2.46: Lưu đồ giải thuật chương trình code Arduino đếm xung encoder 71

Hình 2.47: Lưu đồ giải thuật chương trình code Arduino điều khiển tăng giảm nhiệt độ 72 Hình 2.48: Lưu đồ giải thuật chương trình code Arduino điều khiển thay đổi vị trí hướng gió 73

Hình 2.49: Lưu đồ giải thuật chương trình code Arduino điều khiển lấy gió trong/ngoài 74 Hình 2.50: Lưu đồ giải thuật chương trình code Arduino điều khiển mở/tắt sưởi kính chắn gió sau xe 75

Hình 2.51: Lưu đồ giải thuật chương trình code Arduino điều khiển mở/tắt điều hòa 75 Hình 2.52: Lưu đồ giải thuật chương trình code Arduino điều khiển thay đổi tốc độ quạt gió 76

Hình 2.53: Kết quả khởi động hệ thống trợ lý ảo 78

Hình 2.54: Kết quả tắt hệ thống trợ lý ảo 79

Hình 2.55: Kết quả điều chỉnh gió ở mức độ 1 80

Hình 2.56: Kết quả điều chỉnh gió ở mức độ 2 80

Hình 2.57: Kết quả điều chỉnh gió mức độ 3 81

Hình 2.58: Kết quả điều chỉnh gió mức độ 4 81

Hình 2.59: Khi cánh điều chỉnh nhiệt ở vị trí trung gian thì thiệt độ đạt được trong xe là 32 o .82

Hình 2.60: Giảm mức nhiệt xuống 1 mức thì nhiệt bắt đầu giảm còn 30° 82

Hình 2.61: Khi giảm mức nhiệt xuống mức 4 thì nhiệt độ giảm xuống 24° 83

Hình 2.62: Khi giảm nhiệt độ tối đa thì thiệt độ có thể rơi xuống 19° 83

Hình 2.63: Khi tăng mức nhiệt lên 3 thì nhiệt độ tăng lên gần đến 50o 84

Hình 2.64: Kết quả thử nghiệm cơ cấu chấp hành điều chỉnh các hướng gió 86

Hình 2.65: Kết quả thử nghiệm cơ cấu chấp hành điều chỉnh nhiệt độ 87

Hình 2.66: Kết quả thử nghiệm cơ cấu chấp hành lấy gió 88

Hình 3: Giao diện đề xuất phát triển 92

DANH MỤC CÁC BẢNG

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM

THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI 1 Thông tin chung:

- Chủ nhiệm đề tài: Nguyễn Văn Thanh Phúc Mã số SV:18145424

- Thành viên đề tài:

- Người hướng dẫn:ThS.Nguyễn Thành Tuyên

2 Mục tiêu đề tài:

Mục đích đề tài này là tương tác các tiện nghi nguyên bản của điều hòa ô tô hoàn toànthông qua trợ lý ảo giọng nói và tương tác với trợ lý ảo thông qua giao diện ngườidùng nếu người dùng không giao tiếp với trợ lý ảo bằng giọng nói Tạo tiền đề cho cáccông trình nghiên cứu về hệ thống tiện nghi thông minh của khoa Cơ khí động lựctrường Đại học Sư phạm kỹ thuật

3 Tính mới và sáng tạo:

Đề tài nghiên cứu trợ lý ảo trên hệ thống điều hòa ô tô đã đưa ra được giải pháp là kếthợp máy tính nhúng, vi điều khiển và can thiệp cả hệ thống điện và cơ khí của xe đểgián tiếp giải quyết một phần nguyên nhân dẫn đến tai nạn ô tô Đây là một trongnhững đề tài mới trong lĩnh vực công nghệ ô tô can thiệp vào hệ thống điện thân xe đểthay thế và nâng cấp các tiện nghi trên ô tô trở nên thông minh từ đó người dùng ítthao tác mà lại dễ dàng sử dụng

4 Kết quả nghiên cứu:

Quá trình thực nghiệm được thử nghiệm 5 lần với tất cả các chức năng trong đó có cảchức năng về giao tiếp giọng nói Sau 5 lần chạy thực nghiệm cho thấy các kết quả sau:

- Phần cứng gồm module trợ lý ảo và các cơ cấu chấp hành hoạt động tốt sau những lần thửnghiệm thì hoàn toàn không có hư hỏng, nhiệt độ đảm bảo không cao và không sinh

nhiệt ở các linh kiện công suất Do quá trình chọn linh kiện có công suất dư so với tínhtoàn và đo thực nghiệm.

Ở trạng thái không hoạt động thì tất cả các tải điện module được tắt trừ Arduino nhận tínhiệu từ công tắt máy luôn hoạt động và dòng hoạt động rất nhỏ chỉ vài trăm miliampetương đương nuôi một hộp ECU trên ô tô Module khi lắp đặt không ảnh hưởng đến hệthống cung cấp điện trên ô tô Nếu ô tô để lâu không hoạt động thì phải nên cân nhắc việcthay một ắc quy có dung lượng lớn Các tải tiêu tốn dòng nhiều đó chính là Raspberry kếthợp với LCD hiển thị

điều khiển

nguyên bản của xe So sánh kích thước giữa toàn bộ cơ cấu chấp hành mới so với nguyênbản của xe là không chênh lệch Hộp điều khiển được bố trí trong khoang trước ghế phụ

và cơ cấu chấp hành mới bố trí phía sau lắp đặt vị trí màn hình

điện của hệ thống Các cơ cấu in 3D thay thế hoàn toàn đáp ứng độ bền ở hiện tại

sử dụng bộ não logic này đã đáp ứng hoàn toàn các chức năng và vai trò của một hệthống nguyên bản trên xe

người dùng đưa ra rất trực quan và thư viện Command.py của nhóm nghiên cứu hoạtđộng rất tốt dù chỉ là lập trình với giải thuật thuần túy chưa sử dụng các công cụ nâng caokhác

độ đáp ứng của hệ thống nguyên bản Nhưng về tốc độ mở hệ thống thì tương đối lâu là

52 giây Còn thời gian tắt hệ thống thì chấp nhận được là 16 giây

giọng phổ thông miền Nam và các lệnh đều liên quan đến hệ thống điều hòa Khả năngnhận dạng chính xác gần 90% phần còn lại do tiếng lóng nên nhận dạng sai Dù đã cóphương pháp khắc phục nhưng chưa thể đầy đủ vì cần có thời gian thu thập dữ liệu liênquan đến ngôn ngữ vùng miền và tiếng lóng vùng miền Quá trình thực nghiệm nhómchưa thử nghiệm với các giọng vùng miền khác nên không có kết quả về phần thửnghiệm này

5 Đóng góp về mặt giáo dục và đào tạo, kinh tế - xã hội, an ninh, quốc phòng và khả năng áp dụng của đề tài:

Đóng góp về mặt xã hội và kinh tế: Cải tiến một chiếc xe ô tô cá nhân thành một

người trợ lý hoặc một người bạn có thể giao tiếp với người dùng ô tô bằng giọng nói

để sử dụng các tiện nghi ô tô là một điều tất yếu trong tương lai và cần tiến hành hiệnthực hóa ở hiện tại để người lái xe có thể tập trung vào việc lái xe mà không phải phântâm khi sử dụng tiện nghi Về mặt kinh tế, đề tài này có thể thương mại hóa sản phẩmnếu được đầu tư bài bản cho từng dòng xe và được kiểm nghiệm trên thực tế Bởi vìliên quan đến kết cấu xe và an toàn hệ thống trên xe

Đóng góp cho nghiên cứu: Đề tài góp phần làm nền tảng đáng tin cậy để sinh viên có

thể thực hành sáng tạo, nghiên cứu và mở rộng sang các hệ thống tiện nghi ô tô khácnhằm có thể hoàn thiện một trợ lý ảo có thể giúp còn người sử dụng các tiện nghi trên

ô tô một cách dễ dàng Bên cạnh tạo nền tảng cho sinh viên thì trong đề tài này đã sửdụng nhiều ngôn ngữ lập trình như Arduino và Python từ đó có thể phục vụ cho quátrình dạy học giúp sinh viên có thể ngày càng đi sâu vào lập trình nhúng ứng dụng trên

ô tô Điều đó làm nâng cao chất lượng sinh viên và góp phần làm cho nền công nghiệp

ô tô Việt Nam phát triển

6 Công bố khoa học của SV từ kết quả nghiên cứu của đề tài (ghi rõ tên tạp chí

nếu có) hoặc nhận xét, đánh giá của cơ sở đã áp dụng các kết quả nghiên cứu (nếu có):

………

Ngày 13 tháng 11 năm 2022 SV

chịu trách nhiệm chính thực

hiện đề tài (Kí, họ tên)

Nhận xét của người hướng dẫn về những đóng góp khoa học của SV thực hiện đề

MỞ ĐẦU

1 Đặt vấn đề

Hiện nay khi nhắc đến việc sở hữu một chiếc ô tô thì người mua hướng đến hai vấn đề

đó chính là hệ thống tiện nghi ô tô và hệ thống an toàn lái xe Các hệ thống tiện nghitrên ô tô hiện nay đều điều khiển thủ công (bằng tay) chỉ một số ít tác vụ là tự động ví

dụ như: auto light, auto a/c, auto hold nhưng vẫn phải điều chỉnh thủ công trước đó.Đối với xe sử dụng hộp số thường thì người dùng phải sử dụng cả hai tay(một tay láimột tay để chuyển số) và hai chân(một chân côn và một chân cho ga và phanh) đểđiều khiển xe và đối với xe hộp số tự động thì ít nhất sử dụng một chân(ga và phanh)

và hai tay(một tay lái xe và một tay chuyển số) để điều khiển Điều đó cho thấy bộnão chúng ta hoạt động và tập trung rất nhiều trong lúc lái xe và kết hợp thêm việcdùng tay để sử dụng các tiện nghi trong lúc lái xe thì bộ não sẽ bị chi phối dẫn đến ảnhhưởng rất nhiều đến việc mất tập trung dẫn đến nguy cơ tai nạn lúc lái xe [1] Đặt biệtkhi lái xe thì người lái khuyên không nên rời mắt khỏi tầm quan sát phía trước quá 3giây để đảm bảo kiểm soát được tình hình giao thông phía trước Vấn đề còn sấu hơnkhi chạy xe trên cao tốc với tốc độ rất cao và rời mắt để sử dụng các tiện nghi ô tô làhết sức nguy hiểm

Khi công nghệ khoa học kỹ thuật phát triển đặc biệt là các công nghệ tự động thôngmình đặc biệt là trợ lý ảo Trợ lý ảo ngoài giúp người dùng tra cứu thông tin một cáchnhanh chống mà hiện nay trợ lý ảo còn can thiếp và điều khiển các thiết bị người dùngchính xác [2]

Vì các lý do đó mà đề tài “Nghiên cứu và ứng dụng module trợ lý ảo trên hệ thốngđiều hòa ô tô” thật sự cần thiết để giải quyết vấn đề kép đó là vừa đảm bảo tập trunglái xe an toàn và đáp ứng sự tiên nghi thông minh trên ô tô thông qua giải pháp điềukhiển tác vụ trên điều hòa ô tô bằng giọng nói trong lúc lái xe Song song đó đề tàigiải quyết được vấn nếu người dùng không thể ra lệnh bằng giọng thì có thể hoàn toàn

sử dụng các thao tác thủ công trên màn hình hiển thị

2 Tổng quan tài liệu

2.1 Tổng quan tóm lược đề tài

Đề tài “Nghiên cứu và ứng dụng module trợ lý ảo trên hệ thống điều hòa ô tô” ra đời đểgiải quyết vấn đề ô tô hiện nay có quá nhiều các tiện nghi và khi người sử dụng phải thaotác với rất nhiều nút nhấn để sử dụng các tiện nghi trong đó đặc biệt là hệ thống điều hòa

ô tô Vì vậy dẫn đến người tài xế sẽ bị phân tâm trong quá trình lái xe dẫn đến tai nạn Đểgiải quyết vấn đề trên đề tài này đã đặt ra mục tiêu là nghiên cứu, thiết kế

và chế tạo một module trợ lý ảo trên hệ thống điều hòa ô tô giúp người dùng có thể sửdụng điều hòa bằng cách ra lệnh bằng giọng nói mà không cần thao tác thủ công.Nhưng bên cạnh đó vẫn có phần thao tác cảm ứng trên màn hình cảm ứng nếu ngườidùng có nhu cầu.

Đề tài này kết hợp trợ lý ảo giao tiếp hai chiều để giao tiếp với người dùng và vi điềukhiển để điều khiển các cơ cấu chấp hành Phần trợ lý ảo được chạy trên Raspberry Pi

3 Model B+ Phần trợ lý ảo gồm 3 phần chính: một là phần nghe yêu cầu người dùng,hai là xử lý logic(bộ não), đây là phần quan trọng trong trợ lý ảo đảm nhiệm xử lýđiều kiện và đưa ra kết quả và ba là phần phản hồi và thay đổi giao điện Tuy phần xử

lý logic này chỉ là một bộ não xử lý logic chưa sử dụng đến AI(trí tuệ nhân tạo) đểgiải quyết vấn đề đưa ra lệnh đáp ứng nhưng đã xử lý tốt để đưa ra lệnh đúng đáp ứngcác chức năng Phần điều khiển cơ cấu chấp hành nhóm đã sử dụng Arduino Nano đểgiao tiếp với Raspberry qua giao thức USB để điều khiển động cơ và relay Bên cạnh

đó nhóm nghiên cứu đã nghiên cứu, thiết kế chế tạo các cơ cấu chấp hành thay chomột số bộ phận trên hệ thống như: giắt cấm, cụm relay và động cơ điều khiển cơ cấu.Sau khi thử nghiệm thực tế trên ô tô Toyota Vios 2007thì nhóm đã đạt được kết quảsau: Hệ thống đã đáp ứng hoàn toàn các chế độ nguyên bản của xe, các cơ cấu chấphành đã hoạt động tốt Bên cạnh đó đề tài còn có một số nhược điểm như khởi động

hệ thống lâu và nhận dạng giọng nói chưa đạt kết quả 100% Sau khi nhận được kếtquả thực nghiệm thì nhóm đánh giá đề tài có nhiều ưu điểm và hướng phát triển đểhoàn thiện sản phẩm trong tương lai như sau: hệ thống có thể phát triển trên tất cả các

hệ thống tiện nghi khác, hoàn toàn có thể ứng dụng AI để giúp bộ não trở nên thôngmình và tự học, có thể tối ưu phần cứng để thích nghi với không gian trên xe đặcbiệt là xây dựng quy trình lắp ráp trên từng xe để có thể thương mại hóa sản phẩm

2.2 Nghiên cứu trong và ngoài nước

2.2.1 Nghiên cứu trong nước

Trợ lý ảo trên xe Vivi VinFast [3]

Được bắt đầu với câu lệnh “Hey VinFast”, trợ lý ảo ViVi được xây dựng trên nền tảngTrí tuệ nhân tạo kết hợp với công nghệ Xử lý ngôn ngữ tự nhiên Khi tích hợp trên xe,ứng dụng cho phép người lái dùng giọng nói thực hiện nhiều tác vụ như dẫn đường, gọiđiện, nhắn tin, nghe nhạc, đọc tin tức, hay điều khiển các chức năng trên xe… Hơn nữa,ViVi còn có thể trò chuyện ngẫu hứng, kể chuyện cười cũng như giải đáp các câu hỏithường ngày, giúp người lái có những phút giây thư giãn và vui vẻ Hệ thống có khả

năng hỗ trợ người dùng hỏi đáp thông tin và thực hiện nhiều tác vụ khi đang dichuyển, mà không ảnh hưởng đến độ tập trung và thao tác lái xe của tài xế.

Loa thông minh OLLI Maika tích hợp trợ lý thông minh thuần Việt [4]

Sản phẩm ra đời với mong muốn mở ra cánh cửa công nghệ cho tất cả mọi người, từ trẻnhỏ tới người lớn tuổi và cả những người khiếm thị Sau này, trẻ em còn có thể sử dụngOLLI Maika như sản phẩm trợ giúp giáo dục Thao tác để điều khiển OLLI Maika vôcùng đơn giản Người dùng chỉ cần gọi "Maika ơi", sau đó nêu ra yêu cầu cần thực hiện

Ví dụ: "Maika ơi, mở nhạc Hà Anh Tuấn" hoặc "Maika ơi, kể truyện Tấm Cám cho mìnhnghe" Tại thời điểm ra mắt, 7 tính năng chủ đạo sẽ là: Nghe nhạc, Gọi điện thoại, Nhắccông việc, Điểm tin, Nghe đài, Kể chuyện, và Điều khiển nhà thông minh

2.2.2 Nghiên cứu ngoài nước

Smart Robotic Personal Assistant Vehicle Using Raspberry Pi and Zero

UI Technology [5]

Bài viết này trình bày một nguyên mẫu của một phương tiện trợ lý cá nhân robotthông minh dựa trên Raspberry Pi và công nghệ Zero UI Zero UI sử dụng các trảinghiệm cảm giác như cử chỉ, giọng nói và chuyển động để kiểm soát các thiết bị Mộtchiếc xe robot điều khiển bằng giọng nói được thực hiện trong bài viết này thực hiện

ba chức năng Chuyển động của robot được điều khiển bằng cách sử dụng các lệnhthoại; Nó có khả năng nói rõ văn bản từ hình ảnh được chụp bằng cách sử dụng nhậndạng ký tự quang học và trình bày âm thanh tương đương cho người dùng bằng cách

sử dụng loa hoặc tai nghe tích hợp; Nó chấp nhận các lệnh thoại từ người dùng và sửdụng Google Assistant API cho bất kỳ xử lý truy vấn nào và trình bày thông tin đượctìm kiếm trên Internet cho người dùng ở dạng âm thanh bằng loa hoặc tai nghe tíchhợp Chiếc xe trợ lý cá nhân robot này là một thay thế cho giao tiếp dựa trên màn hình

và sử dụng Zero UI cho hoạt động của nó Ngoài bảng Raspberry PI, chúng tôi sửdụng hai động cơ DC để tạo thành bánh xe của robot, một webcam có micro tích hợp,tai nghe và IC điều khiển động cơ để thực hiện phương tiện trợ lý cá nhân robot này

Hệ thống này cho phép những người bị khiếm thị có quyền truy cập vào thông tin hữuích trong phạm vi công cộng bằng cách đưa ra lệnh thoại cho trợ lý robot Robot cóthể được thực hiện như một chiếc ghế bánh xe cho những người bị thách thức về thểchất Ngôn ngữ lập trình Python được sử dụng để phát triển mã phần mềm

Automatic Car parking system using Google Assistant [6]

Như chúng ta đã biết, do sự gia tăng dân số, có những vấn đề về số lượng và các vấn

đề giao thông là một trong những lý do chính cho các thành phố lớn Thật khó để tìmthấy một chỗ đậu xe trống để đỗ xe Hầu hết thời gian là lãng phí tìm kiếm chỗ đậu xetrống và giao thông Đôi khi, chủ sở hữu của chiếc xe cần phải trả tiền cho bãi đậu xehoặc có thể trao xe cho một nhân viên bảo vệ, nơi an ninh sẽ đỗ xe trước khi giao nócho chủ sở hữu Do vấn đề đỗ xe, nhiều người cố gắng tránh lái xe một mình Để khắcphục vấn đề này, chúng tôi đề xuất một nguyên mẫu sẽ giúp mọi người tìm thấy chỗ

đỗ xe trống và dưới sự chỉ huy của chủ sở hữu, chiếc xe sẽ tự động lái xe đến hệ thống

đỗ xe và đỗ xe đến chỗ đỗ xe gần nhất Tất cả thông tin và thông báo chi tiết sẽ đượcgửi qua điện thoại di động của chủ sở hữu Hệ thống sẽ giảm thời gian và giúp mọingười tìm thấy chỗ đậu xe dễ dàng Các công nghệ tiên tiến như IoT, GoogleAssistant, … được sử dụng trong nguyên mẫu này

2.3 Những vấn đề còn tồn tại

Vậy vấn đề còn tồn tại là cần có một sản phầm trợ lý ảo tiện nghi ô tô giá hợp lý dành cho

ô tô đời cũ ở thị trường Việt nam Do tại thời điểm này chỉ trên xe Vinfast đã trang bị trợ

lý ảo Vivi Nhưng hiện nay người dùng ô tô đời cũ rất nhiều để đáp ứng đam mê nâng cấp

xe và trạng bị trên xe cá nhân một trợ lý ảo giúp họ giải quyết được các vấn đề tiện nghi

là điều hoàn toàn tất yếu theo xu hướng trang thiết bị thông minh Ở thị trường Việt Namthì các sản phẩm có sẵn trên thị trường thường không can thiệp vào các hệ thống tiện nghi

có sẵn trên xe như: ghế điện, gương, đèn mà chỉ mở rộng các tiện nghi liên quan đếnInternet như: Radio, tìm đường, mở Youtube [7] Điều đặc biệt là các sản phẩm trên thịtrường chưa quan tâm nhiều đến an toàn lái xe khi sử dụng

2.4 Phương án giải quyết vấn đề

Để giải quyết vấn đề trên nhóm giải quyết lần lượt các vấn đề nhỏ như sau: Xây dựngmột module trợ lý ảo giao tiếp hai chiều với người dùng, vấn đề tiếp theo là giao tiếptrợ lý ảo với vi điều khiển, vấn đề cuối cùng là nghiên cứu thiết kế chế tạo các cơ cấuthay thế các cơ cấu có sẵn trên xe để vi điều khiển có thể điều khiển

2.5 Đối tượng và phạm vi nghiên cứu

- Đối tượng nghiên cứu của đề tài là hệ thống điều hòa ô tô Toyota Vios 2007 và trợ lý

ảo giao tiếp hai chiều điều khiển cơ cấu chấp hành

- Phạm vi nghiên cứu: Đề tài nghiên cứu trên ô tô Toyota Vios 2007 Trong đề tài nàynhóm chỉ sử dụng giọng nói phổ thông để để thử nghiệm trợ lý ảo Môi trường thửnghiệm trợ lý ảo là đóng kín hoàn toàn xe và không có tạp âm xung quanh Đề tàiđược thực hiện từ tháng 10 năm 2021 đến tháng 9 năm 2022

3 Mục tiêu nghiên cứu và phương pháp nghiên cứu

3.1 Mục tiêu

Mục đích đề tài này là tương tác các tiện nghi nguyên bản của điều hòa ô tô hoàn toànthông qua trợ lý ảo giọng nói và tương tác với trợ lý ảo thông qua giao diện ngườidùng nếu người dùng không giao tiếp với trợ lý ảo bằng giọng nói Tạo tiền đề chocác công trình nghiên cứu về hệ thống tiện nghi thông minh của khoa Cơ khí động lựctrường Đại học Sư phạm kỹ thuật

3.2 Phương pháp nghiên cứu

- Nghiên cứu cơ sở lý thuyết:

+ Nghiên cứu cơ sở lý thuyết hệ thống điều hòa trên ô tô thông qua tài liệu

+ Nghiên cứu về trở lý ảo giao tiếp hai chiều bằng giọng nói thông qua sách báo và kếthừa từ các công trình trước đó

+ Nghiên cứu về giao diện tương tác người dùng thông qua các công cụ được hỗ trợ bởi ngôn ngữ lập trình Python

+ Nghiên cứu phương pháp kết hợp trợ lý ảo và giao diện tương tác người dùng vào điều khiển hệ thống điều hòa

- Phương pháp thử nghiệm: Một số cơ cấu trên xe không thể đo đạc để tìm ra thông số

để có thể thiết kế chính xác nên nhóm đã thử nghiệm các bản thiết kế từ đó đưa ra lựachọn phù hợp với cơ cấu

- Phương pháp thực nghiệm: Lắp ráp module trợ lý ảo và cơ cấu điều khiển vào hệ thống điều hòa ô tô để chạy thực nghiệm và đánh giá kết quả

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT

1.1 Cơ sở lý thuyết hệ thống điều hòa ô tô Toyota Vios 2007 1.1.1 Vị trí các thành phần của hệ thống điều hòa

b) Bố trị dàn lanh

c) Bố trí khoang hàng khách

d) Các bộ phận bên trong dàn lạnh

Hình 1.1: Vị trí bố trị các bộ phận hệ thống điều hòa

1.1.2 Sơ đồ điều khiển hệ thống điều hòa

Hình 1.2: Sơ đồ điều khiển hệ thống điều hòaPTC(Positive Temperater Coefficient): Điện trở nhiệt có hệ số nhiệt độ dươngECM(Engine Control Module): Bộ điều khiển động cơ

chừngYêu cầu điều khiển quạt làmmát

Tín hiệu yêu cầu số điều khiểnPTC

Tín hiệu nhiệt độ môi trườngBiến đổi bên ngoài điều khiểntín hiệu dòng điện từ

không khí

Tín hiệu nhiệt độ nước làm mát

Số cho phép dàn sưởi PTCBảng 1.1: Giao tiếp giữa các hộp điều khiển liên quan hệ thống điều hòa

Hình 1.3: Vị trí các chế dộ hoạt động van điều khiển các hướng gió

- Ở vị trí các cửa điều tiết mở các cấp độ nhất định:

+ Cửa điều tiết xông kính mở 3 cấp độ: cấp độ 1-I, cấp độ 2-H, cấp độ 3-Q và trạng thái đóng hoàn toàn

+ Cửa điều tiết gió ra vị trí để chân gồm 2 cấp độ: cấp độ 1-G, cấp độ 2-F và trạng tháiđóng hoàn toàn

+ Cửa điều tiết gió ra bên cạnh gồm 3 cấp độ: cấp độ 1-K(đóng không hoàn toàn), cấp

Van điều Không khí ngoài A Cho phép không khí bên

gió

còn lại đóng hoàn toàn

cạnh mở cấp độ 2, cửa điềutiết xuống chân mở hoàn toàn

hoàn toàn, cửa điều tiết bêncạnh mở cấp độ 1, cửa điềutiết xuống chân mở hoàn toàn,cửa điều tiết xông kính mởcấp độ 1

hoàn toàn, cửa điều tiết bêncạnh mở cấp độ 1, cửa điềutiết xuống chân mở cấp độ 1,cửa điều tiết xông kính mởcấp độ 2

hoàn toàn, cửa điều tiết bêncạnh mở cấp độ 2, cửa điềutiết xuống chân mở cấp độ 1,cửa điều tiết xông kính mởhoàn toàn

Bảng 1.2: Vị trí van điều khiển tương ứng các chế độ.

Hình 1.4: Các cửa gió ra khoang hàng khách

Bảng 1.3: Lưu lượng gió ở các chế độ hướng gió

1.1.3 Sơ đồ mạch điện

Bộ khuếch đại điều hòa không khí (ECUA/C)

Lốc điều hòa

Cảm biến nhiệt lạnh

Cảm biến vị trí trục khuỷu

Bộ điều khiển động cơ(ECM)

Ở chế độ này lốc điều hòa không được cấp điện, chỉ có quạt gió được cấp điện và hoạtđộng mức độ mạnh yếu tùy vào công tắc điều khiển tốc độ của quạt gió.

Dựa vào sơ đồ ta nhận thấy mạch điều khiển động cơ quạt là kiểu mạch dương chờ ởcuộn dây relay.HTR

Khi công tắc xoay ở vị trí số 0:

Relay HTR không được đóng do đó động cơ quạt không được cấp điện, motor quạtgió không hoạt động

Hình 1.5: Núm vặng ở vị trí 0Khi công tắc xoay ở vị trí 1(LOW) đây là vị trí quạt có lưu lượng gió thổi vàocabin(khoang hành khách) là thấp nhất

Mạch điện hoạt động như sau: Dòng điện từ cực dương ắc quy → ổ khóa → cầu chìGauge → cuộn dây relay HTR → chân 9 đến chân 5 cụm công tắc quạt(E1) → ED1

→ D1, relay đóng cho dòng đi từ dương ắc quy → cầu chì HTR → chân 5 đến chân 3của tiếp điểm relay HTR → động cơ quạt gió(E4) → chân 4 đến chân 1 của điện trởquạt gió(E3) →về mass D1, quạt quay với tốc độ LOW (LO)

Hình 1.6: Vị trí công tắc núm xoay ở LOW Khi công tắc xoay ở vị trí 2 (M1):

Dòng điện từ cực dương ắc quy → ổ khóa → cầu chì Gauge → cuộn dây relay HTR

→ chân 9 đến chân 5 cụm công tắc quạt (E1) → ED1 → D1, relay đóng cho dòng đi

từ cực dương ắc quy → cầu chì HTR → chân 5 đến chân 3 của tiếp điểm relay HTR

→ động cơ quạt gió(E4) → chân 4 đến chân 3 của điện trở quạt(E3) → chân 7 đếnchân 5 cụm công tắc quạt(E1) → D1, quạt quay với tốc độ M1

Hình 1.7: Vị trí công tắc núm xoay ở M1 Khi công tắc xoay ở vị trí 3 (M2):

Dòng điện từ cực dương ắc quy → ổ khóa → cầu chì Gauge → cuộn dây relay HTR

→ chân 9 đến chân 5 cụm công tắc quạt (E1) → ED1 → D1, relay đóng cho dòng đi

từ cực dương ắc quy → cầu chì HTR → chân 5 đến chân 3 của tiếp điểm relay HTR

→ motor quạt gió(E4) → chân 4 đến chân 3 của điện trở quạt(E3) → chân 6 đến chân

5 cụm công tắc quạt(E1) → D1, quạt quay với tốc độ M2

Hình 1.8: Vị trí công tắc núm xoay ở M2 Khi công tắc xoay ở vị trí 4(H1):

Dòng điện từ cực dương ắc quy → ổ khóa → cầu chì Gauge → cuộn dây relay HTR

→ chân 9 đến chân 5 cụm công tắc quạt (E1) → ED1 → D1, relay đóng cho dòng đi

từ cực dương ắc quy → cầu chì HTR → chân 5 đến chân 3 của tiếp điểm relay HTR

→ motor quạt gió(E4) → chân 4 đến chân 3 của điện trở quạt(E3) → chân 10 đếnchân 5 cụm công tắc quạt(E1) → D1, quạt quay với tốc độ cao nhất

Hình 1.9: Vị trí công tắc núm xoay ở H1

Khi quạt gió được kích hoạt ở bất kì số nào thì đều có 1 tín hiệu được gửi về chânSBLW của hộp ECU nhằm cho hộp nhận biết được quạt gió đã được kích hoạt

Điều kiện để lốc nén hoạt động:

Điều kiện 1: Bật công tắc A/C.

Bật công tắc quạt gió

Động cơ hoạt động

Điều kiện 2: Tín hiệu điều khiển của bộ khuếch đại điều hòa (cảm biến dàn lạnh).

Công tắc van áp suất

Tín hiệu điều khiển từ ECU động cơ

Tín hiệu bù ga điều hòa

Quạt gió tối thiểu số 1(LOW)

Khi điều kiện 1 đã được đáp ứng thì chân (28)LED trên hộp điều khiển điều hòa sẽnối mass khi đó đèn led màu xanh trên nút nhấn A/C sẽ sáng Chỉ cần một trong cácđiều kiện con trong điều kiện 1 không thể đáp ứng thì đèn led sẽ tắt và hệ thống ngưnghoạt động

Ngoài ra để hệ thống điều hòa hoạt động ổn định cần có sự hoạt động của quạt gió số

2 Các điều kiện này cùng nhau tiếp nhận, xử lý và điều khiển trong suốt quá trình hệ thống làm việc

Tín hiệu đầu vào:

Bật công tắc A/C khi đó: Nguồn điện từ dương ắc quy → ổ khóa → cầu chì 7,5A A/C

→ qua chân 2 đến chân 4 E5 → chân số 27 A/C của bộ khuếch đại A/C (ECU A/C).Bật công tắc quạt gió khi đó : chân số 21 SBLW của bộ khuếch đại A/C (ECU A/C)được nối mass qua công tắc quạt

Động cơ hoạt động khi đó: cảm biến trục cam (C2) → ECU động cơ (ECM) → từchân 30 AC1 của ECU động cơ → ECU A/C

Lúc này: cực dương ắc quy → ổ khóa → cầu chì 7,5A A/C → chân 1 đến chân 2 relay A/

C → ở chân 15 của ECU sẽ có tín hiệu xuống mass( sau khi đủ 3 điều kiện cần ECU ACđóng cho mass ra cọc 15MGC) khi đó: cực dương ắc quy → ổ khóa → cầu chì → chân 5role A/C → chân 3 role A/C → mặt hít van điện từ → mass Lốc nén hoạt động

Trong quá trình lốc nén hoạt động ECU A/C đưa ra tín hiệu và tiếp nhận tín hiệu đểđiều khiển hệ thống

Bộ khuếch đại A/C:

Cảm biến nhiệt độ dàn lạnh trên xe Vios này là loại điện trở nhiệt, khi nhiệt độ tăngnên điện trở giảm xuống Khi nhiệt độ giảm xuống thì điện trở tăng lên Nhờ đó có thểđiều khiển quá trình hoạt động của lốc nén với nhiệt độ theo ý muốn của người dùngthông qua việc điều khiển mass với relay A/C

Mạch hoạt động: Chân 22TE của ECU A/C → E2 → chân 23 SG-2 → …

Công tắc áp suất:

Cụm tiếp điện giữa cọc 4 và 1 của A3 khi đóng truyền tín hiệu mass về ECU A/C đểđiều khiển đóng lốc nén Còn nếu khi áp suất thấp hoặc cao quá cho phép thì 2 cụmtiếp điểm này sẽ tách ra bởi áp suất Khi đó lốc nén bị ngắt

Mạch điện : Mass → cọc 1 của A3 → cọc 4 của A3 → cọc 12PSW của ECU AC → …

Ngoài ra ngay sau khi lốc nén hoạt động áp suất của ống cao áp tăng đạt mức làmđóng tiếp điểm tại cọc 3 và 2 của A3 từ đó cấp tín hiệu mass tới role quạt gió số 2 củaquạt làm mát nước làm mát động cơ

Mạch điện: mass → cọc 3 của A3 → cọc 2 của A3 → cọc 2 CFN- của ECU AC → ….

Tín hiệu từ ECU động cơ:

Khi cảm biến trục cơ gửi tín hiệu về ECU động cơ thông báo động cơ đã hoạt động thìlúc đó ECU động cơ gửi tín hiệu về ECU A/C cho phép hệ thống điều hòa được hoạtđộng

Mạch điện C2→ECU động cơ → ECU A/C→…

Chế độ bù ga điều hòa:

Sau khi lốc nén hoạt động ECU A/C gửi tín hiệu về ECU động cơ thông báo lốc điềuhòa đã hoạt động Từ đây ECU động cơ điều khiển quá trình bù ga điều hòa giúp ổnđịnh quá trình hoạt động của động cơ được ổn định

Mạch điện: cọc 19ACT ECU A/C → cọc 18ACT của ECU động cơ →…

Quạt gió số 1:

Khi lốc nén hoạt động thì ECU A/C cấp 1 nguồn mass tới role quạt gió Khi đó quạtgió hoạt động cùng cho tới khi hệ thống ngừng hoạt động

1.2 Nghiên cứu trợ lý ảo thuần túy

1.2.1 Cấu trúc trợ lý ảo thuần túy

Trong đề tài nghiên cứu này tham khảo thuật toán trợ lý ảo giọng nói trong Buildingvirtual assistant for Raspberry Pi [8].Trợ lý ảo giọng nói hoạt động dựa trên ba thànhphần chủ yếu: một là bộ chuyển đổi lời nói thành văn bản còn gọi là bộ STT(speech totext), hai là bộ xử lý logic được lập trình còn được gọi là bộ logic engine và ba là bộchuyển đổi văn bản thành âm thanh còn gọi là bộ TTS(text to speech) Toàn bộchương trình trợ lý ảo được lập trình bằng ngôn ngữ Python

Hình 1.10: Sơ đồ hoạt động trợ lý ảo giọng nói

Phần STT chuyển lời nói thành văn bản(Output 1) để logic engine có thể xử lý được thì

nó liên quan đến việc ghi âm giọng nói người dùng sau đó sử dụng công cụ ngôn ngữ tựnhiên (natural language processing) để chuyển file âm thanh thành dạng văn bản Phầnlogic engine là thành phần của phần mềm nhận chuỗi văn bản từ STT và xử lý đầu vào vàchuyển đầu ra đến TTS Logic engine xử lý các truy vấn người dùng bằng hàng

loạt các câu lệnh if elif kết hợp các thư viện xử lý chuỗi trong ngôn ngữ lập trình

Python Nó quyết định đầu ra phải như thế nào để đáp ứng với đầu vào cụ thể PhầnTTS nhận kết quả đầu ra từ logic engine và chuyển chuỗi văn bản thành lời nói đểhoàn thành tương tác với người dùng

Hệ thống ba thành phần này bỏ qua các tác động vật lý giữ người và máy mà thay vào

đó người dùng có thể tương tác với hệ thống như tương tác với một người trợ lý cánhân

1.2.2 Sử dụng Google Speech Recognition nhận dạng giọng nói

Nhận dạng dạng và chuyển âm thanh thành chuỗi văn bản được coi như là phần taicủa trợ lý ảo Trong đề tài nghiên cứu này sử dụng công cụ nhận dạng giọng nói làGoogle Speech Recognition Công cụ này chuyển chính xác lời nói thành văn bản vớiAPI được cung cấp bởi cứu của công nghệ AI tốt nhất của Google [9] Đây là mộtcông cụ chuyển lời nói của nhiều ngôn ngữ thành chuỗi văn bản trực tuyến có độchính xác cao hơn so với các model nhận dạng giọng nói offline ứng dụng các côngnghệ machine learning hay deeplearning khác như model Vosk [10].Bên cạnh việc sửdụng Raspberry Pi có tốc độ xử lý tương đối và dung lượng thấp để chạy chương trìnhnày thì hoàn toàn không thích hợp để chạy các model nhận dạng giọng nói có dunglượng lớn đòi hỏi xử lý nhanh để nhận được kết quả đầu ra Module trợ lý ảo trong đềtài này sử dụng mạng Internet được phát từ module Dcom 4G Việc vận dụng Internetvào các dự án ô tô đang là điều tất yếu vì xu hướng Iot(internet of thing) trong việcgiám sát các yếu tố liên quan đến ô tô các nhân [11] và database dữ liệu trong thu thậpcác âm thanh người dùng ô tô [12] trên ô tô ngày càng phát triển Tuy nhiên cơ sở hạtầng ở Việt Nam cần phải quan tâm nhiều hơn nữa để có thể phũ Internet trên cả nước

để có thể phát triển đến trình độ kỹ nguyên số 4.0

Trước khi cài đặt thư viện cho môi trường thì cần cài đặt PyPi Đây là một trình quản

lý thư viện cho Python Đối với môi trường Python từ 3.4 trở lên hoặc 2.7.9 trở lênthì PyPi được tích hợp sẵn Để cài đặt PyPi trong Raspberry Pi nếu Python 2.x với

lệnh sudo apt-get install python-pip và đối với Python 3.x với lệnh sudo apt-get

install python3-pip Cho phép cài đặt, gỡ và nâng cấp thư viện với lệnh pip Với

Python 2.x nên sử dụng pip trong khi người dùng Python 3 sử dụng pip3 khi chạy lệnh

pip

Để có thể thu âm thanh từ thiết bị microphone thì cần cài đặt thư viện PortAudio Đây làmột thư viện đầu vào đầu ra với mã nguồn mở có sẵn dưới dạng tệp nguồn Nó được biêndịch trên nhiều nền tảng như Windows, OS X và Unix PortAudio cung cấp một API đơngiản để ghi và phát âm thanh được sử dụng bởi một số module nhận dạng giọng

nói trong đó có Google Speech Recognition Để cài đặt thư viện portaudio cho Pythontrên Raspberry Pi với lệnh $ pip install pyaudio [13].

Cài đặt thư viện Google Speech Recognition trong môi trường ngôn ngữ lập trình Python trên Raspberry Pi bằng lệnh: $ pip install SpeechRecognition

Bắt đầu với thư viện bằng việc ghi lại giọng nói dưới dạng tệp wav

1.3 with sr.Microphone() as source: # mở microphone

1.4 print("Say something!")

1.5 audio = r.listen(source)

1.6 with open("recording.wav", "wb") as f: # khởi tạo tệp tên recording.wav

Sử dụng Google Speech Recognition chuyển âm thanh thu được thành chuỗi văn bản tiếng Việt

1.1 import speech_recognition as sr # khai báo thư viện

1.14 print("không thể yêu cầu kết quả từ dịch vụ Google Speech

Ở dòng code 1.11 đến 1.12 để báo lỗi tệp audio có vấn đề và Google SpeechRecognition không thể chuyển thành chuỗi văn bản Ở dòng 1.13 đến 1.14 in ra thôngbáo lỗi về yêu cầu kết quả từ Google Speech Recognition

Model Vosk khi chạy trên laptop có RAM 16G nhưng tốc độ predict(dự đoán) rất thấp

và độ chính xác không cao Hoàn toàn không thích chạy trên máy tính nhúng có khảnăng xử lý giới hạn như Raspberry Pi

1.2.3 Phản hồi bằng âm thanh

Phản hồi bằng âm thanh được coi là phần miệng của trợ lý ảo Trong đề tài này sử

dụng thư viện playsound để phát tệp âm thanh có sẵn Đa số các câu phản hồi của trợ

lý ảo trong đề tài này(Output 2) sẽ là những câu phản hồi đã được thu âm sẵn theo ýngười lập trình Một phần các tệp âm thanh phản hồi còn lại là được tạo ra trong quátrình chạy chương trình

Để tạo ra file âm thanh trong quá trình chạy chương trình trong đề tài này sử dụng thưviện gTTS(Google text to speech) Thư viện này chuyển một chuỗi văn bản thành tệp

âm thanh mp3 Cài đặt thư viện gTTS trong Python $ pip install gTTS

Ở code này để chuyển một chuỗi văn bản “câu cần chuyển thành tệp âm thanh bằngtiếng Việt” thành một tệp mp3 Dòng code 2.1 khai báo thư viện gTTS, dòng 2.2 thiếtlập một chuỗi văn bản bằng tiếng Việt, dòng 2.3 hàm chuyển văn bản thành tệp âmthanh mp3 ở hàm này để chuyển thành âm thanh tiếng Việt cần thiết lập ngôn ngữlang=’vi’ và dòng code 2.4 lưu tệp mp3 vừa chuyển xong vào đường dẫn “E:\\tem.mp3” và đặt tên tệp là tep.mp3

Hình 1.11: Lưu đồ giải thuật bộ logic engine

Ở phần này bộ não trợ lý ảo sẽ nhận dạng yêu cầu của người dùng cụ thể ở đây là Output

1 của của bộ STT sau đó bộ não sẽ dựa vào Output 1 và kết hợp các dữ liệu được lập

trình sẵn bằng thuật toán xác định yêu cầu if elif đơn giản mà đứa ra Output 1.1 nghĩa

là trợ lý ảo hiểu yêu cầu của người dùng trong trường hợp trợ lý ảo phản hồi Output1.1 là ‘tôi không hiểu bạn nói gì’ thì trợ lý ảo không hiểu yêu cầu của người dùng, lúcnày người dùng phải yêu cầu lại Trong đề tài này tôi sử lập trình một thư viện riêng

biệt convert.py chỉ để xác định yêu cầu người dùng Main.py

4.1 from convert import convert