BÁO CÁO MÔN HỆ THÔNG CƠ ĐIỆN TỬ THÔNG MINH _ Đề tài:Nhận dạng cử chỉ sử dụng cảm biến sóng mm cho giao diện ngườixe

BÁO CÁO MÔN HỆ THÔNG CƠ ĐIỆN TỬ THÔNG MINH _ Đề tài:Nhận dạng cử chỉ sử dụng cảm biến sóng mm cho giao diện ngườixe LỜI MỞ ĐẦU Bài báo cáo này trình bày chi tiết sự phát triển của kỹ thuật nhận dạng cử chỉ sử dụng cảm biến radar sóng mm để điều khiển tính năng trên xe hơi. Nhận dạng cử chỉ đang trở thành một hình thức tương tác giữa người và máy tính nổi bật hơn và có thể được sử dụng trong ngành công nghiệp ô tô để cung cấp một giao diện điều khiển an toàn và trực quan sẽ hạn chế sự phân tâm của người lái xe. Bài này sử dụng cảm biến radar sóng mm 60 GHz để phát hiện các đặc điểm chính xác của các chuyển động nhỏ. Các tính năng cử chỉ cụ thể được trích xuất và sử dụng để xây dựng một công cụ học máy có thể thực hiện nhận dạng cử chỉ trong thời gian thực. Báo cáo này thảo luận về các yêu cầu của người dùng và các hạn chế về môi trường trong xe đã ảnh hưởng đến các quyết định thiết kế. Kết quả chính xác của kỹ thuật được trình bày, và các khuyến nghị để nghiên cứu và cải tiến thêm được thực hiện.

LỜI MỞ ĐẦU Bài báo cáo này trình bày chi tiết sự phát triển của kỹ thuật nhận dạng cử chỉ sử dụng cảm biến radar sóng mm để điều khiển tính năng trên xe hơi Nhận dạng cử chỉ đang trở thành một hình thức tương tác giữa người và máy tính nổi bật hơn và có thể được sử dụng trong ngành công nghiệp ô tô để cung cấp một giao diện điều khiển an toàn và trực quan sẽ hạn chế sự phân tâm của người lái xe

Bài này sử dụng cảm biến radar sóng mm 60 GHz để phát hiện các đặc điểm chính xác của các chuyển động nhỏ Các tính năng cử chỉ cụ thể được trích xuất và sử dụng

để xây dựng một công cụ học máy có thể thực hiện nhận dạng cử chỉ trong thời gian thực Báo cáo này thảo luận về các yêu cầu của người dùng và các hạn chế về môi trường trong xe đã ảnh hưởng đến các quyết định thiết kế Kết quả chính xác của kỹ thuật được trình bày, và các khuyến nghị để nghiên cứu và cải tiến thêm được thực hiện

CHƯƠNG I GIỚI THIỆU TỔNG QUAN VỀ CẢM BIẾN

SÓNG RADAR

I.1.Tổng quan

-Trong ngành công nghiệp ô tô, hệ thống thông tin giải trí dành cho xe cộ ngày càng phổ biến và phức tạp trong nhiều năm qua Các nhà sản xuất xe hơi phổ thông hiện cung cấp tới 700 tính năng giải trí và kiểm soát môi trường cho người lái và hành khách để thao tác Tuy nhiên, chức năng tăng lên trong phương tiện đã làm tăng khả năng gây mất tập trung cho người lái xe Chính nguyên nhân gây mất tập trung của người lái xe được phân loại trong trường hợp là thị giác, nhận thức và thính giác Các nghiên cứu đã chỉ ra rằng tất cả yếu tố trên là trực quan và thủ công

Sự phân tâm khi kết hợp có ảnh hưởng nhiều nhất đến việc lái xe hiệu suất Báo cáo này trình bày một hệ thống phát hiện cử chỉ sử dụng cảm biến radar sóng mm để tương tác trực quan giữa con người và phương tiện (HVI)

Nhiều kỹ thuật xử lý và cảm biến cử chỉ khác nhau đã được phát triển trong những năm gần đây Phát hiện cử chỉ trước đó hệ thống đã sử dụng cảm biến dựa trên camera

(IR, màu sắc, v.v.) Loại này sử dụng cảm biến CCD và CMOS như camera thông thường nhưng có gắn thêm đèn LED hồng ngoại Loại này hoạt động trong dải sóng có bước sóng từ 700-5500 nm., độ sâu cảm biến dựa trên và cảm biến đeo được như găng tay được nhúng trong Công nghệ theo dõi 3D [2-11]

Hình 1.1

Tuy nhiên, các hệ thống này đều có nhược điểm đáng kể ảnh hưởng đến khả năng sử dụng của chúng Dựa trên máy ảnh cảm biến dễ bị thay đổi về ánh sáng, màu sắc, nền

và có chi phí tính toán cao do xử lý hình ảnh rộng rãi Cảm biến dựa trên độ sâu rất tốt trong việc phát hiện những thay đổi trong vị trí, tuy nhiên chúng không thể phát hiện hướng hoặc bàn tay cụ thể hình dạng Công nghệ đeo được có thể ảnh hưởng đến các tác vụ khác người dùng thực hiện trong cuộc sống hàng ngày và giới hạn đầu vào hệ thống cho bất kỳ ai đang mặc thiết bị đầu vào

Ngoài ra, chúng tôi tin rằng các cảm biến radar trình bày là một hệ thống khả thi giải pháp Radar không bị ảnh hưởng bởi những thay đổi ánh sáng thay đổi bên trong ô

tô và có thể phát hiện hướng bàn tay và ngón tay cụ thể với độ chính xác Hệ thống radar được mô tả trong báo cáo này cung cấp theo thời gian thực,kiểm soát tính năng giải trí không cần có tầm nhìn cho người lái và hành khách và không có các thiết bị có thể đeo được, giảm nguy cơ mất tập trung của người lái xe và cho phép nhiều người dùng nhập Công việc trước đây đã được thực hiện trên ô tô cảm biến cử chỉ kết hợp radar tầm ngắn, độ sâu thời gian bay cảm biến và máy ảnh màu để phát hiện cử chỉ Hệ thống đó đã sử dụng radar một kênh FMCW 25GHz kết hợp với camera dựa trên dữ liệu để phát hiện và một mạng neural phức hợp cho phần nhận dạng thời gian thực Để

so sánh, hệ thống được trình bày sử dụng radar 60GHz cho độ phân giải không gian tốt hơn và ngẫu nhiên

Thuật toán phân loại vùng để nhận dạng thời gian thực

I.2 Cảm biến radar

-Cảm biến radar là cảm biến (hay còn gọi là cảm biến vi sóng) hoạt động dựa trên hiệu ứng doppler, tần số 5.8 Ghz dưới 10m sẽ nhận tín hiệu khi người chuyển động qua và

sẽ cho tín hiệu phản hồi lại

Hình 1.2

I.3.Nguyên lý hoạt động cảm biến radar

Đối với cảm biến radar không tiếp xúc thì ta chỉ việc cấp 1 nguồn 24V cho thiết bị đo mức radar Lập tức thiết bị sẽ phát một tia sóng vô hình mà chúng ta không hề nhìn thấy Mà chỉ nghe tiếng sóng tách tách va vào chất lỏng Chất lỏng dâng tới đâu thì cảm biến chuyển đổi khoảng cách giữa cảm biến và chất lỏng thành tín hiệu dòng hoặc

áp tăng lên đến đó

Hình 1.3

I.4.Phân loại cảm biến Radar

-Đối với phương pháp đo mức liên tục bằng Radar là một tròng nhất phương pháp đo hiệu quả nhất với độ chính xác cao Cảm biến Radar có 2 loại: cảm biến đo mức Radar không tiếp xúc và tiếp xúc

*Cảm biến đo mức Radar không tiếp xúc

+Ưuđiểm:

-Radar không tiếp xúc cho phép đo trực tiếp từ trên xuống khi nó đo khoảng cách đến

bề mặt Nó có thể đo được chất lỏng, bùn và một số chất rắn mà không cần tiếp xúc

Độ chính xác của các phép do Radar không bị ảnh hưởng bởi sự thay đổi trong áp suất, nhiệt độ,độ nhớt, bọt và bụi Có thể bảo trì dễ dàng, có thể cách ly khỏi quá trình (process) bằng màng bảo vệ PTFE seal hoặc van.Dùng được trong môi trường bẩn hay các ứng dụng ăn mòn và độc hại, hydrocacbon.Có nhiều đơn vị đo khác nhau: m,mm,

cm, inch, %, Ft, mA) Cho biết sóng tín hiệu bên trong silo Có thể lắp đặt ở không gian hẹp, trong khi cảm biến Radar tiếp xúc thì không được Độ bền cao hơn so với cảm biến Radar dạng tiếp xúc

+Nhược điểm:

-Cần phải lắp đặt tốt, cần có khoảng không gian phía trước cảm biến không bị cản trở, không bị hạn chế bởi ông lắp đặt

-Các vật cản trong bồn như: đường ống, máy khuấy và thanh tăng cường có thể gây ra tín hiệu phản hồi sai

-Phép đo của cảm biến radar có thể bị ảnh hưởng bởi bọt Radar sẽ có xu hướng không phản xạ với môi trường giao động mạnh hoặc có bọt nhẹ và thoáng Bởi vì nó hiểu rằng bọt chính là mức chất lỏng

-Sóng Radar không tiếp xúc bị ảnh hưởng bởi bề mặt chất lỏng, nếu chất lỏng dao

động thì sóng tín hiệu đưa về không chính xác do bề mặt sóng âm bị phân tán

*Cảm biến đo mức Radar tiếp xúc

+Ưu điểm:

-Có phép đo với độ chính xác gần như tuyệt đối

-Thời gian đáp ứng nhanh

-Không phụ thuộc vào môi chất cần đo

-Có thể sử dụng được ở tất cả các môi trường

-Có độ chính xác cao hơn so với loại Radar không tiếp xúc

+Nhược điểm:

-Phải lắp đặt ngay trên bồn chứa hoặc dọc theo thành tank chứa để đo được chính xác nhất Trong trường hợp không cho lắp trực tiếp thì phải lắp từ trên xuống và không cho tiếp xúc với chất lỏng

-Do đo dạng tiếp xúc nên không dùng được trong môi trường ăn mòn

-Kích thước lớn nên thường gặp khó khăn trong lắp đặt và vận chuyển hơn so với radar không tiếp xúc

-Không thay đổi được dãy đo.

I.5.Ưu điểm cảm biến Radar

-Không bị ảnh hưởng bởi nhiệt độ của môi trường.

-Không bị ảnh hưởng bởi vật cản

-Tầm suất hoạt động rộng (hoạt động tốt trong bán 6-8m)

-Không giới hạn góc quét

-Không có điểm chết

I.6 Nhược điểm cảm biến Radar

-Tất cả các cảm biến đều có ưu và nhược điểm riêng của từng loại Chỉ là loại này hơn loại kia ở một vài điểm mà thôi Tùy theo nhu cầu sử dụng của người dùng mà họ lựa chọn loại cảm biến phù hợp nhất

- Còn khá ít người biết đến cảm biến Radar

- Có điểm chết không thể đo được là điểm cận trên và cận dưới.

- Giá thành khá cao so với cảm biến siêu âm

I.7 Ứng dụng của cảm biến radar

-Ưu điểm đặc biệt là các phụ kiện quy trình nhỏ cho tàu nhỏ hoặc không gian chật hẹp Việc tập trung tín hiệu rất tốt cho phép sử dụng trong các silo lớn hoặc tàu có nhiều cài đặt bên trong

-Cảm biến radar để đo khối lượng chất rắn không tiếp xúc: từ mịn đến thô, từ bụi bẩn đến bụi ngay cả trong môi trường bụi bặm

-Cảm biến radar ghi điểm lớn với phạm vi đo rộng và độ chính xác trong các ứng dụng lớn hoặc nhỏ: trong hầm, container, silo Ngay cả cài đặt nội bộ không có ảnh hưởng đến kết quả đo

-Cảm biến radar không tiếp xúc là lý tưởng để sử dụng trong các lĩnh vực khác nhau -Chẳng hạn như vật liệu xây dựng, đá, cốt liệu và xi măng Cũng như để sử dụng trong ngành hóa chất, trong quản lý nước thải và tái chế

CHƯƠNG II HỆ THỐNG CẢM BIẾN SÓNG RADAR CHO

GIAO DIỆN NGƯỜI VÀ XE

II.1.Phương thức nhận dạng và phát hiện cử chỉ và cấu tạo

-Sử dụng cảm biến radar không dây để phát hiện và nhận dạng cử chỉ cung cấp một

số lợi thế so với các hệ thống khác hiện tại sử dụng Các nhà sản xuất ô tô hiện cung cấp màn hình cảm ứng, giọng nói điều khiển, kết nối điện thoại Bluetooth và các phương pháp khác của kiểm soát thông tin giải trí Các giao diện yêu cầu nhập bằng tay bằng xúc giác chẳng hạn như màn hình cảm ứng cũng yêu cầu một lượng nhỏ sự chú ý trực quan để điều hướng, khiến người lái xe không rời mắt khỏi con đường Điều khiển bằng giọng nói không yêu cầu điều khiển bằng tay hoặc trực quan, tuy nhiên nếu trong

ô tô môi trường ồn ào với âm nhạc hoặc điều khiển bằng giọng nói không một lựa chọn khả thi Như đã nói đến trước đó, có một số hệ thống khác để phát hiện cử chỉ và tư thế trong quá trình phát triển sử dụng IR và độ sâu máy ảnh để cảm biến, tuy nhiên máy ảnh bị ảnh hưởng bởi ánh sáng điều kiện và trở ngại trong trường nhìn Ngoài ra, các vấn đề về quyền riêng tư và tuân thủ của người dùng phát sinh khi máy ảnh được sử dụng Radar là thuận lợi vì nó không bị ảnh hưởng bởi ánh sáng hoặc âm thanh trong môi trường, nó có thể được nhúng vào các thiết bị, có độ phân giải, cung cấp nhận dạng thời gian thực và không yêu cầu ghi hình ảnh của người dùng

Trong phần này, chúng ta đã sử dụng tần số 60GHz được điều chế liên tục cảm biến radar bước sóng mm (FMCW)

-Phần cứng cảm biến bao gồm một chip radar 8mmx11mm với hai Tx và bốn Rx ăng-ten được hiển thị trong Hình 1

-Bảng radar được lắp bên trong một chiếc xe Công nghệ Học máy được sử dụng để ghi lại ký hiệu radar của mỗi bộ tay cử chỉ (như trong Hình 2 a và b),

II.2.Nguyên lý hoạt động

-Mô hình bằng cách sử dụng thuật toán phân loại vùng và sau đó thực hiện nhận dạng bằng cách sử dụng mô hình Bộ phân loại vùng ngẫu nhiên đã được sử dụng vì tỷ

lệ thành công sớm hơn như đã nêu trong Các tính năng của nhận được tín hiệu đã được

xử lý và dễ dàng truy cập để thao tác trong Ngôn ngữ C Các tính năng được sử dụng trong dự án này là phạm vi, gia tốc, tổng năng lượng, năng lượng di chuyển, vận tốc, phân tán vận tốc, không gian sự phân tán, thành phần năng lượng mạnh nhất, và chỉ số chuyển động

Hình 2 Hình ảnh được đánh dấu thời gian về tiến trình cử chỉ với

phạm vi tiến trình ký hiệu

-Mỗi cử chỉ được gán một số phân loại, sau đó là hai mươi trong số mỗi cử chỉ đã được ghi lại và đánh dấu thời gian để thu thập dữ liệu 20 mẫu của nền cũng được ghi lại và gán một bộ phân loại, vì vậy hệ thống sẽ nhận ra chính xác sự thiếu của một cử chỉ Các dữ liệu thu thập sau đó được sử dụng để tạo bộ phân loại vùng ngẫu nhiên, cho phép nhận dạng thời gian thực các cử chỉ trong tương lai Các thông số của bộ phân loại vùng ngẫu nhiên được thiết lập như sau:

1 Kích thước vùng = 10

2 Độ sâu tối đa của vùng = 10

3 Mẫu tối thiểu vùng = 50

4 Số lượng tối thiểu của bộ phân loại = 30

5 Kích thước bộ đệm phân loại = 50

-Tăng số thao tác trong bộ phân loại đã tăng tính mạnh mẽ và thay đổi tỷ lệ số lượng tối thiểu của bộ phân loại với bộ phân loại kích thước bộ đệm đã thay đổi độ chính xác của nhận dạng Tỷ lệ 3: 5 giữa số lượng tối thiểu của bộ phân loại và kích thước bộ đếm của bộ phân loại đảm bảo rằng phân loại xảy ra 30 trong số 50 mẫu tối thiểu được yêu cầu phải được xếp cùng loại Quy mô vùng và độ sâu của vùng cả hai đều được đặt thành 10 để đảm bảo đủ quy mô vùng và thao tác trung bình độ sâu để phân loại, đồng thời giảm thiểu chi phí tính toán trên hệ thống

II.3.Vị trí đặt cảm biến

-Các ràng buộc cụ thể về môi trường và người dùng được xem xét khi thiết kế hệ thống

và bộ cử chỉ để đảm bảo khả năng sử dụng và sự mạnh mẽ Nội thất của một chiếc xe hơi phức tạp về mặt không gian đã tạo ra các thách thức phát hiện đối với cảm biến Nếu đặt quá gần để có thể phát hiện các đối tượng, chẳng hạn như cần số, nó thường nhận dạng sai hoặc đã không nhận ra các cử chỉ trong lĩnh vực này Đặt cảm biến ở đâu phần lớn chùm tia radar lan truyền vào không gian trống và ghi lại trường hợp nền mạnh mẽ giảm thiểu phát hiện các đối tượng và xác định những đối tượng đã xâm nhập vào trường không phải là mục tiêu Không gian này ràng buộc, kết hợp với các ràng buộc không gian của vị trí người dùng, dẫn đến vị trí của cảm biến trên bảng điều

khiển trung tâm (để sử dụng ở phía trước hành khách ngồi và người lái xe) và giữa lưng ghế trước (cho hành khách ngồi ghế sau sử dụng) Chùm trường trải rộng hướng lên trên không gian trống, nơi hành khách có ít chuyển động tự nhiên xảy ra Với hai vị trí này (như trong Hình 3), radar nằm trong tầm tay thoải mái cho tất cả hành khách

Hình 3 Cho thấy hai vị trí của cảm biến radar, (a) cho trình điều khiển

và hành khách ngồi ghế trước, (b) cho hành khách ngồi ghế sau

II.4.Kết nối với Hệ thống tính năng trong xe hơi

-Khi một cử chỉ được phát hiện, số phân loại của nó đã được thêm vào nội dung của một yêu cầu ĐĂNG Yêu cầu ĐĂNG này sau đó đã được gửi đến một Điện thoại Android (được ghép nối với ô tô ở các kiểu ô tô cũ hơn) hoặc ô tô Android hệ thống (có sẵn trong các mẫu ô tô mới hơn), hoạt động như một máy chủ, đã phân tích cú pháp yêu cầu POST cho số bộ phân loại Android nền tảng sau đó sẽ phân tích cú pháp yêu cầu để nhận số bộ phân loại

-Mỗi số phân loại được liên kết với một số hành động,hệ thống sau đó có thể thực hiện,

sử dụng ý định Android cho điện thoại hành động hoặc API Spotify cho các hành động trên phương tiện Điều này cho phép cả hai phát trực tuyến âm thanh qua loa ô tô và việc sử dụng hệ thống tính năng giải trí xe vật lý để hiển thị thông tin liên quan A đại diện trực quan của toàn bộ hệ thống có thể được nhìn thấy trong Hình 4

Hình 4 Cho thấy sơ đồ của hệ thống từ nhận dạng cử chỉ đến

đầu ra thông tin giải trí

II.5 Thiết kế Bộ cử chỉ

-Nhu cầu của trình điều khiển và đặc điểm của hệ thống là những lưu ý chính khi thiết

kế bộ cử chỉ Tần số 60 GHz cảm biến đang được sử dụng được thiết kế để phát hiện chuyển động nhỏ, với không gian độ phân giải tốt đến 0,3mm, đây là một cải tiến khá lớn so với Độ phân giải phạm vi 3,75cm của hệ thống radar 25GHz

-Điều này cho phép radar 60GHz có độ chính xác và độ chính xác cao hơn, dấu chân nhỏ hơn cho phép tạo ra sự khác biệt về không gian và thời gian được sử dụng để làm cho cử chỉ có thể phân biệt với nhau Thực dụng việc triển khai hệ thống ra lệnh cho việc sử dụng các cử chỉ với biên độ lỗi lớn để tạo ra ít sự phân tâm của người lái xe Bằng cách tạo ra vùng không gian lớn hơn cho mỗi cử chỉ và thực hiện các cử chỉ

ở các tốc độ khác nhau, người lái xe sẽ có nhiều chỗ hơn cho việc không chính xác các cử chỉ và do đó sẽ cần dành ít tài nguyên hình ảnh hơn cho chuyển động Thiết kế các cử chỉ mạnh mẽ hơn cũng cho phép nhiều người dùng để vận hành hệ thống, vì nó

sẽ dễ chịu hơn với không gian tự nhiên và các biến thể theo thời gian của từng người dùng và các chuyển động cử chỉ khác nhau trong các thiết kế xe khác nhau