Tuy nhiên, những hệ thống này chưa thể tự động lái hoàn toàn trong môi trường giao thông thực, do vậy cần thiết phải có hệ thống giao tiếp giữa người và máy để các hệ thống hộ trợ người
Trang 1Phương Pháp Sử Dụng Dữ Liệu Hành Trình Trong Thiết Kế Hệ Thống Hỗ Trợ Thích
Nghi với Người Lái
A Framework for Individual Adaptation of Driver Assistance System Design Methodology with Utilizing Real-World Naturalistic Driving Database
Đàm Hoàng Phúc 1Raksincharoensak, Pongsathorn2, Nagai, Masao2
Japan
Abstract
This paper describes a design methodology of the advanced driver assistance system with individual adaptation to the driver characteristics and local hazardous potential of driving environment The technology requirements of the system are: (1)
Driving data recording technology with an extended-functionality drive recorder, (2) Driving database storage technology for modeling driver behavior and extracting
individual driving characteristics, (3) Risk assessment technology for evaluating the hazardous potential, and (4) Human -Machine Interface technology for the practical
design of driver assistance system
This paper describes the analysis of the naturalistic driving behavior in real-world traffic situation, based on driving data collected by using continuous sensing drive recorder Then, the real-time driving state recognition algorithm, in longitudinal vehicle control, will be described The driving data obtained from drive recorder on straight roadway driving is labeled with five driving state symbols which will be used for synthesizing the classification rule of each driving state as the advanced driver modeling, so that the driver accelerator/brake pedal operation can be predicted in real-time driver assistance application Finally, focusing on braking maneuver for collision avoidance, a forward collision warning index based on normal driving characteristics
is proposed Then, the necessary parameters for computing the index are identified from car following situation in normal driving data in urban area The delay in braking operation and insufficient braking operation will be detected based on the proposed hazardous index
1 GIỚI THIỆU
Nhằm nâng cao tính an toàn tích cực của ô tô, các hệ thống điều khiển động lực học và hỗ trợ người lái trên ô tô đã được nghiên cứu trong những thập niên gần đây và chúng đã được các hãng xe giới thiệu ra trên thị trường Tuy nhiên, những hệ thống này chưa thể tự động lái hoàn toàn trong môi trường giao thông thực, do vậy cần thiết phải có hệ thống giao tiếp giữa người và máy để các hệ thống hộ trợ người lái đồng nhịp với từng hành vi điều khiển của người lái đã trở thành hướng thiết kế chính đối với các hệ thống hỗ trợ người lái trên ô tô Ví dụ, trên thị trường hiện nay đã có rất nhiều thuật toán cảnh báo chống đâm va phía trước với các thời điểm hỗ trợ khác nhau của các nhà sản xuất phụ tùng khác nhau Do vậy cần thiết phải thiết kế sự phối hơp điều khiển giữa các thiết bị và đảm bảo được việc thích ứng với hành vi điều khiển hoặc ý định của người lái [1-2] Các nghiên cứu được tiến hành ở phòng thí nghiệm Nagai Labortory – Đai học Công nghệ và Nông nghiệp Tokyo, nơi tác giả đã tiến hành
Trang 2nghiên cứu đã nhận ra rằng: khai thác dữ liệu giao thông thực là rất quan trọng để xác định thời điểm kích hoạt các hệ thống điều khiển và thích ứng với từng người lái trong từng điều kiện giao thong thực Để hiện thực hóa các hệ thống này, một nghiên cứu bao quát về mô hình hành vi của từng người lái là cần thiết và đó cũng chính là mục đích của nhóm nghiên cứu tại Nagai Labortory [3-4] Khung sườn của nghiên cứu này
được trình bày trên hình 1 Các chức năng cần có của hệ thống bao gồm: (1) Công
nghệ lưu trữ thông tin hành trình xe với một thiết bị lưu trữ hành trình có chức năng
mở rộng, (2) Công nghệ phân tích dữ liệu lưu trữ dùng để mô hình hóa hành vi người lái và phân tích các đặc điểm riêng biệt từng người lái, (3) Công nghệ đánh giá
mức độ nguy hiểm dùng để đánh giá các khả năng vùng có thể xảy ra tai nạn, và (4) Công nghệ tương tác giữa người và máy dùng để thiết kế riêng biệt cho từng hệ
thống hỗ trợ người lái Hành vi điều khiển của người lái thường được phân chia thành các trạng thái riêng biệt và có quan hệ qua lại với nhau Việc định nghĩa các trạng thái này dựa trên thao tác của người lái và môi trường giao thông Trong bài báo này, tác
giả giả thiết hành vi của người lái bao gồm 03 bước: (1)nhận thức được tình trạng đang vận hành của xe và môi trường, (2) ra quyết định lựa chọn trạng thái hợp lý và (3) hành động điều khiển xe theo trạng thái đã chọn Để ước lượng hành vi của người
lái, mục tiêu của đề tài phát triển thuật toán phân loại có khả năng ước lượng hiệu quả trạng thái của người lái mà chỉ sử dụng các dữ liệu chuyển động của xe và môi trường giao thông Hay nói các khác, thuật toán này phải mô phỏng được quá trình nhận thức
và ra quyết định của người lái Tác giả cũng tập trung vào phân tích tính độc lập của thuật toán đối với từng người lái và cung đường khác nhau Tính chính xác được kiểm nghiệm bằng việc sử dụng dữ liệu của một người lái để ước lượng cho nhiều người lái khác nhau trên các cung đường khác nhau Việc thu thập dữ liệu hành trình trong điều kiện giao thông thực bởi thiết bị lưu trữ hành trình sẽ được trình bày trong phần tiếp theo Trong phần 3 sẽ nêu nên các vấn đề khi ước đoán hành vi của người lái và đưa ra các định nghĩa cụ thể về trạng thái của người lái, mô hình của người lái trong điều khiển xe theo phương dọc và thảo luận về kết quả thu được Phần 4 tập trung vào trạng thái phanh, tác giả giới thiệu một thuật toán cảnh báo đâm va dựa trên đặc tính của người lái
Hình 1 Sơ đồ cấu trúc thiết kế hệ thống hỗ trợ thích nghi với người lái.
Driving behaviour prediction
comparison
……
Current driving
+ _
Driving database
Ordinary driving
behavior analysis by
data mining
Information guidance, warning, system intervention
Hazardous/Anomaly detection
Ordinary behavior
Driving behaviour prediction
comparison
……
Current driving
+ _
Driving database
Ordinary driving
behavior analysis by
data mining
Information guidance, warning, system intervention
Hazardous/Anomaly detection
Ordinary behavior
Trang 32 THIẾT BỊ LƯU TRỮ DỮ LIỆU HÀNH TRÌNH
Trong bài báo này trình bày phương thức phân tích hành vi người lái trong giao thông thực dựa trên dữ liệu thu thập được trên xe có trang bị thiết bị thu thập dữ liệu hành Các thông tin thu thập bao gồm các thông tin về môi trường giao thông (GPS, khoảng các giữa các xe) hoạt động của người lái (góc đánh lái, bàn đạp ga, phanh, tín hiệu xinhan), và dữ liệu động lực học của xe (tốc độ, gia tốc, góc quay than xe, v.v…) Các hình ảnh trước và sau xe, khuôn mặt và chuyển động chân người lái cũng được ghi lại và đồng bộ với các dữ liệu của cảm biến Cấu hình của hệ thống lưu trữ dữ liệu được trình bày ở hình 2
Hình.2 Cấu hình của hệ thống lưu trữ dữ liệu và xe thí nghiệm
3 THIẾT LẬP MÔ HÌNH NGƯỜI LÁI
Hình.3 Sơ đồ mô hình hành vi điều khiển của người lái
Bài báo này tập trung nghiên cứu trạng thái của người lái khi điều khiển xe theo phương dọc Quá trình điều khiển xe được giả thiết tuân theo mô hình có thứ bậc như được trình bày ở hình 3 Quá trình điều khiển này được chia ra làm 5 trạng thái: đi theo 1 xe phía trước
(Following), phanh xe (Braking), đi tự do (Cruising), giảm tốc (Decelerating) và dừng xe (Stopping) Các trạng thái này lần lượt được định nghĩa như sau:
1) Đi theo xe phía trước (F): Người lái đang điều khiển xe của mình nối đuôi xe phía trước
tiếp cận với vận tốc xe phía trước hoặc duy trì một khoảng cách an toàn với xe phía trước bằng các điều khiển bàn đạp ga
2) Phanh xe (B): Có xe phía trước và người lái bắt đầu đạp phanh.
1 CAMERA IMAGES
2 GPS UNIT
6-channel image splitter
3 VEHICLE DATA SENSORS
Front, rear, left, right, driver face, legs
NTSC/DV conversion
RS/USB conversion
USB/HUB
4 DATA RECORDER/ VIEWER
Time, longitude, latitude, altitude, vehicle
speed, vehicle attitude, odometer
Lateral acceleration
Longitudinal acceleration
Inter-vehicle distance
Steering angle Accel Pedal stroke Brake pedal stroke Indicator signal
1 CAMERA IMAGES
2 GPS UNIT
6-channel image splitter
3 VEHICLE DATA SENSORS
Front, rear, left, right, driver face, legs
NTSC/DV conversion
RS/USB conversion
USB/HUB
4 DATA RECORDER/ VIEWER
Time, longitude, latitude, altitude, vehicle
speed, vehicle attitude, odometer
Lateral acceleration
Longitudinal acceleration
Inter-vehicle distance
Steering angle Accel Pedal stroke Brake pedal stroke Indicator signal
Trang 43) Đi tự do (C): Không có xe phía trước hoặc khoảng các quá lớn nên không ảnh hưởng tới
việc điều khiển của người lái Người lái điều khiển xe theo vận tốc mong muốn của mình bằng điều khiển bàn đạp ga
4) Giảm tốc (D): Giống điều kiện trạng thái C, nhưng người lái đạp phanh trong trường hợp
người lái dừng xe trước tín hiệu giao thông
5) Dừng xe (S): Xe không chuyển động
Minh họa cho các trạng thái trên được trình bày ở hình 4 Phân biệt thủ công các trạng thái trên phải tỷ mỷ và đòi hỏi các thông tin chi tiết của chuyển động của xe, hành động của người lái và môi trường giao thông
Do vậy ở đây sử dụng một mô hình dòng trạng thái để tái tạo các trạng thái lien tiếp nhau bằng khả năng chuyển đổi các trạng thái và xác xuất chuyển đổi giữa chúng với nhau Mô hình được thể hiện trong hình 5và các mũi tên thể hiện sự chuyển biến giữa các trạng thái với nhau
Hình.4 Định nghĩa các trạng thái của người lái
Hình.5 Thuật toán ước lượng trạng thái của người lái
Preceding vehicle Host vehicle
F B
Preceding vehicle Host vehicle Preceding vehicle Host vehicle
S
Host vehicle
C
Host vehicle
D
Host vehicle
Following state Braking state
Deceleration state
Cruising state
Stopping state
Braking
Stopping
Deceleration
Driver state label
y t
x t
z-1
Driver state label
y t-1
Drive recorder sensor data
Trang 5Hinh 6 Sơ đồ thuật toán dán mác các sự kiện
Bài báo này sử dụng phương pháp dán nhãn sự kiện (Boosted Sequential Labelling Method) để nhận dạng các trạng thái của người lái cho việc thích nghi với từng người lái của các hệ thống hỗ trợ người Phương pháp này sử dụng thống kê dậy lại máy mô hình tổng hợp người lái - xe - môi trường để nhận dạng người lái trong thời gian thực Sơ đồ kiến tạo lại mô hình được các trạng thái liên tiếp đã được dán nhãn kết hợp với các thong tin môi trường để xác định trạng thái tiếp theo được chỉ ra tại hình 6
Để đánh giá độ chính xác của thuật toán nhận dạng ta so sánh bảng sự kiện do chính con
người gắn nhãn (ground truth) và do máy gắn nhãn với nhau Có tất cả dữ liệu của 3 người lái
trong độ tuổi 23 đến 28 tuổi với kinh nghiệm lái từ 3 đến 10 năm 3 người lái được ký hiệu lần lượt là S1, S2 và S3, và 2 cung đương được ký hiệu là R1 và R2 Độ dài cung đường R1 và R2 khoảng 2 km và 3.5 km Với từng người lái và từng cung đường sẽ có 8 bộ dữ liệu (mỗi cung đường chạy 8 lần) được thu thập và dán nhãn Trong số dữ liệu đó, 7 bộ dùng để thiết lập mô hình và dậy lại cho máy tính, bộ còn lại dùng để so sánh và đánh giá hiệu quả của thuật toán Hình7 cho ta thấy kết quả của việc nhận dạng trạng thái người lái bằng phương pháp dán nhãn sự kiện trên Bảng 1 thể hiện kết quả về độ chính xác của kết quả do máy dán
nhã và do người dán nhãn (ground truth) Nhìn vào bảng 1 ta nhận thấy, không có lỗi nào
trong nhận dạng trạng thái dừng xe (S) của máy tính Nhận dạng trạng thái theo sau xe phía trước (F) và đi tự do (C) là tương đối chính xác so với trạng thái phanh xe (B) và giảm tốc (D).
Hình.7 Kết quả máy tính ước lượng trạng thái của người lái S2 trên cung đường R1
Bảng 1 Độ chính xác của thuật toán ước lượng
0 50 100
0 5
-10 0 10
-2 0 2
-0.5 0 0.5
B-state F-state B-state C-state D-state S-state F-state C-state D-state S-state
R[m]
R[m]
x
a x[m/s 2 ]
a [m/s 2 ]
hw
T [s]
hw
T [s]
1
tc
[1/s]
1
tc
[1/s]
Relative distance Vehicle velocity
Inverse of time to collision
Time headway
Relative velocity
Longitudinal acceleration
Ground truth Estimated
0 0
Time [s]
Trang 6Trên đây đã giới thiệu thuật toán nhận dạng trạng thái của người lái trong việc điều khiển xe theo phương dọc Dựa trên các dữ liệu thu được từ thiết bị lưu trữ hành trình thuật toán đã có khả năng phân biệt được 5 trạng thái của người lái và do vậy sự vận hành chân ga hoặc phanh của người lái cũng có thể tiên đoán được trước trong thời gian thực và ứng dụng rất hiệu quả vào việc thiết kế các hệ thống điều khiển hỗ trợ người lái Tiếp theo, quan tâm riêng tới trạng thái phanh xe phòng chống đâm va phía trước, bài báo sẽ trình bày thuật toán cảnh báo phòng chống đâm va phía
4 HỆ THỐNG CẢNH BÁO ĐÂM VA PHÍA TRƯỚC
4.1 Thuật toán cảnh báo đâm va phía trước
Hiện nay, các hệ thống cảnh báo đâm va phía trước thường sử dụng chỉ số “Thời gian
xảy ra đâm va” (Time to Collision - TTC) để diễn tả khả năng xảy ra va chạm Trong
thực tế, nếu TTC khoảng 10 giây có nghĩa là khả năng đâm va là không có và không cần phải cảnh báo, nếu TTC nhỏ hơn nhỏ hơn 10s thì tùy thuôc vào nhà sản xuất thiết bị, khi
TTC đến giới hạn nào đó thì phát ra cảnh báo cho người lái bằng âm thanh hoặc ánh sáng.
Tuy nhiên, do TTC được tính bằng khoảng các giữa hai xe chia cho vận tốc tương đối giữa hai xe nên TTC không kể đến đặc tính phản ứng của người lái cũng như điều kiện
của đường (hệ số bám) Do vậy cần thiết phải có một chỉ số đánh giá khả năng đâm va mới thích nghi với điều kiện bám của đường và tâm trạng của người lái (tập trung, không tập trung, mệt mỏi…) Một chỉ số như vậy cho phép đưa ra những cảnh báo thích nghi với
sự đa dạng của người lái Trong bài báo này, giới hạn cảnh báo đâm va R w ( hình 8) dựa trên khoảng cách giữa hai xe sẽ được tính toán theo công thức sau:
2 2
p
p
V V
(1) Trong đó, r thời gian phản ứng phanh của người lái, V , vận tốc của xe, V p vận tốc
xe phía trước, a gia tốc dọc của xe, a p gia tốc dọc của xe phía trước, R stop khoảng cách giữa hai xe khi dừng hẳn (Rstop= 2.0 m) Do vậy, r ,tham số của tính toán chỉ số cảnh báo có kể đến đặc tính phản ứng của người lái Trong bài báo này, để tính toán giá trị của khoảng cách cảnh báo trong thời gian thực, ta giả thiết gia tốc xe sau và phía trước đều là gia tôc phanh cực đại và được tính theo công thức sau:
p
a a g
(2)
ở đó là hệ số bám và có thể xác định theo thời gian thực and g gia tốc trọng trường.
Hình 8 Miêu tả chỉ số cảnh báo khoảng cách
V p
V
2 2
p p
V a
Vr
2 2
V a
R w
R stop
Warning distance index
Preceding vehicle starts braking.
V p
V
2 2
p p
V a
Vr
2 2
V a
R w
R stop
Warning distance index
Preceding vehicle starts braking.
Trang 7Hình 9 mô hình cabin (Trái :
cabin)
Từ công thức trên ta thấy, nếu khoảng các giữa hai xe R > R w , không cần cảnh báo Ngược lại, nếu R R w , cần phải cảnh báo cho người lái Trong bài báo này, khi thử
nghiệm hệ thống đã sử dụng thiết bị cảnh báo bằng âm thanh
4.2 Thí nghiệm trên mô hình cabin
Thuật toán cảnh báo sẽ được thử nghiệm trên mô hình cabin (hình 9), thí nghiệm trong điều kiện xe phía trước phanh đột ngột với gia tốc 6 m/s2 trong điều kiện đường tốt (hệ số bám = 0.8) và 3 m/s2 trong điều kiện đường trơn (hệ số bám = 0.3) Tại thưoif điểm đầu, người lái có theo đuổi xe phía trước với vận tốc không đổi là 60km/h và thời
gian khoảng cách giữa hai xe 2,0 s Và sau đó là thí nghiệm với người lái bị phân tán bằng
việc nghe điện thoại nhằm khảo sát hiệu quả của thiết bị cảnh báo bằng chỉ số khoảng cách cảnh báo với TTC Với các thông số của hệ thống cảnh báo: thời gian phản ứng của người lái, r là 0.75 s và khoảng cách giữa hai xe khi dùng là 2.0 m.
Các thí nghiệm theo các điều kiện sau:
(1) Tình trạng bình thường : Người lái chú tâm điều khiển Trong trường hợp này tất
cả các người lái đều có thể phanh kịp thời tránh được việc đâm va
(2) Không có cảnh báo : Người lái nghe điện thoại và không để tâm đến việc lái xe nhiều Không có cảnh báo nào được đưa ra cho người lái Trong trường hợp này, thí nghiệm mong muốn tạo ra việc người lái không thể đạp phanh kịp thời để phòng tránh việc đâm va
(3) Cảnh báo với chỉ số TTC : Người lái nghe điện thoại và không để tâm đến việc lái
xe nhiều Cảnh báo sẽ được bật khi TTC nhỏ hơn một giá trị ngưỡng
(4) Cảnh báo với chỉ số R w : Người lái nghe điện thoại và không để tâm đến việc lái xe nhiều Cảnh báo sẽ được bật khi khoảng các giữa hai xe nhỏ hơn khoảng cách cảnh báo tính toán theo thời gian thực tại phương trình (1)
Một ví dụ của thí nghiệm theo điều kiện (4) với thuật toán khoảng cách cảnh báo được trình bày trong hình 10 Trên hình chúng ta thấy, khi xe phía trước phanh đột
ngột, người lái không tập trung nên khoảng cách cảnh báo R w lớn dần và khoảng cách
thực giữa hai xe nhỏ hơn ngưỡng cảnh báo R w và tính hiệu cảnh báo được bật lên Khi
Trang 8đó người lái phản ứng lại, tập trung vào điều khiển xe và bắt đầu đạp phanh ngay lập tức và trong trường hợp này, tai nạn đã không xảy ra
Tiếp đến, phân tích giá trị vận tốc khi đâm va cho phép chúng ta đánh giá hiệu quả của hệ thống cảnh báo trong việc giảm năng lượng va chạm khi việc đâm va là không thể tránh được Vận tốc khi đâm va của từng 3 người lái (A, B và C) trong các điều kiện 2, 3 và 4 được thể hiện trong hình 11 Từ kết quả trên ta nhận thấy hầu hết các người lái đều có thể phòng tránh được tai nạn đâm va bằng hệ thống cảnh báo theo
khoảng cách Trong trường hợp hệ thống cảnh báo theo TTC không tránh được tai nạn
đâm va nhưng vận tốc khi đâm va đã giảm xuống Tuy nhiên cá biệt ở người lái C do
hệ thống cảnh báo TTC không phù hợp với thời gian phản ứng của người lái nên
không thể giảm được vận tốc khi đâm va
-1 0 1
Time [s]
-8 -6 -4 -20
2 ]
Time [s]
0
50
Time [s]
Reaction time=1.87s Warning Reaction Time=0.52s
0 20 40
Time [s]
0 2 4
Time [s]
0 5
Time [s]
0 0.5 1
Time [s]
Host Vehicle Preceding Vehicle
Host Vehicle Preceding Vehicle
Relative Distance
R w
Hinh 10 Kết quả thí nghiệm với thuật toán cảnh báo theo khoảng các trên đường tốt (người lái A)
Trang 91 2 3 0
10 20 30 40 50 60 70
Subject A Subject B Subject C
5
5 5 5
5 5 5 5 5 5
0 5
0 5
5 5 4 5
Number of Forward Collisions Number of Experiments
Without warning
Warning T tc Warning R w
S.D Ave.
Hình 11 So sánh vận tốc khi đâm va trên đường tốt
72 73 74 75 76 77 78 79 80 81 82 83 -1
0 1
Time [s]
72 73 74 75 76 77 78 79 80 81 82 83 -4
-2 0
Time [s]
72 73 74 75 76 77 78 79 80 81 82 83 0
50
Time [s]
Reaction time=1.98s Warning Reaction Time=0.50s
72 73 74 75 76 77 78 79 80 81 82 83 0
20 40
Time [s]
72 73 74 75 76 77 78 79 80 81 82 83 0
2 4
Time [s]
72 73 74 75 76 77 78 79 80 81 82 83 0
5
Time [s]
72 73 74 75 76 77 78 79 80 81 82 83 0
0.5 1
Time [s]
Host Vehicle Preceding Vehicle
Relative Distance
R w
Host Vehicle Preceding Vehicle
Hinh 12 Kết quả thí nghiệm với thuật toán cảnh báo theo khoảng các trên đường tốt (người lái A)
Trang 101 2 3 0
5 10 15 20 25 30 35 40 45
5
5
0 5
5 5
5 5
5 5
5 5 1 5
3 5
Without warning
Warning T tc Warning R w
Number of forward collisions Number of experiments
S.D
Ave.
Hình 13 So sánh vận tốc khi đâm va trên đường tốt
Cũng tương tự trường hợp đường tốt, thí nghiệm với 4 điều kiện trên cũng được tiến hành với đường trơn Trong trường hợp này, hệ số bám của mặt đường là 0,3 trong tính toán khoảng cách cảnh báo theo phương trình (1) Do vậy, hệ thống cảnh báo kích hoạt ở khoảng cách lớn hơn so với đường tốt Hình 12 thể hiện một kết quả thí nghiệm trong trường hợp này
Cũng tương tự trường hợp đường tốt, hình 13 cho thấy hiệu quả của hệ thống cảnh báo theo khoảng các cũng phát huy rõ rệt trong việc giảm số lần đâm va và vận tốc khi đâm va Tuy nhiên, nếu ta nhìn vào thời gian phản ứng của người lái, đối với hệ thống
cảnh báo theo TTC, (được xác định bằng hằng số 2,7 s) thì có một số trường hợp hệ
thống bật cảnh báo sau khi người lái nhận biết được sự phanh của xe phía trước, như vậy là cảnh báo quá muộn và hệ thống không còn tác dụng nữa Với kết quả thử nghiệm cả trên đường khô lẫn đường ướt đã chứng minh được hiệu quả của hệ thống cảnh báo khoảng cách có kể đến đặc tính phản ứng của người lái và điều kiện bám của đường
