Nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh tt

Chẳng hạn như việc s dụng 1 camera trên rô b t di động chỉ cho phép theo dõi đ y đủ thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s dụng 2 camera trên h

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC

VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

LÊ VĂN CHUNG

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT

TAY MÁY DI ĐỘNG BÁM MỤC TIÊU

TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH

Chuyên ngành: Kỹ thuật điều khiển và tự động hóa

Mã số: 9.52.02.16

TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT

Hà Nội - 2019

Công trình được hoàn thành tại: Học viện Khoa học và

Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam

Người hướng dẫn khoa học: 1 PGS.TSKH Phạm Thượng Cát

2 TS Phạm Minh Tuấn

Phảnbiện 1:

Phản biện 2:

Phản biện 3:

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp nhà nước họp tại:

Vào hồi giờ ngày tháng năm Có thể tìm hiểu luận án tại thư viện: ………

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ

[1] Le Van Chung (2018), “Robust Visual Tracking Control of Pantilt Stereo Camera System”, International Journal of Imaging and

-Robotics, Vol 18 (1), pp 45 – 61

[2] Le Van Chung, Pham Thuong Cat (2015), “A new control method for stereo visual servoing system with pan tilt platform”, Journal of

Computer Science and Cybernetics,Vol 31 (2), pp 107 – 122

[3] Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated mobile robot – pan tilt – stereo camera”,

Advanced Intelligent Mechatronics AIM IEEE Conference, Banff, Canada July 12-15, pp 530 – 535

[4] Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking Target used Mobile Robot-pan tilt-stereo camera system”, International Conference on Advances in

Information and Communication Technology, ICTA, Thai Nguyen, Dec 12-14, pp 217 – 227

[5] Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking control of pan tilt – stereo camera system Hội ngh c điện t VCM

[7] Lê Văn Chung “Phát triển hệ pan/tilt – nhiều camera bám mục tiêu

di động” Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr 41-46

MỞ ĐẦU Tính cấp thiết của đề tài

Trong những năm g n đây rất nhi u công trình nghiên c u v

đi u khiển rô b t s dụng thông tin hình ảnh nhưng các kết quả đạt được vẫn còn bộc lộ nhi u hạn chế Chẳng hạn như việc s dụng 1 camera trên rô b t di động chỉ cho phép theo dõi đ y đủ thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s dụng 2 camera trên hệ pan tilt nhưng chưa xét tới s suy biến của ma trận Jacobian ảnh tác động tới khả năng bám của hệ th ng Bên cạnh

đó mô hình toán của rô b t thường khó đạt độ chính xác c n thiết vì trong hệ th ng có nhi u tham s không xác đ nh trước như việc đo đạc các tham s hay các hệ s ma sát mô men quán tính… chúng thường thay đổi trong quá trình hoạt động Ngoài ra việc t i ưu hóa các tham s trong các bộ đi u khiển rô b t để đạt được độ chính xác mong mu n là những vấn đ khó và c n tiếp tục nghiên c u

Với lý do trên tác giả đã l a chọn đ tài: “Nghiên cứu phát triển một số thuật toán điều khiển rô bốt di động trên cơ sở sử dụng thông tin hình ảnh để phát triển một s thuật toán đi u khiển

rô b t s dụng thông tin hình ảnh có nhi u tham s bất đ nh

Đối tƣợng nghiên cứu

Đ i tượng nghiên c u chính của đ tài là tập trung vào rô b t pan/tilt và rô b t di động có c cấu di chuyển bằng bánh xe

Phạm vi nghiên cứu

Nghiên c u các thuật toán phư ng pháp đi u khiển hệ pan tilt bám mục tiêu di động s dụng thông tin hình ảnh từ 2 camera có nhi u tham s bất đ nh

Nghiên c u các thuật toán đi u khiển hệ rô b t di động hệ pan tilt mang hai camera bám mục tiêu di động

Những điểm mới của luận án

Đ xuất 02 phư ng pháp đi u khiển 01 phư ng pháp xây d ng

ma trận Jacobian ảnh vuông cho hệ pan/tilt 2 camera cụ thể như sau: a) ây d ng 1 phư ng pháp để thiết lập ma trận Jacobian ảnh vuông tránh suy biến trong các phép biến đổi ngh ch đảo

b) Xây d ng bộ đi u khiển mạng n ron nhân tạo để b các tham s bất đ nh trong mô hình rô b t pan/tilt trong ma trận Jacobian ảnh ma trận Jacobian rô b t c ng như các yếu t bên ngoài Bộ đi u khiển này hoạt động t t khi có bất đ nh trong hay nhiễu tác động vào

c) ây d ng mô hình động l c học cho hệ gồm rô b t di động –

rô b t pan tilt mang dụng 2 camera và 2 thuật toán đi u khiển trong đó: 01 bộ đi u khiển trượt và 01 bộ đi u khiển t i ưu theo chu n t i

ưu bình phư ng t i thiểu cho hệ kết hợp gồm hai rô b t rô b t pan/tilt mang hai camera và rô b t di động Trong đó hệ động l c học của toàn hệ được tổng hợp trong một phư ng trình

Luận án đã ch ng minh tính ổn đ nh tiệm cận của các phư ng pháp đi u khiển đ xuất ở trên dùng lý thuyết ổn đ nh Lyapunov bổ

đ Barbalat và mô phỏng kiểm ch ng bằng công cụ mô phỏng Matlab

Nội dung của luận án

Chương 1: Tổng quan các vấn đ trong đi u khiển rô b t

Chương 2: Phát triển thuật toán đi u khiển hệ pan tilt hai camera Chương 3: Một s cải tiến trong đi u khiển hệ servo th giác bám

mục tiêu di động

Chương 4: Phát triển thuật toán đi u khiển rô b t di động s dụng

thông tin hình ảnh

CHƯƠNG 1 TỔNG QUAN 1.1 Đặt vấn đề

Để đi u khiển hệ th ng rô b t s dụng hai camera hoạt động được t t h n thì vấn đ đặt ra là:

Th nhất là: Phát triển các phư ng pháp đi u khiển hệ pan tilt dùng thông tin hình ảnh bám mục tiêu di động khi có các tham s bất đ nh

Th hai là: C n xây d ng ma trận Jacobian ảnh là ma trận vuông

1.2 Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh

Để bám được mục tiêu có t c độ di chuyển khác nhau thì ta

c n các thuật toán đi u khiển các khớp của bệ pan-tilt mang camera thay đổi ph hợp Khi s dụng rô b t pan tilt mang hai camera thì một vấn đ nữa đặt ra s suy biến của ma trận Jacobi khi lấy giả ngh ch đảo Khi s dụng 1 camera thì ma trận Jacobian của hệ pan tilt – 1 camera là vuông và khả ngh ch Nhưng khi s dụng 2 camera thì ma trận Jacobian ảnh của hệ sẽ là 3x6 ma trận Jacobian của hệ là 3x2

Do vậy trong các phép biến đổi ta phải lấy giả ngh ch đảo khiến nó là nguyên nhân gây ra các điểm kỳ d

Hình 1.2 Một s phư ng pháp đi u khiển rô b t

1.3 Các vấn đề nghiên cứu của luận án

- Nghiên c u xây d ng mô hình động học của hệ rô b t pan-tilt

và xây d ng phư ng pháp đi u khiển cổ điển và kết hợp với mạng n ron để thu được kết quả t t h n bao gồm:

- Nghiên c u cải tiến để xây d ng ma trận Jacobian ảnh vuông

và bộ đi u khiển cho hệ pan tilt mang hai camera

- Phát triển các phư ng pháp đi u khiển nâng cao cho rô b t khi

có các tham s bất đ nh

- ây d ng mô hình động l c học cho hệ kết hợp gồm rô b t di động, hệ pan/tilt mang 2 camera và các bộ đi u khiển cho hệ nói trên

- S dụng phư ng pháp ổn đ nh Lyapunov và bổ đ Barbalat s

ch ng minh tính ổn đ nh và matlab để kiểm ch ng kết quả

CHƯƠNG 2 PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT PAN TILT SỬ DỤNG THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA

Trong chư ng này, thuật toán đi u khiển động học kết hợp với mạng n ron được xây d ng để đi u khiển các góc quay của hệ

T i ưu tham

Kết hợp với mạng n ron Đi u khiển t i ưu thích nghi

Phư ng pháp hiện đại kết hợp mạng

n ron

Phư ng pháp cổ điển kết hợp mạng

n ron

pan/tilt sao cho ảnh mục tiêu luôn được duy trì ở v trí mong mu n trên mô hình của ảnh thu được từ 2 camera Nội dung chư ng gồm 4

ph n chính là xây d ng mô hình động học của hệ rô b t stereo bám mục tiêu di động, thiết kế thuật toán đi u khiển hệ servo th giác, mô phỏng kiểm ch ng so sánh với bộ đi u khiển không kết hợp với mạng

n ron và kết luận

2.1 Xây dựng mô hình động học hệ rô bốt pan tilt-stereo camera bám mục tiêu di động với nhiều tham số bất định

2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ

2 camera quy vào hệ tọa độ OcXcYcZc

Hình 2.1 Bệ pan/tilt PTU-D48E-Series và biểu diễn hệ tọa độ

Phư ng trình t c độ điểm đặc trưng ảnh của 2 camera:

2.1.2 Xác định hệ phương trình động học tốc độ rô bốt Pan-Tilt

Quan hệ t c độ giữa biến trong và biến ngoài mô tả hệ động học t c độ qua ma trận Jacobi của rô b t:

imag

Hình 2.2 Mô hình hệ th ng camera

( )

robot

2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ

rô bốt-stereo camera bám mục tiêu

sai lệch đặc trưng ảnh: ε m md

Bài toán đi u khiển động học hệ pan/tilt -stereo camera bám mục tiêu

là tìm thuật đi u khiển q = K ε( ) sao cho hệ kín sau ổn đ nh

imag

m = J (m)u;v = x = Jrobot(q)q; q = K(ε) 2.2 Thiết kế thuật toán điều khiển

Trong chư ng này tác giả trình bày thuật đi u khiển n ron cho

hệ động học rô b t pan/tilt mang hai camera bám mục tiêu di động và

so sánh với hệ khi s dụng bộ đi u khiển PID thông dụng

2.2.2 Xây dựng thuật toán điều khiển hệ r bốt pan ti t –2 ca era

bá ục ti u di động

Mạng n ron nhân tạo được chọn là mạng RBF có 3 lớp Lớp

vào 3 thành ph n của sai lệch Lớp ra có 3 n ron tuyến tính có giá

tr là giá tr xấp xỉ Lớp n là các n ron có hàm đ u ra dạng Gauss:

Hình 2.6 Cấu trúc của hệ visual servoing đi u khiển camera bám mục

tiêu di động có nhi u tham s bất đ nh

Định lý 1:

Hệ stereo camera có nhiều tham số bất định (2.9), (2.11), với mạng nơron (2.22), (2.23) được mô tả theo hình 2.5 sẽ bám theo mục ti u di động với sai số ,ε ε0 nếu tốc độ các khớp bệ Pan-Tilt được điều khiển theo thuật toán (2.25), (2.26), (2.27) và luật học (2.28) như sau:

2.3 Một số kết quả mô phỏng kiểm chứng

Mô phỏng 1: Mục tiêu cố định

Tâm camera ở thời điểm ban đ u là: m(0) =[-40, 30, 0] (pixel); tọa

độ ảnh của mục tiêu đ ng yên ở m t=[-20, 0, 20] (pixel);

Hình 2.7 Sai lệch tọa độ ảnh mục

tiêu (pixel) Hình 2.8 Sai lệch tọa độ ảnh khi

không có mạng n ron b

Mô phỏng 2: Mục tiêu di chuyển theo đường thẳng

Điểm mục tiêu đi từ điểm A(0m,1.8m,0m) tới điểm B(-0.3m, 1.8m, -0.5m) trong thời gian T=30(s)

Hình 2.9 Sai lệch bám tọa độ khi mục tiêu đi theo đường thẳng

Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu đi theo đường thẳng

Hình 2.11 Sai lệch bám tọa độ

khi không có mạng n ron

Hình 2.12 Sai lệch tọa độ ảnh khi

không có mạng n ron b

Mô phỏng 3: Mục tiêu cơ động theo cung tròn

Mục tiêu đi theo cung tròn có tọa độ tâm tại g c tọa độ O(0,0)

và bán kính r = 1 trên mặt phẳng ZCOCXC và cách g c tọa độ một khoảng YC = 1.8m trong hệ tọa độ camera OCXCYCZC Chuyển động của mục tiêu theo cung tròn đi từ điểm A(0m,1.8m, 1m) tới điểm B(1m,1.8m,0m) với thời gian T = 30s T c độ v ~ 3 (cm/s)

Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu c động theo cung tròn

Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu đi theo cung tròn

Mô phỏng 4: Mục tiêu di chuyển theo cung tròn có vận tốc thay

Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu có vận t c thay đổi

Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu có vận t c thay đổi 2.4 Kết luận chương 2

Chư ng này tác giả đã đ xuất một phư ng pháp mới cho hệ servo th giác stereo s dụng mạng n ron với luật học on-line trong

bộ đi u khiển để bù cho các tham s bất đ nh không biết rõ như mô men quán tính, ma trận Jacobi, ma sát ở các khớp, nhiễu tác động vv… giúp cho hệ th ng hoạt động ổn đ nh và sai lệch bám triệt tiêu

Độ ổn đ nh toàn cục của hệ th ng được ch ng minh bằng thuyết ổn

đ nh Lyapunov Tính khả thi của việc cài đặt ng dụng mạng n ron này lên các microcontroller là hoàn toàn khả thi Do luật học cập nhật liên tục được th c hiện chỉ với một s phép nhân và tích phân (cộng dồn) nên kh i lượng tính toán không quá lớn và mặt khác các chip ví

x lý 32 và 64 bit hiện nay có t c độ x lý ngày càng cao nên hy vọng không là rào cản cho việc ng dung trong th c tế sau này

CHƯƠNG 3 MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN

HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG

Như trong chư ng2 tác giả đã nhận thấy để đi u khiển hệ pan/tilt th giác hai camera bám mục tiêu di động hoạt động được t t thì bài toán đi u khiển có một s vấn đ c n giải quyết như sau:

- Th nhất là c n xây d ng được ma trận Jacobian ảnh vuông để khi th c hiện ngh ch đảo và các biến đổi khác không xuất hiện

các điểm kỳ d dẫn tới mất bám

- Th hai là xây d ng bộ đi u khiển động l c học kết hợp với mạng n ron để b ảnh hưởng của các tham s bất đ nh bên trong

mô hình c ng như nhiễu bên ngoài

- Th ba là t i ưu một s tham s trong mạng n ron để thu được

kết quả đ u ra t t h n

Trong ph n 1 tác giả đi xây d ng mô hình 3D cho hệ 2 camera

để có được ma trận Jacobian đ y đủ Trong ph n 2 tác giả xây d ng

bộ đi u khiển động l c học s dụng mạng n ron với các tham s được t i ưu s ổn đ nh của hệ được ch ng minh bằng phư ng pháp Lyapunov và bổ đ Barballat Ph n 3 là các kết quả mô phỏng Cu i

c ng là một s kết luận

3.1 dựng mô hình 3D cho hệ 2 camera trên rô bốt Pan tilt

3.1.2 hình hệ ca era ảo

ước 1, Từ quan hệ hình học giữa mục tiêu và đặc trưng ảnh trên hai

camera ta tính được tọa độ của mục tiêu trong không gian 3D

c  x y z

x nhìn trong hệ trục tọa độ O c X c Y c Z c

ước 2 Ta đ nh ngh a một hệ tọa độ liên kết Có g c tọa

độ tr ng với hệ tọa độ Để chuyển đổi từ hệ tọa độ OC tới

OV ta s dụng ma trận chuyển tọa độ Hình 3.2 Tọa độ của

v  z x y

x

v v v

v X Y Z O

c c c

c X Y Z O

v

C R

c c c

c X Y Z O

v v v

v X Y Z O

Hình 3.2 Mô hình hệ camera 3D ảo

Mô hình camera 3D ảo được xây d ng theo các bước như sau:

ước 3 Hệ tọa độ camera ảo O v X v Y v Z v được s dụng để đ nh ngh a

ra hai hệ tọa độ O v1X v1Y v1Z v1, O v2X v2Y v2Z v2 của hệ camera ảo G c

của hai hệ tọa độ được đặt trên hai trục Xv và Zv đặt xa g c Ov một khoảng λ

ước 4, Mô hình camera ảo được kết hợp với mô hình camera tr c

quan 3D để tạo ra không gian 3D Cartesian ảo có tọa độ điểm đặc trưng của mục tiêu được biểu diễn trong hệ tọa độ ảo là:

v v

v

v v

v

v

v v

vimg

z z

y

z z

x

x

z x

1 0

) (

0 1

) (

0 ) ( 1

2 2

2

3.1.3 iể oát ự u biến c a a trận acobian

Ta có thể tránh s suy biến của ma trận này bằng cách chọn

tham s λ thỏa mãn λ > max xv, z v)

3.1.4 ài toán điều hiển bá ục ti u với nhiều tha ố bất định

0 )

Hệ động l c học của rô b t n-link với s ảnh hưởng của các tham s

nhiễu và các tham s bất đ nh có thể biểu diễn như sau:

τ d q g q q q

Lớp đầu ra là giá tr xấp xỉ của hàm f 1

3.3.3 ối ưu tha ố

Thuật toán di truy n Genetic Algorithms GA được ng dụng để t i

ưu các tham s c j và tham s khoảng cách c sở jtheo [32]:

Định l 2: Sai số bá ục ti u di động tả b i phương trình (3.32b) c a hệ pan-ti t – hai ca era bá ục ti u di động (3.1 ) (3.2 ) ẽ tiến về 0 hay và hệ sẽ n định toàn cục nếu t n hiệu điều hiển được chọn theo phương trình (3.3 ) (3.3 ) và thuật học online (3.38):

(3.36)

(3.37)

Hình 3.6 Cấu trúc s đồ đi u khiển của hệ th ng

Chứng minh: Chọn hàm ng tuyển Lyapunov

1 2

1 ) , (

i

i T i T

s khi t 0 kéo theo ε0 khi hệ là ổn đ nh toàn cục

phỏng 1: Mục ti u di chu ển theo đư ng th ng

Mục tiêu đi từ điểm A 0m 3m 0m tới B -0.5m 3m -0.3m trong mặt phẳng COCXC với thời gian T 6 s t c đô v 10 cm/s

Hình 3.7 Kết quả bám mục tiêu di chuyển theo đường thẳng