Nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh

pan-Mục tiêu nghiên cứu Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay máy rô bốt bám mục tiêu di động dựa trên cơ s thông tin hình ảnh s dụng hai camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC

VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

-

Lê Văn Chung

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT TAY MÁY DI ĐỘNG BÁM MỤC TIÊU TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH

LUẬN ÁN TIẾN SĨ KỸ THUẬT

Hà Nội – 2019

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC

VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

-

Lê Văn Chung

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT TAY MÁY DI ĐỘNG BÁM MỤC TIÊU TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH

Chuyên ngành: Kỹ thuật điều khiển và tự động hóa

Mã số: 9.52.02.16

LUẬN ÁN TIẾN SĨ KỸ THUẬT

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 PGS.TSKH Phạm Thượng Cát

2 TS Phạm Minh Tuấn

Hà Nội – 2019

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác

Lê Văn Chung

LỜI CẢM ƠN

Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học

và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình học tập, nghiên cứu

Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS.TSKH Phạm Thượng Cát và TS Phạm Minh Tuấn, hai thầy đã định hướng và tận tình hướng dẫn để tôi có thể hoàn thành luận án

Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực hiện nghiên cứu

Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao đổi kinh nghiệm trong quá trình hoàn thành luận án

Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên

và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có thể hoàn thành quá trình nghiên cứu

Hà Nội, ngày 28 tháng 8 năm 2019

Tác giả luận án

Lê Văn Chung

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vii

DANH MỤC HÌNH VẼ x

DANH MỤC BẢNG xiii

MỞ ĐẦU 1

CHƯƠNG 1 7

TỔNG QUAN 7

1.1 Đặt vấn đề 7

1.2 Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh 8

1.2.1 Tình hình nghiên cứu ngoài nước 11

1.2.2 Tình hình nghiên cứu trong nước 8

1.3 Các vấn đề nghiên cứu của luận án 19

1.3.1 Phát triển phương pháp điều khiển rô bốt s dụng thông tin hình ảnh 19

1.3.2 Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động 20

1.3.3 Phát triển thuật toán điều khiển rô bốt di động s dụng thông tin hình ảnh 21

1.4 Kết luận chương 1 22

CHƯƠNG 2 23

PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA 23

2.1 Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di động với nhiều tham số bất định 24

2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera

quy vào hệ tọa độ OcXcYcZc 24

2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt 28

2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốt-stereo camera bám mục tiêu 29

2.2.Thiết kế thuật toán điều khiển 30

2.2.1 Xây dựng mô hình bộ điều khiển 30

2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di động 31

2.3 Một số kết quả mô phỏng kiểm chứng 35

2.4 Kết luận chương 2 43

CHƯƠNG 3 45

MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN 45

HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG 45

3.1 dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt 47

3.1.1 Mô hình 3D cho hệ stereo camera 47

3.1.2 Mô hình hệ camera ảo 47

3.1.3 Kiểm soát sự suy biến của ma trận Jacobian 53

3.1.4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định 53

3.2 dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số bất định 53

3.3 dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo camera bám mục tiêu di động 55

3.3.1 Xây dựng bộ điều khiển 55

3.3.2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ thống 56

3.3.3 Tối ưu tham số 57

3.4 Mô phỏng hệ thống 61

3.5 Kết luận 72

CHƯƠNG 4 74

PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG 74

SỬ DỤNG THÔNG TIN HÌNH ẢNH 74

4.1 Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốt-Pan-tilt– Stereo Camera bám mục tiêu di động 75

4.1.1 Xác định ma trận Jacobi ảnh 75

4.1.2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di động 77

4.1.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận mục tiêu 81

4.2 Thiết kế thuật toán điều khiển 82

4.2.1 Động lực học hệ rô bốt di động-bệ pan-tilt 82

4.2.2 Thiết kế bộ điều khiển tối ưu 83

4.3 Mô phỏng hệ thống 89

4.3.1 Mô phỏng hệ thống với bộ điều khiển tối ưu 89

4.3.2 Mô phỏng hệ thống với bộ điều khiển trượt CTC 94

4.4 Kết luận chương 4 96

5 KẾT LUẬN 97

5.1 Những nội dung nghiên cứu chính của luận án 97

5.2.Những đóng góp khoa học mới của luận án 97

5.3.Định hướng nghiên cứu phát triển 98

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ 100

TÀI LIỆU THAM KHẢO 101

PHỤ LỤC 111

1 Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có sử dụng mô hình camera 3D ảo 111

2 Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có

sử dụng mô hình camera 3D ảo 118

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Ký hiệu Đơn vị

CTC Computed Torque Controller – bộ điều khiển dựa

trên phương pháp tính mô men

d m Khoảng cách giữa 2 bánh xe rô bốt di động

d(t) Vecto ảnh hư ng của nhi u, các tham số bất định

f pixel Tiêu cự camera (1 pixel = 35μm)

f v pixel Tiêu cự thấu kính của camera ảo

k m khoảng cách giữa hai bánh xe rô bốt di động

k 1 m Khoảng cách giữa rô bốt di động và mục tiêu

l 1 m Chiều dài khớp pan củahệ pan-tilt

l 2 m Chiều dài khớp tilt củahệ pan-tilt

LQG Linear–Quadratic–Gaussian

m Pixel Véc tơ đặc trưng ảnh

m d Pixel Véc tơ đặc trưng ảnh mong muốn

q Véc tơ vị trí góc của khớp pan, tilt

r

q Véc tơ vị trí góc của khớp pan, tilt

RBF Radial basis function neural network

s Véc tơ sai số giữa giá trị mong muốn và đo được

T x T y T z m/s Vận tốc dài của tay nắm camera

x y z m/s Vận tốc góc của tay nắm camera

U, V Pixel Tọa độ ảnh của đối tượng

,

1

v véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt

(trùng với gốc tọa độ camera OC) C

v Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt

CΩ Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt

vs Véc tơ vận tốc đo được tại 2 bánh rô bốt di động và

2 khớp của bệ pan-tilt

vd Véc tơ vận tốc mong muốn đặt lên 2 bánh rô bốt di

động và 2 khớp của bệ pan-tilt

x Véc tơ mô tả vị trí và hướng của camera

x s Véc tơ tọa độ mục tiêu nhìn trong hệ tọa độ camera

ảo

ε Sai số giữa tham số mong muốn và đo được

θ2 rad Góc quay của khớp tilt

m

 rad Góc hướng của rô bốt di động

θ1d rad Góc quay mong muốn của khớp pan

θ2d rad Góc quay mong muốn của khớp tilt

 rad Góc hướng mong muốn của rô bốt di động

m Khoảng cách từ gốc tới vị trí đặt camera ảo

j

j

c ,  Trọng tâm và độ rộng khoảng cách tính từ tâm của

lớp n thứ j radial basis function của mạng nơ ron

φl , φ r rad Góc quay của bánh xe trái, phải trên rô bốt di động

pan-tilt và có các quan hệ hình học được xác định trước

DANH MỤC HÌNH VẼ

Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh 11

Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh 14

Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ 24

Hình 2.2 Mô hình hệ thống camera 25

Hình 2.3 Ảnh theo 2 trục Z, Y 26

Hình 2.4 Ảnh theo 2 trục X, Y 26

Hình 2.5 Mạng RBF xấp xỉ hàm 32

Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động có nhiều tham số bất định 34

Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel) 37

Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ ron bù (u = 0 ) 37 , 1 Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng 38

Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng 38

Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù ( , 1 u = 0) 39

Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù 39

Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn 40

Hình 2.14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn 40

Hình 2.15 Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có mạng nơ ron bù 41

Hình 2.16 Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có mạng nơ ron bù ( , 1 u = 0) 41

Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi 42

f

Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi 42

Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras 48

Hình 3.2 Mô hình hệ camera 3D ảo 49

Hình 3.3 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z 50

Hình 3.4 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z 50

Hình 3.5 Mạng nơ ron RBF để xấp xỉ tham số bất định f 57

Hình 3.6 Cấu trúc sơ đồ điều khiển của hệ thống 60

Hình 3.7 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng nhìn trong không gian camera 63

Hình 3.8 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường thẳng trong hệ tọa độ ảo 3D 64

Hình 3.9 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn nhìn trong không gian camera 65

Hình 3.10 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường tròn nhìn trong hệ tọa độ ảo 3D 65

Hình 3.11 a) L i bám mục tiêu theo 2 trục X, Z b) Mô ment đặt lên các khớp c) Tốc độ khớp pan-tilt q 66

Hình 3.12 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ nhật với tốc độ thay đổi nhìn trong không gian camera 66

Hình 3.12 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo hình chữ nhật với tốc độ thay đổi nhìn trong hệ tọa độ ảo 3D 67

Hình 3.13 a) Sai số bám mục tiêu chiếu theo hai trục X, Z b) Moment đặt lên các khớp c) Tốc độ các khớp q 68

Hình 3.14 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển trong không gian với tốc độ và hướng thay đổi bất kỳ nhìn trong không gian camera 69

Hình 3.15 Sai số bám mục tiêu di động khi mục tiêu di chuyển trong không gian với tốc độ và hướng thay đổi bất kỳ nhìn trong hệ tọa độ ảo 3D 69

Hình 3.15 a) Sai số bám mục tiêu chiếu theo hai trục X, Z b) Moment đặt lên các khớp c) Tốc độ các khớp q 70

Hình 3.17 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường

thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron 71

Hình 3.18 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron 71

Hình 3.19 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron 71

Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình tròn của bài báo trích dẫn [20] 73

Hình 4.1 Cấu trúc của hệ rô bốt- pan-tilt-stereo camera 76

Hình 4.2 Mô hình hệ thống stereo camera 80

Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải) 80

Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động 81

Hình 4.5 Sơ đồ khối hệ thống 85

Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC 88

Hình 4.7 Thuật toán điều khiển tối ưu 92

Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc 93

Hình 4.9 Rô bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ gốc 94

Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và hai bánh rô bốt di động 94

Hình 4.11 Mô phỏng di chuyển bám theo mục tiêu của rô bốt di động 95

Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và hai bánh rô bốt di động 95

DANH MỤC BẢNG

Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt 62 Bảng 4.1 các tham số trong mô hình rô bốt di động – hệ pan-tilt – stereo

camera 89

MỞ ĐẦU

Tính cấp thiết của đề tài

Rô bốt được ứng dụng trong công nghiệp từ những năm 60 để thay thế con người làm các công việc nặng nhọc, nguy hiểm trong môi trường độc hại Ngày nay rô bốt được ứng dụng rộng rãi trong mọi lĩnh vực sản xuất và dịch vụ như trong chế tạo máy, y tế, chăm sóc sức khỏe, nông nghiệp, đóng tàu, xây dựng, an ninh quốc phòng

và gia đình … Nhu cầu s dụng rô bốt trong các ngành công nghiệp, dân dụng, dịch vụ

và an ninh quốc phòng gia tăng là động lực cho sự phát triển của các rô bốt di động thông minh

Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động ngày một được hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh hoạt Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt là khả năng nhìn và x lý thông tin hình ảnh để rô bốt có thể theo dõi được các đối tượng mục tiêu đứng yên cũng như di chuyển trong không gian, biết được vị trí nó đang đứng trong môi trường phi cấu trúc và có thể di chuyển tới một vị trí khác, đồng thời có thể tự động tránh được các chướng ngại vật trên đường đi

Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt

s dụng thông tin hình ảnh, nhưng các kết quả đạt được vẫn còn bộc lộ một số hạn chế Chẳng hạn như việc s dụng 1 camera trên rô bốt di động chỉ cho phép theo dõi đầy đủ thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s dụng 2 camera cho phép đáp ứng nhiều yêu cầu nhưng chưa xét tới các sự suy biến của

ma trận Jacobian ảnh tác động tới khả năng bám của hệ thống Bên cạnh đó mô hình toán học của rô bốt thường khó đạt độ chính xác tuyệt đối vì trong hệ thống chứa nhiều tham số bất định như việc đo đạc các tham số ban đầu hay các hệ số ma sát, mô men quán tính…, lại thường thay đổi trong quá trình hoạt động Ngoài ra, tối ưu hóa các tham số trong các bộ điều khiển rô bốt để đạt được độ chính xác mong muốn trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu Việc

s dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên đặc tính của hầu hết các loài động vật bậc cao đều có 2 mắt Nhưng trong việc s dụng thị giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho phát huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm

đã nêu trên vẫn còn khá nhiều vấn đề cần được giải quyết

Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay

máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển

một số thuật toán điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định

Đối tƣợng nghiên cứu

Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy tilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe Hệ camera dùng để lấy thông tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera Những hình ảnh thu được sẽ được x lý, tính toán từ đó ra quyết định điều khiển các cơ cấu chấp hành khác của rô bốt thực hiện theo các yêu cầu

pan-Mục tiêu nghiên cứu

Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay máy rô bốt bám mục tiêu di động dựa trên cơ s thông tin hình ảnh s dụng hai camera có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc

độ x lý cao

- Đề xuất thuật toán điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di động với nhiều tham số bất định và xây dựng hệ 2 camera với ma trận Jacobian ảnh đầy đủ

- Đề xuất một số thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt mang 2 camera bám mục tiêu di động

Phạm vi nghiên cứu

Nghiên cứu về hệ pan-tilt mang 2 camera (stereo camera) và rô bốt di động di chuyển b ng 3 bánh xe trong đó có 2 bánh chủ động, có nhiều tham số bất định bám mục tiêu di động

Nghiên cứu các thuật toán, phương pháp điều khiển hệ pan-tilt bám mục tiêu di động s dụng thông tin hình ảnh từ hai camera

Nghiên cứu các thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt stereo camera theo dõi và bám mục tiêu di động

Chỉ tập trung vào nghiên cứu s dụng các kết quả mà camera thu được để điều

khiển rô bốt, không đề cập tới phần hiệu chỉnh camera, thu nhận ảnh hay x lý ảnh trên camera mà chỉ quan tâm tới việc x lý từ điểm tính năng trên ảnh sau x lý để đưa

ra các tham số điều khiển rô bốt

Các yếu tố bất định, nhi u trong các bài toán của luận án đều bị chặn

Phương pháp nghiên cứu

Phương pháp nghiên cứu được áp dụng cho các vấn đề đã nêu ra của luận án như sau:

1 Trên cơ s kế thừa các kết quả nghiên cứu đã có tác giả đi xây dựng mô hình toán học cho hệ thốnghệ pan-tilt stereo camera và hệ thống phức hợp gồm rô bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định trong mô hình và nhi u

2 Nghiên cứu các thuật toán điều khiển hiện đại để từ đó xây dựng các thuật toán điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói trên bám mục tiêu di động

3 Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả nghịch và tham số trong mô hình điều khiển

4 Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat

5 Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống

Ý nghĩa của đề tài

- Về mặt lý thuyết: đóng góp các thuật toán điều khiển hệ pan-tilt theo dõi mục tiêu và thuật toán điều khiển hệ rô bốt di động –hệ pantilt s dụng 2 camera bám mục tiêu di động với nhiều tham số bất định trong mô hình cũng như nhi u tác động

- Về mặt thực ti n: xây dựng mô hình camera 3D ảo loại bỏ sự suy biến của

ma trận Jacobian ảnh và mô hình động lực học cho hệ gồm rô bốt di động –

hệ pan-tilt mang dụng 2 camera

Những điểm mới của luận án

Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả có một số đóng góp như sau:

- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông cho hệ stereo camera giúp hệ rô bốt – stereo camera theo dõi được các đối tượng có chuyển động phức tạp d dàng hơn

- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong

mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu

tố bên ngoài Bộ điều khiển này hoạt động tốt ngay cả khi tham số mô hình chỉ chắc chắn được 80 và ngay cả khi có các yếu tố bên ngoài tác động vào

- Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang dụng 2 camera và 2 thuật toán điều khiển trong đó: 01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối thiểu cho hệ kết hợp hai rô bốt gồm hệ pan-tilt stereo camera và rô bốt di động Trong đó, mô hình động lực học của toàn hệ nói trên được tổng hợp trong một phương trình

Tối ưu hóa các tham số trong bộ điều khiển nơ ron

Mô phỏng kiểm chứng các thuật toán điều khiển rô bốt theo dõi và bám mục tiêu

di động b ng công cụ mô phỏng Matlab

Công bố 07 công trình liên quan đến các nội dung nghiên cứu của luận án trên các tạp chí, kỷ yếu hội thảo trong nước và ngoài nước

Nội dung của luận án

Luận án gồm 04 chương:

Chương 1 Trình bày tổng quan về các vấn đề trong điều khiển rô bốt nói chung,

điều khiển rô bốt s dụng thông tin hình ảnh từ camera và đặc biệt là s dụng hai camera để đưa ra định hướng nghiên cứu của luận án

Chương 2 Trình bày mô hình động học của hệ pan-tilt 2 camera Xây dựng bộ

điều khiển động học điều khiển hệ thống bám mục tiêu di động với nhiều tham số bất đinh trong mô hình toán học Bộ điều khiển được xây dựng dựa trên phương pháp điều khiển PD kết hợp với mạng nơ ron RBF s dụng thuật học online để bù các tham số

bất định Thuật toán được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định Lyapunov và mô phỏng kiểm chứng trên Matlab simulink

Kết quả của các nghiên cứu trong chương này được công bố trong tạp chí Tin học và điều khiển, tạp chí Khoa học công nghệ - Đại học Thái Nguyên và trong kỷ yếu hội nghị toàn quốc về tự động hóa VCCA 2013:

, Pham Thuong Cat (2015), “A new control method for stereo visual servoing system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol

31 (2), pp 107 – 122

, Phạm Thượng Cát, Bùi Tuấn Anh (2013), “Phương pháp điều khiển hệ servo

thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển

và Tự động hoá - VCCA-2013, Đà N ng, pp 375 - 382

, “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr 41-46

Chương 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh

vuông giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp Xây dựng mô hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động Bộ điều khiển s dụng mang nơ ron với các tham số đã được tối ưu Mô hình và thuật toán điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm nhi u ngoài và các yếu tố bất định trong mô hình động lực học Tính ổn định tiệm cận của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và

mô phỏng trên Matlab

Kết quả nghiên cứu của chương này được tác giả công bố trên tạp chí quốc tế về

x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014:

, “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”,

International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp 45 – 61

, Pham Thuong Cat (2014), “Robust visual tracking control of pan-tilt – stereo camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173

Chương 4 Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ

pan-tilt mang dụng 2 camera Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm

01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối

thiểu cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rô bốt di động Trong

đó, hệ động lực học của toàn hệ được tổng hợp trong một phương trình Các thuật toán được chứng minh và mô phỏng trên Matlab, cả hai phương pháp đều cho kết quả bám mục tiêu di chuyển tốt nhưng so với phương pháp trượt thì phương pháp điều khiển tối

ưu cho kết quả tốt hơn sai số bám mục tiêu

Các kết quả nghiên cứu được tác giả công bố trong 2 kỷ yếu hội thảo quốc tế về

cơ điện t & điều khiển thông minh AIM trong danh mục hội thảo IEEE, kỷ yếu hội thảo Springer ICTA:

, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated

mobile robot – pan-tilt – stereo camera”, Advanced Intelligent Mechatronics

AIM IEEE Conference, Banff, Canada July 12-15, pp 530 – 535

, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking

Target used Mobile Robot-pan-tilt-stereo camera system”, International

Conference on Advances in Information and Communication Technology, ICTA, Thai Nguyen, Dec 12-14, pp 217 – 227

CHƯƠNG 1 TỔNG QUAN

1.1 Đặt vấn đề

Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt

s dụng thông tin hình ảnh như: điều khiển thích nghi, điều khiển tối ưu, tuyến tính hóa phản hồi hay điều khiển mờ, mạng nơ ron đã được công bố Đối với việc theo dõi mục tiêu di chuyển, việc s dụng một hay hai camera đều khả dụng nhưng để tính toán khoảng cách tới mục tiêu thì việc s dụng 2 camera sẽ thuận tiện hơn, hơn nữa việc dùng 2 camera sẽ cho khả năng quan sát và góc nhìn tốt hơn một camera Đối với việc

s dụng thông tin hình ảnh để điều khiển rô bốt di chuyển thì việc s dụng 2 camera sẽ cho không gian theo dõi mục tiêu rộng hơn, tính được tọa độ 3D của mục tiêu từ đó giúp điều khiển rô bốt di chuyển d dàng hơn

Việc điều khiển rô bốt s dụng thông tin hình ảnh stereo camera để bám mục tiêu di động còn một số khó khăn như tham số bất định trong mô hình rô bốt và camera hay ma trận Jacobian ảnh của hệ stereo camera không vuông là nguyên nhân của các điểm kỳ dị khi lấy nghịch đảo ma trận này bên cạnh đó vấn đề tối ưu hóa tham số điều khiển cũng còn nhiều điểm cần cải thiện Trong việc điểu khiển rô bốt di động kết hợp với hệ thống theo dõi mục tiêu di chuyển trên còn một số khó khăn như việc kết hợp điều khiển động lực học của hai rô bốt hay điều khiển tối ưu để hệ thống hoạt động hiệu quả nhất

Như vậy để điều khiển hệ thống rô bốt s dụng stereo camera hoạt động được tốt hơn thì vấn đề đặt ra là:

Thứ nhất là: Phát triển các phương pháp điều khiển hệ thống rô bốt s dụng thông tin hình ảnh trong việc bám mục tiêu di động khi tồn tại các tham số bất định

Thứ hai là: Phải tìm ra cách thức xây dựng ma trận Jacobian ảnh là ma trận vuông cũng như cách để tối ưu hóa các tham số điều khiển trong hệ thống bám mục tiêu di động để hệ thống hoạt động tốt nhất

Thứ ba là: Phát triển một số phương pháp điều khiển hệ thống kết hợp rô bốt di động với rô bốt mang hai camera bám mục tiêu di động để vừa có khả năng bám mục tiêu vừa có khả năng di chuyển tới gần mục tiêu trong không gian

Nếu mục tiêu chỉ di chuyển trong một mặt phẳng biết trước giới hạn di chuyển hoặc ta chỉ cần xác định hướng nhắm tới mục tiêu thì một camera cố định là đủ để lấy các thông số về vị trí hay hướng tới mục tiêu đó Nhưng khi cần xác định tọa độ của mục tiêu trong không gian 3D (biết trước giới hạn) hoặc ngoài thông tin về hướng ta cần thông tin về khoảng cách mà không cần thêm một thiết bị đo khác thì việc s dụng stereo camera cố định là cần thiết

Trong thực tế các đối tượng theo dõi thường di chuyển trong không gian không xác định trước được giới hạn, do vậy ngoài việc s dụng camera thì các hệ thống theo dõi, quan sát thường s dụng thêm hệ pan-tilt để mang camera quay quét giúp không gian theo dõi rộng hơn Nếu hệ thống rô bốt mang một camera cho phép ta theo dõi và xác định vị trí của đối tượng khi biết trước mặt phẳng di chuyển hoặc phải dùng thêm máy đo khoảng cách thì hệ pan-tilt stereo camera cho phép ta xác định được cả ba thông số mục tiêu đồng thời Tuy nhiên khi s dụng hệ pan-tilt stereo camera thì việc xây dựng bài toán động học cho hệ thống còn gặp nhiều vấn đề như sự suy biến của

ma trận Jacobian ảnh Các tham số bất định của hệ thống và đặc biệt là thông số nội tại của hai camera dùng trong hệ thống cần phải được biết trước

Trong bài toán theo dõi và tiếp cận mục tiêu di chuyển thì ngoài hệ pan-tilt stereo camera trên ta cần có một rô bốt di động Để kết hợp điều khiển hai rô bốt và camera để vừa theo dõi mục tiêu vừa di chuyển theo mục tiêu ta cần xây dựng hệ động lực học cho toàn hệ thống và xây dựng các thuật toán điều khiển hợp lý để kết hợp điều khiển toàn bô hệ thống

1.2 Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh

1.2.1 Tình hình nghiên cứu trong nước

Điều khiển rô bốt s dụng thông tin hình ảnh cũng được nhiều tác giả Việt Nam quan tâm trong hơn 15 năm tr lại đây Một số tác giả tập trung vào nghiên cứu phát triển thuật toán điều khiển rô bốt s dụng thông tin hình ảnh từ 1 camera [7], [2], [4], [6], đặc biệt được PGS.TSKH Phạm Thượng Cát tổng hợp trong sách [8] về điều khiển rô bốt công nghiệp s dụng camera Tuy nhiên để điều khiển rô bốt di động s dụng thông tin hình ảnh thì s dụng 2 camera sẽ cho thông tin đầy đủ hơn về mục tiêu bao gồm hướng và khoảng cách [1] Việc s dụng 1 camera trong điều khiển rô bốt

thích hợp với các bài toán theo dõi hướng của mục tiêu mà không cần thông tin khoảng cách tới mục tiêu hoặc khoảng cách đã biết trước [10] Trong bài toán bám mục tiêu di động, việc s dụng 1 camera thường phải kết hợp với 1 cảm biến để đo khoảng cách riêng [3] hoặc phải có thêm các điều kiện ràng buộc cụ thể [4] thì việc điều khiển rô bốt bám mục tiêu mới thực hiện được Do vậy, s dụng 1 camera trong bài toán điều khiển rô bốt di động còn gặp nhiều hạn chế

Trong các nghiên cứu trong lĩnh vực này thì nhóm tác giả Ngô Mạnh Tiến [2], [3] tập trung đi xây dựng phần cứng cho hệ pan-tilt mang 1 camera để bám mục tiêu di động với thuật toán điều khiển thích nghi mô hình mẫu Các kết quả nghiên cứu của nhóm tác giả Phạm Đức Long [7] – ĐH Công nghệ thông tin và truyền thông Thái Nguyên thì tập trung vào việc x lý ảnh song song CNN cho hệ rô bốt di động s dụng

1 camera thực hiện các nhiệm vụ khác nhau Nhóm tác giả Nguy n Văn Tính và các cộng sự [5], [57], [58], [73], [74] viện Công nghệ thông tin viên Hàn lâm khoa học Việt Nam tập trung vào xây dựng các thuật toán điều khiển cho hệ kết hợp rô bốt di động,hệ pan-tilt mang 1 camera tiếp cận mục tiêu trên mặt sàn Ngoài ra là các thuật toán điều khiển rô bốt di động bám quỹ đạo khi có xét tới các yếu tố trơn, trượt của bánh xe và các yếu tố bất định Nhóm tác giả Nguy n Tiến Kiệm và các cộng sự trường Đại học Công nghiệp Hà Nội [45], [46] tập trung vào xây dựng thuật điều khiển cho hệ rô bốt di động,hệ pan-tilt mang 1 camera bám mục tiêu khi xét tới các yếu tố bất định trong mô hình và yếu tố trượt ngang, dọc của bánh xe trong quá trình di chuyển Cũng nghiên cứu về hệ rô bốt trên nhưng trong luận án của mình, tác giả s dụng hệ stereo camera và tập trung vào các yếu tố bất định như ma trận Jacobian ảnh cũng như tập trung vào bài toán theo dõi và bám mục tiêu di động

Để điều khiển rô bốt s dụng thông tin hình ảnh thì có 2 vấn đề lớn đặt ra: một

là nghiên cứu x lý ảnh để trích chọn đặc trưng và x lý để đưa ra các thông tin cần thiết như hướng, khoảng cách cho rô bốt Nếu mục tiêu là cố định và n m trên mặt phẳng [7] thì ta có thể tính toán được vị trí, khoảng cách và hướng của mục tiêu trong bài toán cụ thể này hoặc phải có thêm các kỹ thuật x lý ảnh khác như lọc mẫu và so sánh [9] để xác định vị trí mục tiêu cho rô bốt trong bài toán xác định vị trí quả cà chua chín của tác giả Quách Tuấn Văn Các nghiên cứu về hệ thống định vị 3D dùng 2 camera cũng đã được nghiên cứu trong thời gian gần đây Cụ thể là trong kết quả nghiên cứu của nhóm tác giả Đặng Tâm Trung [1] đã tập trung vào phần x lý ảnh nói

chung để xây dựng hệ thống định vị 3D s dụng stereo camera, còn ứng dụng cụ thể trong bài toán điều khiển rô bốt phải kể tới việc chế tạo rô bốt s dụng trong điều khiển giao thông của nhóm tác giả Tư ng Phước Thọ [12] So với việc s dụng 1 camera thì dùng 2 camera cho kết quả tốt hơn với khả năng định vị mục tiêu trong không gian 3D với không gian quan sát lớn hơn Đó là sự kế thừa từ tự nhiên vì đa số các loài động vật đều có 2 mắt chứ không phải 1 mắt

Vấn đề lớn thứ 2 là việc s dụng các thông tin về mục tiêu thu được để điều khiển rô bốt [4], [13] Các nghiên cứu trong nước về điều khiển rô bốt s dụng thông tin hình ảnh cũng đã nghiên cứu nhiều thuật toán điều khiển khác nhau để điều khiển

rô bốt mang 1 camera bám mục tiêu từ các bộ điều khiển cổ điển tới các phương pháp điều khiển hiện đại

Bộ điều khiển cổ điển PID được dùng trong các bộ điều khiển bệ pan-tilt mang camera theo dõi mục tiêu như bộ điều khiển PD hay có thêm thành phần bù trọng trường [2] Kết quả mô phỏng việc bắt mục tiêu vị trí bất kỳ đều cho kết quả tốt còn khi mục tiêu di chuyển liên tục theo các quỹ đạo khác nhau thì còn cần phải cải tiến Nếu s dụng 1 camera việc theo dõi mục tiêu thực hiện tốt trong hầu hết các trường hợp nhưng khoảng cách lại cần dùng thêm một cảm biến khác do vậy khi rô bốt hoạt động trong các môi trường phi cấu trúc thì việc bám các đối tượng sẽ khó khăn hơn Nếu dùng 2 camera ta sẽ có đầy đủ tham số tọa độ mục tiêu trong không gian nhưng một số trường hợp bị sai số lớn thậm chí mất bám Lý do là ma trận Jacobian ảnh với

hệ 2 camera là (3x6) do vậy trong một số phép biến đổi lấy giả nghịch đảo không khả nghịch sẽ dẫn tới suy biến ma trận Jacobian của hệ và gây ra các sai số lớn

Phương pháp điều khiển mờ và mạng nơ ron trong các bài toán điều khiển rô bốt s dụng thông tin hình ảnh cũng được s dụng nhiều trong thời gian gần đây [7] để loại bỏ ảnh hư ng của các tham số bất định trong mô hình và cho kết quả tốt hơn so với các phương pháp điều khiển PD thông thường Hệ thống họat động tốt hơn nhưng cũng không triệt tiêu được ảnh hư ng do sự suy biến của ma trận Jacobian ảnh gây ra khi s dụng 2 camera Phương pháp điều khiển nơ ron còn được s dụng để làm giảm

sự ảnh hư ng của các cơ cấu chấp hành [6] như ma sát khớp, độ rơ của khớp

Bộ điều khiển thích nghi trong việc điều khiển rô bốt s dụng thông tin hình ảnh cho kết quả khá tốt [45] khi có sự bất định trong mô hình và các tham số đầu vào của bộ điều khiển không chắc chắn như tốc độ di chuyển của mục tiêu được ước lượng

b ng x lý ảnh và tốc độ tương đối của nó cũng thay đổi khi tốc độ của rô bốt di động thay đổi hay khi bị tác động b i nhi u Bộ lọc Kalman được s dụng để giảm ảnh

hư ng của nhi u trong việc thu nhận ảnh [3]kết hợp với thuật toán bám ảnh Camshift

nh m nâng cao chất lượng bám trong các hệ thống rô bốt tự động tìm kiếm và bám bắt mục tiêu Hệ thống cho kết quả bắt mục tiêu tốt, giảm được nhi u trong quá trình tìm kiếm mục tiêu nhưng nhi u xác định khoảng cách tới mục tiêu khi s dụng thêm 1 cảm biến siêu âm thì chưa được nhắc tới

Bài toán điều khiển rô bốt s dụng 1 hay 2 camera đã được nhiều tác giả trong nước nghiên cứu và phát triển Trong bài toán s dụng 1 camera chắc chắn vẫn còn nhiều vấn đề cần giải quyết như tính chính xác của việc s dụng cảm biến khoảng cách riêng Việc s dụng 2 camera khi đó sẽ giải quyết được vấn đề trên nên việc s dụng 2 camera trong các bài toán điều khiển rô bốt vẫn còn nhiều vấn đề cần nghiên cứu, đặc biệt là các thuật toán điều khiển rô bốt s dụng thông tin hình ảnh từ 2 camera hay sự bất định trong mô hình rô bốt – stereo camera, sự suy biến của ma trận Jacobian ảnh

1.2.2 Tình hình nghiên cứu ngoài nước

Trong điều khiển rô bốt nói chung và điều khiển rô bốt s dụng thông tin hình ảnh thu từ camera nói riêng, việc tìm được phương pháp điều khiển phù hợp để có thể kết hợp được thông tin từ camera và hệ rô bốt là một bài toán phức tạp Bài toán điều khiển rô bốt di động s dụng thông tin hình ảnh từ camera có thể phân loại như sau [34], [29]:

Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh

Điều khiển rô bốt s dụng thông tin hình ảnh

S dụng 1 camera S dụng 1 camera và máy đo khoảng cách S dụng 2 camera

Camera cố định

Camera đặt trên robot có thể di động được

Hệ thống camera bám mục tiêu di động theo cấu trúc có thể phân hệ thành nhóm có 1 hoặc 2 camera cố định hoặc điều khiển được Hệ thống có 1 camera của nhóm tác giả Oscar, N., Ricardo, C., [59], Kelly, R Và cộng sự [43], hay trong các công bố [71], [76], [77], [78] … chỉ xác định được hướng của mục tiêu nên cần s dụng thêm một máy đo khoảng cách hoặc chỉ đo được khoảng cách trong một số bài toán có ràng buộc cụ thể [56] Để giải quyết vấn đề khoảng cách trong các môi trường phi cấu trúc thì việc s dụng 2 camera là một giải pháp, tác giả Masaaki Shibata, Hideki Eto, Masahide Ito [37], [49], Wook bahn [82], Tae-II K [29], hay trong các công bố [63], [28], [86] … đã s dụng hai camera trong các nghiên cứu của mình Thông số 3D về vị trí mà hướng của mục tiêu trong đó có khoảng cách là hoàn toàn xác định được từ ảnh trên các camera [32], [50] Với nhóm camera di động, các camera quay quét với các góc khác nhau [65], [34], [29] có một ưu điểm là có thể điều khiển hệ camera di chuyển bám theo đối tượng để đối tượng luôn trung tâm của ảnh thu được nên không gian quan sát lớn, thay đổi được so với hệ camera gắn cố định trên

2 1 2

2 1 2

2 2 1

1 1

00

;0

ta sẽ thu được ma trận Jacobian của hệ thống hệ pan-tilt – 1 camera là vuông và khả nghịch Nhưng khi s dụng 2 camera thì ma trận Jacobian ảnh của hệ sẽ là (3x6) [20], [37], [81]:

Phương pháp điều khiển rô bốt nói chung và điều khiển rô bốt s dụng thông tin hình ảnh nói riêng về cơ bản có thể chia làm hai phương pháp chính là điều khiển động học và điều khiển động lực học Tuy nhiên trong m i phương pháp lại có rất nhiều các

kỹ thuật điều khiển khác nhau từ cơ bản tới nâng cao hay kết hợp với các phương pháp điều khiển hiện đại khác Trong những năm gần đây rất nhiều các công bố s dụng các phương pháp điều khiển động lực học kết hợp với các thành phần điều khiển mạng rơ ron, điều khiển trượt, điều khiển thích nghi và bền vững, điều khiển tối ưu… giúp hệ

rô bốt mang camera hoạt động ổn định hơn

Một cách khái quát ta có thể chia các phương pháp điều khiển thành các dạng sau [19], [36], [41], [48], [55]:

Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh

Để điều khiển rô bốt mang stereo camera bám mục tiêu di động hay cánh tay rô bốt mang camera dõi theo chuyển động của mục tiêu thì việc đầu tiên cần phải giải quyết là làm sao để thu được ảnh từ các camera và x lý nó thành các tham số điều khiển rô bốt Cụ thể, trong công bố của nhóm tác giả Chengxian Zhou, Wei Fu [23], tại hội nghị ICEOE, 2011, và nhóm tác giả Huiguang, L., Mei, J., Liying, Z [37], tại

kỷ yếu hội nghị IEEE, 2008 thì các vấn đề về cách thu ảnh và phương pháp tính toán

ra các tham số điều khiển rô bốt đã được trình bày cụ thể Các nghiên cứu trên đã tính toán được các thông số tọa độ của mục tiêu, tuy nhiên việc s dụng các thông số này trong các bài toán điều khiển cụ thể trên các rô bốt cụ thể thì vẫn cần thêm các kỹ thuật biến đổi tiếp theo

Cho tới nay trên thế giới đã có nhiều công bố về điều khiển rô bốt mang camera bám hoặc theo dõi các mục tiêu chuyển động Tác giả Hiroyuki Ukida và các cộng sự

tay rô bốt 6 bậc tự do mang stereo camera bám mục tiêu di động Nghiên cứu s dụng phương pháp lọc phần t và so sánh mẫu để phát hiện sự chuyển động của đối tượng Tuy nhiên do phương pháp điều khiển còn đơn giản nên kết quả còn có thể cải thiện được Nhóm tác giả Widodo Budiharto của đại học BINUS và viện công nghệ Indonesia [81] đã nghiên cứu hệ thống điều khiển chuyển động cho rô bốt dùng

Tối ưu tham số

Tối ưu đầu ra

Thuật toán điều khiển rô bốt sử dụng thông tin hình ảnh

Phương pháp điều khiển hiện đại

Điều khiển trượt

Kết hợp với mạng nơ ron nhân tạo

Điều khiển tối

ưu và thích nghi

Phương pháp hiện đại kết hợp mạng

nơ ron

Phương pháp cổ điển kết hợp mạng nơ ron

stereo camera cùng với bộ lọc Kalman để loại bỏ nhi u ảnh thu từ hai camera

Hệ thống được lập trình để đi tới vị trí của một khách hàng dựa trên thuật toán nhận diện khuôn mặt PCA đã có và tập trung chính vào việc điều khiển rô bốt tránh các vật cản trên đường tới đích dựa trên vị trí các vật cản cố định cùng với hướng và tốc độ di chuyển của các vật cản di động để đưa ra quyết định tránh sang trái, sang phải hay dừng lại Cũng dùng 2 camera nhưng nhóm tác giả Masaaki Shibata, Hideki Eto, Masahide Ito phòng nghiên cứu trường đại học Seikei Nhật Bản [49] đã phát triển hệ thống theo dõi các đối tượng chuyển động tốc độ cao Hệ thống s dụng các camera có tốc độ cao cùng với các bộ điều khiển tác động nhanh để xoay các camera hướng về đối tượng một cách riêng lẻ, các camera thu nhận ảnh và s dụng kỹ thuật lọc Kalman để tìm ra đối tượng cần theo dõi Tuy nhiên do cần tốc độ đáp ứng nhanh nên bộ điều khiển đơn giản được s dụng, chưa xét tới các yếu tố bất định nên các kết quả còn có thể cải tiến được

Trong m i mô hình rô bốt luôn tồn tại các bất định, tác giả C.S Kim và các đồng nghiệp [26] trong báo cáo tại hội nghị Kỹ thuật điều khiển tự động hóa lần thứ 4 IEEE Bridge Marriott, Washington DC, 2008 đã giải quyết vấn đề bất định trong mô hình rô bốt 5 bậc tự do nhưng chỉ điều khiển 2 khớp pan-tilt mang 1 camera và sự bất định trong ma trận Jaciban ảnh khi s dụng 1 camera Các kết quả mô phỏng với bộ điều khiển có thêm các thành phần bù cho kết quả tốt khi mục tiêu cố định Tuy nhiên khi mục tiêu di chuyển thì chưa được xét tới Sự bất định trong ma trận Jacobian ảnh của hệ stereo được Cai, C., và các cộng sự [20] đưa ra giải quyết trong báo cáo tại hội nghị IEEE/RSJ (IROS), 2014 Nghiên cứu đã đưa ra cách xây dựng ma trận Jacobian ảnh vuông cho hệ stereo camera đặt cố định từ đó lấy các thông số để điều khiển rô bốt gắn cố định gắp đối tượng Tuy nhiên với bài toán hệ stereo camera đặt trên tay máy rô bốt hay rô bốt di động để bám mục tiêu thì đây cũng là một trong những vấn đề cần giải quyết

Kỹ thuật điều khiển động học được Antonelli [16], Bruno S [19] và Tae-Il et al [29], [62] nhắc tới trong các kết quả nghiên cứu của mình Trong phương pháp này thông tin hình ảnh được dùng để xác định vị trí, hướng, và tốc độ di chuyển của mục tiêu từ đó tính toán ra tốc độ các khớp của rô bốt Trong kỹ thuật điều khiển động học

yếu tố lực mô men không được đề cập tới, các cơ cấu chấp hành được coi như thực thi được các yêu cầu của bộ điều khiển Điều này trong thực tế còn có nhiều điểm chưa hợp lý khi các cơ cấu chấp hành có các tham số động lực học khác nhau hay bộ điều khiển đưa ra các tín hiệu điều khiển thay đổi lớn hay liên tục mà các cơ cấu không thể đáp ứng được

Phương pháp động lực học được hầu hết các tác giả s dụng nhiều trong các kết quả nghiên cứu Trong đó có Cai et al [20], Sho-Tsung và cộng sự [64], T.Hu và cộng

sự [69], Tính NV và cộng sự [56], [57], hay trong các công bố [17], [26], [39], [72], [79], [85], v.v So với phương pháp động học thì phương pháp động lực học có xét tới các yếu tố lực moment do đó thuật toán điều khiển đặt ra cho các rô bốt có tính ứng dụng tốt hơn Tuy nhiên việc xác định được chính xác các tham số động lực học cũng

là một yếu tố ảnh hư ng không nhỏ tới độ đáp ứng của thuật toán Nhiều tác giả đã s dụng các phương pháp mềm khác để x lý vấn đề này như dùng bộ điều khiển mờ, nơ ron, các phương pháp điều khiển nâng cao trình bày dưới đây sẽ nói kỹ hơn về các

kỹ thuật mềm đó

Kỹ thuật điều khiển PID là một kỹ thuật điều khiển cổ điển nhưng không vì thế

mà nó không được s dụng, Huiguang, L [37], đã s dụng bộ điều khiển PID để điều khiển rô bốt mang 2 camera trong bài toán xác định mục tiêu hay trong [62] thuật điều khiển PID cũng được dùng trong bài toán điều khiển rô bốt bám mục tiêu di động Tuy vậy, phương pháp điều khiển cổ điển này cũng có nhiều hạn chế như việc tìm ra các thông số PID tối ưu hay việc đáp ứng của các cơ cấu chấp hành khi tham số mô hình là không thể xác định chính xác hoàn toàn Hơn nữa trong thực tế các yếu tố bất định trong mô hình và nhi u từ bên ngoài luôn tồn tại làm cho phương pháp điều khiển cổ điển này có nhiều hạn chế

Trong những năm gần đây kỹ thuật điều khiển nơ ron để giảm sự ảnh hư ng của các tham số bất định trong mô hình rô bốt có kết hợp với các phương pháp thông dụng và các phương pháp khác được s dụng nhiều Điều này thể hiện qua các kết quả nghiên cứu của Chenguang [25], tác giả s dụng phương pháp điều khiển thông dụng

và kết hợp với mạng nơ ron và chứng minh hệ ổn định toàn cục, các tác giả Hashimoto [33], Thuận H.T và cộng sự [68], Cát PT và cộng sự [21], Kiệm NT và cộng sự [11] cũng đã s dụng phương pháp điều khiển nơ ron trong bài toán điều khiển rô bốt và thu được các kết quả tốt So với các bộ điều khiển chỉ s dụng phương pháp truyền

thống thì ảnh hư ng của các tham số bất định trong mô hình tới chất lượng đầu ra nhỏ chỉ còn trong 1 khoảng thời gian ngắn khi thay đổi trạng thái Có rất nhiều phương pháp điều khiển s dụng các mạng nơ ron khác nhau, thuật học khác nhau từ các thuật học dựa trên các mẫu có s n Kim Y.H [47] hay các thuật học online [21], trong đó nhiều kết quả mới được phát triển dựa trên nghiên cứu cơ bản về mạng nơ ron của Cotter NE [15], và trong các báo cáo [22], [52], [61]

Cũng là dùng mạng nơ ron để triệu tiêu các ảnh hư ng của các tham số bất định trong mô hình cũng như nhi u, nhưng nhiều tác giả lại kết hợp kỹ thuật nơ ron này với các phương pháp điều khiển hiện đại để thu được kết quả tốt hơn hoặc thực hiện tối ưu tham số trong mô hình mạng nơ ron Tác giả Yang Z và cộng sự [83], WenYu [80] đã

s dụng mạng nơ ron truyền thẳng RBF kết hợp với việc tối ưu các tham số để có được kết quả tốt Tác giả Chenguang và cộng sự [24] hay Kim YH [47] thì kết hợp phương pháp điều khiển tối ưu kết hợp thêm với mạng nơ ron để có được kết quả tốt theo nhiều tham số tối ưu Murata và cộng sự [54] cũng s dụng kỹ thuật điều khiển nơ ron nhưng có tối ưu thêm trong lớp n của mô hình mạng nơ ron để cho ra những kết quả mới Tuy vậy trong phương pháp điều khiển mạng nơ ron vẫn còn nhiều điểm cần nghiên cứu, điển hình là việc kết hợp với các giải thuật khác để giúp mạng nơ ron học nhanh hơn hay dùng thêm một số giải thuật trong việc tính toán các tham số của mô hình mạng nơ ron giúp chúng tối ưu hơn trong một bài toán điều khiển cụ thể

Các bất định trong mô hình rô bốt bao gồm các tham số không chắc chắn như

ma trận Jacobian ảnh hay của rô bốt hay các đại lượng đo lường và ước lượng khác như mô men quán tính, mô men hướng tâm, mô men trọng trường Các tham số bất định này có đặc trưng là khi đo lường không chính xác tuyệt đối có thể thay đổi lên xuống trong 1 khoảng nhất định nhưng bị giới hạn, hay còn gọi là bị chặn Do đó ta có thể s dụng mạng nơ ron để bù các bất định này đối với hệ thống [75]

Bộ điều khiển trượt cũng là bộ điều khiển được nhiều tác giả s dụng trong điều khiển rô bốt s dụng thông tin hình ảnh [78] Hiroyuki [34] đã s dụng bộ điều khiển trượt trong rô bốt bám đối tượng di động s dụng 2 camera có ống kính zoom tự động

và rô bốt 6 bậc tự do nhưng tác giả chỉ dùng 2 khớp pan-tilt Ján Vaščák [40] cũng đã phát triển bản đồ nhận thức để tìm ra mặt trượt trong phương pháp điều khiển trượt Oscar N và cộng sự [59] cũng s dụng điều khiển trượt để điều khiển tay máy rô bốt

s dụng thông tin hình ảnh Yang Fang và cộng sự [84] đã s dụng điều khiển trượt

trong điều khiển rô bốt tự hành có s dụng camera Tuy nhiên hệ động lực camera và

rô bốt tự hành trong [84] là tách rời nhau Đây cũng là một trong những điểm cần cải tiến để hệ rô bốt tự hành và hệ servo thị giác hoạt động phối hợp với nhau chính xác hơn

Điều khiển tối ưu và bền vững cũng là một trong những kỹ thuật được nhiều tác giả quan tâm và s dụng trong các nghiên cứu của mình E.M Guti´ errez-Arias và cộng sự [31] đã phát triển bộ điều khiển tối ưu trên rô bốt tự hành và cho kết quả tốt Trong kỹ thuật điều khiển tối ưu cũng có rất nhiều phương pháp khác nhau, Điển hình nhất là phương pháp tối ưu bình phương tối thiểu LQR được tác giả Marian Baroudi

và cộng sự [51] s dụng trong điều khiển tay máy 1 bậc tự do, Jian Fang và cộng sự [38] s dụng trong điểu khiển rô bốt di chuyển b ng 2 bánh tự cân b ng S dụng thêm

bộ lọc Gaussian trong bộ điều khiển tối ưu LQR, Jur van den Berg và cộng sự [42] đã phát triển phương pháp điều khiển LQG trong việc điều khiển các rô bốt di chuyển tránh va chạm khi tín hiệu của các cảm biến là không chắc chắn hay có bất định trong

mô hình [71] Các kỹ thuật điều khiển tối ưu được Lewis và các cộng sự tổng hợp thành cuốn sách về các phương pháp điều khiển tối ưu [48]

Trong kỹ thuật điều khiển tối ưu thì việc phát triển các thuật toán để tìm các tham số đầu vào hoặc tham số điều khiển tối ưu cũng được nhiều tác giả nghiên cứu Danielle và cộng sự [27] s dụng thuật toán tối ưu hóa bầy đàn và thuật toán luyện kim, Radu-Emil Precupa và các cộng sự [60] s dụng tối ưu cho các tham số đầu vào

mô hình mờ Takagi-Sugeno-Kang, hay Mostafa Z.A và cộng sự [53] s dụng thuật toán tiến hóa vi sai đa mục tiêu và kỹ thuật đột biến mới để tìm ra các tham số tối ưu cho kết quả tốt hơn Đặc biệt Shiyuan Q [66] còn phát triển các kỹ thuật điều khiển rô bốt kết hợp thị giác máy và phép giao tiếp với não người điều khiển

S dụng tối ưu cho các tham số đầu ra cũng là một hướng được quan tâm Diederik Verscheure và cộng sự [30] phát triển thuật toán để điều khiển rô bốt bám đường với thời gian tối ưu Sho-Tsung K và cộng sự [64], [70] cũng phát triển rô bốt

di động kết hợp rô bốt mang camera có hướng và tầm nhìn theo dõi đối tượng đáp ứng thời gian thực

n định Lyapunov được s dụng để chứng minh sự ổn định của toàn hệ rô bốt

và bộ điều khiển trong hầu hết các nghiên cứu Keith Dupree, … [44], Cat pt, … [13], Tuy nhiên cũng có một số tác giả s dụng phương pháp Hamilton để chứng minh sự

ổn định của hệ thống như Bo Y [18]

Hiện nay, có nhiều nhóm nghiên cứu trên thế giới đã đạt được những thành tựu đáng kể về điều khiển rô bốt di động Nhóm tác giả Widodo Budiharto, Ari Santoso, Djoko Purwanto, Achmad Jazidie của đại học Binus và viện công nghệ Indonesia đã nghiên cứu hệ thống điều khiển chuyển động cho rô bốt dùng nhiều camera cùng với

bộ lọc Kalman để loại bỏ nhi u ảnh thu từ camera cho độ tin cậy cao Rô bôt dựa trên

hệ thống này có tên là Srikandi III [81] cho tốc độ chuyển động nhanh, độ chính xác cao trong phòng thí nghiệm Cũng dùng 2 camera tốc độ cao nhóm tác giả Masaaki Shibata, Hideki Eto, Masahide Ito phòng nghiên cứu trường đại học Seikei Nhật Bản

đã phát triển hệ thống tìm đường đi cho rô bốt tốc độ cao [49] Camera hữu dụng trong tìm đường nhưng nó cũng rất hữu dụng trong việc theo dõi chuyển động của các đối tượng, nhóm tác giả Hiroyuki Ukida, Masayuki Kawanami and YasuhiroTerama của trường đại học Waseda – Tokyo – Nhật bản đã phát triển hệ thống theo dõi chuyển động của đối tượng 3D Hệ thống dựa trên sự so sánh các ảnh thu được và dùng phương pháp lọc phần t để phát hiện sự chuyển động của đối tượng [35] Trong các đối tượng rô bốt di động thì rô bốt tự hành cũng là một thành phần, nhóm tác giả Tae-

Il Kim, Wook Bahn, Changhun Lee, Tae-jae Lee, Muhammad Muneeb Shaikh and Kwang-soo Kim của Hàn Quốc đã phát triển hệ thống tìm đường tới mục tiêu cho rô bốt tự hành dựa trên hệ thống stereo camera, hệ thống này luôn hướng tới mục tiêu cùng với đó hệ thống sẽ tính toán các góc, độ nghiêng từ đó đưa ra được vị trí thực tế của mục tiêu trên hệ tọa độ để tìm được đường đi tới đích[67]

1.3 Các vấn đề nghiên cứu của luận án

1.3.1 Phát triển phương pháp điều khiển r t ng th ng tin hình nh

Các phương pháp điều khiển rô bốt s dụng thông tin hình ảnh từ 1 camera đã được một số tác giả trong nước nghiên cứu Các hạn chế về tính toán khoảng cách cũng đã được nhiều tác giả trên thế giới khắc phục với việc s dụng 2 camera Nếu 2 camera đặt trên rô bốt một cách cố định [81] thì việc điều khiển sẽ đơn giản hơn do số bậc tự do ít hơn, nhưng không gian quan sát nhỏ không linh động phù hợp với các trường hợp tiếp cận mục tiêu cố định Để giúp rô bốt linh hoạt hơn camera có thể được đặt trên 1 tay máy rô bốt Cụ thể, trong quá trình nghiên cứu, tác giả đã tìm hiểu về

phương pháp điều khiển hệ pan-tilt 2 bậc tự do s dụng hệ servo thị giác 2 camera cho phép xác định và tính toán vị trí 3D của mục tiêu Tác giả đã xây dựng mô hình động học của hệ hệ pan-tilt và xây dựng phương pháp điều khiển cổ điển và kết hợp với mạng nơ ron để thu được kết quả tốt hơn bao gồm:

- Phương pháp điều khiển PID cho hệ động học hệ pan-tilt mang 2 camera theo dõi mục tiêu di động

- Phát triển phương pháp điều khiển kết hợp mạng nơ ron cho hệ động học hệ tilt mang 2 camera theo dõi mục tiêu di động để triệt tiêu các yếu tố bất định

pan-trong mô hình cũng như ma trận Jacobian ảnh J img và ma trận Jacobian rô bốt

J robot để có kết quả tốt hơn

Các thuật toán điều khiển đều được chứng minh ổn định b ng phương pháp ổn định Lyapunov Các kết quả mô phỏng trên Matlab cho thấy phương pháp điều khiển

có s dụng mạng nơ ron cho kết quả mô phỏng tốt hơn phương pháp thông thường Điều này cũng chỉ ra ảnh hư ng của các tham số bất định tới đáp ứng của hệ thống Tác giả trình bày nội dung chi tiết trong chương 2: “Phát triển một số phương pháp điều khiển hệ servo thị giác bám mục tiêu di động”

1.3.2 t c i ti n trong điều khiển h rvo th giác ám m c tiêu i đ ng

Một trong những yếu điểm của hệ rô bốt s dụng thông tin hình ảnh thị giác từ 2

camera là ma trận Jacobian ảnh J imag của hệ là 2x3 Ma trận không vuông này khi lấy nghịch đảo (giả nghịch đảo) trong các biến đổi của bộ điều khiển sẽ tồn tại các điểm

kỳ dị mà tại đó không thể lấy được ma trận nghịch đảo Trong quá trình mô phỏng tác giả cũng nhận ra được điều này khi mô phỏng điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di động giả định Cụ thể là khi mục tiêu di chuyển theo đường tròng thì

hệ hệ pan-tilt – 2 camera không thể bám theo và vượt qua được điểm – trên vòng tròn

Một số tác giả cũng nhận ra được điều này và có những cải tiến nhất định Tác

giả Cai C và cộng sự [20] đã xây dựng ma trận Jacobian ảnh J imag 3x3 cho hệ stereo camera đặt cố định tại 1 vị trí để theo dõi tọa độ của mục tiêu trong không gian biết trước từ đó điều khiển rô bốt tiếp cận mục tiêu Trong các kết quả khác ma trận Jacobian ảnh vẫn đóng một vai trò rất quan trọng Shibata, M [65] nhưng vẫn chưa được cải tiến

Nhận thấy điều này, tác giả đã có những cải tiến nhất định để xây dựng ma trận Jacobian ảnh vuông cho hệ rô bốt stereo camera có thể quay quét được trong bài toán bám mục tiêu di động trong không gian

Trong chương 3: “Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu

di động”, tác giả sẽ trình bày về mô hình 3D cho hệ 2 camera để có được ma trận Jacobian ảnh là vuông 3x3 Đồng thời trong chươngnày tác giả cũng phát triển kỹ thuật điều khiển hệ pan-tilt stereo camera từ động học trong chương1 lên động lực học trong chương2 và có kết hợp với kỹ thuật điều khiển nơ ron để giảm sự ảnh hư ng của các tham số bất định trong mô hình cũng như nhi u Với các đặc trưng của tham số bất định trong mô hình động học và động lực học n m trong giới hạn biết trước cũng như nhi u bên ngoài được giả thiết là bị chặn thì việc s dụng mạng nơ ron để làm giảm sự ảnh hư ng của các tham số bất định là hoàn toàn thực hiện được

Trong bộ điều khiển nơ ron chương3, một số tham số đã được cải tiến với giải

thuật di truyền GA-Genetic Algorithm để thu được kết quả tốt hơn Độ ổn định toàn

cục của hệ hệ pan-tilt stereo camera bám mục tiêu di động khi có sự ảnh hư ng của nhi u, các tham số bất định được chứng minh b ng phương pháp ổn định Lyapunov và

bổ đề Barbalat's lemma Các kết quả này sẽ được trình bày chi tiết trong chương3

1.3.3 Phát triển thu t toán điều khiển r t i đ ng ng th ng tin hình nh

Tác giả đã tiến hành tìm hiểu và xây dựng mô hình hệ động lực học cho hệ thống gồm hai camera gắn trên hệ pan-tilt Toàn bộ hệ thống trên được đặt trên một rô bốt có khả năng di chuyển với hai bánh chủ động Mô hình động lực học của hệ động lực với 4 bậc tự do là 2 bánh xe rô bốt và 2 khớp pan, tilt Bộ điều khiển cần xây dựng

để điều khiển các khớp và bánh xe để đạt được vị trí và hướng mong muốn cho rô bốt

di động cũng như các góc của khớp pan-tilt

Tác giả đi xây dựng 2 phương pháp điều khiển cho hệ thống: Phương pháp điều khiển tối ưu cho hệ thống rô bốt di động – pan-tilt – stereo camera vừa theo dõi mục tiêu vừa di chuyển bám theo mục tiêu theo phương pháp tối ưu bình phương tối thiểu Tham số tối ưu của hàm mục tiêu là sai số theo dõi, bám mục tiêu và năng lượng điều khiển Thứ hai là phương pháp điều khiển trượt kết hợp với phương pháp tính mô ment

để điều khiển hệ trên với sai số và năng lượng tiêu hao tối ưu

Các thuật toán đề xuất được mô phỏng b ng Matlab và chứng minh ổn định

b ng phương pháp ổn định Lyapunov và bổ đề Barbalat's lemma Các kết quả này sẽ được trình bày chi tiết trong chương4

1.4 Kết luận chương 1

Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả nhận thấy trong điều khiển rô bốt s dụng thông tin hình ảnh từ 2 camera còn một số vấn đề cần được nghiên cứu và phát triển như:

- Phát triển các phương pháp điều khiển rô bốt s dụng thông tin hình ảnh từ 2 camera có thể quay quét được theo các hướng ngang, dọc để nâng cao tính linh hoạt cho hệ thị giác 2 camera Rô bốt đơn giản nhất là hệ pan-tiltcó 2 bậc tự do có thể quay quét theo 2 hướng ngang và dọc

- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông giúp hệ stereo camera s dụng bệ pan-tilt có thể theo dõi các đối tượng chuyển động phức tạp

mà không bị các yếu tố suy biến khi lấy giả nghịch đảo của ma trận Jacobian ảnh (khi

ma trận này không vuông) tác động

- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong

mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu

tố bên ngoài

- Xây dựng mô hình động lực học cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rô bốt di động cũng như việc xây dựng các bộ điều khiển cho hệ nói trên

CHƯƠNG 2 PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ

DỤNG THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA

Hệ thống camera bám mục tiêu di động theo cấu trúc có thể phân hệ thành nhóm

có 1 hoặc 2 camera cố định hoặc điều khiển được Hệ thống có 1 camera [2], [3], [4] chỉ xác định được hướng của mục tiêu nên cần s dụng thêm một máy đo khoảng cách Nếu s dụng 2 camera [81], [49], [35], [67], [37], thì thông số khoảng cách hoàn toàn có thể xác định được từ ảnh trên các camera Với nhóm camera di động, các camera quay quét với các góc khác nhau [34], [65], [29] có một ưu điểm là có thể điều khiển hệ camera di chuyển bám theo đối tượng để đối tượng luôn trung tâm của ảnh thu được nên không gian quan sát lớn, thay đổi được so với hệ camera gắn cố định trên

Trong chương này, các góc pan-tilt được điều chỉnh sao cho ảnh mục tiêu luôn được duy trì vị trí mong muốn trên mô hình của ảnh thu được trên 2 camera EyeRIS 2.1 Hệ thống được thiết kế dựa trên mô hình bệ pan-tilt PTU-D48E-Series như trong hình 2.1 Nội dung chương này gồm 4 phần chính là xây dựng mô hình động học của

hệ rô bốt stereo bám mục tiêu di động, thiết kế thuật toán điều khiển hệ servo thị giác,

mô phỏng kiểm chứng và kết luận

Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ

2.1 Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di động với nhiều tham số bất định

Bệ pan-tilt PTU-D48E là một rô bốt hai bậc tự do có thể quay đồng thời theo hai hướng pan (xoay theo phương ngang) và tilt (xoay theo phướng đứng vuông góc với chân đế) Trong đó góc pan thay đổi được từ -1880

tới +1880, góc tilt từ -900 tới +300 Các khung tọa độ được gắn trên các khớp rô bốt và camera được mô tả trong hình 2.1 các tham số động lực học cụ thể được thể hiện trong bảng 3.1

2.1.1 Xác đ nh ma tr n Jacobi nh qua tọa đ điểm nh thu được từ 2 camera quy vào h tọa đ OcXcYcZc

Dùng 2 camera ta có thể xác định được các thông số như khoảng cách, tọa độ của đối tượng trong không gian 3D hình 2.2 cho thấy mối quan hệ giữa hệ tọa độ camera và ảnh của nó Hệ tọa độ camera trái là OLXLYLZL có gốc trùng với tiêu điểm của camera trái, hệ tọa độ camera phải là ORXRYRZR, gốc trùng với tiêu điểm của camera phải và hệ tọa độ camera là OCXCYCZC có gốc trung điểm gốc tọa độ 2 camera Các frame ảnh được quy định phía trước và vuông góc với trục Y tại tâm,

các trục u, v song song với các trục Z, X của camera tương ứng

Để giảm độ phức tạp của tính toán, giả s các thông số nội tại của 2 camera như

tiêu cự f, số pixel…là giống nhau, được đặt độ cao như nhau và trục quang song

song với nhau

Hình 2.2 Mô hình hệ thống camera

Góc Pan là góc θ1 quay quanh trục z0 trong hệ tọa độ gốc của bệ pan-tilt, góc Tilt θ2 là góc quay quanh trục z1 trong hệ tọa độ O1X1Y1Z1 của bệ pan-tilt Gọi tọa độ ảnh thu được camera trái (UL, VL) và camera phải là (UR ,VR) theo hai trục tọa độ (u, v) Theo giả thiết 2 camera có cùng độ cao nên tọa độ ảnh thu được từ 2 camera cũng

có cùng tọa độ theo trục v hay VR = VL

Từ hình 2 ta có tọa độ ảnh thu được camera trái (-UL, VL) và camera phải là (UR ,VR) với V= VL= VR thực hiện chuyển về mặt phẳng theo (Z, Y) và (X, Y) như hình 2.3, hình 2.4 ta có các quan hệ hình học trong khung tọa độ OCXCYCZC:

Từ công thức (2.1), (2.2) b ng các phép biến đổi ta tính được tọa độ của điểm

mục tiêu Q(X, Y, Z) [35] trong hệ tọa độ OC được tính theo biểu thức sau: