Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)

Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)Nghiên cứu một số thuật toán điều khiển robot di động sử dụng thông tin hình ảnh (NCKH)

ĐẠI HỌC THÁI NGUYÊN

ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

BÁO CÁO TỔNG KẾT

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP ĐẠI HỌC

NGHIÊN CỨU MỘT SỐ THUẬT TOÁN ĐIỀU KHIỂN ROBOT DI ĐỘNG

SỬ DỤNG THÔNG TIN HÌNH ẢNH

Mã số: ĐH2014 –TN08-02

Chủ nhiệm đề tài: ThS Lê Văn Chung

Thái Nguyên, tháng 5 năm 2017

ĐẠI HỌC THÁI NGUYÊN ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

BÁO CÁO TỔNG KẾT

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP ĐẠI HỌC

NGHIÊN CỨU MỘT SỐ THUẬT TOÁN ĐIỀU KHIỂN ROBOT DI ĐỘNG

SỬ DỤNG THÔNG TIN HÌNH ẢNH

Mã số: ĐH2014 –TN08-02

Xác nhận của tổ chức chủ trì Chủ nhiệm đề tài

(ký, họ tên, đóng dấu) (ký, họ tên)

Thái Nguyên, tháng 5 năm 2017

ĐẠI HỌC THÁI NGUYÊN

1

Viện Công nghệ thông

tin – Viện Hàn lâm

khoa học Việt Nam

Phối hợp nghiên cứu, trao đổi chuyên môn

Chuyên môn: Điều khiển

và tự động hóa

Chủ nhiệm đề tài, thực hiện các nội dung nghiên cứu liên quan đến đề tài

Yến

Đơn vị công tác: Phòng KH-CN&HTQT, trường Đại học Công nghệ Thông tin và Truyền thông

Chuyên môn: Toán

Thư ký hành chính

đề tài

MỤC LỤC

MỞ ĐẦU 10

CHƯƠNG 1 16

GIỚI THIỆU CHUNG VỀ ROBOT DI ĐỘNG, CAMERA XỬ LÝ ẢNH VÀ ROBOT PAN TILT 16

1.1 Giới thiệu camera Eye RIS 2.1 16

1.2 Giới thiệu robot di động Pioner 3DX 17

1.3 Giới thiệu robot Pan tilt PTU - D48E 19

CHƯƠNG 2 21

XÂY DỰNG MÔ HÌNH ĐỘNG HỌC VÀ MÔ HÌNH ĐỘNG LỰC HỌC CHO HỆ THỐNG 21

2.1 Mô hình động học hệ robot pan/tilt stereo camera 21

2.2 Xây dụng mô hình động học và động lực học hệ robot di động – bệ pan/tilt stereo camera 26

2.2.1 Mô hình động học 26

2.2.2 Xác định ma trận Jacobi ảnh 27

2.2.3 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho robot di động 28

2.2.4 Xác định tốc độ của các bánh xe để cho robot di động tiếp cận mục tiêu 31

2.2.5 Mô hình động lực học 32

CHƯƠNG 3 34

THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN VÀ MÔ PHỎNG 34

HỆ THỐNG 34

3.1 Thiết kế thuật toán điều khiển hệ pan/tilt stereo camera và mô phỏng 34

3.1.1 Thiết kế thuật toán điều khiển động học hệ pan/tilt bám mục tiêu di động 34

3.1.2 Mô phỏng minh họa trên PC 36

3.1.3 So sánh kết quả và đánh giá 40

3.2 Thiết kế thuật toán điều khiển hệ robot di động – pan tilt – stereo camera và mô phỏng 41

3.2.1 Động lực học hệ robot di động-bệ pan/tilt 41

3.2.2 Thiết kế bộ điều khiển tối ưu cho hệ robot di động – pan tilt – stereo camera 42

3.2.3 Mô phỏng hệ thống robot di động-pantilt- stereo camera bám mục tiêu di động 44

3.2.4 Kết luận 46

KẾT LUẬN VÀ KIẾN NGHỊ 47

TÀI LIỆU THAM KHẢO 48

DANH MỤC CHỮ VIẾT TẮT VÀ KÝ HIỆU

T x T y T z m/s Vận tốc dài của tay nắm camera

x y z m/s Vận tốc góc của tay nắm camera

DANH MỤC HÌNH VẼ

Hình 1.1 Camera Eye-RIS v2.1 16

Hình 1.2 Cấu trúc tiến trình xử lý trong Eye-RIS 2.1 17

Hình 1.3 Robot di động Pioneer 3DX 18

Hình 1.4 Một số chế độ hoạt động của robot Pioneer 3DX 18

Hình 1.5 Cấu trúc hệ thống thư viện C++ của ARIA 19

Hình 1.6 Bệ pan/tilt PTU-D48E-Series 19

Hình 1.7 Ứng dụng của bệ Pan/Tilt PTU D48E 20

Hình 2.1 Hệ tọa độ của hệ thống 21

Hình 2.2 Mô hình hệ thống camera 22

Hình 2.3 Ảnh theo 2 trục Z, Y 23

Hình 2.4 Ảnh theo 2 trục X, Y 23

Hình 2.5 Hệ robot di động – pan tilt – stereo camera 27

Hình 2.6 Mô hình hệ thống stereo camera 31

Hình 2.7 Ảnh theo hai trục X, Z (trái) và Y, Z (phải) 31

Hình 2.8 Vị trí và hướng mong muốn của robot di động 31

Hình 3.1 Mạng RBF xấp xỉ hàm f 35

Hình 3.2 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động có nhiều tham số bất định 36

Hình 3.3 Sai lệch tọa độ ảnh mục tiêu (pixel) 37

Hình 3.4 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ ron bù ( , 1 u = 0) 37

Hình 3.5 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng 38

Hình 3.6 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng 38

Hình 3.7 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù ( , 1 u = 0) 38

Hình 3.8 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù 38

Hình 3.9 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn 39

Hình 3.10.Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn 39

Hình 3.11.Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có mạng nơ ron bù 39

Hình 3.12.Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có mạng nơ ron bù ( , 1 u = 0) 40

Hình 3.13.Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi 40

Hình 3.14.Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi 40

Hình 3.15.Sơ đồ khối hệ thống 44Hình 3.16.Bám tọa độ ảnh nhìn trong hệ tọa độ gốc 45Hình 3.17 Robot di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa

độ gốc 46Hình 3.18.Sai số e giữa vận tốc mong muốn và vận tốc thực 46

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

THÔNG TIN VÀ TRUYỀN THÔNG

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1 Thông tin chung

- Tên đề tài: Nghiên cứu một số thuật toán điều khiển robot di động sử dụng

thông tin hình ảnh

- Mã số: ĐH2014 –TN08-02

- Chủ nhiệm đề tài: ThS Lê Văn Chung

- Tổ chức chủ trì: Trường đại học Công nghệ Thông tin và Truyền thông

- Thời gian thực hiện: Từ tháng 1 năm 2014 đến tháng 12 năm 2015 (gia hạn

thời gian thực hiện đến tháng 6 năm 2016)

2 Mục tiêu

Mục tiêu của đề tài này là nghiên cứu phát triển một số thuật toán điều khiển

rô bốt di chuyển bằng bánh xe trên cơ sở thông tin hình ảnh từ 2 camera Thuật toán phải đảm bảo có tính bền vững với các tham số bất định và khả năng kháng nhiễu với tốc độ xử lý cao

3 Tính mới và sáng tạo

Các nghiên cứu về hệ robot di động sử dụng camera ở Việt Nam hiện chỉ dùng

1 camera để xử lý ảnh, còn việc tính khoảng cách thì sử dụng các sensor khác Đề tài nghiên cứu sử dụng 2 camera để vừa thu nhận ảnh, vừa tính toán khoảng cách tới mục tiêu

4 Kết quả nghiên cứu

Kết quả nghiên cứu của đề tài mới dừng lại ở việc mô phỏng và thử nghiệm thuật toán trên matlab simulink, chưa cài đặt được lên robot Tuy nhiên các kết quả cũng đã phần nào cho thấy các thuật toán đưa ra có độ đáp ứng tốt, có tính bền vững với các tham số bất định, tối ưu được năng lượng tiêu hao và sai lệch

5 Sản phẩm

5.1 Sản phẩm khoa học

1 Lê Văn Chung (2014), “Phát triển hệ pan/tilt – nhiều camera bám mục

tiêu di động”, Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr 41-46

2 Lê Văn Chung, Ma Thị Hồng Thu (2016), Thiết kế bộ điều khiển port

controller hamilton để điều khiển hệ pan tilt – stereo camera bám mục tiêu

di động", Tạp chí KHCN Đại học Thái Nguyên, 155(10), tr 105-111

3 Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking

control of pan tilt – stereo camera system”, VCM conference, pp.167-173

4 Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a moving

target for integrated mobile robot – pan tilt – stereo camera”, Advanced

Intelligent Mechatronics AIM IEEE Conference, pp 530 - 535

5 Le Van Chung, Pham Thuong Cat (2015), “A new control method for

stereo visual servoing system with pan tilt platform”, Journal of Computer

Science and Cybernetics, 31 (2), pp 107 – 122

6 Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC

Controller for Tracking Target used Mobile Robot-pan tilt-stereo camera

system”, International Conference on Advances in Information and

Communication Technology, pp 217 – 227

5.2 Sản phẩm đào tạo

Nguyễn Thành Công, "Xây dựng chương trình nhận dạng khuôn mặt sử

dụng thư viện EmguCV", Đề tài KH&CN cấp Sinh viên năm 2015

6 Phương thức chuyển giao, địa chỉ ứng dụng, tác động và lợi ích mang lại của kết quả nghiên cứu

Phương thức chuyển giao: Các kết quả của đề tài ở dạng lý thuyết nên phương thức chuyển giao là mô tả chi tiết các phương pháp và thuật toán điều khiển, thuật toán xử lý ảnh

Địa chỉ ứng dụng: Viện công nghệ thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam

Lợi ích của đề tài là hỗ trợ đào tạo nghiên cứu sinh và đưa ra một số thuật toán điều khiển cho robot di động sử dụng 2 camera có thể nghiên cứu tiếp và cài đặt lên robot thực

INFORMATION ON RESEARCH RESULTS

1 General information

Project title: Research some algorithms to control mobile robot using visual information

Code number: ĐH2014 –TN08-02

Coordinator: ThS Le Van Chung

Implementing institution: Thai Nguyen University of Information and Communication Technology

Duration: from 1/2014 to 12/2015

2 Objective(s)

The objective of this project is researched and developed some control algorithms robots that moved by wheels based on information from images obtained from two cameras The control algorithms ensure sustainability with parameters uncertainty and resistance to interference with high processing speed

3 Creativeness and innovativeness

The research on mobile robot using camera in Vietnam only used one camera for image processing, and other sensors for detecting distances This research projects using 2 cameras for both image processing and calculate the distance to the target

4 Research results

Research results of the project have just stopped at the simulation and test the algorithm on Matlab Simulink, not installed on the real robot But the results showed that the algorithm also has a good response, sustainability with uncertain parameters, optimize energy consumption and errorDomestic Journal 0.5 points: 02

5 Products

5.1 Scientific Products

1 Le Van Chung (2014), “Developing pan/tilt - stereo camera to track a

moving target”, Jounal of Science and Technology Thai Nguyen

University, 116(02), pp 41-46

2 Le Van Chung, Ma Thi Hong Thu (2016), "Design Port Controller

Hamilton to Control pan tilt – stereo camera system track a moving

target", Jounal of Science and Technology Thai Nguyen University,

155(10), pp 105-111

3 Le Van Chung, Pham Thuong Cat (2014), “Robust visual tracking

control of pan tilt – stereo camera system” VCM conference, pp.167-173

4 Le Van Chung, Pham Thuong Cat (2016), “Optimal tracking a moving

target for integrated mobile robot – pan tilt – stereo camera”, Advanced

Intelligent Mechatronics AIM IEEE Conference, pp 530 - 535

5 Le Van Chung, Pham Thuong Cat (2015), “A new control method for

stereo visual servoing system with pan tilt platform”, Journal of Computer

Science and Cybernetics, 31 (2), pp 107 – 122

6 Le Van Chung, Duong Chinh Cuong (2016), “Design Adaptive-CTC

Controller for Tracking Target used Mobile Robot-pan tilt-stereo camera

system”, International Conference on Advances in Information and

Communication Technology, pp 217 – 227

5.2 Student research

Nguyen Thanh Cong, "Construct a program to facial recognition uses

EmguCV libraries", Scientific and technological topics of student 2015

6 Transfer alternatives, application institutions, impacts and benefits of results

Transfer alternatives: The results of the research are theoretical methods, then the transfer method is described in detail the methods, control algorithms and image processing algorithms

Application institutions: Information Technology Institute of Vietnam - Vietnam Academy of Science and Technology

Impacts and benefits of results: support for a graduate student and given some control algorithms to control mobile robot using 2 cameras It can be develoved and installed on the robot

MỞ ĐẦU

Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động ngày một được hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh hoạt Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt di động là khả năng nhìn và xử lý thông tin hình ảnh để rô bốt biết được vị trí nó đang đứng trong môi trường phi cấu trúc và có thể di chuyển tới một vị trí xác định, đồng thời có thể tự động tránh được các chướng ngại vật trên đường đi

Hiện nay, có nhiều nhóm nghiên cứu trên thế giới đã đạt được những thành tựu đáng kể về điều khiển rô bốt di động Nhóm tác giả Widodo Budiharto, Ari Santoso, Djoko Purwanto, Achmad Jazidie của đại học BINUS và viện công nghệ Indonesia đã nghiên cứu hệ thống điều khiển chuyển động cho rô bốt dùng nhiều camera cùng với bộ lọc Kalman để loại bỏ nhiễu ảnh thu từ camera cho độ tin cậy cao Rô bôt dựa trên hệ thống này có tên là Srikandi III [2] cho tốc độ chuyển động nhanh, độ chính xác cao trong phòng thí nghiệm Cũng dùng 2 camera tốc độ cao nhóm tác giả Masaaki Shibata, Hideki Eto, Masahide Ito ở phòng nghiên cứu trường đại học Seikei Nhật Bản đã phát triển hệ thống tìm đường đi cho rô bốt tốc

độ cao [3] Camera hữu dụng trong tìm đường nhưng nó cũng rất hữu dụng trong việc theo dõi chuyển động của các đối tượng, nhóm tác giả HiroyukiUkida, MasayukiKawanami and YasuhiroTerama của trường đại học Waseda – Tokyo – Nhật bản đã phát triển hệ thống theo dõi chuyển động của đối tượng 3D Hệ thống dựa trên sự so sánh các ảnh thu được và dùng phương pháp lọc phần tử để phát hiện

sự chuyển động của đối tượng [5] Trong các đối tượng rô bốt di động thì rô bốt tự hành cũng là một thành phần, nhóm tác giả Tae-Il Kim, Wook Bahn, Changhun Lee, Tae-jae Lee, Muhammad Muneeb Shaikh and Kwang-soo Kim của Hàn Quốc

đã phát triển hệ thống tìm đường tới mục tiêu cho rô bốt tự hành dựa trên hệ thống stereo camera, hệ thống này luôn hướng tới mục tiêu cùng với đó hệ thống sẽ tính toán các góc, độ nghiêng từ đó đưa ra được vị trí thực tế của mục tiêu trên hệ tọa độ

để tìm được đường đi tới đích[8]

[1] Eng Swee Kheng , Anwar Hasni Abu Hassan , Ali Ranjbaran , Ting Shyue Siong (2011), “Range Estimation for Robot arm Applications using Image

Segmentation and Curve Fitting Tool”, International conference on electrical,

control and computer engineering, pp 154 – 159

[2] Widodo Budiharto , Ari Santoso, Djoko Purwanto, Achmad Jazidie (2011), “A Navigation System for Service Robot using Stereo Vision and Kalman

Filtering”, International Conference on Control, Automation and Systems, pp

720 – 725

[3] Masaaki Shibata, Hideki Eto, Masahide Ito (2011), “Visual tracking control for

stereo vision robot with high gain controller and high speed cameras",

International Symposium on Access Spaces (ISAS), pp 384-389

[4] Michel antunes and João P Barreto (2011), “Sterio estimation of depth along virtual

cut planes”, IEEE International Conferenceon Computer Vision Workshops, pp 126

[6] WenYua, Marco A Moreno-Armendariz (2010), “Robust Visual Servoing of

Robot Manipulators with Neuro Compensation”, Published by Elsevier Ltd

[7] WenYu1 and XiaoouLi, “System Identification Using Adjustable RBF Neural

Network with Stable Learning Algorithms” Published by Elsevier Ltd

[8] Tae-Il Kim, Wook Bahn, Changhun Lee, Tae-jae Lee, Muhammad Muneeb Shaikh, and Kwang-soo Kim (2011), “Vision System for Mobile Robots for Tracking Moving Targets, Based on Robot Motion and Stereo Vision

Information”, IEEE Conference of Annual Conference, pp 1027 – 1032

Ở Việt Nam, các công trình nghiên cứu về rô bốt di động đã xuất hiện trong trường đại học, Viện nghiên cứu trong khoảng một thập niên gần đây Trường Đại học Bách khoa Hà Nội, Đại học Bách khoa thành phố Hồ Chí Minh đã nghiên cứu bài toán tránh vật cản trên đường đi [10], bám đường [11], tính khoảng cách [9]

Xử lý ảnh trong điều khiển đã được nghiên cứu và ứng dụng nhiều, song đây vẫn còn là một lĩnh vực được nhiều nhà nghiên cứu quan tâm, tìm tòi và phát triển Hai trong số những vấn đề đó là: bài toán điều khiển phi tuyến và xử lý giảm nhiễu, giảm ảnh hưởng của các tham số bất định tới hệ thống

[9] Phạm Đức Long – Phạm Thượng Cát, “Xử lý ảnh để xác định hướng và khoảng

cách giữa giá đỡ và xe nâng hàng tự động”, Hội nghị toàn quốc về Điều khiển

và Tự động hoá - VCCA-2011,

[10] Từ Diệp Công Thành, Phan Minh Trường, Phan Minh Thành, (2008), “Điều

khiển rô bốt tự hành tránh vật cản sử dụng bánh dẫn hướng Ommi”, Tuyển tập

hội nghị toàn quốc lần thứ 4 về Cơ điện tử, VCM 2008, tr 356-367

[11] Võ Trung Thư, Nguyễn Anh Duy, (2008), “Ứng dụng điều khiển mờ cho bài

toán bám đường của rô bốt di động bằng bánh lăn”, Tuyển tập hội nghị toàn

quốc lần thứ 4 về Cơ điện tử, VCM 2008, tr 305-314

Rô bốt di động ngày càng được ứng dụng nhiều trong công nghiệp và đời sống với những tiện ích to lớn mà nó mang lại Rô bốt di động kết hợp với thị giác

máy làm việc trong các điều kiện đặc biệt ngày càng được nghiên cứu và ứng dụng nhiều trong đời sống và an ninh quốc phòng

Các công nghệ trên thế giới về xử lý ảnh trên rô bốt dùng một hay nhiều camera đã có, tuy nhiên trong lĩnh vực này vẫn còn rất nhiều điểm cần nghiên cứu sâu như phát hiện chuyển động, tính toán khoảng cách, hướng di chuyển, điều khiển

rô bốt tiếp cận mục tiêu di động với nhiều camera để tăng thêm độ chính xác và tính linh hoạt vv Đề tài này nghiên cứu sâu về vấn đề tính toán khoảng cách và hướng

di chuyển cho rô bốt

Nếu rô bốt có các cảm biến tốt cũng giống như con người có đôi mắt tốt, chúng sẽ hoạt động một cách chính xác hơn Rô bốt được điều khiển dựa trên xử lý ảnh từ nhiều camera sẽ có độ chính xác cao hơn từ 1 camera Vì vậy mục tiêu chung của đề tài là sử dụng thông tin hình ảnh từ nhiều camera để điều khiển rô bốt

Mục tiêu lâu dài của hướng nghiên cứu là từng bước ứng dụng xử lý ảnh vào quá trình tự động hóa việc điều khiển cho xe nâng hàng tự động trong kho bãi, bến cảng Tuy nhiên để từng bước đạt được mục tiêu đó, mục tiêu của đề tài này là nghiên cứu phát triển một số thuật toán điều khiển rô bốt di chuyển bằng bánh xe trên cơ sở thông tin hình ảnh từ 2 camera Thuật toán phải đảm bảo có tính bền vững với các tham số bất định và khả năng kháng nhiễu với tốc độ xử lý cao

Nói tới rô bốt thì hai thành phần quan trọng nhất của nó là cảm biến và bộ phận chấp hành, với cảm biến rô bốt có thể dùng nhiều loại từ hồng ngoại, sóng siêu

âm, laser scanner hay camera quang học v.v, còn bộ phận chấp hành của rô bốt chuyển động thì nhất thiết phải có cơ cấu chuyển động bằng khớp hay bánh xe, ngoài ra còn có các cơ cấu chấp hành khác

Đối tượng nghiên cứu chính của đề tài là tập trung vào đối tượng rô bốt có cơ cấu chuyển động bằng bánh xe và dùng cảm biến là các camera với nhiều hơn 1 camera Như vậy phạm vi hoạt động của rô bốt hầu như trong các địa hình tương đối bằng phẳng, hoặc có độ nghiêng trong khoảng cho phép Cảm biến hình ảnh thu được từ nhiều hơn 1 camera sẽ cho độ nhanh nhậy, góc nhìn và độ chính xác lớn hơn so với dùng 1 camera Những hình ảnh thu được sẽ được xử lý, tính toán từ đó

ra quyết định điều khiển các cơ cấu chấp hành khác của rô bốt thực hiện theo các yêu cầu

Đề tài sẽ thực hiện nghiên cứu các vấn đề sau:

- Nghiên cứu và phát triển một số thuật toán thu nhận ảnh, xử lý ảnh camera, từ

đó xử lý và tính toán các thông số điều khiển cho rô bốt

- Nghiên cứu về rô bốt có cơ cấu chuyển động bằng bánh xe

- Phát triển một số phương pháp điều khiển rô bốt di động trên cơ sở thông tin hình ảnh sử dụngnhiều camera

- Đề xuất thuật toán xử lý ảnh để phát hiện và tính toán tọa độ của đối tượng với nhiều camera

- Mô phỏng, thử nghiệm thuật toán trên máy tính và cài đặt thử nghiệm trên rô bốt thí nghiệm tại Viện Công nghệ thông tin – Viện Hàn lâm khoa học Việt Nam

Để thực hiện được các nội dung nghiên cứu của đề tài thì cách tiếp cận được dung là:

- Nghiên cứu tổng quan về các nội dung liên quan của đề tài trong nước và trên thế giới trong thời gian qua

- Đưa ra phương pháp điều khiển, chứng minh và kiểm chứng bằng mô phỏng và cài đặt trên mô hình thực nghiệm

- Đọc tài liệu và nghiên cứu các công trình khoa học đã công bố trong nước và trên thế giới về lĩnh vực rô bốt di động và các phương pháp điều khiển rô bốt di động sử dụng camera (visual servoing)

- Nghiên cứu phát triển một số phương pháp điều khiển bệ pan/tilt mang camera bám mục tiêu di động sử dụng camera Bằng phương pháp nghiên cứu các kết quả của các công trình đã công bố từ đó đề xuất một phương pháp mới, tốt hơn chứng minh nó, mô phỏng bằng Matlab trước khi triển khai

- Nghiên cứu phát triển một số phương pháp điều khiển cho rô bốt di động có nhiều tham số bất định Sử dụng các phương pháp điều khiển kết hợp giữa phương pháp thông dụng với bù, dự báo để điều khiển rô bốt di chuyển linh hoạt hơn Trong phần này phương pháp thí nghiệm thực hành trên rô bốt sẽ được sử dụng để vừa nghiên cứu, vừa đánh giá từ đó chọn phương án điều khiển tốt nhất, phù hợp cho hệ thống

Để thực hiện được các công việc đó, trước tiên tác giả sẽ tìm hiểu các công trình nghiên cứu về rô bốt di động và các phương pháp điều khiển rô bốt di động sử dụng camera (visual servoing), các phương pháp điều khiển camera để có không gian quan sát lớn Việc tìm hiểu sẽ dựa trên các bài báo khoa học, các công trình đã công

bố trong và ngoài nước để từ đó hiểu và đánh giá được các điểm tốt có thể sử dụng lại và chưa tốt còn cải tiến được trong các nghiên cứu đó để đề xuất một phương pháp điều khiển tốt hơn có tính mới

- Để hoàn thiện đề tài nội dung nghiên cứu gồm có:

+ Phần nghiên cứu về thị giác máy camera và xử lý ảnh

+ Nghiên cứu việc sử dụng hình ảnh để điều khiển bệ pan/tilt mang camera để điều khiển góc quay theo phương ngang, đứng của bệ giúp hệ thống bám mục tiêu cần tiếp cận khi mục tiêu di động hay khi rô bốt đi trên địa hình không hoàn toàn bằng phẳng làm thay đổi phương và góc nhìn tới mục tiêu

+ Nghiên cứu phát triển một số phương pháp điều khiển rô bốt di động trên cơ

sở thông tin hình ảnh sử dụng nhiều camera để tính toán điều khiển cho rô bốt di chuyển, tiếp cận tới mục tiêu biết trước

Chi tiết nội dung nghiên cứu gồm có

Nghiên cứu về thị giác máy camera và xử lý ảnh: từ đó phát triển một số thuật toán xử lý ảnh dựa trên ảnh từ các camera để trích rút các thông số cần thiết cho điều khiển Trước tiên tác giả sẽ nghiên cứu các camera có khả năng xử lý song song, như EyeRIS 1.3, EyeRIS 2.1 vì những camera này có tốc độ xử lý cao, thích hợp cho nhiều ứng dụng

Tuy nhiên những camera xử lý song song này còn chưa được phổ biến rộng rãi, việc đặt mua, sửa chữa và hỗ trợ kỹ thuật vẫn còn hạn chế Trong trường hợp gặp khó khăn các camera thông dụng sẽ được sử dụng thay thế nhưng vẫn đảm bảo được việc thu nhận ảnh, chương trình xử lý vẫn phải đưa ra được các tham số điều khiển cho hệ thống chấp hành

Các tham số điều khiển cụ thể mà chương trình xử lý ảnh cần tính toán được

là hướng, góc lệch tới mục tiêu để điều khiển bệ pan/tilt bám theo, hướng và khoảng cách tới mục tiêu để điều khiển rô bốt di chuyển tiếp cận mục tiêu

Nghiên cứu phát triển một số phương pháp điều khiển bệ pan/tilt bám mục tiêu di động trên cơ sở thông tin hình ảnh sử dụng nhiều camera:

Ta hình dung, khi mục tiêu di động thì trước tiên con mắt cần bám theo rồi mới điều khiển các bộ phận chấp hành khác Để thực hiện được việc này, một bệ pan/tilt được sử dụng để điều khiển các camera quay, quét bám theo mục tiêu di động dựa vào các góc lệch của giá mang camera với mục tiêu trên cơ sở các thông tin hình ảnh thu được

Phần nghiên cứu này sẽ đề xuất thuật toán điều khiển bệ pan/tilt có độ đáp ứng nhanh, có khả năng bù được nhiễu và tính bất định của các tham số nội tại trong

hệ thống Nghiên cứu phát triển một số phương pháp điều khiển rô bốt di động trên

cơ sở thông tin hình ảnh sử dụng nhiều camera

Với việc sử dụng nhiều camera ta dễ dàng tính toán được khoảng cách tới mục tiêu trong không gian 3D Kết hợp với việc tính toán góc hướng di chuyển thì các tham số điều khiển rô bốt di chuyển bám mục tiêu đã có đầy đủ Nghiên cứu sẽ

đề xuất phương pháp điều khiển rô bôt trên cơ sở sử dụng các thông tin hình ảnh

Phần nghiên cứu này sẽ đề xuất thuật toán điều khiển rô bốt có độ chính xác cao, khử được nhiễu môi trường để tiếp cận được tới mục tiêu

Với yêu cầu như vậy các hệ thống bệ pan/tilt và rô bốt cần được thiết kế chính xác về cơ khí, bộ phận chấp hành và khâu đo phản hồi Việc thuê mượn, sử dụng các thiết bị chuyên dùng cho thí nghiệm tại phòng thí nghiệm tự động hóa –

Viện Công nghệ thông tin – Viện Hàn lâm khoa học Việt Nam là cần thiết Thuật toán điều khiển cần bù được độ bất định của các tham số nội tại của camera, ống kính, độ bất định của các khớp, trục bánh xe…

Chương trình xử lý ảnh là một chương trình phức tạp, do đó một máy tính riêng, tốt cần được chuẩn bị trên rô bốt để nhận các ảnh, xử lý chúng và đưa ra tín hiệu điều khiển các cơ cấu chấp hành khác điều khiển rô bốt tiếp cận mục tiêu

CHƯƠNG 1 GIỚI THIỆU CHUNG VỀ ROBOT DI ĐỘNG, CAMERA XỬ LÝ ẢNH VÀ

ROBOT PAN TILT

Hệ thống được nghiên cứu trong đề tài là một robot di động có mang bệ pan/tilt Trên bệ pan/tilt có gắn 2 camera (stereo camera) dùng để quan sát Mục tiêu của hệ thống là di chuyển và tiếp cận đối tượng di chuyển biết trước trong các mục sau sẽ lần lượt giới thiệu về các thiết bị dùng trong hệ

1.1 Giới thiệu camera Eye RIS 2.1

Eye RIS 2.1 là một camera CNN của hãng Ana focus Đây là 1 camera xử lý tốc độ cao, có thể hoạt động độc lập hoặc kết nối với máy tính

- Cảm biến tích hợp 4 ADCs và 4 DACs 8 bit – 50Hz cho ảnh xám

- Hệ thống nhúng thông minh cho mỗi điểm ảnh lưu trữ tới 6 ảnh màu xám

và 4 ảnh nhị phân để xử lý

- Chip điều khiển Altera II 32 bit RISC tóc độ 100MHZ, 16MB SDRAM cho chương trình cà dữ liệu 8MB Flash

- Cổng giao tiếp USB 2.0, UART

- Ống kính Pentax Lenses tiêu cự 50mm f1.4 và có thể thay đổi được

- Phần mềm phát triển Eye-RIS ADK 10.2

Lập trình xử lý ảnh trên Eye-RIS

Ngôn ngữ sử dụng lập trình cho camera Eye-RIS là ngôn ngữ CFPP (đây là ngôn ngữ chung cho các cảm biến ảnh thông minh của Ana focus xử lý ảnh)

Một chương trình xử lý ảnh trên Eye RIS bao gồm 2 phần:

- Chương trình tiền xử lý trên SIS Q-Eye: Cảm biến ảnh thu nhận ảnh và thực hiện xử lý song song trên mỗi điểm ảnh

- Chương trình xử lý trên Altera Nios II: Nhận thông tin đầu vào từ SIS và

xử lý ảnh từ đó thực hiện các quyết định và nhiệm vụ

Hình 1.2 Cấu trúc tiến trình xử lý trong Eye-RIS 2.1 Chương trình xử lý trên SIS Q - Eye được viết bằng ngôn ngữ CFPP Chương trình này thực hiện thu nhận ảnh bằng cách quy định các tham số như độ

mở ống kính, thời gian lấy mẫu… sau đó lưu trữ vào vùng nhớ tương tự hoặc số tại đây cũng có thể thực hiện một số phép logic and/or hay một số phép lọc đơn giản

Chương trình xử lý trên Nios II được viết bằng ngôn ngữ C++ Anafocus đã cung cấp sẵn bộ thư viện với nhiều hàm có chức năng thông dụng Chương trình trên Nios II sẽ tiếp tục xử lý ảnh, trích đặc trưng, lưu trữ, truyền dữ liệu về máy tính hay ra các quyết định xử lý, điều khiển trực tiếp cho các thiết bị chấp hành

Hệ thống các thư viện và cách lập trình trên Eye-RIS được giới thiệu rõ hơn trong tài liệu tham khảo về xử lý ảnh cho sinh viên

1.2 Giới thiệu robot di động Pioner 3DX

Robot Pioneer 3DX là 1 robot di động thông minh có đặc điểm cấu tạo như hình 1 với các thông số kỹ thuật như sau:

Hình 1.3 Robot di động Pioneer 3DX

Một số tính năng, cổng giao tiếp và nguồn điện

- 4 cổng giao tiếp nối tiếp RS-232 tốc độ từ 9.6 đến 115.2 kilobaud

- 4 đến 8 cặp sensor phát hiện vật cản Sonar trên mỗi robot

- 2 cổng vào số 8-bit

- Cổng nguồn và cổng giao tiếp tương tự

- Cảm biến nghiên và quay Tilt/roll

- Đèn báo nguồn, báo dung lượng pin dự trữ

- Cho phép chuyển đổi nguồn nuôi 5/12 V

- Cổng giao tiếp điều khiển động cơ với chế độ băm xung PWM/ trực tiếp qua cổng điều khiển số 8 bit

- Giao tiếp I2C interface hỗ trợ LCD 4x20

Hoạt động

Robot Pioneer 3DX có thể hoạt động với các chế độ như sau:

- Lập trình điều khiển trên PC và giao tiếp điều khiển qua cổng Ethernet

- Lập trình điều khiển trên PC và giao tiếp điều khiển qua wifi

- Lập trình điều khiển bằng laptop đặt trên robot

- Lập trình trực tiếp cho hệ điều khiển bên trong robot

Hình 1.4 Một số chế độ hoạt động của robot Pioneer 3DX

Lập trình điều khiển

Pioneer 3 cung cấp cho người dùng một hệ thống thư viện C++ để làm việc với các chức năng của robot gọi tắt là ARIA

Hình 1.5 Cấu trúc hệ thống thư viện C++ của ARIA

Với hệ thống thư viện này ta có thể lập trình cho robot làm việc dựa trên các phân tích và tính toán của các loại cảm biến, camera một cách dễ dàng mà không phải lập trình toàn bộ từ đầu

Ngoài ra để điều khiển robot Pioneer 3DX di chuyển tránh vật cản còn có nhiều hệ thống thư viện tương thích với ARIA, ArNetworking như: MobileSim™, Mapper3-Basic, SonARNL và dạng giao diện GUI MobileEyes™

1.3 Giới thiệu robot Pan tilt PTU - D48E

Bệ pan/tilt PTU-D48E là một rô bốt hai bậc tự do có thể quay đồng thời theo hai hướng pan và tilt, góc pan thay đổi được từ -1880 tới +1880, góc tilt từ -900 tới +300 Các khung tọa độ được gắn trên các khớp rô bốt và camera được mô tả trong Hình 1.6

Hình 1.6 Bệ pan/tilt PTU-D48E-Series

Các tính năng cơ bản:

• Khả năng tải trọng lớn đến 15 Lbs

• Định vị cực kỳ chính xác (để 0.006 ° với động cơ microstep)

• Đa dạng các pan tốc độ 0.006 ° / giây đến 100 °, điều khiển chính xác

• Pan 360 liên tục (với tùy chọn vòng trượt)

• Kiểm soát vị trí, tốc độ và tăng tốc thời gian thực

• Thiết kế worm gear cứng cung cấp ổn định khi định vị trong môi trường gió

• Kết nối duy nhất cho cả tín hiệu điều khiển, tín hiệu tải trọng

• Linh hoạt lắp ráp tự do (hoặc bên trên thiết bị khác)

• Bảo về khép kín, an toàn cho các ứng dụng ngoài trời / biển (IP67)

• Phạm vi nhiệt độ hoạt động rộng

• Dải điện áp đầu vào DC rộng (12VDC đến 30VDC) có chạy pin điều khiển năng lượng thân thiện môi trương

• Mã hóa kỹ thuật số chính xác

• Nhiều giao diện điều khiển: RS-232/485/422 và Ethernet

• Nhiều lệnh giao thức giao diện: FLIR-MCS, Nexus, Pelco-D

Bệ PTU-D48 E Series đã được chứng minh hoạt động tổ trong một loạt các ứng dụng quan trọng cho việc định vị của máy ảnh, laser, ăng-ten, hoặc máy móc khác Nó hoạt động được trong cả hai môi trường tĩnh và di động Nó được thiết kế cho các nhiệm yêu cầu hoạt động chính xác và tin cậy cao, lien tục 24/7 tại tất cả các môi trường thời tiết khắc nghiệt Series PTU-D48 E sẽ giúp đảm bảo dự án của bạn và hoàn thành đúng thời gian và đúng thời gian Một số hình ảnh ứng dụng thực

Hình 1.7 Ứng dụng của bệ Pan/Tilt PTU D48E

Lập trình cho bệ pan/tilt PTU D48E:

Ngôn ngữ sử dụng cho lập trình cho bệ pan/tilt PTU D48E là C++/ Visual C++ Nhà sản xuất cũng đã cung cấp các thư viện để người lập trình sử dụng trong các ứng dụng của mình

CHƯƠNG 2 XÂY DỰNG MÔ HÌNH ĐỘNG HỌC VÀ MÔ HÌNH ĐỘNG LỰC HỌC CHO

2 camera Các frame ảnh được quy định ở phía trước và vuông góc với trục Y tại

tâm, các trục u, v song song với các trục Z, X của camera tương ứng

Để giảm độ phức tạp của tính toán, giả sử các thông số nội tại của 2 camera

như tiêu cự f, số pixel…là giống nhau, được đặt ở độ cao như nhau và trục quang

song song với nhau Góc Pan là góc θ1 quay quanh trục z0 trong hệ tọa độ gốc của

bệ pan/tilt, góc Tilt θ2 là góc quay quanh trục z1 trong hệ tọa độ O1X1Y1Z1 của bệ pan/tilt Gọi tọa độ ảnh thu đƣợc ở camera trái (UL, VL) và camera phải là (UR ,VR) theo hai trục tọa độ (u, v) Theo giả thiết 2 camera có cùng độ cao nên tọa độ ảnh thu đƣợc từ 2 camera cũng có cùng tọa độ theo trục v hay VR = VL

Hình 2.2 Mô hình hệ thống camera

Từ hình 2.2 ta có tọa độ ảnh thu đƣợc ở camera trái (-UL, VL) và camera phải

là (UR ,VR) với V= VL= VR thực hiện chuyển về mặt phẳng theo (Z, Y) và (X, Y) nhƣ hình 2.3, hình 2.4 ta có các quan hệ hình học trong khung tọa độ OCXCYCZC:

Từ công thức (1), (2) bằng các phép biến đổi ta tính đƣợc tọa độ của điểm Q(X, Y,

Z) [5] trong hệ tọa độ OC đƣợc tính theo biểu thức sau:

2 2

(3) 2

Hình 2.3 Ảnh theo 2 trục Z, Y

Hình 2.4 Ảnh theo 2 trục X, Y Khi đối tƣợng di chuyển thì bệ Pan-Tilt mang camera cũng cần đƣợc điều khiển đẻ bám theo Nếu ta biểu diễn véc tơ vận tốc dài của gốc tọa độ camera là

2 2 0

w w w

Xác định hệ phương trình động học tốc độ rô bốt Pan-Tilt

Trước tiên ta xác định hệ phương trình động học của bệ Pan-Tilt trên cơ sở phép biến đổi đồng nhất giữa các khung tọa độ gắn trên các khớp của bệ [10]

Ma trận biến đổi đồng nhất chuyển hệ tọa độ OC về O1 và từ O1 về O0 (hình 2.1) lần lượt là:

0 0

0 0

imag imag imag robot robot robot

di động và bệ pan/tilt - camera [6, 2, 7], khi đó thông tin thu được từ hệ pan/tilt – camera được xử lý thành tọa độ mong muốn mà robot di động cần tiếp cận hay theo dõi [8] Một số tác giả khác đã kết hợp động lực học của toàn bộ hệ robot-bệ pan/tilt-camera [9], nhưng điều kiện để áp dụng bài toán còn chưa rộng về không gian di chuyển của mục tiêu Để tiếp cận hay theo dõi được mục tiêu các tác giả đã đưa ra nhiều phương pháp điều khiển khác nhau từ phương pháp động học [7 , 11] tới động lực học [6, 9], hay các phương pháp điều khiển nâng cao như dùng mạng

nơ ron [5, 6, 7] trượt [6], tối ưu [2, 3, 4] và tối ưu tác động nhanh [5]

Để bám được mục tiêu có tốc độ di chuyển khác nhau thì ta cần điều khiển kết hợp các khớp của bệ Pan-Tilt mang camera và các bánh xe của robot di động di chuyển sao cho ảnh mục tiêu nằm ở trung tâm của hệ tọa độ camera và điều khiển robot tiếp cận được mục tiêu Để làm được điều này thì tốc độ di chuyển của mục tiêu phải tính toán hay đo được, ngoài ra các thông số của hệ thường không hoàn toàn chính xác nên việc điều khiển toàn bộ hệ bám mục tiêu di động di chuyển và tiếp cận nó là một bài toán phức tạp

Hình 2.5 Hệ robot di động – pan tilt – stereo camera Robot di động Pioneer 3DX là một robot di chuyển bằng 3 bánh xe 2 bánh dẫn động, 1 bánh dẫn hướng còn bệ pan/tilt PTU-D48E là một rô bốt hai bậc tự do

có thể quay đồng thời theo hai hướng pan và tilt, góc pan thay đổi được từ -1880 tới +1880, góc tilt từ -900 tới +300 Các khung tọa độ được gắn trên các khớp rô bốt và camera được mô tả trong Hình 2.1

các trục u, v song song với các trục Z, X của camera tương ứng

Giả thiết 1: Để giảm độ phức tạp của tính toán, giả sử các thông số nội tại của 2

camera như tiêu cự f, số pixel…là giống nhau, được đặt ở độ cao như nhau và trục

quang song song với nhau Mục tiêu di chuyển với độ cao trong giới hạn độ cao của

hệ robot di động – bệ pan/tilt so với mặt sàn

Góc Pan là góc θ 2 quay quanh trục z1 trong hệ tọa độ gốc của bệ pan/tilt, góc Tilt θ 3

là góc quay quanh trục z3 trong hệ tọa độ O3X3Y3Z3 của bệ pan/tilt Gọi tọa độ ảnh thu được ở camera trái (UL, VL) và camera phải là (UR ,VR) theo hai trục tọa độ (u, v) Theo giả thiết 1, 2 camera có cùng độ cao nên tọa độ ảnh thu được từ 2 camera cũng có cùng tọa độ

theo trục v Từ hình 2.2 ta có tọa độ ảnh thu được ở camera trái (-UL, VL) và camera phải là (UR ,VR) với V= VL= VR Ta có các quan hệ hình học trong khung tọa độ OCXCYCZC:

Từ công thức (1), (2) bằng các phép biến đổi (hình 2.3) ta tính được tọa độ của điểm

mục tiêu Q(X, Y, Z) [2] trong hệ tọa độ OC được tính theo biểu thức sau:

4 2

(3) 2

2.2.3 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho robot di động

Ký hiệu véc tơ biến trong của hệ robot di động – bệ pan/tilt là q= [x m,y m, ,q q q1 2, ]3T với

(x m,y m)là tọa của robot quy về hệ tọa độ cố định O 0 , θ1 là hướng của robot, θ2, θ3 là tọa độ khớp của robot pan/tilt Véc tơ biến ngoài của đầu tay nắm của bệ là

& & & &

Quan hệ tốc độ giữa biến trong và biến ngoài mô tả hệ động học tốc độ của hệ robot

di động – bệ pan/tilt được tính theo biểu thức sau [2]:

( )

he

x = J& q q& (19)

Hay:

12 12

12 3 12 3

12 3 12 3

1 2

m Z

X Y Z

q w

q w

imag imag imag he

m = J& m u=J m x& =J m J q q& =Jq& (21)

2 2

L m

m

L

fV x

as 3

2 1

2 2

L

l t m

22

p

l t d

J- là ma trận giả nghịch đảo của Jp

Ta có tọa độ của mục tiêu nhìn trong hệ tọa độ gốc O0 là 0x( ,0x y z0 ,0 )Tđƣợc tính nhƣ sau:

.C

C R

1

cossinatan 2( , )

Hình 2.6 Mô hình hệ thống stereo camera

Hình 2.7 Ảnh theo hai trục X, Z (trái) và Y, Z (phải)

Hình 2.8 Vị trí và hướng mong muốn của robot di động

Trong đó k1 là khoảng các từ trung điểm 2 bánh của robot tới tâm của hình chiếu

mục tiêu trên mặt phẳng (hình 2.4)

2.2.4 Xác định tốc độ của các bánh xe để cho robot di động tiếp cận mục tiêu

Sai lệch giữa vị trí và góc hướng hiện tại của robot di động với vị trí và góc hướng của mục tiêu trên mặt phẳng x,y được biểu diễn theo công thức sau [2]:

d d d

v v c v

Ta chọn vận tốc thẳng và vận tốc quay đầu ra của bộ điều khiển động học của hệ theo [3] như sau:

m

d

k v

Trong đó k2, k 3 là các hệ số dương Khi đó ta có vân tốc góc mong muốn của hai

bánh xe robot di động được biểu diễn theo (30) [2]:

1

/ 4 / 4/ 2 / 2

Với M(q) (n x n) đối xứng dương là ma trận momen quán tính q is the (n x 1)

vector trạng thái is the (n x n) ma trận momen hướng tâm is the

vector mô men trọng trường τ lực đặt vào các khớp giả sử nhiễu là liên tục và bị chặn:

ε= x = Jq& +Jq&& + DJq& + DJq&&

& & & &

Với là giả nghịch đảo của and f u là thành phần bất định:

CHƯƠNG 3

THIẾT KẾ THUẬT TOÁN ĐIỀU KHIỂN VÀ MÔ PHỎNG

HỆ THỐNG

3.1 Thiết kế thuật toán điều khiển hệ pan/tilt stereo camera và mô phỏng

3.1.1 Thiết kế thuật toán điều khiển động học hệ pan/tilt bám mục tiêu di động

J= Jimag(m)Jrobot(q) (46a)

Thay thế các ma trận Jacobi ảnh (8b) và Jacobi rô bốt (12) vào (46a) ta có (46b):

2 2 2

U R U U L R

C f

Như vậy ma trận Jacobi tổng hợp J có chiều là 3x2

Thay thế (14) vào (46a) và biến đổi ta được:

ˆ

imag robot imag robot

Vấn đề đặt ra lúc này là phải xác định được tốc độ của các khớp q& là bao nhiêu để sai lệch đặc trưng ảnh luôn tiệm cận đến 0 Ta chọn thuật điều khiển như sau: