Giới thiệu mô hình hệ thống điều khiển Rô bốt sử dụng CAMERA Công việc sử dụng các hình ảnh thu nhận được bằng camera trong quá trình điều khiển Rô bốt visual servoing là một hướng nghiê
Trang 1Về một phương pháp điều khiển hệ Camera-robot
bám mục tiêu sử dụng mạng Nơ ron
Tóm tắt nội dung
Báo cáo trình bầy khả năng ứng dụng mạng nơ ron trong điều khiển hệ thống bao gồm tay máy có gắn camera để quan sát và bám theo mục tiêu Phương thức điều khiển dựa trên nguyên lý tuyến tính hoá tín hiệu
ảnh phản hồi Mạng nơ ron được đưa vào nhằm giảm nhẹ tác động của những thành phần ngẫu nhiên, cho phép sử dụng các tham số có độ chính xác hạn chế vào trong mô hình động học của hệ thống Mạng nơ ron
được xem như là một yếu tố thích nghi bổ xung vào hệ thống điều khiển để tăng cường khả năng của chúng
An application of Neural Networks based visual servoing for hand-eye robot tracking target is introduced in this paper The used control method bases input-output feedback linearization technique The Neural Network is introdeced to compensate model uncertainties of overall system It suffers if the parameter values are inaccurate in the model of dynamics, the presence of image distortions and time varying Adding the NN controller as adaptive item in the control system is one effective way to compensate for the ill effects
of these uncertainties and in fact it can in some cases be used for parameter estimation
1 Giới thiệu mô hình hệ thống điều khiển Rô bốt sử dụng CAMERA
Công việc sử dụng các hình ảnh thu nhận được bằng camera trong quá trình điều
khiển Rô bốt (visual servoing) là một hướng nghiên cứu đang được quan tâm trong lĩnh vực
điều khiển Rô bốt Điểm chính yếu của kỹ thuật này là những thông tin hình ảnh nhận được
từ camera sẽ là những thông tin phản ảnh sự quan sát được về hệ thống và môi trường
Visual servoing là sự tổng hợp kết quả của rất nhiều lĩnh vực khác nhau bao gồm xử
lý ảnh tốc độ cao, động học, động lực học, lý thuyết điều khiển và kỹ thuật tính toán thời gian thực
Hệ thống điều khiển Rô bốt có camera phổ biến sử dụng hai dạng mô hình sau:
n Camera được đặt trong không gian làm việc
o Camera được gắn trên đầu tay nắm Rô bốt (hand-eye Rô bốt)
Hình 1 Mô hình hệ thống điều khiển Rô bốt sử dụng camera
Trang 2Mô hình thứ nhất camera được đặt trong không gian làm việc của Rô bốt, khi đó
ảnh của đối tượng quan sát không phụ thuộc vào chuyển động của Rô bốt
Mô hình thứ hai camera được gắn ở đầu tay nắm Rô bốt, trong trường hợp này ảnh
đối tượng mà camera thu nhận được phụ thuộc vào chuyển động của Rô bốt
Phân loại các hệ thống điều khiển visual servoing
Dựa theo tiêu chí khai thác sử dụng hình ảnh thu nhận được từ camera người ta có
thể chia các hệ điều khiển visual servoing thành hai loại như sau:
n Điều khiển trên cơ sở sử dụng những thông tin về vị trí đối tượng trích lọc ra
được từ ảnh (Position_based servoing control) Trong điều khiển position-based, các đặc trưng được trích lọc ra từ ảnh kết hợp với mô hình hình học của đối tượng (giới hạn trong các đối tựơng là vật rắn) để xác định vị trí của đối tượng trong hệ trục toạ độ của camera Còn sai lệch giữa tín hiệu phản hồi vị trí của mục tiêu và vị trí mong muốn được tính toán trong không gian làm việc (hệ toạ độ Đề các)
o Điều khiển trên cơ sở sử dụng trực tiếp ảnh (Image_based servoing control) Với dạng điều khiển này, tín hiệu sai lệch được định nghĩa và tính toán trực tiếp ngay trong không gian tham số đặc trưng ảnh
Trong mỗi loại lại có thể chia thành hai nhóm dựa theo phương pháp điều khiển, một là thực hiện quá trình điều khiển theo hai phase riêng biệt quan sát và chuyển động
(look-and-move), loại thứ hai là sử dụng điều khiển trực tiếp (direct visual servoing) Nếu
hệ thống điều khiển phân cấp chỉ sử dụng tín hiệu ảnh do camera cung cấp để thiết lập các giá trị đầu vào cho các bộ điều khiển của từng khớp và đồng thời sử dụng các vòng phản
hồi tại từng khớp để giữ ổn định chuyển động của Rô bốt thì đó là hệ điều khiển kiểu
look-and-move Ngược lại hệ thống điều khiển trực tiếp loại bỏ hoàn toàn vòng phản hồi tại từng
khớp, bộ điều khiển visual servoing tính toán tín hiệu điều khiển trực tiếp cho các khớp, nó
chỉ sử dụng các tín hiệu phản hồi bằng hình ảnh để giữ ổn định chuyển động của Rô bốt
Hình 2a Cấu trúc điều khiển position-based look-and-move
Trang 3Hình 2b Cấu trúc image-based look-and-move
Hình 2c Cấu trúc position-based direct visual servoing
Hình 2d Cấu trúc image-based direct visual servoing
Bên cạnh đó cũng có thể phân loại theo tiêu chí ảnh về mục tiêu quan sát, có hệ thống chỉ quan sát được mục tiêu và một loại quan sát cả mục tiêu và đầu tay năm Rô bốt
Hệ thống thứ nhất gọi là hệ end-point-loop (EOL), trong các hệ thống này đòi hỏi phải chuẩn hoá quan hệ không gian giữa tay nắm Rô bốt và camera Ngược lại hệ thống sau
end-closed-loop (ECL) có thể quan sát cả đối tượng và đầu tay nắm Rô bốt nên không phụ
thuộc vào ánh xạ quan hệ không gian giữa tay nắm Rô bốt và camera
Đặc trưng ảnh và không gian tham số đặc trưng ảnh
Một bước cần thiết đối với bất kỳ một thuật toán điều khiển áp dụng visual servoing
đặc biệt các hệ thống sử dụng image-based là xác định đặc trưng ảnh và quan hệ của nó đối với mô hình Đặc trưng ảnh có thể hiểu là bất kỳ một đặc điểm nào về cấu trúc có thể trích lọc ra từ ảnh bao gồm cả các tính chất chủ yếu về đặc tính phổ, đặc tính hình học của đối tượng Với các giá trị thực xuất hiện trong quá trình đo đạc các đặc trưng ảnh được trích lọc
Trang 4Đối với các các vật thể rắn có cấu trúc hình học cố định (đó cũng là đối tượng chủ yếu sử dụng trong kỹ thuật điều khiển Rô bốt) các thông số đặc trưng ảnh thường là toạ độ của các điểm đặc trưng trên mặt phẳng ảnh [u, v] , khoảng cách giữa các điểm và tham số của các đoạn thẳng trên ảnh [α, β] , trong tâm và diện tích (S), Tập hợp các véc tơ đặc trưng ảnh tạo thành không gian thông số đặc trưng ảnh ký hiệu ξ = [u1 v1, α1 β1 S1 S2]
2 Sử dụng mạng nơ-ron trong điều khiển hệ Robot-camera
bám mục tiêu
Mô tả khái quát hệ thống Robot-camera và bài toán điều khiển camera bám theo đối tượng bằng sử dụng tín hiệu đặc trưng ảnh
Sơ đồ khối hệ thống chỉ ra trên hình 3 trong đó có một camera được gắn ở đầu của tay máy có m khớp nối, sử dụng để thu nhận hình ảnh của đối tượng quan tâm Các tham biến Xc và X0 mô tả vị trí và hướng của camera và đối tượng trong không gian thực Các vectơ θ, và θ& ξ tương ứng là vị trí góc, vận tốc góc các khớp của tay máy và đặc trưng ảnh chúng có thể đo và thu ảnh bằng camera Véc tơ momen điều khiển τ =[τ1τ2 τm]T , trong bài toán điều khiển camera bám theo đối tượng bằng ảnh, được tính toán trên cơ sở sai lệch
(e) của đặc trưng ảnh hiện thời ξactual nhận từ camera và đặc trựng ảnh mong muốn ξdesired , thêm vào đó là các tín hiệu phản hồi trạng thái của các biến trong của robot θ, nhằm mục θ&
đích đưa camera về vị trí mà tại đó hình ảnh thu nhận được về đối tượng tương đương với hình ảnh mong muốn
Mô hình động học của Robot
Động học của một robot có m khớp nối được mô tả bằng một hệ phương trình vi phân như sau:
τ = H(θ)θ&& h+ (θ,θ&) (1)
Trong đó θ =[θ1θ2 θm]Tlà véc tơ góc của các khớp nối, τ =[τ1τ2 τm]T là véc tơ mô men tương ứng với các khớp H(θ) là ma trận quán tính [m x m] phần tử là các hàm số phụ thuộc vào góc θ và véc tơ h(θ,θ& là véc tơ đại diện cho lực Coriolis, lực ly tâm và trọng ) lực phụ thuộc phi tuyến vào gócθ vận tốc góc θ&
+
-e
+
d
Xo
ξ
Xc
τ
θ
θ, &
Hình 3 Hệ thống điều khiển tay máy có gắn camera
Trang 5Đặt các biến trạng thái là vector góc θ và vector vận tốc góc θ& ta có phương trình trạng thái của robot như sau:
θ θ
θ θ
θ θ
θ
+
ư
=
ư
0 )
, ( )
H dt
d
&
&
& (2)
Mô tả trạng thái của hệ thống điều khiển phi tuyến cho camera gắn trên tay máy
Trong báo cáo này trình bày một hệ thống điều khiển phi tuyến trên cở sở tuyến tính hoá các tín hiệu đặc trưng ảnh được phản hồi trực tiếp từ đầu ra trở lại đầu vào, thêm vào đó việc bù trực tiếp ảnh hưởng quá trình động học của robot cũng được sử lý có hiệu quả bằng việc mở rộng thuật toán tính mô men thực cho các khớp
Hoạt động của hệ thống có thể hình dung như sau: khi camera gắn trên tay robot hướng
về đối tượng và thu nhận được ảnh của đối tượng nếu các khớp của robot thực hiện một phép quay θ =[θ1θ2 θm]Tsẽ làm cho vị trí của vật trên ảnh cũng bị thay đổi theo
Gọi ξ là véc tơ đặt trưng ảnh của đối tượng được định nghĩa trong không gian ảnh 2 chiều (2D) có 2n chiều tương ứng n đặc trưng được chọn và ∂ξ là sự thay đổi vi phân của
đặc trưng ảnh khi vị trí và hướng của camera thực hiện một dịch chuyển vi phân ∂ Xc,, một
ma trận được Weiss đưa ra ( tham khảo thêm tài liệu [1] ) gọi là ma trận Jacobian của đặc trưng ảnh để mô tả mối quan hệ giữa các đại lượng này như sau:
∂ξ = Jfeature ∂ Xc (3)
Để thể hiện sự biến thiên của đặc trưng ảnh theo các biến trong của robot
T
m]
[θ1θ2 θ
θ = ta có công thức sau: ∂ξ = Jfeature Jrobot ∂θ (4)
ở đây Jrobot là ma trận Jacobian của robot ta ký hiệu J(ξ, ) = Jθ feature Jrobot Trong bài toán
điều khiển robot bằng hình ảnh (visual servoing) ma trận J(ξ, ) có thể được xác định bằng θ
nhiều phương pháp khác nhau tham khảo thêm trong tài liệu [2], trong mô hình điều khiển
được trình bày trong bài báo này, đối với từng cấu hình của robot và camera cụ thể thì ma trận J(ξ, ) sẽ được xác định bằng phương pháp giải tích θ
Giả thiết rằng ta đã xác định được ma trận J(ξ, ) và ma trận đó không bị suy biến θ
(đủ hạng) với một đối tượng không chuyển động Trong trường hợp đó đặc trưng ảnh của
đối tượng chỉ còn phụ thuộc vào các biến trong của robot ξdef=ϕ(θ) (5)
Chọn các biến trạng thái của hệ thống là:
] [ ]
,
[ 1 2 1 2 T T T
m m
x= θθ θ θ&θ& θ& = θ θ& (6)
z=G(ξ ưξd) (7)
Được dùng là biến mô tả sai lệch đặc trưng ảnh, G là ma trận hằng số [2n x m] phần
tử Tổ hợp các phương trình (2), (6) và (7) ta nhận được phương trình trạng thái và đầu ra của mô hình camera gắn trên tay máy như sau:
τ
) ( ) (x g x f
x&= + , z=G(ξ ưξd) (8) với:
ư
= ư
h H
f θ&1
,
= 0ư1
H
g (9)
Lưu ý chúng ta có thể đo được θ, cũng như tính được θ& ξ từ việc phân tích ảnh thu nhận
được
Trang 6Nhằm áp dụng kỹ thụât tuyến tính hóa tín hiệu phản hồi vào mô hình hệ thống trên ta thực hiện phép lấy đạo hàm bậc nhất và bậc hai của đầu ra z nhận được kết quả như sau:
z & GJ= θ& (10)
Để đơn giản đặt àdef= Jθ&
) (
1
θ
à τ
θ θ
à θ
∂
∂
=
+
ư
∂
∂
∂
∂
h H G
&
&& (11) Viết lại phương trình (11) theo dạng
z&&= L+Eτ (12) Hoặc theo dạng: Ψz&&+γ =τ (13) Trong đó
h GJH G
∂
∂
= θ θ
à &
và E = GJHư1 (14)
Ψ = H(GJ)ư1 và γ = H GJ +h
∂
∂
θ
à &
1
) ( (15)
3 Thiết kế hệ thống điều khiển sử dụng mang nơ ron
Điều khiển robot bằng phương pháp tính mô men được ứng dụng rộng rãi, trong các hệ thống điều khiển đó đòi hỏi các thông số của hệ động học cần được xác định chính xác, trong các trường hợp mà các thông số của hệ thống xác định được không đảm bảo đủ độ chính xác cần thiết (hầu hết các hệ thống trong thực tế đều rơi vào trưng hợp này) thì phương pháp trên tỏ ra thiếu tính hiệu quả
Trong báo cáo đưa ra một sơ đồ điều khiển trong đó mạng nơ ron được đưa vào hệ điều khiển nhằm giảm ảnh hưởng xấu của việc xác định không chính xác các thông số động học của hệ thống và sự méo của ảnh trong quá trình thu của camera
Trong những năm gần đây, nhiều nghiên cứu trên thế giới đã được tiến hành xung quanh vấn đề này Chúng tôi đã lựa chọn nhưng kết quả được Seul Jung and T.C Hsia công
bố trong tài liệu [6], [7], [8] để áp dụng vào mô hình điều khiển của mình Sơ đồ hệ thống
điều khiển được phát triển có ứng dụng mạng nơ ron cho trong hình 4
Hình 4 Sơ đồ hệ thống điều khiển tay máy gắn camera có sử dụng mạng nơ ron
K P
Kd
Ψ ˆ
Tay máy gắn Camera
γˆ
)
(t
θ &(t)
θ
)
(t
z
) 1 (tư
z
) 2 (tư
z
ν
Mạng Nơron
+ + +
φ
)
(t
ω
+
-
+
+
τ
+
)
(t
z
)
(t
z&
)
(t
ξ
J
G
d
ξ
)
(t
ξ
G
Trang 7Như đã trình bầy ở trên, các véc tơ z được sử dụng thay thế cho tín hiệu phản hồi của
đặc trưng ảnh Để có thể tính đựợc mô men τ trong sơ đồ ở hình 4 các đại lượng Ψ , γ
được xác định theo công thức (15) Tuy nhiên trong quá trình tính toán Ψ , γ theo công
thức (15) phải sử dụng các giá trị gần đúng Hˆ(θ) và h(θ,θ&) để thay thế cho H(θ) và
)
,
(θ θ&
h do vậy cũng sẽ chỉ nhận được các giá trị gần đúng Ψˆ, γˆ (∆Ψ=Ψˆ -Ψvà
γ
γ
∆ ˆ ) của Ψ, γ
Sơ đồ hệ thống điều khiển được mô tả trong hình 4 với tín hiệu điều khiển ω được xác
định như sau:
θ ξ
ξ
ω=ưK p zưK d z&=ưK p GJ( ư d)ưK d GJ& (16)
Các ma trận K p K d chọn là các ma trận hệ số xác định dương
Khi chưa quan tâm đến mạng nơ-ron thì mô men điều khiển τ được tính
τ = Ψω + γ (17) thay (16) vào (17) ta có τ = Ψˆ(ưK p zưK d z&)+γˆ (18)
mặt khác phương trình (13) mô tả trạng thái của hệ thống có thể được viết lại
= + Ψ
= γ
τ z&& (Ψˆ ư∆Ψ)z&&ư∆γ +γˆ (19)
Đồng nhất các phương trình (18) và (19)
γˆ ) (
ˆ ư ư +
Ψ K p z K d z& =(Ψˆ ư∆Ψ)z&&ư∆γ +γˆ
) (
ˆ z K z K z
∆Ψ&& γ && &
Rút ra được phương trình đặc trựng của hệ kín như sau:
ν =(z&&+K d z&+K p z)=Ψˆ ư1(∆Ψz&&+∆γ) (20)
Trong trường hợp xác định được chính xác các tham số của hệ thống nghĩa là ∆Ψ=0và
0
=
∆γ
0
= + +K z K z
z&& d& p (21) Như vậy sẽ đảm bảo cho hệ thống ổn định tại điểm (z &,z)=(0,0) hoặc ξ =ξdthông qua
việc lựa chọn các ma trận hệ số K , d K p
Như đã trình bầy ở trên mạng nơ ron được đưa vào để bù cho những tham số của hệ
thống xác định không chính xác Mạng nơ ron sử dụng là mạng truyền thẳng (feedforwork
neural network) có cấu trúc hai lớp, lớp ẩn (hidden layer) và lớp đầu ra (output layer) với
đầu vào là 3 vectơ z tại các thời điểm z(t), z (t-1 ∆ T), z (t-2 ∆ T) và chu kỳ trễ (delay-time
step ∆ T) là chu kỳ lấy mẫu của thông tin ảnh hồi tiếp Các nơ-ron ở lớp ẩn có hàm kích
hoạt là “sigmoid” (sigmoid activated function) Đầu ra của mạng φ =[φ1φ2 φm]Tcó số nơ
ron tương ứng số khớp nối của robot và hàm kích hoạt là tuyến tính
Sau khi đã bổ xung mạng nơ ron thì mô men tại các khớp nối được tính như sau:
)
(t
new
τ = Ψ (θ) (ω+φ) +ψ (θ,θ& ) (22) thực hiện các bước biến đổi như trong (18), (19), (20) và (21) nhận được sai số của vòng
kín là:
ν =z&&+K d z&+K P z= Ψ-1( ∆ Ψθ&&+ ∆ψ) - φ (23)
Mục đích của việc bổ xung mạng nơ ron là nhằm giảm sai số νvề không Do vây ν được
xem như là chính sai số của đầu ra mạng nơ ron và được sử dụng để huấn luyện mạng Giá
trị lý tưởng của φ là tại ν = 0 và là: φ = Ψ-1( ∆ Ψθ&&+ ∆ψ)
Để chứng minh cho nhận xét trên, quá trình huấn luyên mạng là nhằm tối thiểu hóa hàm sai
số ν, đặt hàm mục tiêu E
Trang 8E v T v
2
1
Lấy đạo hàm của hàm số E theo các trọng (w) của mạng ta được:
v
w
v w
v w
∂
∂
ư
=
∂
∂
=
∂
(25)
vì thực tế theo (23) thì
w w
∂
∂
ư
=
∂
∂ φ Thuật học lan truyền ngược (back-propagation) được sử
dụng để cập nhật các giá trị trọng mới, thuật học được cải tiến bằng việc bổ xung thêm một thành phần gọi là momentum được dẫn ra trong công thức (26)
( ) + ∆ ( ư1)
∂
∂
ư
=
w t
w
T
α
φ
η (26) Với η là tốc độ cập nhật trọng và α là hệ số của thành phần momentum
4 Kết luận
Những nghiên cứu cho thấy việc áp dụng phương pháp tính mô men trong điều khiển robot có sử dụng trực tiếp các thông tin ảnh phản hồi là thực hiện được và có ý nghĩa thực
tế Việc đưa thêm mạng nơ ron như là một yếu tố thích nghi nhằm bù nhưng sai lệch do việc không xác định được chính xác các tham số của hệ thống là hoàn toàn phù hợp
Các chương trình mô phỏng trên MATLAB được tiến hành với camera gắng trên tay máy hai bậc tự do (2 DOF) có các thám số động lực học được xác định gần đúng trong khoảng 80% giá trị danh định và đối tượng quan sát được đặt trên một mặt phẳng trực giao với trục quang học của camera Các kết quả nhận được đã cho thấy khả năng ứng dụng các phương pháp tuyến tính hoá tín hiệu ảnh phản hồi nói trên và tác dụng của mạng nơ ron
được bổ xung vào hệ thống điều khiển
Tài liệu tham khảo
[1] A C Sanderson, L E Weiss, and C P Neuman Dynamic sensor-based control
of robots with visual feedback, IEEE Trans.Robot.Autom, vol RA-3, pp.404-417, Oct.1987
[2] Seth Hutchinson, gregory D Hager, and Peter I Corke A Tutorial on
Visual Servo Control, IEEE Transactions on Robotics and Automation, 12(5) October
1996
[3] Martin Jọgersand and Randal Nelson On-line Estimation of Visual-Motor
Models using Active Vision, In Proc ARPA Image Understanding Workshop 96,1996
[4] Koichi Hashimoto and Hidenori Kimura LQ Optimal and Nonlinear
Approaches to Visual servoing
[5] K Hashimoto, T Ebine, and H Kimura Visual Servoing with Hand-Eye Manipulato –
Optimal Control Approach, IEEE Trans Robot Autom 1996
[6] Seul Jung and T.C Hsia, A Study on Neural Network Control of Robot Manipulators [7] Seul Jung and T.C Hsia, On-line Neural Network Control of Robot Manipulators,
International Conference on Neural Information Processing, vol 3, 1663-1668, 1994
[8] Seul Jung and T.C Hsia A New Neural Network Control Technique for Robot
Manipulator, Robotica, vol.13, pp 477-484,1995
[9] Bùi Trọng Tuyên and Phạm Thượng Cát Pose-estimation of object in 3D virtual
space using an image received by camera applying to Robot-visual Servo Control,
Journal of Science and Technique, Military Technical Academy of Vietnam, pp 31-42,
No 97 (IV-2001)
[10] Somlo - B.Lantos - P.T.Cat Advanced Robot Control,
Akadémia Kiadó, Budapest, 1997
