Một sơ đồ điều khiển hệ thống Hand-eye Rô-bốt bám mục tiêu di động sử dụng mạng nơ-ron

Một sơ đồ điều khiển hệ thống Hand-eye Rô-bốt bám mục tiêu di động sử dụng mạng nơ-ron Tóm tắt: Báo cáo trình bầy một ứng dụng mạng nơ ron trong điều khiển hệ thống bao gồm tay máy có

Một sơ đồ điều khiển hệ thống Hand-eye Rô-bốt bám mục tiêu di động sử dụng mạng nơ-ron

Tóm tắt:

Báo cáo trình bầy một ứng dụng mạng nơ ron trong điều khiển hệ thống bao gồm tay máy có gắn camera (hand-eye robot) để quan sát và bám theo mục tiêu Phương thức điều khiển dựa trên nguyên lý tuyến tính hoá tín hiệu ảnh phản hồi Mạng nơ ron được đưa vào nhằm giảm nhẹ tác động của những thành phần ngẫu nhiên, cho phép sử dụng các tham số có độ chính xác hạn chế vào trong mô hình động học của hệ thống Mạng

nơ ron được xem như là một yếu tố thích nghi bổ xung vào hệ thống điều khiển để tăng cường khả năng của chúng

A scheme based on ANN to control hand-eye robot

for tracking of moving objects

An application of Neural Networks based visual servoing for hand-eye robot tracking target is introduced in this paper The used control method bases input-output feedback linearization technique The Neural Network is introduced to compensate model uncertainties of overall system It suffers if the parameter values are inaccurate in the model of dynamics, the presence of image distortions and time varying Adding the

NN controller as adaptive item in the control system is one effective way to compensate for the ill effects of these uncertainties and in fact it can in some cases be used for parameter estimation

1 GIỚI THIỆU HỆ THỐNG HAND-EYE

RÔ-BÔT ĐƯỢC SỬ DỤNG

Hệ thống có sơ đồ mô tả trong hình 1,

trong đó cấu trúc điều khiển sử dụng tín hiệu sai

lệch được định nghĩa trực tiếp dưới dạng thông số

đặc trưng ảnh và được tính trực tiếp trong không

gian ảnh hai chiều (image-based) [1], [2],[3]

Nhiệm vụ của hệ điều khiển này được biểu diến

dưới dạng hàm e: ξ→ Rl trong đó l ≤ k, k là số

chiều của không gian thông số đặc trưng ảnh

Image-based visual servoing là phương pháp điều

khiển không có tính toán trung gian của quá trình

ước lượng vị trí của hệ thông rô-bốt và camera do

vậy không dựa vào mô hình hình học của đối

tượng Trong mỗi một trường hợp chuyển động của

tay máy làm thay đổi ảnh quan sát được của

camera, do vậy khi đặt được chỉ tiêp e = 0 thì

nhiệm vụ điều khiển của hệ coi như đạt yêu cầu

Sơ đồ điều khiển này cho phép khai thác được lợi

thế của điều khiển image-based là việc tính toán tín

hiệu điều khiển cho hệ thống rất ít phụ thuộc vào quá trình chuẩn hóa camera và không đòi hỏi phải biết trước mô hình hình học của đối tượng (một yêu cầu khó đáp ứng trong thực tiễn) Ngoài ra phương pháp image-based đòi hỏi lượng tính toán ít, đây là vấn đề rất quan trọng trong điều khiển thời gian thực

Trong hệ visual servoing, sensor thị giác cung cấp lượng thông tin về môi trường và đối tượng rất phong phú, tuy nhiên tốc độ lấy mẫu của sensor thị giác chậm khoảng 50 Hz nếu so với tốc

độ các sensor truyền thông dùng để đo vị trí hoặc tốc độ trong các hệ cơ khí (ví dụ 1000 Hz) Do vậy việc kết hợp vòng điều khiển khớp riêng biệt với vòng điều khiển sử dụng thị giác thành hệ điều khiển phân cấp có các tốc độ lấy mẫu khác nhau Cấu trúc này cho phép là tăng độ chính xác của bộ điều khiển và dễ dàng nâng cao được tốc độ đáp ứng của hệ thống

Hình 1: Sơ đồ khối hệ look-and-move image-based visual servoing

Control Law

Feature’s extraction Camera

+

_

d

Controller

Robot Dynamics Kinematics Robot

Object

xo

ξ

Ta nhận thấy, véc-tơ momen điều khiển

T

m]

[ τ1τ2 τ

τ = , trong bài toán điều khiển

hand-eye rô-bốt bám theo đối tượng bằng ảnh

(image-based), được tính toán trên cơ sở sai lệch (e) của

đặc trưng ảnh hiện thời ξ nhận từ camera và đặc

trựng ảnh mong muốn ξd , thêm vào đó là các tín

hiệu phản hồi trạng thái của các biến trong của

rô-bốt θ , θ & nhằm mục đích đưa camera về vi trí mà

tại đó hình ảnh thu nhận được về đối tượng tương

đương với hình ảnh mong muốn

1.1 Mô hình động lực học của Rô bốt

Động học của một Rô bốt có m khớp nối

được mô tả bằng một hệ phương trình vi phân như

sau:

τ = H ( θ ) θ && h + ( θ , θ & ) (1)

Trong đó θ = [ θ1θ2 θm]Tlà véc tơ góc của các

khớp nối, τ = [ τ1τ2 τm]T là véc tơ mô men

tương ứng với các khớp H ( θ ) là ma trận quán

tính [ m × m ] phần tử là các hàm số phụ thuộc vào

góc θ và véc tơ h ( θ , θ & ) là véc tơ đại diện cho lực

Coriolis, lực ly tâm và trọng lực phụ thuộc phi

tuyến vào góc θ vận tốc góc θ &

Đặt các biến trạng thái là vector góc θ và vector

vận tốc góc θ & ta có phương trình trạng thái của

rô-bốt như sau:

τ θ θ

θ θ

θ

θ

θ











 +

















−

=













−

0 )

, ( )

H

dt

d

&

&

1.2 Mô tả trạng thái của hệ thống điều khiển phi

tuyến cho hand-eye rô-bốt

Trong bài báo này trình bày một hệ thống

điều khiển phi tuyến dựa trên cở sở tuyến tính hoá

các tín hiệu đặc trưng ảnh được phản hồi trực tiếp

từ đầu ra trở lại đầu vào, thêm vào đó việc bù trực

tiếp ảnh hưởng quá trình động học của rô-bốt cũng

được sử lý có hiệu quả bằng việc mở rộng thuật

toán tính mô men thực cho các khớp

Hoạt động của hệ thống có thể hình dung

như sau: khi camera gắn trên tay Rô bốt hướng về

đối tượng và thu nhận được ảnh của đối tượng nếu

các khớp của Rô bốt thực hiện một phép quay

T

m]

[ θ1θ2 θ

θ = sẽ làm cho vị trí của vật trên ảnh

cũng bị thay đổi theo

Giả thiết rằng ta đã xác định được ma trận

)

,

( ξ θ

J và ma trận đó không bị suy biến (đủ hạng)

với một đối tượng không chuyển động Trong

trường hợp đó đặc trưng ảnh của đối tượng chỉ còn

phụ thuộc vào các biến trong của rô-bốt

) ( θ ϕ

ξdef= (3) Chọn các biến trạng thái của hệ thống là:

[ 1 2 , 1 2 ]T [ T T]

m m

x = θ θ θ θ & θ & θ & = θ θ & (4)

z = G ( ξ − ξd) (5)

Được dùng là biến mô tả sai lệch đặt trưng ảnh, G là ma trận hằng số 2 n × m phần tử Tổ hợp các phương trình (2), (4) và (5) ta nhận được phương trình trạng thái và đầu ra của mô hình camera gắn trên tay máy như sau:

x & = f ( x ) + g ( x ) τ , z = G ( ξ − ξd) (6)

với:

















−

h H

f

1

θ &











H

g (7)

Lưu ý chúng ta có thể đo được θ , θ & cũng như tính được ξ từ việc phân tích ảnh thu nhận được

Nhằm áp dụng kỹ thụât tuyến tính hóa tín hiệu phản hồi vào mô hình hệ thống trên ta thực hiện phép lấy đạo hàm bậc nhất và bậc hai của đầu

ra z nhận được kết quả như sau:

z & GJ = θ & (8)

Để đơn giản đặt µdef= J θ &

) ( )

(

1

θ

µ τ

θ θ

µ θ

∂

∂

=















 +

−









∂

∂

∂

∂

h H G

&

1.3 Mô hình hoá chuyển động của đối tượng và mô

tả trạng thái của hệ thống điều khiển phi tuyến cho camera gắn trên tay máy trong trương hợp này

Giả thiết rằng đối tượng chuyển động trong không gian m0 chiều m0 ≤ 6 và véc tơ p

là véc tơ mô tả vị trí và hướng của đối tượng trong không gian p ∈ Rm0 Đồng thời cũng giả thiết rằng vận tốc của vật được tính theo ma trận tham số

l chiều Ω ( 1 < m0)

Mô hình chuyển động của vật trong không gian thực được mô tả bởi phương trình sau:

p& = W ( p ) * Ω (10)

)

( p

W là ma trận có kích thước m0 x l Tương tự nhưng trong trường hợp đối tượng đứng yên nếu các khớp của rô bốt thực hiện một phép quay hoặc đối tượng di chuyển sẽ làm cho vị trí của vật trên ảnh thay đổi Gọi ξ là véc tơ đặt trưng ảnh của đối tượng được định nghĩa trong không gian ảnh 2 chiều (2D) có 2n chiều tương ứng

n đặc trưng được chọn và ∂ ξ là sự thay đổi vi phân của đặc trưng ảnh khi vật và rô bốt thực hiện các dịch chuyển vi phân ∂ p và ∂ θ, mối quan hệ giữa các đại lượng này như sau:

p L

=

∂ ξ θ (11)

Trong đó, Jlà ma trận Jacobian của đặc

trưng ảnh và Llà ma trận Jacobian của chuyển

động của đối tượng

p

i L

i

J

∂

∂

∂

∂

=

∂

∂

∂

∂

σ θ

σ

Trong đó, i là ánh xạ được mô tả như sau:

)

( σ

ξdef= i với σ là vị trí tương đối giữa vật và

camera σ = Xc − Xo

Chọn các biến trạng thái của hệ thống là:

)) ( ) ( ( , ) ( d d i X c d X o p d

G

Trong đó:







=

>

=

m n I

m n p

J

GT def

,

, ) ,

) (

*

* )

(

* ) (

*

* 2

* ) (

*

* 2

) ( 2

) (

*

*

*

))

(

),

(

1

2 2

2

2 2

2

2 2

2

Ω Φ + Ω +

+

−

=

⇒

Ω



∂

∂ Ω +

∂

∂ +

∂

∂

+









∂

∂

=

⇒

Ω









∂

∂ Ω

∂

∂ +

∂

∂

∂ +

∂

∂

+

∂

∂

=



 ∂∂

∂

∂ +

∂

∂ +

∂

∂

+

∂

∂

⇒













∂

∂

∂

∂ +



∂∂

∂

∂ +









∂

∂

∂

∂ +









∂

∂

∂

∂

+

∂

∂

⇒

∂

∂

∂

∂

⇒

=

θ θ θ θ

θ

θ

θ θ θ

θ

θ

θ

θ θ θ

θ

θ

θ

θ θ θ θ θ θ θ

θ

θ

ϕ

θ

θ

θ

N h

GJH

z

W p z W p p p z z

g

z

W p z W p p p z z

z

z

p p z p p p p z z

z

z

p p z p p p

z p z p z

z

z

z

p

p

z

z

z

t

p

t

z

z

i T T T T

i T

i

i

i

i T T T T

i

T

i

i

i T T T

i

T

i

i

T i T

i T T i T T T

i

i

&&

&

&

&

&

&&

&

&

&

&

&&

&&

&

&

&

&

&

&

&&

&&

&

&

&

&

&

&

&

&

&&

&

&

&

&

) (

) 1 (

1 1

) (

1 )

( )

(

0 0 0

0

0 0

m x m

z x

m

z

x m x

l m

x

n

p

z

x m p l x m p W m

x

n

z

T

i

T

∂

∂

∂

⇒









∂

∂

=

= Ω

∂

∂

=

=

∂

∂

θ θ θ

θ θ

Trong đó:

































=

m

λ

λ

λ

.

1

,

































=

m

N

N

N

.

1

,

































Φ

Φ

= Φ

m

.

1

và

θ θ θ

λ & &

2

2

∂

∂

= T i

def i

z

W p

z

∂

jk

T i T def

p

z W























∂

∂

∂

∂

=

T l l

def

l i

l i

def i

]

[ ) (

]

[

2

2 2 1

2 1

2 21 1 11

Ω Ω Ω Ω Ω Ω

= Ω

Φ Φ Φ Φ

= Φ

κ

Viết lại phương trình (9) theo dạng

h N

z GJ

Hay τ = z&& Ψ + γ (15) Như vậy công thức (15) về hình thức tương đương trương hợp mục tiêu không chuyển động bài toán

đã được giải quyết [11], [12], tuy nhiên việc xác định Ψ , γ phải theo công thức trong (16)

1

) ( −

=

Ψ H GJ

và

h N

GJ

−

Tín hiệu đưa vào vòng điều khiển được định nghĩa:

z K z

KP − d&

−

=

Ta có được sơ đồ điều khiển như trong hình 2, các

ma trận Kp, Kd chọn là các ma trận hệ số xác định dương

Hình 2: Sơ đồ hệ thống điều khiển hand-eye rôbốt

K

Kd

Ψˆ

Tay máy gắn Camera

γ ˆ

)

(t

θθ&(t)

)

(t

ω

-+

-

+

+

τ

+

)

(t z

)

(t

z&

)

(t

ξ

J, L

G d

ξ

)

(t

ξ

G

2 THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN SỬ

DỤNG MẠNG NƠ RON

Điều khiển robot bằng phương pháp tính

mô men được ứng dụng rộng rãi, trong các hệ thống

điều khiển đó đòi hỏi các thông số của hệ động học

cần được xác định chính xác, trong các trường hợp

mà các thông số của hệ thống xác định được không đảm bảo đủ độ chính xác cần thiết (hầu hết các hệ thống trong thực tế đều rơi vào trường hợp này) thì phương pháp trên tỏ ra thiếu tính hiệu quả

Như đã trình bầy ở trên, các véc tơ z

được sử dụng thay thế cho tín hiệu phản hồi của đặc

trưng ảnh Để có thể tính đựợc mô men τ trong sơ

đồ ở hình 5.9 các đại lượng Ψ,γ được xác định

theo công thức (16) Tuy nhiên trong quá trình tính

toán Ψ, γ theo công thức (16) phải sử dụng các

giá trị gần đúng H ( θ ) và h ( θ , θ & ) để thay thế

cho H ( θ ) và h ( θ , θ & )do vậy cũng sẽ chỉ nhận

được các giá trị gần đúng Ψˆ,γ ˆ (∆Ψ = Ψ ˆ -Ψvà

γ

γ

γ = −

Sơ đồ hệ thống điều khiển được mô tả

trong hình 3 với tín hiệu điều khiển ω được xác

định theo (17) Khi chưa quan tâm đến mạng

nơ-ron thì mô men điều khiển τ được tính

τ = Ψ ω + γ (18) thay (17) vào (18) ta có

τ = Ψ ˆ ( − Kpz − Kdz & ) + γ ˆ (19)

mặt khác phương trình (15) mô tả trạng thái của hệ

thống có thể được viết lại ta nhận đươc (20)

τ = Ψ z&& + γ = ( Ψ ˆ − ∆Ψ ) z&& − ∆ γ + γ ˆ (20)

Đồng nhất các phương trình (19) và (20)

γˆ )

(− − +

Ψ K p z K d z& = Ψˆ −∆Ψ)z&&−∆γ +γˆ

Rút ra được phương trình đặc trựng của hệ kín như

sau: ν =(z&&+K d z&+K p z)=Ψˆ −1(∆Ψz&&+∆γ) (21)

) (

ˆ z K z K z

∆Ψ && γ && &

Trong trường hợp xác định được chính xác các tham số của hệ thống nghĩa là ∆Ψ = 0và

0

=

∆ γ

0

= + + K z K z

z && d& p (22) Như vậy sẽ đảm bảo cho hệ thống ổn định tại điểm

) 0 , 0 ( ) , ( z & z = hoặc ξ = ξd thông qua việc lựa chọn các ma trận hệ số Kd, Kp

Như đã trình bầy ở trên mạng nơ ron được đưa vào

để bù cho những tham số của hệ thống xác định không chính xác Mạng nơ ron sử dụng là mạng truyền thẳng (feedforwork neural network) có cấu trúc hai lớp, lớp ẩn (hidden layer) và lớp đầu ra (output layer) với đầu vào là 3 vectơ z tại các thời điểm z (t ) , z ( t − 1 ∆ T ), z ( t − 2 ∆ T ) và chu

kỳ trễ (delay-time step ∆ T) là chu kỳ lấy mẫu của thông tin ảnh hồi tiếp Các nơ-ron ở lớp ẩn có hàm kích hoạt là “sigmoid” (sigmoid activated function)

Đầu ra của mạng φ = [ φ1φ2 φm]Tcó số nơ ron tương ứng số khớp nối của robot và hàm kích hoạt

là tuyến tính

Sau khi đã bổ xung mạng nơ ron thì mô men tại các khớp nối được tính như sau:

)

(t

new

τ = Ψ(θ) (ω+φ) +ψ ( θ , θ & ) (23)

Hình 3: Sơ đồ hệ thống điều khiển tay máy gắn camera có sử dụng mạng nơ ron

K

K

Ψˆ

Tay máy gắn Camera

γ ˆ

)

(t

θ&

)

(t

θ

)

(t

z

) 1 (t−

z

) 2 (t−

z

ν

Mạng nơ-ron

+ + +

φ

)

(t

ω

+

-

+

+

τ

+ )

(t

z

)

(t z&

)

(t

ξ

G

G

d

ξ

)

(t

ξ

J,L

thực hiện các bước biến đổi như trong (20), (21),

(22) và (23) nhận được sai số của vòng kín là:

= +

+

=z&& K d z& K P z

ν Ψ-1(∆Ψθ&& +∆ ψ) -φ (24)

Mục đích của việc bổ xung mạng nơ ron là nhằm

giảm sai số ν về không Do vây ν được xem như

là chính sai số của đầu ra mạng nơ ron và được sử

dụng để huấn luyện mạng

Giá trị lý tưởng của φ là tại ν = 0 và là:

φ = Ψ-1(∆ Ψ θ &&+∆ ψ )

Để chứng minh cho nhận xét trên, quá trình huấn

luyên mạng là nhằm tối thiểu hóa hàm sai số ν ,

đặt hàm mục tiêu E

E vTv

2

1

Lấy đạo hàm của hàm số E theo các trọng (w) của

mạng ta được:

v w

v w

v w

∂

∂

−

=

∂

∂

=

∂

(26)

vì thực tế theo (5.60) thì

w w

∂

∂

−

=

∂

∂ φ Thuật học lan truyền ngược (back-propagation) được sử dụng

để cập nhật các giá trị trọng mới, thuật học được cải tiến bằng việc bổ xung thêm một thành phần gọi là momentum được dẫn ra trong công thức (27)

∂

∂

−

=

w t

w

T

α

φ

Với η là tốc độ cập nhật trọng và α là hệ số của thành phần momentum

Hình 4: Sơ đồ mạng nơ-ron hai lớp sử dụng trong hệ điều khiển

hand-eye rô-bốt

3 KẾT LUẬN

Những nghiên cứu cho thấy việc áp dụng

phương pháp tính mô men trong điều khiển visual

servoing có sử dụng trực tiếp các thông tin ảnh

phản hồi là thực hiện và có ý nghĩa thực tế Việc

đưa thêm mạng nơ ron như là một yếu tố thích nghi

nhằm bù nhưng sai lệch do việc không xác định

được chính xác các tham số của hệ thống là hoàn

toàn phù hợp

TÀI LIỆU THAM KHẢO [1] A C Sanderson, L E Weiss, and C P

Neuman Dynamic sensor-based control of

robots with visual feedback, IEEE

Trans.Robot.Autom, vol RA-3, pp.404-417,

Oct.1987

[2] Seth Hutchinson, gregory D Hager, and Peter

I Corke A Tutorial on Visual Servo

Control, IEEE Transactions on Robotics and

Automation, 12(5) October 1996

Φ1 Φ2

Φm

z2(t)

zn(t)

z1(t-1)

z2(t-1)

zn(t-1)

z1(t-2)

z2(t-2)

z1(t)

zn(t-2)

km w

nk w

1

2

3

4

5

k

[3] Martin Jọgersand and Randal Nelson On-line

Estimation of Visual-Motor Models using

Active Vision, In Proc ARPA Image

Understanding Workshop

96,1996

[4] Koichi Hashimoto and Hidenori Kimura LQ

Optimal and Nonlinear Approaches to

Visual servoing

[5] K Hashimoto, T Ebine, and H Kimura Visual

Servoing with Hand-Eye Manipulato –

Optimal Control Approach, IEEE Trans

Robot Autom 1996

[6] Seul Jung and T.C Hsia, A Study on Neural

Network Control of Robot Manipulators

[7] Seul Jung and T.C Hsia, On-line Neural

Network Control of Robot Manipulators,

International Conference on Neural

Information Processing, vol 3, 1663-1668,

1994

[8] Seul Jung and T.C Hsia A New Neural

Network Control Technique for Robot

Manipulator, Robotica, vol.13, pp

477-484,1995

[9] Somlo - B.Lantos - P.T.Cat Advanced Robot

Control, Akadémia Kiadó, Budapest, 1997

[10] Bùi Trọng Tuyên and Phạm Thượng Cát

Pose-estimation of object in 3D virtual space using an image received by camera applying to Robot-visual Servo Control,

Journal of Science and Technique, Military Technical Academy of Vietnam, pp 31-42,

No 97 (IV-2001)

[11] Bùi Trọng Tuyên, Phạm Thượng Cát

Về một phương pháp điều khiển hệ camera-robot bám mục tiêu sử dụng mạng nơ-ron,

Hội nghị toàn quốc lần thứ nhất về Cơ điện

tử, 20/9/2002 [12] Bùi Trọng Tuyên, Phạm Thượng Cát

Về một phương pháp mới trong điều khiển hệ thống robot-camera sử dụng mạng nơ ron,

Hội nghị Toàn Quốc lần thứ 5 về tự động hoá (VICA5), 2002

[13] Bui Trong Tuyen, Pham Thuong Cat

NEURAL NETWORK BASED VISUAL CONTROL, Seventh intẻnational Coference

on Control Automation, Robotics and Vision- ICARCV 2002, 2-5 December 2002, Singapore