REPRESENTATION OF FEATURE SYSTEMS IN A N O N - C O N N E C T I O N I S T
MOLECULAR MACHINE
L ~ z I 6 K 6 i m ~ n
I n s t i t u t e of L i n g u i s t i c s
H u n g a r i a n A c a d e m y of S c i e n c e s
B u d a p e s t I., P O B o x 19
H - 1 2 5 0 H U N G A R Y
A B S T R A C T
T h i s p a p e r is p a r t of a n e n t e r p r i s e
w h o s e a i m is t o r e p r e s e n t l i n g u i s t i c
k n o w l e d g e in t h e f o r m of a m o l e c u l a r
m a c h i n e (a d y n a m i c n e t w o r k ) T h a t is, t h e
m o l e c u l e s of t h e n e t w o r k n o t o n l y store,
b u t a l s o send, receive, a n d p r o c e s s
i n f o r m a t i o n It is c l a i m e d t h a t s u c h a
n e t w o r k c a n b e c o n c e i v e d of as a m o d e l of
c o n n e c t i o n i s t network T h e p a p e r
d e s c r i b e s h o w t h e c l a s s of f e a t u r e
s y s t e m s c a l l e d u n a r y f e a t u r e h i e r a r c h i e s
(whose i m p o r t a n c e is s u p p o r t e d b y
p h o n o l o g i c a l t h e o r y b u t w i l l n o t b e
r e p r e s e n t e d in t h e m o l e c u l a r m a c h i n e
INTRODUCTION
Of t h e v a r i o u s b r a n c h e s of m o d e r n
l i n g u i s t i c theory, p h o n o l o g y , as usual,
w a s t h e f i r s t o n e to c o m e up w i t h r e a l l y
r e s t r i c t i v e t h e o r i e s of f e a t u r e s a n d
f e a t u r e systems, l a r g e l y s u p p o r t e d b y
e m p i r i c a l e v i d e n c e c o m i n g f r o m t h e s t u d y
of a l e g i o n of l i n g u i s t i c p h e n o m e n a
P h o n o l o g y w i l l m o s t p r o b a b l y r e m a i n m a i n
s o u r c e of e v i d e n c e as far as t h e
f u n c t i o n i n g of f e a t u r e - b a s e d c o g n i t i v e
p r o c e s s e s is c o n c e r n e d
T h e p r e s e n t p a p e r s e t s o u t t o o u t l i n e
h o w a p a r t i c u l a r k i n d of f e a t u r e system,
c l o s e t o s e v e r a l r e c e n t t h e o r i e s of
p h o n o l o g i c a l features, c a n b e r e p r e s e n t e d
in c o n n e c t i o n i s t n e t w o r k s However, s i n c e
s e r i a l i t y a n d s y n c h r o n i z a t i o n in
p a r t i c u l a r , fall o u t s i d e t h e s c o p e of the
e x i s t i n g c o n n e c t i o n i s t n e t w o r k s , a non-
c o n n e c t i o n i s t m o d e l s i m u l a t i n g w o u l d - b e
s e r i a l c o n n e c t i o n i s t n e t w o r k s w i l l be
u s e d instead T h e a u t o m a t o n d e s c r i b e d in
the p a p e r is a b l e to u n i f y f e a t u r e
s t r u c t u r e s as p r o g r a m s t o b e run on the
m a c h i n e itself
UNARY FEATURE HIERARCHIES
T h e f e a t u r e s y s t e m s u n d e r s c r u t i n y can be t e r m e d u n a r y f e a t u r e h i e r a r c h i e s The u n d e r l y i n g c o n c e p t is c l o s e to the
a u t o s e g m e n t a l p h o n o l o g y (Clements 1985)
in t h a t a f e a t u r e s p e c i f i c a t i o n c o n s i s t s
of f e a t u r e s a p p e a r i n g o n tiers, a n d
f e a t u r e s on a d j a c e n t t i e r s c a n b e l i n k e d
b y a s s o c i a t i o n ~ines T i e r s a r e o r d e r e d
in a m u l t i - d i m e n s i o n a l space, a n d t h e s e t
of f e a t u r e s t h a t m a y a p p e a r on a
p a r t i c u l a r t i e r is p r e d e f i n e d U n a r i t y ,
on t h e o t h e r hand, m e a n s t h a t a f e a t u r e
e i t h e r a p p e a r s w i t h i n a g i v e n 'span' (of time) or it d o e s n o t (instead of h a v i n g
d i f f e r e n t v a l u e s ) ; t h e a b s e n c e of a
f e a t u r e s i m p l y m e a n s l a c k of i n f o r m a t i o n
or u n d e r s D e c i f i c a t i o n F e a t u r e s c a n o n l y
be l i n k e d to s p e c i f i e d slots; on t h e
o t h e r hand, t i e r s are a d j a c e n t to
f e a t u r e s r a t h e r t h a n to t i e r s (hence t h e
u s e of h i e r a r c h v i n s t e a d of q e o m e t r y ) ;
t h a t is, t h e f o l l o w i n g c o n f i g u r a t i o n m a y
be r u l e d o u t if t h e H t i e r is a d j a c e n t to
F b u t n o t to G:
F / G t i e r F G
H t i e r H H
F i g u r e I T h i s c o n f i g u r a t i o n m a y b e r u l e d
out
U n a r i t y is o p p o s e d to t r a d i t i o n a l
b i n a r y f e a t u r e s y s t e m s (with a m a r k e d '+' and an u n m a r k e d '-' v a l u e for e a c h feature) a n d to t e r n a r y s y s t e m s (with a
m a r k e d '+', an u n m a r k e d '-', a n d an
u n s p e c i f i e d '0' value), w h i l e f e a t u r e
g e o m e t r i e s (and h i e r a r c h i e s ) r e p l a c e t h e
c o n c e p t i o n , in w h i c h e a c h s e g m e n t
c o n s i s t e d of an u n o r d e r e d set of f e a t u r e -
- v a l u e pairs C o m p a r e the f o l l o w i n g (sketchy) r e p r e s e n t a t i o n s of lax v o w e l s
in English:
Trang 2e ~ i A o D u
L o w - + - - - + -
H i g h - - + - - - +
B a c k - - - + + + +
F i g u r e 2 E n g l i s h l a x v o w e l s as f e a t u r e
b u n d l e s
T i e r s S e g m e n t s
e ~ z i A o 9 u
R o o t t i e r x x x x x x x
I I I I I I
H / L / B t i e r L H B B B B
I I I
I I
F i g u r e 3 U n a r y f e a t u r e h i e r a r c h y f o r
E n g l i s h l a x v o w e l s
T h a t is, in t h i s a p p r o a c h , f e a t u r e
h i e r a r c h i e s n o t o n l y e x p r e s s u n i v e r s a l
r e s t r i c t i o n s o n f e a t u r e s t r u c t u r e s (as
f e a t u r e g e o m e t r i e s do, cf C l e m e n t s
1985), b u t l a n g u a g e s p e c i f i c r e d u n d a n c y
r u l e s a n d f e a t u r e c o - o c c u r r e n c e
r e s t r i c t i o n s as w e l l In a d d i t i o n t o t h e
above, w e s h a l l a s s u m e t h e p o s s i b i l i t y o f
f o r b i d d i n g t h a t a f e a t u r e (or, r a t h e r ,
a n y f e a t u r e o f a g i v e n tier) b e l i n k e d t o
a n o t h e r L i n k p r o h i b i t i o n s a r e n o t
i n t e n d e d t o b e a f e a t u r e v a l u e , h e n c e t h e
b e l o w r e p r e s e n t a t i o n s
T i e r 1 F F
X
T i e r 2
F i g u r e 4 C o n f i g u r a t i o n s w i t h a n d w i t h o u t
l i n k p r o h i b i t i o n
s p e c i f y i d e n t i c a l e l e m e n t s , in s p i t e o f
t h e f a c t t h a t n o f e a t u r e c a n b e l i n k e d t o
F in F i g u r e 4a (X s t a n d s f o r l i n k
p r o h i b i t i o n ) F o r e x a m p l e , c o n s i d e r t h e
f o l l o w i n g f e a t u r e h i e r a r c h y ,
c h a r a c t e r i z i n g a l a n g u a g e w h e r e p l u r a l
a n d d u a l n o u n s u s u a l l y b e h a v e in t h e s a m e
w a y (e.g H e b r e w ) :
C a t e g o r y t i e r - - - N N N N N -
N u m b e r t i e r N S g NSg NSg
I x
i: s i n g u l a r n o u n 2: p l u r a l n o u n 3: s i n a u l a r e t a n t u m 4: d u a l n o u n a n d d u a l e t a n t u m 5: p l u r a l e t a n t u m
F i g u r e 5 S a m p l e f e a t u r e s y s t e m
In t e r m s o f t h e a b o v e , t h e f e a t u r e s o f
p l u r a l n o u n s a n d D l u r a l i a t a n t u m a r e
i d e n t i c a l , in s p i t e o f t h e l i n k
p r o h i b i t i o n c o n c e r n i n g t h e ' N o n - S i n g u l a r '
f e a t u r e o f t h e l a t t e r
CONNECTIONIST MODEL OF FEATURE
SYSTEMS
O b v i o u s l y , t h e p r e s e n c e o f a f e a t u r e
in a s e g m e n t c o r r e s p o n d s t o a r e l a t i v e l y
h i g h a c t i v a t i o n l e v e l o f a n o d e o r a
c o a l i t i o n o f n o d e s in a c o n n e c t i o n i s t
n e t w o r k T h e v e r t i c a l g e o m e t r y o f t i e r s
d e t e r m i n e s t h e p o s s i b i l i t i e s o f l i n k i n g ;
t h e e s s e n t i a l f u n c t i o n o f l i n k s is t o
s y n c h r o n i z e t h e a c t i v a t i o n o f f e a t u r e s ,
b u t t h e y a l s o e x p r e s s t h e i r d e p e n d e n c y
r e l a t i o n s T h u s a s s o c i a t i o n l i n e s
c o r e s p o n d t o t h e f a c t t h a t t h e a c t i v a t i o n
of a n o d e o r c o a l i t i o n c o n t r o l s t h e
a c t i v a t i o n o f a n o t h e r n o d e o r c o a l i t i o n
F i n a l l y , l i n k p r o h i b i t i o n s c a n b e
r e p r e s e n t e d a s t h e i n h i b i t i o n o f
p a r t i c u l a r t i e r s T h e a d j a c e n c y o f t i e r s
w i l l c o r r e s p o n d t o s u p e r - c o a l i t i o n s , i.e
f e a t u r e s o n a d j a c e n t t i e r s a r e f e a t u r e s
w h o s e a c t i v a t i o n c a n b e s y n c h r o n i z e d a t all
In o u r p r e s e n t k n o w l e d g e , n o n e o f t h e
e x i s t i n g c o n n e c t i o n i s t n e t w o r k s c a n l e a r n
a n d e n c o d e t h e s e q u e n t i a l a c t i v a t i o n o f
n o d e s o r c o a l i t i o n s o f n o d e s , a l b e i t t h e
o r g a n i z a t i o n o f h u m a n m e m o r y is m o s t
p r o b a b l y h i g h l y s e r i a l i z e d T o o v e r c o m e
t h i s d e f i c i e n c y (and f o r o t h e r r e a s o n s as well) w e d e s i g n e d a m o l e c u l a r m a c h i n e (cf K a l m ~ n a n d K o r n a i 1985) t o m o d e l t h e
f u n c t i o n i n g o f a s e q u e n t i a l c o n n e c t i o n i s t
n e t w o r k
In t h i s m a c h i n e , e a c h m o l e c u l e
c o n t a i n s a m o r e o r l e s s s t a b l e p i e c e o f
k n o w l e d g e e n c o d i n g t h e c o a l i t i o n
s t r u c t u r e it p a r t i c i p a t e s in, in t h e f o r m
of a l a y o u t o f t h e s u r r o u n d i n g n e t w o r k
Trang 3to e a c h other; a m e s s a g e h a s t h e same
form as t h e p i e c e s of i n f o r m a t i o n s t o r e d
in the m o l e c u l e s , i.e it is a d i r e c t e d
g r a p h r e p r e s e n t i n g a s u b s t r u c t u r e of
m o l e c u l e s w i t h t h e i r d e p e n d e n c i e s W h e n a
m o l e c u l e r e c e i v e s a m e s s a g e , it u n i f i e s
the m e s s a g e w i t h its o w n map, a n d it
f o r w a r d s t h e r e s u l t i n g i n f o r m a t i o n T h e
u l t i m a t e a d d r e s s e e s a r e t h e 'output
m o l e c u l e s ' , w h i c h c a n p e r f o r m e x t r a
a c t i o n s w h e n r e c e i v i n g a p r o p e r l y
a d d r e s s e d m e s s a g e T h a t is, t h e m e s s a g e
a c t s as a p r o g r a m t h a t will, a f t e r s o m e
m o d i f i c a t i o n s it u n d e r g o e s , a c t i v a t e a
set of o u t p u t m o l e c u l e s in a w e l l - d e f i n e d
order° M o d i f i c a t i o n s c o r r e s p o n d to t h e
e f f e c t s of t h e r u l e s s t o r e d in the
m o l e c u l e s on t h e p a t h of t h e m e s s a g e
O n e of t h e m o s t i m p o r t a n t
c h a r a c t e r i s t i c s of t h e m e s s a g e s s e n t (and
o t h e r maps) is t h a t t h e y m a y c o n t a i n
m i s s i n g steps, i.e d i s t i n g u i s h e d n o d e s
e n c o d i n g l a c k of i n f o r m a t i o n c o n c e r n i n g
the w a y b e t w e e n t w o nodes M i s s i n g s t e p s
can b e e l i m i n a t e d b y u n i f i c a t i o n ,
p r o v i d e d t h a t t h e r e q u i r e d p a t h is
s p e c i f i e d in t h e m a p of a p r o c e s s i n g
m o l e c u l e T h i s m e c h a n i s m c o r r e s p o n d s to
the f u n c t i o n of ' s u p e r - c o a l i t i o n s ' , i.e
t h e s y n c h r o n i z a t i o n a n d s e q u e n c i n g of t h e
a c t i v a t i o n of o t h e r w i s e d i s t i n c t
c o a l i t i o n s
INFORMATION PROCESSING W I T H
THE MOLECULAR MACHINE
T h e b a s i c o p e r a t i o n p e r f o r m e d b y t h e
m o l e c u l a r m a c h i n e is a k i n d of
u n i f i c a t i o n , d i f f e r i n g f r o m t h e
c o r r e s p o n d i n g o p e r a t i o n u s e d in
u n i f i c a t i o n - b a s e d g r a m m a r s b y v i r t u e of
the d i f f e r e n c e s in t h e f e a t u r e s t r u c t u r e s
and t h e i r r e p r e s e n t a t i o n s S i n c e t h e m a p
g r a p h s of t h e m o l e c u l a r m a c h i n e c o n t a i n
no n o d e v a r i a b l e s , u n i f i c a t i o n
e s s e n t i a l l y m e a n s t h e e l i m i n a t i o n of
m i s s i n g steps M i s s i n g s t e p s e n c o d e b o t h
a l t e r n a t i v e a n d c o n j u n c t i v e r e l a t i o n s :
A B
V
F i g u r e 6 S a m p l e d i r e c t e d g r a p h w i t h
m i s s i n g step
6 c a n o n l y b e e l i m i n a t e d b y s u p p l y i n g a
p a t h f r o m A a n d B to e i t h e r C or D, e.g
by u n i f y i n g t h e g r a p h in F i g u r e 6 w i t h the following:
C
F i g u r e 7 S a m p l e d i r e c t e d g r a p h w i t h o u t
m i s s i n g step
F i g u r e 7 is a l s o t h e r e s u l t i n g graph A n y
o t h e r u n i f i c a t i o n w i l l pr, v i d e a p a r t i a l
s o l u t i o n at best
T h e c o n t r o l f u n c t i o n of t h e d i r e c t e d
g r a p h s in q u e s t i o n is d u e t o t h e fact
t h a t t h e a d d r e s s e d m o l e c u l e s a r e a b l e to
r e d u c e t h e m e s s a g e s t h e y receive F o r example, in t h e c a s e of t h e g r a p h on
F i g u r e 7, b o t h m o l e c u l e s A a n d B w i l l
r e m o v e t h e i r a d d r e s s e s f r o m t h e t o p level
b e f o r e f o r w a r d i n g t h e graph T h e g r a p h on
F i g u r e 6, o n t h e o t h e r hand, w i l l be
u n a b l e to a c t i v a t e a n y of t h e a d d r e s s e e s
b e c a u s e of t h e m i s s i n g s t e p it contains
T h e u n i f i c a t i o n a n d c o n t r o l f u n c t i o n s
of t h e m o l e c u l a r m a c h i n e t o g e t h e r d e f i n e
a p a r t i c u l a r c o n c e p t i o n of p h o n o l o g i c a l
r u l e systems, w h i c h c a n be a r g u e d for on
i n d e p e n d e n t g r o u n d s as well U n d e r t h i s approach, t h e f u n c t i o n of a p h o n o l o g i c a l
r u l e s y s t e m is e s s e n t i a l l y to r e s o l v e
p r o b l e m s a r i s i n g f r o m m o r p h o l o g i c a l
p r o c e s s e s , i.e to fix i l l - f o r m e d
r e p r e s e n t a t i o n s r e s u l t i n g f r o m a f f i x a t i o n
b y s u p p l y i n g m i s s i n g f e a t u r e s (e.g in
v o w e l h a r m o n y ) , l i n k i n g or d e l i n k i n g
f e a t u r e s a c c o r d i n g to t h e d e r i v e d c o n t e x t (e.g in v o i c e a s s i m i l a t i o n ) N o t e t h a t
d e l i n k i n g in t h e p r e s e n t f o r m of t h e
m a c h i n e c o n s i s t s of a d d i n g an i n h i b i t o r y
l i n k l e a d i n g to t h e f e a t u r e to be delinked
FURTHER PLANS, IMPLEMENTATION
It is far f r o m e v i d e n t t h a t s y n t a c t i c and s e m a n t i c r u l e s y s t e m s s h o u l d c a r r y out o p e r a t i o n s s i m i l a r to t h o s e in
p h o n o l o g i c a l rules On t h e o t h e r hand, the o p e r a t i o n of t h e m o l e c u l a r m a c h i n e are g e n e r a l e n o u g h to e v e n t u a l l y
e n c o m p a s s s y n t a c t i c and s e m a n t i c
p r o c e s s e s s u c h as r e c o g n i t i o n a n d
c o m p l e t i o n of s y n t a c t i c p a t t e r n s ,
i n f e r e n c e m a k i n g t h r o u g h u n i f i c a t i o n , etc S o m e of t h e s e o p e r a t i o n s are
o u t l i n e d in K a l m a n and K o r n a i (1985) a n d
K a l m a n (1986)
Trang 4implemented in Z o l t a n S c h r e t e r ' s (FPSE, Geneva University) CNS c o n n e c t i o n i s t
s i m u l a t i o n s y s t e m r u n n i n g on O l i v e t t i M24/M28 PCs However, owing to the
c a p a c i t y of the m a c h i n e s (and of T L C Lisp, in w h i c h the s y s t e m has b e e n written) the n u m b e r of m o l e c u l e s is
e x t r e m e l y limited, and the p e r f o r m a n c e obtained is r a t h e r poor
REFERENCES
Clements, G e o r g e N 1985 The
g e o m e t r y of p h o n o l o g i c a l features
P h o n o l o g y y e a r b o o k 2, 225-252
Kalman, L a s z l 6 and A n d r a s Kornai
1985 A f i n i t e - s t a t e a p p r o a c h to
g e n e r a t i o n and parsing P a p e r p r e s e n t e d
at the G e n e r a t i v e G r a m m a r Fiesta, Salzburg
K~im~n, I~szl6 1986 S e m a n t i c
i n t e r p r e t a t i o n in a d y n a m i c k n o w l e d g e representation Mfihelymunk~k (Working Papers of the I n s t i t u t e of Linguistics)
1, No 2, pp 31-51