Nghiên cứu và gải bài toán khôi phục cấu trúc xạ ản từ ba ảnh trong thị giác máy tính4_2

Luận văn thạc sĩ chuyên ngành hình học và tôpô đề tài Nghiên cứu và gải bài toán khôi phục cấu trúc xạ ản từ ba ảnh trong thị giác máy tính

"" ,.",?

Chuo'ng 1 BAI TOAN KHOI PHTJC CAU TRUC X~ ANH

1.1 Bai tmin khoi phl}c ca'u truc x~ anh tIt day anh khong dinh co

1.1.1 Gioi thi~u chung

Tu va'n d€ khoi ph~c ca'u truc x~ anh cua d6i tu'<jngtu day anh da lieu trong chu'ang ma dftu Bay la va'n d€ co ban trong cac b~litoan khoi ph~c kliung canh 3-chi€u, mo hlnh h6a d6i tu'<jng3-chi€u tu day anh Trang lu~n van nay chI dung l~i a mlic khoi ph~c ca'u truc x~ anh (tQa dQ 3-chi€u) cua cac d6i tu'<jnghlnh hQc

co ban nhu' di~m, du'ong th~ng, m~t ph~ng

C6 hat cach tie'p c~n d~ khoi ph~c l~i ca'u truc x~ anh cua mQt d6i tu'<jngd\fa vao day anh 2-chi€u:

r:r Day anh du'<jcdinh co: Nghia la ta c6 du'<jccac tham s6 cua Camera, d\fa tren tinh cha't cua hlnh hQc epipole ta tinh du'<jcrang buQc giua cac anh thong qua

ma tr~n thie't ye'u (xem 2.2.4) Sau d6 ta xac dinh du'<jcnhung thong tin 3-chi€u cua d6i tu'<jngho~c khoi ph~c anh cua d6i tu'<jngtu g6c nhln khac

r:r Day anh khong dinh co: Theo cach nay ma tr~n co sa (xem 2.2.4) d6ng

val tro quail trQng Ma tr~n co sa F du'<jc tinh toan nho cac thong tin cua cac di~m anh tu'ang ling tren giua cac anh D\fa vao ma tr~n co sa F ta se khoi ph1.Jc

l~i thong tin 3-chi~u cua d6i tu'<jngho~c khoi ph~c anh cua d6i tu'<jngd6 tu g6c nhln khac

?

d day chI tqp trung nghien euu each khoi phlje eilu true Xf!-anh theo each

bal Trang ca hat cach tie'p c~n tren, ta d~u sa d~ng phu'ang phap cua thi giac anh

la phu'ang pha p phan tam giac D1!a vao ytu'ang mQt di~m trang the' giOi th\fc n~m tren tia xuyen tam lien di~m d6 phai la giao cua hat tia xuyen tam qua hat

diem anh tu'ong ling tren hai anh Phu'ong phap tinh diu truc diem x<;tanh nhu' V?Y du'<jcgQi Ia phu'ong pha p phan tam giac, xem hlnh 1.1

IDnh 1.1 Phu'ongphap phan tam giac Qua trlnh khoi ph\le ea'u true x~ anh, nhu' hlnh 1.2, tu day nhii'ng anh khong dinh co baa g6m nhii'ngbu'oc chinh sau:

- Xac dinh t? p diem anh tu'ongling tren cac anh

- Tinh rang buQc d<;tis6 giii'a cac anh tu t~p diem

- Xac dinh vi tri (tv dinh co) Camera

- Doc lu'<jngc!u truc x<;tanh cua t~p diem

1.1.2 Xae dfnh t~p di~m anh ttidng ti'ng tren cae anh

Vi~c dfiu tien de giai quye't bai toan khoi phl;lCla xac dinh t~p diem anh tu'ong ling giii'a cac anh 2-chi~u U6i voi nhii'ng anh khong co sv khac bi~t dang

ke naG (nhu'dQ sang, tu' the' chl;lP)thl m~t dQ phan b6 nhii'ng diem tren t!t ca cac anh tu'ong tv nhau Ui~u nay cho phep chung ta d€ dang tim cac diem khop nhau

tren cae anh Tuy nhien, d6i vdi nhung anh bi bie'n d(;lngthl c6ng vi~c xae dinh t~p di€m tu'ang ung se g~p kh6 khan hall

Nh~p vao day anh

thong dinh co

TIm di~m ttio'ng

1 Xae dfnh rang I ~I

buQe giii'a cae anh

-

-_ _-

-~~

IDnh 1.2 Qua trlnh kh6i ph\le ea'u true X(;lanh

Khoi ph\le x anh

Tinh diu true

3-ehiu

Tlf dinh co

Camera (Him, tieu elf)

Chinh VIv~y, cftn do Om nhl1ngdi~m d~c tntng tren anh dl,l'avao goc, c~nh cua anh Vi<%cdo Om nhl1ng di~m nay khong ph\l thu9C vao d9 sang, tu' the' chlJp cua Camera ma ChI dl,l'vao thong tin d~ so khap cac di~m Phu'ong phap du'<;jc dung kha ph6 bie'n do Ia "Harris Comer" [5] Phu'ong phap nay dl,l'atren nay tlm

cac di~m d~c tru'ng bfLngcach do Om cac goc tren anh Nhl1ng di~m nay Ia co sd

~

d~ Om cac di~m tu'ong ung tren cac anh bdi giai thu~t so khap di~m tu'ong ung cua hai anh khong dinh co [22]

Trang lu~n van nay khong tljp trung gidi quytt hili loan um diim tlIoog ung

tren cac anh 2-chi~u Thay vao do dl1li<%unay se du'<Jcla'y m9t cach thu cong tren cac anh thl,l'cho~c dl1li<%ugia l~p D~ don gian trong vi<%cch<;mcac di€m tu'ong ung, ta ch<;md6i tu'<Jngd~ng hlnh kh6i co cac du'ong song song vai khoang cach d€u nhau, xem hlnh 1.2

1.1.3 Tinh rang buQc d~i s({git1a cac anh tu t~p di~m

Nh~n xet Vi<%cch\lp anh cua m9t khung canh trong the' giOi tht;t'cb~ng nhi~u Camera khac nhau hay cm dung m9t Camera nhu'ng du'<Jcd~t t~i cac vi to

Va cac hu'ang khac nhau thl anh ch\lp du'<Jcd€u tu'ongd6ng nhau

D€ xac dinh rang bU9Cd~i sO'gil1a cac anh ngu'oi ta dl,l'atren t~p di€m tu'ong ung tren cac anh, trong do rang bU9Cd~i sO'cua hlnh hQc epipolar [8] d~ bi~u dien m6i quail h<%giii'a hai anh, hlnh hQc trifocal [8] d~ bi~u dien quail h<%gil1a ba anh hay hlnh hQc quadrifocal [3] bi€u di~n quail h<%tren b6n anh khac nhau Trang lu~n van nay ChI sa d\lng d~ng hlnh hQCepipolar d~ giai quye't bai loan

Lien h<%co ban trong hlnh hQc epipolar la gil1a m6i di€m tren anh nay vai

m9t du'ong th£ng tu'ong ung tren anh kia Do do, rang bu9C epipolar du'<;jcbi€u

dien bdi m9t ma tr~n F, du'<;jc gQi la ma fTlJnco sa D€ xac dinh ma tr~n co sa, ta

cftn phai xac dinh it nha't la 8 c~p di~m tu'ong ung tren hai anh [6] Do nhii'ng

di6m nay thuong bi sat s6 trong qua trlnh tIm di6m tudng ling nen ma tr~n cd sd

thuong kh6ng du<;1cxac dinh chinh xac MQt s6 thu~t phudng phap khac du<;1cphat

tri6n d6 c,H ti€n dQ chinh xac khi xac dinh ma tr~n cd sd nhu chu5n hoa t~p di6m

truck khi truac khi tinh [6], hay phudng phap qtc ti6u hoa sat s6 d(;lis6 [10], cvc ti6u hoa sat s6 hlnh hQc, sat s6 Sampson sa d1;1ngdinh thlic Jacobi [2],[8],[9] 1.1.4 Xac djnh vi tri Camera

Con du<;1cgQi Ia tv dinh eo Ia quy trlnh xac dinh tham s6 nQi (tam, tieu cv)

cua Camera M~t khac, ma tr~n cd sd cling co m6i quan h~ VOlcac tham s6 cua

hat Camera Nhii'ng tham s6 nQicua Camera co th6 du<;1cxac dinh b~ng cach ghH h~ phudng trlnh Kruppa [16] dva tren vi~c phan tach gia m ky di (SVD) cua ma

tr~n cd sa Khi cac tham s6 nQi dii du<;1cxac dinh thj cac tham s6 ngo(;li(tinh ti€n, huang Camera) co th6 du<;1cxac dinh bdi phudng phap cua T.S Huang [15]

1.1.5 Doe 1u'Q'ngeftu true X:;lanh

Qua m6i m6 hlnh Camera Pi (chlia tham s6 nQi va tham s6 ngo(;li),xem 2.2.3, mQt di6m X(;lanh M du<;1cX(;lanh Ien di6m anh mi tren cac anh 2-chi€u Quan h~ do du<;1cth6 hi~n bdi phudng trlnh mi = ~M N€u ta't nhii'ng tham s6 Camera du<;1cxac dinh thl vi tri cua di6m X(;lanh co th6 duQc xac dinh b~ng cach X(;lanh ngu<;1Ctheo cac ria qua cac di6m tudng ling tren cac anh (phudng phap phan tam giac nhu hlnh 1.1) Tuy nhien, do sat s6 tu nhii'ng buac trong qua kh6i ph1;1Cnen nhii'ng ria nay co th6 kh6ng giao nhau t(;limQt di6m Do do, vi~c uac Iu<;1ngchinh xac di6m X(;lanh thuong kh6ng d€, ma chI co th6 chQn di6m g~n dung ma khi X(;lanh thl no g~n di6m tren cac anh nha't

Phudng phap u{Jc lu(Jng binh phuang nho nhitt, ky hi~u L2, thuong du<;1C dung d6 danh gia sat s6 hlnh hQc trong truong h<;1pnay Nghla la, tIm di6m M

thoa gia tri ham Ilf(M)112 = L:d2(mi' ~M), t6ng cac blnh phuong khoang cach

i=l

giua hai di€m lIen anh, co gia tri nho nha"t.Trang do fi(M) = d(mi,PiM).

Theo danh gia, bdi hai lac ghl Hartley va Frederik, thl phuong phap L2 chI

uoc lu<Jngsai s6 Cl;lCbQ nen khong chinh xac khi s6 m~t ph~ng anb IOn hon 3

trang khi do phuong phap Loo [17] co th€ danh gia sai s6 loan cl;lC.Phu'ong phap

nay ap dl;lng chuffn va cling ten vectO l6i f(M), nghla la

Ilf(M)lloo=maxi /i(M) =maxi d(mi,~M), trong do f(M) la sai s6 X? anh

IOnnha"tlIen day anh Ham l6i Ilf(M)llooco mQt Cl,tcti€u don lIen rni~n cua M cua ta"tca nhung di€m d~t truoc ta"tca cac Camera Khi do, ap dl;lng Loo vao phuong phap phan tam giac se la Om di€m M thoa minMmaxid(mi,PiM) u€ chinh xac hon co th€ k6t h<Jpca Loo va L2 nghla la k6t qua thu du<Jctu sau khi ap dl;lng Loo se la d~u vao cho L2.

1.2 Nhu eftu phat sinh khoi ph1}eea'u true x~ anh

Khi co ca"utruc X? anh tu ngu'ai ta co th€ ling dl;lngd€ mo hlnh hoa 3-chi€u cac khung canh No du'<Jcling dl;lngtrong nhi~u l1nh vvc khac nhau nhu: y khoa,

an ninh quan Sv, ki6n truc, di<%nanh, ph~n m~m d6 hQa may tinh, nguai may,

Ngoai fa, nhung noi ma con nguai bi khua"t t~m nhln khong th€ quan sat du'<JCnhu do dQ cao, di~u khi<%nthai ti6t, Khi do co th€ co du<JC hlnh anh

nhung khu vvc bi khua"ttu ca"utruc X? anh cua d6i tu<Jngtrang th6 gioi thvc.

Hinh 1.3 Giam dinh phap y trong tai n~n 0 to.

Hinh 1.4 Ngu'oi may tv hanh khao sat va thu nh~n hlnh anh

va gdi thong tin v~ trung tam xa 1y d€ mo phong hanh tinh.

IDnh 1.5 Khao sat do d(;ltva len ke' ho(;lchnang cffp

1.3 Cd sd va phuOng phap ghii quye't bili toaD

Gia sU'n di€m trong kh6ng gian duQc chl,lp bdi k Camera kh6ng dinh co, khi do ta se duQc n di€m anh tuong ling tren day k anh 2-chi€u VI m6i di€m anh cfin hai rang buQc v€ vi tri cua no nen ta co 2nk rang buQc M~t khac n di€m trong kh6ng gian co t6ng s6 b~c tlf do la 3n - 15 (xem 2.1.5.2) Ngoai ra k Camera se co Ilk b~c tlf do (xem dinh nghIa 2.19) Do v~y d€ xac dinh duQc vi

tri cua n di€m trong kh6ng gian va k Camera thl s6 rang buQc (phuong trlnh)

phai nhi€u bon s6b~c tlf do (bie'n) [5], nghIa la:

Ta thffy, voi k =2 va n > 7 hay k = 3 va n > 6 thl chung d€u thoa 1.1.

Nhu v~y, trong tru'ong hQp 2 anh thl cfin it nhfft 7 di€m, 3 anh thl cfin it nhfft 6 di€m d€ kh6i phl,lc l(;lidi€m trong kh6ng gian Thlfc chfft, vi~c kh6i phl,lc cffu truc

X(;lanh cua n di€m tu'ong ling tren k anh vfin xoay quanh hai vffn d€ chinh sau:

1.3.1 Khoi ph\lc tit hai anh

B~titmln nay dl!a tren co sd hlnh hQc epipolar Tir nhfi'ng c~p di€m mi va m: tu'ong ling tren anh thli nha't va anh thli hai ta thitt l~p rang buQc epipolar d€

xac dinh ma tr~n co sd F, trong do m:TFmi =O Tir ma tr~n F ta tinh du'<;1Cma

tr~n Camera x~ anh P va P' Sau do titn hanh khoi ph\lC ca'u trUc ~~ anh b~ng

phu'ong phap phan tam giac

D€ thitt l~p rang buQc epipolar m:T Fmi =0 phai c~n 8 c~p di€m tu'ong ling tren 2 anh [6] Trong tru'ong h<;1pt6i ti€u chi c~n 7 c~p di€m tu'ong ling cling

co th€ tlnh du'Qc mQt ho~c ba ma tr~n co sa F do F chi co 7 b~c tl! do.

1.3.2 Khoi ph\lc tit ba anh

Khoi ph\lc ca'u truc x~ anh tir t~p di€m anh mt ++ m; ++ m: tu'ongling

tren ba anh se cho ktt qua chinh xac hon do co nhi€u thong tin hon nen Tir cac

thong tin do ta thitt l~p rang buQc d~i so' dl!a tren d~ng hlnh hQc trifocal [2] (tQa

dQ thu~n nha't) ho~c dl!a tren d~i so' Grassmann-Cayley (tQa dQ plucker) Saudo

tlnh trifocal tenxo r [19] tir rang buQcr6i suy ra ba ma tr~n Camera PI' P2, Ps.

Tu'dng tl!, ta cling tlnh du'<;1cca'u trUcx~ anh b~ng phu'ong phap phan tam giac Ngoai fa, mQt phu'ong phap khac vfin dl!a tren co sd hlnh hQc epipolar d€

giai quytt bai toan tren ba anh Do vai fro giil'a cac di€m trong khong gian va

Camera co th€ thay d6i cho nhau (xem 3.1.2.1) dfin toi d6i ngfiu cua thu~t tmln

khoi ph\lc [17], [19] tir n + 4 di€m tren k anh la thu~t toan khoi ph\lc tir k + 4 di€m tren n anh Trong tru'ong h<;1pnay, thu~t tmln khoi ph\lc (moi) tir 2 + 4 =6

di€m tren 3 anh la d6i ngfiucua thu~t toan khoi ph\lc tir 3 + 4 = 7 di€m tren 2

nhu'dff trlnh bay trong 1.3.1