A嘘i v噂i m瓜t s嘘 n pj"x詠c c亥n s詠 chính xác pj逢"vjk院t k院 m瓜t thu壱t toán xây d詠ng l衣i m瓜t b隠 m員v"vj·"8吋 8違m b違o hình d衣ng hay c医u trúc c栄a m瓜t b隠 m員t g嘘c là m瓜t vi羽c khó.. Fq"8„"8吋 s穎 d映ng m
Trang 1A萎I H窺C QU渦C GIA TP H唄 CHÍ MINH
Trang 2EðPI"VTîPJ"A姶営C HOÀN THÀNH T萎I VT姶云PI"A萎I H窺C BÁCH KHOA ÎAJSI"ÎHCM
Cán b瓜 j逢噂ng d磯n khoa h丑c : TS Lê Ng丑c Minh
Cán b瓜 ch医m nh壱n xét 1 : TS Nguy宇n Anh Tu医n
Cán b瓜 ch医m nh壱n xét 2 : TS Lê Thành Sách
Lu壱p"x<p"vj衣e"u "8逢嬰c b違o v羽 t衣k"Vt逢運pi"A衣i h丑e"D ej"Mjqc."AJSI"Vr0" HCM ngày 22 tháng 07 p<o"2013 Thành ph亥n H瓜k"8欝pi"8 pj"ik "nw壱p"x<p"vj衣e"u "i欝m: 1 TS Tr亥p"X<p"Jq k
2 TS Nguy宇n Anh Tu医n
3 TS Lê Thành Sách
4 TS Hu pj"V逢運ng Nguyên
5 TS Lê Thanh Vân
Xác nh壱n c栄a Ch栄 t鵜ch H瓜k"8欝pi"8 pj"ik "NX"x "Vt逢荏ng Khoa qu違n lý chuyên ngành sau khi lu壱p"x<p"8«"8逢嬰c s穎a ch英a (n院u có)
Trang 3A萎I H窺C QU渦C GIA TP.HCM
VT姶云PI"A萎I H窺C BÁCH KHOA C 浦NG HÒA XÃ H浦I CH曳 PIJ C"XK烏T NAM A瓜c l壱p - T詠 do - H衣nh phúc
NHI 烏M V影 LU一P"X;P"VJ萎E"U J丑"v‒p"j丑e"xk‒p<"Piw{宇p"Pi丑e"N宇 MSHV: 09070448
Pi {."vj pi."p<o"ukpj<"16/10/1983 P挨k"ukpj<"Tây Ninh
Chuyên ngành: Khoa J丑e"O {"V pj O«"u嘘 : 60.48.01
I VçP"A陰 TÀI: L 窺C NHI右U D頴 LI烏U C謂M BI蔭P"A浦 SÂU
II NHI烏M V影 VÀ N浦I DUNG: D英 li羽w"8亥u ra c栄a thi院t b鵜 Kinect là t壱r"8k吋m 3D b鵜 nhi宇u, nên c亥n l丑c nhi宇u vt逢噂c khi t衣o mô hình b隠 m員t 3D c栄c"8嘘k"v逢嬰ng
III NGÀY GIAO NHI烏M V影 : 02/07/2012
IV NGÀY HOÀN THÀNH NHI烏M V影: 30/11/2012
V CÁN B浦 J姶閏NG D郁N: TS LÊ NG窺C MINH
Tp HCM, ngày tháng p<o
CÁN B 浦 J姶閏NG D郁N (H 丑 tên và ch英 ký) CH 曳 NHI烏M B浦 OðP"AÉQ"V萎O (H 丑 tên và ch英 ký)
VT姶雲NG KHOA
(H 丑 tên và ch英 ký)
Trang 4th詠c hi羽p"8隠 e逢挨pi"x "nw壱p"x<p"ecq"j丑c, pj逢pi"e pi"v衣q"o»k"vt逢運ng t詠 fq"x "8瓜c
l壱p trong nghiên c泳u, t衣o m丑k"8k隠u ki羽p"8吋 Tôi có th吋 hoàn thành t嘘t lu壱p"x<p0
V»k"e pi"ow嘘n c違o"挨p"8院n b衣n bè Tôi và t医t c違 m丑k"pi逢運k"mj e"8«"f pj"vj運i gian c栄c"o·pj"8吋 ik¿r"8叡 ejq"V»k."8¤{"nw»p"n "m雨 ni羽o"8 pi"pj噂
Sau cùng, luôn là c亥n thi院t c違o"挨p"8院n nh英pi"pi逢運k"vj¤p"{‒w"vtqpi"ikc"8·pj"8« luôn h厩 tr嬰 và 荏 bên c衣nh Tôi
Trang 5TÓM T 溢T LU一P"X;P
Vtqpi"8隠 tài lu壱p"x<p"p {"mô t違 rj逢挨pi"rj r"n丑c nhi宇u d英 li羽w"8逢嬰c th詠c hi羽n tr詠c
ti院r"vt‒p"8 o"o¤{"8k吋m 8逢嬰c l医y m磯u t瑛 m瓜t b隠 m員t Vtqpi"rj逢挨pi"rj r l丑c nhi宇u,
s穎 d映ng k院t h嬰p k悦 thu壱t Moving Least Squares (MLS) v噂i k悦 thu壱t Non-Local trong vi羽c x穎 n#"8k吋o"v́{"vjgq"8k吋m 8„ thu瓜e"x q"x́pi"e„"8員c tính hay vùng không e„"8員c tính
Thi院t b鵜 c違m bi院p"8瓜 sâu Kinect for XBox c栄a Oketquqhv"8逢嬰c s穎 d映ng cho vi羽c l医y
d英 li羽w"8k吋m m磯u c栄a b隠 m員t th詠c t院
L丑c nhi宇u d英 li羽u 8 o"o¤{"8k吋o"8逢嬰e"zgo"pj逢"d逢噂c ti隠n x穎 lý cho vi羽c t衣o mô hình 3D
Trang 7L 云K"ECO"AQCP
V»k"zkp"eco"8qcp"t茨ng, ngo衣i tr瑛 các k院t qu違 tham kh違o t瑛 e e"e»pi"vt·pj"mj e"pj逢"8«"ijk"t "vt丑ng lu壱p"x<p."e e"e»pi"xk羽e"8逢嬰c trình bày trong lu壱p"x<p"p {"n "fq"chính Tôi th詠c hi羽p"x "ej逢c"e„"rj亥n n瓜i dung nào c栄a lu壱p"x<p"p {"8逢嬰c n瓜r"8吋 l医y
m瓜t b茨ng c医p 荏 vt逢運ng này ho員e"vt逢運ng khác
Trang 8M 影C L影C
NHI烏M V影 LU一P"X;P"VJ萎E"U ii
L云I C謂O"愛P iii
TÓM T溢T LU一P"X;P iv
ABSTRACT v
L云K"ECO"AQCP vi
DANH M影C B謂NG ix
DANH M影C HÌNH x
Ej逢挨pi"30"IK閏I THI烏U 1
1.1 A瓜ng l詠c 1
1.2 M映c tiêu 2
1.3 J逢噂ng ti院p c壱n 3
1.4 K院t c医u lu壱p"x<p 4
Ej逢挨pi"40"V蔚NG QUAN 5
2.1 Kinect 5
2.2 M瓜t s嘘 thu壱t ng英 7
2.2 A o"o¤{"8k吋m (Point Clouds) 8
2.3 Point Cloud Library (PCL) 8
2.3.1 M瓜t s嘘 vj逢"xk羽n module C++: 9
2.3.2 B瓜 l丑c (filter) 9
2.3.3 Nh英pi"8員e"v pj"8k吋m (Point Features) 10
2.3.4 姶噂e"n逢嬰ng Normal 11
2.3.5 PFH (Point Feature Histogram) 12
2.3.6 FPFH (Fast Point Feature Histogram) 13
Ej逢挨pi"50"E愛"U雲 LÝ THUY蔭T 15
3.1 Kho違ng cách Euclidean 15
3.2 Phân tích thành ph亥n chính - Principal Component Analysis (PCA) 15
3.3 Random Sample Concensus (RANSAC) 16
3.4 Kd-tree 16
Ej逢挨pi"60"PIJKçP"E永U LIÊN QUAN 18
4.1 Mesh-Independent Surface Interpolation [7] 18
Trang 94.2 Curve Reconstruction from Unorganized Points [9] 20
4.3 Point set surfaces [13] 20
4.4 Robust moving Least-squares Fitting with Sharp Features [26] 21
4.5 Similarity-based denoising of point-sampled surface [24] 22
4.6 Adaptive feature-preserving non-local denoising of static and time-varying range data [17] 22
4.7 Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps [14] 23 4.8 Adaptive Spatio-Temporal Filter For Low-Cost Camera Depth Maps [15] 24
Ej逢挨pi"70"VTëEJ"A渦K"V姶営NG 26
5.1 Thu th壱p d英 li羽u 26
5.2 Filtering 27
5.3 S詠 phân chia (Segmentation) 28
Ej逢挨pi"80"RJ姶愛PI"RJèR"MJ盈 NHI韻U 30
6.1 A鵜pj"pij c"rjfir"8q 30
6.2 Rj逢挨pi"rj r"mj穎 nhi宇w"8隠 xu医t 31
Ej逢挨pi"90"M蔭T QU謂 VÀ K蔭T LU一N 40
7.1 D英 li羽u là DOUBLE-TORUS2 40
7.1.1 Tìm tham s嘘 k 42
7.1.2 Áp d映ng thu壱t toán MLS cho d英 li羽u DOUBLE-TORUS2 43
7.1.3 Áp d映ng thu壱t toán MSL và Non-Local cho d英 li羽u Double-Torus2 46
7.2 D英 li羽w"8逢嬰c l医y t瑛 thi院t b鵜 quét Kinect 55
7.2.1 Áp d映ng thu壱t toán MLS 56
7.2.2 Áp d映ng gi違i thu壱t MLS và NON-LOCAL 57
7.3 Th違o lu壱n 63
7.4 K院t lu壱n 63
TÀI LI烏U THAM KH謂O 65
Trang 10DANH M 影C B謂NG
B違ng 6-1: B違ng bi院n thiên Gaussian Kernel 39
B違ng 7-1: B違ng s嘘 li羽u ch丑n tham s嘘 k 42
B違ng 7-2: B違ng s嘘 li羽u Double-Torus2, MLS 43
B違ng 7-3: B違ng s嘘 li羽u Double-Torus2, MLS và Non-Local, bán kính 1.5 49
B違ng 7-4: B違ng s嘘 li羽u nh英pi"8k吋m thu瓜e"x́pi"8員c tính Double-Torus2, MLS và Non-Local, bán kính 1.5 50
B違ng 7-5: B違ng s嘘 li羽u Double-Torus2, MLS và Non-Local, bán kính 2 52
B違ng 7-6: B違ng s嘘 li羽u nh英pi"8k吋m thu瓜e"x́pi"8員c tính Double-Torus2, MLS và Non-Local, bán kính 2 53
Trang 11DANH M 影C HÌNH
Hình 2-1: L医y d英 li羽w"8瓜 sâu c栄a Kinect 7
Hình 2-4<"U挨"8欝 Class c栄a PCL 9
Hình 2-3: B瓜 l丑c PassThrough 10
Hình 2-6<"U挨"8欝 encuu"8員e"v pj"8k吋m 11
Hình 2-7<"A o"o¤{"8k吋m 3D 11
Hình 2-6: Tính normal c栄a d英 li羽w"8k吋m 11
Hình 2-9<"姶噂e"n逢嬰ng b隠 m員t normal 12
Hình 2-8: Hàng xóm xung quanh t瑛ng c員r"8k吋m 12
Hình 2-;<"Jkuvqitco"8員c tính 14
Hình 2-32<"J pi"z„o"zwpi"swcpj"8k吋m 14
Hình 2-11: Hàng xóm c栄a nh英ng hàng xóm 14
Hình 4-1: Tìm m員t ph鰯ng 18
Hình 4-2: Tìm m員t ph鰯ng Hr t嘘k"逢w 19
Hình 4-3: Chi院u c栄a r trên S 19
Hình 4-4: M嘘i quan h羽 gi英a ri v噂i r và ri v噂i q 20
Hình 4-5: Chi院u lên b隠 m員t g亥n c衣nh 21
Hình 4-6: B隠 m員t m鵜n t瑛ng ph亥p"8逢嬰c xây d詠ng 21
Hình 4-7: Non-Local trên 違nh 23
Hình 4-:<"U挨 8欝 kh嘘i c栄a chi院p"n逢嬰v"n o"8亥y ch鰻 tr嘘ng 24
Hình 5-3<"U挨"8欝 thu壱v"vq p"vt ej"8嘘k"v逢嬰ng 26
Hình 5-2: A o"o¤{"8k吋m d英 li羽u l医{"8逢嬰c t瑛 thi院t b鵜 Kinect 27
Hình 5-3: A o"o¤{"8k吋o"8逢嬰c l丑c v噂k"rj逢挨pi"rj r"Rcuu"Vjtqwij 28
Trang 12Hình 5-4: M瓜t ph亥n c栄a hình h瓜p sau ti院n trình phân chia 29
Hình 6-1: Tính kho違ng cách t瑛 8k吋o"8院n m員t ph鰯pi"swc"m"8k吋m 31
Hình 6-4<"U挨"8欝 thu壱t toán kh穎 nhi宇u 32
Hình 6-3: Giá tr鵜 e逢運pi"8瓜 c栄a pixel trong 違nh 35
Hình 6-4: Minh h丑a b瓜 l丑c Non-Local cho 違nh 36
Hình 6-5: Chi院u c栄a m瓜v"8k吋m lên m員t ph鰯ng 36
Hình 6-6: Chi院u c栄c"e e"8k吋m hàng xóm 37
Hình 6-9<"A欝 th鵜 hàm ex và e-x 38
Hình 6-:<"A欝 th鵜 Gaussian Kernel 39
Hình 7-1: L逢噂i Double-Torus2 40
Hình 7-2: D英 li羽w"8k吋m Double-Torus2 40
Hình 7-3: T衣o m磯u nhi宇u trong 2D 41
Hình 7-4: T衣o m磯u nhi宇u trong 3D 41
Hình 7-5: Mô hình Double-Torus2 nhi宇w"8逢嬰c thêm vào 42
Hình 7-6: Radius = 0.8, th運i gian 1403ms 44
Hình 7-7: Radius = 1, th運i gian 1555ms 44
Hình 7-8: Radius = 1.5, th運i gian 2049ms 45
Hình 7-9: Radius = 2, th運i gian 1839ms 45
Hình 7-10: Radius = 2.5, th運i gian 2555ms 45
Hình 7-11: Radius = 3, th運i gian 3266ms 45
Hình 7-12 : Bán kính tìm normal vector 0.7 46
Hình 7-13: Bán kính tìm normal vector 1 46
Hình 7-14: Bán kính tìm normal vector 1.5 47
Hình 7-15: Bán kính tìm normal vector 2 47
Hình 7-16: tolerance 0.5 eps_angle 30 47
Trang 13Hình 7-17: tolerance 0.7 eps_angle 30 47
Hình 7-18: tolerance 1 eps_angle 30 48
Hình 7-19: tolerance 2 eps_angle 30 48
Hình 7-20: bán kính 1.5, tolerance 0.7 49
Hình 7-21: h = 2, bán kính 1.5 50
Hình 7-22: h = 3, bán kính 1.5 51
Hình 7-23: h = 5, bán kính 1.5 51
Hình 7-24: h = 10, bán kính 1.5 51
Hình 7-25: bán kính 2, tolerance 0.7 52
Hình 7-26: h = 2, bán kính 2 53
Hình 7-27: h = 3, bán kính 2 54
Hình 7-28: h = 5, bán kính 2 54
Hình 7-29: h = 10, bán kính 2 54
Hình 7-30: C衣nh c栄a h瓜r"8逢嬰c quét b荏i Kinect 55
Hình 7-31: Góc c栄a h瓜r"8逢嬰c quét b荏i Kinect 55
Hình 7-32: Radius = 0.01, c衣nh, MLS 56
Hình 7-33: Radius = 0.02, c衣nh, MLS 56
Hình 7-34: Radius = 0.03, c衣nh, MLS 56
Hình 7-35: Radius = 0.01, góc, MLS 57
Hình 7-36: Radius = 0.02, góc, MLS 57
Hình 7-37: Radius = 0.03, góc, MLS 57
Hình 7-5:<"A員c tính c衣nh, s嘘 c映m 4, s嘘 hàng xóm 8 58
Hình 7-39: h = 5, c映m 4, hàng xóm 8, c衣nh 58
Hình 7-40: h =10, c映m 4, hàng xóm 8, c衣nh 58
Hình 7-63<"A員c tính c衣nh, s嘘 c映m 7, s嘘 hàng xóm 8 59
Trang 14Hình 7-42: h = 5, c映m 7, hàng xóm 8, c衣nh 59
Hình 7-43: h = 10, c映m 7, hàng xóm 8, c衣nh 59
Hình 7-66<"A員c tính góc, s嘘 c映m 4, s嘘 hàng xóm 8 60
Hình 7-45: h = 5, bán kính 0.02, s嘘 c映m 4, s嘘 hàng xóm 8, góc 60
Hình 7-46: h = 10, bán kính 0.02, s嘘 c映m 4, s嘘 hàng xóm 8, góc 61
Hình 7-69<"A員c tính góc, s嘘 c映m7, s嘘 hàng xóm 8 61
Hình 7-48: h = 5, bán kính 0.02, s嘘 c映m 7, s嘘 hàng xóm 8, góc 62
Hình 7-49: h = 10, bán kính 0.02, s嘘 c映m 7, s嘘 hàng xóm 8, góc 62
Trang 15Ej逢挨pi"30"IK閏I THI烏U
Ej逢挨pi"p {"8逢c"tc"o瓜v"ik噂k"vjk羽w"ejwpi"x隠"ej栄"8隠"n丑e"pjk宇w"f英"nk羽w"vjk院v"d鵜"e違o"dk院p"8瓜"u¤w v壱r"vtwpi"x q"8違o"d違q"8員e"v pj j·pj"j丑e Trình bày x隠"8瓜pi"n詠e."rj衣o"xk"e栄c"nw壱p"x<p"x "ik噂k"vjk羽w rj逢挨pi"rj r f鵜ej"ejw{吋p"d·pj"rj逢挨pi"v嘘k"vjk吋w"*Moving Least Squares) m院v"j嬰r"x噂k rj逢挨pi"rj r"mj穎"pjk宇w"mj»pi"e映e"d瓜"*Non-Local denoising)
E pi"pj逢"pjk隠u công ngh羽 hi羽p"8衣i khác, máy quét b隠 m員t 3D 8« 8k"swc nhi隠u giai 8q衣n phát tri吋n Nh英ng thi院t b鵜 quét 8逢嬰e"8隠 c壱p ch栄 y院u là thi院t b鵜 c違m bi院n Time-of-Flight và Structured Light 8«"pj壱p"8逢嬰c nhi隠u s詠 quan tâm g亥p"8¤{ A嘘i v噂i nh英ng công ngh羽, phát tri吋n g亥p"8¤{ e„"pij c"n các thi院t b鵜 r飲 j挨p."o 8欝ng th運i cho phép
vi羽c b逸t gi英 nh英ng c違nh v壱t l噂p"j挨p v噂i các chi ti院t t嘘v"j挨p0 Trong nhi隠w"n pj"x詠c, các máy quét 8逢嬰c áp d映ng thành công cho nhi隠u m映e"8 ej khác nhau Các n pj"x詠c g欝m: 8欝 h丑a máy tính, robot Thi院t b鵜 c違m bi院n ÐKinect for XboxÑ 8cpi" nh壱p" 8逢嬰c r医t nhi隠u s詠 chú ý nh運 vào kh違 p<pi nh壱n d衣ng c穎 8瓜ng eqp"pi逢運i Bên c衣pj"8„"ehi phí
th医p."8瓜 tin c壱y và t嘘e"8瓜 c栄c"rjfir"8q h泳a h姻n Kinect s胤 t衣o ra nhi隠w"e挨"j瓜k"j挨p"ejq nhi隠u pi逢運i quan tâm tìm hi吋u
Tùy thu瓜c vào lo衣i thi院t b鵜 c違m bi院n mà d英 li羽w"vjw"8逢嬰c s胤 cho d英 li羽w"8亥u ra khác nhau Vi羽e"swfiv"e e"8嘘k"v逢嬰ng c栄a thi院t b鵜 c違m bi院n sinh ra nhi隠w"8k吋m d英 li羽w"8逢嬰e"8q"
g丑k"n "8 o"o¤{"8k吋m (point clouds) Lu壱p"x<p 8員c bi羽t t壱p trung vào t壱p d英 li羽u."8逢嬰c
bi吋u di宇n pj逢"n 8 o"o¤{ 8k吋m Ðkhông c医u trúcÑ Thu壱t ng英 không c医u trúc pij c"n thu壱t ng英 8„ không có thông tin liên thông có s印n gi英c"e e"8k吋m m磯u Bên c衣pj"8„"thi院t b鵜 c違m bi院p"8逢嬰e"f́pi"8吋 l医y d英 li羽u Kinect là m瓜t thi院t b鵜 c違m bi院n d詠a trên k悦 thu壱t Structed Light e pi"e„"8亥w"tc"n "8 o"o¤{"8k吋m s胤 8逢嬰c dùng trong x穎 lý nhi宇u
c栄a lu壱p"x<p0
Vtqpi"ikck"8q衣n l医{"8 o"o¤{"8k吋m c栄a m瓜t b隠 m員t t瑛 thi院t b鵜 quét mi隠n 3D, v磯n t欝n t衣i
d英 li羽u th吋 hi羽n không t詠 pjk‒p"pj逢pi"x磯n xu医t hi羽n trong k院t qu違 vjw"8逢嬰c Nh英ng b医t
Trang 16vj逢運ng có th吋 x違{"tc"vtqpi"sw "vt·pj"8q"p {"ph映 thu瓜c vào nhi隠u 違pj"j逢荏ng: các thu瓜c tính c栄a b隠 m員t quét, các thi院t b鵜 thu th壱p, kho違ng cách gi英a các thi院t b鵜 quét và b隠 m員t
và các 8k隠u ki羽n ánh sáng."8„ ch雨 là nh英ng cái n鰻i b壱c nh医t V噂i m瓜t s嘘 違pj"j逢荏pi"8„"
d磯p"8院n d英 li羽w"vjw"8逢嬰c s胤 b鵜 nhi宇u (noise) hay t衣o ra nh英ng kho違ng tr嘘ng c栄a d英 li羽u 8逢嬰c quét
A嘘i v噂i m瓜t s嘘 n pj"x詠c c亥n s詠 chính xác pj逢"vjk院t k院 m瓜t thu壱t toán xây d詠ng l衣i m瓜t
b隠 m員v"vj·"8吋 8違m b違o hình d衣ng hay c医u trúc c栄a m瓜t b隠 m員t g嘘c là m瓜t vi羽c khó M瓜t d逢噂c chung trong vi羽c xây d詠ng l衣i b隠 m員t 3D là vi羽c t衣o ra m瓜t n逢噂i tam giác Tuy nhiên rj逢挨pi"rj r chia tam giác r医t nh衣y c違m v噂i nhi宇u Fq"8„"8吋 s穎 d映ng m瓜t s嘘 thu壱t toán tam giác, nó là c亥n thi院t 8吋 lo衣i b臼 ho員c l丑c l衣i nhi宇u xu医t hi羽n ng磯u nhiên trong d英 li羽u, 8逢嬰c g丑i là Ðmj穎 nhi宇wÑ" *denoising) Pj逢" x壱y, d英 li羽u c亥p" 8逢嬰c lo衣i nhi宇u ho員c làm m鵜n vt逢噂c khi th詠c hi羽n b医t k x穎 lý hình h丑c ti院p theo n "8k隠u c亥n thi院t
Pj逢"8«"ik噂i thi羽u 荏 ph亥p"vt逢噂c lu壱p"x<p"ej雨 t壱p trung vào nh英ng thi院t b鵜 c違m bi院n thu 8逢嬰e"8 o"o¤{"8k吋m bao g欝m t壱r"e e"8k吋o"5F0"Fq"8„"v壱r"8k吋o"8逢嬰c th吋 hi羽p"f逢噂i
d衣ng công th泳e"pj逢"ucw<
V噂i S là m瓜t b隠 m員v"8嘘k"v逢嬰ng, P = {p1."È."pn}, 使餐 樺 温戴 là t壱r"8k吋o"8逢嬰c l医y m磯u t瑛
b隠 m員v"8„0"Vtqpi"8„"v壱p m磯u P có th吋 b鵜 nhi宇u
V噂i t壱r"8k吋m m磯u 3D."8逢嬰c g丑k"n "8 o"o¤{"8k吋m 3D, c栄a m瓜t b隠 m員t S 8逢嬰e"8q"d荏i thi院t b鵜 c違m bi院p"8瓜 sâu v磯n còn b鵜 nhi宇u, c亥n m瓜v"rj逢挨pi"rj r"逢噂e"n逢嬰pi"8吋 e„"8逢嬰c
t壱r"8k吋m m磯w"5F"8«"mj穎 nhi宇u, sao cho v磯n gi英 8逢嬰e"8員c tính hình h丑c c栄a b隠 m員t S Trên d英 li羽u th詠c t院, 8嘘i v噂i m瓜v"8嘘k"v逢嬰ng có c医u trúc ph泳c t衣p thì m瓜t thách th泳c l噂n
là 8吋 phân bi羽t nhi宇u t瑛 các c医u trúc t嘘t, mà c医u trúc t嘘v"8„ th吋 hi羽n trong các b隠 m員t dcp"8亥u là l荏m ch荏m, nh医p nhô (ví d映 pj逢"n逢叡i e逢c), ho員c t瑛 các b隠 m員t có góc, c衣nh hay 8瓜 cong cao
Trang 17Nó v磯n còn m瓜t v医p"8隠 khó là 8吋 lo衣i b臼 nhi宇u không th吋 tránh kh臼i trong khi v磯n gi英
e e"8員c tính b隠 m員t e挨"b違n c栄c"8嘘k"v逢嬰ng A員c bi羽t, 8員c tính t嘘t là vj逢運ng b鵜 m医t n院u không có x穎 lý thích h嬰p 8逢嬰c cung c医p
A亥u ra n "8 o"o¤{"8k吋o"8«"8逢嬰c l丑c nhi宇u 8逢嬰e"zgo"pj逢"n "d逢噂c ti隠n x穎 lý cho các
x穎 lý ti院p theo trong vi羽c t衣o mô hình b隠 m員t c栄c"8嘘k"v逢嬰ng
Cu嘘i cùng, ph衣m vi c栄a lu壱p"x<p"ej雨 zfiv"8院p"8嘘k"v逢嬰ng là hình h瓜p v噂i thu瓜c tính c衣nh
và góc 8逢嬰c f́pi"8吋 quét b荏i thi院t b鵜 Kinect
Nhi隠u cách ti院p c壱p"mj e"pjcw"8吋 gi違i quy院t v医p"8隠 lo衣i b臼 nhi宇u b隠 m員t trên d英 li羽u 8k吋m g欝m có: vjgq" j逢噂ng n瓜i suy hay x医p x雨 m瓜t b隠 m員t m鵜n pj逢" Oqxkpi" Neast Squares (MLS)0"A¤{"n "rj逢挨pi"rj r"f詠a trên phép chi院w"8逢嬰c nhi隠w"pi逢運i bi院v"8院n 8逢嬰c gi噂i thi羽u b荏i Levin (1998) [7] 8«"e„"pjk隠u 泳ng d映ng và m荏 r瓜ng tiêu bi吋w"pj逢"Mederos (2003) 8«" r"f映pi"8吋 kh穎 nhi宇w"8 o"o¤{"8k吋m Fleishman (2005) và Oztireli (2009) 8«"o荏 r瓜pi"8吋 cung c医p m瓜t phép chi院u m衣nh lên b隠 m員t MLS: Robust Moving Least Square (RMLS) và Robust Implicit Moving Least Square (RIMLS); áp d映ng k悦 thu壱t th嘘ng kê Mark Pauly (2004) 8隠 xu医t m瓜t k悦 thu壱t 8鵜pj"n逢嬰ng không ch逸c ch逸n trong e e"8 o"o¤{ 8k吋m d英 li羽u, rj逢挨pi"rj r"vj嘘ng kê Bayesian 8逢嬰c s穎 d映ng trong bài báo [19] hay Schall (2005) l丑c nhi宇w"8 o"o¤{"8k吋m vjgq"e ej"8吋 xác 8鵜nh v鵜 trí
c栄c" e e" 8k吋m trên b隠 m員t b茨ng cách di chuy吋n ej¿pi" 8院n nh英ng v鵜 trí c詠e" 8衣i likelihood trong c映m ch泳a chúng; m瓜v"j逢噂ng ti院p c壱n khác là t瑛 nh英ng thu壱t toán l丑c nhi宇u 8«"8逢嬰c nghiên c泳u và 泳ng d映ng trong 2D s胤 8逢嬰c chuy吋p"8鰻i sang 3D tiêu bi吋u pj逢 t瑛 bài báo l丑c nhi宇u cho 違nh (bilateral filtering) c栄a tác gi違 Tomasi và Manduchi (1998)."ucw"8„"8«"8逢嬰c Shachar Fleishman m荏 r瓜ng và 泳ng d映ng trong l丑c nhi宇u trên n逢噂i [25] hay Qnkxgt"Uejcnn"8«"ik噂i thi羽u m瓜v"rj逢挨pi"rj r"o噂i trong vi羽c lo衣i b臼 nhi宇u 8嘘i v噂i d英 li羽u v pj"x "f英 li羽w"vjc{"8鰻i theo th運i gian Vtqpi"rj逢挨pi"rj r"p {"v e"ik違
e pi"8«"e„"u詠 chuy吋p"8鰻i t瑛 thu壱t toán kh穎 nhi宇u không c映c b瓜 cho 違nh trong bài báo [3]
Trang 18V噂i m映c tiêu kh穎 nhi宇w"8 o"o¤{"8k吋m sao cho v磯n gi英 8員c tính v嘘n có c栄c"8嘘k"v逢嬰ng
Pj逢挨pi"rj r"8隠 xu医t 8逢嬰c l医{"#"v逢荏ng t瑛 rj逢挨pi"rj r Moving Least Squares và t瑛 bài báo c栄a tác gi違 Oliver Schall Vtqpi"rj逢挨pi"rj r 8隠 xu医t này có s詠 k院t h嬰p gi英a jck" rj逢挨pi rj逢挨pi" rj r: Th泳 nh医v" n " rj逢挨pi" rj r MLS, th泳 jck" n " rj逢挨pi" rj r không c映c b瓜 cho l丑c nhi宇u 違nh c栄a tác gi違 Buades (2005) [3]
Ej逢挨pi"50"E愛"U雲 LÝ THUY蔭T
Gi噂i thi羽u m瓜t s嘘 lý thuy院v"e挨"d違n c亥n thi院v"8吋 có nk‒p"swcp"jc{"8逢嬰c s穎 d映ng trong
lu壱p"x<p0
Ej逢挨pi"60"PIJKçP"E永U LIÊN QUAN
Trình bày t鰻ng quan v隠 e e"e»pi"vt·pj"nk‒p"swcp"8院n bài toán l丑c nhi宇u d英 li羽u thi院t b鵜
c違m bi院p"8瓜 sâu
Ej逢挨pi"70 VTëEJ"A渦K"V姶営NG
Vt·pj"d {"e e"d逢噂e"8吋 có th吋 vt ej"8嘘k"v逢嬰ng c亥n kh違o sát ra kh臼i c違nh v壱v."8吋 ucw"8„"8嘘k"v逢嬰ng s胤 8逢嬰e"f́pi"pj逢"n "8亥w"x q"ejq"rj逢挨pi"rj r"mj穎 nhi宇u
Ej逢挨pi"80 RJ姶愛PI"RJèR"MJ盈 NHI右U
Vt·pj"d {"8瓜 8q"ejq"rj逢挨pi"rj r"mj穎 nhi宇w"x "rj逢挨pi"rj r"mj穎 nhi宇u cho d英 li羽u
8 o"o¤{0
Ej逢挨pi"90"M蔭T QU謂 VÀ K蔭T LU一N
A¤{"n "rj亥p"8吋 trình bày k院t qu違 th詠c nghi羽m gi英c"rj逢挨pi"rj r"8隠 xu医v"x "rj逢挨pi"pháp Moving Least Squares (MLS) T瑛 k院t qu違 vjw"8逢嬰c và nh英ng nh壱n xét trên k院t
qu違 8„"8吋 8逢c"ra k院t lu壱n v隠 rj逢挨pi""rj r"8«"8逢嬰e"8隠 xu医t
Trang 19Ej逢挨pi"4 T蔚NG QUAN
Ej逢挨pi"p {"d逸v"8亥u b茨ng vi羽c mô t違 t鰻ng quát thi院t b鵜 Kinect, bên c衣pj"8„"e pi"o»"v違 cách tính nh英ng thu瓜e"v pj"8k吋o"pj逢<""v pj"pqtocn."4"rj逢挨pi"rj r"RHJ"x "HRHJ"8逢嬰c f́pi"8吋 v·o"8k吋o"v逢挨pi"x泳pi"vtqpi"8<pi"m#"*tgikuvtcvkqp+"4"v壱r"8k吋m
Thi院t b鵜 c違m bi院n Kinect
Thi院t b鵜 c違m 泳ng Microsoft Kinect 8逢嬰c phát hành cho Microsoft Xbox 360 video game vào cu嘘i p<o"42320 Thi院t b鵜 này ejq"rjfir"pi逢運i dùng v逢挨pi"v e"vt "ej挨k video
b茨ng cách di chuy吋n e挨"vj吋 c栄a mình trong m瓜t cách t詠 nhiên x "fq"8„ cho phép ej挨k"game mà không c亥n dùng b医t k phím 8k隠u khi吋n nào Ngoài ra, c違m bi院n Kinect v噂i Zdqz"e pi"pj壱n bi院v"mjk"pi逢運k"f́pi"p„k."p‒p"ejq"pi逢運i dùng tìm nh英pi"ej逢挨pi"vt·pj"tivi, th吋 vjcq."È"
Bên c衣nh nh英ng thành công trong công nghi羽r"vt "ej挨k0"X噂i chi phí th医p cho m瓜t thi院t
b鵜 Kinect, nhi隠u nhà nghiên c泳u và các sinh viên, h丑e"xk‒p"vtqpi"e e"n pj"x詠c khoa h丑c máy tính, k悦 thu壱v"8k羽n t穎 và 泳ng d映pi"tqdqv"8«"v壱n d映ng công ngh羽 c違m bi院p"8吋 phát tri吋n nh英ng cách m噂k"vtqpi"v逢挨pi"v e"x "vj詠c hi羽n nhi隠u công vi羽c khác nhau
C違m bi院n Kinect bao g欝m m瓜t camera màu, m瓜t c違m bi院p"8瓜 u¤w"*fgrvj"ugpuqt+"8逢嬰c
t衣o b荏i Microsoft hay còn g丑i là RGB-D camera Công ngh羽 c違m bi院n theo chi隠u sâu 8逢嬰c t衣o b荏i công ty PrimeSense Israel, chi ti院v"d‒p"vtqpi"ej逢c"8逢嬰c ti院t l瓜 v磯n còn là
bí m壱v"pj逢pi"piw{‒p"n#"jq衣v"8瓜ng d詠a trên n隠n t違pi"Ðuvtwevwtgf"nkijvÑ0"D瓜 ph壱n chi院u
Trang 20h欝ng ngo衣i (infrared (IR) projector) c栄a thi院t b鵜 Mkpgev"rj„pi"tc"e e"8k吋m sáng và t嘘i liên t映c vào m厩i b隠 m員v" 8欝k" v逢嬰pi0" E e" 8k吋m m磯w" 8„" u胤 8逢嬰c thu gi英 b荏i b瓜 ph壱n camera h欝ng ngo衣i (IR camera) C違m bi院n Kinect dùng v鵜 vt "v逢挨pi"8嘘i c栄a nh英pi"8嘘m
nh臼 8吋 tính kho違ng cách t衣i m厩i v鵜 trí pixel
T 嘘e"8瓜 d英 li羽u: x医p x雨 30 frames/sec
C違m bi院p"8瓜 sâu: 320x240 pixels 16-dkv"8瓜 sâu
RGB Camera: 640x480 pixels 32-bit màu
Audio: 16-bit @ 16 kHz
H 羽 th嘘ng theo f k"mjwpi"z逢挨pi
Vjgq"f k"n‒p"8院p"8"pi逢運i, bao g欝o"4"pi逢運k"ej挨k
Theo dõi 20 kh噂r"vt‒p"pi逢運i, 33ms th運i gian tr違 l運i
Kh違 p<pi" pj"z衣 pi逢運k"ej挨k"8院n LIVE Avatars
Trang 21Hình 2-1: L医y d英 li羽w"8瓜 sâu c栄a Kinect
Nh英ng ph亥n c栄a th詠c th吋 mj»pi"8逢嬰c chi院u b荏k"KT"rtqlgevqt"pj逢pi"j·pj"違pj"8„"8逢嬰c
b逸t gi英 b荏i IR camera
Trang 22xung quanh 3 m theo phân b嘘 Gaussian v噂i m瓜v" 8瓜 l羽ch chu育n nh医v" 8鵜pj0" A瓜 l羽ch chu育p"8逢嬰e"zgo"pj逢"n "pjk宇w"vtqpi"rjfir"8q
̇ Outliers (big errors)
M瓜t outliers là m瓜v"rjfir"8q"o "uck"n羽ch quá nhi隠u so v噂i nh英ng phép khác Chúng là
nh英pi"rjfir"8q"mj»pi"vw¤p"vjgq"j·pj"j丑c b隠 m員t c映c b瓜
2.2 A o"o¤{"8k吋m (Point Clouds)
Rj逢挨pi"rj r"n丑c nhi宇u d英 li羽u 3 chi隠u (3D) 8逢嬰c t衣o ra t瑛 thi院t b鵜 Mkpgev."8逢嬰c g丑i là
8 o"o¤{"8k吋m 3D0"A o"o¤{"8k吋m 3D là m瓜t t壱r"8k吋m 3 chi隠u không liên thông th吋
hi羽n th院 gi噂k"8逢嬰c thu gi英 b荏i thi院t b鵜 c違m bi院n Kinect Th吋 hi羽n 8挨p"ik違n c栄a m厩i 8k吋o"vtqpi"8 o"o¤{"8k吋m 3D có t丑c"8瓜 (x, y, z), pj逢pi"ej¿pi"x磯n có th吋 ch泳a các thu瓜c tính khác o w"x "j逢噂ng normal vector
A o"o¤{"8k吋o"5F"8逢嬰c sinh ra t瑛 nh英ng 違pj"8瓜 sâu (depth image) hay b違p"8欝 8瓜 sâu (depth map) 謂pj"8瓜 sâu là m瓜t ma tr壱n pixels, m厩i pixel ch泳a m瓜t giá tr鵜 8瓜 sâu trong 8„"ik "vt鵜 8瓜 sâu chính là kho違ng cách t瑛 b隠 m員t c栄c"8嘘k"v逢嬰ng trong th院 gi噂i th詠e"8院n camera, scw"8„"違pj"8瓜 u¤w"8逢嬰c chuy吋p"8鰻i sang th吋 hi羽n 3D
M瓜v"8 o"o¤{ 8k吋m là m瓜t c医u trúc d英 li羽u 8逢嬰c s穎 d映pi"8吋 th吋 hi羽n m瓜t t壱p h嬰p các 8k吋m 8c"ejk隠u và vj逢運pi"8逢嬰c s穎 d映ng 8吋 bi吋u di宇n d英 li羽u ba chi隠u Trong m瓜t 8 o"o¤{"8k吋m 3D, e e"8k吋m vj逢運ng 8逢嬰c bi吋u di宇n v噂i t丑c"8瓜 hình h丑c X, Y, và Z c栄a m瓜t
b隠 m員t m磯u Khi có thêm thông tin màu s逸c, e e"8 o"o¤{ tr荏 thành 8k吋m 4D
Point Cloud Library (PCL) là vj逢"xk羽n mã ngu欝n m荏 8逢嬰c vi院t trong ngôn ng英 C++,
mi宇n phí vtqpi"vj逢挨pi"o衣i và trong nghiên c泳u, 8逢嬰c s穎 d映ng trong x穎 lý hình h丑c 3D
x "8 o"o¤{"8k吋m n-D PCL 8«"h厩 tr嬰 trên nhi隠u h羽 8k隠w"j pj"pj逢< Windows, MacOS, Linux, và Android 8cpi 8逢嬰c c瓜pi"8欝ng s穎 d映ng
Do d英 li羽w"8 o"o¤{"*REF+"n "n噂n và ph違i th詠c hi羽n các tính toán hình h丑c ph泳c t衣p nên t嘘e"8瓜 x穎 lý ch壱o0"REN"8«"f́pi"v壱p l羽nh Streaming SIMD Extensions (SSE) cho
Trang 23vi羽c tính toán nhanh trên nh英ng CPU hi羽p"8衣i Bên c衣nh PCL cung c医p OpenMP và vj逢"xk羽n Intel Threading Building Blocks (TBB) trong vi羽c x穎 lý song song Truy隠n
gi英 li羽u gi英a các module (ví d映 pj逢"e e"vjw壱t toán) s穎 d映ng Boost shared pointers [23]
Hình 2-2<"U挨"8欝 Class c栄a PCL
2.3.1 M瓜t s嘘 vj逢"xk羽n module C++:
‚ libpcl_features: ch泳a các c医u trúc d英 li羽u và các k悦 thu壱t 逢噂e"n逢嬰ng d員c tính 3D
t瑛 d英 li羽w"8 o"o¤{ 8k吋m Ví d映 pqtocn."8瓜 cong (curvatures), nh英pi"8k吋m biên (boundary points), Point Feavwtg"Jkuvqitcou"*RHJ+."Hcuv"RHJÈ
‚ libpcl_surface: g欝m nh英ng k悦 thu壱t xây d詠ng l衣i b隠 m員t pj逢"ogujkpi."eqpxgz"hulls, Moving Least Squares,
‚ libpcl_filters: g欝m nh英ng k悦 thu壱t l丑c nhi宇w." qwvnkgtu." p„" e pi" ej泳a m瓜t s嘘 rj逢挨pi"rj r"vt ej"v壱p con c栄c"8 o"o¤{"8k吋m, hay lo衣i b臼 nh英ng ph亥n c栄c"8 o"o¤{"8k吋o"pj逢"fqypucornkpi."qwvnkgt"tgoqxcn."kpfkegu extraction, projections,
‚ libpcl_io: x穎 lý vi羽e"8丑c ghi d英 li羽u (files: PCD, PLY)
‚ libpcl_segmentation: nh英ng x穎 lý l医{"8q衣n d英 li羽u g欝m có cluster extraction, Sample Consensus model fitting, polygonal prism extraction,
‚ libpcl_registration: nh英ng rj逢挨pi" rj r" 8<pi" m#" 8 o" o¤{" f英 li羽u Iterative Closest Point (ICP), non linear optimizations,
2.3.2 B瓜 l丑c (filter)
‚ Gi噂i h衣n ph衣m vi (PassThrough)
Trang 24L丑e"tc"e e"8k吋m n茨m ngoài ph衣o"xk"8逢嬰c ch雨 8鵜nh
‚ Gi違m m磯u (Voxel Grid)
A o"o¤{"f英 li羽w"8逢嬰c th吋 hi羽p"f逢噂i d衣pi"n逢噂i 3D M厩i ph亥n t穎 c栄c"n逢噂i 3D là
nh英ng h瓜p (box) hay còn g丑k"n "ÐxqzgnÑ"ch泳c"e e"8k吋m d英 li羽u M厩i voxel mà hoàn toàn b鵜 chi院m gi英 vj·"8逢嬰c l医y thay th院 b荏i tâm c栄a nh英pi"8k吋m bên trong nó
‚ Lo衣i b臼 Outliers (StatisticalOutlierRemoval / RadiusOutlierRemoval)
‚ Lo衣i ra 8i吋m d詠a trên m壱v"8瓜 8k吋m c映c b瓜 c栄a chúng Lo衣i b臼 e e"8k吋m có vj逢c"
th噂t so v噂i m壱v"8瓜 8k吋m trung bình c栄a toàn b瓜 8 o"o¤{
Hình 2-3: B瓜 l丑c PassThrough
2.3.3 Nh英pi"8員e"v pj"8k吋m (Point Features)
Vi羽c th吋 hi羽n Point Features 8逢嬰c mô t違 pj逢"o瓜t vector mà nó mô t違 thông tin hình
h丑c c映c b瓜 xung quanh m瓜v"8k吋o"8cpi"8逢嬰c xem xét
Công th泳c c栄a m瓜t th吋 hi羽p"8員t tính cho m瓜v"8k吋m pqn "8k吋o"8cpi"8逢嬰c truy v医n và Pk
là t壱p k j pi"z„o"zwpi"swcpj"8k吋m pq8逢嬰c th吋 hi羽p"pj逢"ucw<
演盤径槌 賃匪 噺 岶"捲怠 捲態 捲津岼
V噂i n th吋 hi羽n vector k院t qu違 có n chi隠u
Trang 25Hình 2-6<"U挨"8欝 encuu"8員e"v pj"8k吋m
2.3.4 姶噂e"n逢嬰ng Normal
Nh英ng v医p"8隠 s穎 lý d英 li羽w"8k吋o."d逢噂e"逢噂e"n逢嬰pi"pqtocn"vj逢運pi"8k"vt逢噂c nhi羽m v映 chính
V隠 e挨"d違n có 2 cách ti院p c壱n trong vi羽e"逢噂e"n逢嬰ng normal c栄a b隠 m員t: cách truy隠n
th嘘ng là t瑛 d英 li羽w"8 o"o¤{"8k吋m xây d詠ng mô hình b隠 m員v"e挨"d違n dùng k悦 thu壱t chia n逢噂i (meshing) ucw"8„"v pj"pj英ng normal t瑛 8„0"Vw{"pjk‒p."mjk"m ej"vj逢噂c d英 li羽u l噂n, vj·"j逢噂ng ti院p c壱n này t嘘n chi phí cao trong vi羽c xây d詠pi"n逢噂i M瓜v"j逢噂ng th泳 2 là dùng vi羽c x医p x雨 8吋 逢噂e"n逢嬰ng normal tr詠c ti院p t瑛 8 o"o¤{"8k吋m
Hình 2-5: A o"o¤{"8k吋m 3D Hình 2-6: Tính normal c栄a d英 li羽w"8k吋m
V噂i Pk là t壱r"e e"8k吋m là hàng xóm c栄c"8k吋m truy v医n pq, Pk 8逢嬰e"f́pi"8吋 逢噂e"n逢嬰ng
m瓜t x医p x雨 normal c栄a b隠 m員t t衣k"8k吋m truy v医n pq vi羽e"z e"8鵜nh Pk có 2 cách sau:
‚ Z e"8鵜nh k hàng xóm g亥n nh医t c栄c"8k吋m truy v医n (k search)
‚ Z e"8鵜nh các hàng xóm c栄c"8k吋m truy v医n trong bán kính r (r search)
Ejq"8k吋m truy v医n pq, m瓜t t壱r"e e"8k吋m hàng xóm cho m映e"8 ej"逢噂e"n逢嬰ng normal b隠
m員v"8逢嬰c l医y m磯w"swcpj"8k吋m truy v亥n pq V医p"8隠 z e"8鵜nh các h羽 s嘘 k ho員e"t"8吋 ch雨 ra
Trang 26nh英pi"j pi"z„o"zwpi"swcpj"8k吋m truy v医n có 違pj"j逢荏pi"8院n vi羽e"逢噂e"n逢嬰ng normal
t衣k"8k吋m truy v医n
Hình phía bên trái cho th医y m瓜v"逢噂e"n逢嬰ng normal h嬰p lý j挨p v噂i ch丑n l詠a h羽 s嘘 k
ho員c r là nh臼 so v噂i phía bên ph違i v噂i các h羽 s嘘 là l噂n
Ch丑n l詠a các h羽 s嘘 phù h嬰p là m瓜t vi羽c khó
Hình 2-7: 姶噂e"n逢嬰ng b隠 m員t normal a) h羽 s嘘 t雨 l羽 nh臼 (t嘘t) bên trái; b) h羽 s嘘 t雨 l羽 l噂n
(x医u) bên ph違i
2.3.5 PFH (Point Feature Histogram)
PFH là k悦 thu壱t m衣pj"8嘘i v噂i d英 li羽u nhi宇u và ch泳a outliers trong vi羽c l医{"8員c tính thông tin M映c tiêu là l医{"8逢嬰e"8員e"vt逢pi"j·pj"j丑c c映c b瓜 t衣i m瓜v"8k吋m hay nói cách khác là m瓜t x医p x雨 hình h丑c c栄a m瓜v"8k吋m dùng thông tin v隠 k hàng xóm xung quanh
c栄a 8k吋o"8„, v噂i t瑛ng c員r"8k吋o"8逢嬰c n嘘i v噂i nhau pj逢"j·pj"f逢噂i
Hình 2-8: Hàng xóm xung quanh t瑛ng c員p 8k吋m
Trang 27D英 li羽w"8亥u vào bao g欝o"8 o"o¤{"8k吋m 3D, nh英ng normal c栄c"8 o"o¤{"f英 li羽w"8亥u
x q"8«"8逢嬰e"逢噂e"n逢嬰ng v噂i bán kính hàng xóm xung quanh là rn ( normal radius), bán kính rf n "d p"m pj"z e"8鵜nh k 8k吋m v噂i kho違ng cách nh臼 j挨p"tf n "8k吋m h厩 tr嬰 trong
vi羽e"v pj"8員e"vt逢pi"j·pj"j丑c c栄c"8k吋o"8cpi"zfiv0"Vtqpi"8„"rf > rn
K院t qu違 c栄a thu壱t toán là m瓜t m違ng giá tr鵜 ki吋u float th吋 hi羽n histogram v隠 s詠 quan h羽
c栄a t医t c違 các c員r"8k吋m
Hình 2-;<"Jkuvqitco"8員c tính
A瓜 ph泳c t衣p c栄a gi違i thu壱t O(nk2) v噂i n là s嘘 8k吋o"vtqpi"8 o"o¤{"8k吋o"8亥u vào
2.3.6 FPFH (Fast Point Feature Histogram)
V噂i m映e"8 ej"n o"ejq"xk羽c tính toán tr荏 p‒p"pjcpj"j挨p."vjw壱v"vq p"RHJ"8«"8逢嬰e"8挨p"
gi違n hóa trong vi羽c x穎 n#"pj逢pi"x磯p"8違m b違q"vj»pi"vkp"vtqpi"RHJ0"Pj逢"x壱y, FPFH [22] n "rj逢挨pi"rj r"8逢嬰e"vjc{"8鰻i t瑛 PFH v噂k"8瓜 ph泳c t衣p tính toán là O(nk)
Trang 28Hình 2-32<"J pi"z„o"zwpi"swcpj"8k吋m
Th栄 t映c FPFH 8逢嬰e"v pj"8挨p"ik違n l衣k"pj逢"ucw<
i) V噂i m厩k"8k吋m truy v医n p ch雨 xét m嘘i quan h羽 gi英c"8k吋o"8„"x "k 8k吋m hàng
xóm c栄a nó D逢噂e" p {" 8逢嬰c g丑i là Simplified Point Feature Histogram (SPFH) Hình 2-10 trên
ii) Tính SPFH cho k giá tr鵜 j pi"z„o"e„"8逢嬰c c栄a p 荏 d逢噂c 1, các giá tr鵜 này
8逢嬰c dùng làm tr丑ng s嘘 c栄a histogram cu嘘i cùng
Hình 2-11: Hàng xóm c栄a nh英ng hàng xóm
S詠 khác bi羽t chính gi英a th栄 t映c tính toán PFH và FPFH là:
1 A瓜 ph泳c t衣p c栄a PFH là O(nk2
Trang 29Ej逢挨pi"50"E愛"U雲 LÝ THUY蔭T
Vtqpi"ej逢挨pi"p {"vt·pj"d {"o瓜t s嘘 rj逢挨pi"rj r"jc{"8逢嬰c s穎 d映ng trong x穎 lý d英 li羽u nhi隠u chi隠u."e„"m ej"vj逢噂c l噂n c亥n có m瓜t c医u trúc d英 li羽w"n逢w"vt英 8吋 h厩 tr嬰 trong vi羽c tìm ki院m
(PCA)
Phân tích thành ph亥n chính l亥p"8亥w"vk‒p"8逢嬰c gi噂i thi羽u b荏i Pearson [12] Nó là m瓜t k悦 thu壱t th嘘pi"m‒"8c"dk院n (Multivariate Statistics) f́pi"8吋 ch雨 ra nh英pi"j逢噂ng chính c栄a
d英 li羽w"x "e pi"8逢嬰c dùng trong vi羽c gi違m chi隠u
PCA trong t壱r"8k吋m 3D thì s嘘 j逢噂ng chính b茨ng v噂i s嘘 chi隠u c栄c"e e"8k吋m d英 li羽u
Vi羽c tính các thành ph亥n chính g欝o"e e"d逢噂c sau: 8亥u tiên c亥n tính tâm c栄a t壱p d英
V噂i N là t鰻ng s嘘 8k吋m, ma tr壱p"8欝pi"rj逢挨pi"uck"ej泳c"rj逢挨pi"uck"e栄c"e e"j逢噂ng chính
c栄a d英 li羽w0"A吋 phân tích nh英pi"rj逢挨pi"uck"p {."e亥n tính eigenvalues và eigenvectors
Trang 30c栄a 識, 8逢嬰c tính b荏i Singular Value Decomposition (SVD)0" Vtqpi" vt逢運ng h嬰p 3D, eigenvectors th泳 5"8逢嬰c xem là j逢噂ng normal
3.3 Random Sample Concensus (RANSAC)
RANSAC n "rj逢挨pi"rj r"pi磯w"pjk‒p"8吋 逢噂e"n逢嬰ng nh英ng tham s嘘 c栄a m瓜t mô hình P„"8員c bi羽t m衣nh trong d英 li羽u có nhi宇u khi mà nh英pi"rj逢挨pi"rj r"mj e"mj»pi"vj詠c
hi羽p"8逢嬰c TCPUCE"8逢嬰c vi院t t逸t t瑛 RANdom Sampling Consensus 8逢嬰c th吋 hi羽p"8亥u tiên 1981 [11] V噂i m瓜t t壱p d英 li羽u g欝o"R"8k吋m d英 li羽u, th栄 t映c vòng l員p c栄a gi違i thu壱t 8逢嬰c th吋 hi羽p"pj逢"ucw<
1 Ch丑n m瓜t t壱p con k 8k吋m d英 li羽u ng磯u nhiên
2 Xây d詠ng m瓜t mô hình t瑛 m"8k吋m d英 li羽u
3 A pj"ik "ch医v"n逢嬰ng phù h嬰p c栄a mô hình d詠c"vt‒p"e e"8k吋m còn l衣i
4 L員p l衣i 1-3
Ti院n trình ch丑n t壱p con 泳pi"xk‒p"x "8 pj"ik "8逢嬰c l員p l衣i nhi隠u l亥n, cu嘘i cùng mô hình
mà phù h嬰p nh医v"8院n t壱p d英 li羽w"8逢嬰c ch丑n
""v逢荏pi"8吋 ch丑n 8k吋m b逸v"8亥u k m磯u t瑛 t壱p d英 li羽u là ch丑n t嘘i thi吋u s嘘 8k吋o"8吋 xây
d詠pi"8逢嬰c mô hình tham s嘘 N院w"n "8逢運ng th鰯ng thì ch丑p"4"8k吋m, còn n院u là m瓜t m員t
ph鰯ng s嘘 8k吋m nên là 3
3.4 Kd-tree
Vtqpi"8 o"o¤{"8k吋m 3D."8吋 v<pi hi羽u su医t trong vi羽c x穎 lý thì c亥n m瓜t c医u trúc d英
li羽w"n逢w"vt英 hi羽u qu違 Kd-tree (k-dimensional tree) là m瓜t c医u trúc d英 li羽u t鰻 ch泳c t壱p 8k吋m trong m瓜t không gian k chi隠u Nó là m瓜t cây tìm ki院m nh鵜 phân nhi隠u chi隠u h英u
d映ng trong vi羽c tìm ki院m trong ph衣m vi hay các hàng xóm g亥n nh医t Tham kh違o thêm trong quy吋p"ÐComputational Geometry Algorithms and ApplicationsÑ"e栄a tác gi違 Mark
de Berg 2008
Trang 31""v逢荏ng là t衣i m厩i m泳c c栄a kd-tree chia t壱r"8k吋m c栄a cây theo m瓜t chi隠u c映 th吋: chi隠u
x, chi隠w"{.ÈA院n khi s嘘 8k吋m ch雨 e p"3"8k吋m
Chi隠u x (x-coordinate): chia t壱r"8k吋m b荏k"8逢運ng th鰯ng 8泳ng v噂i m瓜t n英a bên trái và
m瓜t n英a bên ph違i chi隠u y (y-coordinate): chia t壱r"8k吋m b荏k"8逢運ng th茨ng n茨m ngang
v噂i m瓜t n英a bên trên và m瓜t n英c"d‒p"f逢噂i
Ví d映 c栄a kd-tree 2 chi隠u Vj逢"xk羽p"8 o"o¤{"8k吋o"REN"8«"e k"8員t chi ti院t c栄a c医u trúc d英 li羽u kd-tree
Trang 32Ej逢挨pi 4 NGHIÊN C永U LIÊN QUAN
Ej逢挨pi"p {"u胤 trình bày m瓜t s嘘 e»pi"vt·pj"nk‒p"swcp"8院p"8隠 tài nghiên c泳u g欝m nh英ng
k悦 thu壱t x栄 lý tr詠c ti院p vt‒p"8 o"o¤{"8k吋m không có c医u trúc hay m瓜t s嘘 rj逢挨pi"rj r"
x穎 lý trên d英 li羽w"4F."pj逢pi"pj英pi"rj逢挨pi"rj r"p {"e„"vj吋 8逢嬰c s穎 d映pi"8吋 m荏 r瓜ng trên d英 li羽u 3D
4.1 Mesh-Independent Surface Interpolation [7]
Tác gi違 n瓜i suy b隠 m員t m鵜n t瑛 d英 li羽u phân tán không có c医u trúc b茨ng cách k院t h嬰p
nh英ng vùng c映c b瓜, m厩i vùng là m瓜t x医p x雨 trên mình tham kh違o c映c b瓜 Bài báo dùng rj逢挨pi"rj r"ejk院u ti院p c壱p"vjgq"ÐOqxkpi-Least-UswctgÑ" *ONU+" ejq"xk羽c chi院w" 8瓜c
Sao cho t嘘i thi吋u
布岫隼 欠 堅沈 伴 伐"経岻態肯岫勘 堅沈 伐 堅 勘岻
沈樺彫
N院u có nhi隠u t嘘k"逢w"e映c b瓜 thì m員t ph鰯ng g亥n nh医v"8院n r 8逢嬰c ch丑p">̋."̋@"n "kppgt"
product trong 温鳥
Trang 33肯岫勘 堅沈 伐 堅 勘岻 là tr丑ng s嘘, gi違m khi kho違ng cách 勘 堅沈伐 堅 勘 v<pi0
Hình 4-2: Tìm m員t ph鰯ng Hr t嘘k"逢w Slides c栄a Niloy J Mitra và An Nguyen
D逢噂c 2: X医p x雨 MLS
A員t 岶捲沈岼沈樺彫 là phép chi院u vuông g嘘c c栄a nh英pi"8k吋m 岶堅沈岼沈樺彫 trên m員t ph鰯ng Hr ,
X "8員t 血沈 噺"隼 堅沈 欠 伴 伐"経 件" 樺 荊 là chi隠u cao c栄a nh英pi"8k吋m 岶堅沈岼沈樺彫 trên Hr,
V噂k"s"n "8k吋m chi院u c違 r trên Hr, là g嘘c c栄a h羽 t丑c"8瓜 vuông Hr
V·o"8c"vj泳c b壱c m là x医p x雨 c映c b瓜, 喧葡 樺 陳鳥貸怠 sao cho t嘘i thi吋u:
兼件券
喧 樺 陳鳥貸怠布岫喧岫捲沈岻 伐 血沈岻態肯岫勘 堅沈 伐 "堅 勘岻
沈樺彫
Giá tr鵜 喧葡岫ど岻 x医p x雨 chi隠u cao c栄a S trên Hr t衣i g嘘c t丑c"8瓜 q
Pj逢"x壱y x医p x雨 c栄a vi羽c chi院u c栄a r trên S là: 堅 噺 圏 髪"喧葡岫ど岻, 堅 噺 鶏楓陳岫堅岻
Hình 4-3: Chi院u c栄a r trên S Slides c栄a Niloy J Mitra và An Nguyen
Trang 344.2 Curve Reconstruction from Unorganized Points [9]
Tác gi違 In-Myqp"Ngg"8«" r"f映ng k悦 thu壱t moving least-uswctgu"8吋 làm m鵜n point cloud
có d衣pi"j·pj"eqpi0"D k"d q"8«"e k"8員t trên t壱r"8k吋o"4F"ucw"8„"8«"o荏 r瓜ng lên t壱r"8k吋m 3D
C医u trúc d英 li羽w"f́pi"8吋 8鵜pj"pij c"u詠 liên thông c栄a các thành ph亥n trong t壱r"8k吋m là Euclidean Minimum Spanning Tree (EMST)
A吋 z e"8鵜pj"m ej"vj逢噂c hàng xóm ph違n ánh phù h嬰r"8瓜 dày c栄a point cloud, tác gi違 8«"
gi噂i thi羽u khái ni羽o"ÐeqttgncvkqpÑ"trong thuy院t xác su医t, tham kh違o thêm J Pitman, Probability (Springer-Verlag 1992)
4.3 Point set surfaces [13]
V逢挨pi"v詠 rj逢挨pi"rj r"e栄c"Ngxkp."pj逢pi"Octe"Cngzc"thay cho hàm tr丑ng s嘘 cho m厩i ri
là kho違pi"e ej"8院p"t"*vt逢運ng h嬰p Levin) b茨ng kho違ng cách c栄a ri8院p"8k吋m chi院u c栄a r, 8員t là q, trên m員t ph鰯ng H
Hình 4-4: M嘘i quan h羽 gi英a ri v噂i r và ri v噂i q Slides c栄a Niloy J Mitra và An Nguyen Down-sampling
Dùng lo衣i b臼 8k吋m mà có s嘘 n逢嬰ng thông tin nh臼 nh医v"8院p"j·pj."jc{"8逢嬰e"zgo"n "8k吋m f逢"vj瑛a (redundant)
Up-sampling
Nh英pi"vt逢運ng h嬰p mà m壱v"8瓜 t壱r"8k吋o"mj»pi"8栄 thì c亥p"vj‒o"8k吋m vào (up-sampled)
Trang 354.4 Robust moving Least-squares Fitting with Sharp Features [26]
Shachar Fleishman gi噂i thi羽u m瓜v" 8鵜pj" pij c" d隠 m員t m鵜n t瑛ng ph亥n (a piecewise smooth surface) b茨pi"e ej"8鵜pj"pij c"vq p"v穎 chi院w"8吋 chi院u m瓜v"8k吋m lên trên vùng
m鵜n c映c b瓜 ch泳 không ph違i m瓜t b隠 m員t gi違 s穎 là m鵜n m丑k"p挨k0
Cho m瓜v"8k吋m x, phân tích hàng xóm c栄a nó:
- N院w"z e"8鵜nh là m鵜p"vj·"f́pi"rj逢挨pi"rj r"ejk院u c栄a Levin
- Pi逢嬰c l衣i, phân lo衣i hàng xóm c栄c"8k吋o"8„"vj pj"pj英ng t壱p con nh英ng vùng
m鵜n b臼 qua outliers và chi院w"8k吋o"8„"n‒p"x́pi"o鵜n g亥n nh医t
E e"vt逢運ng h嬰r"8鵜pj"pij c"b隠 m員t m鵜n t瑛ng ph亥n (piecewise smooth surface)
Hình 4-5: Chi院u lên b隠 m員t g亥n c衣nh Dùng thu壱t toán iterative refitting, d詠a trên thu壱t toán forward-ugctej."8吋 tìm các vùng
m鵜n c栄a hàng xóm c栄c"8k吋o"8cpi"zfiv0
Hình 4-6: B隠 m員t m鵜n t瑛ng ph亥p"8逢嬰c xây d詠ng
Trang 364.5 Similarity-based denoising of point-sampled surface [24]
D詠c"vt‒p"#"v逢荏pi"e挨"d違n c栄a thu壱t toán kh穎 nhi宇u không c映c b瓜 (non-local denoising algorithm, NLD) cho kh穎 nhi宇u (denoising) 違pj"8逢嬰e"8隠 xu医t b荏i Buades et al (2005) Thu壱t toán NLD cho b隠 m員t m磯w"8k吋m d詠 trên s詠 v逢挨pi"v詠 bao g欝o"e逢運pi"8瓜 hình h丑c
và nh英pi"8員c tính c栄c"e e"8k吋m m磯w"8逢嬰c tác gi違 th吋 hi羽p"pj逢"ucw<
- E逢運pi"8瓜 hình h丑c (geometry intensity) 絞沈 cho m厩k"8k吋m pi là giá tr鵜 khác bi羽t
c栄a m厩k"8k吋m m磯w"8逢嬰e"z e"8鵜nh b荏i trilateral filtering operator
- N逢噂k"e逢運pi"8瓜 hình h丑c (grid of geometry intensity) cho m厩k"8k吋o"8逢嬰c xây
d詠ng b茨pi"rj¤p"v ej"*eqxctkcpeg"cpcn{uk+"8吋 tìm m員t ph鰯ng tham chi院u c映c b瓜
- V鵜 trí 喧旺沈 8逢嬰c d鵜ch chuy吋p"vjgq"j逢噂ng normal vector 喧沈 噺 喧沈髪 絞旺沈券沈
4.6 Adaptive feature-preserving non-local denoising of static and time-varying range data [17]
Vjgq"d k"d q"ÐC"pqp-nqecn"cniqtkvjo"hqt"kocig"fgpqkukpiÑ."v e"ik違 8隠 xu医t thu壱t toán Ðpqp-nqecn"ogcpuÑ"*PN-mean) v噂i gi違 8鵜nh m瓜t hình 違nh ch泳a s嘘 n逢嬰ng l噂p"v逢挨pi"v詠 chính nó (self-similarity) M瓜t ví d映 v逢挨pi"v詠 chính nó cho th医y trong Hình 4-7
Trang 37Hình 4-7: Non-Local trên 違nh Hình trên cho th医y 3 pixels: p, q, r và nh英ng vùng lân c壱p"v逢挨pi"泳ng Nh英ng hàng xóm
c栄c"rkzgn"r"x "s"n "v逢挨pi"v詠 pjcw"pj逢pi"pj英ng hàng xóm c栄a pixel p và r thì không v逢挨pi" v詠 nhau V噂i gi違 thi院v" v逢挨pi" v詠 ej pj" p„" 8逢嬰e" f́pi" 8吋 kh穎 nhi宇u m瓜t 違nh
Nh英ng pixel v噂k"j pi"z„o"v逢挨pi"v詠 pjcw"8逢嬰e"f́pi"8吋 z e"8鵜nh giá tr鵜 c栄a m瓜t pixel
b鵜 nhi宇u M瓜t 違nh nhi宇u, giá tr鵜 逢噂e"n逢嬰ng c栄a m瓜v"rkzgn"8逢嬰e"v pj"pj逢"n "vtwpi"d·pj"
tr丑ng s嘘 c栄a t医t c違 các pixel trong hình 違nh
Qnkxgt"Uejcnn"8«"o荏 r瓜pi"j逢噂ng ti院p c壱n này cho kh穎 nhi宇u d英 li羽u mi隠n V噂i gi違 8鵜nh
r茨ng d英 li羽w"8逢嬰c th吋 hi羽p"f逢噂i d衣pi"8k吋o"x "8逢嬰c s逸p x院p theo m瓜t c医w"vt¿e"n逢噂i Tác
gi違 không l医y t鰻ng trên t医t c違 v鵜 vt "8k吋o"8吋 l丑c m瓜v"8k吋m mà trên vùng vuông xung swcpj"8k吋m
Sau khi áp d映ng thu壱t toán cho m厩i framg"8瓜c l壱p v噂i k院t qu違 th臼a mãn, tác gi違 8«"o荏
r瓜ng trên mi隠n th運i gian Nh英pi"8k吋m v噂k"v逢挨pi"v詠 nhau vùng lân c壱n không chi bên trong m瓜t frame mà còn trên các frame lân c壱n, bao g欝o"htcog"vt逢噂c và sau frame hi羽n hành
4.7 Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps [14]
Trong bài báo tác gi違 th吋 hi羽n m瓜v"j逢噂pi"n o"8亥y l厩 tr嘘pi"8吋 c違i thi羽n ch医v"n逢嬰ng c栄a
b違p"8欝 8瓜 u¤w"*fgrvj"ocru+"8逢嬰c t衣o ra t瑛 thi院t b鵜 Mkpgev0"J逢噂pi"8隠 xu医v"8逢嬰c d詠a vt‒p"e挨"u荏 joint-bilateral filtering ( cross-dkncvgtcn"hknvgt"+"8«"8逢嬰c m荏 r瓜ng t瑛 bilateral filter, là m瓜t k悦 thu壱t l丑c gi英 8員c tính c衣nh M映c tiêu c栄a tác gi違 là xây d詠ng m瓜t b違ng
Trang 388欝 8瓜 sâu không b鵜 nhi宇u b茨ng cách dùng c違 hai thông tin không gian và th運i gian, g欝m 5"ikck"8q衣n chính:
- D英 li羽w"8瓜 sâw"8逢嬰c l丑e"8吋 c違i thi羽p"8瓜 chính xác theo d英 li羽u tr詠c quan và mô hình Dm
- Nh英ng pixels nmd (no-measured depth) mà có m瓜v"j pi"z„o"8 pi"vkp"e壱{"8逢嬰c 8逢c"x q"v pj"vq p"f́pi"vj»pi"vkp"vt詠c quan
- O»"j·pj"ej pj"z e"8逢嬰c t衣q"tc"x "8逢嬰c dùng
Hình 4-:<"U挨"8欝 kh嘘i c栄a chi院p"n逢嬰v"n o"8亥y ch鰻 tr嘘ng I: d英 li羽u video (video data)
D: b違pi"8欝 8瓜 sâu (depth data)
Dm: mô hình b違pi"8欝 8瓜 sâu (depth map model)
Cmap<""8瓜 vkp"e e"rjfir"8q"8瓜 sâu trong Dm
Bài báo c栄a tác gi違 ch雨 liên h羽 8院n c違nh v壱v"v pj0"
4.8 Adaptive Spatio-Temporal Filter For Low-Cost Camera Depth Maps [15]
Trong bài báo tác gi違 th吋 hi羽n b瓜 l丑c thu瓜c v隠 không gian và th運k"ikcp"8吋 c違i thi羽n s詠 chính xác và 鰻p"8鵜nh v隠 th運i gian c栄a camera chi phí th医p H羽 th嘘pi"8逢嬰e"8隠 xu医t g欝m
3 kh嘘k"8吋 xây d詠ng m瓜t b違pi"8欝 8瓜 sâu c栄a c違nh v壱v"v pj"ej逸c ch逸n
Trang 39Hình 4-;<"U挨"8欝 kh嘘i AJBF
‚ Adaptive Joint-Bilateral Filter (AJBF): dùng gi違m s詠 vjc{"8鰻i c栄a nh英ng giá tr鵜 8瓜 sâu mà thu瓜c v隠 épi"x́pi"8嘘k"v逢嬰ng trong khi gi英 và c違i thi羽p"rjfir"8q"8瓜 sâu c栄a c衣nh
‚ Hole Filling (HF): gán giá tr鵜 cho nh英pi" rkzgn" 8瓜 u¤w" mj»pi" 8逢嬰e" 8q" measured depth - pof+"8亥u vào b違p"8欝 8瓜 u¤w"8«"8逢嬰c l丑e"8逢嬰c cung c医p t瑛
*pq-kh嘘i AJBF
‚ Cfcrvkxg"Mcnocp"Hknvgt"*CMH+<"f́pi"8吋 theo dõi nh英pi"8瓜 8q"fcq"8瓜ng theo
th運i gian, nó gi違m nh英pi"fcq"8瓜ng v隠 th運i gian c栄a m厩i pixel
Trang 40Ej逢挨pi"5 VTëEJ"A渦K"V姶営NG
Vtqpi"ej逢挨pi"p {"u胤 trình bày v隠 e e"d逢噂c rút ra ph亥n c栄a 8嘘k"v逢嬰ng c亥p"8逢嬰c kh違o sát t瑛 c違nh v壱v"8逢嬰c quét v噂i thi院t b鵜 c違m bi院n Kinect t瑛 m瓜t góc nhìn D‒p"f逢噂k"n "u挨"8欝 trình bày trình t詠 c栄a quá trình vt ej"8嘘k"v逢嬰ng
Hình 5-3<"U挨"8欝 thu壱v"vq p"vt ej"8嘘k"v逢嬰ng
5.1 Thu th 壱p d英 li羽u
Có nhi隠u lo衣i thi院t b鵜 8q" 5F khác nhau: laser scanner, stereo camera, time-of-light camera Vtqpi"8隠 tài ch雨 swcp"v¤o"8院n d英 li羽w"5F"8逢嬰c t衣o ra b荏i thi院t b鵜 c違m bi院n Xbox 360 Kinect, giá tr鵜 8瓜 u¤w"8逢嬰c chuy吋p"8鰻i v隠 8 o"o¤{"8k吋m 3D C映 th吋, d英 li羽u 8逢嬰c l医y t瑛 thi院t b鵜 Kinect khi quét b隠 m員v"8嘘k"v逢嬰ng là m瓜t cái h瓜p