Luận văn phân vùng Đối tượng trên point cloud data

Chương 2 - Thư viện xử ý ảnh PCE, Nghiên cứu về thư viện xử lý anh PCL, câu trúc đữ liệu của đảm mây điểm ảnh, các rnô đun trong thư viện đặc biệt là mô đun phân vùng đối tượng, Chươn

Trang 1

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRUONG DAI HOC BÁCH KHOA HÀ NỘI

Nguyễn Ngọc Ánh

PHÂN VÙỦNG ĐÓI TƯỢNG TRÊN POINT CLOUD DATA

Chuyên ngành: Kỹ thuật máy tính và truyền thông,

LUẬN VĂN THẠC SĨ KỸ THUẬT

KY THUAT MAY TINH VA TRUYEN THONG

NGUOTHUGNG DAN KHOA HOC

TS NGO LAM TRUNG

Hà Nội Năm 2015

Trang 2

Học viên thực hiện: Nguyễn Ngọc Ảnh Lớp: 12BMTET

LỜI CAM ĐOAN Luận văn thạc sỹ kỹ thuật chuyên ngành Kỹ thuật máy tính và truyền thơng với

dé tài “Phâm vùng dÃi trựng trên pómt clnzd đấg”, nđ dễ tài 3012BMTTT-KT3T

đưới sự hướng đẫn của TS Ngỗ Lam Trung — Viện Cơng nghệ thẳng tin và truyền

thơng, Trường Đại học Bách Khoa Hà Nội Trong luận vấn nghiên cứu hưự viện xử

lý ảnh PCL, trong đĩ tập trung, di sâu vào nghiên cửu các vấn dễ liêu quan dến phân vùng đổi tượng trên đữ liệu đám mây điềm ảnh

;Tơi - Nguyễn Ngọc Ảnh — cam kết Luan văn tốt nghiệp là cổng trình nghiền cứu của bản thân tới Các kết quả nên trong Tuuận văn tốt nghiệp lị trang thực, khơng phải sao chép tồn văn của bắt kỹ cơng trình nao khác,

Hà Nội, ngày 19 tháng 05 năm 2015

Tác giả LVTN

Nguyễn Ngọc Ảnh

Trang 3

TỜI CẮM ƠN

Quá trình nghiên cứu luận văn này là một trong những công việc khó khăn nhất

từ trước đến nay mà tôi gặp phải, song cũng cung cấp cho lỏi nhiều kiến thie va kink

=ghiệm quý báu

Lời dâu tiên cho tôi xin gửi lời căm ơn ân trọng nhất tới giãng viên hướng dẫn của tôi, tiến sỹ Ngô Lam Trung, thây đã tận tình hướng dẫn, chỉ bão và cung câp cho

tôi những kiến thức và tài liệu quỷ giá trong suốt quá trình thực biện luận văn này

Nhờ có sự hướng dẫn tận tình của thầy tôi mới có thể hoàn thánh được luận văn này,

Đông thời, tôi xin bảy tổ lòng biết ơn sâu sốc nhật tới các thấy, cô giáo trong

trường Đại học Bách Khoa Hà Nội nói chung vá viện Công nghệ thông tin và truyền

thông nói riêng, những người đã tận tình giảng dạy và truyền đạt cho tôi nhiều kiến

thức quý bán trong suết quả trình học tập và nghiên cứu vừa qua

Cuối cùng, tôi xin cảm ơn gia định, bạn bè và những người thân đã luôn bên tôi, động viên, khuyến khích và giúp đỡ tôi trong suối quá trình nghiên cứu, học lập và

thực hiện luận văn này

Hà Nội, ngày 19 tháng 0Š năm 2015

Tac gia LVIN

Nguyễn Ngọc Ảnh

Trang 4

Học viên thực hiện: Nguyễn Ngọc Ảnh Lop: 12BMrir

1.4.3 Tính toán độ sẵu nneiieeeeerde 16

2.1 Tổng quan về thư viện - 20 2.2 Cấu trúc dữ liệu cơ băn của PCL ii 28

2.3 Mô dun phân vùng dối tượng và các mô dụn tương tắc 31 2.3.1 Mô đun tìm kiểm lân cận se 31

CHƯƠNG 3 - MỘT SỐ THƯẬT TOÁN PHÂN VỦNG DÓI TƯỢNG 56

Trang 5

4.1.3 Phân vũng theo mồ hình phát triển lần cận 67 4.1.4 Phân vúng dựa trên Min-cut sees TO

42, XAy dug thet nghidm cesses sess sseesriesisetsnstensnesstvenenns TD

Trang 6

DANH MỤC KÝ HIẾU, CÁC CHỮ VIET TAT

Camera IR May ảnh hồng ngoài

RFLANN Fast Library for Approximate Nearest Neighbors

Point cloud Dam may diém anh

Projector IR Den chiếu hẳng ngoai

Trang 7

DANH MỤC CÁC BẰNG Bang 1.1: Góc mớ và tiêu cự của RG13 vả máy ãnh hồng ngoại Ð

Bang 2.1: Bang vi du vé mét file PCD

ang 2.2: Bang mô tả phương pháp trích chọn dữ liệu trong 1 tập đường bao 3D 50

7

Bang 4.1: Bang mé ta dau vao thuat toan phân ving mé hinh phẳng, 62

Bang 4.2: Bàng mô tả thuật toán phân vừng mô hình phẳng - 63 Bang 4.3: Bang mô tá kết quả thuật toán phân vũng mõ hình phẳng 63 Bảng 4.4: Bông kết quả thuật toán phân vừng mô hình trụ - - 67

Bang 4.5: Bông mô tả thuật toán phải triển lân cận 70

Trang 8

Tỉnh 1.2: Tĩnh ảnh minh hoa về dam may diém ảnh bón chiêu - 12

THỉnh 1.3: Môt số thiết bị căm biến ba chiều ào

TTinh 1.7: Mẫu hình được chiếu bởi cặp cảm biển độ sâu - - l6

Hình 1.8: Tỉnh toán khoảng cách tới một điểm chiều từ máy chiêu - 17

Tình 3.1: Các mô đưa trong thư viện và Bên kết - - 20

Hin 2.5: Thiét bi thu Whip dit W6u ec ccscesseessieeeoeeessinsseseeentnaeenseees 23

Hình 2.7: Hình anh mé din oeffEE nrseeierrrre 24 Tình 3.8: Hình ảnh mô dưn tách mẫu điểm Lương đẳng 25

Hình 2.10: Hình ảnh chia lưới trong bẻ mặt dối tượng, - 26 Hình 2.11: Hinh ánh chia ranh giỏi trong bể mặt 27

Hình 2.13: Vẽ các hình ba chiêu cơ bản từ bộ điển hoặc phương trinh tham số 27 Hình 2.14: Vẽ các biểu dỗ trong mô dun hiểu thị 28 linh 2.15: Biểu đồ kẻ thừa lớp pel::search::l3rutel'orce< Point[ > 231 Hình 2.16: Biểu đồ cộng tác lớp pel::search::BruteF'orce< PointT > 231

linh 2.17: Biểu đỗ kẻ thừa lớp pcl::searchr:l'lannSearci 33 Hình 2.18: Biểu đỗ cộng tác lớp pel::searclr:EFlannSeareh cecc35 Tinh 2.19: Biểu đỗ kế thừa lớp pel::search::KđTree 33

: Biểu đỗ cộng tác lớp pel::seareh::KdITee s34) Biểu đỗ kế thừa lớp pel::search::Oetree - - 34 Biểu đỗ cộng tác lớp pcl::search::Octree ¬—— Hình 2.23: Biểu đã kế thừa lớp pel::search::CrganizedNeighbor 35 Tinh 2.24: Biểu đỗ cộng tác lớp pol::searchr:OrganizedNeighbar 35

Trang 9

: Biểu đỗ kế thừa lớp pel::search: :Scarch 36 Biểu đỗ cộng tác lóp pel::KdITee 37

: Biểu đỗ kế thừa lớp pel:.KđfreeFLANN „38

: Biểu đỗ cộng tác lớp pel::KđireeứLANN Xeeseereo.B Hình 2.29: Biểu đỗ kẻ thừa lớp pcl::octree::Octree2Bufase 39

linh 2.30: Biểu đỗ cộng tác lớp pel::octree::Octree2lufl3ase 39

Hình 2.31: Biểu đỗ kẻ thừa lớp pcl::octree::OctreeBase 39

Tlinh 2.32: Biểu đỗ cộng tác lớp pel::octree::Octreease 40

linh 2.33: Biểu đỗ kế thừa lớp pel::octree::Oetreelterator]3ese „ 40

Tĩinh 3.34: Biều đỗ cộng tác lớp pol::octree::Octreelterator13ase - 40

Tinh 2.35: Biểu đỗ kế thừa lớp pcl::octree::OetreelDepthiFirstiterator 11

Hình 2.36: Biếu đỗ cóng tác lớp pel::ootres::COctreeDepthEFirstlterator Al Tlinh 2.37: Bidu 46 ké thiva Idp pel:-octree:-OctreeBreadthFirstiterator 41 Hình 2.38: Biéu dd céng tac lop pel::octree::OctreeBreadthF irstlterator Al Tinh 2.39: Biều đỗ kế thừa lớp pcl::oetree::Oetreel.eafNordelterator 4

Hình 3.40: Biểu đồ cộng tác lớp pel::ootree::OcreeL,eafodeTterator 42

Hinh 2.41: Biểu đã kế thừa lớp pel::ootree::OetreePointClond - 43

Tình 3.42: Biểu đồ cộng lác lớp pel:-octree:-OctreePointCloud 43 Hinh 2.43: Biểu đỗ kế thừa lớp pcl::octree::OetreePeint2loudA địacency 44 Hinh 2.44: Biéu đỗ công tác lớp pel::octree::OctreePoirtCloudA djacency 44 Hình 2.45: Biếu đả kế thừa lớp pel::octree::OctreePointCloudhangeDetector 44

Tình 2.46: Biểu đỗ ông tac lớp pol::octrep::OctrocPoimiCloudChangeDetoclor 44

Hình 3.47: Biểu đỗ kẻ thừa lớp pel::octree::-OctreePointClaudDensity 45 Hình 3.48: Biểu đã cộng tác lớp pel::oclre::OetroePoirtCloudDensity 45 Hình 3.49: Biểu đồ kế thừa lớp pel::ovtrce:-OctreePointCloudOccupaney 45 Hùnh 3.50: Biểu đỗ cộng tác lớp pel::ectree::OetrecPointCloudOccupaney 4Š Tình 3.5: Biểu đỗ kế thừa lớp pcl::ocuec::OetrcePointCloudPointVeolor 46 Hình 3.52: Biểu đỗ cộng tác lúp pel:-octree::OctrecPointCloudPointVector 46

Tình 3.53: Biểu đỗ kế thừa lớp pel::oetrec::OetrcePointCloudSinglePoint 46 Hình 3.54: Biểu đỗ cộng tác lớp pel::octree::OctreePointCloudBSinglePoint 46

linh 2.55: Biểu đỗ kế thừa lớp pcl::octree::OetreePoint(loudVoxelCantroid 47

Hình 2.56: Biểu đỗ cộng tác lóp pol::ootree::OcteePointCloudVoxelCentroid 47

linh 2.57: Biểu đỗ kế thừa lớp pcl::octree::OetreePoint(7loudSeareh 47

Hình 2.5: Biểu đỗ cộng tác lớp pel::octree::OctreePointCloudSearch

Trang 10

Hình 3.59: Biểu đỗ cóng tác lúp pel::epu::EuclidcanClusterExtraction 48 Hình 2.60: Biểu đỗ cộng tác lớp pel::epu::HuclideanLabeledClusterExtraction 4E Hình 2.61: Biểu đỗ cộng tác lóp pel::LabeledEuelideaniClusterExtractien 42

Hinh 2.65: Biéu dé céng tac lop pel::GrabCut 51

Tlinh 2.66: Biểu đỗ cộng tác lớp pel::SegmeniDiffsrenees _—

linh 2.67: Biểu đỗ kế thừa lớp pcl::8ACSegmentation - settee 52, Tlinh 2.68: Biến đã cộng tác lớp pol::SACSegmenftation - - 53 Tlinh 2.69: Biểu đỗ cộng tác lớp pel::SupervoxelClustering ¬ SA Hình 2.20: Biếu đã kẻ thừa lớp pel:: SACSegmentationFromNarmals %4 Tlinh 2.71: Biểu đỗ cộng tác lớp pol::SACSegmenfationiFrarnNcrmals 55

Tlinh 3.2: Ví dụ về công nghệ thủng điểm - - 60

Tỉnh 4L: Kết quả xử lý phân vùng theo mô hình phẳng - - 6

Tình 42: Kết quả phân vùng ảnh theo phương pháp regien growin T0 Hình 4.3: Mô tả phản vùng ảnh theo phương pháp min-cut 72

Tình 4.6: Ảnh chiêu sâu chụp bang Kinect qua góc - - 75 Hinh 4.7: Ảnh sau khi thực hiệu giảm mật độ điển 75

Trang 11

bị giới hạn Tuy nhiền, trong những năm trở lại đây củng với sự ra đời của các thiết

bị cảm biển ba chiều như Microsoft Kineet và một số các dòng cám biến ba chiêu khảo với chi phi ré hon rat nhiều thì việc áp dụng và nghiên cứu về công nghệ xử lý anh ba chiêu trở lên phố biến và phát triển tuột cách rộng rất hơn

Công nghệ xử lý ba chiều lrửa hẹn mang lại những xử lý tốt hơn và được sử

dụng trong các ứng đựng rô bốt, thực tại ảo hay phục vụ giải trí của con người

Cũng với công nghệ xử lý ba chiều thì bộ thư viên xử lý ảnh ba chiêu trên dam xây điểm ảnh ra đời tại Willow Garage va ngay cảng được phát triển và ứng dụng,

xnột cách rộng rãi Luận văn nghiên cứu thư viện này phục vụ cho việc xây đựng các

ứng dụng ba chiều tại Việt Nam:

b Lịch sử nghiên cứu

Xử lý ảnh hai chiều không phải là mot van dé mới trong công nghệ xử lý ảnh

'TTuy nhiên ngày nay củng với sự phát triên của công nghệ, các ứng dụng nhân tạo

ngày cảng phát triển thi ảnh hai chiều không đáp ímg hết được yêu câu đặt ra Vì vậy

công nghệ xử lý ảnh ba chiễu ra đời cùng với đỏ là mội loạt các thiết bị cũng như

công cụ hỗ trợ xử lý ảnh ba chiều được phát triển

Mục tiêu của luận văn dat ra la nghiên cửu tìm hiểu về thư viện xử lý ảnh ba chiều PCL Trong đỏ đi sâu váo tìm hiểu và nghiên cứu về mô đun phần vùng đối

tượng cùng các mô đun hỗ trợ cho việc phân vùng đối tượng trên dữ liệu đầm mây

điểm anh

Nghiên cứu các thuật toán phân vùng đối tường trên đữ liệu đảm mây điểm ảnh

từ: đó đưa ra các mô linh cho việc phân vùng đối tượng, xây dựng và thử nghiệm các

mô hinh phân vùng đổi tượng trên dữ liệu đám mây điểm ánh

Trang 12

d Tóm lát luận văn

Nội dung luận văn thực hiện gồm:

Chương 1 - Téng quan vé point cloud Gidi thigu sơ lược về các khải niệm, lịch sử phát triển, ứng dụng và công cu lam việc với đữ liệu đảm mây điểm ánh

Chương 2 - Thư viện xử (ý ảnh PCE, Nghiên cứu về thư viện xử lý anh PCL, câu trúc đữ liệu của đảm mây điểm ảnh, các rnô đun trong thư viện đặc biệt là mô

đun phân vùng đối tượng,

Chương 3 ~ Một số thuật tản phân vùng dối tượng Nghiên của củi tiết bai

thuật toán phân vùng đối tượng phổ biến là RANSAC va LMEDS

Chương 4 - Xây dựng và cài đặt Huữ nghiệm Thục hiện nghiên cứu cáo mô

hình phân vùng đối tượng trên đữ hiện đảm mây điểm ảnh, cài đặt thủ nghiệm chương, trình phan vimg déi tượng trong mô hình phẳng

Chương 5 - Kết luận và hưởng phát tiền Nềa nên các vẫn dễ đã đạt, những, amt han chế trong luận văn, xây dựng hướng phát triển tiếp theo cho đề tải

¢ Phương phập nghiên cứu

œ Nghiên cứu về cáo vẫn đề liên quan đến đám mây điểm anh, nghiên cứu thư viện xử lý ảnh ba chiều PCL

œ Nghiên cửu chỉ tiết về mô đun phân ving đối tượng và các mé dun hé trợ

cho việc phân vùng đối lượng trên đữ liệu đám mây điểu ảnh

œ_ Nghiễn cứu các thiết bị cảm biến ba chiều cho việc thu thập và xứ lý đữ liệu œ_ Xây đựng các mô hình phẩn vùng đổi tượng,

œ_ Cài dặt thử nghiệm chương trình phân vùng dỏi tượng trong mỏ hình phẳng

Trang 13

Học viên thực hiện: Nguyễn Ngọc Ảnh Lớp: 12BMTTT

CHUONG 1 - TONG QUAN VE DAM MAY DIEM ANH

1.1 Khái niệm đám mây điểm ảnh

Đảm mây điểm ảnh là một tập hợp các véc tơ trong hệ tọa độ không gian ba

chiều Những véc tơ nảy được định nghĩa bởi tọa độ xyz nhằm thẻ hiện những bề mặt

bên trong của một đổi tượng

Hình 1.1: Hình ảnh mình họa về đám mây điểm ảnh

Dữ liệu đám mây điểm ảnh còn được hiểu là một tập dữ liệu cỏ câu trúc sử dụng

để mô tả tập các điểm đa chiều (thông thường sử dụng để mô tả dữ liệu ba chiều)

Trong không gian ba chiều, các điểm ảnh này được đại diện bằng các tọa độ hình học xyz của bể mặt mẫu Khi dữ liệu có thêm thông tin vẻ màu sắc (như mô tả hình 1.2)

thi dữ liệu đám mây điểm ảnh lúc này trở thành dữ liệu bên chiều

Hình 1.2: Hình ảnh mình họa về đám mây điểm ảnh bốn chiều

1.2 Lịch sử phát triển

Những nghiên cứu sơ khai của việc phát triển thư viên nảy được phát triển bởi

Radu Bogdan Rusu khi ông đang lảm việc tại Đại choc kỹ thuat Muenchen - Dite[10]

Sau đỏ tiếp tục được phát trién tai Willow Garage vao cuối năm 2009 Tháng 3 năm

Trang 14

2010, bộ thư viên này được xây dựng dưới dạng một tập các mô dun cho các bài toản

được đưa ra trong môi trường ba chiều Dén tháng 3 năm 2011 thì dự án chính thức được đưa ra mới lên miễn www.pơimclouds.org Và nó nhanh chong được phát triển bởi các công ty hang dau thé gidi nhz NVIDIA, Google, Toyota, va Trimble Dén

tháng 6 năm 201 1, chỉ sau ba tháng đưa ra, PCL đã có hơn 120 nhà phát triển và hợp

tác phải triển trên toàn thế giới với hơn 30 trường, đại học, viên nghiên cứu và các công ty đầu tư tham gia vào dự án nảy,

Mục đích của Rusu chính là tạo ra một nên tảng chung cho các nghiên cứu và

ứng dung trong việc xử lý dữ liệu ba chiều rong đữ liệu đám mây điểm ârdt

1.3 Các ứng dựng của đám mây điểm ảnh

Đám mây điểm ảnh được lạo ra bởi các máy quéi ba chiều Những thiết bị này

do số lượng lớn các diễm của bê mặt đối tượng, và cho thông tín dầu ra là một dám may điểm ảnh như một tệp đữ liệu Tếp đữ liệu đám mây điểm ảnh mô tá tập các điểm ảnh ruả tuết bị quét quét được

Kết quả của việc xử lý quét ba chiêu tạo ra các dam may diém ảnh dược sử dụng, cho nhiều mục đích khác nhau, bao gắm tạo ra các mô hình thiết kế ba chiêu cho quá trình sẵn xuất, do lường/kiểm tra chất lượng, đưa ra mô phòng, tái tạo lại dỗi Lượng

Đám mây điểm ảnh có thể được đưa ra và kiểm tra một các trực tiếp, nÏưưng, thông thường đâm mày điểm ảnh được tạo ra qua các phương pháp không trực Hiếp trong các ứng dụng 3 chiều, và thậm chi con được chuyển dỗi sang mô hình lưới da giác hoặc lưới tam giác, mô hình bể mặt NUE.5, hoặc mô hình thiết

é théng qua

một xử lý thông thường như tái tạo bê mặt

Mội trong những ứng dụng mà đấm mây điểm ảnh sử đựng trực tiếp để đo lường công nghiệp hoặc kiểm tra bằng chụp hình cắt lớp vi tính Các đám mây điểm ảnh có thể được liên kết đến một mê hỉnh thiết kế (hoặc thậm chí một mõ hình đám mây điểm ảnh khác), và so sánh dễ kiểm tra sự khác biệt, Sự khác biệt nảy có thể dược

hiển thị như là các bản đổ mâu nhằm đưa ra một cách trực quan giá trị của độ lệch

giữa phân sâm xuất công nghiệp và các mô hình thiết kế Kích thước hình học và dụng, sai cũng cỏ thể dược chiết xuất trục tiếp từ dám mây điểm anh

Trang 15

1.4 Công cụ làm việc

Đám mây điểm ảnh thường được tạo ra bởi các máy quét ba chiêu Những thiết

bị này sẽ tự động quét một lượng lớn các điểm trên bẻ mặt của một đổi tượng và thường xuất ra một tệp số liệu các điểm ảnh thu được Tập dữ liệu ve dam may diem ảnh bao gồm tập hợp các điểm mà máy quét ba chiều quét được Máy sẽ quét lần lượt các điểm và dựa vào thời gian phản hỏi của các tia laser đẻ từ đó tự động xác định các tọa độ xyz của các điểm trên bè mặt của đổi tượng càn đo Một số thiết bị quét ba chiêu như: máy ảnh ba chiêu của PrimeSensor, Microsoft Kiect,

Hình 1.3: Môi số thiết bị cảm biến ba chiều

Trong luận văn này em nghiên cứu vả sử dụng thiết bị Microsoft Kinect làm

cảm biển cho việc thu thập dữ liệu ba chiều

1.441 Giới thiệu về Microsoft Kinect

Hình 1.4: Thiết bị Kineet

Kinect [1] là sản phẩm của Microsoft dựa trên công nghệ máy ảnh được phát

triển bởi PrimeSense, những sản phẩm đầu tiên được bán tại Bắc Mỹ vào ngày 4

Trang 16

Học viên thực hiện: Nguyễn Ngọc Ảnh Lop: 12BMTTT

tháng 11 năm 2010 Kineet có năng hiểu được cử chỉ của con người dựa trên hai đặc tỉnh chỉnh sau: thông tin về độ sâu ảnh, khả năng phát hiện và bám theo đặc tỉnh cơ

thể người

Bên cạnh phuc vu cho mục đích giải trí, sản pham Kinect còn được dùng vào

mục đích nghiên cửu xử lý ảnh ba chiều, phát hiện cử chỉ, bám theo người và nhiều

mục đích khác Một lý do cho sự thảnh công của Kineet là giả thành rẻ cho thiết bị

có khả năng cung cấp các thông tin ba chiều với chất lượng chấp nhận được

1.4.2 Những thành phần chính của Kineet

MULTI-ARRAY MÌC

Hình 1.5: Các thành phần của Kineet Cac thành phan co bàn của Kmeet bao gồm

Máy ảnh RGB: như một máy ảnh thông thường, có độ phân giải 640x480,

Động cơ điều khiển góc ngẵng: là loại đông cơ điện một chiêu khá nhỏ, cho

phép ta điều chỉnh góc ngâng thiết bị lên xuống để bảo dam may anh co

được góc nhìn tốt nhật Một trong những đặc tính quan trong nhật của Kinect đó là thu vẻ giá trị độ sâu hay gia tri khoảng cách tới vật thẻ trong thẻ giới thực

Trang 17

nhau để cho ra giả trị độ sâu ảnh bằng công nghệ mã ảnh sảng của PrimeSense

Kỹ thuật mã ánh sáng dùng một nguồn sáng hỏng ngoại chiều liên tục kết hợp

với một mảy ảnh hồng ngoại đề tính toán khoảng cách Công việc tỉnh toán này được

thực hiện bên trong Kinect bằng chip PS1080 SoC của PrimeSense

Hình 1.7: Mẫu hình được chiều bởi cặp cảm biến độ sâu:

Máy chiếu hỏng ngoại sẽ chiêu một chủm sáng hồng ngoại, tạo nên những đồm sang ở không gian phía trước Kiect, tập hop dom sáng được phát ra nảy là cô định

Những đóm sang này được tạo ra nhờ một nguồn sảng truyền qua lưới nhiều xạ Tập hợp các đồm sáng này được máy ảnh hông ngoại chụp lại, thông qua giải thuật

Trang 18

Để hiểu cách thức Kineet ước lượng khoảng cách tới vật thẻ trong môi trường

như thể nảo, ta quan sát hình 1.10 trong trường hợp phân tích với một điểm đơn giản

Mặt phẳng gân

Camera IR Ben chiew IR

Hình 1.8: Tính toán khoảng cách tới một điềm chiểu tie may chiéu

Ta giả sử mảy chiều phát đi một tia sảng dọc đường mảu xanh lả, nỏ sẽ được

chụp lại dưới dạng một đồm sảng bởi máy ảnh hỏng ngoại khi chạm vào bẻ mặt vật

thể trong không gian Ta xét ba mặt phẳng ở ba khoảng cách khác nhau: mặt phẳng gân Kineet, mặt phẳng 6 xa Kinect va mặt phẳng tham chiều ở giữa hai mặt phẳng,

trên Trong đó, mặt phẳng tham chiếu ngằm được biết trước bên trong Kineet với đây

đủ thông tin về khoảng cách Ngoài ra, ta cũng đẻ cập thêm mặt phẳng ảnh của máy:

ảnh hồng ngoại, là mặt phẳng hinh chiểu của các điểm trong không gian thu vẻ bởi

máy ảnh hông ngoại Ta xét trong ba trường hợp khi tia sang mau xanh lục chạm vào

ba điểm trên ba mặt phẳng lần lượt là A, B, C; ba điểm nảy được chiêu lên mặt phẳng

ảnh tương ứng là A", B’, C’ Quan sat vi tri A", B` và C, ta có nhận xét: điểm A cảng

Trang 19

gần Kincct thì A' càng xa Ðˆ về phía bên phải; ngược lại điểm C cảng xa Kineet thì

Cï cảng xa 13' về phia bên trải Từ đỏ khi ta biết trước hướng, điểm xuất phát của tia sáng từ đèn chiếu và vị trí B là hình chiến của điểm Ð trên mắt phẳng tham chiều lên mặt phẳng ánh, ta hoàn toàn tỉnh toán dược dộ sâu anh hay khoảng cach toi vat thé

Kinect làm điều tương tự với tập hợp các dém sáng còn lại phát đi từ đèn chiếu, voi mal phng tham chiếu biết trước Nó tim điểm là lâm của đốm sáng mà máy ảnh hồng ngoại chụp lại được và điểm tương đồng của đốm sáng đỏ trên mặt phẳng, tham chiên (ví dụ: hinh 1.8 ta có A và B, Ơ và B là các cặp điểm trơng đồng), đẻ tim khoảng chênh lệch giữa lai điểm này theo chiêu ngang khi chiếu về trên mặt phẳng, ảnh; và lưu ý là giá trị chênh lệch này được tỉnh bằng đơn vị pixel Tập hợp của tắt

cả các giá trị chênh lệch từ tập hop dém sáng, sẽ tạo nên bản đồ độ chênh lậch, giá trị

xây càng lớu thì khoảng cách hay giá trị độ sâu ảnh cảng lớn, tù đồ mà la xây dựng

được bản đô độ sâu với giá trị tỉnh bằng mét thực sự Tuy nhiên, do tập hợp số lượng dém sáng phát đi từ máy chiêu nhỏ hơn so với tống số pixel trên mặt phẳng ảnh của

xnấy ãnh hỗng ngoại nên một phẩn giá trị dộ sâu ảnh cn lại sẽ dược nội suy

'Theo tình toán của Nicolas Burrus, một trong những người mở đường cho việc

tìm hiểu về Kiect qua các thí nghiệm của ông Ông đã công Huức hóa được quan hệ

giữa giá trị khoảng cách thật z tính bằng mét và giá trị dộ chênh lệch d:

Do đỏ, giá trị d thực sự biển thiên trong khoảng tù -Tba1~10ba0 Như vậy, trong không

gian từ Ô0.Š mét phía trước Kmeel, Kineet không thể đưa ra được bản để độ sâu, và

Trang 20

thương mại của Microsoft nên các thông số kỹ thuật chủ tiết không được công bố Các

thông số được trinh bày đưới dây là kết quả do dạc thực nghiền:

«— Tiêu cự, gúc mỹ máy ảnh hông ngoại và máy ảnh RGR:

Ilai may anh RGB và máy ảnh hỏng ngoài được đặt cách nhau 2,5 cm nên có

sự khác nhau ở khưng hình thu về từ hai máy anh nay Dé dam bảo khung hình của xuáy ảnh RỚP có thể chứa được khung bình của máy ảnh hồng ngoại, người ta thiết

kế góc mở của máy ánh RGB lớn hơn Điều nảy cũng dẫn đến tiêu cự của máy ảnh RGB nhé hon Các thông số trong bảng 1.1 là kết quả được đo đạc bằng thực nghiệm:

Độ dai trong tam (pixels) 525 580

Bảng 1.1: Góc mở và tiêu dự của RGB và máy ảnh hồng ngoại

Vi Kinect cân nhiều điện năng để hoạt động nên nguồn cấp tir céng USB khéng thé dap ứng được mà phải qua một công clứa để chia thành 2 kết ni riêng là USB và

kết nỗi nguồn, giúp cho thiết bị kết nỗi giao tiếp bằng cổng USB trong khi nguén dién

can cho Kinect là 12V được lây từ nguồn cấp riêng,

Công suất tiêu thụ do bằng thực nghiệm:

Công suất tiêu thụ (chờ) ~33W Công suất tiêu thụ (hoạt động) | ~⁄17W

Hồng 1.2: Công suất tiêu thự trên Kineet

« Môi trường kagt động:

Kinect là thiết bị được thiết kế cho việc sử dựng ở môi trường trong nhà Ổ ruồi trường ngoài trời, kết quá thử nghiệm cho bản đồ độ sâu không chính xác vào thời điềm ảnh sáng rnạnh, nhưng che kết quả chấp nhận được khi ánh sáng yêu (vào thời

diém buéi chiều tối)

Trang 21

CHƯƠNG 2 - THƯ VIỆN XỬ LÝ ẢNH PCL

2.1 Tổng quan về thư viện

Thư viện xử lý ảnh PCL [7] là thư viên hỗ trợ xử lý ảnh ba chiều, được xây

dựng với nhiều mô đun thực hiện các thuật toản như: lọc, khôi phục bề mặt, phan

vùng đối tượng, đăng ký đối tượng, tìm kiểm,

Thư viện đi kèm để hỗ trợ được chia nhỏ và có thẻ biên dịch độc lập Các thư

viện này gồm có :

học của PCL,

®— ELAINN: Tìm kiểm nhanh các điểm lân cân trong không gian ba chiêu

để tránh sao chép và trùng đữ liệu đã lẫy vẻ trong hệ thông

thị, ước lượng thê tích vật thẻ

® — CminPack: Thư viện mở giúp giải quyết phép toản tuyến tinh va phi tuyen

Trang 22

Danh sách các mô đun trong thư viện

1 Mô đun câu trúc căn bãn của thư viện

viên trong PCL

VD: PCL::PointXYZ; PCL::PointXY; PCL::PointXYZRGB

3 Mô đun ước lượng đặc trưng

Chứa các câu trúc dữ liệu vả cơ chế tính toán, ước lượng ba chiều tử các đữ liệu

đám mây điểm ảnh

Trang 23

Hình 2.3: Hình ảnh mô đun ước lượng đặc trưng

Mô đun ước lượng đặc trưng ba chiều biểu diễn chính xác điểm ba chiều hoặc

vị trí trong không gian đề mô ta phan hình thùng dựa vào thông tin có được xung

quanh điểm Vùng dữ liệu được chọn lần cận điểm truy vẫn thường gọi là K-láng

Hinh 2.4: Hinh anh mé dun loc

4 Mô đun tính toán hình học

Chứa tắt cả các cầu trúc dữ liêu và giải thuật để tỉnh toán hình học

5 Mé dun thu thap dit ligu

Mô đun thu thập dữ liệu: Chứa các hàm và các lớp để đọc vả ghỉ dữ liệu dạng PCD, có thể thu thập dữ liêu tử nhiều nguồn khác nhau (Trong luân văn này dùng

Kinect)

22

Trang 24

Hinh 2.5: Thiết bị thu thập dữ liệu

6 Mô đun Kdtree

Thư viên cung cấp câu trúc dữ liệu Kd tree, sử dụng thư viên FLANN giúp

nhanh chóng tìm kiếm vùng gần nhất

Kd-tree là một câu trúc đữ liệu để phân vùng không gian lưu trữ tập K-chiều

điểm dưới dạng cây nhằm dễ dàng phân loại và tìm kiếm Có thể sử dụng để tìm sự

tương ứng giữa các nhóm điểm, đặc tả tỉnh năng, định nghĩa các vùng lân cận xung,

quanh điểm hoặc các điểm

‘M6 dun keypoint chita thuc thi ctia 2 thuat toan nhan dang “diém khéa cho dam

mây điểm ảnh” Điểm khóa là các điểm trong ảnh hoặc trong đám mây điểm ảnh mà

Trang 25

có tỉnh chất ôn định, riêng biết và có thẻ dễ dàng phát hiện ra Thông thường số lượng điểm khỏa nhỏ hơn tổng số điểm trong đám mây điểm ảnh

8 M6 dun Octree

Mô đun Octree chứa các thuật toán tạo nên một cầu trúc dữ liệu phân cáp tử dữ

liệu đảm mây điểm ảnh Nó cho phép phân vùng không gian, giảm số mẫu vả thực

hiện các phép toản tìm kiểm trong tập dữ liệu đám mây điểm ảnh Mỗi nút Octree có

§ nút con hoặc không cỏ nút con nào Nút gốc (mâu đỏ hình dưới 2.7) được biểu diễn trong 1 hình lập phương bao toàn bộ các điểm con Tại mỗi cập của cây, không quan

được chia thành 2 do đỏ tăng độ phân giải cho điểm ảnh không gian ba chiêu

Hinh 2.7: Hình ảnh mô đun octree

Thu viện này cũng cung cấp các chương trình tìm kiểm lân cận

9 Mô đun đăng ký đỗi tượng

Kết hợp các bộ dữ liêu vào một mô hình chung, thông nhất thường được thực

hiện bằng một kỹ thuật gọi là đăng ký đổi tượng

Ý tưởng chỉnh là xác định các điểm tương ứng trong bộ dữ liêu và tìm một

chuyển đổi khoảng cách tôi thiểu các điểm tương ứng

Trang 26

10 Mô đun tách mẫu điểm tương dong

Mö đun tách mẫu điểm tương đồng có khả năng tach các nhóm điểm có cùng

tỉnh chất giồng như thuật toán RANSAC (Tìm kiếm đường thẳng trong tập hợp các điểm) Các nhóm điểm có thẻ lả các mặt phẳng, mặt cầu, trụ Thư viên nảy rất thích

hợp trong các ứng dụng dò tìm các đổi tượng như tưởng, cửa, các vật trên bản

Hình 2.8: Hình ảnh mô đun tách mẫu điểm tương đồng

11 Mô đun tìm kiểm lân cận

Cung cấp các phương pháp tìm kiểm lân cận bằng cách sử dụng các cầu trúc dữ

liệu khác nhau, bao gồm:

e Kd tree (tir thir vién PCL_Katree),

œ© Brute foce (Thuat toán)

* Cac tim kiém đặc biệt cho các bộ dữ liệu có tổ chức

12 Mô đun phân vùng đổi tượng

Chứa các thuật toán đẻ phân chia đảm mây điểm ảnh thành các nhóm riêng biệt

Các thuật toán nảy thích hợp nhất khi xử lý các đám mây điểm ảnh bao gồm các ving không gian bị cô lập Trong trường hợp như vậy, các nhỏm điềm thưởng chia nhỏ đẻ

sau đó cỏ thê xử lý độc lập

Trang 27

13 Mô đun tải tạo bỀ mặt

Mö đun chứa các thuật toán xây dựng lại các bề mặt từ dữ liệu quét ba chiều

Các đổi tượng chính gồm vỏ, bê mặt lưới, bề mặt nhãn hay bình thường Khi có nhiều

cé thé lam min va lay mau lai

Hình 2.9: Hinh anh bé mặt đối tương

Chia lưới là một cách tổng quát đẻ tạo ra các bẻ mặt điểm Hiện nay có 2 thuật toan la “tam giác phân nhanh các điểm nguồn” vả “chia lưới phủ bê mặt min”

Hình 2.10: Hình ảnh chia lưới trong bề mặt đối tượng

Có thể đảng thư viện đề tạo ra một thân lỗi hoặc lõm thích hợp cho đại diện bẻ

mặt đơn giản hóa hoặc chỉ ra các ranh giới

Trang 28

Hình 2.11: Hình ảnh chia ranh giới trong bê mặt

14 Mô đun hiển thị

Mô đun hiển thị tạo ra có thẻ nhanh chóng hiển thị các kết quả thuật toán trên

dữ liệu ba chiều Thư viên cung cấp:

kích thước

ø _ Các phương pháp dựng hình và thiết lập thuộc tỉnh ảnh, mâu

cho bất kỉ bộ dữ liệu nảo cỏ kiêu '*PCL::PoimtCloud<T>”

Hình 2.12: Hình ảnh cho mô đun hiển thị

e _ Vẽ các hình ba chiêu cơ bản tử bộ điểm hoặc phương trinh tham s6

Trang 29

Hình 2.14: Lẽ các biêu đồ trong mô đun hiền thị

2.2 Cấu trúc dữ liệu cơ bản của PCL

2.2.1 Dữ liệu đám mây điểm ảnh

Kiêu dữ liệu cơ bản trong PCL lả đữ liệu đám mây điểm ảnh Một dữ liệu đám

mây điểm ảnh l một lớp C++ bao gồm

e Width (it): Xac dinh chiéu dai tap dit héu bang so luong diém, “Width” co

2 nghĩa là

Co thê định tổng số các điểm trong dữ liệu đám mây điểm ảnh (bằng

số lượng các phản tử trong tập dữ liệu đám mây điểm ảnh) cho bộ dữ

cloud.width=640;// Tao ra 640 diem trén mét dong

Néu height = 1 thì dữ liệu không được tổ chức (có thể dùng tính chất nảy đề

kiểm tra một tập đữ liệu có được tô chức hay không)

Trang 30

pel::PointCloud<pel::PomtX YZ» cloud,

stŒ:veplor<pel::PoinlXYZ> đala — cloudpoinis

1s đense(bool): Trả về giá trị logic, nêu tắt cả giá trị trong điểm hữu hạn=> Irue

và ngược lại la False

Ngoài ra lớp ĐỢT, côn chứa các thành phần chữa các tăy chon cha cam biển như cảm biến gốc, cảm biến hướng Các thành phan nay thường it ding trong các thuật

toán của PCL

2.2.2 Dinh dạng đữ liệu đám mây điểm ánh

Dinh dang dit ligu dam may diém anh la một định dang đừng để hm trữ đữ liệu

ba chiều của điểm ảnh Định dạng mày gồm 2 phan la dau va phan dữ liệu

Phần dẫu dữ liệu

* Mi file cé mat phan đầu xác định các lính chất, thuộc tính cửa đứ liệu trả

nó lưu trữ Phần dầu của PCD dược mã hỏa bang ma ASCIL

œ Trong phan dan gdm co:

2 VERSION: xac dinh phién ban dinh dang PCD

9 FIELDS: Xac din tén cdc chiéu va cac trréng ctia mai điểm:

Vide

FIELDS x y z normat_xnormal_y normal_z#XYZ 1 surface normals

Trang 31

Vị dự Unsigned char/chat ứng với 1by1e TƯnsigned short/short ứng với Zbyte Unsipned ntint ứng với 4 byte Double ứng với 8byte

9 TYPE: Quy dinh kiểu của mỗi chiều, quy ước bằng các ký tự

1 - Biến điển kiểu số nguyên cé đâu (int8, intl6,int32) U—Biéu điển kiếu số nguyên không đâu

E- Biểu diễn kiểu số thực

1 thì dữ liệu chưa được tô chức

ö POINT: chứa gia tri tong số điểm ảnh

Phan diz liệu

Chứa dữ liệu của tùng điểm, mỗi điểm có thể được mã hóa theo bin hay ASCII

Vi du mét file PCD sé cé dang nhu sau:

# PCD v.7 - Point Cloud Data file format

VERSION 7

FIELDSxyzrgb 4 Chúa toa dé va mau dang RGB

SIZE 4444 4MGi thanh phan Loa do xyz va mau lu bang 4byte

TYPE VTE '# Kiểu dữ liệu mỗi thành phần là số thực

COUNTIIII

WIDTH 4# Độ rộng của dữ liệu là 4

HEIGHT 1 # Dữ liệu không dược tổ chức

VIEWPOINT 0001000

Trang 32

DATA aseii # Dữ liệu được mã hóa bằng mã aseii

0.93773 0.33763 0 4.2108e+06 # Cac gia trị của tọa độ vả mẫu của các điểm

2.3 Mô đun phân vùng đối tượng và các mô đun tương tac

2.3.1 Mô đun tìm kiếm lân cận

Hình 2.16: Biêu đồ cộng tac lép pel::search::BruteForce< PointT >

Trang 33

2 pel::search::FlannSearch< PointT, FlannDistance >

Lớp seareh::FlannSeareh là một lớp FUANN cho giao diện tìm kiếm Mặc định

lớp nảy tạo ra một &đ-ree đơn và đánh chỉ mục cho dữ liệu đâu vào Với kích thước chiều cao (>10), tốt hơn nên sử dụng nhiều chỉ mục kd-tree ngẫu nhiên được cung

cấp bởi FLANN kết hợp với khoảng cách /amn::,2 Trong khi tìm kiếm trong các

loại chỉ mục nảy, số lượng kiểm tra đề thực hiện trước khi kết thúc tìm kiểm có thẻ

được kiểm soát Ví dụ về tìm kiếm điểm cao 2-NN:

7/Loại đặc trưng và khoảng cách

typedef SHOT352 FeatureT;

typedef flann::L2<float> DistanceT;

// Cac loại tìm kiểm và chỉ mục

typedef search::FlannSearch<FeatureT, DistanceT> SearchT,

typedef typename SearchT::FlannIndexCreatorPtr CreatorPtrT;

typedef typename SearchT::KdTreeMultiIndexCreator IndexT;

typedef typename SearchT::PointRepresentationPtr RepresentationPtrT;

// Các đặc trưng

PointClou

Ptr query, target;

//Ðưa thông tin truy vấn vả đích với các đặc trưng được tính toán

/Tìm kiếm đổi tượng với 4 cây ngâu nhiên và 256 lân kiểm tra

SearchT search (true, CreatorPtrT (new IndexT (4)));

search setPointRepresentation (RepresentationPtrT (new

Trang 34

Trang 35

KdTree 1a một loại tông quát của bộ định vị không gian ba chiều sử dụng cầu

trac Kd-Tree st dung FLANN

4, pel::search::Octree< PointT, LeafTWrap, BranchTWrap, OctreeT >

Biểu đồ kế thừa

pelisearch::Octree

<PointT, LealTWrap, BranchTWrap, OctreeT >

Trang 36

được định nghĩa trước (Chiêu sâu của cây tương đương với độ phan giải và kích thước

khung giới hạn của oetree)

e _ Typename: OctreeT: thực hiện octree()

5 pel::search:: OrganizedNeighbor< PointT >

Trang 37

Trang 38

Mỗi phương pháp tìm kiếm phải được thực thi 2 loại khác nhau của tìm kiếm:

bán kinh nhất định

Đầu vào cho môi phương pháp tìm kiểm cỏ thẻ lẫy ra từ 3 các khác nhau:

œ _ như một cặp (cloud, Index)

® như một mdex

Đôi với lựa chọn sau thi giả định rằng người sử dụng quy định các đâu vào thông

qua phương pháp setInputCloudQ trước tiên

Trong trường hợp lồi, tắt cả các phương pháp được hỗ trợ trả vẻ giá trị 0 như là

số điểm láng giêng được tìm

2.3.2 Mô đun Kdtree

Trang 39

2 pel::KdTreeFLANNK< PointT, Dist >

KdTreeFLANN là một loại tổng quát của định vị không gian 3 chiểu sử đụng

2.3.3 Mô đun octree

I pel::octree::Octree2BufBase< LeafContainerT, BranchContainerT >

Lớp bộ đệm kép Oetree thực hiện việc phân tách giữa 2 cầu trúc octree trong bộ

nhớ, nỏ cho phép so sánh giữa các cầu trúc octree khác nhau (phát hiện thay đổi, mã

hóa khác)

Trang 40

max key „“root noda_-

Hình 2.30: Biều đô cộng tac lép pel::octree::Octree2BufBase

2 pel::octree::OetreeBase< LeafContainerT, BranchContainerT >

lá (được xác định ban đâu)

J, OeteesBase< LeafConismeT, [—|

BranchContainerT > >

pelsostree:-OntreePoit CloudOccupancy< PointT, LealContainerT, BranchContainerT >

Hinh 2.31: Biéu dé ké thita lop pel::octree::OctreeBase

Tiêu đề	Phân vùng đối tượng trên point cloud data
Tác giả	Nguyễn Ngọc Ánh
Người hướng dẫn	TS. Ngô Lam Trung
Trường học	Trường Đại Học Bách Khoa Hà Nội
Chuyên ngành	Kỹ thuật máy tính và truyền thông
Thể loại	Luận văn thạc sĩ
Năm xuất bản	2015
Thành phố	Hà Nội

Định dạng
Số trang	80
Dung lượng	2,57 MB