Đề tài hướng tới việc ứng dụng công nghệ xử lý ảnh mới cho robot cứu hộ, cứu nạn, tạo tiền đề cho việc xây dựng một robot cứu hộ Hough transform and kinect camera

Một điểm mới được nhấn mạnh là khối thị giác máy tính cho robot, với sự hỗ trợ của thiết bị chơi game Kinect có khả năng khôi phục các mặt phẳng phía trước robot dưới dạng 3D, đáp ứng đư

Lời mở đầu

Theo dự đoán trong tương lai, robot sẽ là tâm điểm của một cuộc cách mạng lớn sau Internet Con người sẽ có nhu cầu sở hữu robot như nhu cầu PC bây giờ Với xu hướng này, cùng các ứng dụng truyền thống khác của robot trong công nghiệp, y tế, giáo dục đào tạo, giải trí và đặc biệt là trong an ninh quốc phòng thì thị trường robot sẽ vô cùng to lớn Đề tài hướng tới việc ứng dụng công nghệ xử lý ảnh mới cho robot cứu hộ, cứu nạn, tạo tiền đề cho việc xây dựng một robot cứu hộ, cứu nạn hoàn chỉnh, có thể sẽ là những trợ thủ đắc lực trong công tác cứu hô, cứu nạn mỗi khi xảy ra thảm họa thiên nhiên hoặc các vụ tai nạn

Trong khuôn khổ đề tài, nhóm sẽ có những bước đầu xây dựng nên một ứng dụng cho robot với khả năng phát hiện ra môi trường xung quanh robot, nhằm giúp robot có khả năng tìm đường đến đích và tránh chướng ngại vật trên đường di chuyển đến mục tiêu Một điểm mới được nhấn mạnh là khối thị giác máy tính cho robot, với sự hỗ trợ của thiết bị chơi game Kinect có khả năng khôi phục các mặt phẳng phía trước robot dưới dạng 3D, đáp ứng được sự chính xác cần thiết khi đưa robot vào vận hành

Để hoàn thành đề tài này, chúng em đã nhận được sự hướng dẫn tận tình của thầy PGS.TS Nguyễn Tiến Dũng, từ quy trình cũng như việc lựa chọn đề tài phù hợp, luôn dõi theo và nhắc nhở chúng em Đồng thời, chúng em còn nhận được sự hướng dẫn rất chu đáo và nhiệt tình của thầy Đặng Khánh Hòa trong việc hình thành ý tưởng, quá trình triển khai công việc, đưa ra các phương án giải quyết lỗi và vấn đề gặp phải

Chúng em xin chân thành cảm ơn các thầy!

Mục Lục

Lời mở đầu 2

Mục Lục 3

Chương 1: Giới thiệu tổng quan 4

1 Khái quát về xử lý ảnh 5

1.1 Xử lý ảnh là gì ? 5

1.2 Một số khái niệm cơ sở trong xử lý ảnh 5

2 Point cloud library (PCL) 7

2.1 Các module: 7

2.2 Cấu trúc dữ liệu cơ bản của PCL 9

3 Thiết bị Camera Kinect 12

3.1 Giới thiệu chung 12

3.2 Những thành phần chính của Kinect 12

3.3 Thư viện hỗ trợ Kinect 13

Chương 2: Trích chọn mặt phẳng……… ….15

1 Ảnh độ sâu từ Kinect 15

1.1 Nguyên lý các cảm biến độ sâu 15

1.2 Các dữ liệu đo được từ cảm biến 15

1.3 Nhận và hiển thị các dữ liệu từ cảm biến 16

1.3.1 ColorStream 16

1.3.2 Depth Stream 17

2 Ánh xạ thông tin nhận được sang đám mây điểm 19

Chương 3: Biến đổi Hough Transform và Ransac 20

3.1 Tổng quan về biến đổi Hough 20

3.2 Biến đổi Hough tìm đường thẳng 21

3.3 Ransac 25

Kết luận và hướng phát triển 27

Chương 1: Giới thiệu tổng quan

Một trong các yêu cầu cơ bản của robot là khả năng định hướng tốt trong phạm vi môi trường chưa xác định và hình dung ra một bản đồ định hướng Bằng cách sử dụng những quan sát thích hợp từ môi trường, kết hợp với bản đồ độ sâu cùng lúc để định hướng cho robot đang là một yêu cầu cần nghiên cứu Vì vậy chúng em quyết định nghiên cứu và phát triển thuật toán phát hiện mặt phẳng và vật cản từ bản đồ độ sâu Đó là một trong hai yếu tố căn bản (cùng với định hướng) giúp robot có thể hoạt động được trong môi trường thực tế

Mục tiêu nghiên cứu:

Xây dựng được bản đồ độ sâu, từ đó tính toán để phát hiện các mặt phảng trong ảnh Mỗi mặt phẳng được đánh dấu bằng màu sắc khác nhau Phân loại được các mặt phẳng: mặt phẳng đất, mặt phẳng đứng Ngoài ra chúng ta còn phải xác định được vị trí và hình dạng vật cản có trong môi trường di chuyển của robot hay các mặt phẳng mà ta đã nhận diện được

1 Khái quát về xử lý ảnh

1.1 Xử lý ảnh là gì ?

Con người thu nhận thông tin qua các giác quan trong đó thị giác đóngvai trò quan trọng nhất

vì 80% thông tin được thu nhận bằng mắt tức là ở dạng ảnh Mặt khác với sự phát triển mạnh

mẽ của phần cứng máy tính, xử lý ảnh, đồ hoạ ngày càng có nhiều ứng dụng thực tiễn phục

vụ cuộc sống Như vậy, xử lý ảnh đóng một vai trò rất quan trọng trong sự tương tác giữa người và máy

Cũng như xử lý dữ liệu bằng đồ hoạ, xử lý ảnh số là một lĩnh vực của tin học ứng dụng Xử

lý dữ liệu bằng đồ hoạ đề cập đến những ảnh nhân tạo,các ảnh này đựợc xem xét như là một cấu trúc dữ liệu và được tạo ra bởi các chương trình Xử lý ảnh số bao gồm các phương pháp

và kĩ thuật để biến đổi, để truyền tải hoặc mã hoá các ảnh tự nhiên

1.2 Một số khái niệm cơ sở trong xử lý ảnh

Để có thể xử lý bằng máy tính điện tử thì ảnh cần phải được số hóa Đó là quá trình biến đổi ảnh từ tín hiệu liên tục sang tín hiệu rời rạc thông qua việc lấy mẫu và lượng tử hóa Trong quá trình này người ta sử dụng khái niệm “pixel” Mỗi pixel được đặc trưng bởi một cặp tọa

độ (X ,Y) và màu sắc của nó.[4]

• Ảnh: Là một tập hợp các pixel có cấu trúc, ta có thể coi ảnh là một mảng hai chiều (n, p)

I có n dòng và p cột, ảnh sẽ có n × p (pixel) Ta ký hiệu (X ,Y ) I để chỉ điểm ảnh có toạ độ (X ,Y)

• Điểm ảnh:

Gốc của ảnh là ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính, ảnh cần phải được số hoá

Số hoá ảnh là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật

về vị trí (không gian) và độ sáng (mức xám) Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt được ranh giới giữa chúng

Mỗi một điểm như vậy gọi là điểm ảnh (PEL: Picture Element ) hay gọi tắt là Pixel Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa độ (x,y)

Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất định Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như ảnh thật Mỗi phần tử trong ma trận được gọi là một phần tử ảnh

• Mức xám (Gray level): Đó là kết quả của việc mã hóa, cho tương ứng một cường độ sáng của mỗi điểm ảnh với một giá trị số, có thể là 16, 32, 64 mức

• Biểu diễn ảnh: Trong biểu diễn ảnh người ta thường sử dụng các phần tử đặc trưng của ảnh là pixel Một hàm hai biến chứa các thông tin như một biểu diễn ảnh Một số mô hình thường dùng để biểu diễn ảnh là mô hình toán (biểu diễn ảnh nhờ các hàm cơ sở), mô hình

thống kê (ảnh coi như một phần tử của một tập hợp đặc trưng bởi kỳ vọng toán, hiệp biến, phương sai, moment…).[2]

• tăng cường ảnh: Đây là một bước quan trọng bao gồm các kỹ thuật lọc độ tương phản, khử nhiễu, nổi màu…

• Biến đổi ảnh: Thao tác chủ yếu trên một tập các ma trận và sử dụng các kỹ thuật để biến đổi ảnh qua ma trận: Biến đổi Furie, Sin, Cosin, tích Kronecker

• Phân tích ảnh: Liên quan tới việc xác định các độ đo định lượng của một ảnh để đưa ra một mô tả đầy đủ về ảnh Có những kỹ thuật cơ bản để hỗ trợ phân tích ảnh: Dò biên, lọc vi phân, dò theo quy hoạch động, phân vùng ảnh [2]

• Nhận dạng ảnh: Quá trình này liên quan đến các mô tả đối tượng mà người ta muốn đặc

tả nó Nhận dạng ảnh thường đi sau các quá trình trích chọn các đặc trưng chủ yếu của đối tượng

2.Point cloud library (PCL)

PCL là thư viện hỗ trợ xử lý ảnh 3D, được xây dựng với nhiều module thực hiện các thuật toán như: Lọc (filtering), Khôi phục bề mặt (Surface reconstruction), phân vùng

(segmentation), Ước lượng đặc tính vật (Feature estimation )

Thư viện đi kèm để hỗ trợ được chia nhỏ và có thể biên dịch độc lập Các thư viện này gồm có :

• Eigen: Hỗ trợ các phép toán tuyến tính, dùng vào hầu hết các tính toán toán học của PCL

• FLANN: (Fast Library for Approximate Nearest Neighbors) Tìm kiếm nhanh các điểm lân cận trong không gian 3D

• Boost: Giúp chia sẻ con trỏ trên tất cả các module và thuật toán trong PCL để tránh sao chép và trùng dữ liệu đã lấy về trong hệ thống

• VTK: (Visualization Toolkit) Hỗ trợ nhiều platform trong việc thu về dữ liệu 3D, hỗ trợ hiển thị, ước lượng thể tích vật thể

• CminPack : Thư viện mở giúp giải quyết phép toán tuyến tính và không tuyến tính

- Chứa các cấu trúc dữ liệu và cơ chế tính toán, ước lượng 3D từ các dữ liệu điểm PCD

- 3D Features biểu diễn chính xác điểm 3D hoặc vị trí trong không gian để mô tả phần hình khối dựa vào thông tin có được xung quanh điểm Vùng dữ liệu được chọn lân cận điểm truy vấn thường gọi là K-neighborhood

2.1.5 Module IO:

PCL_IO: Chứa các hàm và các lớp để đọc và ghi dữ liệu dạng PCD, có thể thu thập dữ liệu

từ nhiều nguồn khác nhau (Trong đồ án này dùng Kinect)

Là thư viện chứa thực thi của 2 thuật toán nhận dạng “Point clound keypoint”

Key Point (hay interest point) là các điểm trong ảnh hoặc trong point cloud mà có tính chất ổn định, riêng biệt và có thể dễ dàng phát hiện ra Thông thường số lượng Key Point nhỏ hơn tổng số điểm trong cloud

2.1.8 PCL_Octree:

Chứa các thuật toán hiệu quả để tạo nên một cấu trúc dữ liệu phân cấp từ dữ liệu point cloud

Nó cho phép phân vùng không gian, downsampling (giảm số lượng các mẫu do đó tăng tốc

độ tính toán) và thực hiện các phép toán tìm kiếm trong tập dữ liệu PointCloud Mỗi nút Octree có 8 nút con hoặc không có nút con nào Nút gốc (mầu đỏ hình dưới )được biểu diễn trong 1 hình lập phương bao toàn bộ các điểm con Tại mỗi cấp của cây, không quan được chia thành 2 do đó tăng độ phân giải cho điểm ảnh không gian 3 chiều

Thư viện này cũng cung cấp các chương trình tìm kiếm lân cận hiệu quả

2.1.9 Module registrantion (PCL_registration):

Kết hợp các bộ dữ liệu vào một mô hình chung, thống nhất thường được thực hiện bằng một

kỹ thuật gọi là registration

Ý tưởng chính là xác định các điểm tương ứng trong bộ dữ liệu và tìm một chuyển đổi khoảng cách tối thiểu các điểm tương ứng

2.1.10 Module PCL_sample_consensus:

Thư viện pcl_sample_consensus có khả năng tách các nhóm điểm có cùng tính chất

(Sample Consensus hay SAC) giống như thuật toán RANSAC (Tìm kiếm đường thẳng trong tập hợp các điểm) Các nhóm điểm có thể là các mặt phẳng, mặt cầu, trụ Thư viện này rất thích hợp trong các ứng dụng dò tìm các đối tượng như tường, cửa, các vật trên bàn…

2.1.11 PCL_Search:

Cung cấp các phương pháp tìm kiếm lân cận (nearest neighbors) bằng cách sử dụng các cấu trúc dữ liệu khác nhau, bao gồm:

- Kd_tree (từ thư viện PCL_Kdtree)

- Octrees (từ thư viện PCL_Octrees)

- Brute foce (Thuật toán)

- Các tìm kiếm đặc biệt cho các bộ dữ liệu có tổ chức

2.1.12 PCL_Segmentation:

Chứa các thuật toán để phân chia Point Cloud thành các nhóm riêng biệt Các thuật toán này thích hợp nhất khi xử lý các point Cloud bao gồm các vùng không gian bị cô lập Trong trường hợp như vậy, các clustering thường chia nhỏ để sau đó có thể xử lý độc lập

2.1.13 PCL_surface:

Là thư viện thích hợp cho việc xây dựng lại các bề mặt từ dữ liệu quét 3D Các đối tượng chính gồm vỏ, bề mặt lưới, bề mặt nhẵn hay bình thường Khi có nhiễu có thể làm mịn và lấy mẫu lại

Chia lưới ( meshing ) là một cách tổng quát để tạo ra các bề mặt điểm Hiện nay có 2 thuật toán là a very fast triagulation of the original points và aslower meshing that does smoothing and hold filling as well

Có thể dùng thư viện để tạo ra một thân lồi hoặc lõm thích hợp cho đại diện bề mặt đơn giản hóa hoặ chỉ ra các ranh giới

2.1.14: PCL_visualization:

Thư viện được tạo ra có thể nhanh chóng hiển thị các kết quả thuật toán trên dữ liệu 3D Thư viện cung cấp:

- Các phương pháp dựng hình và thiết lập thuộc tính ảnh, mầu sắc, kích thước cho bất kì bộ

dữ liệu nào có kiểu “PCL::PointCloud<T>”

- Vẽ các hình 3D cơ bản từ bộ điểm hoặc phương trình tham số

- Vẽ các biểu đồ

2.2 Cấu trúc dữ liệu cơ bản của PCL

2.2.1 PointCloud:

Kiểu dữ liệu cơ bản trong PCL là PointCloud Một PointCloud là 1 lớp C++ bao gồm:

• Width (int): Xác định chiều dài tập dữ liệu bằng số lượng điểm “Width” có 2 nghĩa là

o Có thể xác định tổng số các điểm trong cloud (bằng số lượng các phần tử trong cloud) cho

bộ dữ liệu có tổ chức

o Có thể xác định chiều rộng (tổng số điểm liên tiếp) của một tập dữ liệu có tổ chức

Chú ý: Tập dữ liệu điểm có tổ chức là tập dữ liệu được chia thành các hàng và cột giống như ma trận

Vd: cloud.width=640;// Tao ra 640 diem tren mot dong

• Height (int): Tương tự width nhưng đối với cột trong ma trận điểm

Nếu hieght=1 thì dữ liệu không được tổ chức (có thể dùng tính chất này để kiểm tra một tập

dữ liệu có được tổ chức hay không)

Vd:

cloud.width = 640; // Khai bao mot anh co cau truc, gom 640 dong va 480 cot

cloud.height = 480; // tong so diem anh la 640*480=307200

• Points (std::vector<PointT>)

Chứa các mảng dữ liệu lưu trữ tất cả các điểm có kiểu pointT

Kiểu PointT có thể là pcl::PointXYZ, pcl::PointXYZRGB, pcl::PointXYZRGBA…

Ví dụ:

pcl::PointCloud<pcl::PointXYZ> cloud;

std::vector<pcl::PointXYZ> data = cloud.points;

• Is_dense(bool)

Trả về giá trị logic, nếu tất cả giá trị trong points hữu hạn => True ngược lại là False

Ngoài ra lớp pointCloud còn chứa các thành phần chứa các tùy chọn của sensor như

Sensor_origin, sensor_orientation Các thành phần này thường ít dùng trong các thuật toán của PCL

FIELDS x y z # XYZ data

FIELDS x y z rgb # XYZ + colors

FIELDS x y z normal_x normal_y normal_z # XYZ + surface normals

FIELDS j1 j2 j3 # moment invariants

 SIZE: Xác định kích thước các chiều tính theo byte

Vd:

Unsigned char/char ứng với 1byte

Unsigned short/short ứng với 2byte

Unsigned int/int ứng với 4 byte

Double ứng với 8byte

 TYPE: Quy định kiểu của mỗi chiều, quy ước bằng các ký tự

I - Biểu diễn kiểu số nguyên có dấu (int8, int16,int32)

U – Biểu diễn kiểu số nguyên không dấu

F- Biểu diễn kiểu số thực

 WIDTH : Xác định chiều rộng tập dữ liệu tính theo điểm

 HEIGHT: Tương tự WIDTH nhưng tính cho chiều dài Nếu giá trị bằng 1 thì dữ liệu chưa được tổ chức

 POINT: chứa giá trị tổng số điểm ảnh

Phần 2 là DATA chứa dữ liệu của từng điểm, mỗi điểm có thể được mã hóa theo bin hay ASCII

Ví dụ một file PCD sẽ có dạng như sau:

# PCD v.7 – Point Cloud Data file format

VERSION 7

FIELDS x y z rgb # Chứa tọa độ và mầu dạng RGB

SIZE 4 4 4 4 # Mỗi thành phần tọa đọ xyz và mầu lưu bằng 4byte

TYPE F F F F # Kiểu dữ liệu mỗi thành phần là số thực

COUNT 1 1 1 1

WIDTH 4 # Độ rộng của dữ liệu là 4

HEIGHT 1 # Dữ liệu không được tổ chức

VIEWPOINT 0 0 0 1 0 0 0

POINTS 4 # Tổng số điểm ảnh là 4

DATA ascii # Dữ liệu được mã hóa bằng mã ascii

0.93773 0.33763 0 4.2108e+06 # Các giá trị của tọa độ và mầu của các điểm

0.90805 0.35641 0 4.2108e+06

0.81915 0.32 0 4.2108e+06

0.97192 0.278 0 4.2108e+06

3 Thiết bị Camera Kinect

3.1 Giới thiệu chung

Kinect là sản phẩm của Microsoft dựa trên công nghệ camera được phát triển bởi PrimeSense, những sản phẩm đầu tiên được bán tại Bắc Mỹ vào ngày 4 tháng 11 năm

2010 [1] Kinect được coi như là một thiết bị ngoại vi cho Xbox 360, cho phép giao tiếp với con người thông qua các cử chỉ, đem lại những cảm giác thú vị cho người chơi game trên Xbox Khả năng hiểu được cử chỉ con người của Kinect dựa trên hai đặc tính chính sau: thông tin về độ sâu ảnh (depth map), khả năng phát hiện và bám theo đặc tính cơ thể người (body skeleton tracking) Kinect đang giữ kỷ lục Guiness thế giới về “Thiết bị điện tử được tiêu thụ nhanh nhất” với 8 triệu sản phẩm trong 60 ngày Mười triệu sản phẩm Kinect đã được phân phối trên thế giới vào ngày 9 tháng 3 năm 2011 Bên cạnh phục vụ cho mục đích chơi game, sản phẩm Kinect còn được dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát hiện cử chỉ (gesture recognition), bám theo người (body tracking) và nhiều mục đích khác

Lý do chính cho sự thành công của sản phẩm Kinect là giá cả khá rẻ (khoảng 140$ trên 1 sản phẩm) cho thiết bị có khả năng cung cấp các thông tin 3D với chất lượng chấp nhận được

3.2 Những thành phần chính của Kinect

Các thành phần bên trong Kinect gồm có: bộ nhớ RAM, bộ cảm ứng Prime Sense PS1080-A2, quạt tản nhiệt, động cơ điều khiển góc ngẩng (Motorized Tilt), bộ gia tốc 3 trục, 4 microphone (Multi – Array Mic) và camera: RGB camera, bộ cảm

biến độ sâu (3D Depth Sensors)

Các thông số kỹ thuật:

- Khoảng cách hiệu quả: 0.8÷3.5m

- RGB camera: độ phân giải 640 x 480, 30 frame/s, 32 bit màu

- Góc quay hiệu quả: 57° ngang, 43° dọc, ± 27° nghiêng

3.3 Thư viện hỗ trợ Kinect

Ngay khi mới ra đời, Kinect đã được quan tâm bởi rất nhiều nhà phát triển phần mềm, không chỉ trên mảng phát triển game cho Xbox mà còn trên mảng xử lý ảnh ứng dụng trong y học, robot, mapping, … Do đó, mà nhiều thư viện được viết cho Kinect ra đời Cho đến thời điểm hiện tại, các thư viện đáng chú ý là Libfreenect, Code Laboratories Kinect, OpenNI và Kinect SDK

• Thư viện Libfreenect: Libfreenect là thư viện được phát triển bởi OpenKinect, do một cộng đồng những người quan tâm đến phần cứng Kinect viết ra và chia sẻ Cộng đồng

OpenKinect làm việc hoàn toàn tự nguyện và không vì mục đích lợi nhuận, họ phát triển Libfreenect thành một mã nguồn mở cho các hệ điều hành khác nhau Windows, Linux và

OS X Hiện tại, Libfreenect được đóng gói cho việc sử dụng trên Python, C, C++, C#, Java JNI, Java JNA, Javascript

• Thư viện Code Laboratories Kinect: Code Laboratories (CL) là một công ty phần mềm chuyên hỗ trợ các nhà phát triển, lập trình viên khai thác các tính năng của các thiết bị

xử lý ảnh Trong số đó Kinect không phải là ngoại lệ, CL cung cấp cho người sử dụng những tính năng cơ bản nhất của Kinect về camera, audio và motor

• Thư viện OpenNI: Thư viện OpenNI được xem là thư viện mạnh nhất trước sự có mặt của Kinect SDK 1.0, thư viện này hỗ trợ đa ngôn ngữ trên nhiều platform khác nhau, giúp cho các lập trình viên có thể viết các ứng dụng trên Kinect rất dễ dàng tương tác tự nhiên Natural Interaction (NI) Mục đích chính của OpenNI là xây dựng các hàm API chuẩn, cho phép thư viện có khả năng kết hợp với các middleware nhằm làm tăng sức mạng cho Kinect

• Thư viện Kinect SDK: SDK cung cấp cho nhà phát triển những bộ cảm biến có chiều sâu, camera cảm biến màu sắc và xác định nguồn âm thanh theo chùm tia Các nhà phát triển cũng có thể theo dõi ảnh ở dạng khung sườn của một hay hai người đang di chuyển trong tầm ngắm Kinect, từ đó các nhà phát triển có thể tạo ra những ứng dụng hướng theo cử chỉ

(gesture) SDK gồm tính năng âm thanh như giảm tiếng ồn và hạn chế tiếng vang Các nhà phát triển có thể truy cập vào công nghệ hình thành tia để nhận diện ra nguồn âm thanh hay

có thể truy cập vào giao diện trình ứng dụng (API) để nhận diện giọng nói trong hệ thống Windows