Phát triển giải thuật tránh vật cản sử dụng kinect cho robot tự hành

Trước đây Robot được trang bị một hay nhiều camera trong việc xác định vật cản, các camera này có nhiệm vụ tương tác giữa robot với môi trường xung quanh ghi nhận những đặc điểm như vị

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

NGUYỄN TRUNG KIÊN

PHÁT TRIỂN GIẢI THUẬT TRÁNH VẬT CẢN SỬ DỤNG KINECT CHO ROBOT TỰ HÀNH

Chuyên ngành : Kỹ Thuật Viễn Thông

Mã số: 60520208

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 12 năm 2015

Cán bộ hướng dẫn khoa học : PGS.TS Hoàng Đình Chiến

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ hướng dẫn khoa học : TS Hà Hoàng Kha

(Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ chấm nhận xét 1 :

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 :

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1

2

3

4

5

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA…………

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Nguyễn Trung MSHV: 7140050

Ngày, tháng, năm sinh: 30/01/1991 Nơi sinh: Tây Ninh

Chuyên ngành: Kỹ thuật Viễn thông Mã số : 60 52 02 08

I TÊN ĐỀ TÀI:

II NHIỆM VỤ VÀ NỘI DUNG: .

III NGÀY GIAO NHIỆM VỤ : (Ghi theo trong QĐ giao đề tài)

IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo trong QĐ giao đề tài)

V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên):

Tp HCM, ngày tháng năm 20

CÁN BỘ HƯỚNG DẪN (Họ tên và chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) TRƯỞNG KHOA….………

(Họ tên và chữ ký)

văn thạc sỹ của tôi, PGS.TS Hoàng Đình Chiến và TS Hà Hoàng Kha Trong suốt quá trình thực hiện đề tài này các thầy đã nhiệt tình giúp đỡ và hỗ trợ tôi về vật chất cũng như tinh thần Là kỹ sư điện tử viễn thông chưa từng nghiên cứu về mô hình động học, khi nhận đề tài này đã đem lại nhiều khó khăn đối với tôi, qua buổi nói chuyện cùng thầy Chiến được thầy hướng dẫn và hỗ trợ các thiết bị, giúp cho tôi có cái nhìn chi tiết hơn và hiểu thêm trong lĩnh vực tự động hóa Bên cạnh đó từ lúc nhận đề tài, thực hiện đề cương và hoàn thành luận văn này thầy Kha đã ở bên cạnh nhiệt tình giúp đỡ và hỗ trợ tôi về mọi mặt giúp tôi định hướng và nắm bắt được vấn đề để tôi có thể hoàn thành được đề tài này

Ngoài ra, xin cảm ơn đến tất cả các thầy, cô đang giảng dạy bộ môn Viễn Thông, Trường Đại học Bách Khoa, thành phố Hồ Chí Minh đã truyền thụ kiến thức với kinh nghiệm của mình trong suốt quá trình giảng dạy giúp tôi có kiến thức và sự tự tin để thực hiện đề tài

Bên cạnh đó tôi xin gửi lời cảm ơn đến tổ Mạng Ngoại Vi thuộc phòng Công Nghệ Thông Tin Viễn Thông của công ty truyền hình cáp Saigontourist (SCTV) Các anh, chị đã hỗ trợ và giúp đỡ nhiệt tình trong công việc để tôi có thời gian hoàn thành đề tài này

Cuối cùng xin dành lời cảm ơn chân thành cho Cha cho Mẹ tôi, người là nguồn động lực để tôi phấn đấu, lời cảm ơn cho Anh, Chị, Em và ban bè tôi đã ở bên cạnh tôi giúp đỡ tôi những lúc khó khăn nhất

Tp Hồ Chí Minh, ngày 14 tháng 12 năm 2015

Nguyễn Trung Kiên

nhiều sự quan tâm trong cả lĩnh vực nghiên cứu học thuật và lĩnh vực công nghiệp Điều này dựa trên thực tế rằng robot được tìm thấy trong các ứng dụng phổ biến rộng rãi ở những nơi có thể giúp con người hoàn thành những công việc nguy hiểm

và lặp đi lặp lại, đặc biệt trong môi trường khắc nghiệt như ngoài vũ trụ Tùy theo các ứng dụng cụ thể mà robot được phân thành nhiều loại, bao gồm robot thám hiểm vũ trụ, thám hiểm đại dương, robot làm việc nhà, robot công quân đội, robot công nghiệp, và nhiều ví dụ khác nữa

Trong số những loại robot trên, có lẽ robot tự hành là phổ biến nhất Robot tự hành được định nghĩa là một loại máy móc có thể di chuyển và vận động dưới dự điều khiển tự động để thực hiện được những công việc được giao Môi trường hoạt động của nó có thể là đất, nước, không khí, không gian vũ trụ hoặc tổ hợp các loại môi trường trên Ngoài ra, bề mặt địa hình có thể bằng phẳng hoặc có sự dao động Sự đa dạng của môi trường làm việc đã và đang thu hút rất nhiều nghiên cứu để phát triển loại robot tự hành này

Trong luận văn này, chúng tôi nghiên cứu và thảo luận về một số công trình robot nói chung và robot tránh vật cản nói riêng, bao gồm cả các công trình trong nước và ngoài nước Từ đó, xây dựng một số chức năng mới cho robot nhằm để giảm chi phí và tận dụng tối đa chức năng của các thiết bị cấu thành

Mục đích của luận văn này là xây dựng một thuật toán hiệu quả cho robot tự hành Bằng cách áp dụng phương pháp tránh vật cản, thuật toán đề xuất được thiết kế sao cho robot có thể tránh vật cản và bám theo đối tượng bằng cách sử dụng cảm biến và thiết bị Kinect Ngoài ra, bộ lọc phần tử, được biết đến như một kỹ

thực nghiệm

robot has been received much attention both in academy and industry This is based on the fact that robot has been found in widespread applications where it can help human to perform repetitive and dangerous tasks, especially in extreme environments such as outer space Due to the specific applications, robot may be classified into various types, including ocean exploring robot, space exploring robot, household robot, military robot, industrial robot, to name just a few

Among those kinds, self-propelled robot is probably the most popular propelled robot is defined as the machine that can displace and operate automatically in order to complete all the assigned tasks Its operating environment can be soil, water, air, aerospace or the combination of those environments above Further, the surface of topography can be either flat or fluctuated The diversity of working environments has been attracting many studies for developing self -propelled robot

Self-In this thesis, we study and discuss several previous works of robot in general and obstacle-avoiding robot in particular, including both domestic and international researches Then, some new functions of robot are built and enhanced in order to reduce the cost and maximize the utility of constructed devices

This thesis aims to build an efficient algorithm for self-propelled robot By applying obstacle-avoiding method, the proposed algorithm is designed in the way such that robot can avoid obstacles and follow the object using sensor and the Kinect device In addition, the particle filter, known as an attract technique to track the state of a dynamic system even nonlinear system with non-Gaussian noise distribution, is used throughout the processing of detecting, tracking and following the experimental subject Additionally, this thesis also builds and develops

trường Đại học Bách Khoa, thành phố Hồ Chí Minh Tôi xin cam đoan công trình nghiên cứu này là do chính tôi thực hiện trong suốt quá trình thực hiện đề tài này, các

tư liệu tham khảo sử dụng được trích từ các nguồn thực tế, uy tín và chất lượng Kết quả thu được được thực hiện một cách độc lập và hoàn toàn trung thực

Tp Hồ Chí Minh, ngày 14 tháng 12 năm 2015

Nguyễn Trung Kiên

Mục Lục

Danh sach hình vẽ

Danh sach bảng

Chữ viết tắt

1 MỞ ĐẦU 1

1.1 Lý do chọn đề tài 1

1.2 Mục tiêu và nhiệm vụ của luận văn 2

1.3 Đối tượng và phạm vi nghiên cứu 2

1.4 Phương pháp nghiên cứu 3

1.5 Ý nghĩa khoa học và thực tiễn của đề tài 4

1.6 Nội dung luận văn 5

2TỔNG QUAN VỀ ĐỀ TÀI VÀ LÝ THUYẾT LIÊN QUAN 6

2.1 Tổng quan về đề tài 6

2.1.1 Nhìn nhận vấn đề 6

2.1.2 Các công trình liên quan 6

2.2 Giới thiệu thiết bị Kinect 12

2.2.1 Giới thiệu chng 12

2.2.2 Đặc điểm của thiết bị 13

2.2.3 Thư viện hỗ trợ 14

2.2.4 Nguồn cung cấp và công suất tiêu thụ 15

2.2.5 Môi trường hoạt động 16

2.3 Tính toán độ sâu 16

2.4 Tracking khung xương 21

3 XÂY DỰNG VÀ THIẾT KẾ MÔ HÌNH ROBOT 23

3.1 Cấu tạo của robot 23

3.1.4 Arduino Mega 2560 32

3.2 Phần mềm sử dụng 33

3.2.1 Arduino IDE 33

3.2.2 Processing GUI 34

3.3 PID điều khiển động cơ 35

3.3.1 Khái niệm 35

3.3.2 Đặc tính bộ điều khiển P,I,D 36

3.4 Sơ đồ khối cấu trúc khung robot 40

4GIẢI THUẬT TRÁNH VẬT CẢN 45

4.1 Xây dựng lý thuyết 45

4.2 Điều khiển robot tránh vật cản 46

4.2.1 Ba cảm biến phát hiện vật cản 47

4.2.2 Hai cảm biến phát hiện vật cản 48

4.2.3 Một cảm biến phát hiện vật cản 50

4.3 Sơ đồ giải thuật tránh vật cản 51

4.4 Đáp ứng thực tế của Robot trong việc tránh vật cản 52

4.4.1 Trường hợp không có vật cản 52

4.4.2 Robot tránh một vật cản 53

4.4.3 Robot tránh hai vật cản 55

5 PHƯƠNG PHÁP THEO VẾT ĐỐI TƯỢNG SỬ DỤNG BỘ LỌC PHẦN TỬ (PARTICLE FILTER) 58

5.1 Khái niệm về theo vết đối tượng 58

5.1.1 Giới thiệu 58

5.1.2 Quy trình theo vết đối tượng 59

5.2 Bộ lọc phần tử 61

5.3 Ứng dụng bộ lọc phần tử trong việc theo dấu đối tượng sử dụng thiết bị Kinect 76

5.3.1 Xây dựng mô hình 76

5.3.2 Kết quả 81

6KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 87

6.1 Kết luận 87

6.2 Hướng phát triển 88

Tài liệu tham khảo 89

Hình 2.2 : Những thành phần chính của Kinct 13

Hình 2.3 : Adapter Kinect 15

Hình 2.4 : Bên trong thiết bị Kinect 16

Hình 2.5 : Mẫu hình được chiếu bởi projector và được thu bởi IR Camera 18

Hình 2.6 : Tính toán khoảng cách tới một điểm chiếu trên projector 18

Hình 2.7 : Khoảng cách giới hạn của thiết bị Kinect theo hướng ngang 21

Hình 2.8 : Khoảng cách giới hạn của thiết bị Kinect theo hướng dọc 21

Hình 2.9 : Hai trong số sáu đối tượng được xác định một cách chi tiết bằng thiết bị Kinect 22

Hình 3.1 : Động cơ NF5475E 23

Hình 3.2 : Kích thước động cơ 24

Hình 3.3 : Bảng giá trị các thông số cơ bản của động cơ NF5475E 24

Hình 3.4 : Bảng giá trị các thông số của Encoder của động cơ 24

Hình 3.5 : Điều chỉnh độ rộng xung PWM 25

Hình 3.6 : Dạng sóng áp và dòng điện trên động cơ 26

Hình 3.7 : Cấu tạo của Encoder phát quang 27

Hình 3.8 : Hai kênh A và B lệch qua trong Encoder 28

Hình 3.9 : Sơ đồ nguyên lý của mạch cầu H 29

Hình 3.10 : Chiều quay của động cơ thay đổi khi thay đổi công tắt đóng ngắt 29

Hình 3.11 : Hình dạng của chip L298D 30

Hình 3.12 : Tên các chân của chip L298D 30

Hình 3.13 : Cấu tạo bên trong của Chip L298D 30

Hình 3.14 : Cảm biến siêu âm HC-SR04( mặt trước) 31

Hình 3.15 : Cảm biến siêu âm HC-SR04( mặt sau) 31

Hình 3.16 : Board Arduino Mega 2560 32

Hình 3.17 : Giao diện Arduino IDE 34

Hình 3.18 : Giao diện Processing GUI 35

Hình 3.23 : Sơ đồ khối cấu trúc của hệ thống động học 41

Hình 3.24 : DaNi robot 41

Hình 3.25 : Robot tránh vật cản sử dụng thiết bị Kinect 42

Hình 3.26 : Mô hình robot tránh vật cản 42

Hình 3.27 : Robot Dora 43

Hình 3.28 : Mô hình robot thực tế 44

Hình 4.1 : Sơ đồ robot tránh vật cản và theo vết 45

Hình 4.2 : Môt tả bài toán 46

Hình 4.3 : Sơ đồ bố trí cảm biến 47

Hình 4.4 : Ba cảm biến phát hiện vật cản 47

Hình 4.5 : Vật cản ở giữa và bên phải 48

Hình 4.6 : Vật cản nằm giữa và bên trái 49

Hình 4.7 : Vật cản nằm bên trái và bên phải 49

Hình 4.8 : Vật cản ở bên trái 50

Hình 4.9 : Vật cản ở bên phải 50

Hình 4.10 : Sơ đồ khối mạch điều khiển 51

Hình 4.11 : Sơ đồ giải thuật điều khiển robot tránh vật cản 51

Hình 4.12 : Khoảng cách thử nghiệm khi không có vật cản 52

Hình 4.13 : Mô tả quá trính chuyển động không có vật cản (1) 53

Hình 4.14 : Mô tả quá trính chuyển động không có vật cản (2) 53

Hình 4.15 : Robot tránh một vật cản (1) 54

Hình 4.16 : Robot tránh một vật cản (2) 54

Hình 4.17 : Robot tránh hai vật cản (1) 55

Hình 4.18 : Robot tránh hai vật cản (2) 55

Hình 4.19 : Robot tránh hai vật cản (3) 56

Hình 4.20 : Robot tránh hai vật cản (4) 56

Hình 4.21 : Robot tránh hai vật cản (5) 56

Hình 5.4 : Điểm trung tâm nhằm trên cơ thể 76

Hình 5.5 : Điểm trung tâm nằm ngoài cơ thể 77

Hình 5.6 : Tính điểm trọng lực giữa hai diểm m1 và m2 78

Hình 5.7 : Điểm phân bố tỉ lệ phần trăm điểm trọng lực 79

Hình 5.8 : Điểm trọng lực khảo sát trên đối tượng thực tế 80

Hình 5.9 : Kết quả theo vết đối tượng (1) 82

Hình 5.10 : Kết quả theo vết đối tượng (2) 82

Hình 5.11 : Kết quả theo vết đối tượng (3) 82

Hình 5.12 : Kết quả theo vết đối tượng (4) 83

Hình 5.13 : Độ sáng đèn led thay đổi theo khoảng cách 84

Hình 5.14 : Robot bám theo đối tượng khi không có vật cản (1) 84

Hình 5.15 : Robot bám theo đối tượng khi không có vật cản (2) 85

Hình 5.16 : Robot bám theo đối tượng khi không có vật cản (3) 85

Hình 5.17 : Robot không bám theo đối tượng khi Kinect bi treo 86

Hình 5.18 : Robot bị sai lệch khi bám theo đối tượng 86

Bảng 2.1 : Bảng tổng hợp một số công trình tiêu biểu trong nước .7

Bảng 2.2 : Bảng so sánh một số công trình sử dụng thiết bị Kinect trong việc theo vết đối tượng 9

Bảng 2.3 : Bảng khảo sát một số ứng dụng của bộ lọc phần tử 10

Bảng 2.4 : Công suất tiêu thụ trên Kinect 16

Bảng 3.1 : Sơ đồ chân của cảm biến siêu âm HC-SR04 32

Bảng 3.2 : Một số đặt điểm của Board Arduino Mega 2560 33

Bảng 3.3 : Ảnh hưởng của các thành phần K P, K I, K D đối với hệ kín 36

Bảng 5.1 : Bảng phần trăm giá trị trọng lượng trên cơ thể 79

3D : Three Dimensional

CHƯƠNG 1 : MỞ ĐẦU

1.1 Lý do chọn đề tài

Trong giai đoạn khoa học và công nghệ đang phát triển hiện nay, việc chế tạo robot nhằm giảm sức lao động cho con người luôn là mục tiêu của nhiều nghiên cứu trên thế giới [1] Robot đang là hướng nghiên cứu được quan tâm hiện nay và

có nhiều ứng dụng như: robot thám hiểm đại dương, robot thám hiểm vũ trụ, robot quân sự, robot vận chuyển trong công nghiệp, robot làm việc nhà, robot hổ trợ con người trong cuộc sống

Robot di động được định nghĩa là một loại xe robot có khả năng tự di chuyển, tự vận động (có thể lập trình lại được) dưới sự điều khiển tự động để thực hiện tốt những công việc được giao [1] Môi trường hoạt động của robot có thể là đất, nước, không khí, không gian vũ trụ hay là sự tổ hợp của các môi trường trên Bề mặt địa hình robot di chuyển có thể là bằng phẳng hoặc thay đổi lồi lõm [1]

Năm 2000, robot ASIMO ra đời đánh dấu sự bùng nổ trong lĩnh vực nghiên cứu chế tạo robot Nhiều công trình nghiên cứu về lĩnh vực này vẫn còn phát triển cho đến ngày nay Trong đó việc điều khiển robot di động tránh vật cản là lĩnh vực thu hút nhiều công trình nghiên cứu và phát triển trên thế giới Việc điều khiển robot di chuyển tránh vật cản cho thấy khả năng thích ứng và di chuyển một cách an toàn trong môi trường xác định hay không xác định

Trước đây Robot được trang bị một hay nhiều camera trong việc xác định vật cản, các camera này có nhiệm vụ tương tác giữa robot với môi trường xung quanh ghi nhận những đặc điểm như vị trí, kích thước, trạng thái của vật cản Robot nhận tín hiệu xử lý và có hướng di chuyển thích hơp Camera có thể được đặt trên robot cũng có thể đặt ở các vị trí cố định trong môi trường, số lượng thiết bị hỗ trợ càng

cao khả năng kiểm soát không gian của robot càng tăng, tuy nhiên chi phí và thời gian xử lý cũng tăng cao

Do đó việc chọn đề tài “Phát triển giải thuật tránh vật cản sử dụng Kinect

cho robot tự hành” nhằm mục đích kế thừa và phát triển phương pháp tránh vật

cản cho robot sao cho chi phí sử dụng thấp và tối ưu thiết bị một cách tốt nhất có thể

1.2 Mục tiêu và nhiệm vụ của luận văn

Các kiến thức và kết quả cần đạt được ở đề tài này là:

đối với lĩnh vực điều khiển robot tránh vật cản

Kinect camera

 Đưa ra phương pháp tránh vật cản khi sử dụng cảm biến siêu âm cho robot

lọc phần tử trong việc xác định, theo vết và bám theo đối tượng

 Xây dựng mô hình robot mô hình động học làm cơ sở cho việc kiểm chứng phương pháp nghiên cứu trong thực nghiệm

1.3 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu của đề tài: Các nghiên cứu của đề tài nhằm tối ưu cho

mô hình robot tự hành tránh vật cản sử dụng thiết bị Kinect thông qua việc tìm hiểu các công trình nghiên cứu trước đó Đưa ra phương thức xử lý tránh vật cản cho robot, sử dụng thiết bị với chi phí thấp nhất Áp dụng bộ lọc phần tử trong quá

trình nhận dạng, theo vết và bám theo đối tượng Đối tượng nghiên cứu của đề tài

là :

 Sử dụng bộ lọc phần tử trên thiết bị Kinect trong việc nhận dạng, theo vết

và bám theo đối tượng

Phạm vi nghiên cứu: Phạm vi nghiên cứu của đề tài sẽ xây dựng mô hình

robot tự chuyển động tránh vật cản đồng thời xác định, theo vết và bám theo đối tượng bằng việc sử dụng thiết bị Kinect, thông qua quá trình kiểm chứng giữa các lý thuyết nghiên cứu và thực tế từ đó đưa ra các giới hạn, yêu cầu kỹ thuật và điều kiện môi trường mà đề tài áp dụng

1.4 Phương pháp nghiên cứu

Về lý thuyết:

 Tìm hiểu nguyên lý hoạt động và sử dụng của các thiết bị cơ bản cấu

thành robot

cơ

 Tìm hiểu tổng quan về thiết bị Kinect và bộ lọc phần tử , áp dụng bộ lọc

trong việc xác đinh, theo vết và bám theo đối tượng

Về thực nghiệm:

áp dụng giải thuật xử lý tránh vật cản cho mô hình

 Sử dụng thiết bị Kinect trong việc xác định, theo vết và bám theo đối

tượng dựa trên phương pháp sử dụng bộ lọc phần tử

1.5 Ý nghĩa khoa học và thực tiễn của đề tài

Ý nghĩa khoa học:

Việc tìm hiểu áp dụng phương pháp điều khiển robot tránh vật cản sẽ giúp cho người đọc có cái nhìn tổng quát cũng như sự phát triển của đề tài này trong nước

và ngoài nước

Đưa ra phương pháp tránh vật cản bẳng cảm biến giúp tiết kiệm chi phí sử dụng thay cho các thiết bị camera thông thường, bên canh đó với giá thành thấp, nhỏ gọn, dễ sử dụng được tích hợp trên mô hình Đây là phương pháp được sử dụng hiện nay trong việc tránh vật cản

Việc sử dụng bộ lọc phần tử trong việc xác định, theo vết đối tượng được ưa chuộng hiện nay bởi tính linh động, không sử dụng nhiều dung lượng bộ nhớ thích hợp đối với các mô hình phi tuyến và phi gauss nhờ đó có thể giảm thời gian xử lý giúp cho sự tương tác robot vơi môi trường có sự đồng bộ hơn

Mô hình robot sử dụng trong đề tài là sự kế thừa có tham khảo các mô hình robot trước đó, mang tính linh động, giảm bớt yếu tố dư thừa, có thể thay đổi cấu trúc tùy theo mục đích sử dụng sau này

Ý nghĩa thực tiễn:

Việc nghiên cứu của đề tài đem lại nhiều ứng dụng và sự phát triển sau này cho các nghiên cứu học thuật và lĩnh vực phát triển công nghiệp Như là robot dẫn đường cho người khiếm thị, robot hoạt động theo hành động của con người Trong lĩnh vực công nghiệp robot có thể được sử dụng trong quá trình vận chuyển hàng hóa, robot hút khói, robot chữa cháy và còn nhiều các ứng dụng trên nữa

1.6 Nội dung luận văn

Luận văn gồm 6 chương trong đó :

Chương 1 : Giới thiệu chung về đề tài, đối tượng, phạm vi ngyên cứu, lý do chọn đề tài nêu lên ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài

Chương 2 : Nhìn nhận vấn đề của đề tài cũng như việc tìm hiểu các công trình trong nước và ngoài nước có liên quan, nhằm xác định phương pháp sử dụng trong

đề tài này Bên cạnh đó giới thiệu chung về thiết bị Kinect, đặc điểm và một số ứng dụng của thiết bị

Chương 3 : Xây dựng mô hình robot, từ việc tham khảo các robot thông qua những công trình có liên quan, nhằm thiết kế một mô hình robot với chi phí thấp, đảm bảo được yêu cầu của đề tài Giới thiệu sơ lược một số bộ phận cấu thành của robot

Chương 4: Xây dựng giải thuật tránh vật cản cho robot bằng các cảm biến siêu

âm đồng thời kiểm tra đáp ứng thực tế của robot trong việc tránh vật cản

Chương 5 : Giới thiệu sơ lược về bộ lọc phần tử, đặc điểm, phương pháp và một

số ứng dụng của bộ lọc, đồng thời áp dụng bộ lọc cho thiết bị Kinect trong quá trình xác định, theo dấu và bám theo đối tượng

Chương 6 : Chương này trình bày kết quả đạt được, đưa ra những ưu điểm và hạn chế của đề tài, từ đó đề ra hướng phát triển nhằm tối ưu và mở rộng đề tài sau này

CHƯƠNG 2 : TỔNG QUAN VỀ ĐỀ TÀI VÀ LÝ

THUYẾT LIÊN QUAN

2.1 Tổng quan về đề tài

2.1.1 Nhìn nhận vấn đề

Đề tài “robot tránh vật cản” không còn là mới, tuy nhiên với sự phát triển khoa học kỹ thuật dẫn đến nhiều sản phẩm thiết bị kỹ thuật được sản xuất với chi phi ngày càng giảm nhưng vẫn đảm bảo chất lượng Việc lựa chọn thiết bị nào và phương pháp nào cho phù hợp với yêu cầu Do đó để có thể nhìn nhận một cách khách quan hơn bằng cách thông qua việc kháo sát các công trình liên quan từ đó xác định phương pháp và xây dựng mô hình thích hợp

2.1.2 Các công trình liên quan

Thông qua việc tìm hiểu và nghiên cứu các công trinh liên quan, nhằm kế thừa, đánh giá, để có cái nhìn khách quan hơn và có cơ sở khoa học trong việc chọn lựa phương pháp thực hiện để tài một cách tối ưu nhất Các công trình các bài báo có thể được tìm thấy trong danh mục phần tài liệu tham khảo ở phần sau

Trong nước

Dưới đây là một số công trình tiêu biểu trong lĩnh vực robot với mỗi đề tài điều có ưu điểm và nhược điểm khác nhau Thông qua việc tìm hiểu, từ đó đề xuất các phương pháp sử dụng trong đề tài này

Bảng 2.1 : Bảng tổng hợp một số công trình tiêu biểu trong nước

+ Xây dựng được mô hình động học, kiểm chứng bằng thực nghiệm

+ Phần thiết kế chưa được hoàn hảo nên có sai số khi

di chuyển

+ Vùng quan sát của robot chỉ quan sát được không gian phía trước, không xác định được vật cản bên hông

+ Chương trình xử dụng thư viện PCL khó cài đặt trong hệ điều hành Window

+ Luận văn xây dựng trong môi trường cục bộ + Vùng quét camera phải duy nhất một khu vực có màu đỏ để robot di chuyển

3

Nghiên cứu xây

dựng phương pháp

điều khiển Robot tự

hành dựa trên cơ sở

(2010)

+ Tác giả xây dựng phương pháp điều khiển robot dựa trên cơ sở logic mờ (fuzzy logic)

+ Xây dựng được mô hình thực tế và kiểm chứng bằng thực nghiệm

+ Luận văn chưa xây dựng được phương pháp xử lý nhiễu cho cảm biến, khi robot di chuyển sẽ xuất hiện sai số gây ra nhiễu do xung của hai cảm biến siêu âm lẫn vào nhau làm robot mất phương hướng và lệch ra khỏi quỹ đạo

+ Đề tài sử dụng trong môi trường outdoor, nên

có một số trở ngại như hiện tượng bóng đổ, tán

xạ ánh sáng gây ra bởi các phương tiện có kích thước lớn

loại – theo dõi đối

+ Đưa ra một sô kỹ thuật giải quyết bài toán phát hiện đối tượng và theo dõi đối tượng chuyển động

dựng được mô hình hoàn thiện, điều kiện quan sát, thiết bị kỹ thuật có ảnh hưởng đến đầu vào của hệ thống

và bám theo đối tượng sao cho ảnh đối tượng thu được ở tâm camera

+ Bài báo chỉ xác định được một đối tượng cụ thể, chưa nêu lên đặt tính theo dấu đối tượng khi có đối tượng khác xuất hiện

Nhận xét:

Từ các bài báo tham khảo trên, với mục đính tránh vật cản, robot có thể sử dụng cảm biến, thiết bị camera kinect, nhìn chung thiết bị Kinect có khả năng xác định vật cản cao hơn nhưng chi phí sử dụng nhiều hơn so với cảm biến thông thường như đề tài [1]

Sử dụng cảm biến cho mô hình robot tránh vật cản được ưa chuộng trong những năm gần đây, bới tính nhỏ gọn, dễ sử dụng, có thể tích hợp trên mô hình nhằm giảm kích thước robot trong qua việc xử hệ thống thiết bị camera trên robot [13] Các đề tài [1] và [13] điều có những ưu điểm riêng tùy theo mục đích sử dụng

mà sử dụng thiết bị, trong đề tài [1] việc sử dụng thiết bị kinect trong quá trình tránh vật cản so với việc sử dụng cảm biến thì việc sử dụng cảm biến là điều thích hợp bởi thiết bị Kinect ngoài ra còn có nhiều chức năng cần được khai thác, một trong số các chức năng đó sẽ được đề cập trong chương sau

Ngoài ra các bài báo số [12] và [20] cho thấy bộ lọc phần tử được sử dụng nhiều trong vấn đề theo dõi đối tượng, do tính linh động và dễ sử dụng

object tracking using

fuzzy neural system

+ Tính toán cao, phức tạp,

do đó thời gian chạy trễ

so với thời gian thực

+ Không cung cấp kết quả kha quan trong trường hợp không gian có nhiều người

+ Hệ thống sẽ

bị ảnh hưởng khi có nhiều đối tượng

Bảng 2.3 : Bảng khảo sát một số ứng dụng của bộ lọc phần tử

Stt Tên đề tài, bài báo Ưu điểm Nhược điểm

+ Phụ thuộc vào kích thước khu vực và số lượng mẫu

+ Các đối tượng được theo dõi có thể bị mất dấu khi đối tượng này xuất hiện nhanh chóng

+ Thuật toán resampling tạo

ra các hạt mới từ các hạt xung quanh trong quá trình lấy mẫu

+ Thuật toán được dùng để theo dõi một đối tượng di chuyển ngẫu nhiên

+ Phương pháp này chỉ thích hợp đối với người

+ Số hạt tăng lên cùng với số lượng của các đối

tượng làm cho việc tính toán trở nên phức tạp.

+ Tất các các học thuyết chưa được giải thích kỹ trong bài

+ Hệ thống này cũng chỉ tối ưu trong vùng cục bộ

Nhận xét:

Thông qua bảng 2.2, khảo sát một số phương pháp theo dõi đối tượng bằng thiết

bị Kinect Qua các công trình trên có thể thấy rằng thiết bị Kinect có nhiều ứng dụng trong việc nghiên cứu như xác định đối tượng, tránh vật cản,… bên cạnh đó bảng 2.3 khảo sát một số phương pháp theo vết đối tượng qua đó có thể thấy việc

sử dụng bộ lọc phần tử trong việc theo dấu được sử dụng rất nhiều qua các nghiên cứu trong nước và ngoài nước

2.2 Giới thiệu thiết bị Kinect

2.2.1 Giới thiệu chung

Hình 2.1 : Thiết bị Kinect [1]

Kinect là sản phẩm của Microsoft dựa trên công nghệ camera được phát triển bởi PrimeSense, những sản phẩm đầu tiên được bán tại Bắc Mỹ vào ngày 4 tháng

11 năm 2010 [1] Thời gian đầu, Kinect là thiết bị chuyên dụng của hệ máy Xbox

360, phục vụ cho việc chơi game

Kinect được coi như là một thiết bị ngoại vi cho Xbox 360, cho phép giao tiếp với con người thông qua các cử chỉ, đem lại những cảm giác thú vị cho người chơi game trên Xbox Khả năng hiểu được cử chỉ con người của Kinect dựa trên hai đặc tính chính sau: thông tin về độ sâu ảnh (depth map), khả năng phát hiện và bám theo đặc tính cơ thể người (body skeleton tracking)

Kinect đang giữ kỷ lục Guiness thế giới về “Thiết bị điện tử được tiêu thụ nhanh nhất” với 8 triệu sản phẩm trong 60 ngày Mười triệu sản phẩm Kinect đã được phân phối trên thế giới vào ngày 9 tháng 3 năm 2011 Bên cạnh phục vụ cho mục đích chơi game, sản phẩm Kinect còn được dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát hiện cử chỉ (gesture recognition), bám theo người (body tracking) và nhiều mục đích khác Lý do chính cho sự thành công của sản phẩm Kinect là giá cả khá rẻ (khoảng 140$ trên 1 sản phẩm) cho thiết bị có khả năng cung cấp các thông tin 3D với chất lượng chấp nhận được

Kinect, hỗ trợ các chức năng tương tác sau:

vòng (circle), di chuyển tay (wave gesture), push,

trí chính của cơ thể như đầu, vai, cẳng tay, chân,…

2.2.2 Đặc điểm của thiết bị

Hình 2.2 : Những thành phần chính của Kinct [1]

Kinect gồm có: RGB camera, cảm biến độ sâu (3D Depth Sensors), dãy microphone (Multi-array Mic) và động cơ điều khiển góc ngẩng (Motorized Tilt) [1]

với tốc độ 30 fps

đèn chiếu hồng ngoại (IR Projector) và camera hồng ngoại (IR camera)

trên hình 2.2, được dùng vào các ứng dụng điều khiển bằng giọng nói

ta điều chỉnh camera lên xuống để bảo đảm camera có được góc nhìn tốt nhất [1]

2.2.3 Thư viện hỗ trợ

Ngay khi mới ra đời, Kinect đã được quan tâm bởi rất nhiều nhà phát triển phần mềm, không chỉ trên mảng phát triển game cho Xbox mà còn trên mảng xử lý ảnh ứng dụng trong y học, robot, mapping, … Do đó, mà nhiều thư viện được viết cho Kinect ra đời Cho đến thời điểm hiện tại, các thư viện đáng chú ý là Libfreenect, Code Laboratories Kinect, OpenNI và Kinect SDK:

 Thư viện Libfreenect: Libfreenect là thư viện được phát triển bởi OpenKinect Cộng đồng OpenKinect phát triển Libfreenect thành một mã nguồn mở cho các hệ điều hành khác nhau Windows, Linux và OS X Hiện tại, Libfreenect được đóng gói cho việc sử dụng trên nhiều ngôn ngữ lập trình

 Thư viện OpenNI: Thư viện OpenNI được xem là thư viện mạnh nhất trước sự có mặt của Kinect SDK 1.0, thư viện này hỗ trợ đa ngôn ngữ

trên nhiều platform khác nhau, giúp cho các lập trình viên có thể viết các ứng dụng trên Kinect rất dễ dàng tương tác tự nhiên Natural Interaction (NI) Mục đích chính của OpenNI là xây dựng các hàm API chuẩn, cho phép thư viện có khả năng kết hợp với các middleware nhằm làm tăng sức mạng cho Kinect

biến có chiều sâu, camera cảm biến màu sắc và xác định nguồn âm thanh theo chùm tia Các nhà phát triển cũng có thể theo dõi ảnh ở dạng khung sườn của một hay hai người đang di chuyển trong tầm ngắm Kinect, từ đó các nhà phát triển có thể tạo ra những ứng dụng hướng theo cử chỉ (gesture)

2.2.4 Nguồn cung cấp và công suất tiêu thụ

Vì Kinect cần nhiều điện năng để hoạt động nên cổng USB của Xbox-360 không thể đáp ứng mà phải qua một cổng chia để chia thành hai kết nối riêng là USB và kết nối nguồn, giúp cho thiết bị kết nối với Xbox-360 bằng cổng USB trong khi nguồn điện cần cho Kinect là 12VDC được lấy từ adapter Phiên bản Xbox-360 mới sẽ không cần adapter vì nó có các AUX port đặc biệt để cung cấp cho cổng kết nối Với kết nối USB ta hoàn toàn có thể cho Kinect giao tiếp với máy tính

Hình 2.3 : Adapter Kinect [1]

Công suất tiêu thụ đo bằng thực nghiệm [1]

Bảng 2.4 : Công suất tiêu thụ trên Kinect [1]

2.2.5 Môi trường hoạt động

Kinect là thiết bị được thiết kế cho việc sử dụng ở môi trường trong nhà (indoor) Ở môi trường ngoài trời, kết quả thử nghiệm cho bản đồ độ sâu không chính xác vào thời điểm ánh sáng mạnh, nhưng cho kết quả chấp nhận được khi ánh sáng yếu (vào thời điểm buổi chiều tối) [1]

2.3 Tính toán độ sâu

Một trong những đặc tính quan trọng nhất của Kinect đó là thu về giá trị độ sâu hay giá trị khoảng cách tới vật thể trong thế giới thực Sau đây sẽ nói về nguyên lý hoạt động của Kinect trong việc tính toán giá trị này [1]

Hình 2.4 : Bên trong thiết bị Kinect [1]

Cặp cảm biến IR camera và IR projector sẽ phối hợp với nhau để cho ra giá trị

độ sâu ảnh bằng công nghệ Light Coding của PrimeSense

Khác với kỹ thuật Stereo Camera với việc dùng cặp camera giống nhau để xây dựng nên bản đồ độ sâu, hay kỹ thuật Time-Of-Flight (TOF) định nghĩa khoảng cách bằng ước lượng thời gian di chuyển của tia sáng đi và về trong không gian; kỹ thuật Light Coding dùng một nguồn sáng hồng ngoại chiếu liên tục kết hợp với một camera hồng ngoại để tính toán khoảng cách Công việc tính toán này được thực hiện bên trong Kinect bằng chip PS1080 SoC của PrimeSense Công nghệ mới này được cho là đáp ứng chính xác hơn, giá cả rẻ hơn cho việc sử dụng ở môi trường trong nhà

Projector sẽ chiếu một chùm sáng hồng ngoại, tạo nên những đốm sáng ở không gian phía trước Kinect, tập hợp đốm sáng được phát ra này là cố định Những đốm sáng này được tạo ra nhờ một nguồn sáng truyền qua lưới nhiễu xạ (diffractiongratings) Tập hợp các đốm sáng này được IR camera chụp lại, thông qua giải thuật đặc biệt được tích hợp trong PS1080 SoC cho ra bản đồ độ sâu Bản chất của giải thuật này là các phép toán hình học dựa trên quan hệ giữa hai cảm biến IR camera và Projector mà ta sẽ đề cập sau Hình 2.5 cho ta thấy rõ mẫu hình tập hợp các đốm sáng từ Projector và được chụp lại bởi IR camera [1]

Hình 2.5 : Mẫu hình được chiếu bởi projector và được thu bởi IR Camera [17]

Để hiểu cách thức Kinect ước lượng khoảng cách tới vật thể trong môi trường như thế nào, ta quan sát hình 2.7 trong trường hợp phân tích với một điểm đơn giản

Hình 2.6 : Tính toán khoảng cách tới một điểm chiếu trên projector[1]

Ta giả sử Projector phát đi một tia sáng dọc đường màu xanh lá, nó sẽ được chụp lại dưới dạng một đốm sáng bởi IR camera khi chạm vào bề mặt vật thể trong không gian

Ta xét ba mặt phẳng ở ba khoảng cách khác nhau:

 Mặt phẳng ở xa Kinect (Distant plane)

Trong đó, mặt phẳng tham chiếu ngầm được biết trước bên trong Kinect với đầy

đủ thông tin về khoảng cách Ngoài ra, ta cũng đề cập thêm mặt phẳng ảnh (image plane) của IR camera, là mặt phẳng hình chiếu của các điểm trong không gian thu

về bởi IR camera [1]

Ta xét trong ba trường hợp khi tia sáng màu xanh lá chạm vào ba điểm trên ba mặt phẳng lần lượt là A, B, C; ba điểm này được chiếu lên mặt phẳng ảnh tương ứng là A’, B’, C’ Quan sát vị trí A’, B’ và C’, ta có nhận xét: điểm A càng gần Kinect (hay close plane càng gần Kinect) thì A’ càng xa B’ về phía bên phải; ngược lại, điểm C càng xa Kinect (hay distant plane càng xa Kinect) thì C’ càng xa B’ về phía bên trái

Từ đó: khi ta biết trước hướng, điểm xuất phát của tia sáng từ Projector và vị trí B’ là hình chiếu của điểm B trên mặt phẳng tham chiếu lên mặt phẳng ảnh, ta hoàn toàn có thể tính toán được độ sâu ảnh hay khoảng cách tới vật thể Kinect làm điều tương tự với tập hợp các đốm sáng còn lại phát đi từ projector, với mặt phẳng tham chiếu biết trước

Nó tìm điểm là tâm của đốm sáng mà IR camera chụp lại được và điểm tương đồng của đốm sáng đó trên mặt phẳng tham chiếu (ví dụ: hình 2.6 ta có A và B, C

và B là các cặp điểm tương đồng), để tìm khoảng chênh lệch giữa hai điểm này theo chiều ngang khi chiếu về trên mặt phẳng ảnh; và lưu ý là giá trị chênh lệch này được tính bằng đơn vị pixel

Tập hợp của tất cả các giá trị chênh lệch từ tập hợp đốm sáng, sẽ tạo nên bản đồ

độ chênh lệch (disparity map), giá trị này càng lớn thì khoảng cách hay giá trị độ sâu ảnh (depth) càng lớn, từ đó mà ta xây dựng được bản đồ độ sâu (depth map) với giá trị tính bằng mét thực sự

Tuy nhiên, do tập hợp số lượng đốm sáng phát đi từ projector nhỏ hơn so với tổng số pixel trên mặt phẳng ảnh của IR camera nên một phần giá trị độ sâu ảnh còn lại sẽ được nội suy Theo tính toán của Nicolas Burrus [1], một trong những người mở đường cho việc tìm hiểu về Kinect qua các thí nghiệm của ông Ông đã công thức hóa được quan hệ giữa giá trị khoảng cách thật z tính bằng mét và giá trị

độ chênh lệch d [1]:

1 0.0030711016 3.3309495161

2.4 Tracking khung xương

Cảm biến hồng ngoại (IR Camera) xác định khoảng cách của đối tượng sử dụng đến thiết bị Kinect Kinect có thể quét thấy đối tượng trong khoảng cách từ 0.8m đến 4.0m Tuy nhiên khoảng cách tôt nhất để theo dõi đối tượng là từ 1.2m đến 3.5m [16]

Hình 2.7 : Khoảng cách giới hạn của thiết bị Kinect theo hướng ngang [16]

Hình 2.8 : Khoảng cách giới hạn của thiết bị Kinect theo hướng dọc [16]

Tracking khung xương là một trong những đặt tính quan trọng của thiết bị Kinect Trong quá trình sử dụng, camera hồng ngoại IR có thể xác đinh 6 đối tượng cùng một lúc trong cùng một khung hình [16] Ngoài ra chỉ có tối đa 2 đối tượng trong 6 đối tượng được theo dõi khung xương một cách cụ thể và chi tiết [16] Các khớp xương của đối tượng được theo dõi và xác định thông qua những vị trí cụ thể Khi có sự thay đổi của đối tượng các khớp xương này cũng sẽ thay đổi theo [16]

Hình 2.9 : Hai trong số sáu đối tượng được xác định một cách chi tiết bằng thiết

bị Kinect [16]

Đối tượng có thể được xác định trong quá trình đứng, ngồi đối với thiết bị Kinect Tuy nhiên đối với những tư thế ngang có thể khó nhận dạng bởi vì các bộ phận của đối tượng không hiện hữu trên camera hoặc không có hành động cụ thể

về tư thế được yêu cẩu để theo dõi và xác định cho đối tượng Kinect có thể cung cấp thông tin chi tiết về 20 vị trí khớp trên cơ thể đối tượng khảo sát [16]

CHƯƠNG 3 : XÂY DỰNG VÀ THIẾT KẾ MÔ HÌNH

ROBOT

3.1 Cấu tạo của robot

Phần này sẽ tìm hiểu một số thành phần thiết yếu cần có của một mô hình robot đơn giản, các thiết bị được tìm hiểu thông qua việc nghiên cứu các đề tài trước đó như động cơ DC Servo, nguyên lý hoạt động của encoder, cảm biến siêu âm, board mạch điều khiển hệ thống Arduino Mega 2560

3.1.1 Module Điều khiển động cơ

3.1.1.1 Động cơ DC Servo

Động cơ Servo DC là động cơ không đồng bộ nhưng có roto là nam châm vĩnh cửu Động cơ Servo DC bao gồm hai thành phần chính: động cơ DC và encoder Ngoài ra, động cơ có thể được gắn thêm hộp số (Gear box) có tác dụng tăng momen quay và giảm tốc độ động cơ [1] Động cơ Servo DC được ứng dụng cho việc điều khiển chính xác: góc quay, tốc độ, momen Trong đề tài, cặp động cơ được chọn là động cơ Servo DC hiệu NF5475E của Nhật với công suất xấp xỉ 40W nặng 700g, sử dụng nguồn DC 24V, Encoder 200 xung

Hình 3.1 : Động cơ NF5475E