Xây dựng hệ thống nhận dạng đối tượng và di chuyển đến đối tượng dựa trên nền tảng Robot NAO

TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN --- --- BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: XÂY DỰNG HỆ THỐNG NHẬN DẠNG ĐỐI TƯỢNG VÀ DI CHUYỂN ĐẾN ĐỐI TƯỢNG TRÊN NỀN TẢNG ROBOT

TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN

- -

BÁO CÁO NGHIÊN CỨU KHOA HỌC

ĐỀ TÀI:

XÂY DỰNG HỆ THỐNG NHẬN DẠNG

ĐỐI TƯỢNG VÀ DI CHUYỂN ĐẾN ĐỐI TƯỢNG

TRÊN NỀN TẢNG ROBOT NAO

TRƯƠNG NGỌC HẢI

BIÊN HÒA, THÁNG 11/2017

TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN

- -

BÁO CÁO NGHIÊN CỨU KHOA HỌC

ĐỀ TÀI:

XÂY DỰNG HỆ THỐNG NHẬN DẠNG

ĐỐI TƯỢNG VÀ DI CHUYỂN ĐẾN ĐỐI TƯỢNG

TRÊN NỀN TẢNG ROBOT NAO

Sinh viên thực hiện: Trương Ngọc Hải Giáo viên hướng dẫn: Th.S Nguyễn Minh Sơn

BIÊN HÒA, THÁNG 11/2017

Em xin được chân thành cám ơn các giảng viên trường Đại Học Lạc Hồng, các thầy

cô khoa Công Nghệ Thông Tin đã giảng dạy và hướng dẫn em trong suốt thời gian em

theo học tại trường

Em xin gởi lời cám ơn đến Th.S Nguyễn Minh Sơn, là giáo viên đã tận tình hướng

dẫn em hoàn thành đề tài nghiên cứu khoa học này

Em cũng xin gởi lời cám ơn đến Th.S Đoàn Thiện Minh, giáo viên phản biện đã góp

ý giúp em hoàn thiện ứng dụng tốt hơn

Em xin cám ơn các thầy, các cô trong khoa Công Nghệ Thông Tin đã có những ý

kiến đóng góp trong các buổi báo cáo tiến độ

Ngoài ra em xin cám ơn thầy Nguyễn Minh Phúc, giáo viên chủ nhiệm lớp 13SE111

và các bạn trong lớp cùng toàn thể gia đình và người thân đã giúp đỡ, động viên em

trong quá trình thực hiện đề tài này

Với vốn kiến thức còn hạn chế cùng những điều kiện khách quan không cho phép,

đề tài của em khó tránh khỏi những thiếu sót cũng như chưa đáp ứng đầy đủ được hết

các yêu cầu Do đó em hy vọng tiếp tục nhận được những ý kiến đóng góp và hướng

dẫn của quý thầy cô để đề tài của em được hoàn thiện hơn

Em xin chân thành cảm ơn

Biên Hòa, tháng 11 năm 2017

Sinh viên thực hiện

Trương Ngọc Hải

Phần mở đầu Trang

1 Lý do chọn đề tài 1

2 Lịch sử nghiên cứu 1

2.1 Trên thế giới 1

2.2 Trong nước 3

3 Mục tiêu nghiên cứu 4

4 Đối tượng và phạm vi nghiên cứu 4

4.1 Đối tượng nghiên cứu 4

4.2 Phạm vi nghiên cứu 4

5 Phương pháp nghiên cứu 5

6 Những đóng góp mới của đề tài và những vấn đề mà đề tài chưa thực hiện được 5

6.1 Những đóng góp mới 5

6.2 Những vấn đề chưa thực hiện được 5

7 Kết cấu của đề tài 5

Chương 1: TỔNG QUAN VỀ LÝ THUYẾT 6

1.1 Giới thiệu về Robot NAO 6

1.1.1 Các tính năng cơ bản 6

1.1.2 Cấu hình tổng thể 7

1.1.3 Cấu hình khớp 8

1.1.4 Hệ thống thị giác 8

1.1.5 Âm thanh 9

1.1.6 Phần mềm 9

1.1.7 Cách kết nối NAO 9

1.2 Chương trình Choregraphe 10

1.2.1 Giới thiệu và giao diện 10

1.2.1.1 Trình đơn 12

1.2.1.2 Box Libraries - thư viện hộp 13

1.2.1.3 Không gian sơ đồ 14

1.2.2 Hộp 15

1.2.2.1 Cấu trúc hộp 15

1.2.2.2 Tạo hộp 15

1.3 Tổng quan về Naoqi 16

1.4 Tiểu kết 16

Chương 2: TÌM HIỂU VÀ ỨNG DỤNG THƯ VIỆN TENSORFLOW VÀO ROBOT NAO 17

2.1 Giới thiệu về TensorFlow 17

2.1.1 Vài nét về thư viện TensorFlow 17

2.1.2 Cách cài đặt thư viện TensorFlow 18

2.2 Cách thức TensorFlow nhận dạng hình ảnh 19

2.3 Ứng dụng TensorFlow vào Robot NAO 20

2.3.1 Dữ liệu đầu vào 20

2.3.2 Xử lý hình ảnh 20

2.3.3 Kết quả trả về 21

2.4 Tiểu kết 21

Chương 3: XÂY DỰNG HỆ THỐNG NHẬN DẠNG ĐỐI TƯỢNG VÀ DI CHUYỂN ĐẾN ĐỐI TƯỢNG 22

3.1 Tổng quan về cách thức hệ thống hoạt động 22

3.2 Robot NAO nhận diện sọt rác 23

3.2.1 Hướng nhìn của NAO 23

3.2.2 Chụp hình 24

3.3 NAO xoay đúng hướng tới sọt rác 25

3.4 NAO di chuyển đến vị trí sọt rác 26

3.5 Hành động tay của Robot 27

3.6 Kết quả 31

3.7 Tiểu kết 32

Kết luận 33

Tài liệu tham khảo 34

Danh mục hình

Hình 1: Robot NAO bỏ vịt đồ chơi vào thùng rác 2

Hình 2: Hai Robot NAO được mua từ tập đoàn SoftBank trị giá gần 20000 USD của trường Đại Học Lạc Hồng 3

Hình 3: Sọt rác trong đề tài nghiên cứu 4

Hình 1-1: Cấu hình NAO 7

Hình 1-2: Tên và vị trí các khớp của NAO 8

Hình 1-3: Vị trí camera Robot NAO 8

Hình 1-4 Cấu hình micro Robot NAO 9

Hình 1-5: Giao tiếp với Robot NAO thông qua kết nối mạng 10

Hình 1-6: Chương trình Choregraphe hỗ trợ lập trình trên robot NAO 10

Hình 1-7: Giao diện Choregraphe 11

Hình 1-8: Chức năng nghe, nói của Robot 12

Hình 1-9: Thư viện hộp theo các chức năng 13

Hình 1-10: Sơ đồ thuật toán hộp 14

Hình 1-11: Trình Robot giả lập NAO 3D 14

Hình 1-12: Hộp 15

Hình 1-13: Bốn loại hộp người dùng có thể tạo thêm 16

Hình 2-1: Thư viện mã nguồn mở TensorFlow 17

Hình 2-2: Máy ảo VirtualBox cài đặt thư viện TensorFlow 18

Hình 2-3: Nhận dạng hình ảnh từ tool Image Recognition 19

Hình 2-4: Gửi ảnh từ sever NAO lên sever chứa thư viện TensorFlow 20

Hình 2-5: Câu lệnh chạy file Python cắt hình ảnh bo theo vật 20

Hình 2-6: chạy file Python “copy_loaiDoVat_Copy” để nhận diện đồ vật 21

Hình 2-7: NAO có thể nhìn và phát hiện ra sọt rác nhờ thư viện TensorFlow 21

Hình 3-1: Sơ đồ mô tả cách thức hoạt động của hệ thống 22

Hình 3-2: Sơ đồ thuật toán Robot NAO di chuyển đến đối tượng sọt rác 23

Hình 3-3: Hộp “Look At” 23

Hình 3-4: “Look At” được chuyển sang Python thuần 24

Hình 3-5: Hộp “Take Picture” 24

Hình 3-6: File Python có chức năng chụp ảnh trên Robot NAO 25

Hình 3-7: Thuật toán tính tọa độ giúp Robot xoay theo hướng trung tâm sọt rác 26

Hình 3-8: Hộp “Move Toward” 26

Hình 3-9: Thuật toán di chuyển và phát hiện vật cản 27

Hình 3-10: Dùng trình NAO 3D xem tọa độ các khớp tay NAO 27

Hình 3-12: Khuỷu vai phải đưa tay sang ngang 28

Hình 3-13: Khuỷu vai hoạt động chiêu đứng 28

Hình 3-14: Khuỷu tay với chức năng 29

Hình 3-15: Xoay khớp cổ tay 29

Hình 3-16: Robot đóng, mở lòng bàn tay 29

Hình 3-17: Sáu khớp tay Robot NAO 30

Hình 3-18: Thuật toán tay Robot NAO 30

Hình 3-19: Robot NAO cầm rác 31

Hình 3-20: NAO đi đến vị trí sọt rác 31

Hình 3-21: NAO bỏ rác vào sọt 32

Danh mục bảng Bảng 1-1: Thông số cơ bản của Robot NAO 6

Bảng 1-2: Chức năng trình đơn Choregraphe 12

Bảng 1-3: Chi tiết cấu hình hộp 15

Phần mở đầu

1 Lý do chọn đề tài

Ngày nay, xu hướng công nghiệp hóa, hiện đại hóa trên toàn thế giới đang phát triển mạnh mẽ Đi cùng với nó, nhu cầu trong cuộc sống của con người ngày càng tăng cao, việc một Robot giúp việc phụ giúp cho con người trong công việc tương lai sẽ là điều không còn xa lạ gì nữa

Thế giới đi lên, internet truyền bá rộng rãi, khoa học công nghệ phủ sóng toàn cầu, cuộc đua công nghệ diễn ra khắp nơi, cũng chính vì thế, ngành công nghiệp chế tạo Robot thông minh phục vụ con người đang dần chiếm lĩnh vị thế Nổi bật kể đến là Robot NAO do tập đoàn SoftBank Corp – Nhật Bản sản xuất

Bên cạnh đó, sự phát triển của công nghệ thông tin - kỹ thuật phần mềm kết hợp lập trình nhúng trên Robot NAO giúp Robot ngày càng thông minh thu hút được chú ý từ cộng đồng nhiều hơn

Với sự giúp đỡ của internet, con người có thể điều khiển Robot thông qua mạng trên các thiết bị số như điện thoại, máy tính bảng, máy tính xách tay cực kì đơn giản Để làm được những điều trên, cần có lập trình viên Lập trình viên sẽ viết ra ứng dụng cho Robot, những ứng dụng này sẽ giúp Robot trở nên thông minh hơn

Đề tài “Xây dựng hệ thống nhận dạng đối tượng và di chuyển đến đối tượng trên nền tảng Robot NAO” được tác giả viết ra hy vọng góp một phần nhỏ vào công cuộc cách mạng phát triển Robot

Với việc nghiên cứu đề tài này, tác giả xây dựng một ứng dụng giúp Robot NAO có thể nhận biết được đối tượng là sọt rác, xác định vị trí nơi đặt sọt rác và di chuyển đến

2 Lịch sử nghiên cứu

2.1 Trên thế giới

Dự án Robot NAO được bắt đầu phát triển từ năm 2004 Bốn năm sau, năm 2008 – công ty Aldebaran Robotics thuộc tập đoàn SoftBank Corp - Nhật Bản cho ra đời phiên bản đầu tiên của Robot NAO Trải qua nhiều lần cập nhật, Robot NAO được nâng cấp dần dần trở nên hoàn thiện hơn, kèm theo đó, những ứng dụng được viết cho Robot ngày càng nhiều về các lĩnh vực khác nhau Tác giả tìm thấy được một đoạn video trên kênh Youtube, nội dung đoạn video giới thiệu về Robot NAO trong đó kèm theo ứng dụng Robot NAO di chuyển đến thùng rác [1]

Đoạn video trên được người dùng có tên tài khoản Youtube là “awesomo2001” đăng tải lên vào ngày 30 tháng 10 năm 2008 Nội dung của đoạn video cho thấy Robot NAO

sẽ nhặt, mang chú vịt đồ chơi trên sàn nhà đến vị trí thùng rác hướng trước mặt của Robot và bỏ vào

Cách thức hoạt động của Robot trong đoạn video trên được hiểu theo 2 chiều hướng:

 Chiều hướng thứ nhất: có thể người làm ra video trên cài đặt tất cả các hành động của Robot NAO trên phương diện tính toán từ trước Cụ thể, có thể hiểu như vị trí của Robot được đặt đúng tại một điểm, vị trí sọt rác cũng tương tự, được đặt ở một điểm cách Robot NAO một đoạn trong phạm vi hướng trước mặt Robot, khoảng cách từ NAO đến thùng rác cũng được tính toán sẵn, lúc này Robot chỉ việc di chuyển theo đúng hướng, đúng chiều dài đoạn đường đến sọt rác, sau đó bỏ chú vịt đồ chơi vào sọt rác là hoàn thành công việc

 Chiều hướng thứ hai: Robot NAO tự động hóa hành vi Theo chiều hướng này, Robot sẽ thông minh hơn rất nhiều Không cần cố định vị trí, tính toán khoảng cách đoạn đường, tất cả các công việc này Robot sẽ tự động làm tất

cả Chính xác thì Robot NAO có thể đứng bất kì đâu, sọt rác được đặt bất kì nơi nào, trong môi trường không gian trống, không có vật cản, không che mất đi tầm nhìn của Robot, Robot NAO sẽ tìm vị trí nơi đặt thùng rác và di chuyển đến đó, bỏ đồ vật cầm trên tay vào thùng

Đây là hai chiều hướng mà tác giả nghĩ ra sau khi xem đoạn video Tất nhiên, nếu

so sánh, theo chiều hướng thứ hai, sẽ có được một Robot tương đối hoàn hảo hơn nhiều với chiều hướng thứ nhất Tác giả cũng đã dựa theo chiều hướng thứ hai này mà quyết định làm dự án nghiên cứu khoa học với tên đề tài “Xây dựng hệ thống nhận dạng đối tượng và di chuyển đến đối tượng trên nền tảng Robot NAO” để giúp Robot có thể thông minh hơn

Hình 1: Robot NAO bỏ vịt đồ chơi vào thùng tác

2.2 Trong nước

Ngày 23/11/2013, vòng chung kết Mobile Robot Challenge diễn ra tại Đại Học FPT, khu công nghệ cao Hòa Lạc, Hà Nội với nội dung thi là Robot tìm cúp trong mê cung Sinh viên Đại Học FPT, Đại Học Bách Khoa, Đại Học Công Nghệ và Học Viện Bưu Chính Viễn Thông phải lập trình giúp Robot tìm đường trong mê cung, đến và giơ được chiếc Cup đặt ở trung tâm ma trận Robot của các đội thường xuyên đụng tường hoặc xoay tròn trong mê cung Các đội đều phải xin ban giám khảo “retry” (đi lại) nhiều lần mới đến được khu vực đặt Cup và Đại Học Công Nghệ là đội dành chiến thắng tuyệt đối [2]

Hiện nay, trong nước cũng đã có một số công ty, tập đoàn, trường học sử dụng Robot NAO để nghiên cứu và ứng dụng vào thực tiễn Trong đó, có trường Đại Học Lạc Hồng Ngày 14/11/2016, trường Đại Học Lạc Hồng tiếp nhận 2 Robot NAO với giá gần 20.000 USD được mua từ tập đoàn SoftBank đến từ Nhật Bản để giúp sinh viên tiếp cận với công nghệ Robot tiên tiến nhất [3]

Với sự hỗ trợ Robot NAO từ nhà trường, tác giả đã quyết định làm đề tài nghiên cứu khoa học về Robot NAO để đóng góp một phần công sức của mình tạo nên một NAO thông minh hơn tại phòng nghiên cứu khoa học Công Nghệ Thông Tin B304 – Cơ sở 1

- trường Đại Học Lạc Hồng

Hình 2: Hai Robot NAO được mua từ tập đoàn SoftBank trị giá gần 20000 USD của trường

Đại Học Lạc Hồng

3 Mục tiêu nghiên cứu

Đề tài được thực hiện với mục tiêu xây dựng một ứng dụng cho Robot NAO có thể nhận dạng được sọt rác, mang rác đến sọt rác và bỏ rác vào Nội dung chi tiết mục tiêu bao gồm:

 Tìm hiểu về Robot NAO

 Ứng dụng thư viện Tensorflow vào Robot NAO giúp cho Robot NAO có thể nhận diện được sọt rác

 Robot NAO có thể xác định phương hướng – xoay đúng hướng tới đồ vật chỉ định (cụ thể đồ vật mục tiêu nghiên cứu của tác giả là sọt rác) với không gian trong một phòng trống không có vật cản, sọt rác nằm trong tầm nhìn của NAO

 Robot NAO có thể đi tới được vị trí nơi đặt sọt rác trong phòng

4 Đối tượng và phạm vi nghiên cứu

4.1 Đối tượng nghiên cứu

5 Phương pháp nghiên cứu

 Sử dụng phương pháp học máy – bộ công cụ TensorFlow để Robot NAO nhận dạng đối tượng sọt rác

 Xác định tọa độ sọt rác nhờ thư viện OpenCV

 Cài đặt hành động di chuyển của NAO bằng chương trình Choregraphe kết hợp code Python

6 Những đóng góp mới của đề tài và những vấn đề mà đề tài chưa thực hiện được 6.1 Những đóng góp mới

 Robot NAO có thể di chuyển và dừng lại khi có vật cản phía trước,

 Triển khai bài toán nhận diện đối tượng và di chuyển đến đối tượng,

 Phát triển ứng dụng giúp NAO trở nên thông minh hơn

6.2 Những vấn đề chưa thực hiện được

Đề tài chỉ là bản demo giúp Robot NAO có thể nhận dạng và di chuyển đến đối tượng

là sọt rác Trong tương lai, ứng dụng cần phải trải qua nâng cấp thêm

7 Kết cấu của đề tài

Báo cáo được chia làm ba phần: phần mở đầu, phần nội dung và phần kết luận

Phần mở đầu

Nêu lý do chọn đề tài, tổng quan tình hình nghiên cứu, phát triển trong và ngoài nước, mục tiêu nghiên cứu đề tài, đối tượng, phạm vi, phương pháp nghiên cứu cũng như những đóng góp mới của đề tài

Phần nội dung chính: gồm ba chương

 Chương 1: Tổng Quan Về Lý Thuyết

Trong chương này, tác giả sẽ trình bày giới thiệu lý thuyết về Robot NAO, chương trình Choregraphe

 Chương 2: Tìm Hiểu Thư Viện TensorFlow

Giới thiệu về thư viện TensorFlow, ứng dụng TensorFlow vào Robot NAO

 Chương 3: Xây Dựng Hệ Thống Nhận Dạng Đối Tượng Và Di Chuyển Đến

Chương 1: TỔNG QUAN VỀ LÝ THUYẾT 1.1 Giới thiệu về Robot NAO

Trong những năm gần đây, Robot đang thay thế và hỗ trợ con người trong nhiều lĩnh vực như sản xuất, giáo dục và dịch vụ Phạm vi ứng dụng của Robot sẽ được mở rộng hơn trong tương lai gần Đặc biệt, Robot hình người đang thu hút nhiều sự chú ý nhất

so với các loại Robot khác vì chúng trông giống con người nên có vẻ thân thiện hơn và được công nhận là phù hợp hơn để giúp đỡ con người Ngày càng có nhiều Robot hình người được chế tạo, và trong số đó, Robot NAO từ công ty Aldebaran Robotics là Robot hình người nổi tiếng nhất thế giới đang được sử dụng trong giáo dục và nghiên cứu

5 Hệ điều hành Gentoo (GNU/Linux)

Robot có các cảm biến đa dạng như cảm biến gyro 2 trục, cảm biến siêu âm , có thể hoạt động đa phương tiện được thực hiện qua camera, micro và loa

Hệ thống NAO sử dụng hệ điều hành Gentoo Linux Hoạt động tổng thể của NAO được quản lý bởi bộ khung NAOqi khi người dùng và hệ thống giao tiếp với nhau DCM (bộ quản lý giao tiếp thiết bị - Device Communication Manager) quản lý giao tiếp giữa các thiết bị NAO như cơ cấu chấp hành và các cảm biến [4]

1.1.2 Cấu hình tổng thể

Robot NAO có tổng cộng 25 khớp nối, được chia thành đầu (2), cánh tay (12), hông (1), chân (10) Các khớp cánh tay và chân đối xứng trái phải với nhau Có các cảm biến hiệu ứng Hall (32), cảm biến tiếp xúc (3), cảm biến hồng ngoại (2), cảm biến siêu âm (2), 1 cảm biến con quay hồi chuyển 2 trục (1), cảm biến gia tốc 3 trục (2), cảm biến giảm áp (8) và giảm xóc (2) Ngoài ra còn có camera (2), micro (4), loa (2) cho việc xử lý hình ảnh và giọng nói

Phần đầu của NAO có một hệ thống nhúng để điều khiển toàn diện, một vi điều khiển ARM trong ngực để điều khiển động cơ và năng lượng

Hình 1-1: Cấu hình NAO

1.1.3 Cấu hình khớp

Hình 1-2: Tên và vị trí các khớp của NAO

Hình 1-2 mô tả chi tiết cấu hình các khớp bên trong Robot NAO Cơ cấu vận hành các khớp của NAO được phân thành bốn loại khác nhau tùy thuộc vào hiệu suất động cơ và độ giảm tỷ số truyền

1.1.4 Hệ thống thị giác

 Có hai camera được gắn với Robot NAO

Hình 1-3: Vị trí camera Robot NAO

 Camera trên tập trung vào phía trước trong khi camera dưới tập trung vào phần chân

 Hệ thống thị giác có thể được dùng để thực hiện nhận diện điểm mốc, nhận diện gương mặt, nhận diện vật thể, ghi hình

 Hỗ trợ cho quá trình nhận diện sọt rác trong đề tài xây dựng hệ thống Robot NAO nhận dạng đối tượng và di chuyển đến đối tượng của tác giả

1.1.5 Âm thanh

 Robot NAO có 4 micro: một ở mỗi bên tai, một ở phía trước và một ở sau đầu

 Có 2 loa: mỗi loa gắn tương ứng với một bên tai

 Các loa có thể được sử dụng để chơi nhạc và đọc văn bản do người dùng nhập Bốn micro có thể sử dụng để ghi âm giọng nói, chúng còn

có chức năng nhận diện vị trí phát ra âm thanh

1.1.6 Phần mềm

NAO cung cấp phần mềm phát triển là Choregraphe

Choregraphe là một công cụ phát triển nền tảng đồ họa dễ sử dụng – ngay

cả những người dùng mới bắt đầu cũng có thể dễ dàng xử lý Đây cũng là phần mềm chính để người dùng thao tác với robot NAO

1.1.7 Cách kết nối NAO

NAO có thể giao tiếp với máy tính thông qua kết nối có dây bằng cáp Ethernet hoặc kết nối không dây sử dụng thông qua mạng Wifi Tuy nhiên, để

sử dụng được kết nối không dây, bạn phải thiết lập nó trước

Các bước thiết lập kết nối robot NAO với mạng Wifi:

 Bước 1: Laptop hoặc PC kết nối đến Wifi cần thiết lập cho robot NAO

 Bước 2: cắm dây ethernet từ NAO đến cổng thiết bị ethernet Laptop,

PC của bạn

Hình 1-4 Cấu hình micro Robot NAO

 Bước 3: mở Choregraphe lên, chọn vào biểu tượng (hoặc ấn tổ hợp phím tắt Ctrl + Shift + C) để xem địa chỉ IP của robot NAO Ngoài ra, cũng có thể ấn vào nút nguồn ở giữa ngực robot để nghe robot đọc địa chỉ IP

 Bước 4: nhập địa chỉ IP vừa tìm được của NAO vào trình duyệt web với tài khoản và mật khẩu mặc định là “nao”

 Bước 5: tiến hành cấu hình kết nối NAO đến Wifi cần kết nối

1.2 Chương trình Choregraphe

Choregraphe là một công cụ lập trình trên nền tảng đồ họa để vận hành robot NAO

Hình 1-6: Chương trình Choregraphe hỗ trợ lập trình trên robot NAO

1.2.1 Giới thiệu và giao diện

Choregraphe (version 2.1.4) là một ứng dụng đa nền tảng có thể thực hiện gần như tất cả các hoạt động của NAO bằng lập trình dựa trên đồ họa Không giống như lập trình dựa trên văn bản, lập trình dựa trên đồ họa ít tập trung hơn vào ngữ pháp, và công tác lập trình được thực hiện chủ yếu nhờ sử dụng chuột

là nhiều thay vì dùng bàn phím để viết thuần mã code

Trong hệ thống Robot NAO nhận dạng và di chuyển đến đối tượng của tác giả, Choregraphe giữ vai trò xem camera chụp hình và giám sát hành động Robot

Hình 1-5: Giao tiếp với Robot NAO thông qua kết nối mạng

Tác giả sử dụng chương trình Choregraphe để có thể xem được tầm nhìn trực tiếp từ Robot NAO, đồng thời là những hành động, cử chỉ từ trình Robot view

Choregraphe được sử dụng trong cả Windows, Linux và Mac OS Việc thực hiện các hành động của NAO trong Choregraphe là việc kết nối các yếu tố hỗ trợ sẵn tạo thành một nhóm chuỗi thuật toán

Giao diện Choregraphe được chia thành 4 nhóm chính:

- Trong phần trình đơn, chọn “File”  “Open recent project”, chọn đến

project được tạo gần đây có tên “HelloNAO”

- Lúc này, project “HelloNAO” sẽ được mở lên, các hộp chức năng được

lấy từ thư viện hộp hiển thị trong không gian sơ đồ

Hình 1-7: Giao diện Choregraphe

- Tiến hành chạy ứng dụng bằng cách ấn vào icon mũi tên màu xanh có trên

trình đơn hoặc phím F5

- Chọn menu “View” trên trình đơn, tích chọn “Robot View” để hiển thị

không gian NAO 3D, xem hoạt động của robot

Ứng dụng trên thể hiện các miêu tả, chức năng và cách thức thực hiện trong choregraphe gồm:

1.2.1.1 Trình đơn

Trong phần Menu, có một trình đơn thả xuống với các mục File (tập tin), Edit (chỉnh sửa), Connection (kết nối), Behaviors (hành vi), View (xem), Help (trợ giúp) Từng chức năng được miêu tả sau đây:

Bảng 1-2: Chức năng trình đơn Choregraphe

Trình đơn File

- New project: Tạo một dự án mới

- Open project: Mở một dự án

- Open recent project: Mở dự án gần đây nhất

- Save project: Lưu dự án

- Exit thoát khỏi project

Trình đơn Edit

- Undo: Hủy thao tác vừa thực hiện

- Redo: Thực hiện lại thao tác vừa hũy bỏ

- Preferences: Cấu hình môi trường Choregraphe

Hình 1-8: Chức năng nghe, nói của Robot

Trình đơn Connection

- Connection to: Kết nối từ Choregraphe tới NAO

- Disconnet: Ngắt kết nối với NAO

- Upload to the robot Play: Gữi và thực hiện chương trình trên NAO

- Stop: Dừng chương trình trên NAO

- Connect to vitual robot: Kết nối với NAO trong môi trường mô phỏng

Trình đơn Behaviors

- Kết nối từ Choregraphe tới NAO

- Ngắt kết nối tời NAO

Nạp và chạy chương trình trên NAO

Trình đơn View

- Robot View: Kích hoạt NAO 3D trong môi trường làm việc Choregraphe

- Video monitor: Trình giám sát video

- Pose library: Kích hoạt danh sách hộp( Box List)

1.2.1.2 Box Libraries - thư viện hộp

Thư viện hộp được hiểu là file lưu trữ những hộp có cùng chức năng Được chia thành 14 loại và bao gồm khoảng 70 hộp Mỗi hợp đều mang đặc tính, công dụng riêng Tìm hiểu chi tiết hơn về hộp trong mục 1.2.2

Hình 1-9: Thư viện hộp theo các chức năng