Nhận diện hình ảnh qua camera trên điện thoại dùng Android: luận văn thạc sĩ

nghệ AR còn giúp chúng ta làm xuất hiện những đồ vật 2D hay 3D trong trí tưởng tượng bằng các dữ liệu đã được mã hoá thông qua các lớp thông tin hỗ trợ và được hiển thị trên các thiết bị

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG

LỜI CẢM ƠN

Cảm ơn các bạn đồng khóa và gia đình đã động viên, giúp đỡ tôi rất nhiều trong quá trình học tập cũng như trong thời gian thực hiện khoá luận Tôi xin chân thành cảm ơn Phòng Sau Đại học – trường Đại học Lạc Hồng đã tạo điều kiện cho tôi thực hiện đề tài tốt nghiệp này

Tôi xin chân thành cảm ơn quý Thầy, Cô Khoa Công nghệ Thông tin, trường Đại học Lạc Hồng đã giảng dạy và giúp đỡ tôi trong suốt quá trình học tập và thực hiện đề tài

Xin cảm ơn TS Nguyễn Quang Tấn - Khoa Công nghệ Thông tin - trường Đại học Sư phạm TP Hồ Chí Minh, người đã tận tình hướng dẫn, chỉ bảo tôi trong suốt thời gian thực hiện đề tài Trong thời gian làm việc với Thầy, tôi không những học hỏi được nhiều kiến thức bổ ích mà còn học được tinh thần làm việc và thái độ nghiên cứu khoa học nghiêm túc của Thầy

Xin gửi lời cảm ơn chân thành đến gia đình và bè bạn vì đã luôn là nguồn động viên to lớn, giúp đỡ tôi vượt qua những khó khăn trong suốt quá trình làm việc

Để hoàn thành một đề tài không phải là công việc dễ dàng, mặc dù tôi đã cố gắng hoàn thiện luận văn với tất cả sự nỗ lực của bản thân và nhận được sự hỗ trợ từ nhiều người, nhưng chắc chắn không thể tránh khỏi những thiếu sót Kính mong quý Thầy Cô tận tình chỉ bảo

Một lần nữa, tôi xin chân thành cảm ơn và luôn mong nhận được sự đóng góp quý báu của tất cả mọi người Cảm ơn tất cả những gì mà mọi người đã dành cho tôi trong suốt thời gian qua

Đồng Nai, ngày 01 tháng 08 năm 2016

Trân trọng

Hồ Thị Xuân Phương

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn thạc sỹ công nghệ thông tin: “Nhận diện hình ảnh qua camera trên điện thoại di động dùng Android” là kết quả của quá trình học tập, nghiên cứu khoa học độc lập, nghiêm túc

Các số liệu trong luận văn là trung thực, có nguồn gốc rõ ràng, đƣợc trích dẫn và có tính kế thừa, phát triển từ các tài liệu, tạp chí, các công trình nghiên cứu

MỤC LỤC

Trang LỜI CẢM ƠN

LỜI CAM ĐOAN

TÓM TẮT

MỤC LỤC

DANH MỤC CÁC TỪ VIẾT TẮT

DANH MỤC CÁC BẢNG BIỂU

DANH MỤC CÁC HÌNH VẼ

CHƯƠNG 1: TỔNG QUAN 4

1.1 Lý do chọn đề tài 4

1.2 Yêu cầu, nội dung và phương pháp nghiên cứu 5

1.2.1 Yêu cầu của đề tài 5

1.2.2 Nội dung và phương pháp nghiên cứu 5

1.3 Ý nghĩa khoa học và thực tiễn 6

1.3.1 Điểm mới của đề tài 6

1.3.2 Dự kiến kết quả đạt được 6

1.4 Tổng quan về lĩnh vực nghiên cứu 6

1.4.1 Các hướng nghiên cứu trong nước 7

1.4.2 Các hướng nghiên cứu ngoài nước 8

1.4.3 Hướng giải quyết 10

1.5 Cấu trúc của luận văn 11

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 12

2.1 Xu hướng xây dựng ứng dụng giáo dục trên thiết bị di động 12

2.2 Tìm hiểu về Thực tại tăng cường ảo - Augmented Reality (AR) 13

2.2.1 Tổng quan về Thực tại tăng cường ảo 13

2.2.1.1 Thực tại tăng cường ảo là gì? 13

2.2.1.2 Sơ lược về Lịch sử phát triển của Thực tại tăng cường ảo 13

2.2.1.3 Các thành phần của một hệ thống Thực tại tăng cường ảo 14

2.2.1.4 Các lĩnh vực ứng dụng của Thực tại tăng cường ảo 15

2.2.2 Phương pháp nhận dạng cảnh trong Augmented Reality 17

2.2.2.1 Markerless là gì? 17

2.2.2.2 Cơ chế nhận diện Markerless 18

2.3 Tìm hiểu về Vuforia Software Development Kit (SDK) 21

2.3.1 Tổng quan hệ thống Vuforia 21

2.3.2 Cấu trúc của Vuforia 23

2.3.3 Trackables 26

2.3.3.1 Khái niệm Target 26

2.3.3.2 Image Target 27

2.3.3.3 Multi Target 28

2.3.3.4 Frame Marker 29

2.3.3.5 Virtual Buttons 29

2.3.4 Hệ thống quản lý Target 30

2.4 Tìm hiểu môi trường Unity3D 32

2.4.1 Giới thiệu về Unity3D 32

2.4.2 Các khái niệm trong Unity 32

2.4.2.1 Assets 32

2.4.2.2 Scenes 33

2.4.2.3 Game Objects 34

2.4.2.4 Components 35

2.4.2.5 Scripts 35

2.4.2.6 Prefabs 38

2.4.3 Giao diện của Unity 38

2.4.3.1 Giao diện 38

2.4.3.2 Cửa sổ Scene và Hierarchy 39

2.4.3.3 Cửa sổ Project 40

2.4.3.4 Cửa sổ Inspector 40

2.4.3.5 Load mô hình 3D 41

2.4.3.6 Phần mở rộng Vuforia AR cho Unity 41

2.4.4 Cơ bản về Camera trong Unity 42

2.4.4.1 Các khái niệm cơ bản 42

2.4.4.2 Camera trong Unity 42

2.4.5 Tạo ứng dụng AR đơn giản 44

2.4.5.1 Thiết lập tài nguyên với Vuforia 44

2.4.5.2 Tích hợp Vuforia vào Unity 48

2.4.5.3 Triển khai ứng dụng AR đơn giản 53

2.5.1 Vài nét giới thiệu về CNTT trong dạy học 57

2.5.2 Ứng dụng công nghệ trong dạy học 58

CHƯƠNG 3: XÂY DỰNG ỨNG DỤNG 60

3.1 Giới thiệu ứng dụng 60

3.1.1 Giao diện ứng dụng 60

3.1.2 Hệ thống ứng dụng 62

3.2 Môi trường và công cụ phát triển 62

3.2.1 Môi trường phát triển 62

3.2.2 Công cụ phát triển 63

3.3 Phân tích yêu cầu 63

3.3.1 Sơ đồ và đặc tả usecase 63

3.3.1.1 Sơ đồ usecase 63

3.3.1.2 Đặc tả Usecase 63

3.3.2 Lược đồ tuần tự 65

3.3.2.1 Xem video 65

3.3.2.2 Xem mô hình 3D 66

3.3.2.3 Tương tác chuyển động 66

3.4 Thiết kế 66

3.4.1 Thiết kế cơ sở dữ liệu 66

3.4.1.1 Dữ liệu hình ảnh 67

3.4.1.2 Dữ liệu Video 67

3.4.1.3 Dữ liệu mô hình 3D 68

3.4.2 Mục tiêu 68

CHƯƠNG 4: CÀI ĐẶT KIỂM THỬ 70

4.1 Yêu cầu hệ thống 70

4.2 Cài đặt 70

4.3 Kiểm thử 73

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 74 TÀI LIỆU THAM KHẢO

DANH MỤC CÁC TỪ VIẾT TẮT

AR Augmented Reality Tăng cường thực tại ảo

API Application Programming Interface Giao diện lập trình ứng dụng APK Android Application Package Bộ cài đặt ứng dụng trên Android ACS Affine Coordinate System Hệ tọa độ afin

CMS Content Management System Hệ thống quản trị nội dung

GPS Global Positioning System Hệ thống định vị toàn cầu

HMD Head Mounted Display Màn hiển thị đội đầu

IDE Development Environment Môi trường phát triển tích hợp

SDK Software Development Kit Bộ công cụ phát triển phần mềm

DANH MỤC CÁC BẢNG BIỂU

Trang

Bảng 2.1: Các thuộc tính tùy chỉnh trong Inspector 43

Bảng 3.1: Môi trường phát triển 62

Bảng 3.2: Danh sách Usecase của hệ thống 63

Bảng 3.3: Đặc tả usecase xem thông tin video 64

Bảng 3.4: Đặc tả usecase xem mô hình 3D 64

Bảng 3.5: Đặc tả usecase tương tác chuyển động 65

Bảng 3.6: Ưu và nhược điểm của Device Database 68

Bảng 4.1: Thiết bị di động kiểm thử ứng dụng 70

DANH MỤC CÁC HÌNH ẢNH

Trang

Hình 1.1: Giới thiệu công nghệ Anatomy 4D 8

Hình 1.2: Ứng dụng Advanced English & Thesaurus 9

Hình 1.3: Giới thiệu colAR Mix 10

Hình 2.1: Giới thiệu một số ứng dụng giáo dục 12

Hình 2.2: Giới thiệu một số ứng dụng trên Store 12

Hình 2.3: Ảnh minh họa công nghệ AR 13

Hình 2.4: Lược sử công nghệ Augmented Reality 14

Hình 2.5: Các thành phần của hệ thống AR 14

Hình 2.6: Kiến trúc của một hệ thống AR 15

Hình 2.7: Sản phẩm Game VitaSoccers 15

Hình 2.8: Thử đồng hồ bằng ứng dụng AR 16

Hình 2.9: Sửa chữa xe ô tô thông qua các thông số từ ứng dụng AR 16

Hình 2.10: Tái tạo của gan ứng dụng công nghệ AR 17

Hình 2.11: Hình ảnh minh hoạ AR Markerless 17

Hình 2.12: Cơ chế hoạt động của kỹ thuật Vision-Based Tracking 20

Hình 2.13: Các quá trình hoạt động sử dụng kỹ thuật tương tác thực 21

Hình 2.14: Icon hãng Vuforia 21

Hình 2.15: Vuforia Augmented Reality SDK 22

Hình 2.16: Development Patform 22

Hình 2.17: Hệ thống quản lý mục tiêu của Vuforia 23

Hình 2.18: Sơ đồ hoạt động Vuforia AR SDK 23

Hình 2.19: Khởi tạo thành phần Camera trong Unity 24

Hình 2.20: Trạng thái đối tượng được trả về bởi các Renderer 25

Hình 2.21: Hình ảnh minh họa Targe 26

Hình 2.22: Hệ trục tọa độ 27

Hình 2.23: Đặc trưng để nhận diện Image Targets 27

Hình 2.24: Hình ảnh minh hoạ Multi Target 28

Hình 2.25: Hình ảnh minh họa Frame Marker 29

Hình 2.26: Hình ảnh minh hoạ Virtual Buttons 30

Hình 2.27: Minh họa upload Target lên hệ thống 30

Hình 2.28: Chi phí dịch vụ Cloud Recognition 31

Hình 2.29: Icon hãng Engine Unity 32

Hình 2.30: Hình cấu trúc thƣ mục Assets trong Unity 33

Hình 2.31: Download Easy Movie Texture trong Unity 33

Hình 2.32: Giao diện thƣ mục Scenes của Unity 34

Hình 2.33: Giao diện kéo thả tài nguyên vào Scene để sử dụng 34

Hình 2.34: Các thành phần trong đối tƣợng Camera 35

Hình 2.35: Hình tạo các file script mới 36

Hình 2.36: Giao diện cửa sổ làm việc công cụ MonoDevelop 36

Hình 2.37: File script đang gắn vào đối tƣợng 37

Hình 2.38: Hình giao diện các đối tƣợng trong Prefabs 38

Hình 2.39: Giao diện Editor của Unity 38

Hình 2.40: Đối tƣợng trong Scene và Hierarchy 39

Hình 2.41: Giao diện cửa sổ Project 40

Hình 2.42: Cửa sổ Inspector hiển thị thông tin đối tƣợng 41

Hình 2.43: Góc mở của camera Perspective 42

Hình 2.44: Giao diện thiết lập Camera trong Unity 43

Hình 2.45: Trang Vuforia Developer Portal 44

Hình 2.46: Trang tạo license key cho ứng dụng 44

Hình 2.47: Trang quản lý license key 45

Hình 2.48:Trang hiện mã bản quyền cho ứng dụng 45

Hình 2.49: Trang tạo cơ sở dữ liệu cho ứng dụng 45

Hình 2.50: Trang upload hình ảnh mục tiêu của Vuforia 46

Hình 2.51: Trang cơ sở dữ liệu Device của Vuforia 47

Hình 2.52: Trang điểm đặc trƣng nhận diện của hình ảnh 47

Hình 2.53: Trang download gói Dataset cho Unity 47

Hình 2.54: Màn hình giao diện tạo project mới của Unity 48

Hình 2.55: Màn hình giao diện import gói Dataset cho Unity 48

Hình 2.56: Màn hình giao diện cửa sổ Project của Unity 49

Hình 2.57: Màn hình giao diện import gói mở rộng Vuforia dành cho Unity 49

Hình 2.58: Trang Asset Store cho 3D Models 50

Hình 2.59: Giao diện cấu trúc thƣ mục bên trong Assets 50

Hình 2.60: Màn hình giao diện ARCamera prefab 51

Hình 2.61: Màn hình giao diện Game View 51

Hình 2.62: Giao diện thiết lập Image Target trong Unity 52

Hình 2.63: Màn hình giao diện Scene View 53

Hình 2.64: Giao diện kích hoạt Image Target Database 53

Hình 2.65: Giao diện chạy ứng dụng trên Unity3D 54

Hình 2.66: Màn hình kiểm tra công cụ ngoài cho Android 54

Hình 2.67: Màn hình giao diện xây dựng file APK 55

Hình 2.68: Màn hình giao diện thiết lập thông tin cho ứng dụng 55

Hình 2.69: Kết quả chạy ứng dụng trên thiết bị Android 56

Hình 2.70: Mô hình đổi mới phương pháp dạy học 57

Hình 2.71: Mô hình phát triển chuyên môn ứng dụng CNTT 58

Hình 2.72: Cách tiếp cận hướng dẫn học tập với công nghệ 58

Hình 2.73: Mô hình hoạt động dạy học theo công nghệ 59

Hình 3.1: Màn hình thiết kế giao diện chương trình ban đầu 60

Hình 3.2: Màn hình hiển thị thông tin video 61

Hình 3.3: Màn hình hiển thị mô hình 3D 61

Hình 3.4: Mô hình hệ thống ứng dụng 62

Hình 3.5: Sơ đồ Usecase của hệ thống 63

Hình 3.6: Lược đồ tuần tự chức năng xem thông tin video 65

Hình 3.7: Lược đồ tuần tự chức năng xem mô hình 3D 66

Hình 3.8: Lược đồ tuần tự chức năng tương tác chuyển động 3D 66

Hình 3.9: Dữ liệu hình ảnh mục tiêu cho video 67

Hình 3.10: Dữ liệu hình ảnh hiển thị đối tượng 3D 67

Hình 3.11: Hình ảnh dữ liệu video 67

Hình 3.12: Hình ảnh dữ liệu 3D 68

Hình 3.13: Mô hình 3D sau khi import vào dự án Unity3D 68

Hình 3.14: Hình mục tiêu lưu trữ Device Database 69

Hình 3.15: Gói mục tiêu hình ảnh và gói mở rộng dành cho Unity 69

Hình 4.1: Tập tin APK 71

Hình 4.2: Duyệt đến file APK cần cài đặt 71

Hình 4.3: Ứng dụng tiến hành cài đặt 72

Hình 4.4: Quá trình cài đặt hoàn tất 72

CHƯƠNG 1: TỔNG QUAN

1.1 Lý do chọn đề tài

Trong những năm qua, ngành giáo dục đã thực hiện hàng loạt những cải cách quan trọng nhằm nâng cao hiệu quả chất lượng dạy và học Những đợt cải cách đã phần nào đem lại nhiều kết quả khả quan, cơ sở vật chất được nâng cấp, chất lượng dạy và học được cải thiện Tuy nhiên, bên cạnh đó, chương trình giáo dục vẫn còn nhiều điểm chưa hợp lý gây nên bức xúc cho cộng đồng học sinh và phụ huynh Đặc biệt, đối với cấp bậc trung học phổ thông, chương trình học tập dành cho các

em luôn bị báo động là quá tải Các chương trình trong sách giáo khoa thiết kế chưa phù hợp, các bài học lý thuyết với những hình ảnh khô khan nhàm chán khiến các

em thụ động hơn trong học tập Để làm tăng tính chủ động trong học tập, các chương trình giáo dục lý thuyết lẫn thực tiễn đều cần kích thích sự năng động của học sinh Từ đó, chất lượng giáo dục sẽ được cải thiện

Với sự bùng nổ mạnh mẽ của ngành công nghiệp di động, các em học sinh cũng được tiếp xúc với các thiết bị di động sớm hơn Tuy nhiên, đối với các em, các thiết

bị di động không có gì khác hơn là một thiết bị mang tính chất giải trí đơn thuần Hầu hết các em đều chỉ biết nghe nhạc, xem phim, chơi game… Điều này không tốt đối với các em đang trong giai đoạn chuẩn bị thi tốt nghiệp trung học phổ thông và xét tuyển vào đại học để lựa chọn xác định ngành nghề cho tương lai Với bản tính năng động, ham tìm tòi, học hỏi vốn có của lứa tuổi sắp sửa bước vào ngưỡng cửa đại học, nếu biết cách tận dụng ưu thế của các thiết bị di động vào lĩnh vực giáo dục, chắc chắn nó sẽ mang lại một hướng đi hiệu quả cho ngành giáo dục

Ngày nay, những công nghệ hiện đại trong lĩnh vực máy tính không ngừng phát triển và gia tăng Không những trong khoa học mà trong đời sống hằng ngày, chúng

ta cũng có thể thấy được sự tiến bộ trong lĩnh vực máy tính Để tiến bộ hơn nữa con người đã không ngừng nghiên cứu và phát minh ra những công nghệ mới, phục vụ cho đời sống Trong đó, các công nghệ về hình ảnh và đồ họa máy tính là một trong những công nghệ hiện đại nhất hiện nay

Công nghệ AR thường được biết đến như là một công cụ giúp dẫn đường thế hệ mới, giúp đỡ người dùng có thể tương tác trực tiếp với môi trường xung quanh một cách tiện lợi trên các thiết bị chạy hệ điều hành Android hay iOS Ngoài ra, công

nghệ AR còn giúp chúng ta làm xuất hiện những đồ vật 2D hay 3D trong trí tưởng tượng bằng các dữ liệu đã được mã hoá thông qua các lớp thông tin hỗ trợ và được hiển thị trên các thiết bị điện tử như smartphone, tablet,…Nhờ vậy, AR sẽ giúp chúng ta tạo ra một thế giới “pha trộn” giữa thực và ảo thông qua các hình ảnh ảo được tạo ra qua camera, giúp ta có thể nhìn thấy những thông tin vốn không thể thấy được bằng mắt thường

Nắm bắt được xu thế này cùng với nhu cầu thực tế trong việc sử dụng camera trên điện thoại di động dựa trên nền tảng Android đang được sử dụng phổ biến hiện nay, từ đó ý tưởng và niềm đam mê trong lĩnh vực tìm hiểu và xây dựng ứng dụng,

tác giả đã chọn đề tài: “Nhận diện hình ảnh qu c mer tr n điện tho i d ng Android” Với mong muốn dùng những kiến thức kỹ năng có được của mình để

đóng góp một phần phương pháp dạy và học mới cho ngành giáo dục nước ta

1.2 Y u cầu, nội dung và phương pháp nghi n cứu

1.2.1 Yêu cầu của đề tài

- Nắm bắt được lịch sử hình thành và phát triển, các ứng dụng của công nghệ thực tại tăng cường ảo – AR

- Tìm hiểu xây dựng ứng dụng Augmented Reality bằng Vuforia SDK

- Tìm hiểu phần mềm Unity3D và cách xây dựng ứng dụng Augmented Reality dựa trên Unity3D kết hợp Vuforia

- Xây dựng ứng dụng Nhận diện hình ảnh qua camera trên thiết bị điện thoại

di động dùng Android sử dụng Unity3D kết hợp Vuforia, hỗ trợ phương pháp giảng dạy mới bậc trung học phổ thông Bước đầu triển khai đối với các hình ảnh môn lịch sử sách giáo khoa lớp 12

1.2.2 Nội dung và phương pháp nghiên cứu

- Nghiên cứu chương trình giáo dục và phương pháp giảng dạy của giáo viên bậc trung học phổ thông

- Tìm hiểu lý thuyết về công nghệ Augmented Reality

- Tìm hiểu bộ công cụ lập trình Vuforia SDK, các phương pháp thu nhận và

xử lý dữ liệu trên Vuforia

- Tìm hiểu phần mềm Unity3D, các phương pháp lưu trữ và xử lý dữ liệu trên Unity3D

- Tìm hiểu ngôn ngữ lập trình C# và các phương pháp kết nối dữ liệu nhằm nhận diện được hình ảnh mục tiêu

- Nghiên cứu phương pháp lưu trữ và xử lý các video tương ứng với các hình ảnh được quét qua camera trên điện thoại di động dùng Android

- Tìm hiểu về hệ điều hành Android, các phương pháp biên dịch mã nguồn từ môi trường Unity3D để chạy trên điện thoại dùng Android

- Nghiên cứu phương pháp sử dụng camera trên điện thoại di động với camera công nghệ AR

- Xây dựng ứng dụng cho người dùng triển khai trên môi trường thực tế

- Cài đặt, thử nghiệm, đánh giá kết quả

1.3 Ý nghĩ kho học và thực tiễn

1.3.1 Điểm mới của đề tài

- Công nghệ tăng cường thực tại ảo – AR là công nghệ mới Tạo ứng dụng tăng cường thực tế ảo trên Android bằng Unity và Qualcomm Vuforia

- Ứng dụng giúp giáo viên có một phương pháp dạy học mới và học sinh cũng có một phương pháp học mới hứng thú hơn trong học tập Đặc biệt là hệ thống có thể sử dụng được offline Ứng dụng có khả năng nhận diện được hình ảnh để hiển thị lên một đoạn video liên quan đến hình ảnh đó

1.3.2 Dự kiến kết quả đạt được

- Xây dựng và chạy thành công ứng dụng Nhận diện hình ảnh qua camera trên điện thoại dùng Android 4.0 trở lên và có hỗ trợ camera Ứng dụng giúp người dùng có thể sử dụng một cách dễ dàng và tiện lợi Triển khai ứng dụng thực tế cho trường học

1.4 Tổng quan về lĩnh vực nghi n cứu

Thế giới công nghệ vẫn đang không ngừng phát triển và ngày càng có nhiều ứng dụng ra đời hỗ trợ cho mọi lĩnh vực trong đời sống Đối với lĩnh vực giáo dục, các ứng dụng học tập và trò chơi cũng thi nhau xuất hiện [3] Các ứng dụng trò chơi trên các hệ máy console đến các ứng dụng trên Desktop và thiết bị di động đều có ứng dụng giáo dục Đặc biệt, với sự phát triển của công nghệ di động hiện nay, nhiều công nghệ và ý tưởng mới đã dễ dàng được đưa vào lĩnh vực giáo dục để thay đổi và cải thiện phương thức giáo dục [4] Trên các Store ứng dụng trên thiết bị di động đều có riêng mục ứng dụng thuộc về giáo dục Việc công nghệ ngày càng phát

triển cũng cho phép các nhà phát triển có thể thực thi nhiều ý tưởng mới giúp việc

hỗ trợ giáo dục có hiệu quả hơn [5]

Việc áp dụng công nghệ vào lĩnh giáo dục không phải là vấn đề mới [4] Trên thực tế, nhiều nơi trên thế giới đã áp dụng công nghệ vào lĩnh vực giáo dục và đạt được nhiều thành quả khả quan Tuy nhiên, ở nước ta, việc áp dụng công nghệ vào lĩnh vực giáo dục còn là một vấn đề mới mẻ Các ứng dụng mang tính giáo dục dành cho giáo dục Việt Nam còn quá ít, hơn nữa vẫn không có điểm gì đột phá và không hỗ trợ nhiều cho vấn đề giáo dục

Dưới đây tôi xin nêu khái quát các nghiên cứu và ứng dụng trong và ngoài nước liên quan đến vấn đề này:

1.4.1 Các hướng nghiên cứu trong nước

Ở Việt Nam các ứng dụng mang tính giáo dục cũng đã và đang được phát triển ngày một nhiều Tuy nhiên, các ứng dụng đều mang tính tự phát, nặng ý tưởng cá nhân, xa rời với chương trình đào tạo của bộ giáo dục Trong số đó, các ứng dụng học Tiếng Anh chiếm số lượng lớn, kế đến là ứng dụng Tiếng Việt, Toán dành cho trẻ em Một số ứng dụng đáng kể tên bao gồm [19]:

Từ điển Tflat: ứng dụng tra cứu Tiếng Anh được viết bởi Tflat Group

Đây là ứng dụng từ điển Anh-Việt hiếm hoi đạt trên 1 triệu lượt download trên Google Play Ngoài ra, ứng dụng này còn hỗ trợ luyện thi Anh Văn chuẩn quốc

tế

Trò chơi trẻ em số học: ứng dụng trò chơi giúp trẻ học các số cơ bản

được phát triển bởi Stork Studio

Sách Tiếng Việt Lớp 1 for Ios: ứng dụng sách điện tử trên nền tảng iOS

Nội dung ứng dụng dựa hoàn toàn trên quyển sách giáo khoa Tiếng Việt lớp 1 với tính năng dạy bằng Audio và các tính năng cho phép tương tác giữa người dùng và chương trình

Ngoài những ứng dụng nêu trên, còn có những ứng dụng trò chơi có liên quan đến toán học nhưng lại thiên về ứng dụng trò chơi chứ không phải giáo dục Nhìn chung, các ứng dụng đều không có khả năng đưa được vào trong chương trình giáo dục, kể cả sách điện tử Ngoài ra, các ứng dụng trên cũng

không áp dụng những công nghệ, tính năng mới, đặc trưng mà các thiết bị di động cung cấp

1.4.2 Các hướng nghiên cứu ngoài nước

Trên thế giới, việc phát triển ứng dụng mang tính giáo dục đã trở nên rất phổ biến Rất dễ thấy, các store ứng dụng trên nhiều nền tảng khác nhau đều có riêng mục ứng dụng dành cho giáo dục Với sự phát triển của công nghệ thực tại ảo, các ứng dụng đang trở nên thực và sống động hơn [3] Một số ứng dụng sử dụng công nghệ thực tại ảo hỗ trợ lĩnh vực giáo dục đáng kể đến bao gồm [19]:

Anatomy 4D: được xem là đại diện tương lai của phương pháp giáo dục thế

kỉ 21, Anatomy 4D cho người dùng cái nhìn tổng quan về cấu tạo cơ thể người trên môi trường thực tại ảo với khả năng tương tác giống như như thể người dùng đang tham gia vào một ca phẫu thuật Ứng dụng được phát triển bởi daqri

Hình 1.1: Giới thiệu công nghệ Anatomy 4D (Nguồn: Sưu tầm hình ảnh Internet)

Những kết quả đáng ghi nhận:

• Đạt trên 250000 lượt download trên App Store và Google Play.1

• Nhận được sự quan tâm của nhiều giáo sư từ các trường đại học Trong

đó, trường đại học Illinos và trường cao đẳng Trinity dự kiến sẽ đưa ứng dụng vào chương trình giảng dạy của trường

1 Nguồn: https://www.vuforia.com/Apps

• Cộng đồng người dùng đông đảo

• Được trang web Bussiness Insider Autralia đánh giá là ứng dụng làm bạn cảm thấy đang sống trong tương lai

Advanced English & Thesaurus: ứng dụng từ điển và từ đồng nghĩa Tiếng

Anh kết hợp với tính năng thực tại ảo cho phép người dùng tra từ bằng cách quét Camera lên từ cần tra cứu Ứng dụng được phát triển bởi Mobile System Inc

Hình 1.2: Ứng dụng Advanced English & Thesaurus

(Nguồn: Sưu tầm hình ảnh Internet)

Các tính năng nổi bật:

• Tìm kiếm, dịch từ nhanh bằng cách quét Camera vào từ cần tra cứu

• Bộ từ điển đồng nghĩa với số lượng từ ngữ lớn

• Đạt hơn 1 triệu lượt download tính đến thời điểm hiện tại

colAR Mix: một ứng dụng hỗ trợ môn học vẽ cho trẻ em Ứng dụng đi kèm

với những hình ảnh được thiết kế cho trẻ em tô màu Thông qua camera của thiết

bị, những hình ảnh được tô màu sẽ hiển thị thành mô hình 3D sống động và hấp dẫn Các bộ hình ảnh liên tục được cập nhật mới cho phép trẻ có nhiều lựa chọn khác nhau

Hình 1.3: Giới thiệu colAR Mix (Nguồn: Sưu tầm hình ảnh Internet)

Tính năng nổi bật:

• Có đến hơn 100000 lượt tải trên Google Play2

• Có khả năng nhận diện màu sắc thông qua camera của thiết bị

• Hiển thị mô hình 3D dựa trên hình ảnh đã được tô màu

• Có nhiều hình ảnh đa dạng về nội dung và chủ đề

1.4.3 Hướng giải quyết

Xuất phát từ thực tế nói trên, có thể thấy được tiềm năng và tầm quan trọng của việc áp dụng các công nghệ hiện đại để hỗ trợ cho chương trình giáo dục Ứng dụng mang tính giáo dục này không chỉ bám sát với chương trình giáo dục phổ thông mà còn mang tính giải pháp cho các vấn đề tồn đọng trong phương pháp dạy và học ở bậc phổng thông hiện nay Sau khi phân tích và nhận định, tôi

đã chọn Unity3D và công nghệ thực tại ảo với Vuforia làm nền tảng để phát triển

đề tài luận văn Những tính năng mới lạ và thú vị của công nghệ thực tại ảo sẽ đáp ứng tương đối đầy đủ những tính chất mục tiêu đã đặt ra

Ngoài ra, để nắm rõ về phương pháp giảng dạy hiện tại ở cấp giáo dục phổ thông, tôi đã khảo sát tại trường trung học phổ thông Nguyễn Huệ Từ đó, tôi đã đưa ra những nhận xét và so sánh sự khác biệt, đồng thời đánh giá tính khả thi của đề tài luận văn

2 Nguồn: https://www.vuforia.com/Apps

Điểm mới của đề tài này là sử dụng những công nghệ hoàn toàn mới, thậm chí là rất lạ lẫm với những người không chuyên, để tạo cảm giác tò mò hứng thú cho người dùng “Công nghệ tăng cường thực tại ảo của Vuforia là một công nghệ mới” Sử dụng nó để tạo ra ứng dụng hỗ trợ sự phát triển cho thế hệ trẻ trong tương lai là một ý tưởng mới lạ, sáng tạo và có tiềm năng phát triển cao

1.5 Cấu trúc của luận văn

Chương 1: Tổng quan: Chương này sẽ trình bày lý do chọn đề tài; yêu cầu,

nội dung và phương pháp nghiên cứu; ý nghĩa khoa học và thực tiễn; tổng quan về lĩnh vực nghiên cứu trong và ngoài nước

Chương 2: Cơ sở lý thuyết: Chương này sẽ tìm hiểu xu hướng xây dựng ứng

dụng giáo dục trên thiết bị di động; tổng quan về Augmented Reality (AR), nêu một

số lĩnh vực ứng dụng của AR và những ứng dụng thực thế của AR trong đời sống; giới thiệu về Vuforia SDK, mô tả kiến trúc và những tính năng được hỗ trợ cũng như những mặt mạnh và yếu của Vuforia và đưa ra những khái niệm liên quan; tìm hiểu về môi trường lập trình, các khái niệm trong phần mềm Unity3D, tìm hiểu về các thành phần trong phần mềm cũng như cách tạo ra ứng dụng AR đơn giản bằng Unity3D kết hợp bộ công cụ Vuforia

Chương 3: Xây dựng ứng dụng: Chương này giới thiệu ứng dụng sẽ được xây

dựng trên nền tảng Vuforia SDK với Unity3D và nêu lên quá trình phân tích thiết kế

và các thành phần để xây dựng ứng dụng nhận diện hình ảnh qua camera trên thiết

bị điện thoại di động dùng Android

Chương 4: Cài đặt kiểm thử: Chương này sẽ đánh giá các kết quả đạt được

của đề tài

Kết luận và hướng phát triển

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1 Xu hướng xây dựng ứng dụng giáo dục tr n thiết bị di động

Vài năm trước, các ứng dụng giáo dục thường thấy chỉ là các dạng biến thể của ứng dụng trò chơi trên các hệ máy console Sự ra đời của máy Nintendo Wii với khái niệm “trò chơi gia đình” mở ra một hướng đi khả quan cho các ứng dụng mang tính giáo dục

Hình 2.1: Giới thiệu một số ứng dụng giáo dục (Nguồn: http://www.nintendo.com/)

Tuy nhiên, đề tài về ứng dụng mang tính giáo dục chỉ thực sự trở nên được quan tâm bởi các nhà phát triển khi nền công nghệ di động phát triển mạnh mẽ Thiết bị

di động ngày càng trở nên phổ biến và trở thành một trong những thiết bị không thể thiếu trong cuộc sống hiện đại [5] Các tính năng mới liên tục được nâng cấp và khai thác để phục vụ cho những nhu cầu làm việc, học tập và giải trí cho số lượng lớn người dùng đa dạng về thành phần và lứa tuổi Điều đó tạo ra một thị trường tiềm năng để phát triển các ứng dụng mang tính giáo dục

Hình 2.2: Giới thiệu một số ứng dụng trên Store (Nguồn: http://play.google.com/store)

Với sự phát triển không ngừng của công nghệ và thị trường di động hiện nay, giáo dục trên nền tảng di động chắc chắn sẽ là một xu hướng đáng được quan tâm

và đầu tư phát triển trong thời gian tới [5] Với tình hình thực tế ở nước ta, xu hướng giáo dục trên thiết bị di động vẫn chưa được quan tâm và đầu tư hợp lý do các ứng dụng vẫn chưa cho thấy tính hiệu quả cần thiết trong việc hỗ trợ giáo dục Tuy nhiên, với xu hướng chung hiện nay, ngành giáo dục sẽ sớm nhận thấy được tiềm năng phát triển của nó cũng như sẽ có những giải pháp phù hợp để ứng dụng

nó vào chương trình giáo dục của bộ đào tạo [4]

2.2 Tìm hiểu về Thực t i tăng cường ảo - Augmented Reality (AR)

2.2.1 Tổng quan về Thực tại tăng cường ảo

2.2.1.1 Thực tại tăng cường ảo là gì?

Thực tại tăng cường ảo là công nghệ cho phép con người quan sát, nhận biết các đối tượng trong thế giới thực thông qua một thiết bị thông minh nào

đó với những thông tin chi tiết hơn [11, Tr.2] AR sử dụng các thông tin từ hình ảnh thực tế được cung cấp từ các thiết bị GPS, camera, micro sau khi đã qua xử lý, sẽ cung cấp cho người dùng những thông tin cụ thể liên quan đến đối tượng người dùng quan tâm AR hỗ trợ việc số hóa dữ liệu các đối tượng 2D, 3D trong thế giới thực, đồng thời cung cấp các thông tin liên quan đến các đối tượng đó cho người dùng [1]

Hình 2.3: Ảnh minh họa công nghệ AR [21]

2.2.1.2 Sơ lược về Lịch sử phát triển của Thực tại tăng cường ảo

Trong thập niên 1990, cả hai công ty Boeing và McDonnell Douglas cùng bắt đầu thử nghiệm AR trong việc thi công hệ thống điện máy bay Khi làm

việc trong thân máy bay, nhân viên lắp ráp đeo thiết bị Head Mounted Display (HMD) nhìn thấy được "mạng điện ảo" và những thông số kỹ thuật trong hồ sơ thiết kế tại các vị trí khác nhau của máy bay Kỹ sư Tom Caudell của Boeing

là người đặt ra thuật ngữ Augmented Reality [16][17]

Hình 2.4: Lược sử công nghệ Augmented Reality 2.2.1.3 Các thành phần của một hệ thống Thực tại tăng cường ảo

Một hệ thống AR có 3 đặc trưng sau [11, Tr.2]: Kết hợp thực và ảo, tạo ra tương tác theo thời gian thực và thể hiện trong không gian ba chiều

Hình 2.5: Các thành phần của hệ thống AR (Nguồn: Sưu tầm hình ảnh Internet)

Kiến trúc một hệ thống AR gồm có 3 phần [16]: Thế giới thực, các thiết bị phần cứng nhận diện các thành phần của môi trường và phần mềm hỗ trợ

Hình 2.6: Kiến trúc của một hệ thống AR

Để kích thích phát triển nhanh chóng các ứng dụng AR một số hãng phần mềm đã cho ra đời các bộ SDK, tiêu biểu như [16]: Metaio, Vuforia, Mobinet

AR, Wikitude, Blippar và Layar

2.2.1.4 Các lĩnh vực ứng dụng của Thực tại tăng cường ảo

AR được ứng dụng trong nhiều lĩnh vực khác nhau, nổi bật là các lĩnh vực trò chơi, quảng cáo, bảo trì – sửa chữa sản phẩm, y học [8][16]:

- Lĩnh vực trò chơi [8]: Cùng với sự phát triển ngày càng mạnh mẽ của smartphone và tablets, thị trường game cho nền tảng di động càng ngày sôi động Bên cạnh các game truyền thống, thể loại game AR đã mang đến cho người chơi nhiều trải nghiệm mới mẻ

Hình 2.7: Sản phẩm Game VitaSoccers (Nguồn: http://arstechnica.com)

- Lĩnh vực quảng cáo [8]: Các dịch vụ quảng cáo phát triển trên nền tảng

AR đã chứng tỏ được tiềm năng của mình trong những năm gần đây Bên cạnh những ứng dụng nhận diện sản phẩm, các ứng dụng AR hỗ trợ bán hàng qua mạng của các nhà sản xuất lớn cũng có một tầm ảnh hưởng nhất định

Hình 2.8: Thử đồng hồ bằng ứng dụng AR

(Nguồn: www.tissot.ch)

- Lĩnh vực bảo trì – sửa chữa sản phẩm [8]: Là tiền đề cho sự ra đời của

AR, các ứng dụng bảo trì – sửa chữa sản phẩm ngày càng được phát triển chi tiêt hóa các thành phần của sản phẩm

Hình 2.9: Sửa chữa xe ô tô thông qua các thông số từ ứng dụng AR

(Nguồn: www.metaio.com)

- Lĩnh vực y học [8]: Trong các công bố khoa học gần đây, các nhà khoa học máy tính đã kết hợp hỗ trợ các bệnh viện tại Mỹ trong việc ứng dụng AR trong các phẫu thuật ít xâm lấn, nhận diện hình ảnh, bổ sung thông tin liên tục

cho các bác sĩ trong quá trình phẫu thuật Các kết quả thực nghiệm đã chứng minh được tính hiệu quả của các phương pháp này

Hình 2.10: Tái tạo của gan ứng dụng công nghệ AR (Nguồn: http://medicalaugmentedreality.com/)

2.2.2 Phương pháp nhận dạng cảnh trong Augmented Reality

2.2.2.1 Markerless là gì?

Ngoài phương pháp nhận dạng cảnh sử dụng các marker, thì “markerless”

là một phương pháp đang được phát triển giúp các hệ thống AR nhận diện các vật thể mà không cần sử dụng đến các marker Phương pháp này nhận diện vật thể dựa vào các đặc điểm tự nhiên của vật thể thay vì dựa vào các điểm đánh dấu khi sử dụng marker Với phương pháp này, hệ thống AR không cần sử dụng các dấu hiệu nhận dạng nhân tạo nào khác để đưa vào thế giới thực, tất

cả đều dựa vào các vật thể thực Một ưu điểm khác của hệ thống markerless là khả năng trích xuất các điểm đặc biệt của môi trường và các thông tin này sẽ được hệ thống đưa vào sử dụng để tạo nên các vật thể ảo [24] Phương pháp này được tác giả sử dụng trong luận văn

Hình 2.11: Hình ảnh minh hoạ AR Markerless (Nguồn: Sưu tầm hình ảnh Internet)

2.2.2.2 Cơ chế nhận diện Markerless

 Hệ tọ độ Affine Coordinate System (ACS): Cho một tập hợp các

điểm P1, ,Pn R3 (n  4) và trong đó có ít nhất bốn điểm không đồng phẳng, bốn điểm không đồng phẳng của {P1, ,Pn} có thể được chọn để xác định một ACS Một điểm là gốc và ba điểm còn lại là các điểm cơ sở afin Bất kỳ điểm nào trong tập hợp đều có thể được biểu diễn bằng gốc và các điểm cơ sở afin trong ACS đã được xác định [24]

 Các thuộc tính củ ACS: Có hai thuộc tính quan trọng của một ACS

có thể được dùng cho mục đích đăng ký AR (AR registration):

- Thuộc tính tái thiết afin [24]: Tọa độ afin của một điểm 3D bất kỳ có thể được xác định bằng cách sử dụng phương trình (1) nếu chiếu của nó, tức là tọa

độ hình ảnh, trong ít nhất hai khung nhìn khác nhau là biết được và các phép chiếu của gốc afin và các điểm cơ sở cũng biết được trong các khung nhìn đó Dựa trên thuộc tính này, các tọa độ afin của một điểm 3D bất kỳ có thể tính toán được trong điều kiện của chiếu của nó và các chiếu của gốc afin và các điểm cơ sở trong hai hình ảnh kiểm soát Các tọa độ afin của điểm 3D này

có thể được dựng lại từ giải pháp của phương trình đã được xác định sau [24]:

Trong đó:

[X Y Z]T là tọa độ afin của một điểm 3D;

[uj vj]T (j = 1,2) là các chiếu của điểm 3D trong hai hình ảnh kiểm soát; [ ]T

(j = 1,2; i=0, 3) là hình chiếu của gốc afin P0 và các điểm cơ

sở afin {P1,P2,P3} trong hai hình ảnh kiểm soát

- Thuộc tính phép chiếu lại afin [24]: Khi các hình chiếu của gốc afin và các điểm cơ sở được biết trong mặt phẳng hình ảnh, chiếu của điểm Pk trong hình ảnh này có thể tính được từ tọa độ afin của nó [Xk Yk, Zk]T bằng cách sử dụng phương trình (2):

Trong đó:

[uk vk, 1]T là hình chiếu của Pk;

[ ]T (i = 0, ,3) là các hình chiếu của gốc P0 và ba điểm cơ sở afin P1,P2,P3;

Ma trận M3x4 được hiểu như là ma trận chiếu lại afin

Thuộc tính chiếu lại là chiếu lại hình ảnh của một điểm 3D với bất kỳ vị trí máy ảnh nào thì hoàn toàn xác định được bằng cách sử dụng ma trận chiếu lại, được định nghĩa bởi các hình chiếu của gốc afin và các điểm cơ sở Do đó nếu các tọa độ afin của bất kỳ điểm 3D nào được biết trước, thì hình chiếu của

nó có thể được ước tính bằng cách sử dụng ma trận chiếu lại afin M3x4 [24]

2.2.2.3 Kỹ thuật nhận diện trong hệ thống AR Markerless

Hiện nay, có hai phương pháp kỹ thuật nhận diện đối tượng được phát triển nhằm phục vụ cho các hệ thống AR Markerless [24]:

 Vision-Based Tracking: là kỹ thuật hoạt động bằng phương pháp dò

tìm, nhận biết và theo dấu các hỉnh ảnh đặc biệt thu được từ camera Phương pháp hoạt động của các hệ thống sử dụng kỹ thuật vision-based tracking được chia thành hai loại [24]:

- Nhận diện dựa trên những điểm đặc biệt: là phương pháp dò tìm sự

tương xứng với nhau giữa các điểm đặc biệt của hỉnh ảnh 2D và vị trí của chúng trong hệ trục tọa độ 3D

- Nhận diện dựa trên những vật mẫu: là phương pháp sử dụng các vật mẫu

đặc biệt của đối tượng như hình mẫu 2D hay CAD để phục vụ cho việc nhận biết và đánh dấu đối tượng

Hệ thống vision-based tracking, các mẫu vật của đối tượng cần phải trùng khớp với các tính toán, vị trí đặt của camera thu giữ hình ảnh

Với kỹ thuật vision-based tracking, hoạt động của hệ thống được chia thành hai giai đoạn chính [24]:

- Giai đoạn đầu tiên: Hệ thống sẽ ghi nhận lại một khung cảnh mẫu bằng cách sắp xếp các đặc điểm của đối tượng với sự trợ giúp của một hệ thống giám sát ngoài khi hoạt động

Hình 2.12: Cơ chế hoạt động của kỹ thuật Vision-Based Tracking

(Nguồn: Sưu tầm hình ảnh Internet)

- Giai đoạn tiếp theo: Hệ thống sẽ xử lý các giữ liệu vừa thu được để sử dụng cho việc theo dõi của camera khi hệ thống trong giai đoạn đầu quyết định nó có thể làm như vậy Khi đã có giữ liệu của vật mẫu, hệ thống sẽ sử dụng các tính năng rút trích và đánh dấu sẵn có để trích ra đặc trưng nổi bật và làm cho phù hợp với các mẫu vật trong mẫu hình ban đầu và sau đó theo dõi chúng trong các khung hình liên tục của luồn dữ liệu thu được từ video

Kỹ thuật vision-based tracking được tác giả sử dụng trong luận văn

 Tương tác thực theo cử chỉ củ người d ng: cho phép người sử dụng

tương tác với các đối tượng ảo thông qua các cử chỉ của cơ thể như: bàn tay, khuôn mặt,… Phương pháp tương tác thực theo cử chỉ của người dùng được chia thành ba giai đoạn chính [24]:

- Giai đoạn đầu tiên: Hệ thống sẽ nhận diện bàn tay thông qua màu da, phân vùng dựa trên vị trí của bàn tay Sau đó, dựa trên phân vùng vừa được thiết lập, hệ thống tiếp tục nhận diện các ngón tay thông qua việc phân tích các hình dạng cong của đường viền từ phân vùng vừa được thiết lập Hệ thống sẽ

sử dụng vị trí của các ngón tay vừa được nhận diện và đánh dấu trong khung hình vừa được ghi nhận để sử dụng cho việc tính toán vị trí của camera

Hình 2.13: Các quá trình hoạt động sử dụng kỹ thuật tương tác thực

(Nguồn: Sưu tầm hình ảnh Internet)

- Ở giai đoạn tiếp theo: Vị trí của camea được tính toán dựa trên vị trí của các ngón tay được đánh dấu ở giai đoạn đầu tiên Cùng lúc này, các thông số bên trong camera sử dụng làm dữ liệu để xây dựng hệ trục tọa độ bàn tay

- Giai đoạn cuối: Hệ thống sẽ tái tạo lại vật thể ảo tại vị trí của hệ trục tọa

độ bàn tay và điểu khiển vật thể thông qua việc sử dụng cử chỉ của bàn tay Ghi nhận lại các cử chỉ tay để sử dụng cho việc di chuyển, xoay và thay đổi kích thước của vật thế trong hệ tống AR

2.3 Tìm hiểu về Vuforia Software Development Kit (SDK)

2.3.1 Tổng quan hệ thống Vuforia

Hình 2.14: Icon hãng Vuforia [19]

Vuforia là một AR SDK dành cho điện thoại thông minh hoặc các điện thoại

di động tương tự, cho phép xây dựng các ứng dụng AR [6] Vuforia sử dụng công nghệ thị giác máy tính (Computer Vision) để nhận diện đối tượng trong thế

giới thực, mỗi đối tượng cần nhận diện hay augment sẽ là một Target (Target có thể là ảnh, cube, cylinder) và một tập hợp những target trong cùng một nơi tạo thành một Database [19] Vuforia quản lý các pattern theo Target Manager và trở thành cột mốc để xác định vị trí, kích thước của các vật thể ảo Trong quá trình thực thi chương trình, thông qua camera của thiết bị di động, các vật thể ảo sẽ được hiển thị cùng vật thể thật như thể vật thể ảo là một phần của thế giới thực

Hình 2.15: Vuforia Augmented Reality SDK (Nguồn: Sưu tầm hình ảnh Internet)

Vuforia cung cấp các Application Programming Interface (API) viết trên nền ngôn ngữ C++, Java, Object-C và Net thông qua gói mở rộng của Unity Hiện tại Vuforia hỗ trợ phát triển trên hai hệ điều hành là iOS và Android [19] Ngoài ra

nó còn cho phép phát triển ứng dụng AR trên Unity một cách dễ dàng

Hình 2.16: Development Patform (Nguồn: Sưu tầm hình ảnh Internet)

Vuforia Engine cung cấp một thư viện (đối tượng chia sẻ libQCAR.so trên Android và thư viện tỉnh libQCAR.a trên iOS) nhà phát triển có thể liên kết thư viện này với ứng dụng [21]

Hình 2.17: Hệ thống quản lý mục tiêu của Vuforia [21]

Tính chất nổi bật của Vuforia [19]: Nhận diện target với tốc độ cao, tính năng nhận diện target thông qua điện toán đám mây cho phép nhận diện cùng lúc đến một triệu target Cho phép người dùng tự định nghĩa Target trong quá trình chạy chương trình Nhận diện được các Target khối lập phương và vật thể khối trụ, nhận diện được các kí tự alphabet và các kí tự số đếm Hoạt động tốt trong nhiều điều kiện thực tế khác nhau như không đủ ánh sáng Target bị che khuất một phần,…có thể cho các mô hình hiển thị trên màn hình dù camera không còn focus vào Target nữa

2.3.2 Cấu trúc của Vuforia

Hình 2.18: Sơ đồ hoạt động Vuforia AR SDK [21]

Cấu trúc của bộ Vuforia SDK được tạo nên từ những thành phần sau [21]:

 Camera: Camera dùng để bắt các hình ảnh từ thế giới thực và truyền

cho bộ theo dõi của Vuforia [19] Nhà phát triển chỉ khởi tạo thành phần Camera để khởi động hoặc kết thúc quá trình bắt hình ảnh Khung camera sẽ

tự động cung cấp những hình ảnh với kích thước và định dạng tương thích với từng thiết bị

Hình 2.19: Khởi tạo thành phần Camera trong Unity

 Image Converter: Bộ chuyển đổi định dạng pixel sẽ đổi những hình

ảnh bắt được từ camera thành những định dạng OpenGL ES của thiết bị di động và định dạng mà bộ theo dõi có thể hiểu được [19] Ngoài ra nó còn thay đổi độ phân giải của hình ảnh sao cho tương thích với từng thiết bị

 Tracker: Tracker chứa các thuật toán thị giác máy tính (computer

vision) cho phép camera nhận diện và theo dõi các vật thể trong thế giới thực Dựa vào hình ảnh bắt được từ camera, các giải thuật khác nhau sẽ giải quyết phần nhận diện mục tiêu mới hay kiểm soát và đánh giá các nút ảo [19] Kết quả sẽ được bộ kết xuất đồ họa nền (Video Background Renderer) lưu lại trong một đối tượng thuộc tính (State Object) mà nhà phát triển có thể truy cập thông qua code

 State Object: Đối tượng được trả về bởi các Renderer bắt đầu phương

thức và được sử dụng chu kỳ thông qua các trackables nhìn thấy trong một

khung nhất định [19]

Hình 2.20: Trạng thái đối tượng được trả về bởi các Renderer[21]

 Video Background Renderer: Nhiệm vụ của Video Background

Renderer là lưu giữ các hình ảnh từ camera trong một State Object [19] Hiệu suất của Video Background Renderer luôn được tối ưu hóa để tương thích với từng thiết bị

 Application code: Với mỗi khung hình, State Object từ bộ kết xuất

đồ họa nền sẽ được cập nhật và phương thức kết xuất đồ họa sẽ được gọi Người phát triển cần khởi tạo tất cả các đối tượng trên và thực hiện 3 bước như sau [19]:

- Truy cập thông tin của các State Object để liên tục cập nhật trạng thái

- Cập nhật phần logic của ứng dụng

- Hiển thị các vật thể ảo lên màn hình camera

 Device Database: Cơ sở dữ liệu thiết bị Device Databse được tạo ra

bằng bộ Targer Manager của Vuforia [19] Những tài nguyên download từ Target Manager chứa các file thiết lập định dạng XML cho phép nhà phát triển tùy chỉnh một số tính năng theo dõi và một dãy nhị phân chưa thông tin của vật thể Các tài nguyên này sẽ được nhà phát triển biên dịch lại thành những gói cài đặt ứng dụng trong quá trình thực thi chương trình

 Cloud Database: Cơ sở dữ liệu đám mây có thể được tạo ra bằng

Target Manager hoặc Vuforia Web Service API Các target sẽ được truy cập trong quá trình ứng dụng được thực thi, sử dụng công nghệ nhận diện thông qua đám mây để so sánh với các hình ảnh lấy được từ Camera [19]

 User Defined Targets: Tính năng này cho phép người dùng tự tạo ra

Target để theo dõi trong quá trình thực thi ứng dụng [19] Thay vì tạo ra một Target ngay từ đầu, trong quá trình chạy chương trình người dùng được phép chọn một hình ảnh trong thế giới thực và gửi đến thành phần của Vuforia để

kích hoạt sự kiện tạo ra một Target khác dựa trên ảnh được gửi đến

2.3.3 Trackables

2.3.3.1 Khái niệm Target

Target là đại diện cho đối tượng của thế giới thật, mà có thể xác định và theo dõi bởi Vuforia SDK Mỗi target thường có tên, định danh, và trạng thái

và nó được lưu trong trạng thái của một đối tượng

Hình 2.21: Hình ảnh minh họa Targe (Nguồn: Sưu tầm hình ảnh Internet)

Target bao gồm các kiểu đối tượng khác nhau như:

 Image Target: là hình ảnh, bảng trò chơi, các trang tạp chí, bìa sách,

bao bì sản phẩm, áp phích , chúng kích hoạt hình ảnh ảo

 Multi-Target: Chẳng hạn như các bao bì sản phẩm hoặc các sản

phẩm có hình vuông hoặc hình hộp chữ nhật Chúng kích hoạt các đối tượng 3D đơn giản

 Frame Marker: Là các khung hình 2D cụ thể với một mô hình trực

quan và có thể sử dụng như thẻ game trong một bảng game

 Virtual Buttons: Nó cho phép ta định nghĩa các button như các vùng

hình chữ nhật trên một Image Target

Hệ tọa độ (Coordinate Systems) [19]: Vuforia SDK sử dụng hệ trục tọa độ hướng từ trái sang phải Mỗi target được định nghĩa một hệ tọa độ với (0,0,0)

là điểm trung tâm của bức ảnh Chiều x là hướng sang phải, chiều Y hướng ra sau và chiều z hướng tâm tấm hình ra ngoài được minh họa ở hình dưới

Hình 2.22: Hệ trục tọa độ (Nguồn: Sưu tầm hình ảnh Internet) 2.3.3.2 Image Target

Image target là những hình ảnh mà bộ SDK của Vuforia sẽ nhận diện và theo dõi Khác với mã ma trận dữ liệu hay QR Code, Image target không cần

có các vùng đen trắng đặc trưng để nhận diện Vuforia sử dụng các thuật toán tinh vi để nhận diện và theo dõi dựa trên các đặc tính mà ta có thể thấy thường trên một tấm ảnh Vuforia nhận diện hình ảnh bằng cách so sánh các đặc trưng của Target với những đặc trưng của tài nguyên được lưu vào cơ sở dữ liệu Sau khi đã nhận diện, Vuforia sẽ theo dõi hình ảnh cho đến khi hình ảnh không còn nằm trong tầm hiển thị của camera [19]

Hình 2.23: Đặc trưng để nhận diện Image Targets [21]

Những Image target có thể được tạo theo ba cách sau [19]:

• Sử dụng bộ Target Manager của Vuforia tạo một device database

• Tạo một Cloud-Recognition Database bằng Vuforia Web Service

• Sử dụng tính năng User-Defined Target cho phép người dùng định nghĩa target khi chương trình đang thực thi

Trong quá trình thực thi chương trình, bộ SDK của Vuforia có thể nhận dạng cùng lúc 5 target khác nhau Hiệu năng của chương trình còn tùy thuộc vào cấu hình phần cứng của thiết bị

2.3.3.3 Multi Target

Một Muti-target bao gồm nhiều Image target có quan hệ không gian cố định Khi một thành phần của Multi-target được xác định, tất cả các thành phần khác có thể được theo dõi như vị trí tương đối của chúng hay định hướng được biết đến [19] Miễn là một thành phần của target là phần có thể nhìn thấy trong hình ảnh của camera, như vậy Multi-target có thể được theo dõi

Multi-target được tạo bằng cách định nghĩa một mối quan hệ giữa các Image target đã tồn tại dùng Target Manager hoặc trực tiếp bằng cách điều chỉnh file XML cấu hình Dataset [21] Mối quan hệ không gian của các phần đơn lẻ được lưu trữ trong file XML bằng cách biến đổi đơn giản

Hình 2.24: Hình ảnh minh hoạ Multi Target [19]

Khi multi-target kết hợp với Image target, chúng phải đáp ứng đủ các thuộc tính của Image target Ngoài ra, điều quan trọng là phải đảm bảo rằng hình dạng của Multi-target vật lý phải còn nguyên vẹn Giấy và các cạnh trên

đó phải bằng phẳng không có nếp gấp, các mặt trên không được lồi ra [19]

2.3.3.4 Frame Marker

Ngoài các tính năng dựa trên việc xác định và theo dõi, Vuforia SDK có thể theo dõi một loại marker chuẩn được gọi là Frame marker ID duy nhất của một Frame marker được mã hóa vào một mô hình nhị phân dọc theo đường viền của hình ảnh marker Một Frame marker cho phép hình ảnh bất kỳ được đặt trong các viền marker Nó có nhiều khác biệt như nó nhìn tự nhiên hơn so với nhiều marker chuẩn khác Vuforia SDK đòi hỏi khung và mô hình nhị phân phải hoàn toàn hiển thị trong hình camera để nhận dạng [19]

Hình 2.25: Hình ảnh minh họa Frame Marker [19]

Không như Image target, Frame marker không được tạo bởi Target Manager Tất cả 512 Frame marker được phân phối như một kho lưu trữ trong assets/folder khi cài đặt Vuforia SDK [19]

Do khả năng xử lý tương đối thấp đòi hỏi việc giải mã marker ID, tất cả

512 Frame marker có thể được sử dụng trong một ứng dụng và khoảng 5 frame marker có thể được phát hiện và theo dõi cùng một lúc Kích thước của marker phụ thuộc vào môi trường ứng dụng [19]

2.3.3.5 Virtual Buttons

Virtual buttons được nhà phát triển định nghĩa là các vùng hình chữ nhật trên Image target, khi chạm hoặc nhấp vào có thể kích hoạt các sự kiện Virtual button có thể dùng để thực hiện event như nhấn một button hoặc phát hiện nếu khu vực button đó của Image target bị che bởi một đối tượng [19]

Hình 2.26: Hình ảnh minh hoạ Virtual Buttons (Nguồn: Sưu tầm hình ảnh Internet)

Virtual button đƣợc xác định chỉ khi khu vực button nằm trong hình ảnh của camera và camera phải ổn định Việc xác định Virtual button bị vô hiệu nếu di chuyển camera qua nhanh [19]

Virtual button chỉ đƣợc hỗ trợ cho Image target đƣợc tạo bởi Target Manager và đƣợc tải về trong cơ sở dữ liệu Target của thiết bị Cloud Target

và User-defined Target không hỗ trợ Virtual button

2.3.4 Hệ thống quản lý Target

 Target Manager

Vuforia cung cấp cho nhà phát triển công cụ tạo Device database và Cloud database trực tuyến trên giao diện web Target Manager Nhà phát triển có thể upload hình ảnh lên hệ thống theo địa chỉ: https://developer.vuforia.com/ để thêm vào cơ sở dữ liệu cũng nhƣ quản lý chúng và tải tập dataset cho Device database nếu muốn thêm nó vào trong ứng dụng [19]

Hình 2.27: Minh họa upload Target lên hệ thống