Tiểu luận công nghệ tri thức Công nghệ giác quan thứ sáu và ứng dụng trong đời sống

Mặc dù thu nhỏ các thiết bị máy tính đã cho phépchúng ta tạo ra điện thoại thông minh hoặc máy tính bảng, không có liên kết giữa cácthiết bị kỹ thuật số và tương tác của chúng ta với thế

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

_  _

Học Viên: NGUYỄN THỊ PHÚC TRIÊM Mã số: CH1101051

BÁO CÁO CHUYÊN ĐỀ CÔNG NGHỆ TRI THỨC

Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã số: 60 48 01.01

KHÓA LUẬN TỐT NGHIỆP THẠC SĨ

CÔNG NGHỆ GIÁC QUAN THỨ SÁU VÀ ỨNG

DỤNG TRONG ĐỜI SỐNG

Tp Hồ Chí Minh – năm 2015

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

_  _

Học Viên: NGUYỄN THỊ PHÚC TRIÊM Mã số: CH1101051

BÁO CÁO CHUYÊN ĐỀ

CÔNG NGHỆ TRI THỨC

Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã số: 60 48 01.01

KHÓA LUẬN TỐT NGHIỆP THẠC SĨ

GVPT: GS.TSKH HOÀNG VĂN KIẾM

Tp Hồ Chí Minh – năm 2015

DANH MỤC CÁC HÌNH VẼ

Xã hội ngày nay khác với xã hội nhiều năm trước đây, xã hội của chúng ta liên tụcthay đổi Các đặc tính quan trọng nhất của thời đại chúng ta là sự chuyển đổi, truyền tải

và thống trị của thông tin Chúng ta đang sống trong một xã hội thông tin nơi mà vai tròcủa các công nghệ mới chiếm vị trí quan trọng hàng đầu Công nghệ hiện đại đã cáchmạng thông tin liên lạc của người dân như Radio, điện thoại, thông tin vệ tinh, công nghệ

di động, Internet không dây Trong đó Internet là nguồn cơ sở thông tin rất lớn Bướcvào thế giới công nghệ, có rất nhiều thiết bị công nghệ mới đã được phát minh, trong đó

có công nghệ Sixth Sense mang lại ấn tượng mạnh mẽ

Trong một thời gian dài, chúng ta đã phụ thuộc rất nhiều vào năm giác quan đểcảm nhận thế giới xung quanh chúng ta, để thu thập thông tin và lựa chọn hành độngđúng Nhưng trong thời đại kỹ thuật số này thì điều đó là không đủ để dẫn đến nhữngquyết định đúng Những thông tin mà có thể giúp đưa ra quyết định tốt phần lớn là có sẵntrên Internet Mặc dù các thông tin có thể được thu thập bằng cách kết nối các thiết bị nhưmáy tính và điện thoại di động nhưng họ bị hạn chế vào màn hình và không có sự tươngtác trực tiếp giữa thế giới vật chất hữu hình và thế giới kỹ thuật số vô hình Công nghệSixth Sense cho chúng ta sự tự do tương tác với thế giới kỹ thuật số với cử chỉ tay

Công nghệ giác quan thứ sáu có ý nghĩa là một loại thiết bị công nghệ mới nhất

mà chúng ta không cần phải mang theo bất kỳ thiết bị công nghệ nặng như máy ảnh,đồng hồ, máy tính vv Khi muốn chụp hình chúng ta không cần máy ảnh, nếu bạn muốnnói chuyện với bạn bè không cần phải mang theo điện thoại di động và nếu muốn xemthời gian không cần phải đieo đồng hồ Lý do chính là tất cả mọi thứ chúng ta đều có thểlàm với công nghệ giác quan thứ 6

Tóm lại, chuyên đề này giới thiệu sự triển khai của tính toán hiện năng cao trongđiện toán đám mây để thực hiện các tính toán khoa học Nội dung chính của báo cáo gồmcác phần sau:

Chương 1: Các công nghệ đáng chú ý trong năm 2013

Giới thiệu các công nghệ đáng chú ý trong năm 2013 bao gồm công nghệ giácquan thứ 6, công nghệ thay đổi hình dạng robot và người máy ASIMO

Chương 2: Tìm hiểu về Sixth Sense

Tìm hiểu khái niệm về công nghệ giác quan thứ 6 (Sixth Sense), các thành phầncần thiết tạo nên thiết bị Sixth Sense và các thức hoạt động của các thiết bị này Đồngthời tìm hiểu khái quát một số kỹ thuật liên quan đến công nghệ này cũng như các úngdụng có thể có khi sử dụng công nghệ giác quan thứ sáu.

Chương 3: Ứng dụng lớp học ảo sử dụng công nghệ Sixth Sense

Giới thiệu ứng dụng hữu ích của công nghệ giác quan thứ sáu là tạo ra lớp học ảo

hỗ trợ việc dạy và học Các thiết bị cần thiết cũng như những ứng dụng có thể có khi sửdụng công nghệ này theo khía cạnh hỗ trợ việc dạy và học

Để hoàn thành được chuyên đề này, em xin chân thành cảm ơn GS.TSKH HoàngVăn Kiếm đã định hướng và truyền đạt những kiến thức vô cùng quý báu và cần thiếtrong môn học này Xin chân thành cám ơn ban cố vấn học tập và ban quản trị chươngtrình đào tạo thạc sĩ Công nghệ thông tin và tất cả quý thầy cô của Đại Học Quốc GiaTPHCM đã tạo điều kiện học tập cho chúng em Tuy nhiên, bài tìm hiểu vẫn còn nhiềuthiếu sót, em kính mong nhận được ý kiến đóng góp và nhận xét của Thầy Xin chânthành cảm ơn Thầy!

Chương 1 – CÁC CÔNG NGHỆ ĐÁNG CHÚ Ý TRONG NĂM 2013

1.1 The Sixth Sense technology

Đây không phải là về công nghệ giác quan thứ sáu trong máy giặt Mà là về một

“giao diện cử chỉ mặc được" cho phép chúng ta sử dụng cử chỉ tay tự nhiên để tương tácvới các thông tin kỹ thuật số Trong một thời gian dài, chúng ta đã phụ thuộc rất nhiềuvào năm giác quan để cảm nhận thế giới xung quanh chúng ta, để thu thập thông tin vàlựa chọn hành động đúng Nhưng trong thời đại kỹ thuật số này, chỉ cần biết rằng lá xanhhoặc bầu trời là màu xanh là không đủ Người ta phải biết giao thông trên địa bàn, tănggiá xăng gần đây và điều luật mới nhất Mặc dù thu nhỏ các thiết bị máy tính đã cho phépchúng ta tạo ra điện thoại thông minh hoặc máy tính bảng, không có liên kết giữa cácthiết bị kỹ thuật số và tương tác của chúng ta với thế giới vật chất Đây là nơi mà MistryPranav, một tiến sĩ học giả MIT, Hoa Kỳ đã làm việc trong một thời gian dài để cung cấpcho chúng ta một cảm giác về những gì Tony Stark đã làm trong những bộ phim ngườiđàn ông sắt Công nghệ giác quan thứ sáu của mang thông tin kỹ thuật số vào thế giớihữu hình Trong từ đơn giản nó làm cho thế giới máy tính xung quanh chúng ta không cóbàn phím, chuột vv

Hình 1: Sixth Sense Technology

Nguyên mẫu SixthSense bao gồm một máy chiếu bỏ túi, một tấm gương và một

quanh chúng ta sẽ được sử dụng như giao diện trong khi máy ảnh theo dõi ngón tay củangười dùng Mẫu thử nghiệm này nhận ra cử chỉ bằng tay của người dùng Ví dụ nếu mộtnhiếp ảnh gia cùng với công nghệ này có thể làm công việc vủa mình chỉ đơn giản là bắtđầu nhấp đi chỉ với hai bàn tay trần của mình, sau đó dừng lại trước một bức tường đểchiêu các bức ảnh ông đã chụp, chọn những cái tốt nhất, vẽ một biểu tượng "@" trongkhông khí và mail chúng đi để biên tập Một khách du lịch có thể mở một bản đồ trên tay,bắt chước các cử chỉ tay phóng to và có thể dễ dàng tìm ra thị trấn, thành phố gần nhất.Dùng công nghệ SixthSense trên một bài báo và trong vòng vài phút các hình ảnh sẽ đivào cuộc sống, gia tăng công nghệ này lên đối tượng vật lý mà người sử dụng tương tácbằng cách chiếu thêm thông tin về chúng "Việc chỉ đưa các máy tính đến các ngôi làng

sẽ không làm nên một sự khác biệt Tiếp cận những nhu cầu thực tế của họ - giúp mộtnông dân thích nghi với chu kỳ để cải thiện hiệu quả của máy cày, chạy máy bơm nước

từ xa hoặc nhận được dự báo thời tiết chính xác - sẽ làm nên sự khác biệt thực sự Pranav Mistry

"-1.2 Transformers and Terminators

Hình 2: Transformer terminator hybrid

Trí tưởng tượng của James Cameroon đang ở đỉnh cao của nó trong Terminator 2:phim Judgement day khi ông miêu tả một hình dạng thay đổi của robot trên màn hình.Các T1000 là một người máy "bằng kim loại lỏng" có thể thay đổi hình thức của nó đểđáp ứng nhu cầu của tình hình từ một hồ kim loại nóng chảy Theo yêu cầu do quân độicao cấp Cơ quan dự án (DARPA), nhà khoa hàng đầu đang làm thay đổi hình dạng robot

có thể lách qua khe hở nhỏ hơn so với kích thước cấu trúc của chúng Những chươngtrình có thể chui qua lỗ nhỏ, thoát vào cống hoặc nối lại với nhau thành một lực điện từ.Một bầy đàn của chương trình như vậy có thể làm nên một nhóm điệp viên tuyệt vời.Hiện nay một nguyên mẫu đã được thiết kế mà không có cấu trúc cứng nhắc và có thể dichuyển bởi một cái gì đó gọi là "gây nhiễu khái niệm ' (‘jamming concept’)

Một vài năm sau đó, Hollywood đã thực hiện bởi cơn bão của Transformers Côngnghệ tiên tiến người ngoài hành tinh cũng có khả năng chuyển đổi hình thức Một chiếc

xe màu vàng không nghi ngờ có thể biến thành một chiến binh máy cao lớn 20 chân nhưbánh răng nghiền, trượt trên nhau và bánh xe được hút trong để nhường đường cho haichân và cánh tay nạp vũ khí Các nhà khoa học cũng đã có những bước hướng tới xâydựng một robot có thể gập tương tự như origami với các hình thức khác nhau Hiện nay,một robot nhỏ, chỉ dày hơn một mảnh giấy có thể gập mình thành một chiếc thuyền haymột chiếc tàu lượn giấy đã được phát triển Trong tương lai công nghệ này có thể cungcấp cho chúng ta những chiếc xe có thể biến hình thành máy bay, và đồng phục quân sự

có thể thích ứng với môi trường khác nhau Trong thế giới đơn giản, tương lai là khôngthiếu những bất ngờ!

1.3 ASIMO

Hình 3: ASIMO

Advanced Step in Innovative Mobility(ASIMO) đã có khoảng 20 năm nay Các kỹ

sư của Honda đã cải tiến liên tục động vật hai chân này với một tầm nhìn mới để cungcấp cho thế giới một trợ lý con người mạnh mẽ và thông minh Với 34 bậc tự do nó cóthể làm hầu hết những hành động chung của con người như mở cửa, mang theo một khay,bật đèn, đổ dung dịch của chai vào cốc, vv

ASIMO sử dụng thị giác, thính giác và xúc giác cảm giác đầu vào để đánh giá môitrường của nó Nếu ASIMO đi vào một căn phòng với bốn người, nó có thể xác định mỗimột với tiếng nói của họ Nếu một người đi bộ, nó sẽ dự đoán nơi người đó sẽ tới trongvòng vài giây tiếp theo và nếu cần thiết, nó sẽ thay đổi đường đi của nó để tránh va chạm.Các cảm biến xúc giác trên ngón tay đưa nó thêm thông tin về kết cấu và độ cứng của bềmặt

ASIMO là trợ lý hoàn hảo cho các người bị tật khác nhau Nó có thể hỗ trợ họ vớimột vài nhu cầu cơ bản của họ Khả năng ASIMO để đi thông suốt, leo lên cầu thang,mang đồ vật, giao tiếp, và nhận biết giọng nói sẽ cho phép nó dễ dàng hoạt động trongthế giới chúng ta và thực sự hỗ trợ con người

Chương 2 – TÌM HIỂU VỀ SIXTH SENSE

2.1 Giới thiệu về Sixth Sense

2.1.1 Tổng quan

"Sixth Sense" (“Giác quan thứ sáu”) là một giao diện cử chỉ có thể mặc được vàgia tăng thế giới vật chất xung quanh chúng ta với thông tin kỹ thuật số và cho phépchúng ta sử dụng cử chỉ tay để tương tác với thông tin đó Hay nói cách khác SixthSense

là một thiết bị giao diện cử chỉ có thể sử dụng bao gồm một mặt dây chuyền neckworn(đeo cổ) có chứa một máy chiếu dữ liệu và máy ảnh Các neckworn chiếu và kết hợp máyảnh lần đầu tiên được đề xuất bởi sinh viên Steve Mann tại MIT Media Lab Steve Mannđược coi là cha đẻ của công nghệ Sixth Sense người đã làm cho máy tính có thể mặcđược vào năm 1990 Ông thực hiện công nghệ Sixth Sense là một máy chiếu đeo cổ vớimột hệ thống camera Sau đó, tác phẩm của ông đã được phát triển tiếp bởi Pranav, trongkhi ông còn là một sinh viên tại MIT Media Lab Mistry giờ là một nhà lãnh đạo nhómnghiên cứu trong văn phòng Thung lũng Silicon Samsung Electronics Công nghệ SixthSense có thể thay đổi mãi mãi cách mà chúng ta nhìn vào thế giới Chắc chắn, nó là một

hệ thống các dự án thông tin về những gì xung quanh bạn trên bề mặt đối tượng , nhưng

nó nhiều hơn thế Bằng cách sử dụng một máy ảnh và một máy chiếu nhỏ, Sixth Sensenhìn thấy những gì bạn nhìn thấy vàmở rộng trực quan bất kỳ bề mặt hoặc đối tượng màchúng ta đang tương tác

Hình 4: Mann and Mistry

Máy ảnh và máy chiếu được kết hợp với một chiếc điện thoại thông minh hoạtđộng như máy tính và được kết nối với Cloud (điện toán đám mây), tất cả các thông tinđược lưu trữ trên các trang web Nó chiếu thông tin trên bề mặt, tường và các đối tượngvật chất xung quanh chúng ta, và cho phép chúng ta tương tác với các thông tin đượcchiếu qua những cử chỉ tay tự nhiên, chuyển động cánh tay, hoặc sự tương tác của chúng

ta với các đối tượng chính nó Giao diện cử chỉ có thể mặc này cố gắng để giải phóngthông tin từ giới hạn của nó bằng cách liên tục tích hợp nó với thực tế, và do đó tạo ratoàn bộ thế giới máy tính của chúng ta Với một giáo dân, nó sẽ là một cái gì đó siêunhiên Một số có thể xem xét nó như là một mê tín dị đoan hoặc một cái gì đó về tâm lý.Nhưng sự phát minh ra công nghệ Sixth Sense đã làm thế giới hoàn toàn bị sốc Mặc dùbay giờ nó không được biết đến rộng rãi nhưng công nghệ này sẽ thay đổi nhận thức củachúng ta về thế giới trong thời gian không xa

Chúng ta đã tiến hóa qua hàng triệu năm để cảm nhận thế giới xung quanh chúng

ta Khi chúng ta gặp phải một cái gì đó, một ai đó hoặc một số nơi, chúng ta sử dụng nămgiác quan tự nhiên của chúng ta bao gồm mắt, tai, mũi, lưỡi, tâm trí và cơ thể để cảmnhận thông tin, thông tin này giúp chúng ta đưa ra quyết định và lựa chọn các hành độngđúng Nhưng người ta có thể cho rằng thông tin hữu ích nhất có thể giúp chúng ta đưa raquyết định đúng là không cảm nhận một cách tự nhiên với năm giác quan của chúng ta,

cụ thể là các dữ liệu, thông tin và kiến thức mà nhân loại đã tích lũy được về tất cả mọithứ và ngày càng gia tăng số lượng thông tin có sẵn trực tuyến

Mặc dù việc thu nhỏ của các thiết bị tính toán cho phép chúng ta mang các máytính trong túi của chúng ta, giữ chúng liên tục kết nối với thế giới kỹ thuật số, không cóliên kết giữa các thiết bị kỹ thuật số của chúng ta và các tương tác của chúng ta với thếgiới vật chất Thông tin được giới hạn truyền thống trên giấy hoặc kỹ thuật số trên mộtmàn hình SixthSense là cầu nối khoảng cách này, mang lại sự vô hình, thông tin kỹ thuật

số vào thế giới hữu hình, và cho phép chúng ta tương tác với thông tin này thông qua cửchỉ tay tự nhiên 'SixthSense' giải phóng thông tin từ hạn chế của nó bằng cách liên tụctích hợp nó với thực tế, và do đó tạo ra toàn bộ thế giới máy tính của bạn

"Sixth Sense Technology ", đó là thuật ngữ mới nhất đã tuyên bố sự hiện diện của

nó trong lĩnh vực kỹ thuật Công nghệ này đã xuất hiện trong đó có mối quan hệ của nóvới sức mạnh của sáu giác quan Máy tính thông thường của chúng ta sẽ sớm có thể cảmnhận được cảm xúc khác nhau tích lũy trong môi trường xung quanh

SixthSense là một thiết bị "dựa trên cử chỉ" có thể mặc được và gia tăng thế giớivật chất với các thông tin kỹ thuật số và cho phép con người sử dụng cử chỉ tay tự nhiên

để tương tác với thông tin đó Nó được phát triển bởi Pranav Mistry, một nghiên cứu sinhtrong Fluid Interfaces Group tại MIT Media Lab, ông đã gây ra một cơn bão với sự sángtạo SixthSense của mình Ông nói rằng phim "Robocop" và "Minority Report" cho ôngcảm hứng để tạo ra quan điểm của ông về một thế giới không bị chi phối bởi các máy

tính, thông tin kỹ thuật số và người máy, mà là một nơi mà các máy tính và các thiết bị

kỹ thuật số khác nâng cao hưởng thụ của người dân của thế giới vật chất

Ngay bây giờ, chúng ta sử dụng "các thiết bị" của chúng ta (máy tính, điện thoại diđộng, máy tính bảng, vv) để đi vào Internet và nhận được thông tin mà chúng ta muốn.Với SixthSense chúng ta sẽ sử dụng một thiết bị không lớn hơn điện thoại di động hiệnnay và có lẽ cuối cùng nhỏ như một nút trên áo sơ mi của mình và mang internet đến chochúng ta để tương tác với thế giới!

SixthSense sẽ cho phép chúng ta tương tác với thế giới của chúng ta hơn bao giờhết Chúng ta có thể nhận được thông tin về bất cứ điều gì chúng ta muốn từ bất cứ nơinào trong một vài phút! Chúng ta sẽ không chỉ có thể tương tác với những thứ trên mộtcấp độ hoàn toàn mới mà còn với mọi người! Một phần lớn của thiết bị là khả năng quétcác đối tượng hoặc thậm chí là người và dự án để ra thông tin về những gì bạn đang tìmkiếm

2.1.2 Khái niệm

Hình 5: Six Senses

Thuật ngữ Sixth Sense trong khoa học (hoặc không khoa học) được định nghĩa làthêm giác quan nhận thức (Extra Sensory Perception) hoặc ngắn gọn là ESP Nó liên

quan đến việc tiếp nhận thông tin mà không thông qua bất kỳ năm giác quan Nó cũngkhông phải là lấy từ bất kỳ kinh nghiệm nào của quá khứ hay đã biết Sixth Sense nhằmmục đích liên tục hơn tích hợp thông tin trực tuyến và công nghệ vào cuộc sống hàngngày Bằng cách tạo thông tin có sẵn cần thiết để ra quyết định xa hơn những gì chúng ta

có thể truy cập với năm giác quan, nó mang lại lợi ích cho người sử dụng một giác quanthứ sáu

2.1.3 Mẫu thử nghiệm Sixth Sense trước đây

Hình 6: Thiết bị thử nghiệm Sixth Sense trước đây

Nhóm Maes’ MIT, trong đó bao gồm bảy sinh viên tốt nghiệp, đã suy nghĩ về cáchmột người có thể được tích hợp nhiều hơn vào thế giới xung quanh họ và tiếp cận thôngtin mà không cần phải làm điều gì đó như là lấy một điện thoại ra Ban đầu họ tạo ra mộtdây đeo cổ tay mà có thể đọc một thẻ nhận dạng tần số vô tuyến được gắn để biết, ví dụmột cuốn sách người dùng đang giữ trong một cửa hàng

Họ cũng đã có một chiếc nhẫn mà sử dụng tia hồng ngoại để giao tiếp bằng bằngđèn hệu cho các kệ thông minh trong siêu thị để cung cấp cho bạn thông tin về sản phẩm.Như khi chúng ta lấy một gói mì ống, nhẫn sẽ phát sáng màu đỏ hoặc màu xanh lá cây đểcho chúng ta biết nếu sản phẩm hữu cơ hoặc không có đậu phộng - bất cứ tiêu chí nàochúng ta lập trình vào hệ thống.

Họ muốn làm cho thông tin hữu ích hơn cho người dân trong thời gian thực với nỗlực tối thiểu trong một cách mà không yêu cầu bất kỳ thay đổi hành vi nào Dây đeo cổtay đã đến gần với mục đích đó, nhưng chúng ta vẫn phải lấy điện thoại di động ra đểxem thông tin

Đó là khi họ tiếp cận trên ý tưởng của việc truy cập thông tin từ Internet và chiếu

nó Vì vậy, một người nào đó đeo dây đeo cổ tay có thể lấy một cuốn sách trong hiệusách và ngay lập tức gọi lên nhận xét về cuốn sách, chiếu chúng lên một bề mặt trong cửahàng hoặc làm một từ khóa tìm kiếm thông qua các cuốn sách bằng cách truy cập trang sốhóa trên Amazon hoặc sách của Google

Họ bắt đầu với một máy chiếu lớn hơn được đặt trên một chiếc mũ bảo hiểm.Nhưng điều đó lại rườm rà nếu một người nào đó chiếu dữ liệu vào một bức tường sau đóquay sang nói chuyện với người bạn - dữ liệu sẽ chiếu trên khuôn mặt của bạn

2.1.4 Mẫu thử nghiệm hiện tại

Hình7: Thiết bị thử nghiệm Sixth Sense hiện tại

Hiện nay họ đã chuyển sang một máy chiếu nhỏ hơn và tạo ra thiết bị dạng mặtdây chuyền có thể đeo được đeo quanh cổ

Nguyên mẫu SixthSense bao gồm một máy chiếu bỏ túi, một tấm gương và mộtmáy ảnh Các thành phần phần cứng được kết hợp trong một mặt dây chuyền giống nhưthiết bị đeo điện thoại di động Cả hai máy chiếu và máy ảnh được kết nối với các thiết bịđiện toán di động trong túi của người dùng

Chúng ta có thể xem công nghệ Sixth Sense như một sự pha trộn của máy tính vàđiện thoại di động Hoạt động như là thiết bị được kết hợp với nó và được treo quanh cổcủa một người nên do đó việc chiếu bắt đầu bằng máy chiếu cực nhỏ gắn vào thiết bị Vìvậy, tất nhiên, bạn thành một máy tính di chuyển chính bản thân và các ngón tay hànhđộng như con chuột và bàn phím

Các mẫu thử nghiệm được xây dựng từ một webcam thông thường và một pinchiếu 3M, với một gương kèm theo - tất cả được kết nối với một điện thoại di động chophép truy cập internet Việc thiết lập chỉ tốn chi phí ít hơn $ 350, cho phép người sử dụng

chiếu thông tin từ điện thoại lên bất kỳ bề mặt - tường, cơ thể của người khác hoặc thậmchí bàn tay của bạn.

Mistry mang các thiết bị trên một dây buộc quanh cổ, và đội màu Magic Makertrên bốn ngón tay (đỏ, xanh dương, xanh lá cây và màu vàng) giúp máy ảnh phân biệtbốn ngón tay và nhận ra cử chỉ tay của mình với phần mềm mà Mistry tạo ra

2.2 Làm việc với Sixth Sense

Máy chiếu

Hình 10: Máy chiếu

Máy chiếu mở ra sự tương tác và chia sẻ Chúng ta muốn sáp nhập với thế giới vật

lý trong một ý nghĩa vật lý thực sự Bạn đang chạm vào đối tượng và chiếu thông tin vàođối tượng đó Các thông tin này sẽ trông giống như nó là một phần của các đối tượng

Các thông tin được diễn dịch thông qua điện thoại thông minh có thể được chiếuvào bề mặt bất kỳ nào Máy chiếu chiếu thông tin thị giác lên bề mặt cho phép và các đốitượng vật lý được sử dụng như giao diện Máy chiếu bao gồm pin có vòng đời của pin là

3 giờ Một máy chiếu Tiny LED hiển thị các dữ liệu được gửi từ điện thoại thông minhlên trên bất kỳ bề mặt nào theo quan điểm nhìn của đối tượng, tường hoặc người Máychiếu hướng xuống dưới chiếu hình ảnh trên một tấm gương

Gương

Thành phần di động

Hình 12: Di động

Hệ thống SisthSense sử dụng một thiết bị điện toán di động trong túi của người sửdụng như là thiết bị xử lý Các chương trình phần mềm cho phép tất cả các tính năng củathiết bị máy tính này Thiết bị này có thể là một điện thoại di động hoặc máy tính latopnhỏ Máy ảnh, máy chiếu được kết nối với thiết bị này sử dụng kết nối có dây hoặc khôngdây Các thiết bị điện toán di động cũng được kết nối với Internet thông qua mạng 3Ghoặc kết nối không dây

Các đánh dấu màu

Hình 13: Các đánh dấu màu

Các dấu hiệu màu được đặt ở đầu các ngón tay của người dùng Đánh dấu ngóntay của người dùng với màu đỏ, màu vàng, màu xanh lá cây và màu xanh, giúp webcamnhận ra những cử chỉ tay Các chuyển động và sắp xếp các điểm đánh dấu được diễn dịchvào các cử chỉ và hoạt động như một hướng dẫn tương tác cho các giao diện ứng dụngđược chiếu

2.2.2 Hoạt động

Hình 14: Hoạt động Sixth Sense

Kỹ thuật Sixth Sense làm việc như sau:

1 Máy ảnh thu nạp hình ảnh của các đối tượng trong tầm nhìn và theo dõi cử

chỉ tay của người dùng

2 Có các dấu hiệu màu được đặt ở đầu mút ngón tay của người dùng Đánh

dấu ngón tay của người dùng với màu đỏ, màu vàng, màu xanh lá cây vàmàu xanh giúp webcam nhận ra những cử chỉ tay Sự chuyển động và sắpxếp của các điểm đánh dấu được giải thích vào cử chỉ và hành động nhưmột hướng dẫn tương tác cho các giao diện ứng dụng được chiếu

3 Thông tin được gửi cho điện thoại thông minh để xử lý Điện thoại thông

minh tìm kiếm các trang web và diễn giải các cử chỉ tay với sự giúp đỡ củacác dấu hiệu màu được đặt ở trên đầu ngón tay

4 Các thông tin được giải thích thông qua các điện thoại thông minh có thể

được chiếu vào bề mặt bất kỳ Thông tin được gửi quan máy chiếu, máy

5 Gương phản chiếu hình ảnh trên một bề mặt mong muốn Vì vậy, thông tin

kỹ thuật số được giải thoát khỏi hạn chế của nó và được đặt trong thế giớivật chất

Toàn bộ bộ máy phần cứng được tích hợp vào trong một thiết bị đeo điện thoại diđộng hình mặt dây chuyền Về cơ bản máy ảnh nhận ra cá nhân, hình ảnh, bức ảnh, cửchỉ bằng tay của một người và máy chiếu hỗ trợ trong việc chiếu bất kỳ thông tin nào trênbất cứ loại bề mặt hiện diện trước mặt người dùng Ttrong đoạn video giới thiệu đượcphát sóng để giới thiệu sản phẩm mẫu cho thế giới, Mistry sử dụng mũ màu trên ngón taycủa mình để nó trở nên đơn giản cho các phần mềm để phân biệt giữa các ngón tay, yêucầu ứng dụng khác nhau

Các chương trình phần mềm phân tích dữ liệu video bắt bởi máy ảnh và cũng truyvết vị trí của các đánh dấu màu màu bằng cách sử dụng kỹ thuật thị giác máy tính đơn(single computer vision) Ta có thể có bất kỳ số lượng cử chỉ tay và các chuyển độngmiễn là chúng có lý do để được nhận ra và được phân biệt cho hệ thống để giải thích nó,tốt hơn nên là duy nhất và có giá trị chuẩn Điều này có thể vì thiết bị của Sixth Sense hỗtrợ tương tác cảm ứng đa điểm và nhiều người sử dụng

Về cơ bản MIT có kế hoạch để tăng cường tính thực tế với một mặt dây chuyềnmáy chiếu nhỏ (picoprojector): giữ một đối tượng ở cửa hàng và thiết bị chiếu thông tinliên quan vào nó (ví dụ: như số liệu thống kê môi trường), mà có thể được duyệt và thaotác với những cử chỉ tay “Sixth Sense” là mạng Internet, cung cấp các dữ liệu một cách

tự nhiên, và có thể được chỉ về bất cứ điều gì - MIT biểu diễn thông tin được chiếu bằngthiết bị về một người mà bạn gặp tại một bữa tiệc trên thực tế người đó (ảnh), chiếu tìnhtrạng chuyến bay trên một thẻ lên máy bay, cùng với toàn bộ một giao diện không theongữ cảnh cho việc đọc email hoặc thực hiện cuộc gọi

Ý tưởng là Sixth Sense cố gắng xác định không những cái mà ai đó đang tương tácvới mà còn làm cách nào anh ấy hoặc cô ấy đang tương tác vối đó Phần mềm tìm kiếmthông tin internet có liên quan đến tình trạng này và máy chiếu làm nhiệm vụ còn lại

Tất cả các công việc là trong phần mềm , tiến sĩ Maes nói." Hệ thống này liên tục

cố gắng tìm ra những gì xung quanh bạn, và những gì bạn đang cố gắng làm Nó phảinhận ra những hình ảnh mà bạn nhìn thấy, theo dõi cử chỉ của bạn, và sau đó liên kết nóvới tất cả các thông tin có liên quan cùng một lúc "

Phần mềm nhận dạng 3 loại cử chỉ:

• Cử chỉ cảm ứng đa điểm, như những gì bạn nhìn thấy trong MicrosoftSurface hoặc iPhone - nơi mà bạn chạm vào màn hình và làm cho bản đồ dichuyển bằng cách nhéo và kéo

• Cử chỉ tự do, giống như khi bạn chụp ảnh, hoặc làm một động tác để chiếulên tường

• Cử chỉ mang tính biểu tượng, vẽ một biểu tượng trong không khí Như làbất cứ khi nào tôi vẽ một ngôi sao, hãy chỉ cho tôi thời tiết Khi tôi vẽ mộtkính lúp, cho tôi xem bản đồ Bạn có thể muốn sử dụng các cử chỉ khác màbạn sử dụng trong cuộc sống hàng ngày Hệ thống này là rất tùy chỉnh.Công nghệ này chủ yếu dựa trên sự nhận dạng cử chỉ tay, thu nạp hình ảnh, xử lý,

và thao tác, vv ứng dụng bản đồ cho phép người dùng di chuyển một bản đồ hiển thị trênmột bề mặt gần đó bằng cử chỉ tay, tương tự như cử chỉ được hỗ trợ bởi hệ thống dựa trêncảm ứng đa điểm, cho phép người sử dụng phóng to, thu nhỏ hoặc pan sử dụng động táctay trực quan Các ứng dụng vẽ cho phép người dùng vẽ trên bất kỳ bề mặt bằng cáchtheo dõi các chuyển động ngón tay của ngón tay trỏ của người dùng

2.3 Kỹ thuật liên quan

Công nghệ SixthSense có cách tiếp cận khác nhau để tính toán và cố gắng làm chocác khía cạnh kỹ thuật số của cuộc sống trực quan hơn, tương tác, và trên hết là tự nhiênhơn Chúng ta không cần phải suy nghĩ về nó một cách riêng biệt Đó là rất nhiều côngnghệ phức tạp tích hợp vào một thiết bị cầm tay đơn giản Khi được kết nối chúng ta cóthể có được thông tin hình ảnh có liên quan ngay lập tức chiếu lên bất kỳ đối tượng mà ta

cầm lên hoặc tương tác với công nghệ này chủ yếu dựa trên tay tăng cường thực tế, nhậndạng cử chỉ, dựa trên thuật toán tầm nhìn máy tính, vv

2.3.1 Augmented reality (tăng cường thực tế)

Augmented reality (AR) là một thuật ngữ cho một cái nhìn sống động trực tiếphoặc gián tiếp của một môi trường vật lý thế giới thực nơi mà các thành phần được tăngcường bởi hình ảnh ảo do máy tính tạo ra Nó có liên quan đến một khái niệm tổng quáthơn được gọi là thực tế qua trung gian, trong đó cái nhìn thực tế được sửa đổi (thậm chí

có thể giảm bớt chứ không phải tăng cường) bằng máy tính Việc gia tăng là thôngthường trong thời gian thực và trong bối cảnh ngữ nghĩa với các yếu tố môi trường

Công nghệ Sixth sense trong đó sử dụng khái niệm AR để áp đặt các thông tin kỹthuật số lên trên thế giới vật chất Với sự giúp đỡ của công nghệ AR tiên tiến (ví dụ nhưthêm tầm nhìn máy tính và nhận dạng đối tượng) các thông tin về xung quanh thế giớithực của người sử dụng trở nên có thể tương tác và có thể sử dụng kỹ thuật số Thông tinnhân tạo về môi trường và các đối tượng trong nó có thể được lưu trữ và truy xuất nhưmột lớp thông tin trên quan điểm thế giới thực

Các thành phần phần cứng chính cho AR là: màn hình hiển thị, theo dõi, thiết bịđầu vào, và máy tính Sự kết hợp của CPU mạnh mẽ, máy ảnh, gia tốc, GPS và la bàntrạng thái rắn thường xuất hiện trên điện thoại thông minh hiện đại, làm cho chúng trởthành nền tảng tiềm năng Có ba kỹ thuật màn hình hiển thị chính cho AugmentedReality:

• Màn hình đội đầu (Head Mounted Displays)

• Màn hình cầm tay (Handheld Displays)

• Màn hình không gian (Spatial Displays)

Head Mounted Displays (HMD): đặt hình ảnh của thế giới vật lý và đăng ký đối

tượng đồ họa ảo trên quan điểm của người sử dụng trên thế giới HMD là một trong hai:quang học trong suốt hoặc video trong suốt tự nhiên

Handheld Displays: AR cầm tay sử dụng một thiết bị máy tính nhỏ với một màn

hình hiển thị phù hợp trong tay của người dùng Tất cả các giải pháp cầm tay AR cho đến