Suivi d’objet de forme libre dans un système de réalité augmentée mobile

Motivation Notre principale motivation dans ce stage est l’importation d’une technologie qui estdéjà fonctionnelle sur station de travail, à savoir, le suivi temps réel en RA, sur undisp

Institut TELECOM / TELECOM & Management SudParis Département Advanced Research & TEchniques for Multidimensional Imaging Systems ARTEMIS

Suivi d’objet de forme libre dans un système de réalité augmentée mobile

Mémoire de stage de Master 2 InformatiqueInstitut de la Francophonie pour l'Informatique (IFI), Hanoi - Vietnam

Van Hung LE

21 octobre 2010

Marius PREDA, Maitre de Conférences au TELECOM SudParis Directeur de stage

L’objectif de ce stage est de réaliser un système de reconnaissance d’objets marqueurs en réalité augmentée sur une plateforme mobile Une méthode novatricebasée sur les descripteurs locaux invariants a été implémentée pour détecter etextraire les points d’intérêts dans l’image Cette technique a été optimisée et adaptéepour être exploitée sur une architecture mobile à faibles ressources La deuxièmepartie du stage est l’estimation de la pose de la caméra pour pouvoir recaler desgraphiques virtuels sur des images réelles afin d’augmenter et enrichir la perceptionvisuelle de l’utilisateur Des tests expérimentaux et de nombreuses évaluations ont étéeffectués pour démontrer l’intérêt de l’approche proposée Le travail réalisé a permis

sans-de lever le verrou sur certaines problématiques d’isans-dentification et sans-de suivi d’objets sans-deformes libres dans un environnement non instrumenté de réalité augmentée mobile

Abstract

This work aims to realize a recognition system for markerless tracking in mobile augmented reality A novel method based local invariant descriptors was implemented to detect and extract image feature points This technique was optimized and adapted for a mobile architecture with low resources The second part of work is the camera pose estimation to superimpose virtual graphics on real image in order to enhance the visual perception of the user Experiments and many evaluations were conducted to demonstrate the relevance of the proposed approach This study enabled to overcome some identification issues for markerless tracking in mobile augmented reality environments.

Table des matières

Résumé 2

Abstract 2

Table des matières 3

Remerciements 6

Cadre du stage 7

Références 8

Matériels et logiciels utilisés 8

Chapitre I Contexte et objectifs 9

1.1 Problématique 10

1.1.1 Suivi d’objet de forme libre 10

1.1.2 Estimation de la pose de la caméra 10

1.1.3 Contraintes 10

1.2 Motivation 11

1.3 Objectifs 11

1.3.1 Identification d’objets par la technique SURF 11

1.3.2 Calcul de la pose 11

1.3.3 Implémentation sur téléphone portable 11

1.4 Contributions 12

1.4.1 Utilisation de SURF pour la reconnaissance d’objets de formes libres 12

1.4.2 Amélioration du temps d’exécution et le taux de reconnaissance de cibles 12

1.4.3 Développement de l’application sur téléphone portable 12

Chapitre II Les systèmes de réalité augmentée mobiles : état de l’art 14

2.1 Introduction 14

2.2 Travaux de recherches 14

2.2.1 Travaux de Chen et al 14

2.2.2 Travaux de Karpischek et al 15

2.2.3 Travaux de Henrysson et al 16

2.2.4 Travaux de Assad et al 16

2.2.5 Travaux de Keitler et al 17

2.2.6 Travaux de Schmalstieg et Wagner 18

2.2.7 Travaux de Wagner et al .

2.2.8 Travaux de Klein et Murray

2.2.9 Travaux de Takacs et al .

2.2.10 Discussion

2.3 Applications commerciales développées

2.3.1 Applications pratiques

2.3.2 Applications scientifiques

2.4 Conclusion

Chapitre III Contributions pour le suivi d’objet naturel en temps réel

3.1 Introduction

3.2 Identification d’objet par la méthode SURF

3.3 Amélioration du temps de calcul pour le suivi temps-réel

3.4 Calibration de la caméra

A Notations

B L’homographie entre le modèle planaire et son image

C Contraintes des paramètres intrinsèques

D Interprétation géométrique

E Résolution des paramètres de la calibration

3.5 Appariement 2D-3D

3.6 Estimation de la pose de la caméra

A Équations de bases

B L'homographie entre le modèle planaire et son image

C Résolution analytique

D Algorithme

3.7 Recalage de graphique virtuel sur l’objet réel

3.8 Conclusion

Chapitre IV Résultats et évaluations

4.1 Introduction

4.2 Environnement matériel et outil de développement

4.2.1 La librairie OpenCV

4.2.2 Symbian

4.2.3 Android

4.3 Résultats de la reconnaissance

4.3.1 Amélioration du temps de calcul

4.3.2.Amélioration du taux d’identification

4.4 Résultat de suivi en réalité augmentée

4.4.1.Calibration de la caméra

4.4.2.Appariements 2D-3D

4.4.3.Calcul de la pose

4.4.4.Recalage d’objet virtuel

4.5 Implémentation sur Symbian, Android

4.5.1.Configuration matérielle et logicielle

4.5.2.Étude comparative

4.6 Conclusion

Chapitre V Conclusions et perspectives

P ERSPECTIVES .

Références bibliographiques

Tout d’abord, je tiens à remercier mon responsable de stage, M Marius PREDA, dem'avoir accueilli dans son équipe, au département ARTEMIS, et pour avoir dirigémon travail toute la durée de ce stage

Je remercie M Madjid MAIDI pour son encadrement et pour tous les conseils qu’ilm’a prodigués

Enfin, Mes remerciements s’adressent à tous mes collègues au départementARTEMIS et à toute l’équipe technique et administrative, pour l’ambiance qu’ilsn’ont pas manquée d’apporter tout le long du stage

Cadre du stage

Présentation du Département ARTEMIS

ARTEMIS (Advanced Research & TEchniques for Multidimensional Imaging Systems) est

un département de recherche et développement du TELECOM SudParis et dont le directeur est M Pierre ROLIN Les thématiques de recherche d'ARTEMIS se rapportent aux sciences et technologies de l'image numérique Celles-ci lancent de nombreux défis aux acteurs économiques et académiques afin de concevoir méthodes innovantes et nouveaux services pour la société de l'information L'image numérique d'aujourd'hui couvre

le large éventail des données visuelles : 2D comme en radiographie ou 3D comme en CAO industrielle; statiques (photos, dessins ) ou animées (vidéos, maillages dynamiques, objets déformables ), naturelles (issues du monde physique) ou de synthèse (générées par ordinateur), en environnement fixe ou mobile.

ARTEMIS traite la chaîne d'image depuis la création des contenus numériques jusqu'àleur diffusion L'enjeu est de créer, modéliser, analyser, indexer, animer, sécuriser,manipuler, enrichir, coder, distribuer et visualiser des contenus hétérogènes etcomplexes pour des services d'intermédiation économiquement réalistes

Les activités du département sont subdivisées en trois grands thèmes :

Analyse de contenus visuels : modélisation, reconstruction 3D, segmentation

de forme, recalage, mouvement, texture

Enrichissement des flux multimédias : indexation, protection, animation, interactivité, réalité augmentée

Échanges de contenus multimédias : compression, transmission, visualisation,interopérabilité

En maîtrisant les interactions analyse-échanges, analyse-enrichissement,enrichissement-échanges, ARTEMIS dispose d'une expertise globale sur la chaîne

de production de l'image numérique

Mon stage intervient dans le premier et le deuxième thème de recherche, carl’objectif du travail est de réaliser un système de reconnaissance d’objet de formelibre dans un processus de suivi en réalité augmentée mobile

Mon stage s’effectue au département ARTEMIS au TELECOM SudParis situé à l’adresse :

9, Rue Charles Fourier

91011 Évry Cedex – France

Mon directeur de stage est M Marius PREDA et mon encadrant est M Madjid MAIDI dont voici les coordonnées :

Matériels et logiciels utilisés

PC Dell : 3Go de RAM - processeur Intel 7250 Duo @ 2GHz

Téléphones portables :

Nokia N95 : 160Mo - processeur @ 332MHz

HTC Hero : 288Mo - processeur @ 528MHz

Nexus One : 512Mo - processeur @ 1GHz

Systèmes d’exploitation : Ubuntu 10.04, Windows XP/7, Symbian OS v9.2, Android 2.1

IDE : Eclipse, ADT, Visual Studio 2005/2008

Librairies : OpenCV, STL, MFC, pThread, OpenC/C++, NDK, JNI

Langages de programmation : C/C++, Java

Chapitre I Contexte et objectifs

La Réalité Augmentée (RA) consiste à ajouter des éléments virtuels dans le monderéel pour enrichir la perception visuelle de l’utilisateur Depuis deux décennies, la RA aconnu des progrès technologiques importants grâce à la recherche scientifique menéedans le domaine de la vision par ordinateur et de l’informatique graphique [Maidi,2007] Les applications de la RA sont multiples et touchent plusieurs domaines telsque: jeux vidéo, éducation, divertissement, télévision, industrie, médecine, etc

Toutefois, des verrous technologiques ne sont toujours pas résolus et les solutionssont parfois typiques à un problème donné Le défi majeur pour un système de RAest la combinaison du monde réel et virtuel dans un environnement augmentécohérent et temps réel La cohérence visuelle et le temps réel sont des règlesfondamentales à respecter pour toute application en RA [Azuma et al., 2001]

Récemment, le marché des télécommunications a été révolutionné par les téléphonesportables et le domaine des applications mobiles Les téléphones portables sont dotés

de plus en plus de capteurs de repérage et de localisation tels que : les boussoles, lesaccéléromètres et les GPS Avec des CPUs et des processeurs graphiques pluspuissants, des applications plus évoluées peuvent être déployées sur ces dispositifs etnotamment les applications de la RA Des milliers d’applications sont disponiblesaujourd’hui sur des portails web dédiés aux téléchargements de ces applicationscomme Apple Store d'Apple, Android Market de Google ou OVI Store de Nokia, etc

Selon les experts, le marché de la RA mobile est en plein essor et en constante progression Une enquête de Juniper Network estime qu’à la fin de 2010, le marché de la

RA réalisera un chiffre d’affaire de 2 millions USD, alors qu’en 2014 ce chiffre pourrait atteindre la somme de 714 millions USD [Walsh, 2009] Cette étude encourage les développeurs et les entreprises à s’investir dans ce domaine prometteur et rentable.

L'avantage des systèmes de la RA mobile est la portabilité Les téléphones portables

de nos jours sont quasiment tous équipés d’une caméra et de capteurs de position et

de direction tels que la boussole ou le GPS Ces capteurs intégrés au sein dutéléphone permettent de réaliser des applications intéressantes ayant desfonctionnalités d’assistance et de guidage de l’utilisateur en environnement extérieur

Bien que les téléphones portables connaissent un grand progrès au niveau du développement applicatif, cependant il existe un décalage entre les applications réalisées

et les performances matérielles du téléphone (mémoire réduite, processeur lent, autonomie insuffisante, etc) Par conséquent, le téléphone portable n’est pas encore adapté aux applications de RA temps réel qui demandent beaucoup de ressources matérielles Le développement technique dans le domaine de la nanotechnologie permettrait dans un futur proche d’améliorer les performances des unités de calcul des téléphones tout en augmentant leur capacité de stockage et d’adressages.

1.1 Problématique

Les problématiques auxquelles nous nous sommes intéressées dans ce stage sontles suivantes :

1.1.1 Suivi d’objet de forme libre

La plupart des systèmes de RA actuels utilisent des marqueurs visuels, ces systèmes sont adaptés pour des environnements intérieurs et instrumentés Dans notre cas, il s’agit d’une application sur un dispositif portable qui fonctionne en intérieur et en extérieur Par conséquent, l’utilisation d’un système de reconnaissance de cibles naturelles s’impose.

1.1.2 Estimation de la pose de la caméra

L’une des problématiques majeures de notre application est l’estimation de la pose

de la caméra Cette étape est cruciale pour tout système de RA car elle permet lerecalage ou la superposition des graphiques virtuels sur les images réelles Danscette partie nous allons aborder le problème d’estimation de la pose d’une manièredétaillée, quels sont les paramètres qui régissent cette transformation et quel est lerésultat obtenu à partir des équations

1.1.3 Contraintes

Notre système présente deux contraintes principales qui sont :

Le temps d’exécution : Fonctionner en temps réel, c'est l'exigence principale des systèmes de la RA Cette performance dépend du matériel (capacité de la mémoire et vitesse du processeur,…) et des algorithmes (optimisations, parrallélisation,…)

La précision de l’identification d’objets : La qualité d’identification est un paramètre important dans notre logiciel de tracking Ça permet de reconnaitre et de suivre l’objet d’intérêt d’une manière fiable et stable La précision de l’identification est conditionnée par le nombre de points caractéristiques pertinents suivis au cours du temps ainsi que

le nombre d’appariements retrouvés dans chaque image.

1.2 Motivation

Notre principale motivation dans ce stage est l’importation d’une technologie qui estdéjà fonctionnelle sur station de travail, à savoir, le suivi temps réel en RA, sur undispositif portable tout en adaptant les approches utilisées afin d’élargir le champd’applications de ces systèmes portables et fournir aussi une assistance àl’utilisateur dans ces tâches habituelles

1.3. Objectifs

Les objectifs du stage sont au nombre de trois :

1.3.1 Identification d’objets par la technique SURF

Notre premier objectif est l’utilisation d’une méthode robuste pour l’extraction despoints d’intérêt, à savoir la technique SURF (Speeded Up Robust Features) [Bay etal., 2008] Tout d’abord, il faut adapter cette méthode pour la reconnaissanced’objets dans un flux vidéo en temps réel et en deuxième étape, il est nécessaired’optimiser le temps de calcul de la méthode et améliorer la qualité del’identification afin de réaliser une application de suivi fiable et temps réel

1.3.2 Calcul de la pose

Le deuxième objectif du stage sera l’estimation de la pose de la caméra Cetteétape nécessite une procédure de calibration pour déterminer les paramètresintrinsèques qui nécessaires pour résoudre la transformation projective de la pose.Nous utiliserons un algorithme analytique dont la complexité est réduite afin dedéterminer la position et l’orientation de la caméra en temps réel tout en fournissantdes erreurs de re-projections acceptables

1.3.3 Implémentation sur téléphone portable

Le dernier objectif du stage sera l’implémentation du code sur une plateforme mobile qui est le téléphone portable L’application de RA réalisée doit pouvoir s’exécuter sur le téléphone,

les algorithmes de reconnaissance, d’estimation de pose et de recalage doivent êtreadaptés pour le mobile Le code réalisé initialement sur PC devra subir deschangements et des optimisations afin qu’il soit exploitable sur le téléphone En effet, lavitesse du processeur du téléphone ainsi que sa mémoire assez limitée ne permettentpas d’exécuter les programmes à des cadences temporelles similaires à celles du PC.1.4. Contributions

1.4.1 Utilisation de SURF pour la reconnaissance d’objets de formes libres

SURF est un algorithme d'extraction de points d'intérêt et de calcul de descripteurs locaux invariants

à partir d'une image L’une des caractéristiques intéressantes de SURF est le temps de calcul En effet, comparé avec un autre algorithme de calcul de descripteurs invariants dans l’image SIFT (Scale-invariant feature transform) [Lowe, 2004], SURF est beaucoup plus rapide [Bauer et al., 2007] Toutefois, cette rapidité est loin d’être temps réel car au meilleur des cas, il réalise un traitement à 2 FPS (FPS : images/seconde) voire 1 FPS La méthode SURF est utilisée pour la reconnaissance d’objets dans l’image, elle permet de comparer ses descripteurs avec ceux de l’image de référence, le calcul de distance entre les deux vecteurs descripteurs fournit le taux d’identification de l’objet Nous allons implémenter cette méthode sur le PC et le portable pour analyser et évaluer les résultats et déduire en conséquence les limites de la méthode sur les deux environnements matériels.

1.4.2 Amélioration du temps d’exécution et le taux de reconnaissance de cibles

L’une parmi nos contributions majeures dans ce stage, est l’exécution temps réel de notre système de tracking et de recalage En effet, cette contrainte est plus qu’importante car elle définie avec l’interactivité et la cohérence visuelle un système de RA Plusieurs techniques d’optimisation seront testées afin d’essayer de réduire le temps de calcul sur PC dans un premier temps et ensuite sur le portable La qualité de l’identification doit être améliorée en paramétrant convenablement l’algorithme et en trouvant de bons compromis entre le temps d’exécution et le taux de reconnaissance d’objets.

1.4.3 Développement de l’application sur téléphone portable

Nos algorithmes développés sur PC seront tous portés sur deux plateformes mobiles : Symbian et Android Nous utiliserons la bibliothèque de vision OpenCV qui n’est pas tout à fait adaptée aux plateformes mobiles et présente quelques fois des incompatibilités avec des architectures portables.

Le développement est fait exclusivement en C/C++, toutefois, le système d’exploitation Android fonctionne avec du code Java, il faut alors trouver un pont entre les deux langages pour permettre de programmer en C/C++ et OpenCV sous Android.

La réalisation de l’application de RA sur le téléphone portable constitue une contribution importante de ce stage, car il existe peu de travaux dans ce domaine qui intègre directement une technique de suivi d’objet de forme libre sur une plateforme mobile.

Chapitre II Les systèmes de réalité

augmentée mobiles : état de l’art 2.1 Introduction

Dans la littérature de plus en plus de travaux s'intéressent à la RA mobile Aujourd'hui, des applications sur téléphones portables ou PDA sont commercialisées pour le grand public.

Pour les analystes, c'est une période de forte croissance qui s'annonce pour la RAdans les mobiles Les observateurs sont optimistes et prévoient d'énormes profitsavec les revenus générés par le téléchargement d'applications payantes, lesabonnements à des services et la publicité

Au vu de leur succès annoncé pour ces prochaines années et de l'adoption plus large de fonctionnalités facilitant l'émergence de la RA dans les mobiles, comme les boussoles et les accéléromètres, la popularité de ces systèmes sera spectaculaire On devrait compter

350 millions de terminaux capables de profiter de la RA d'ici 2014 La recherche localisée et traitée par RA constituera l'un des premiers générateurs de revenus, en attendant l'arrivée de jeux faisant appel à cette fonctionnalité, dans les années à venir.

géo-Nous allons commencer par présenter les travaux les plus imminents développésdans la recherche et j’évoquerai par la suite les solutions industrielles

2.2. Travaux de recherches

2.2.1 Travaux de Chen et al

[Chen et al., 2009] ont réalisé un système de reconnaissance et de trackingd'objets dans un flux vidéo en temps réel sur un téléphone portable Le systèmeprésente une latence d'une seconde lors de la phase de reconnaissance et permet

le suivi de livre et des boitiers de CD L'estimation du mouvement est réalisée à 30FPS et la recherche de mise en correspondance est effectuée sur une base de

20000 images stockées sur un serveur (figure 2.1)

Figure 2.1 - Architecture du système.

L'inconvénient c'est que les traitements se font sur un serveur, le temps decommunication réseau ainsi que les éventuelles pannes qui pourraient surgir dans

le réseau altéreront la détection des objets et engendrent un temps de latence

2.2.2 Travaux de Karpischek et al

[Karpischek et al., 2009] ont développé une application de RA sur un iPhone 3GSpour la visualisation des montagnes Le prototype contient une nouvelle approchepour corriger les imprécisions dans les données capteur en utilisant des servicesweb permettant l'affichage des montagnes visibles par l'utilisateur

L'implémentation du système était réalisée en utilisant un SDK permettant de fournir une API de recalage virtuel dans un flux vidéo en temps réel La boussole fournit l'orientation horizontale du téléphone et l'orientation verticale est donnée par l'accéléromètre L'affichage virtuel pourrait parfois être imprécis à cause des données GPS et de la boussole.

Ces erreurs d'imprécisions peuvent être corrigées manuellement par l'utilisateur en ajustant

le positionnement et en supprimant le décalage entre l'objet virtuel et l'objet réel.

Le système développé présente l'avantage d'exploiter des géo-informations pour lalocalisation sans avoir à utiliser les techniques de RA pour le traitement d'images et

la reconnaissance d'objet Le système permet aussi de corriger les erreurs issues

de capteurs par un ajustement manuel de position

2.2.3 Travaux de Henrysson et al

Un système de RA basé marqueurs a été développé par [Henrysson & Ollila, 2004]pour des applications sur téléphones mobiles Les auteurs ont aussi présenté unelibrairie pour le développement d’applications mobiles de RA ubiquitaires

ARToolKit a été utilisé pour la reconnaissance et la localisation L'application estinstallée sur un Smartphone qui présente l'avantage d'avoir une caméra, un GPS etd'être connecté aux réseaux via les protocoles GPRS et UMTS

Les auteurs ont développé un prototype composé de trois modules : un premiermodule interface-utilisateur qui s'exécute sur le téléphone et permet d'établir lacommunication avec l'un des points d'accès Bluetooth présents dansl'environnement Le module de point d'accès permet de transmettre l'information à

un module de service de RA situé sur un serveur Ce module traite les images etretournent des images augmentées avec des objets virtuels (figure 2.2)

Point d’accès Images

Téléphone

Affichage

Figure 2.2 - Synoptique du système

L'AR phone est un système en cours de développement Les conceptsfondamentaux du prototype requièrent des améliorations Seule une caméra estutilisée pour réaliser le tracking ce qui rend le système peut robuste par rapport à ladétection et la localisation des marqueurs

Enfin, ce système présente l’inconvénient d'utiliser les marqueurs visuels Cetteapproche basée marqueurs rend le système contraint et moins flexible

2.2.5 Travaux de Keitler et al

[Keitler et al., 2009] ont présenté un système de RA mobile basé sur des captures d'images Des capteurs optiques sont utilisés pour permettre la localisation des cibles et l'estimation de la pose Ce système permet aussi l'interaction avec les objets virtuels, l'utilisateur pourrait déplacer les graphiques virtuels et interagir avec l'environnement virtuel.

Les auteurs ont commencé par développer un viewer pour savoir comment lesutilisateurs vont réagir avec le téléphone et pour mieux concevoir l'interface Ledeuxième point important de l'application est le développement d'un traqueurefficace basé sur la technique de l'analyse de la projection décalée (Projection ShiftAnalysis) L'algorithme de tracking permet de gérer aussi les occultations demarqueurs en utilisant la pose estimée précédemment

L'interface utilisateur comporte aussi une barre à outils contenant des boutons pourcharger, sélectionner, effacer les objets virtuels et sert aussi aux tâches demanipulation (déplacement et orientation des objets).

Des ombres sont utilisés pour améliorer l'immersion, le marqueur traqué étantsurligné en vert et pendant l'interaction avec un objet particulier les autres objetssont mis en transparence pour mettre en évidence la sélection courante

Le système réalisé a été testé avec 8 utilisateurs qui ont montré une satisfactionquant à l'utilisation de ce système cependant des problèmes de tracking ont surgisnotamment la précision dans l'estimation de la pose

2.2.6 Travaux de Schmalstieg et Wagner

La RA mobile fonctionne sur des dispositifs mobiles tels que les PC portables ou les téléphones portables [Schmalstieg & Wagner, 2008] ont développé une plateforme pour des applications de RA mobiles collaboratives Une librairie logicielle a été développée sous Windows CE et XP et disponible pour Symbian et Linux Tous les traitements sont réalisés sur l'équipement et donc l'application ne dépend pas d'autre infrastructure.

La libraire contient des composants de conception permettant de personnaliserl'application selon ses besoins Les composants principaux de la librairie sont :

Le traqueur: un composant de tracking temps-réel

Le graphe de scène: un moteur de rendu 3D basé sur OpenGL et Direct 3D Mobile

Le serveur : permet la communication multiutilisateur pour la collaboration

Le logiciel développé a évolué sur plusieurs années pour accomplir les tâchesrequises pour les systèmes embarqués De la même manière, ce logicielressemble aux librairies développées sur des plateformes PC à savoir lamodularité, l'abstraction matérielle, et réutilisation de code

Cependant, certaines contraintes liées aux systèmes embarqués existent telles que lataille de la mémoire, les liens dynamiques et le calcul parallèle De plus la compatibilité

du code entre différentes plateformes (PC, téléphone) n'est pas triviale

2.2.7 Travaux de Wagner et al.

[Wagner et al., 2010] ont présenté trois techniques pour le suivi d'objets de formes libres en temps réel sur téléphones portables Les auteurs ont combinés plusieurs approches existantes dans la littérature pour implémenter un système de tracking temps réel en RA Les méthodes SIFT et Ferns ont été employées avec un traqueur basé sur la mise en correspondance de modèles En effet, la méthode SIFT est robuste mais elle est gourmande en temps de calcul, par ailleurs, la classification de Ferns est rapide mais requiert beaucoup d'espace mémoire pour fonctionner Les auteurs proposent alors leur solution en combinant le traqueur avec la méthode SIFT et l'approche Ferns (figure 2.3).

Dans les deux approches la détection de points d'intérêts était réalisée par undétecteur FAST (Features from Accelerated Segment Test) qui est beaucoup plusrapide que les détecteurs basés sur le calcul Laplacien/Gaussien

Image floue

Figure 2.3 - Système de reconnaissance et de tracking

2.2.8 Travaux de Klein et Murray

[Klein & Murray, 2009] ont décrit une implémentation de la méthode SLAM(Simultaneous Localization And Mapping) sur un iPhone 3G Les auteurs ontdémontré la validité de leur méthode malgré que les performances de leur système

de tracking restent limitées par rapport à une implémentation sur PC Le système apermis l'augmentation de cartes en temps réel

2.2.9 Travaux de Takacs et al.

[Takacs et al., 2008] ont construit un système de RA sur téléphone portable qui réalise la mise en correspondance des images référencées avec une base de données située sur un serveur et en utilisant des algorithmes de détection basés sur les descripteurs locaux.

En dirigeant la caméra vers l'objet d'intérêt, le système de tracking fournit desinformations et des services sur sa localisation La méthode SURF a été appliquéesur des images issues de la caméra du téléphone Le système est destiné auxtouristes pour leur servir de guide lors de leurs visites (figure 2.4)

Calcul des descripteurs

2.2.10 Discussion

Les systèmes de RA pour téléphone portable sont en plein essor et diverses technologies ont été développées pour réaliser des applications portables et interactives Ce type de fonction est en progression et devrait rapidement servir à l'émergence de nouvelles formes d'interfaces et d'interactions entre l'environnement réel et des informations virtuelle.

Ces systèmes présentent les avantages suivants:

Applications portables, pouvant être déployées sur des dispositifs tenus à la main.

Les informations sur endroits spécifiques se superposent à la vue des prises vidéo au travers de la caméra intégrée au téléphone

Exploitation des données fournies par des capteurs supplémentaires tels que la boussole ou l'accéléromètre pour indiquer la direction et ainsi faciliter la navigation.Les inconvénients majeurs de ces systèmes portables sont:

Les traitements se font généralement sur un serveur ce qui augmente le temps du rendu graphique ajouté à cela le temps de communication ainsi que les éventuelles pannes qui pourraient surgir dans le réseau pourraient altérer

la détection et engendrer un temps de latence considérable

L'exploitation des données GPS ne sont pas très fiables et présentent des incertitudes quant à la localisation et le tracking

Problèmes de compatibilité sur les systèmes d'exploitation embarqués

(Symbian, Android, )

Performances amoindries sur les systèmes embarqués (calcul parallèle, taille

de la mémoire, )

2.3. Applications commerciales développées

Un des usages les plus évidents de la RA consiste à mettre à profit les « pointsd'intérêts » des dispositifs GPS pour repérer plus facilement la boulangerie, lecinéma ou le restaurant le plus proche Plusieurs applications permettaient déjàd'exploiter ces informations en 2D, notamment AroundMe et Nomao L'arrivée del'iPhone 3GS a poussé les développeurs à accéder au monde de la RA

La RA peut avoir de nombreux usages, des plus utiles aux plus ludiques, et s'est récemment démocratisée avec l'apparition de Smartphones évolués comme l'iPhone 3GS.

Imaginons par exemple qu’on est dans une ville qu’on ne connait pas En regardant autour

de nous, nous voyons des rues inconnues vers lesquelles se trouvent peut-être un restaurant, un bar ou n'importe quel type de commerce ou d'établissement que nous recherchons Maintenant, imaginons que nous superposons à cette réalité des panneaux

virtuels indiquant précisément l'emplacement de ces commerces, en passant, parexemple, par la caméra intégrée à notre téléphone portable.

Les derniers Smartphones, comme l'iPhone 3GS ou les téléphones mobiles sousAndroid, disposent de technologies rendant possible de repérer un commerce ou

un établissement en utilisant des panneaux virtuels indiquant précisément leursemplacements Ces téléphones intelligents sont équipés d'une caméra, d'un GPS

et d'une boussole, indispensable pour orienter correctement l'affichage

Nous allons présenter maintenant cette technologie ainsi qu'une sélectiond'applications mobiles ayant recours à ce procédé

Figure 2.5 - Wikitude

Figure 2.6 - AroundMe

Inconvénients

AroundMe utilise les données de Google Celles-ci sont variables

AroundMe manque parfois de pertinence

La précision de la localisation dépend de la précision du GPS qui n’est

évidemment pas parfaite (les commerces indiqués seront donc parfois

décalés, ce qui est plutôt normal)

Avantage

Application gratuite.

2.3.1.3 Nomao

Nomao ressemble à AroundMe et propose des fonctionnalités plus avancées Nomaoest une application gratuite issue d'un moteur de recherche proche de Google Maps,avec deux particularités : la possibilité de personnaliser les résultats en indiquant sapréférence pour certains endroits et l'intégration à Facebook En ce qui concernel'application, elle propose une intégration de la RA semblable à celle de AroundMe

Manque de précision de l'emplacement réel des points d'intérêts, la précision d'un GPS n'étant jamais complètement optimale

L'application fonctionne selon une interface plutôt intelligente Une fois les POI chargés, il est possible d'effectuer un panoramique pour les afficher, comme sur les autres applications

de RA Mais une autre possibilité permet d'afficher une liste de ceux-ci, en inclinantsimplement le téléphone vers le bas En cliquant sur un POI, une flèche dynamiqueindiquera alors sa direction et il n’y qu'à la suivre pour s’orienter.

L’application fait usage d’un théodolite (instrument de géodésie complété d'un instrument d'optique, mesurant des angles dans les deux plans horizontal et vertical), elle permet de faire de la triangulation en utilisant l'iPHone 3GS et son GPS En pointant son mobile en montagne, Theodolite affiche immédiatement l'altitude, la position GPS, les différents angles, l'horizon, etc Tout cela se superpose par rapport au paysage pour un aperçu enrichi visuellement Une application bien utile non seulement en montagne mais aussi à la mer ou dans toute autre situation pour faire du repérage de terrain (figure 2.7).

Figure 2.7 – Bionic Eye

2.3.1.5 iParking

Cette application permet à l'utilisateur de retrouver un emplacement précis Eneffet, il n'est pas toujours évident de retrouver sa voiture dans un parking de centrecommercial en plein air iParking permettra de localiser un véhicule, toutsimplement en plaçant un marqueur à l'endroit ó elle se trouve Le véhicule estretrouvé au moyen d'une vue en mode carte ou en mode RA (figure 2.8)

et villages, les sommets de montagnes, les lieux touristiques, les lieux de cultes ouencore les bars, et ceci pour les 5 continents du globe (figure 2.9)

Figure 2.9 - PanoramascopeInconvénients

Application surchargée d'informations

Figure 2.10 - Peak.AR

L'application est plutôt bien pensée, mais assez minimaliste : en dehors desinformations de base sur les sommets (distance, hauteur, coordonnées) il n’existepas d’autres informations supplémentaires sur les environs ou des photos

Avantage

Application gratuite

2.3.2.3 Pocket Universe Astronomy

L'application Pocket Universe Astronomy propose l'affichage des constellations ensurimpression Comme beaucoup d'applications mettant à profit la boussole et lacaméra de l'iPhone 3GS, Pocket Universe n'a pas été conçu, à la base, pour cettefonctionnalité : le logiciel propose des fonctionnalités de localisation et une vue «Camera » permettant tout simplement de pointer son iPhone vers le ciel pour y voirs'afficher les constellations en surimpression (figure 2.11)

Figure 2.11 - Pocket Universe Astronomy

Figure 2.12 - Sun Seeker.

2.4. Conclusion

On peut conclure que si certaines application de RA sont ludiques et attractives, ils'agit encore à l'heure actuelle de gadgets, parfois relativement utiles pour serepérer, ou affichant des informations intéressantes, mais qui ne vont pas changercomplètement notre façon d'utiliser nos Smartphones

Les problèmes rencontrés lors des tests de systèmes commercialisés concernentessentiellement deux points : l'exhaustivité des informations proposées et leurprécision Selon les applications, des disparités existent : certains établissements

ne sont pas représentés, quand ce ne sont pas des catégories entières de pointsd'intérêt qui manquent Concernant la précision, on note des écarts parfoisflagrants entre l'emplacement réel d'un POI et sa représentation

D'autres applications sont encore en cours de développement et ne sont pas finalisées mais qui représentent des usages qui peuvent s'avérer intéressants au quotidien comme: récupérer sa voiture sur un parking, trouver le bureau de poste du coin de manière plus visuelle qu'un simple plan, ou obtenir des informations sur les environs pour des randonneurs sont autant d'applications pratiques facilitées par de tels dispositifs.

Chapitre III Contributions pour le

suivi d’objet naturel en temps réel

3.2. Identification d’objet par la méthode SURF

Pour l’identification d’objet, nous avons utilisé une technique basée sur les descripteurs locaux invariants : la méthode SURF [Bay et al., 2008] SURF (Speeded Up Robust Features) est un algorithme robuste d’extraction de points d'intérêt qui calcule les descripteurs locaux invariants associés à ces points caractéristiques L’avantage majeur de cet algorithme est sa rapidité comparé

à d’autres techniques similaires utilisant les descripteurs locaux invariants telles que la méthode SIFT (Scale-Invariant Feature Transform) [Juan & Gwun, 2009].

La méthode SURF est inspirée de l'algorithme SIFT qui est le précurseur dans ledomaine d’extraction des points invariants Toutefois, l’algorithme SIFT présentel’inconvénient d’être très lent et donc, il n’est pas adapté aux applications temps-réel.SURF et SIFT sont tous les deux des algorithmes robustes basés sur les descripteurslocaux invariants Le principe général de ces deux méthodes est le suivant:

1 Détecter les points d'intérêts

2 Définir une région d’intérêt autour de chaque point caractéristique

3 Calculer les descripteurs locaux à partir des régions normalisées.

4 Mise en correspondance des descripteurs

SURF est basé sur le calcul de la matrice Hessienne et les coefficients d'ondelettes de Haar.

Les étapes de la méthode sont:

A I NTEGRALE DE L 'IMAGE

La première étape de l'algorithme SURF est le calcul d'intégrale de l'image pour

accélérer les traitements Cette intégrale réalise la somme d'intensité d'une zone

rectangulaire autour du pixel

B D ETECTION DES POINTS D' INTERETS

Le détecteur est basé sur l’application de la matrice Hessienne suivante sur l’image:

C C ONSTRUCTION DU DESCRIPTEUR DES POINTS D' INTERETS

Le descripteur est créé en deux étapes:

1 On construit une région circulaire 6S (S est le facteur d’echelle pour lequel le

point a été détecté), ensuite, on calcule les ondelettes de Haar selon les directions X

et Y.

2 La deuxième étape est de diviser en fenêtres carrées la zone autour du

point d'intérêt Les fenêtres sont subdivisées en 4x4 Les ondelettes de Haar

sont calculées selon X et Y

D M ISE EN CORRESPONDANCE DES POINTS

La dernière étape de l’algorithme est l’appariement des points d’intérêts en

calculant la distance euclidienne entre les descripteurs

L'algorithme SURF comporte plusieurs optimisations, la plus signifiante est celle relative au

temps de calcul en utilisant l'intégrale de l'image Cette technique permet un calcul rapide

des réponses des filtres utilisés sur toute l’image d’ó l’accélération des pré-traitements.

Une estimation expérimentale donnerait un rapport de 1/3 concernant le temps decalcul SURF/SIFT Cependant, SURF n'est pas très robuste face aux changementsd'illumination et du point de vue comparant à SIFT.

En raison de sa rapidité, nous avons opté pour SURF pour la reconnaissanced’objets dans les séquences d’images La méthode SURF présentéeprécédemment permet l’extraction de points d’intérêt de l’image et la comparaisondes descripteurs de ces points avec une image de référence afin d’identifier l’objetcible Ce processus s’apprête bien à une utilisation plus générale pourl’identification d’objets dans une base de d’images comme le montre la figure 3.1

Figure 3.1 – Reconnaissance d’objet à partir d’une base d’images

3.3. Amélioration du temps de calcul pour le suivi temps-réel

L’objectif principal de notre travail est de développer des algorithmes de reconnaissance d’objet et d'estimation pose en temps réel afin de respecter une contrainte primordiale des systèmes de RA En théorie, 25 FPS sont nécessaires pour un traitement temps réel donc,

40 ms sont allouées pour le traitement d'une image L’étape la plus exigeante en termes de temps de calcul dans le processus d'identification d'objet, est le calcul des descripteurs Une solution triviale pour diminuer le temps de calcul est l’utilisation des régions d’intérêt autour de l’objet à identifier (figure 3.2) En effet, cette technique permet de diviser par 2 voire 3 le temps de calcul si la proportion entre la taille de l’objet et celle de l’image est assez faible Bien sûr, d’autres optimisations au niveau de l’algorithme sont aussi nécessaires pour réduire le temps de calcul, ainsi le traitement parallèle (multi-threading) contribuera d’une manière significative dans l’amélioration des cỏts de traitements.

Objet Région d’intérêt

Figure 3.3 – Principe de calibration de la caméra

Trois repères sont nécessaires pour représenter la transformation perspective entre

le monde réel (3D) et l’image (2D): Le repère objet (3D), le repère caméra (3D) et

le repère image (2D) (figure 3.4):

Le repère objet : un système de référence global défini par l’utilisateur

Le repère caméra : un système de coordonnées défini par le constructeur au centre optique de la caméra

Le repère image : un système de référence lié aux coordonnées pixelliques des points 2D dans l’image.

Figure 3.4 – Repères utilisés pour la calibration de la caméra

Nous allons maintenant détailler le fondement théorique de la procédure decalibration de la caméra La caméra comporte un modèle de projection perspectivecomposé d’une matrice intrinsèque et une matrice extrinsèque

Les paramètres intrinsèques (ou internes) sont les propriétés optiques et géométriquesinternes de la caméra Ces paramètres caractérisent la caméra et sont invariants auxmouvements et aux changements de conditions expérimentales D’autre part, lesparamètres extrinsèques (ou externes) représentent la position et l’orientation durepère objet par rapport au repère caméra A partir de ces paramètres, on peutconnaitre la localisation exacte de la caméra par rapport à la scène

La procédure de calibration consiste à utiliser une mire qui est généralement un damier contenant un ensemble de points caractéristiques représentant les points 3D Pour le processus de calibration de la caméra, nous avons utilisé la méthode de [Zhang, 1999] Dans cette méthode, la caméra observe un modèle d'objet planaire dans différentes orientations On peut, soit déplacer l'objet, ou bien la caméra pour avoir différentes vues sur l’objet 3D Les paramètres intrinsèques et extrinsèques de la caméra sont résolus en utilisant une solution analytique, suivie d’une optimisation non linéaire basée sur le critère

de maximum de vraisemblance Les distorsions radiales et tangentielles de la lentille sont également modélisées Les résultats obtenus par cette technique sont intéressants comparés aux techniques classiques qui emploient plusieurs plans orthogonaux.

On commence tout d’abord par définir les notations utilisées pour lesdéveloppements mathématiques ultérieurs

A Notations

Un point 2D est désigné par

avec (u0, v0) les coordonnées du point principal, αu et

u et v de l'image et γ est un paramètre qui décrit la non-orthogonalité des axes u et v de

B L’homographie entre le modèle planaire et son image

En supposant que le plan contenant les points employés pour la calibration a pour équation

Z = 0 dans le repère monde, alors à partir de l’équation 3.2, on obtient :

è

Par abus de notation, on utilise P pour˜ désignerX,,1 un point dans le modèle planaire, avec P=[X,

Y]T puisque Z = 0, par conséquent, Donc, un point du modèle P et son image p sontreliés par une homographie H de dimension 3X3 définie par un facteur d’échelle près :

Avec :

ó r1 r2 et r3 désignent les colonnes de la matrice de rotation RCO, rotation du

repère objet par rapport au repère de la caméra

35