Visual Analytics Intelligent Utilisant La Technologie De Réalité Mixte.pdf

Ce projet vis à la mise en place d’un outil de visualisation et d’analyse de données, pour aider des experts dans le domaine de la météorologie et du climat à explorer en 2D et 3D, analy

UNIVERSITÉ NATIONALE DU VIETNAM, HANOĨ

INSTITUT FRANCOPHONEINTERNATIONAL

Visual Analytics intelligent utilisant la

technologie de Réalité Mixte

Phân tích trực quan thông minh sử dụng

công nghệ thực tế hỗn hợp.

Spécialité: Systèmes Intelligents et Multimédia

Code: Programme pilote

MÉMOIRE DE FIN D’ÉTUDES DU MASTER

INẼORMÃTIQUE

Sous la direction de:

Huyen NGUYÊN

HANOĨ - 2020

ATTESTATION SUR LHONNEUR

J’atteste sur 1’honneur que ce mémoire a été réalisé par moi-même et que les données

et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a été bien précisée

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu, kết quả nêu trong Luận vãn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc.

Signature de 1’étudiant

Inoussa OUEDRAOGO

La réaỉisation de ce mémoỉre a été possible grâce au concours de plusieurs personnes

à quije voudrais témoigner toute ma gratitude.

J’aimerais toutd’abord remercier mes encadrants pédagogiques de stageHuyen NGUYÊN,

PữtrickBOURDOTet Nicoỉas FEREYde 1’équỉpe VENISEde LIMSI/CNRS, pourleurdis-

ponibilỉté, leurs conseils judicieux qui rríontété très bénéflques dans la réalisatỉon de ce projet Ce mémoire doit pour une grande part son succès aux différentes rencontres que nous avons tenues pour la clariflcation de chaque point du sujet, aux critiques émises mais surtout aux différentes suggestions De toutes ces expériences j’ai pu tirer le plus grand proflt des connaỉssances qui me permettront d’entamer la thèse avec plus de viva- cỉté et d'effìcacité Encore mercỉ à vous.

Je voudrais remercier notre responsable de Master Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de rinstitut Erancophone International, Uni- uersité Natíonal de Vietnam à Hanoi Je leur suis reconnaissant de tout coeur pour auoir assuré et amélioré la qualité de notre formation.

Enfln, je tỉens à exprimer ma profonde gratitude à mes parents et à mafamille pour rríavoir apporté un soutien indéfectible etdes encouragements constants toutau long de mes années de Master Sans oublier mes amis qui ont toujours été là pour moi Votre sou- tỉen inconditionnel et vos encouragements ont été d’une grande aide Je vous remercie.

Inoussa OUEDRAOGO

De nombreux domaines scientidques conduisent les chercheurs à la production d’informations en grande quantité, qu’il convient de gérer et d’analyser pour en ex- traire de la connaissance Un premier besoin porte alors sur la structuration et le sto- ckage de ces iníbrmations collectées, et vient ensuite un second besoin d’analyse et d’interprétation ces iníormations aíìn d’en extraire de la connaissance

Ce projet vis à la mise en place d’un outil de visualisation et d’analyse de données, pour aider des experts dans le domaine de la météorologie et du climat à explorer en 2D

et 3D, analyser et prendre des décisions A travers cet objectif, il sera question d’étudier rutilisation de d’Immersive Analytics en íusionnant avec d’autres approches

Ce travail est inspiré de la thèse de M Trellet qui avait proposé une approche de web sémantique pour rimmersive Analytics pour 1’interaction avec des données de biologie moléculaire Nous nous sommes proposés de généraliser son approche en 1’adaptant pour la rendre applicable à un nouvel ensemble de données plus hétérogènes, d’un autre domaine scientifique, et dans un environnement de développement différent La base théorique de notre approche peut se résumer par le schéma général proposé par

D A Keim du processus de Visual Analystics

La première partie de ce travail a consisté à transformer ces données en données liées, dites sémantiques, qui est une approche mobilisant diíĩérentes technologies pour permettre la publication, le partage, 1’intégration, l’interrogation, le raisonnement re- latifs à ces données, permettant de íầciliter 1’extraction de nouvelles connaissances Nous décrivons en particulier, le choix de ce íồrmalisme et les étapes pour transíbrmer des données brutes en données liées, première étape de notre démarche dans la mise

en place d’une plateíorme de RV&A en Viusal Analytics

A la suite de ce travail nous avons démontré la pertinence de notre approche à tra- vers des requêtes SPARQL Enfin nous présentons la mise en place d’un interíace utili- sateur de sélection, de mise en valeur, de zoom, en proposant des paradigmes en RV&A qui s’adaptent aux contenus observés et aux modalités visuelles choisies

Mots clés : Réalité mixte, Visual Analytics, Données liées, Intégration de données hétérogènes, Interaction intelligente

This project aims to explore the potentials of a data visualization approach using immersive technologies with data analysis tool to help experts in the helds of Meteo- rology and Climatology to analyse their data in 2D and 3D conhgurations and to make informed decisions In order to obtain this objective, we íocused in this project the study of the use of hnmersive Analytics, which is a multi-disciplinary domain of Visual Analytics and Immersive Technologies of Virtual Reality and Augmented Reality, in the applied held of Meteorology and Climatology.

This work is inspired by the thesis of M Trellet who vvorked on using Virtual Rea- lity and Ontology approach to visualise, interact and analyse molecular data In this project, we generalized his approach using a new more heterogeneous dataset in ano- ther application domain using a diherent development environment In addition, as

a general framework, we used Keim’s scheme of the Visual Analytics process for our approach

The íìrst part of this work consists of transíorming the meteorological data into linked data, also known as semantics data This is an important step to allow the in- tegration, publication, and sharing of data and knovvledge in the hamework We will describe in this thesis the choice of this transíbrmation and the steps to take hom raw data format to linked data

In the following step, we will demonstrate the relevance of our approach through SPARQL queries Finally, the implementation of a user interíace for selection, enhan- cement, zooming of the newly transformed dataset by proposing Virtual Reality and Augmented Reality paradigms that adapt to the observed content and the chosen vi- sual modalities

Keyvvords : Mixed Reality, Immersive Analytics, Linked Data, Heterogeneous Data

Integration, Intelligent Interactions

Table des matières

1.1 Présentation de 1’établissement d’accueil 3

1.1.1 LIMSI 3

1.1.2 VENISE (Virtual & augmented ENvIronments for Simulation & Ex-periments) 4

1.2 Contexte 6

1.2.1 Météorologie 6

1.2.2 Problématique 7

1.2.3 Objectifs 7

1.3 Conclusion 8

2 Etat de l’art 9 2.1 Visual Analytics 10

2.2 Réalité Virtuelle et Augmentée - Technologies Immersives 11

2.2.1 Réalité Virtuelle et Augmentée 11

2.2.2 Immersion 12

2.2.3 Interaction 13

2.3 Immersive Analytics 15

2.4 Ontology et Linked Data 18

2.4.1 Langage RDF et RDF-Schéma 19

2.4.2 OWL 20

2.4.3 Langage de requête SPARQL 21

2.5 Conclusion 22

3 Approche et Réalisation 23 3.1 Approche et méthode 23

3.2 Linked data en Météorologie 25

TABLE DES MATIÈRES

3.2.1 Semantic Sensor Network Ontology (SSN) 25

3.2.2 AEMET Link Data 26

3.3 Réalisation 27

3.3.1 Eormalisation des données 27

3.3.1.1 Choix de 1’approche sémantique 27

3.3.1.2 Structure des données 28

3.3.1.3 Ontologie pour la modélisation des concepts 29

3.3.2 Mis en place des requêtes 31

3.3.3 Mis en place d’outils de visualisation en 3D et 2D 32

3.3.3.1 Visualisation et Interaction 3D 33

3.3.3.2 Intégration des visualisations 2D en situation immersive 35 3.3.4 Environnements logiciels utilisés 37

3.4 Conclusion 38

4 Plan d’expérimentation 39 4.1 Questions de recherche 39

4.2 Étude préliminaire 39

4.3 Conception et méthodologie de 1’expérimentation 41

4.3.1 Hypothèses 41

4.3.2 Tâches prévues 41

4.3.3 Participants 42

4.3.4 Procédure 43

4.3.5 Méthode de collecte et de traitement des données 43

4.3.5.1 Mesures objectives 43

4.3.5.2 Mesures subjectives 44

4.3.6 Gestion des risques liés au Covid-19 44

4.4 Conclusion 44

5 Conclusion et Perspectives 46 5.1 Contributions 46

5.2 Limites 47

5.3 Perspectives 47

A Météorologie 53 A.l La température 53

A.2 La pression atmosphérique 55

A.3 Le vent 56

A.4 Ehumidité 58

A.5 Quelques phénomènes expliqués 58

A Les avalanches 58

B Les nuages 59

c Précipitation 60

D Les cyclones 60

A.6 Transformation de csv vers rdf 62

TABLE DES MATIÈRES

A.7.2 Questionnaire d’IBM Usability Satisíaction 64

Table des figures

1.1 LogoCNRS 3

1.2 Logo LIMSI 3

1.3 LogoVENISE 3

2.1 Représentation des domaines d’étude 9

2.2 Schéma illustratif du processus de Visual Analytics tel que proposé par Keimet al.[Keim et al., 2010] Les différentes étapes sont illustréespar des ovales, les transitions par des llèches 11

2.3 Continuum de Milgram[Milgram et aL, 1995] 12

2.4 Flystick, ou souris 3d 13

2.5 Mise à 1’échelle interactíve d’un axe dans ImAxes 16

2.6 Filtrage interactií d’un axe dans ImAxes 16

2.7 Exemple de visualisation immersive construite à 1’aide de DXR 17

2.8 Exemples de visualisation immersive avec IATK 17

2.9 Pile des recommandations du W3C 19

2.10 Illustration de la décomposition de base du langage RDF: sujet, prédicat, objet 20

3.1 Schéma global de 1’approche utilisée 24

3.2 Le schéma de SSN ontologie 26

3.3 Modèle détaillé de réseau d’ontologie AEMET [Poveda, 2011] 27

3.4 Vue des données collectées 29

3.5 ưne partie de 1’ontologie 30

3.6 Exemple de relation entre classe 31

3.7 Schéma du processus de transíormation RDF(S) 31

3.8 Espace de visualisation 33

3.9 Visualisation de la pluviométrie et la pression 35

3.10 Vue de la précipitation et de la pression 35

3.11 Visualisations2Detleurintégration3Ddansrespacedetravailimmersif 36 3.12 Auto orientation des graphes vers 1’utilisateur dans 1’espace de travail im-mersií 36

TABLE DES HGURES

A.l Schéma illustratif du solstice 54

A.2 Vue d’ensemble du solstice 54

A.3 Variation de la temperature dans 1’atmosphère 55

A.4 Variation de la température en fonction d’altitude 55

A.5 Variation horizontale de la pression atmosphérique 56

A.6 Schéma présentant le déplacement d’air entre les zones de hautes pres- sions (high pressure) et les zones de basses pressions (low pressure) pro- voqué par 1’élévation de l’air chaud © MIT OpenCourseWare cc by-nc-sa 57 A.7 example d’avalanche 59

A.8 Altitude et caractéristiques des différents nuages; Météo-France 60

A.9 Coupe verticale d’un cyclone de rhémisphère Nord 61

Liste des tableaux

A.l Intensités des phénomènes de précipitation 60

Liste des sigles et acronymes

Aacro:RV&ARV&A Aacro:RV&ARéalité Virtuelle etAugmentée

CNRS Centre National de la Recherche Scientiflque

URI Uniíbrm Resource Identiber

RDF/RDFS Resource Description Framework

OWL Web Ontology Language

XML Extensible Markup Language

SSN Semantic Sensor Network Ontology

DUL Dolce Ultra Lite ontology

AEMET Agencia Estatal de Meteorología

IHM Interfaces Homme-Machine

VE Environnements Virtuels

AR Augmented Reality

HTTP Hypertext Transfer Protocol

RAINC ACCUMULATED TOTAL CUMULUS PRECIPITATION

La réalité virtuelle et augmentée (RV&A) est un champ de recherche de pointe Bien

qu’elle soit utilisée pour le prototypage virtuel en conception de produits, ou pour des simulations réalistes, parfois en temps réel, la RV&A semble est aussi très propice à

1’interaction avec des données plus abstraites, comme par exemple pour 1’analyse de donnée scientitìque du fait de rendre tangibles des objets scientiíìques abstraits, par la visualisation 3D adaptative et et interaction, facilitant par ailleurs le travail collaboratif autour d’objets scientiồques partagés Certes le domaine du VisualAnalytics ĩépond en partie à ces problèmes, mais 1’ImmersỉveAnalytics (ou en d’autre terme le VisualAnaly-

tics couplé aux technologies de RV&A) permet de rendre plus facile 1’appréhension de

l’hétérogénéité et et du volume de certaines données, grâce une interaction immersive impliquant diữérents canaux sensorimoteurs Au delà de la RV&A, 1’ Immersive Anaỉy-

tics peut exploiter les technologies de réalité mixte (RM), et la question se pose aussi

de savoir si la combinaison de environnement de travail virtuel et réel permettrait de mieux interagir avec des données hétérogènes provenant des capteurs variés issues du domais de la météorologie dans notre cas, dans un contexte multi-utilisateur

Comme nous le verrons, [Trellet, 2015] a apporté des éléments de réponse sur

1’Immersive Analytics à base de RV dans le domaine de la biologie moléculaire Pour

évaluer l’apport potentiel de la RM, il faut donc transposer les méthodes et adapter les modes d’interaction à des paradigmes de représentation nouveaux Cependant en amont, il importait aussi de travailler sur les moyens permettant de íaciliter 1’interac- tion immersive virtuelle ou mixte avec des données complexes et hétérogènes du do- maine visé, à savoir la météorologie C’est pourquoi, nous avons concentré 1’essentiel

de ce stage à élaborer un modèle sémantique dans ce domaine

Ce rapport est structure en 5 autres chapitres Dans le présent chapitre, nous pré-

sentons le contexte général de déroulement des travaux de recherche Dans le Chapitre

2, nous présentons 1’état de l’art en décrivant le Visual Analytics, la VR&VA, ỉ’Immersif

Analytics et le Linked Data Le Chapitre 3 décrit la méthode et 1’approche envisagée

pour répondre à la problématique Le Chapitre 4 décrit le plan d’expérimentation prévu

CHAPITRE1 INTRODUCTION GỂNÉRALE

sur ces travaux et dans le Chapitre 5 nous concluons puis nous évoquons les perspec- tives de recherche en rapport avec ce travail

CHAPITRE1 INTRODUCTION GÉNÉRALE

1.1 Présentation de 1’établissement d ’ accueil

Dans cette partie, il sera question de faire une présentation de la structure d’accueil

1.1.1 LIMSI

Le Laboratoire d’Informatique pour la Mécanique et les Sciences de ringénieur (LIMSI11 est un laboratoire de recherche pluridisciplinaire qui rassemble des cher- cheurs et enseignants-chercheurs relevant de diữérentes disciplines des Sciences de lĩngénieur et des Sciences de l’Information ainsi que des Sciences du Vivant et des Sciences Humaines et Sociales

Le LIMSI (UPR3251) est une unité propre du CNRS1 2, rattachée à titre principal à l’Institut des Sciences de riníormation et de leurs Interactions du CNRS (INS2I) Le LIMSI est également associé par convention avec rưniversité Paris-Sud II développe

de nombreuses collaborations avec des laboratoires universitaires ainsi qu’avec des unités de recherche associées à des écoles d’ingénieurs au sein des départements des Sciences et Technologies de riníormation et de la Communication (STIC) et Méca- nique Energétique et Procédés (MEP) de 1’IDEX Paris-Saclay et participe aux actions des laboratoires d’excellence DIGICOSME et LASIPS, de l’Equipex DIGISCOPE et de rinstitut de Convergence DATAIA

Les recherches du laboratoire s’organisent aujourd’hui selon 3 grands axes scienti- tìques, correspondant aux activités de 8 groupes de recherche

— La mécanique des íluides, des transíerts de masse et de chaleur et de l’énergé- tique Nous menons des recherches à caractère íondamental, dont les applica- tions se trouvent dans les secteurs de 1’énergie, des transports, de la santé et

CHAPITRE1 INTRODUCTION GÉNÉRALE

de renvironnement Notre objectif est d’approfondir la compréhension des phé- nomènes physiques fondamentaux de ces domaines, d’améliorer leur modélisa- tion et leur simulation avec notamment une visée d’optimisation et de contrôle des processus Les activités de recherche du département recouvrent un spectre large, allant du numérique àl’expérimental, des échelles nanométriques auxéchelles géophysiques, des analyses fondamentales aux études applicatives, et comprennent

de larges interfaces avec la physique, les mathématiques appliquées et l’infor- matique Le département est organisé en deux équipes, DATAELOT et COMET, qui partagent des approches méthodologiques, notamment des méthodes nu- mériques communes, mais qui sont complémentaires par leurs champs d’inté- rêt

— Traitement automatique de la langue, parlée écrite et signée est un autre des thèmes phares du laboratoire : les groupes TLP et ILES contribuent à un large spectre d’activité depuis le traitement du signal acoustique (reconnaissance et synthèse vocale) jusqu’à la modélisation sémantique et la recherche d’informa- tion précise, en passant par rindexation audio, la traduction automatique, l’ana- lyse des émotions et des sentiments ou encore 1’extraction d’information

— Les recherches en interaction homme-machine s’intéressent d’une part à analy- ser, comprendre et modéliser les interactions entre humains et systèmes artiíì- ciels dans des contextes et selon des modalités les plus variées : les interactions haptiques, tangibles, gestuelles, ambiantes intéressentprincipalementle groupe AMI, le groupe CPU se concentrant sur la psychologie des interactions alTectives non-verbales et collectives chez 1’humain ainsi sur que la conception d’interfaces homme-machine les faisant intervenir; les dispositiís de réalité virtuelle et aug- mentée sont principalement étudiés au sein du groupe VENISE

1.1.2 VENISE (Virtual & augmented ENvIronments for Simulation &

Experiments)

VENISE ! est 1’équipe de recherche en Réalité Virtuelle et Augmentée (RV&A) du

LIMSI Ses recherches ont pour objectif de faire progresser les connaissances dans ce domaine Pour ce faire :

— elle étudie les problématiques perceptives et cognitives qui sont propres à la

RV&A: incohérences sensorimotrices, cybersickness, immersion, présence

— elle conẹoit de nouveaux paradigmes d’interaction et de collaboration (distante

ou co-localisée) en immersion virtuelle ou augmentée;

— elle élabore des modèles de données ou de simulation pour accroĩtre rutilisabi- lité de la RV&A.

Tout en portant une attention particulière à ce que ses travaux soient applicables

à une large gamme de dispositifs immersiís en termes d’affichage (RAVE, CAVE, HMD,

3 https://www.limsi.fr/venise

CHAPITRE1 INTRODUCTION GÉNÉRAEE

Workbench, ) et d’interactions multisensorielles (visuel, audio, haptique,VENISE

a fait le choix de ne valider ses recherches que dans des champs d’application pour lesquels elle a des expertises reconnues

II en résulte que 1’équipe est structurée autour de 2 grands thème recherche, eux- mêmes décomposés en sous-thèmes :

— Modèles d’interaction pour la RV&A:

— Navigation dans les Environnement Virtuels

— Canaux Sensorimoteurs pour les Interactions 3D

— Immersion Collaborative et Multimodale

— Réalité Mixte et Téléopération

— Modèles de simulation pour la RV&A:

— Interaction avec des simulations scientibques et des données massives (Bio- logie, Mécanique des íluides, Météorologie)

— Enseignement des Sciences (Physique)

— Thérapie du comportement (TSA)

— Conception & Engineering (Produits náạnuíacturés, Architecture)

C’est au sein de VENISE que j’ai réalisé ce stage Dans le contexte de la pandémie Covid-19, celui-ci s’est en grande partie déroulé en télé-travail depuis le Vietnam De fait, mes encadrants scientidques ont mis à ma disposition des outils de partage d’ou- tils logiciels et de données (myCore et Sharepoint) Ce n’est qu’en fin de stage qu’il iria été possible de rejoindre physiquement 1’équipe sur le campus de Paris-Saclay

CHAPITRE1 INTRODUCTION GÉNÉRALE

le cas typique des données météorologiques, caractérisées par des résolutions spatiales

et temporelles très variables Dans ce chapitre nous commenẹons par présenter les spéciíìcités des données météorologiques et les principaux phénomènes qu’elles per- mettent de prévoir, puis nous précisons la problématique du stage, avant de revenir sur ses principaux objectifs

1.2.1 Météorologie

La météorologie est une science qui a pour objet 1’étude des phénomènes atmo- sphériques tels que les nuages, les précipitations ou le vent dans le but de comprendre comment ils se forment et évoluent en fonction des paramètres mesurés tels que la pression, la température et rhumidité

C’est une science expérimentale, qui relève de la physique et plus précisément de

la mécanique des íluides Elle requiert aussi des compétences en traitement du signal, pour 1’analyse des données d’observation Les données manipulées résultent aussi de simulations, qui produisent aussi de grands volumes de données à analyser et compa- rer avec celles des observations II en résulte que les données météorologie sont multi- dimensionnelles, multi-échelles, d’une résolution spatiales et temporelles disparates,

et possèdent des modes de représentations 2D ou 3D très variés (voir Annexe A.5), hé- térogénéité qui témoigne la complexité de ractivité des météorologues

Le rôle du météorologiste consiste à recueillir et analyser les diữérentes données météorologiques (pression atmosphérique, température, humidité de l’air, etc.) afin d’en tirer des iníormations exploitables, et des connaissances pour affìner des modèles théoriques En procédant aux multiples relevés (température, direction du vent, humi- dité du sol ) sur la ẩuríầce terrestre et dans Latmosphère, ces modèles de plus en plus précis doivent être en mesure d’apporter une prévision météorologique dans une zone

et sur une temporalité donnée C’est aussi un spécialiste des phénomènes atmosphé- riques (voir Annexe A.5) Le météorologiste estaussi celui quiprévient à-propos de cer- tains risques à propos d’évènements climatiques exceptionnels et ses conséquences comme les ouragans, les íorts orages, ou les avalanches Nous proposons ici de conce- voir et d’évaluer de nouveaux outils scientibques afin de supporter le travail quotidien

du météorologiste en proposant rintroduction dans leurs tâches des technologies de gestion de données et de VR&VA à la base des méthodologies de type Immersive Ana- lytics.

CHAPITRE 1 INTRODUCTION GÉNÉRALE

1.2.2 Problématique

La prévision du temps obéit à une formule simple qui est telle que : plus 1’échéance visée est lointaine, plus elle est incertaine et donc moins elle peut être détaillée La prévision de 1’arrivée d’une perturbation est par exemple fiable sur une période de quelques jours Les phénomènes de plus petite taille (orages, nappes de brouillard ) peuvent être prévus de faẹon précise qu’avec quelques heures d’anticipation Au-delà,

on ne peut que qualitìer leur risque d’apparition par fort, moyen ou faible Dans les meilleurs cas, il est aussi possible d’affiner le diagnostic en íồnction des particularités locales (par exemple un risque d’orage plus élevé sur les reliefs)

Le problème actuel de visualisation et d’analyse des données météorologiques est

le fait que les données générées excèdent de loin les capacités d’interprétation hu- maines, de par sa taille, sa dimension et son.hétérogénéité De plus, la complexité et

la quantité des données sont telles que leurs rendus 2D ou 3D sur des écrans d’or- dinateur ne sont pas suíĩìsants pour interpréter 1’ensemble des informations que les données contiennent

De plus, chacune de ces activités d’exploration et d’analyse de données supposent 1’usage d’application variées, non connectées, allant du logiciel de visualisation 3D aux outils d’analyse pour le post-traitement des données de simulations, en passant par les outils de visualisation d’information Cela nécessite à chaque fois de changer de contexte et d’outils de travail, auquel s’ajoute ractivité technique annexe de transfert

et de conversion de données, très chronophage et sans valeur ajoutée De cette problé- matique, il en ressort les questions de recherche suivantes :

1 Comment transformer, visualiser et interagir sur :

— des données hétérogènes?

— des données massives ?

2 Comment accéder de manière simultanée, en interaction directe et à la demande, aux multiples représentations des données sans changer de contexte de travail sur HoloLens?

1.2.3 Objectifs

Le travail visé consiste à proposer des méthodologies qui permettent d’intégrer un maximum d’activités sous-jacentes à l’exploration et à 1’analyse de données dans un même contexte de travail

Pour ce faire, nous avons étudié rutilisation de 1’ImmersiveAnalỵtics (autrement dit

le Visual Analytics en Réalité Virtuelle ou Augmentée RV&A) couplée à des approches

intelligentes, pour aider des experts dans le domaine de la météorologie et du climat

à explorer en 2D et 3D, analyser et prendre des décisions iníormées sur des données météorologiques ou climatiques complexes

Notre objectif est de démontrer que cette approche intelligente, déjà proposée en bio-informatique, pouvait être transposée voire généralisée à d’autre données mas- sives et hétérogènes, telles que de celles des domaines de la Météorologie ou la Clima-

CHAPITRE 1 INTRODUCTION GÉNÉRALE

tologie Nous sommes doncproposés de généraliser 1’approche de M Trellet [Trellet, 2015]

en l’adaptant pour la rendre applicable à un nouvel ensemble de données plus hétéro- gènes, dans d’autres domaines scientífiques, et dans un environnement de développe- ment diữérent

Dans ce travail différentes contraintes ont du être considérées :

— la quantité et la complexité des données de Météorologie ou de Clímatologie : ces données sont massives et présentent une íorte hétérogénéité (données par- fois lacunaires, spatio-temporellement incomplètes, ayant des représentations diverses íonction des capteurs utilisés ), et sont difficiles à visualiser et a íortiori diữìcile à manipuler interactivement;

— 1’intégration des taches d’analyse dans les taches d’exploration immersive, comme par exemple : le lancement d’analyses, 1’interaction avec leurs résultats généra- lement rendus en 2D et la liaison interactive avec les entités 3D concernées par ces analyses

1.3 Conclusion

Après une introduction générale du contexte du stage, nous avons présenté dans

ce chapitre les problématiques liées au sujet d’étude et défini les objectifs et questions

de recherche Le chapitre suivant présente 1’état d’art autour de 1’Immersive Anaỉytics, ainsi que sur les approches d’intelligence artiíìcielle (en 1’occurrence à base de repré- sentation ontologique et de requêtes sur cette structuration des données hétérogènes

de météorologie) que nous allons utiliser

Etat de l’art

Pour mieux appréhender il convient de commencer par une étude de l’existant Dans ce chapitre nous allons tout d’abord parler de Visual Analytics qui regroupe le domaine de la visualisation et d’analyse Ensuite nous parlerons des technologies de la Réalité Virtuelle et Augmentée (RV&A) et rImmersive Analytics En fin nous parlerons

Linked data Cependant, comme nous 1’avons dit, le domaine d’application visé est constitué de données complexes et hétérogènes, aux représentations et outils d’ana- lyse diverses Pour permettre rinteraction et 1’analyse Immersive (cf ImmersỉveAnaly-

tics dans la section 2.3 ) avec telles données, 11 comâent de pouvoir les transformer en

« données liées » (Linked Data) C’est pourquoi la dernière partie de chapitre présente

un aperẹu des approches de type Linked Data

Cette discipline récente a pour but [Trellet, 2015] de íaciliter 1’analyse visuelle de don- nées complexes et/ou scientiũques et se détìnit par le « raisonnement analytique au travers d'interfaces visuelles interactives » Elle se place à la Ễrontière de nombreux do- maines, comme celui de la visualisation, de 1’interaction homme-machine et de per- ception, afin de visuellement mettre en avant des relations entre les iníormations, dif- ôciles à percevoir lors de 1’utilisation cloisonnée de techniques classiques issues de ces diữérents domaines Elle s’inspire donc pour de nombreux aspects des recherches provenant des domaines de la visualisation scientibque et d’information, de 1’inter- actions homme-machine (IHM), et de la réalité virtuelle et augmentée De plus, elle repose sur des outils et des techniques basées sur des considérations ergonomiques

et perceptuelles Son principal but est de mettre 1’être humain au centre d’une boucle

de décision qui sera íacilitée par la mise en relation de données de diíTérentes natures

et de diổerentes sources Le contexte de travail généré par le Visuaỉ Analytics doit être cohérent pour le chercheur C’est à ce niveau que les domaines de la perception et des études cognitives interviennent afin d’assurer une pleine compréhension et utilisation

de 1’espace de travail Le Visual Analytics (VA) peut être vue comme un catalyseur de

domaines, à rarticulation du raisonnement analytỉque, de rinteraction, de la transíor- mation et de la représentation des données pour leur visualisation et analyse Elle a, par beaucoup de íacettes, des points communs importants avec la visualisation d’in- íormation et la visualisation scientifique Leurs limites respectives et leurs írontières sont assez íloues, mais elles peuvent être distinguées de la manière suivante :

— La visualisation scientitìque s’intéresse auxdonnées possédant une structure géo- métrique 3d intrinsèque (images médicales, évolution de íluides, structures ato- miques par exemple)

— La visualisation d’informations concerne la représentation de données abstraites

la plupart du temps à travers des représentations graphiques 2d

— Le Visual Analytícs concerne le couplage par des méthodes interactives de plu-

sieurs représentations issues soit de la visualisation scientilìque soit de la visua- lisation d’informations

En Visual Analytics il est question de combiner diữérentes modalités de visualisa-

tion afin de íaciliter 1’extraction de connaissances par 1’expert Ce processus, est expli- qué par Keim et al à travers la íìgure 2.2

CHAPITRE2 ETATDELART

Visual Data-Exploratĩon

Keim et al.[Keim et al., 2010] Les diữérentes étapes sont illustrées par des ovales, les transitions par des ílèches

2.2 Réalité Virtuelle et Augmentée - Technologies Immer-

sives

2.2.1 Réalité Virtuelle et Augmentée

La réalité virtuelle (RV) [Burdea and Langrana, 1992] a été déíìnie comme la tech- nologie qui implique une simulation en temps réel et des interactions via de multiples canaux sensoriels (par exemple, la vision, le son, le toucher, 1’odorat et le goũt) afin de íournir aux utilisateurs des expériences réalistes et/ou crédibles en une manière vir- tuelle Le déíì de la réalité virtuelle est de faire en sorte que les objets 3D générés par ordinateur apparaissent de manière convaincante sous de nombreux aspects : appa- rence, comportement, qualité des interactions entre les objets et les utilisateurs

Quant à la réalité augmentée (RA), dans son article, R Azuma [Axuma, 1997] íournit

la déồnition suivante : "La réalité augmentée (RA) est une variante d’environnements

virtuels (VE), ou réalité virtuelle comme on 1’appelle plus cornmunément Les techno-

logies VE plongent complètement un utilisateur dans un environnement synthétique Lorsquil est immergé, rutilisateur ne peut pas voir le monde réel qui 1’entoure En revanche, la RA permet à rutilisateur de voir le monde réel, avec des objets virtuels su- perposés ou composant avec le monde réel."

D’une manière générale, la RA consiste à augmenter la scène réelle avec des iníorma- tions virtuelles supplémentaires Elle regroupe 1’ensemble des techniques permettant

CHAPITRE2 ETATDEƯART

Mixed Reality (MR)

Real Augmented Environment Reality (AR)

Augmented Virtuality (AV)

Virtual Environment

Reality-Virtuality (RV) Continuum

d’intégrer des éléments virtuels dans un monde réel Ainsi, R Azuma a défini les trois

règles de base nécessaires pour le íonctionnement d’un système de RA:

— Combiner le réel et le virtuel,

— Respecter les contraintes d’interactivité et de temps,

— Respecter 1’homogénéité et la cohérence entre deux mondes réel et virtuel.Pour notre part, plutôt que d’opposer RV et RA, nous préférons retenir la concept

de continuum réel-virtuel et le terme plus large de Réalité Mixte (RM) proposé par Mil- gram [Milgram et al., 1995] (voir figure2.3)

2.2.2 Immersion

L’immersion se caractérise par la mise en place de techniques de rendus sensoriels artiíìciels suffisamment réalistes et écologiques d’un point de vue perceptií pour don- ner 1’illusion à rutilisateur d’être immergé dans un monde virtuel L’interaction consti- tue une dimension primordiale de ce réalisme, puisque ces rendus sensuels doivent être dynamiques et temps réel en íonction de la position et de robservation de rutili- sateur, condition minimum pour assurer la sensation d’immersion Les iníormations présentées dans la scène virtuelle durant l’expérience immersive sont dirigées vers les organes de sens, majoritairement la vue et roúie , mais peuvent aussi mobiliser d’autre sens Cependant, d’après Bovvman etMcMahan [Bovvman and McMahan, 2007], il n’est pas nécessaire de gérer 1’ensemble des sollicitations sensorielles d’un utilisateur pour assurer une sensation d’immersion

II existe une diíĩérence entre rimmersion perceptive et l’immersion cognitive Im- mersion perceptive est le résultat de la sollicitation sensorielle d’un individu pour qu’il

se sente immergé et rimmersion cognitive se base principalement sur les capacités

de rindividu à être mentalement immergé dans un monde imaginaire occultant ses perceptions réelles Eimmersion perceptive est plus directe et s’appuie sur un rapport étroit avec la réalité puisque des stimuli réels sont utilisés pour tromper les sens d’un individu enimmersion [Trellet, 2015] Par contre, 1’immersion cognitive s’intéressera à rimagination et à la représentation mentale de rutilisateur qui provoque 1’état d’im- mersion Ces deux íacettes de rimmersion sont présentes à des degrés différents sui- vant les applications, mais ne sont rarement ni complètement présentes ni complète- ment absentes

CHAPITRE 2 ETAT DE L’ART

Figure 2.4 - Le Flystick2 d’ART, ou souris 3d, permettant d’interagir avec un environne- ment3d en positỉon fixe ou mobile.

2.2.3 Interaction

Pour que 1’utilisateur puis interagir avec le monde virtuel ou augmenté, il faut lui fournir la possibilité d’interagir avec 1’environnement virtuel ce qui assure par ailleurs une plus grande implication de rutilisateur et donc une immersion de plus grande qualité Au delà de la stéréoscopie adaptative permettant à 1’utilisateur d’avoir une ex- ploration réaliste et quasiment écologique d’un objet 3D, une tâche typique effectuée dans un environnement virtuel 3D est la manipulation directe des objets dans cet en- vironnement: sélection, mise à 1’échelle, rotation, traduction, création, suppression, édition, etc Certaines de ces techniques correspondent directement à des actions que nous eíĩectuons dans le monde réel (ex Translation, rotation), tandis que d’autres se- raient impossibles dans la vraie vie mais sont nécessaires (ex Mise à 1’échelle, suppres- sion)

— Périphériques de tracking pour 1’interaction : Le trackỉng est indispensable à

1’immersion, sans lui le calcul des rendus visuel audio et haptiques est impos- sible II est aussi globalement indispensable pour représenter 1'avatar de rutili- sateur lorsque celui-ci doit pouvoir voir son corps dans le monde virtuel

Les techniques de ưacking doivent être adaptées à des conditions d’utilisation

en position debout et dans des conditions d’obscurité De nombreuses techno- logies existent mais les plus courantes aujourd’hui sont à base d’infrarouge

Le tracking sert aussi plus spécibquement à 1’interaction La souris des stations

classiques de travail est très souvent remplacée par des périphériques tels que

la souris 3d qui ont besoin donc d’être traquées, appelée aussi Flystick (cf Figure 2.4) On trouve également des dispositiís spécialisés reprenant la íorme d’outils réels qui sont censés être utilisés dans le monde virtuel permettant plus de réa- lisme dans rinteraction On appelle ces dispositifs des "Interfaces tangibles" Ces

CHAPITRE2 ETATDEEART

interfaces doivent aussi être traquées de sorte à les intégrer à travers leurs avatars dans les scènes virtuelles Ces périphériques sont particulièrement utilisés dans des situations d’apprentissage à l’aide d’environnements virtuels

Le tracking sert aussi pour rinteraction gestuelle en combinaison avec des gants

numériques (data gloves) dont nous reparlerons ci-dessous.

— Interíaces sensori-motrices : Ces interfaces regroupent les dispositifs permet- tant à la fois d’interagir avec 1'environnenient, mais également de recevoir un stimulus moteurs en réponse La plus commune des interfaces sensori-motrices est l’interface haptique qui va permettre à 1’utilisateur de ressentir son action sur

le monde virtuel, par des retours d’efforts 3DoF (en position ou collision) voire

6 DoF (collision + torsion), ou encore par des des sensations tactiles (vibration, voire sensation thermique ou de texture)

— Interactions gestuelles : Afin d’augmenter les capacités de rinteraction immer-

sive de 1’utilisateur, il existe des interactions dites gestuelles qui vont utiliser le

tracking des gestes pour reconnaĩtre son intention d’action sur le monde virtuel

Ce type d’interaction lui permet d’interagir directement avec renvironnement virtuel, par opposition aux interactions indirectes comme peuvent l’être le cla- vier, la souris ou les dispositifs d’interaction immersifs comme la souris 3d ou les manettes évoquées précédemment Ces interactions permettent de réduire 1’usage des menus, peu compatibles avec rimmersion

II faut cependant noter que les interactions à base de systèmes de reconnais- sance ont souvent une courbe d’apprentissage plus longue que les interactions indirectes et une robustesse plus faible A 1’inverse les interactions indirectes sont moins contraignantes pour rutilisateur puisqu’elles ne nécessitent pas d’équiper rutilisateur de périphérique matérielle supplémentaire sur les mains de rutilisa- teur (data glove), autre que des supports de marqueurs pour la capture basic du geste de rutilisateur quand il n’utilise aucun périphérique (souris 3D ou interíace tangible)

— Interactions verbales: De même que le tracking du geste peut être couplé à un système de reconnaissance, la reconnaissance de la parole peut être très utile dans des systèmes immersifs en lieu et place du clavier pour comprendre 1’inten- tion d’action de 1’utilisateur, ou plus simplement lui permettre de commander le système Contrairement à l’interaction gestuelle, c’est une commande indirecte, mais pour le reste elle possède les mêmes déíauts (apprentissage, faible robus- tesse, équipement supplémentaire)

— Interactions multimodale: Gérer la combinaison des différentes méthodes d’in- teraction que nous avons vu précédemment est un domaine de recherche à part entière On parle alors de "multimodalité" En IHM, la multimodalité est défì- nie comme du multimédia "intelligent" [Schomaker et al., 1995] En RV&RA on

s’intéresse à superviser les rendus sensori-moteurs (multimodalité en sortie, ou fission multimodale de riníormation), ou à l’inverse à combiner tracking, recon-

naissances de gestes et de parole (fusion multimodale) [Bourdot et al., 2006]

CHAPITRE2 ETATDELART

2.3 Immersive Analytics

ỈHmmersive Analytics est l’extension des concepts du Visual Analytics aux tech-

nologies permettant des interactions immersives Suivant [Marriott et ai., 2018b], elle s’appuie donc non seulement sur la visualisation des données, 1’analyse visuelle, l’in- íographie et rinteraction homme-machine, mais aussi sur le domaine de la Réalité Vir- tuelle ou Augmentée Son objectif est de supprimer les barrières entre les personnes, leurs données et les outils qu’ils utilisent pour 1’analyse II vise à íaciliter la compréhen- sion des données et la prise de décision partout et par tous, à la fois individuellement

et en collaboration Bien que cela puisse être réalisé grâce à rutilisation de technolo- gies d’environnement virtuel immersif, de présentation multisensorielle, de physica- lisation des données, d’interaction directe ou d’analyses adaptavives, le domaine de 1’Immersive Analytics n’estpas lié à 1’utilisation de techniques spéciơques.

Immersive Analytics a le l’objectif de s’appliquer à tous les domaines de science et

de la vie quotidienne Un exemple est l’application de rimmersive Analystics dans les sciences de la vie et de la santé [Czauderna et al., 2018] Pour les médecins spécialistes traitant un patient requérant une intervention médicale complexe à multiples íacettes,

un mélange de casques AR et d’écrans muraux en mosãique prend potentiellement en charge la collaboration co-localisée et à distance [Billinghurst et al., 2018] Cette colla- boration peut être synchrone, comme un groupe d’infìrmières et de médecins prati- quant une chirurgie, ou asynchrone, ó les collaborateurs participent à des moments diííérents, comme pour le suivi d’un traitement médical à long terme Les technolo- gies actuelles permettent aux spécialistes de créer et de partager à distance des visua- lisations de données immersives Un autre exemple est la planiíìcation urbaine et la gestion des catastrophes, comme détaillé dans le [Chandler et al., 2018] (Exploration Immersive Analystics pour les environnements construits)

Par rapport au VisualAnalytics, VImmersiveAnalystics comme illustré dans les breís exemples ci-dessus, offre plusieurs opportunités [Marriott et aL, 2018b], à savoir:

— 1’analyse située[ElSayed et al., 2016] dans laquelle les iníormations d’analyse de données contrơlées par 1’utilisateur sont liées à des objets du monde physique

— 1’expioration des données incorporées [Bũschel et ai., 2018] En s’éloignant de

la souris et du clavier, on espère que le toucher, les gestes, la voix et rinteraction tangible permettront une exploration des données en interaction directe dans la- quelle 1’ordinateur devient invisible et transparent, tout en continuant à íaciliter 1’analyse en arrière-plan

— la collaboration co-localisée ou distante ainsi que synchrone ou asynchrone voir [Billinghurst et al., 2018]

— 1’immersion spatiale [Marriott et aL, 2018a] S’éloigner des interfaces de bureau classiques permet aux utilisateurs d’utiliser l’espace qui les entoure comme un espace de travail en trois dimensions, notamment en réalité augmentée

— la présentation multi-sensorielle Le Visual Analytícs s’est concentré sur la per-

ception visuelle etrinteractiongraphique, maisles autres sens (audio, haptique )

CHAPITRE2 ETATDEEART

peuvent également être utilisés pour fournir des informations supplémentaires

ou comme alternative à la vision lorsque les scènes deviennent trop complexes (volume de données, hétérogénéité ), ou que ce canal sensoriel n’est pas perti- nent pour percevoir une iníồrmation, voire qu’il n’est pas disponible Ce sujet est abordé en détail [McCormack et al., 2018] (Immersive Analytics multisensorielle).

— accroítre la prise de décision, éclairée par les données, avec le grand public ou d’autres parties prenantes Des visualisations narratives interactives immersives peuvent être utilisées Par exemple, on peut impliquer la communauté locale dans 1’atténuatỉon du changement climatique pour voir 1’impact potentiel de leur empreinte carbone locale Cet aspect est détaillé dans [Isenberg et al., 2018] (histoires de données visuelles immersives)

II existe de nombreux outils et différentes applications orientés Immersive Analytics pour la visualisation des données Nous signalons ci-dessous quelques exemples qui

se rapprochent le plus de certaines des interactions attendues dans les domaines d’application qui nous intéressent:

— l’outils ImAxes [Cordeil et al., 2017a] proposeunevisualisationdenuagesdepoints aux caractéristiques analogues, visualisations permettant des explorations sur les données, des reconíìgurations (dltrages des données en manipulant des axes

et les dimensions), et des interactions sophistiquées (création de liens entre les données), comme des objets virtuels dans un environnement immersif et en les recombinant pour obtenir des représentations adaptatives facilitant 1’analyse des données, centré sur des interactions directes propices au contexte immersif

CHAPITRE2 ETATDEEART

— DXR [Sicat et al., 2018] est un toolkit immersíí dédié à la création et au prototy-

page de visualisation de données complexes Cet outil nécessite cependant l’uti-

lisation d’un langage de programmation de haut niveau avant rexpérience im-

mersive

— IATK [Cordeil et al., 2019], est un progiciel (et pluggin) sur Unity qui permet la

création de représentation et 1’exploration interactives de données dans des en-

vironnements immersiís II propose une interíace "intuitive" au sens ó elle pré-

sente une íorte affordance (en l’occurrence, son usage ne nécessite aucun guide

utilisateur), peut gérer de millions d’éléments, et íournit une API dédiée et des

interactions de type "brush and link" en donnant la possibilité de créer des liens

manuels entre les données Elle s’inspire d’autres outils dĩmmersive Analytics

tels queleDXR [Sicat et al., 2018], VR-viz [Saifee et al., 2018] etGlance [Eilonik et al., 2016]

CHAPITRE2 ETATDEEART

2.4 Ontology et Linked Data

Le Web sémantique est une extension du Web "originel" : le web documentaire Construit pour en pallier les limites, il reprend les notions d’ URI1 (Universal Resource

Identiíìer), de protocole HTTP' et ajoute ses propres langages de représentation et de

structuration de données et de connaissances

1 identifiant unique pour faire réíérence à une entité ou un concept

2 l’Hypertext Transíer Protocol (HTTP, littéralement« protocole de transíert hypertexte ») est un pro- tocole de communication client-serveur développé pour le World Wide Web.

des données (Open Data) La principale clé de cette évolution est basée sur 1’utilisa-

tion du standard d’ URI/IRI (Uniform Resource Identifìer /International Resource Identi- fier) permettant une représentation unique et tormelle d’une ressource L’utilisation

du standard RDF (Resource Description Framework) permet de décrire et représen-

ter des ressources manipulées en incluant dans leur description des liens RDF vers d’autres ressources(LỊRẸ) La mobilisation de vocabulaires contrôlés ou d’ontologies (envisagées comme des concepts en inter-relations) permettent 1’interconnexion de différentes sources de données résolvant ainsi les problèmes d’interopérabilité

[Gandon et al., 2012] et d’intégration de données Afin de mieux structurer, de lier et

de partager librement sans restriction les données, des langages ont été spécialement conẹus : RDF mais aussi RDFS (RDF Schema) et OWL (Ontology Web Language) Ces

langages sont ensuite manipulés à 1’aide de syntaxes à 1’exemple d’XML, JSON ou en- core N3

Earchitecture du Web sémantique s’appuie sur à des recommandations du W3C 1 23,

un consortium travaillant afin d’établir les règles de bonnes pratiques sur le Web de données dans le but de pouvoir mieux le structurer pour íaciliter la communication entre agents machines (applications, sites Internet, logiciels 1 et le partage des connais- sances entre agents humains (communautés scientiíìques, entreprises, journalistes ) Des "recommandations" ou standards ont été développés à cet effet (Rgure 2.9) Les couches exploitées durant ce travail sont:

— la couche d’identification : permet d’identifier de manière unique les ressources

(URI/IRI) à partir de leur espace de nom 4

— la couche de représentation : permet de structurer et décrire les données (RDP/XML)

— la couche de raisonnement : permet de íìxer des interprétations sur les données grâce à la détìnition d’axiomes qui s’inspirent de la famille des logiques de des- cription

— la couche de requêtes : permet d’exprimer des requêtes portant sur des

Pile des standards du Web de données W3C®

2.4.1 Langage RDF et RDF-Schéma

La brique de représentation des données du Web sémantique est le langage RDF

(ResourceDescription Framework), il s’appuie sur une sérialisation en XML5 (première

syntaxe) aussi sur des sérialisations en N3 (Notation 3), ou en Turtle (Terse RDF Triple

Language) qui est un sous-ensemble de N3 RDF structure les données sous forme d’un

modèle de graphe orienté à base de triplets qui permet de décrire de íaẹon formelle les ressources et les propriétés ou relations qu’elles possèdent Un document RDF est une structure de données en graphe orienté, constitué de noeuds et de propriétés, dans lequel nous avons:

5 Extensible Markup Language: langage de balisage extensible

— un sujet qui est la ressource à décrire

— un prédicat qui est la propriété du sujet

— un objet qui est une donnée terminale (littérale) ou une autre ressource

Une ressource peut être une URI, UIÍ littéral ou sans identité Dans ce dernier cas, on

parle de noeud anonyme ou "BlankNode" C’est une notion importante qui permet de déíìnir des structures à plusieurs composants (deux adresses d’une même personne par exemple), de décrire la provenance d’une information ou de représenter des iníor- mations complexes Ce sont des conteneurs qui permettent d’agréger les données

Le langage OWL (Web Ontology Language) se place au dessus du RDFS, il propose

un vocabulaire plus riche que RDFS, afin d’apporter un niveau de description plus ex-

pressií que le langage RDFS.

OWL propose une syntaxe íormelle et rigoureuse pour modéliser les connaissances d’un domaine donné et intégrer les différents concepts du dit domaine d’une manière

"íntelligible”parles machines Ce langage utilise laíamille des logiques de description

pour la dédnition d’axiomes, 11 permet de véritìer la cohérence d’un schéma de descrip- tion et la véribcation automatique d’une ressource basée sur ces propriétés II fournit des primitives pour non seulement la caractérisation des propriétés (restriction, ca- ractéristiques algébriques) mais aussi pour la gestion des équivalences entre différents schémas ou versions d’un schéma [Gandon et al., 2012]

OWL permet d’adjoindre à la déíìnition des relations entre objets par des assertions íournies par RDFS, des propriétés reliant les classes à travers des relations de symé-

trie, d’équivalences, de cardinalité, etc entre les classes 11 est donc possible de mettre

en place des associations de classes et de propriétés plus complexes et basées sur une íondation logique

Mikael Trellet dans sa thèse sur Exploration etanalyse immersives de données molé- culaires guidées par la tâche et la modélisation sémantique des contenus [Trellet, 2015] a exploré cette approche intelligente basée sur des ontologies et des bases de faits décri- vant des données moléculaires, complexes, hétérogènes et parfois de très grande taille Pour répondre auxproblématiques liées aux données massives, 1’auteur a proposé une approche dont le but est de connecter diííérents espaces de visualisation et d’analyse

CHAPITRE2 ETATDEEART

dans un contexte interactif homogène grâce à une modélisation sémantique C’est une généralisation du concept de "brush and link" [La Spina et aL, 2007] mais reliant des données qui ne sont ni de même nature (une énergie d’une structure moléculaire et

la structure moléculaire sous forme d’ensemble d’atome), ni représentées de la même íầcon (structures atomiques ou moléculaires en 3D, graphismes 2D de données d’éner- gies, d’hydrophobie ) Ces données sont cependant conceptuellement liées, et ces re- lations ne peuvent être íồrmalisées qu’au sein d’une base de données, qui si elles sont décrites de faẹon sémantique permettent au système d’opérer des inférences pour ré- pondre aux requêtes des utilisateurs De telles inférences sont particulièrement utiles pour mettre en évidence des liaisons éventuelles, directes ou indirectes, entre les don- nées et pour mettre en valeur visuellement et interactivement ces liens entre différents espaces de visualisation (3D analyse)

D’un point de vue applicatif, il s’agit de raccourcir le processus d’étude et d’analyse des données de simulation moléculaire en minimisant les changements de contexte inter- actifs nécessaires aux diữérentes tâches (exploration 3D, script d’analyse, visualisation d’informations ), en proposant un prototype d’outil qui permettent la réalisation de ces diữérentes tâche en restant uniquement dans une contexte immersif

Si les données de biologie moléculaire et météorologiques sont de nature diffé- rente, la problématique reste analogue, à savoir la nécessité d’utiliser des données liées formalisées par rutilisation de base de données sémantiques, pour créer des liens vi- suels et/ou interactifs entre plusieurs représentation 2D ou 3D Cette approche séman- tique permettant des inférences, à 1’avantage majeur de ne pas exiger une explicitation exhaustive de toutes les relations requises pour 1’analyse des données

2.4.3 Langage de requête SPARQL

Pour accéder aux données structurées en conformité avec le Web sémantique, nous utilisons le langage SPARQL (Protocol and RDF Query Language), qui combine un pro- tocole d’accès aux ressources sur le Web et un langage de requête qui permet de défi- nir des patrons venant s’appliquer aux graphes RDF Les requêtes sont donc basées

sur la manipulation des triplets RDF, et sont de diverses natures à 1’exemple de la

clause SELECT qui permet de renvoyer tout ou une partie des triplets, ou la clause CONSTRUCT qui permet de renvoyer un sous-graphe RDE Le íồrmat des résultats des requêtes est lui aussi variable : données tabulées, en XML, en N3 ou en JSON par exemple Par ailleurs, les requêtes peuvent se faire vía un protocole client-serveur dis- tant [Gandon et al., 2012] C’est un standard qui íonctionne en synergie avec les autres standards de la pile sémantique, 11 permet de faire des requêtes sans se soucier du mode de stockage des donnée SPARQL íournit également plusieurs opérations sur les résultats comme SORT, JOIN, DISTINCT qui permettent un traitement direct des résultats afin de les classer ou bltrer suivant les besoins

CHAPITRE2 ETATDEEART

Dans ce chapitre, nous avons donné un aperẹu des différents domaines au sein desquels se situe notre travaiL Tout d’abord, nous avons défini \'Immersive Analytics comme une approche combinant le Visual Analytics et les technologies de RV/RA En- suite, la nature hétérogène des données métrologiques nous a amené à nous interro- ger sur l’outil de Linked Data Dans le chapitre qui suit nous allons présenter notre approche qui vise à utiliser le inked Data pour favoriser 1’Immersive Analytics.

Dans ce chapitre nous commenẹons par exposer 1’approche que nous avons choi- sie de suivre pour mettre en place une méthodologie de type Immersive Analytics à l’aide des données liées ou Lỉnked Data (section 3.1) Cependant, il existe déjà des re- présentations sémantiques en météorologie, et donc nous en íaisons un rappel syn- thétique en section 3.2 Pour finir nous décrivons comment nous avons mis en ceuvre notre approche dans la section 3.3

ce schéma trouvent leur place au sein de notre travail Le processus de « Transforma-

tion » des données hétérogènes en données homogènes présenté lors de l’étape « Data

» du schéma est une étape indispensable dans notre travail

En effet, les données en entrée sont de nature géométrique (coordonnées), brutes (non structurées) et temporelles, elles doivent être transíormées de faẹon à être utilisées si- multanément Cette transíormation des données peut être eíĩectuée grâce à une ap- proche par représentation des connaissances Cette approche est inspirée des travaux

de thèse de M Trellet[Trellet, 2015] à savoir mettre en place une représentation onto- logique pour permettre d’effectuer le type de requêtes suivantes :

— d’inférer des relations entre des données hétérogènes et massives

— de lancer des analyses sur tout ou partie des dites données

— d’interconnecter des représentations d’analyses et avec les dites données pour permettre des interactions depuis des analyses vers les données et vice versa des

CHAPITRE3 APPROCHE ET RÉALISATION

données vers l’analyse Le schéma suivant est une vue d’ensemble de 1’approche utiliser dans le cadre de se travail

Ontology Data processing

Dans le figure 3.1, la partie de traitement de donnée correspondra a la phase créa- tion d’ une ontologie, en reprenant et intégrant les ontologies du domaine de la météo- rologie (cf section 3.2.2 et 3.2.1), et justification du choix de OWL Ensuite dans cette partie, il est question de la mis en place de procédure permettant d’instancier dans les classes de 1’ontologie différent ensemble de donnée (création des individus propre à une observation météorologique)

Dans la partie Data request et anaỉỵtics Engine, nous allons íaire des requêtes bien spé-

cibques, a travers le langage de requête SPARQL

Enfin la partie Visualisation Engine et User Interface , consiste a la création d’un en-

vironnement 2D et 3D sur unity permettant la visualisation immersive et interaction avec des données et des analyses météorologiques

Afin de répondre a notre deuxième problématique, nous allons utilisé un serveur qui permettra de faire les différents traitements avant d’être aííìche par le casque de réalité virtuelle A cet effet nous utilisons le serveur de donnée ouvert Jena1 [McBride, 2002]

1 https://jena.apache.org/index.html

CHAPITRE3 APPROCHE ET RÉALISATION

3.2 Linked data en Météorologie

3.2.1 Semantic Sensor Network Ontology (SSN)

L’ontologie SS7V [Compton et al., 2012], disponible sur http: //purl oclc org/ NET/ssnx/ssn, est organisée, en dixmodules, Fig3.2 Eontologie complète se compose

de 41 concepts et 39 propriétés d’objets, héritant directement de 11 concepts DUL et

de 14 propriétés d’objets DUL2 L’ontologie peut décrire les capteurs, laprécision et les capacités de ces capteurs, les observations et les méthodes utilisées pour la détection Des concepts pour les plages de fonctionnement et de survie sont également inclus, car ils font souvent partíe d’une spéciRcation donnée pour un capteur, ainsi que ses per- íormances dans ces plages Enfin, une structure pour les déploiements sur le terrain est incluse pour décrire le déploiement L’ontologie SSN est construite autour d’un modèle central de conception d’ontologie (ODP) [Gangemi, 2005] décrivant les relations entre les capteurs, le stimulus et les observations, le modèle Stimulus-Sensor-Observation

CHAPITRE3 APPROCHE ET RÉALISATION

DcoEyỉPữn! dcploymcntProccsPar: only

basDeployment oHy "1 Sysìem

Ị-Survi va| Range

-hasOperatmgRange only

■►^~OperatingRange~j-cep|oyedOrP|atfoHĩi on|y

inDeployment onịy

PlntỉormSittỊ 'ónPladorm only

ị Platíbrm "ãtiáchedSystem only

Oevice

Device j

Process

1 haslnpirt only Input k-

[ Output ]*tiasOulput only sorne

observes only

includesEvent sorre obsotvationResult only'-«

; observedBy ody 1^ Observationj -’",SỈ-/"

isProxyFor only

observedProọerĩy on|y,

Property ] ^isPropenyOÍ somo

1 hasProperty only, some reatưrẽÕíẼdẽnãsl orĩỹ »1 FeatureOflnterest

3.2.2 AEMET Link Data

AEMET [Poveda, 201 J73ontologie est l’une des extensions de 1’ontologie SSAT déve-

loppée par Agencia Estatal de Meteorología Cette ontologie est basée sur la réutilisa-

bilité et suit une structure modulaire à travers laquelle il est liée à un ensemble d’onto- logie qui décrivent diffèrent sous domaines impliqués dans la météorologie La tìgure 3.3 présente les principales classes et propriétés de cette d’ontologie Ce modèle, qui

peut être considéré comme le coeur d’ AEMET, contient quatre ontologies modulaires :

Capteur , heure, emplacement et mesure AEMET a été implémentée en OWL-DL et

contient 83 classes, 102 propriétés d’objet, 80 propriétés de type de données et a une

Ensuit Ils ont utilisé 1’ontologie temporelle, pour modélise la connaissance du temps, qui intègre les unités temporelles, entités temporelles, instants, intervalles, etc Cette