Implémentation et test de méthodes de deep learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones)

UNIVERSITÉ NATIONALE DU VIETNAM À HANO¨ I INSTITUT FRANCOPHONE INTERNATIONALMémoire de stage de Master 2 Option : Systèmes Intelligents et Multimédia SIM Implémentation et test de méthod

UNIVERSITÉ NATIONALE DU VIETNAM À HANO¨ I INSTITUT FRANCOPHONE INTERNATIONAL

Mémoire de stage de Master 2 Option : Systèmes Intelligents et Multimédia (SIM)

Implémentation et test de méthodes de Deep Learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images

(satellites, aériennes, drones)

KINDA Zakaria

Encadrant :

M BORNE FrédéricPh.D, Ingénieur de recherche CIRAD

Année académique 2018-2019

Les Rafias sont des plantes situées dans des forêts denses, notamment dans les zonesmarécageuses ó les couronnes sont imbriquées les unes dans les autres On les trouveprincipalement dans les pays de l’Afrique Centrale et de l’Ouest avec des rendementséconomiques très importants Compte tenu de cette importance économique, il est néces-saire de connaˆıtre le nombre de Rafias se trouvant dans ces forêts denses Récemmentplusieurs travaux ont été réalisés en télédétection pour la détection des objets en utilisantdes images réelle et de synthèse La télédétection serait donc un outil pouvant intervenirdans la détection des palmiers Rafias Les méthodes actuelles de détection d’objets dansdes images réelles et de synthèse sont basées principalement sur l’apprentissage profondutilisant les fenêtres glissantes À cet effet plusieurs réseaux tels-que le réseau de neuronesconvolutionnels (CNN), le Fast-RCNN, le Faster R-CNN, le Mask R-CNN, etc ont at-teint des performances de pointe sur le traitement des données spatiales, notamment desimages Ainsi, le Faster-RCNN est un réseau largement utilisé pour la détection des ob-jets dans une image Il est utilisé sur des images réelles, mais également sur les images desynthèse pour la détection des fruits, de fleurs, des plantes, etc avec des F-Mesures allantjusqu’à 93% Dans cette étude, il était question d’évaluer l’intérêt des images de synthèsepour entrainer un réseau destiné à traiter des images réelles Les expérimentations ont étéeffectuées sur des images présentant des caractéristiques contrơlées (résolution de l’image,résolution métrique, ombrage, direction de la lumière, etc) Pour ce faire, nous avons uti-lisé le modèle VGG16 déjà pré-entraˆınés avec le jeu de données PASCALVOC 2007 Lesrésultats expérimentaux montrent que l’apprentissage profond peut faire un grand bond

en avant sur la détection des plantes en forêt dense en utilisant des images de synthèse

Mots clés : Rafia, Apprentissage profond, télédétection, image de synthèse, réseau deneurone convolutionnel (CNN), Faster R-CNN

Rafias are plants located in dense forests, especially in swampy areas where the crowns areintertwined They are mainly found in Central and West African countries with very higheconomic returns Given this economic importance, it is necessary to know the number

of raffia trees in these dense forests Recently, several works have been carried out in mote sensing for the detection of objects using real and synthetic images Remote sensingwould therefore be a tool that could be used to detect raffia palm trees Current methods

re-of detecting objects in real and synthetic images are based mainly on deep learning usingsliding windows To this end, several networks such as the Convolutional Neural Network(CNN), Fast-RCNNN, Faster R-CNN, Mask R-CNN, etc have achieved advanced per-formance in spatial data processing, particularly images Thus, the Faster-RCNNN is awidely used network for detecting objects in an image It is used on real images, but also

on computer-generated images for the detection of fruits, flowers, plants, etc with F-Score

up to 93% In this study, it was a question of evaluating the interest of synthetic images

to train a network designed to process real images The experiments were carried out

on images with controlled characteristics (image resolution, metric resolution, shading,light direction, etc.) To do this, we used the VGG16 model already pre-trained with thePASCALVOC 2007 dataset Experimental results show that deep learning can take a bigleap forward in plant detection in dense forests using synthetic images

Keywords :Rafia, Deep Learning, remote sensing, Synthetic image, convolutional neuralnetwork (CNN), Faster R-CNN

Ce travail a bénéficié d’une aide de l’État gérée par l’Agence Nationale de la Recherche autitre du programme d’Investissements d’Avenir portant la référence ANR-16-CONV-0004.Cette étude s’inscrit dans le cadre des stages financés par l’Institut de Convergence del’agriculture numérique DigitAg basé à Montpellier et avec des antennes satellites à Rennes

et Toulouse

L’objectif est de construire un socle de connaissances qui favorise le développement del’agriculture numérique en France et au Sud L’Institut de Convergence DigitAg structureses actions autour de six axes de recherche et huit challenges

« N’a pas remercié Allah celui qui ne remercie pas les gens » (Hadˆıth)

Pour cela, je voudrais très sincèrement adresser toute ma gratitude et ma reconnaissance

à mes encadrants, M Frédéric Borne et Mme Ga¨elle Viennois, pour leur patience, pourleur disponibilité et surtout pour la confiance qu’ils ont portée à mon égard Leurs ju-dicieux conseils et encouragements ont contribué au bon déroulement de mon stage et àl’aboutissement de ces résultats

Je tiens également à remercier M Philippe Borianne pour ses remarques pertinentes, sadisponibilité, ses encouragements et toutes les discussions que nous avons pu avoir sur lesujet

Mes remerciements vont à l’endroit de M Marc Jaeger pour l’acquisition des données etpour ses différents conseils et remarques

Je voudrais remercier l’Agence Nationale de la Recherche (ANR) pour le financement de

Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à toute ma famille et aussi

à tous ceux et celles qui m’ont apporté leur soutien et leurs encouragements indéfectiblestout au long de mes années de Master

Table des matières

1.1 Contexte de l’étude 3

1.2 Problématique 4

1.3 Objectif 5

Chapitre 2 État de l’art 7 2.1 Approche du Machine Learning ou approche classique 8

2.2 Approche du Deep Learning 9

Chapitre 3 Données et Méthodes 12 3.1 Données 13

3.1.1 Méthode d’acquisition des données 13

3.1.2 Présentation des images du masque 18

3.1.3 Pré-traitement de données 19

3.2 Méthodes 20

3.2.1 Faster R-CNN 20

3.2.2 Architecture du Faster R-CNN 20

3.2.3 Fonctionnement du Faster R-CNN 21

3.2.4 Transfer learning 21

3.2.5 Méthode d’entraˆınement du réseau 22

3.2.6 Méthode de validation du réseau 22

Chapitre 4 Expérimentations et résultats 24 4.1 Expérimentations 25

4.1.1 Environnement de travail 25

4.1.2 Création des fichiers d’annotations 25

4.1.3 Entraˆınement du réseau 26

4.1.4 Validation du réseau 27

4.2 Résultats 27

4.2.1 vérification de l’indice spéculaire 27

4.2.2 Évaluer l’influence d’une deuxième classe sur la première (troisième expérimentation) 33

4.2.3 Transposition à l’image réelle (Quatrième expérimentation) 36

Chapitre 5 Discussion et bilan 37 5.1 Discussion 38

5.1.1 Entraˆınement du réseau 38

5.1.2 Aspect spéculaire 38

5.1.3 Choix du fichier de poids 39

5.1.4 Matrice de confusion 39

5.1.5 Les annotations 40

5.2 Bilan 41

Chapitre 6 Conclusion et perspectives 42 6.1 Conclusion 43

6.2 Perspectives 43

Table des figures

1.1 Photographie d’un Rafia hookeri 4

1.2 Image aérienne Rafia 5

2.1 Popularité des méthodes en % 10

3.1 Image de synthèse de Rafias prenant en compte une forte réflexion spéculaire 14 3.2 Image de synthèse avec des Rafias présentant une réflectance plus faible 14

3.3 Image drone de Rafias 18

3.4 Image de synthèse et son masque 19

3.5 Masque d’image annotée 19

3.6 Architecture Faster R-CNN [26] 20

4.1 Test d’annotations sur l’image du masque 26

4.2 Fonction de perte globale 28

4.3 Fonctions de perte RPN et CLS 29

4.4 Courbe de F-Mesure expérimentation 1 30

4.5 Matrice de confusion à une classe 30

4.6 Résultats de validation avec des Rafias en blanc 31

4.7 Matrice de confusion Rafias en couleur 32

4.8 résultats de validation avec des Rafias en vert 32

4.9 Courbe de F-Mesure pour la classe Rafia 33

4.10 Matrice de confusion pour la classe Rafia 34

4.11 Courbe de F-Mesure de Rafia et du cocotier 35

4.12 Confusion à 2 classes plus Background 35

4.13 Résultat de validation sur une image réelle 36

5.1 Résultats en sortie de validation 40

Liste des tableaux

4.1 Liste des images d’entraˆınement 274.2 Liste des images de validation 275.1 Bilan de résultats de expérimentations 41

RPN : Region Proposal Network

CUDNN : Deep Neural Network Library

la biodiversité, production des cultures agronomiques, stockage du carbone dans la masse végétale, protection de l’environnement et des services écosystémiques Ces travauxs’intéressent aux végétations méditerranéennes, tempérées et tropicales essentiellement Ilscroisent les champs disciplinaires de la botanique (systématique et structurale), l’écologie

bio-de la végétation, l’agronomie et la foresterie avec ceux bio-de l’informatique, bio-des tiques et des statistiques appliquées Les recherches de l’unité s’articulent autour de 3axes transversaux, la plupart des chercheurs de l’unité contribuant à plusieurs axes :

mathéma-— Biodiversité végétale, actuelle et passée :

L’objectif est de comprendre les processus qui sous-tendent la diversité des objets giques, actuels et passés

biolo-— Biomasse et production des plantes et des végétations :

L’objectif est de comprendre les stratégies d’allocation des ressources et de répartition de

la biomasse dans les plantes et les végétations

— Modélisation du monde végétal :

Cet axe s’intéresse au développement de méthodes d’étude et de modélisation des systèmesvégétaux complexes

Chapitre 1

Analyse du contexte

Ce premier chapitre consiste à présenter une analyse exploratoire de mon sujet d’étude

Il présente les éléments nécessaires à la compréhension du contexte de l’étude, de laproblématique ainsi que l’objectif du sujet

La fibre est également exportée pour la production des balais, des tapis des chapeaux,des sacs et des costumes Les feuilles de Rafia sont parmi les plus grandes des palmiersd’Afrique En plus des fibres, ces feuilles produisent de la sève (vin de palme) qui constitueune boisson très populaire en Afrique et qui est également exportée hors du continent Lasève produit des nutriments utiles qui pourraient jouer un rôle actif dans la physiologie

et la santé humaines [22]

Les Rafias sont localisés dans les forêts marécageuses notamment dans les pays de l’Afrique

de l’ouest (Guinée, Nigeria), de l’Afrique centrale (Congo, Cameroun, Gabon, etc.) CesRafias se regroupent dans les marais d’eau douce et au bord des rivières, donc dansles zones marécageuses avec des couronnes imbriquées les unes dans les autres, doncdifficilement dénombrables À cet effet, les satellites d’observation de la Terre, les avions

et les drones (images aériennes) s’avèrent un outil tout à fait approprié pour l’étude de labiosphère terrestre, à toutes les échelles de temps et d’espace, même s’ils ne permettent pasd’observer directement tous les paramètres relatifs à la végétation, comme la hauteur desarbres, leur volume, la structure verticale des couverts ou encore la végétation qui poussesous les arbres d’une forêt Ainsi la télédétection est un outil pouvant être utilisé pour ladétection du Rafia en milieu naturel Dans le cadre de ce travail, l’enjeux principal est decompter les Rafias à l’échelle d’un paysage La figure 1.1 présente une photographie deRafia hookeri en milieu naturel

Figure 1.1 – Photographie d’un Rafia hookeri

Grâce aux nouvelles techniques de recherche d’informations notamment le Machine ning et le Deep Learning sur les images aériennes, il est possible d’extraire des informa-tions sur des grandes masses de données Ces techniques sont utilisées sur des grandesbases de données issues des séries temporelles d’images, et plus encore pour l’extractiond’informations (extraction des objets) à l’intérieur des images Sur des images de forêtnaturelle tropicale il est cependant souvent difficile d’extraire des informations en utilisantces nouvelles techniques Les études menées par des chercheurs d’AMAP depuis 2015 sur

Lear-le dénombrement des Rafias l’illustrent Les travaux de 2015 [19] ont utilisé Lear-les méthodesd’apprentissage classiques (machine learning) pour la classification des Rafias en milieunaturel avec des résultats variant entre 44% et 70% En 2018 des nouvelles études sontmenées utilisant un réseau de neurone convolutionnel (deep learning) [31] sur des images

de télédétection pour le dénombrement des Rafias Les résultats obtenus donnent un taux

de bonne prédiction de 63%, meilleur qu’avec les méthodes de Machine Learning mais untaux largement en dessous de ceux obtenus dans les usages classiques du Deep Learning,

ce qui montre que la méthode est pour l’instant moins efficace sur les données utilisées.Dans ces études, les données utilisées pour le dénombrement sont des ortho-images RVBissues de l’acquisition par drone associées à des annotations expertes Les chercheurs ontétabli que les résultats faibles du réseau sont dus au fait que l’annotation des Rafias esttrès difficile à cause des couronnes imbriquées les unes dans les autres Aussi, en observant

la figure 1.2 (image aérienne) nous constatons qu’il est presque impossible pour l’humain

de compter le nombre de Rafias sur cette image Face à cette situation il est donc impératif

de mettre en place de nouvelles méthodes permettant de dénombrer les Rafias en milieunaturel

Figure 1.2 – Image aérienne Rafia

Les résultats obtenus lors de cette première expérience sur la détection du Rafia parDeep Learning ont montré la difficulté d’annoter les Rafias sur les images réelles Pouratteindre leur objectif, les auteurs [31] se sont orientés vers une méthode de génération desimages de synthèse (image RVB) pour le dénombrement des Rafias en milieu naturel Eneffet, il s’agit d’évaluer l’intérêt des images de synthèse pour la classification des images

naturelles Pour ce faire, dans le cadre de notre étude, nous allons identifier un réseau

de neurones pour effecteur des entraˆınements sur ces images de synthèse Par la suitel’objectif de notre travail serait d’effecteur une transposition de le méthode mise en placepour la reconnaissance du Rafias sur les images réelles (images aérienne)

Chapitre 2

État de l’art

L’objectif de ce chapitre est de considérer les travaux réalisés en Deep Learning et enMachine Learning sur la détection des objets dans des images de télédétection et decomparer ces approches

2.1 Approche du Machine Learning ou approche

clas-sique

Les recherches antérieures sur la détection de palmiers ou de couronnes d’arbres quées ont généralement été basées sur les méthodes traditionnelles dans le domaine de lavision par ordinateur En plus des palmiers, ces méthodes sont utilisées en général pour

imbri-la détection d’objets dans une image Les auteurs Mandjo BORE et al.[19] ont mené uneétude sur la cartographie par télédétection des peuplements de Rafias en forêt dense àpartir des données satellitaires, en utilisant les algorithmes du plus proche voisin (KNN)combinés à l’analyse en composante principale (ACP) Le problème soulevé par cetteétude est la difficulté à détecter ces types de palmier en forêt dense Les résultats deleur approche sont compris entre 44% et 68% Malek et al [17] ont utilisé une transfor-mation des caractéristiques invariante à l’échelle (SIFT) et un classificateur supervisé demachines d’apprentissage extrême pour détecter les palmiers à partir partir d’images dedrones (véhicules ắriens sans pilote (UAV)) Srestasathiern et al [30] utilisent le calcul desemi-variogrammes et la suppression non-maximale pour la détection de palmiers à partird’images satellites multispectrales à haute résolution Ils obtiennent des résultats variantentre 89% et 96% Malgré ces résultats, ce travail n’intervient pas dans le carde de notreétude, car elle a été appliqué sur des plantations de palmiers ó les couronnes ne sont pasimbriquées Yiran Wang et al.[33] ont réalisé des travaux sur la détection et le dénombre-ment des palmiers à huile dans des plantations de Malaisie sur des images de drone enutilisant les fonctions d’histogramme de gradient orienté (HOG) [12] et du classificateurmachine à vecteur de support (SVM) L’analyse de composantes principale (ACP) a étéutilisée par les auteurs KOMBA Prune et al[2] pour la classification des cocotiers sur desimages satellitaires, avec un résultats de 56% Manandhar et al[18] ont mené des étudessur une plantation de palmiers en utilisant un algorithme local de détection maximale surdes images drone normalisés pour détecter les palmiers et un Support Vector Machine(SVM) pour la classification R Saini et al.[28] ont étudié la classification des cultures àl’aide d’imagerie sentinel-2 à date unique en utilisant les méthodes Random Forest (RF) etSupport Vector Machine (SVM) Ils ont montré dans leur étude la meilleure efficacité de

RF (84%) par rapport au SVM (81%) pour classifier les cultures sur les images satellitesCes études antérieures sur la détection des arbres notamment des palmiers [33, 18, 17]ont donné de bons résultats (96%)[17], car ces arbres sont localisés dans des zones d’é-tudes moins denses ó les couronnes ne se chevauchent pas Toutefois, la performance

de certaines de ces méthodes se détériorent fortement lors de la détection des palmiers

et autres plantes dans certaines régions de notre zone d’étude, surtout dans les milieuxnaturels ó les couronnes sont imbriquées les unes dans les autres [2, 19] Aussi, notre

étude étant dans une zone naturelle ó la forêt est dense, nous allons mener une étudeutilisant l’approche du Deep Learning.

Le "Deep Learning" signifie "Apprentissage Profond" Il est considéré comme un domaine du Machine Learning permettant d’apprendre de manière automatique Il s’agitd’une approche en pleine expansion ces dernières années, notamment sur la détection deplante dans une image L’un des pionniers de cette approche est Yann Lecun qui a effectuéplusieurs études dans ce domaine [14] De ce fait plusieurs articles ont été publié sur ladétection des objets en utilisant l’approche du Deep Learning

sous-Dans l’article [15] les auteurs Weijia Li et al ont mené une étude sur la détection des miers à huile sur des images de télédétection à très haute résolution spatiale en Malaisie

pal-en utilisant le Deep Learnig Ces études ont été réalisé sur des plantations de palmiers àdifférents âges en utilisant le réseau de neurones convolutionnel pré-entraˆıné VGG16[25],

le réseau de neurones artificiel (ANN) [24] et autres méthodes[11] Le meilleur résultat

de cette étude est obtenu avec le CNN (96%) Les auteurs montrent l’efficacité du CNN(utilisant l’architecture VGG16) à détecter les palmiers de tout âge Ainsi l’inconvénient

de cette approche dans le cadre de notre étude est qu’elle a été appliquée dans une zone

de plantation et non dans un milieu naturel ó les couronnes sont imbriquées les unes desautres Giorgio Morales et al.[20] en 2018 ont mené des travaux sur la forêt amazoniennenotamment sur le palmier Mauritia flexuosa Les auteurs ont utilisé un modèle basé surl’architecture Deeplab v3+[1] Le modèle a été formé pour détecter et segmenter les pal-miers flexuosa de l’ˆıle Maurice à différents stades de croissance et à différentes échelles.Cependant, il faut mentionner que les méthodes utilisées par les auteurs sont forméespour classer les couronnes d’arbres visibles dans les images ; par conséquent, si la majeurepartie d’une couronne est couverte par des arbres plus grands, le modèle ne parvient pas à

la détecter Bien que cette étude soit sur le palmier en milieu naturel avec une précision de98%, elle n’intervient pas dans le cadre de notre étude ó les couronnes sont imbriquées lesunes des autres, car la méthode permet de détecter les palmiers jeunes et adultes qui sontisolés Dans l’article [31] écrit par G.Viennois et al., les travaux sont expérimentés sur lepalmier Rafia Leur travail a constitué à utiliser le réseau de neurones convolutionnel pour

la détection du palmier Rafia en milieu naturel sur des images drone (5 ortho-mosa¨ıques)

Le réseau utilisé est le Faster R-CNN sous l’environnement Caffe avec une architectureVGG-16[29] pré-entraˆıné sur la base de données annotées PASCAL VOC 2007 [6] L’é-valuation de leur modèle donne un taux de 63% et montre la difficulté à dénombrer cesplantes en milieu naturel étant donné que les annotations expertes des Rafias est très

difficile à faire sur les images Malgré ces résultats, cette approche pourrait être appliquéesur des images de synthèse pour une comparaison des différents résultats.d’ó le travailprésenté ici qui fait suite à cette étude En 2015 Xingchao Peng et al.[23] explorent lesinvariances des images de synthèse en utilisant le réseau de neurone convolutionnel Ilscherchent dans quelle mesure les images synthétiques devraient être réalistes pour former

de bons détecteurs d’objets dans une image en fonction de la forme, de la pose, de latexture et du contexte de la classe Toujours dans cette même lancée, les auteurs MaryamRahnemoonfar et al.[25] ont utilisé des images de synthèse pour le comptage des fruits

en utilisant le Deep learning Les résultats obtenus sur les images réelles sont de 91% etsur les images de synthèses de 93% Ces articles[23, 25] traitant les images de synthèsedans conditions différentes nous permettent de nous orienter vers cette approche, bienque nous ne soyons pas sur les mêmes types de données Les auteurs Inkyu Sa et al[27]ont mis en place un réseau CNN (Faster R-CNN) pour la détection des fleurs de mangue

et la détection des fruits (piment doux et melon) En obtenant un résultat de 83%, lesauteurs ont montré comment leur modèle formé à l’aide d’un petit ensemble de donnéespermet de généraliser la méthode sur des environnements denses Dans le but d’évaluer

la performance entre le Machine Learning et le Deep Learning, Hervé Go¨eau [8] a menédes études sur l’identification des plantes dans une image ces dix dernières années Pourmieux observer l’efficacité de ces approches sur l’identification des plantes, les auteurs ontcomparé (figure 2.1) des approches de 2011 à 2017 Ces courbes illustrent l’exploitationcroissante du deep learning au détriment des approches classiques

Figure 2.1 – Popularité des méthodes en %L’étude de ces différentes approches (Deep Learning et Machine Learning) nous permet

de nous orienter vers l’approche du Deep learning notamment sur le Faster R-CNN pour

la détection du palmier Rafia en milieu naturel En effet le Faster R-CNN a montré saperformance sur la détection des fruits, des fleurs [27], et sur la détection des objets dansles images de synthèse [23, 25] La méthode a également été appliquée sur les imagesréelles du Rafia et aussi sur la détection des mangues Ainsi donc pour la mise en place

de notre réseau, nous allons utiliser le modèle VGG16 pré-entraˆıné sur PASCAL VOC

Chapitre 3

Données et Méthodes

L’objectif de ce troisième chapitre consiste à présenter les données ainsi que leurs méthodesd’acquisition et aussi faire une description du fonctionnement du Faster R-CNN et desdifférentes méthodes de validation

3.1 Données

Les données représentent le facteur le plus important pour l’apprentissage automatique.Dans le cas de notre étude, nous avons deux types de données Il s’agit des images de syn-thèse (images virtuelle) et des images réelles (images drone) L’acquisition de ces imagess’est donc faite de manière différente

3.1.1 Méthode d’acquisition des données

— Images virtuelles

Dans l’objectif de reconnaissance du Rafia en milieu naturel, des images de synthèsesont été générées en utilisant plusieurs outils de simulation générant des maquettes 3D deplantes, assemblées dans des scènes virtuelles La génération des images nécessite doncplusieurs étapes Les composants des scènes végétales sont les maquettes 3D de palmiersRafia, auxquelles viennent s’ajouter les maquettes d’autres végétaux 3D, et enfin le modèle

de terrain sur lequel les végétaux seront plantés La réalisation des scènes s’est faite

en utilisant plusieurs outils notamment SIMEO [13], PRINCIPES [3] qui a été utilisépour générer la morphologie du Rafia hookeri et d’autres palmiers et d’autres simulateurs(AMAPSIM en particulier) qui ont permis la création de maquettes d’arbustes et d’arbresfeuillus tropicaux L’outil propriétaire du CIRAD CalRgb est utilisé pour effectuer le rendudes images Les scènes sont réalisées en tenant compte de plusieurs paramètres comme

le nombre d’objets dans chaque image (Rafia, Cocotier, Autre), de la distance entre lesarbres Le calcul d’image (rendu réaliste) est effectué sur des images de haute résolutionsimulant une vue aérienne dont on paramètre la résolution de l’image, les données caméras(qui fixent ainsi la résolution métrique), la direction de la lumière, les options d’ombrage,etc Les figures 3.1 et 3.2 présentent des images de synthèse contenant des Rafias (avecdifférentes propriétés de réflectance) et d’autres types de plantes

Figure 3.1 – Image de synthèse de Rafias prenant en compte une forte réflexion spéculaire

Figure 3.2 – Image de synthèse avec des Rafias présentant une réflectance plus faible

Tableau 1 : Caractéristiques des images de synthèse

NOMS Raphias Cocotiers Autres Résolution

Image Résolution métrique Distance moyenne

entre arbres

Ombrage Direction de la

lumière Largeur de la scène

Scene_1 1063 5760*5300 0,0872 de 3 à 10 m Non Oblique

Scene_1bis 1063 5760*5300 0,0872 de 3 à 10 m Non Oblique

Scene_2 668 778 5760*6360 0,04 8 m Non Oblique 500

Scene_2bis 668 778 5760*6360 0,04 8 m Oui Oblique 500

Scene_3 1063 572 823 7680*7420 0,0682 de 3 à 10 m Non Oblique

Scene_3bis 1063 572 823 7680*7420 0,0682 de 3 à 10 m Oui Oblique

Scene_4 958 570 684 15360*14840 0,0297 de 3 à 10 m Non Oblique

Scene_4bis 958 570 684 15360*14840 0,0297 de 3 à 10 m Oui Oblique

Scene_5 679 385 5760*6360 0,04 8 m Non Oblique 500

Scene_5bis 679 385 5760*6360 0,04 8 m Oui Oblique 500

Scene_6 1722 1701 12096*11130 0,0322 5 m Non Oblique 400

Scene_6bis 1722 1701 12096*11130 0,0322 5 m Oui Oblique 400

Scene_7 1722 1701 17280*15900 0,0226 5 m Non Oblique 400 Scene_7bis 1722 1701 17280*15900 0,0226 5 m Oui Oblique 400 Scene_8 1722 1701 11520*10600 0,0345 5 m Non Oblique 400 Scene_8bis 1722 1701 11520*10600 0,0345 5 m Oui Oblique 400 Scene_9 1722 1701 5760*5300 0.071 5 m Non Oblique 400 Scene_9bis 1722 1701 5760*5300 0.071 5 m Non Oblique 400 Scene_10 1396 1810 3140 14000*11660 0,0428 6 à 8 m Non Oblique 630 Scene_10bis 1396 1810 3140 14000*11660 0,0428 6 à 8 m Oui Oblique 630 Scene_11 1593 1699 3072 14000*11550 0,0428 6 à 8 m Non Oblique 630 Scene_11bis 1593 1699 3072 14000*11550 0,0428 6 à 8 m Oui Oblique 630 Scene_12 1593 1699 3072 14000*11550 0,0428 6 à 8 m Non Rasant Face 630 Scene_12bis 1593 1699 3072 14000*11550 0,0428 6 à 8 m Oui Rasant Face 630 Scene_13 1593 1699 3072 14000*11550 0,0428 6 à 8 m Non Verticale 630 Scene_13bis 1593 1699 3072 14000*11550 0,0428 6 à 8 m Oui Verticale 630

Scene_14 1593 1699 3072 14000*11550 0,0428 6 à 8 m Non Rasant Latéral 630 Scene_14bis 1593 1699 3072 14000*11550 0,0428 6 à 8 m Oui Rasant Latéral 630 Scene_15 1600 1700 3094 11520*10600 Non

Scene_15bis 1600 1700 3094 11520*10600 Non

— Les images réelles

Les images réelles seront utilisées pour tester la performance de notre réseau qui auraété entraˆıné avec des annotations issues des images virtuelles Ces images réelles sont desimages acquises par drone (DJI Mavic Pro) dans la région du Bas Ogooué au Gabon [31].Les vues ont été acquises entre 100 et 200 mètres d’altitude via une caméra RVB (CMOS1/23” 12.35 mégapixels)

Figure 3.3 – Image drone de Rafias

3.1.2 Présentation des images du masque

Les images du masque sont des images de classification qui vont nous permettre de créerautomatiquement des fichiers d’annotations Chaque couleur constitue un objet, ce quinous permettra de déterminer la position des boˆıtes englobantes (coordonnées X, Y ducoin de référence, largeur et hauteur) Les images de masque sont donc des images declassification générées conjointement avec les images de synthèses A chaque image desynthèse correspond une image de masque dont le contenu et les propriétés sont iden-tiques à l’exception des couleurs Dans les masques, le rendu n’est pas réaliste, mais dédié

à l’identification Chaque arbre dans la scène est dessiné dans une couleur unique Unetable synthétise le contenu de l’image masque, liant chaque arbre à sa couleur et récipro-quement Ces données masque (image masque et liste) peuvent alimenter des réseaux desegmentation ou permettre la génération des boites englobantes (voir plus loin) La figure3.4 présente une image du masque et son image réaliste

Figure 3.4 – Image de synthèse et son masque

3.1.3 Pré-traitement de données

Le Faster R-CNN utilise des images associées aux fichiers d’annotations Ces fichiers notations contiennent les boites englobantes des objets, boites traditionnellement tracéespar un expert Dans notre cas nous utilisons les images de masque pour calculer les boitesenglobantes des objets (voir plus loin) La figure 3.5 présente une image du masque associé

d’an-à son image de synthèse avec les boites englobantes obtenues par calcul (voir plus loin)

Figure 3.5 – Masque d’image annotée