Implémentation et test de méthodes de deep learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones)

UNIVERSIT NATIONALE DUINSTITUT FRANCOPHONE INTERNATIONAL M†moire de stage de Master 2 Option : Syst–mes Intelligents et Multim†dia SIM Promotion : XXII Impl†mentation et test de m†thodes

UNIVERSIT NATIONALE DU

INSTITUT FRANCOPHONE INTERNATIONAL

M†moire de stage de Master 2 Option : Syst–mes Intelligents et Multim†dia (SIM)

Promotion : XXII

Impl†mentation et test de m†thodes de Deep Learning en t†l†d†tection pour d†tecter des palmiers rafias en milieu naturel et sur diff†rents types d’images

(satellites, a†riennes, drones)

KINDA Zakaria

Encadrant :

M BORNE Fr†d†ric Ph.D, Ing†nieur de recherche CIRAD Ann†e acad†mique 2018-2019

Les Rafias sont des plantes situ†es dans des for¶ts denses, notamment dans les zonesmar†cageuses oò les couronnes sont imbriqu†es les unes dans les autres On les trouveprincipalement dans les pays de l’Afrique Centrale et de l’Ouest avec des rendements

†conomiques tr–s importants Compte tenu de cette importance †conomique, il est saire de conna tre le nombre de Rafias se trouvant dans ces for¶ts denses R†cemmentplusieurs travaux ont †t† r†alis†s en t†l†d†tection pour la d†tection des objets en utilisantdes images r†elle et de synth–se La t†l†d†tection serait donc un outil pouvant intervenirdans la d†tection des palmiers Rafias Les m†thodes actuelles de d†tection d’objets dansdes images r†elles et de synth–se sont bas†es principalement sur l’apprentissage profondutilisant les fen¶tres glissantes cet effet plusieurs r†seaux tels-que le r†seau de neuronesconvolutionnels (CNN), le Fast-RCNN, le Faster R-CNN, le Mask R-CNN, etc ont at-teint desperformances de pointe sur le traitement des donn†es spatiales, notamment des images.Ainsi, le Faster-RCNN est un r†seau largement utilis† pour la d†tection des ob-jets dans uneimage Il est utilis† sur des images r†elles, mais †galement sur les images de synth–se pour

n†ces-la d†tection des fruits, de fleurs, des pn†ces-lantes, etc avec des F-Mesures aln†ces-lant jusqu’ 93%.Dans cette †tude, il †tait question d’†valuer l’int†r¶t des images de synth–se pour entrainer

un r†seau destin† traiter des images r†elles Les exp†rimentations ont †t† effectu†es sur desimages pr†sentant des caract†ristiques contræl†es (r†solution de l’image, r†solutionm†trique, ombrage, direction de la lumi–re, etc) Pour ce faire, nous avons uti-lis† le mod–leVGG16 d†j pr†-entra n†s avec le jeu de donn†es PASCALVOC 2007 Les r†sultatsexp†rimentaux montrent que l’apprentissage profond peut faire un grand bond en avant sur

la d†tection des plantes en for¶t dense en utilisant des images de synth–se

Mots cl†s : Rafia, Apprentissage profond, t†l†d†tection, image de synth–se, r†seau

de neurone convolutionnel (CNN), Faster R-CNN.

Rafias are plants located in dense forests, especially in swampy areas where the crowns areintertwined They are mainly found in Central and West African countries with very higheconomic returns Given this economic importance, it is necessary to know the number ofraffia trees in these dense forests Recently, several works have been carried out in re-motesensing for the detection of objects using real and synthetic images Remote sensing wouldtherefore be a tool that could be used to detect raffia palm trees Current methods ofdetecting objects in real and synthetic images are based mainly on deep learning usingsliding windows To this end, several networks such as the Convolutional Neural Network(CNN), Fast-RCNNN, Faster R-CNN, Mask R-CNN, etc have achieved advanced per-formance in spatial data processing, particularly images Thus, the Faster-RCNNN is awidely used network for detecting objects in an image It is used on real images, but also oncomputer-generated images for the detection of fruits, flowers, plants, etc with F-Score up to93% In this study, it was a question of evaluating the interest of synthetic images to train anetwork designed to process real images The experiments were carried out on images withcontrolled characteristics (image resolution, metric resolution, shading, light direction, etc.)

To do this, we used the VGG16 model already pre-trained with the PASCALVOC 2007dataset Experimental results show that deep learning can take a big leap forward in plantdetection in dense forests using synthetic images

Keywords :Rafia, Deep Learning, remote sensing, Synthetic image, convolutional neural network (CNN), Faster R-CNN.

Ce travail a b†n†fici† d’une aide de l’ tat g†r†e par l’Agence Nationale de la Recherche au titre du programme d’Investissements d’Avenir portant la r†f†rence ANR-16-CONV-0004 Cette †tude s’inscrit dans le cadre des stages financ†s par l’Institut de Convergence de l’agriculture num†rique DigitAg bas† Montpellier et avec des antennes satellites Rennes et Toulouse.

L’objectif est de construire un socle de connaissances qui favorise le d†veloppement

de l’agriculture num†rique en France et au Sud L’Institut de Convergence DigitAg structure ses actions autour de six axes de recherche et huit challenges.

N’a pas remerci† Allah celui qui ne remercie pas les gens (Had th)

Pour cela, je voudrais tr–s sinc–rement adresser toute ma gratitude et ma reconnaissancemes encadrants, M Fr†d†ric Borne et Mme Gaelle Viennois, pour leur patience, pour leurdisponibilit† et surtout pour la confiance qu’ils ont port†e mon †gard Leurs ju-dicieuxconseils et encouragements ont contribu† au bon d†roulement de mon stage et

l’aboutissement de ces r†sultats.

Je tiens †galement remercier M Philippe Borianne pour ses remarques pertinentes,

sa disponibilit†, ses encouragements et toutes les discussions que nous avons pu avoir sur le sujet.

Mes remerciements vont l’endroit de M Marc Jaeger pour l’acquisition des donn†es

et pour ses diff†rents conseils et remarques

Je voudrais remercier l’Agence Nationale de la Recherche (ANR) pour le financement de ce projet.

Je d†sire †galement remercier le corps enseignant de l’Institut Francophone International(IFI), qui m’a fourni les outils n†cessaires la r†ussite de mes †tudes universitaires

Mes remerciements vont l’endroit de tout le personnel et les †tudiants de l’UMR AMAP pour les †changes enrichissants, tant humainement que scientifiquement.

Enfin, je tiens exprimer ma profonde gratitude mes parents, toute ma famille et aussi tous ceux et celles qui m’ont apport† leur soutien et leurs encouragements ind†fectibles

tout au long de mes ann†es de Master.

Table des mati–res

Table des figures

Liste des tableaux

INTRODUCTION

1.1 Contexte de l’†tude 1.2 Probl†matique 1.3 Objectif .

2.1 Approche du Machine Learning ou approche classique 2.2 Approche du Deep Learning Chapitre 3 Donn†es et M†thodes

3.1 Donn†es

4.1 Exp†rimentations

4.1.2 Cr†ation des fichiers d’annotations

4.2 R†sultats

4.2.2 valuer l’influence d’une deuxi–me classe sur la premi–re (troisi–me

exp†rimentation) 4.2.3 Transposition l’image r†elle (Quatri–me exp†rimentation)

Table des figures

1.1 Photographie d’un Rafia hookeri

1.2 Image a†rienne Rafia

2.1 Popularit† des m†thodes en %

3.1 Image de synth–se de Rafias prenant en compte une forte r†flexion sp†culaire 3.2 Image de synth–se avec des Rafias pr†sentant une r†flectance plus faible 3.3 Image drone de Rafias .

3.4 Image de synth–se et son masque .

3.5 Masque d’image annot†e

3.6 Architecture Faster R-CNN [26]

4.1 Test d’annotations sur l’image du masque .

4.2 Fonction de perte globale

4.3 Fonctions de perte RPN et CLS

4.4 Courbe de F-Mesure exp†rimentation 1

4.5 Matrice de confusion une classe .

4.6 R†sultats de validation avec des Rafias en blanc

4.7 Matrice de confusion Rafias en couleur .

4.8 r†sultats de validation avec des Rafias en vert .

4.9 Courbe de F-Mesure pour la classe Rafia

4.10 Matrice de confusion pour la classe Rafia

4.11 Courbe de F-Mesure de Rafia et du cocotier .

4.12 Confusion 2 classes plus Background .

4.13 R†sultat de validation sur une image r†elle

5.1 R†sultats en sortie de validation

Liste des tableaux

4.1 Liste des images d’entra nement 4.2 Liste des images de validation 5.1 Bilan de r†sultats de exp†rimentations .

RPN : Region Proposal Network

CUDNN : Deep Neural Network Library

environnementaux, en termes de distribution/conservation des esp–ces et de

la biodiversit†, production des cultures agronomiques, stockage du carbone dans la masse v†g†tale, protection de l’environnement et des services †cosyst†miques Ces travauxs’int†ressent aux v†g†tations m†diterran†ennes, temp†r†es et tropicales essentiellement Ilscroisent les champs disciplinaires de la botanique (syst†matique et structurale), l’†cologie de

bio-la v†g†tation, l’agronomie et bio-la foresterie avec ceux de l’informatique, des math†ma-tiques etdes statistiques appliqu†es Les recherches de l’unit† s’articulent autour de 3 axestransversaux, la plupart des chercheurs de l’unit† contribuant plusieurs axes :

Biodiversit† v†g†tale, actuelle et pass†e :

L’objectif est de comprendre les processus qui sous-tendent la diversit† des objets biolo-giques, actuels et pass†s.

Biomasse et production des plantes et des v†g†tations :

L’objectif est de comprendre les strat†gies d’allocation des ressources et de

r†partition de la biomasse dans les plantes et les v†g†tations.

Mod†lisation du monde v†g†tal :

Cet axe s’int†resse au d†veloppement de m†thodes d’†tude et de mod†lisation des syst–mes v†g†taux complexes.

Chapitre 1

Analyse du contexte

Ce premier chapitre consiste pr†senter une analyse exploratoire de mon sujet d’†tude Il pr†sente les †l†ments n†cessaires la compr†hension du contexte de l’†tude, de la probl†matique ainsi que l’objectif du sujet.

1.1 Contexte de l’†tude

Les produits naturels de la for¶t ont une importance capitale pour la population mondiale,notamment celle de l’Afrique Ces produits contribuent fortement r†duire la pauvret† etaccro tre la production alimentaire Parmi ces produits naturels de la for¶t, nous avonsles palmiers, particuli–rement, le Rafia hookeri qui est l’un des palmiers les plus utiles

†conomiquement Au cours de la derni–re d†cennie, le Rafia a donc suscit† beaucoupd’int†r¶t travers son apport †conomique Le Rafia poss–de des fibres tr–s solidesappel†es piassavas utilis†es pour la fabrication de, cordes grossi–res, de ceintures,debrosses [32] La fibre est †galement export†e pour la production des balais, des tapisdes chapeaux, des sacs et des costumes Les feuilles de Rafia sont parmi les plusgrandes des palmiers d’Afrique En plus des fibres, ces feuilles produisent de la s–ve (vin

de palme) qui constitue une boisson tr–s populaire en Afrique et qui est †galementexport†e hors du continent La s–ve produit des nutriments utiles qui pourraient jouer unræle actif dans la physiologie et la sant† humaines [22]

Les Rafias sont localis†s dans les for¶ts mar†cageuses notamment dans les pays del’Afrique de l’ouest (Guin†e, Nigeria), de l’Afrique centrale (Congo, Cameroun, Gabon, etc.).Ces Rafias se regroupent dans les marais d’eau douce et au bord des rivi–res, donc dans leszones mar†cageuses avec des couronnes imbriqu†es les unes dans les autres, doncdifficilement d†nombrables cet effet, les satellites d’observation de la Terre, les avions et lesdrones (images a†riennes) s’av–rent un outil tout fait appropri† pour l’†tude de la biosph–reterrestre, toutes les †chelles de temps et d’espace, m¶me s’ils ne permettent pas

d’observer directement tous les param–tres relatifs la v†g†tation, comme la hauteur des arbres, leur volume, la structure verticale des couverts ou encore la v†g†tation qui pousse sous les arbres d’une for¶t Ainsi la t†l†d†tection est un outil pouvant ¶tre utilis† pour la d†tection du Rafia en milieu naturel Dans le cadre de ce travail, l’enjeux principal est de compter les Rafias l’†chelle d’un paysage La figure 1.1 pr†sente une photographie de Rafia hookeri en milieu naturel.

Figure 1.1 Photographie d’un Rafia hookeri

Gr¥ce aux nouvelles techniques de recherche d’informations notamment le Machine ning et le Deep Learning sur les images a†riennes, il est possible d’extraire des informa-tionssur des grandes masses de donn†es Ces techniques sont utilis†es sur des grandes bases

Lear-de donn†es issues Lear-des s†ries temporelles d’images, et plus encore pour l’extractiond’informations (extraction des objets) l’int†rieur des images Sur des images de for¶tnaturelle tropicale il est cependant souvent difficile d’extraire des informations en utilisant cesnouvelles techniques Les †tudes men†es par des chercheurs d’AMAP depuis 2015 sur led†nombrement des Rafias l’illustrent Les travaux de 2015 [19] ont utilis† les m†thodesd’apprentissage classiques (machine learning) pour la classification des Rafias en milieunaturel avec des r†sultats variant entre 44% et 70% En 2018 des nouvelles †tudes sontmen†es utilisant un r†seau de neurone convolutionnel (deep learning) [31] sur des images

de t†l†d†tection pour le d†nombrement des Rafias Les r†sultats obtenus donnent un taux

de bonne pr†diction de 63%, meilleur qu’avec les m†thodes de Machine Learning mais untaux largement en dessous de ceux obtenus dans les usages classiques du Deep Learning,

ce qui montre que la m†thode est pour l’instant moins efficace sur les donn†es utilis†es Dans ces †tudes, les donn†es utilis†es pour le d†nombrement sont des ortho-images RVB issues de l’acquisition par drone associ†es des annotations expertes Les chercheurs ont †tabli que les r†sultats faibles du r†seau sont dus au fait que l’annotation des Rafias est tr–s difficile cause des couronnes imbriqu†es les unes dans les autres Aussi, en observant la figure 1.2 (image a†rienne) nous constatons qu’il est presque impossible pour l’humain de compter le nombre de Rafias sur cette image Face cette situation il est donc imp†ratif de mettre en place

de nouvelles m†thodes permettant de d†nombrer les Rafias en milieu naturel.

Figure 1.2 Image a†rienne Rafia

Les r†sultats obtenus lors de cette premi–re exp†rience sur la d†tection du Rafia par DeepLearning ont montr† la difficult† d’annoter les Rafias sur les images r†elles Pour atteindreleur objectif, les auteurs [31] se sont orient†s vers une m†thode de g†n†ration des images

de synth–se (image RVB) pour le d†nombrement des Rafias en milieu naturel En effet, ils’agit d’†valuer l’int†r¶t des images de synth–se pour la classification des images

naturelles Pour ce faire, dans le cadre de notre †tude, nous allons identifier un r†seau

de neurones pour effecteur des entra nements sur ces images de synth–se Par la suitel’objectif de notre travail serait d’effecteur une transposition de le m†thode mise en placepour la reconnaissance du Rafias sur les images r†elles (images a†rienne)

Chapitre 2

tat de l’art

L’objectif de ce chapitre est de consid†rer les travaux r†alis†s en Deep Learning et

en Machine Learning sur la d†tection des objets dans des images de t†l†d†tection et

de comparer ces approches.

2.1 Approche du Machine Learning ou approche

clas-sique

Les recherches ant†rieures sur la d†tection de palmiers ou de couronnes d’arbres qu†es ont g†n†ralement †t† bas†es sur les m†thodes traditionnelles dans le domaine de la vision par ordinateur En plus des palmiers, ces m†thodes sont utilis†es en g†n†ral pour la d†tection d’objets dans une image Les auteurs Mandjo BORE et al.[19] ont men† une †tude sur la cartographie par t†l†d†tection des peuplements de Rafias en for¶t dense partir des donn†es satellitaires, en utilisant les algorithmes du plus proche voisin (KNN) combin†s l’analyse en composante principale (ACP) Le probl–me soulev† par cette

imbri-†tude est la difficult† d†tecter ces types de palmier en for¶t dense Les r†sultats de leur approche sont compris entre 44% et 68% Malek et al [17] ont utilis† une transfor-mation des caract†ristiques invariante l’†chelle (SIFT) et un classificateur supervis† de machines d’apprentissage extr¶me pour d†tecter les palmiers partir partir d’images de drones

(v†hicules a†riens sans pilote (UAV)) Srestasathiern et al [30] utilisent le calcul de variogrammes et la suppression non-maximale pour la d†tection de palmiers partir d’images satellites multispectrales haute r†solution Ils obtiennent des r†sultats variant entre 89% et 96% Malgr† ces r†sultats, ce travail n’intervient pas dans le carde de notre †tude, car elle a

semi-†t† appliqu† sur des plantations de palmiers oò les couronnes ne sont pas imbriqu†es Yiran Wang et al.[33] ont r†alis† des travaux sur la d†tection et le d†nombre-ment des palmiers huile dans des plantations de Malaisie sur des images de drone en utilisant les fonctions d’histogramme de gradient orient† (HOG) [12] et du classificateur machine vecteur de support (SVM) L’analyse de composantes principale (ACP) a †t† utilis†e par les auteurs KOMBA Prune et al[2] pour la classification des cocotiers sur des images satellitaires, avec

un r†sultats de 56% Manandhar et al[18] ont men† des †tudes sur une plantation de

palmiers en utilisant un algorithme local de d†tection maximale sur des images drone

normalis†s pour d†tecter les palmiers et un Support Vector Machine (SVM) pour la

classification R Saini et al.[28] ont †tudi† la classification des cultures l’aide d’imagerie sentinel-2 date unique en utilisant les m†thodes Random Forest (RF) et Support Vector Machine (SVM) Ils ont montr† dans leur †tude la meilleure efficacit† de RF (84%) par rapport au SVM (81%) pour classifier les cultures sur les images satellites Ces †tudes ant†rieures sur la d†tection des arbres notamment des palmiers [33, 18, 17] ont donn† de bons r†sultats (96%)[17], car ces arbres sont localis†s dans des zones d’†-tudes moins denses oò les couronnes ne se chevauchent pas Toutefois, la performance de certaines de ces m†thodes se d†t†riorent fortement lors de la d†tection des palmiers et autres plantes dans certaines r†gions de notre zone d’†tude, surtout dans les milieux naturels oò les

couronnes sont imbriqu†es les unes dans les autres [2, 19] Aussi, notre

†tude †tant dans une zone naturelle oò la for¶t est dense, nous allons mener une

†tude utilisant l’approche du Deep Learning.

Le "Deep Learning" signifie "Apprentissage Profond" Il est consid†r† comme un domaine du Machine Learning permettant d’apprendre de mani–re automatique Il s’agitd’une approche en pleine expansion ces derni–res ann†es, notamment sur la d†tection

sous-de plante dans une image L’un sous-des pionniers sous-de cette approche est Yann Lecun qui aeffectu† plusieurs †tudes dans ce domaine [14] De ce fait plusieurs articles ont †t†publi† sur la d†tection des objets en utilisant l’approche du Deep Learning

Dans l’article [15] les auteurs Weijia Li et al ont men† une †tude sur la d†tection des miers huile sur des images de t†l†d†tection tr–s haute r†solution spatiale en Malaisie en utilisant le Deep Learnig Ces †tudes ont †t† r†alis† sur des plantations de palmiers

pal-diff†rents ¥ges en utilisant le r†seau de neurones convolutionnel pr†-entra n† VGG16[25], le r†seau de neurones artificiel (ANN) [24] et autres m†thodes[11] Le meilleur r†sultat de cette

†tude est obtenu avec le CNN (96%) Les auteurs montrent l’efficacit† du CNN (utilisant l’architecture VGG16) d†tecter les palmiers de tout ¥ge Ainsi l’inconv†nient

de cette approche dans le cadre de notre †tude est qu’elle a †t† appliqu†e dans une zone deplantation et non dans un milieu naturel oò les couronnes sont imbriqu†es les unes des autres Giorgio Morales et al.[20] en 2018 ont men† des travaux sur la for¶t amazonienne notamment sur le palmier Mauritia flexuosa Les auteurs ont utilis† un mod–le bas† sur l’architecture Deeplab v3+[1] Le mod–le a †t† form† pour d†tecter et segmenter les pal-miers flexuosa de l’ le Maurice diff†rents stades de croissance et diff†rentes †chelles

Cependant, il faut mentionner que les m†thodes utilis†es par les auteurs sont form†es pour classer les couronnes d’arbres visibles dans les images ; par cons†quent, si la majeure partie d’une couronne est couverte par des arbres plus grands, le mod–le ne parvient pas la d†tecter Bien que cette †tude soit sur le palmier en milieu naturel avec une pr†cision de 98%, elle n’intervient pas dans le cadre de notre †tude oò les couronnes sont imbriqu†es les unes des autres, car la m†thode permet de d†tecter les palmiers jeunes et adultes qui sont isol†s Dans l’article [31] †crit par G.Viennois et al., les travaux sont exp†riment†s sur le palmier Rafia Leur travail a constitu† utiliser le r†seau de neurones convolutionnel pour la d†tection du palmier Rafia en milieu naturel sur des images drone (5 ortho-mosa ques) Le r†seau utilis† est le Faster R-CNN sous l’environnement Caffe avec une architecture VGG-

16[29] pr†-entra n† sur la base de donn†es annot†es PASCAL VOC 2007 [6] L’†-valuation

de leur mod–le donne un taux de 63% et montre la difficult† d†nombrer ces plantes en milieunaturel †tant donn† que les annotations expertes des Rafias est tr–s

difficile faire sur les images Malgr† ces r†sultats, cette approche pourrait ¶tre appliqu†e surdes images de synth–se pour une comparaison des diff†rents r†sultats.d’oò le travailpr†sent† ici qui fait suite cette †tude En 2015 Xingchao Peng et al.[23] explorent lesinvariances des images de synth–se en utilisant le r†seau de neurone convolutionnel Ilscherchent dans quelle mesure les images synth†tiques devraient ¶tre r†alistes pour former

de bons d†tecteurs d’objets dans une image en fonction de la forme, de la pose, de latexture et du contexte de la classe Toujours dans cette m¶me lanc†e, les auteurs MaryamRahnemoonfar et al.[25] ont utilis† des images de synth–se pour le comptage des fruits enutilisant le Deep learning Les r†sultats obtenus sur les images r†elles sont de 91% et sur lesimages de synth–ses de 93% Ces articles[23, 25] traitant les images de synth–se dansconditions diff†rentes nous permettent de nous orienter vers cette approche, bien que nous

ne soyons pas sur les m¶mes types de donn†es Les auteurs Inkyu Sa et al[27] ont mis enplace un r†seau CNN (Faster R-CNN) pour la d†tection des fleurs de mangue et la d†tectiondes fruits (piment doux et melon) En obtenant un r†sultat de 83%, les auteurs ont montr†comment leur mod–le form† l’aide d’un petit ensemble de donn†es permet de g†n†raliser lam†thode sur des environnements denses Dans le but d’†valuer la performance entre leMachine Learning et le Deep Learning, Herv† Goeau [8] a men† des †tudes surl’identification des plantes dans une image ces dix derni–res ann†es Pour mieux observerl’efficacit† de ces approches sur l’identification des plantes, les auteurs ont compar† (figure2.1) des approches de 2011 2017 Ces courbes illustrent l’exploitation croissante du deeplearning au d†triment des approches classiques

Figure 2.1 Popularit† des m†thodes en %

L’†tude de ces diff†rentes approches (Deep Learning et Machine Learning) nous permet

de nous orienter vers l’approche du Deep learning notamment sur le Faster R-CNN pour

la d†tection du palmier Rafia en milieu naturel En effet le Faster R-CNN a montr† saperformance sur la d†tection des fruits, des fleurs [27], et sur la d†tection des objets dans lesimages de synth–se [23, 25] La m†thode a †galement †t† appliqu†e sur les images r†elles

du Rafia et aussi sur la d†tection des mangues Ainsi donc pour la mise en place de notrer†seau, nous allons utiliser le mod–le VGG16 pr†-entra n† sur PASCAL VOC

Chapitre 3

Donn†es et M†thodes

L’objectif de ce troisi–me chapitre consiste pr†senter les donn†es ainsi que leurs m†thodes d’acquisition et aussi faire une description du fonctionnement du Faster R- CNN et des diff†rentes m†thodes de validation.

3.1 Donn†es

Les donn†es repr†sentent le facteur le plus important pour l’apprentissage automatique Dans le cas de notre †tude, nous avons deux types de donn†es Il s’agit des images de syn-th–se (images virtuelle) et des images r†elles (images drone) L’acquisition de ces images s’est donc faite de mani–re diff†rente.

3.1.1 M†thode d’acquisition des donn†es

Images virtuelles

Dans l’objectif de reconnaissance du Rafia en milieu naturel, des images de synth–ses ont

†t† g†n†r†es en utilisant plusieurs outils de simulation g†n†rant des maquettes 3D deplantes, assembl†es dans des sc–nes virtuelles La g†n†ration des images n†cessite doncplusieurs †tapes Les composants des sc–nes v†g†tales sont les maquettes 3D de palmiersRafia, auxquelles viennent s’ajouter les maquettes d’autres v†g†taux 3D, et enfin le mod–le

de terrain sur lequel les v†g†taux seront plant†s La r†alisation des sc–nes s’est faite enutilisant plusieurs outils notamment SIMEO [13], PRINCIPES [3] qui a †t† utilis† pourg†n†rer la morphologie du Rafia hookeri et d’autres palmiers et d’autres simulateurs(AMAPSIM en particulier) qui ont permis la cr†ation de maquettes d’arbustes et d’arbresfeuillus tropicaux L’outil propri†taire du CIRAD CalRgb est utilis† pour effectuer le rendu desimages Les sc–nes sont r†alis†es en tenant compte de plusieurs param–tres comme lenombre d’objets dans chaque image (Rafia, Cocotier, Autre), de la distance entre les arbres

Le calcul d’image (rendu r†aliste) est effectu† sur des images de haute r†solution simulantune vue a†rienne dont on param–tre la r†solution de l’image, les donn†es cam†ras (quifixent ainsi la r†solution m†trique), la direction de la lumi–re, les options d’ombrage, etc Lesfigures 3.1 et 3.2 pr†sentent des images de synth–se contenant des Rafias (avec diff†rentespropri†t†s de r†flectance) et d’autres types de plantes

Figure 3.1 Image de synth–se de Rafias prenant en compte une forte r†flexion sp†culaire

Figure 3.2 Image de synth–se avec des Rafias pr†sentant une r†flectance plus faible

Tableau 1 : Caractéristiques des images de synthèse

Scene_7 Scene_7bis Scene_8 Scene_8bis Scene_9 Scene_9bis Scene_10 Scene_10bis Scene_11 Scene_11bis Scene_12 Scene_12bis Scene_13 Scene_13bis

Scene_14 Scene_14bis Scene_15 Scene_15bis

Les images r†elles

Les images r†elles seront utilis†es pour tester la performance de notre r†seau qui aura †t† entra n† avec des annotations issues des images virtuelles Ces images r†elles sont des images acquises par drone (DJI Mavic Pro) dans la r†gion du Bas Ogoou† au Gabon [31] Les vues ont †t† acquises entre 100 et 200 m–tres d’altitude via une cam†ra RVB (CMOS 1/23 12.35 m†gapixels).

Figure 3.3 Image drone de Rafias

3.1.2 Pr†sentation des images du masque

Les images du masque sont des images de classification qui vont nous permettre de cr†erautomatiquement des fichiers d’annotations Chaque couleur constitue un objet, ce qui nouspermettra de d†terminer la position des bo tes englobantes (coordonn†es X, Y du coin der†f†rence, largeur et hauteur) Les images de masque sont donc des images de classificationg†n†r†es conjointement avec les images de synth–ses A chaque image de synth–secorrespond une image de masque dont le contenu et les propri†t†s sont iden-tiquesl’exception des couleurs Dans les masques, le rendu n’est pas r†aliste, mais d†di†

l’identification Chaque arbre dans la sc–ne est dessin† dans une couleur unique Une table synth†tise le contenu de l’image masque, liant chaque arbre sa couleur et r†cipro-quement Ces donn†es masque (image masque et liste) peuvent alimenter des r†seaux de segmentation ou permettre la g†n†ration des boites englobantes (voir plus loin) La figure 3.4 pr†sente une image du masque et son image r†aliste.

Figure 3.4 Image de synth–se et son masque

Figure 3.5 Masque d’image annot†e

3.2.2 Architecture du Faster R-CNN

L’architecture de Faster R-CNN est complexe, car elle comporte plusieurs †tapes Nousavons tout d’abord une image en entr†e avec les annotations Les images en entr†epassent par un CNN d†j pr†-entra n† qui est l’†tape de convolution, ensuite viennentd’autres †tapes pour aboutir la reconnaissance des objets La figure 3.6 pr†sentel’architecture globale du Faster R-CNN dont le fonctionnement est d†taill† ci-dessous

Figure 3.6 Architecture Faster R-CNN [26]