CONCEPTION, ANALYSE ET DÉVELOPPEMENT D’UN ALGORITHME GÉNÉTIQUE INTERACTIF DE GÉNÉRATION D’IMAGES GUIDÉ PAR LÉVALUATION HUMAINE LE PROJET PERMUTOPAINTER

Il s’agit donc dans notre stage de concevoir et d’implémenter un algorithme évolutif qui suive les étapes suivantes : utilisation des techniques d’extraction de caractéristiques d’images

INSTITUT FRANCOPHONE INTERNATIONAL

ĐÀO THỊ DUYÊN

CONCEPTION, ANALYSE ET DÉVELOPPEMENT D’UN ALGORITHME GÉNÉTIQUE INTERACTIF DE GÉNÉRATION D’IMAGES GUIDÉ PAR L'ÉVALUATION HUMAINE: LE

PROJET PERMUTOPAINTER

THIẾT KẾ, PHÂN TÍCH VÀ PHÁT TRIỂN MỘT THUẬT TOÁN

DI TRUYỀN TƯƠNG TÁC ĐỂ TẠO SINH ẢNH DỰA THEO HƯỚNG DẪN CỦA ĐÁNH GIÁ CỦA CON NGƯỜI : DỰ ÁN

PERMUTOPAINTER

MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE

HANOI – 2015

INSTITUT FRANCOPHONE INTERNATIONAL

ĐÀO THỊ DUYÊN

CONCEPTION, ANALYSE ET DÉVELOPPEMENT D’UN ALGORITHME GÉNÉTIQUE INTERACTIF DE GÉNÉRATION D’IMAGES GUIDÉ PAR L'ÉVALUATION HUMAINE: LE

PROJET PERMUTOPAINTER

THIẾT KẾ, PHÂN TÍCH VÀ PHÁT TRIỂN MỘT THUẬT TOÁN

DI TRUYỀN TƯƠNG TÁC ĐỂ TẠO SINH ẢNH DỰA THEO HƯỚNG DẪN CỦA ĐÁNH GIÁ CỦA CON NGƯỜI : DỰ ÁN

PERMUTOPAINTER

Spécialité: Systèmes intelligents et Multimédia Code: Programme pilote

MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE

Sous la direction de:

Directeur de Recherche à l’IRD, M Jean-Daniel Zucker

Maître de Conférences à l’Université de La Rochelle, Mme Muriel Visani

HANOI – 2015

i

J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a été bien précisée

LỜI CAM ĐOAN

Tơi cam đoan đây là cơng trình nghiên cứu của riêng tơi

Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai cơng bố trong bất kỳ cơng trình nào khác Các thơng tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc

Fait à Hanọ, le 30 Octobre 2015

Hà nội, Ngày 30 tháng 10 năm 2015

Đào Thị Duyên

ii

Table des matières

Table des matières ii

Remerciements iv

Liste des figures vii

Liste des tableaux viii

INTRODUCTION 1

Chapitre 1 – PRÉSENTATION GÉNÉRALE 4

1.1 Présentation de l’établissement d’accueil 4

1.1.1 Présentation de l’IRD - organisme d’accueil 4

1.1.2 Présentation «Vietnam-France ICT Lab» - lieu de travail 6

1.2 Contexte du sujet 6

1.3 Description du sujet 8

1.4 Art visuel et Abstraction 11

1.4.1 Système de Kandinsky (Gortais, 2003) 11

1.4.2 Constructions 14

1.4.3 Couleurs 14

Chapitre 2 – ÉTAT DE L’ART 16

2.1 Travaux existants en génération d’images 16

2.2 Représentation d’images 17

2.2.1 Descripteurs locaux 18

2.2.2 Descripteurs globaux 23

2.3 Regroupement (Clustering) 25

2.4.1 K-moyennes (K-means) 27

2.4.2 K- médọdes 28

2.4 Évolution 30

2.4.1 Algorithme génétique 30

2.4.2 Random Forest 31

iii

Chapitre 3 – SYSTÈME PROPOSÉ 34

3.1 Aperçu global du système 34

3.2 Modification d’image 35

3.3 Suggestion des images 36

3.3.1 Génération des images 37

3.3.2 Extraction de caractéristiques 38

3.4 Evaluation des images 39

3.5 Apprentissage 41

Chapitre 4 – IMPLÉMENTATION ET EXPÉRIMENTATION 42

4.1 Outils et Environnement d’implémentation 42

4.2 Construction des données d’entraînement 42

4.3 Résultats obtenus 43

4.4 Évaluation de l’utilisateur 47

4.4.1 Objectif recherché 47

4.4.2 Objectif atteint 49

4.4.3 Desiderata 49

Chapitre 5 - CONCLUSIONS ET PERSPECTIVE 50

5.1 Conclusion 50

5.2 Perspective 51

5.2.1 Amélioration de la représentation des images 51

5.2.2 Amélioration d’ensemble d’images d’entrainement 51

5.2.3 Amélioration d’algorithme de génération d’images 52

RÉFÉRENCES 54

ANNEXES 56

iv

Remerciements

Les plus grandes leçons ne sont pas tirées des livres mais des professeurs tels que

vous, tous les professeurs de l’Institut Francophone International (IFI) Je souhaite

exprimer ma sincère gratitude à vous qui ont pris le temps de m'aider au cours dans trois

années et de m'avoir accompagné dans la maỵtrise de mes connaissances

Je tiens à remercier vivement Monsieur Jean-Daniel Zucker, Directeur de

Recherche à l’IRD, Hanoi, Vietnam et Madame Muriel VISANI, Maỵtre de Conférences

à l’Université de La Rochelle, La Rochelle, France, pour leur encadrement sans faille, le

suivi qu’ils ont apporté à mon stage, leurs conseils, leurs corrections de ce mémoire, les

nombreuses discussions que nous avons pu avoir tout au long de la réalisation de ce stage,

et pour le temps qu’ils ont bien voulu me consacrer

Je souhaite remercier Monsieur TRAN Hoang Tung, Doctorat en sciences

informatiques, Enseignant et assistant de recherche d’Université des Sciences et

Technologies de Hanọ, Vietnam, pour les conseils, l’inspiration et l’idée lorsqu’il y a des

difficultés, les nombreuses discussions à propos de la compréhension des problématiques

Je tiens à remercier chaleureusement Monsieur Bernard Gortais pour la gentillesse,

la confiance, la correction de ce mémoire et les aides enthousiastes

Je remercie également toute l'équipe de Vietnam-France ICT Lab pour leur accueil,

leurs aides à plusieurs reprises pendant mon stage

Je tiens à remercier sincèrement Madame NGUYEN Thi Van Tu, secrétaire de

l’IFI pour les aides à plusieurs reprises

J’adresse mes sincères remerciements à Madame NGUYEN Thi Thuy, Doctorat en

sciences informatiques, Vietnam National University of Agriculture pour la

compréhension sur l’algorithme Random Forest

Enfin, j’adresse mes plus sincères remerciements à ma famille, mes amis, qui m’ont

toujours soutenue et encouragée au cours de la réalisation de ce mémoire

DAO Thi Duyen

v

Résumé

Le projet PermutoPainter est basé sur la recherche que l’artiste Bernard Gortais a développée dans ses dernières peintures « Arrangements avec le hasard » présentées à la Galerie Keller à Paris en novembre 2014 et à la Galerie 14 à Toucy – France (89130) Dans ce projet, l’œuvre peinte est découpée et décomposée en petits 24 carrés égaux et puis recomposée indépendamment de l’image initiale L’utilisation d’un ou de plusieurs de ces contrastes permet de créer des formes et de structurer le rectangle par le choix d’un nouvel arrangement des fragments qui le compose L’auteur trouve que les propositions sont d’autant plus intéressantes qu’elles sont paradoxales

Le problème principal que PermutoPainter tente de résoudre est de formaliser le processus créatif qui permet de créer des arrangements et de concevoir

un programme qui donnera les "meilleures" permutations ; c’est-à-dire, celles pour lesquelles l’auteur aura le plus d’intérêt en tenant compte du fait qu’il doit pouvoir préciser son désir de création au cours du processus évolutif Il s’agit donc dans notre stage de concevoir et d’implémenter un algorithme évolutif qui suive les étapes suivantes : utilisation des techniques d’extraction de caractéristiques d’images, représentation des images sous la forme des vecteurs descripteurs, regroupement de ces vecteurs par l’algorithme K-médoids et utilisation de l'algorithme de classification des « forêts aléatoires » pour permettre à un artiste d'explorer et d'identifier efficacement des compositions « intéressantes» résultants

de la combinaison de morceaux d’images et cela de manière interactive

Mots-clés : Aide à la créativité, Analyse d'image, synthèse d'image,

regroupement automatique, forêts aléatoires

The main problem that PermutoPainter tries to solve is to formalize the creative process so as to create arrangements and build the system that will give the best permutations; that is to say, those for which the author has the most interest Given that s/he must elicitate what characterizes his/her interest in order to automate the creative process In our internship project our objective was to design and implement an evolutionary algorithm which includes the following steps: extracting image features, representation of images as descriptors vectors, clustering

of these vectors by the K-médoids algorithm and then using the classification algorithm “random forest” to help a researcher to effectively explore and identify the "interesting" compositions resulting from the combination of pieces of images in

an interactive way

Keywords: Creativity process, Image processing, Machine Learning, Clustering, K-medoids, Random Forest

vii

Liste des figures

Figure 1- Exemple d’œuvre peinte 8

Figure 2- Exemple d’arrangements 9

Figure 3- Fragments de ligne 10

Figure 4- Points de résonance sur une surface 11

Figure 5- Ligne horizontale de résonance sur une surface 12

Figure 6- Ligne verticale de résonance sur une surface 12

Figure 7- Ligne diagonale de résonance sur une surface 12

Figure 8- Ligne libre de résonance sur une surface 13

Figure 9- La gravure de « la Mort, le Diable et le Chevalier » 13

Figure 10- Système EcoEvo (Feng & Ting, 2014) 17

Figure 11- Descripteur SIFT 19

Figure 12- Intersection avec une ligne droite 22

Figure 13- Caractéristique d’extrême (a) en haut, (b) en bas, (c)à gauche, (d) à droite 22

Figure 14- Histogramme cumulatif 24

Figure 15- Exemple des caractéristiques profils 25

Figure 16- Un graphique de huit objets dans (Kaufman & Rousseeuw, 2009) 26

Figure 17- Une taxonomie des approches de regroupement (Jain, Murty, & Flynn, 1999) 26

Figure 18- illustration de K-moyenne dans (Gopi Gandhi, 2014) 27

Figure 19- Illustration de k-médoids D'après (Gopi Gandhi, 2014) 29

Figure 20- Algorithme génétique 31

Figure 21- Algorithme des Random Forest 32

Figure 22- Illustration de l’étape de test Random Forest 33

Figure 23- Processus global du programme 34

Figure 24- Modification d’image 35

Figure 25- Suggestion des images intéressantes 37

Figure 26- Génération des images par la distance 38

Figure 27- Évaluation des images suggérées 40

Figure 28- Interface pour la modification d’images 43

Figure 29- Interface pour évaluer l’intérêt des images suggérées 44

Figure 30- Interface pour donner une valeur qualitative à chaque image et générer des images intéressantes 45

viii

Figure 31- Résultat de classification des données de test 46

Figure 32- Bernard Gortais - exposition Galerie Keller, Paris, nov 2014 47

Figure 33- Bernard Gortais – exemples de compositions dynamiques 48

Figure 34- Bernard Gortais – exemples de composition calme dynamique 48

Figure 35- Bernard Gortais – exemples de compositions calmes 48

Figure 36- Bernard Gortais – exemples de compositions tragiques 49

Figure 37- Bernard Gortais, fragments de bouquets de fleurs 49

Liste des tableaux Tableau 1 Types de contraste (Gortais, 2003) 15

Tableau 2 Classes des données d’entrainement 45

Tableau 3 Résultat de classification des données de test 46

INTRODUCTION

On peut se demander pourquoi un peintre se servirait d'un ordinateur pour créer des images alors qu'il a déjà fort à faire avec les moyens que lui offre l'atelier De tout temps, des hommes ont utilisé ce qui les entourait pour créer des passages entre la société organisée et l'immensité du monde C'est une définition

de l'activité artistique au sens large Les ordinateurs et l’intelligence artificielle sont devenus un élément fondamental de l'environnement humain et si leur approche par les peintres ne constitue pas un passage obligé, certains artistes sont tentés par l'aventure On est loin de la peinture dira-t-on; pourtant, pas plus qu'il n'est justifié d'opposer les mathématiques à la poésie, on ne peut a priori opposer l'ordinateur comme outil de création d'images aux médiums plus traditionnels Le mot "technique" en français signifie qui appartient en propre à un art, étymologiquement la technique n'a pas de signification détachée de l'art et c'est ce dernier qui lui donne son sens Pour un artiste la technique est au service de l'art

et les techniciens et les artistes devraient en principe travailler ensemble et dialoguer à condition toutefois de pouvoir parler le même langage

Une bonne façon de comprendre un problème c'est de le comprendre assez bien pour pouvoir l'enseigner et qu'est-ce que programmer sinon enseigner à un ordinateur?

Cela renvoie l’artiste à l’analyse de sa pratique artistique et à sa formulation puisque le geste disparaît, la main étant remplacée par la machine Le travail de programmation d'images sur ordinateur donne une place dominante au concept Quel est son vocabulaire de signes? Quelle est sa syntaxe? Vers quelles formes et quel type d'espace tend-il?

Le pionnier de cette démarche est un ancien artiste et professeur à l'Université de Californie à San Diego du nom d’Harold Cohen Il a commencé à travailler sur un programme de création artistique utilisant l’intelligence artificielle appelé AARON en 1973 (Boden, 1998), avec un chercheur invité en intelligence artificielle au laboratoire de l'Université de Stanford Ses peintures se retrouvent dans les plus grandes musées mondiales d’art et dans les mains de collectionneurs

privés qui ont payé des centaines ou encore des milliers de dollars pour l’art d’AARON Sur la base du travail de Cohen, d’autre ont essayé de construire leurs propres peintures (Boden, 2009)

Le peintre Bernard Gortais explore depuis 30 ans le concept de hasard dans l’art numérique (Le Jardin des Hasards) Dans PermutoPainter il utilise la génération d’images à l’aide d’un algorithme génétique évolutif Cela permet d’enseigner progressivement au programme quelle qualité d’espace (tragique, calme, dynamique calme et dynamique, etc.) il souhaite créer dans l’espace

A l’origine c’est l’artiste qui définira la syntaxe plastique qui permet l’analyse des images, en cours d’évolution c’est lui aussi qui choisira les images

« intéressantes » et qui les qualifiera pour que le programme lui en propose des variations et finalement c’est lui aussi qui décidera si telle image est de son point

de vue une création Autrement dit c’est l’artiste qui choisit et le programme informatique est un outil de création

Le mémoire est structuré en cinq grandes parties :

Chapitre 1 - Présentation générale Ce chapitre présente brièvement

l’environnement du stage, le contexte du sujet et la description générale de l’objectif du sujet, le domaine de recherche et le cadre du sujet En plus, il présente aussi le concept de l’art et des structures abstraites dans la peinture qui contribuent

à l’intérêt des images

Chapitre 2 - État de l’art Dans ce chapitre, nous faisons la recherche sur les

travaux existants dans le domaine de génération d’image pour savoir ce que les autres ont fait Après, nous allons étudier différentes techniques qui peuvent être utilisées dans le domaine de recherche À partir de cette étude, nous pourrons proposer des techniques en adéquation avec le projet

Chapitre 3 – Système proposé Ce chapitre présente de façon générale le

système que nous allons construire pour que le lecteur puisse comprendre le processus du programme, les techniques proposées pour la génération des images,

l’extraction des caractéristiques, l’algorithme de regroupement des données et l’apprentissage

Chapitre 4 – Implémentation et Expérimentation Ce chapitre présente les

outils et l’environnement de développement de l’application, les résultats obtenus

et l’analyse de ces résultats

Chapitre 5 – Conclusions et Perspectives Il s’agira de faire la conclusion et

de présenter les perspectives du projet

Chapitre 1 – PRÉSENTATION GÉNÉRALE 1.1 Présentation de l’établissement d’accueil

1.1.1 Présentation de l’IRD - organisme d’accueil

L’Institut de recherche pour le développement (IRD), est un organisme de recherche original et unique dans le paysage européen de la recherche pour le développement Établissement public français à caractère scientifique et technologique, il est placé sous la double tutelle du ministère de l’Éducation nationale, de l’Enseignement supérieur et de la Recherche et du ministère des Affaires étrangères et du Développement international Il s’attache à répondre aux grands défis du développement en menant des activités de recherche, de formation

et d’innovation aux Suds, pour les Suds et avec les Suds, dans un souci constant de partage des connaissances et de mutualisation des moyens et des compétences Depuis son siège, à Marseille, et ses deux centres métropolitains de Bondy et

de Montpellier, il déploie ses actions dans près de 90 pays, en Afrique, sur le pourtour méditerranéen, en Amérique latine, en Asie et dans l’Outre-mer tropical français Fondés sur l’interdisciplinarité, les projets menés en partenariat traitent

de questions cruciales pour les Suds : maladies tropicales et de civilisation, sécurité alimentaire, changements climatiques, ressources en eau, biodiversité, développement des sociétés, vulnérabilités et inégalités sociales, migrations, etc Les implantations de l’IRD dans le monde :

 France métropolitaine et Europe : Siège, Centre IRD France-Nord,

Centre IRD France-Sud, IRD – CLORA,

 Afrique australe de l’Est et Océan Indien : Afrique du Sud, Kenya,

La Réunion, Madagascar,

 Afrique de l’Ouest et Centrale : Bénin, Burkina Faso, Cameroun,

Cơte d’Ivoire, Mali, Niger, Sénégal,

 Méditerranée : Égypte, Maroc, Tunisie

 Amérique latine et carạbes : Bolivie, Brésil, Chili, Équateur,

Guyane, Martinique, Mexique, Pérou

 Asie : Indonésie, Laos, Thạlande, Vietnam

 Pacifique : Nouvelle-Calédonie, Polynésie française,

Les chiffres clés en 2014 de l’IRD (selon son rapport d'activité annuel) :

 34,4 M€ de recettes sur conventions et produits valorisés

 2 221 agents dont 835 chercheurs, 935 ingénieurs et techniciens et

451 personnels locaux

 Près de 39% des agents présents hors métropole

 56 unités de recherche et 7 observatoires

 3 682 publications scientifiques (chiffres de l’année 2013)

 46% des publications IRD cosignées avec un partenaire du Sud

 185 bourses attribuées à des scientifiques du Sud dont 147 pour des

 Changements climatiques et aléas naturels : vers une gestion durable des territoires

 Politiques publiques de lutte contre la pauvreté et pour le développement

 Maladies infectieuses émergentes ou ré-émergentes

Au Vietnam, l’IRD et l’Ambassade de France se sont associés pour fiancer deux programmes de recherche portés par l’IRD et destinés à soutenir les

départements des sciences et technologies de l’information et de la communication

et d’océanographie de l’Université des Sciences et Technologies de Hanọ (USTH) Les chercheurs de l’IRD contribuent très activement à la formation académique au Vietnam Deux chercheurs codirigent les Masters Biotechnologie-Pharmacologie, et Eau Environnement Océanographie de l’USTH, et un chercheur dirige une des 3 options du Master sciences et technologies de l’information et de

la communication de l’USTH De nombreux autres participent aux enseignements

de ces 3 Masters

1.1.2 Présentation «Vietnam-France ICT Lab» - lieu de travail

Vietnam-France ICT Lab est un laboratoire international de recherche sur les

technologies de l’informatique et de la communication, qui est conjointement géré par l’USTH, vietnamien et des partenaires français Il implique des chercheurs provenant d’USTH, d’IOIT (Institut de technologie de l'information, Hanọ), de l'IRD (Institut de recherche pour le développement) et de l'Université de La Rochelle, en France

Vietnam-France ICT Lab a été créé le 1er Décembre 2014 Sa création a été

soutenue (directement ou indirectement) par l’USTH, l'Ambassade de France au Vietnam, universités et 13 instituts d’enseignement supérieur Français (Consortium USTH), et de la BAD (Banque Asiatique de Développement)

Il se trouve au 5ème étage, du bâtiment d’Éducation et Services de l’USTH (18 Hoang Quoc Viet, Cau Giay, Hanoi, Vietnam)

1.2 Contexte du sujet

La créativité est souvent considérée comme l'une des caractéristiques les plus impressionnantes de l'esprit humain, ce qui peut expliquer l'intérêt actuel de la communauté d'Intelligence Artificielle (IA) dans l'étude de la créativité assistée par ordinateur Cependant, il existe plusieurs autres facteurs qui contribuent à cet intérêt : des systèmes créatifs artificiels peuvent être utiles dans la toute une série

de domaines de l’art, de l’architecture et de l’ingénierie ó des techniques conventionnelles de résolution de problèmes ont échoué ; son étude peut apporter

un aperçu à la compréhension globale de la créativité humaine L'étude de la

créativité artificielle peut être considérée comme la prochaine étape logique dans

la recherche en IA, c’est-à-dire si on a déjà construit des systèmes qui peuvent exécuter des tâches exigeant de l’intelligence, est-ce qu’on peut construire aussi des systèmes qui peuvent effectuer des tâches exigeant de la créativité?

Au cours des deux dernières années, les algorithmes évolutionnaires (AEs) (dont les plus connus sont les algorithmes génétiques (Mitchell, 1998)) ont été utilisés comme un moyen de mise en œuvre de la créativité de calcul, ce qui entraîne le développement de plusieurs applications dans des domaines tels que la musique et la génération d'images, de l'architecture et du design (Boden, 2009), (Boden, 1998) Dans le domaine de la génération d'images, l’algorithme génétique est l'approche la plus utilisée pour faire évoluer des images, certains exemples étant (Feng & Ting, 2014),(Sims, 1991), (Lewis, 2008)

La principale difficulté de l’utilisation de l’algorithme génétique pour la génération d'images est le développement d'une fonction à optimiser appropriée Alors, la plupart des systèmes doivent se baser sur l'évolution interactive par exemple, l’utilisateur évalue chaque élément par ses propres connaissances, son jugement intuitif

L'utilisation de l'évolution interactive pour la génération d’image est connue Les racines de ces applications peuvent être trouvées dans le livre du zoologiste Richard Dawkins « The Blind Watchmaker» (Dawkins, 2006), dans lequel l'auteur suggère l'utilisation d'un algorithme génétique pour faire évoluer les images de créatures qu’il s’appelle « biomorphes » Ce travail a été la source d'inspiration des systèmes développés par K Sims (Sims, 1991) et W Latham (Todd & Latham, 1994), qui peuvent être considérés comme les premières applications d'évolution interactive dans le domaine des arts visuels, et qui sont généralement considérés comme les œuvres les plus influentes dans ce domaine Le succès de ces approches a entraîné l'émergence d’un nouveau domaine d'art, «Art évolutif» (Boden, 2009)

1.3 Description du sujet

Le projet PermutoPainter est basé sur la recherche que l’artiste Bernard Gortais a développée dans ses dernières peintures « Arrangements avec le hasard » présentées à la Galerie Keller à Paris en novembre 2014 et à la Galerie 14 à Toucy – France (89130)

"À l’origine, une ligne simple traverse l’espace ou bien un éclatement comme

un bouquet de fleurs L’un et l’autre sont rompus quand l’espace est divisé en fragments, l’origine est perdue Des millions d’agencements sont alors possibles,

il faut s’arranger avec les morceaux épars pour créer une composition qui dans tous les cas gardera la trace de l’unité originelle, sans toutefois la révéler Mais

la perception des solutions qui n’ont pas été choisies induit une fragilité dans la nouvelle composition Arrangements avec le hasard et choix, c’est la vie."

- Bernard Gortais -

L’œuvre peinte, une ligne traversant l’espace, par exemple, est découpée et décomposée en 24 carrés égaux puis recomposée indépendamment de l’image initiale comme dans l’exemple ci-dessous:

Figure 1- Exemple d’œuvre peinte

Dans le catalogue en 20141, les arrangements retenus sont basés sur :

 Des alignements : horizontaux, diagonaux et verticaux (Figure 1.a)

1 https://sites.google.com/site/siatorg/

 Des rythmes : Réguliers/irréguliers Par exemple, le rythme régulé dans l’horizontale (Figure 1.a), et (Figure 1.d) rythmes irréguliers

Figure 2- Exemple d’arrangements

L’utilisation d’un ou de plusieurs de ces contrastes permet de créer des formes et de structurer le rectangle par le choix d’un nouvel arrangement des fragments qui le compose L’auteur trouve que les propositions sont d’autant plus intéressantes qu’elles sont paradoxales (par exemple à la fois calme et dynamiques, équilibrées dans le rythme mais pas dans l’ensemble de l’espace, continue et discontinue, etc.)

Le problème principal que PermutoPainter tente de résoudre est de formaliser

le processus créatif qui permet de créer des arrangements et de construire le

système qui donnera les meilleures permutations ; c’est-à-dire, celles pour lesquelles l’auteur aura le plus d’intérêt en tenant compte qu’il doit pouvoir préciser son désir de création au cours du processus évolutif Il s’agit donc dans notre stage de concevoir et d’implémenter un algorithme évolutif qui aidera un chercheur à explorer et à identifier efficacement des compositions « intéressantes» résultants de la combinaison de morceaux d’images et cela de manière interactive, dans l'esprit de (Feng & Ting, 2014)

Le stage est divisé en trois étapes :

- Recherche d’approches utilisant l’intelligence artificielle pour soutenir

Ce stage constitue une étude préliminaire : par simplicité, on considère seulement des peintures initiales contenant un fragment de ligne C’est-à-dire, il y

a seulement une ou des lignes traversant un arrangement La ligne est uniforme d’épaisseur constante, les fonds sont monochromes unis comme dans la Figure 3

Figure 3- Fragments de ligne

1.4 Art visuel et Abstraction

L’art visuel est l’art que nous voyons comme les peintures, les dessins, les conceptions visuelles, la photographie et l'art informatique Les œuvres visuelles sont perçues par une démarche sensible, on expérimente une relation avec une œuvre On sent ; l'émotion, l'intuition, précèdent le langage C’est un moyen de découvrir le monde et de se découvrir soi-même Les formes d'expression artistique changent selon les époques et les cultures, mais la fonction de l'art reste

la même

Kandinsky est considéré comme l’un des artistes les plus importants du XXe siècle ; Il est un des pionniers de l’abstraction picturale et celui qui, le premier, a analysé et formalisé les éléments constitutif d’une image Ce sont les notions de plan, de ligne, de point, de tension spatiale, de contraste de mouvement

et de contraste de couleur Cette démarche analytique permet d’attribuer des noms

à des éléments visuels, d’en définir une syntaxe et de formuler pour un système informatique les éléments du programme PermutoPainter

1.4.1 Système de Kandinsky (Gortais, 2003)

- Espace : est dynamique, les formes sont générées par les forces Pour

Kandinsky, tous les phénomènes du monde interne ou externe peuvent être exprimés dans des lignées Pour lui, une forme se compose de trois éléments fondamentaux: point, ligne, surface

- Point : un point est la forme de base la plus petite, la particule élémentaire

de la peinture Comme un symbole de silence, il est introverti, concentrique et statique

Figure 4- Points de résonance sur une surface

- Lignes : la ligne est créée par un générateur de points Quand ce générateur

se meut dans la même direction, il va créer une ligne droite, sinon, il peut

constituer un triangle, une courbe ou un cercle Avec des lignes de directions différentes, seront évoqués les différents sentiments

 Une ligne horizontale est la direction du temps chronologique, se déplaçant de gauche à droite La couleur associée est le noir, le sentiment associé est la calme, la température associée est le froid

Figure 5- Ligne horizontale de résonance sur une surface

 Une ligne verticale est la direction du temps immédiate, de l'apparence, de l'émergence La couleur associée est le blanc, le sentiment associé est le réveil, la température associée est le chaud

Figure 6- Ligne verticale de résonance sur une surface

- Diagonale : Une diagonale exprime la combinaison entre couleur chaude et

couleur froide Une diagonale vers le haut est rouge, une diagonale vers le bas est grise ou verte

Figure 7- Ligne diagonale de résonance sur une surface

- Lignes courbes : une courbe est moins agressive et plus durable Le

contraste le plus puissant entre les lignes, c’est celle qui existe entre la ligne droite et la courbe Une courbe signifie le lyrisme

- Angles : Un angle droit correspond à la couleur rouge, à l'objectivité, à un

carré Un angle aigu correspond à la couleur jaune, au dynamisme, à un triangle Un angle obtus correspond à l'indigo, à la mélancolie, à un cercle

- Lignes libres: c’est une ligne qui ne touche pas le bord du cadre Sa

direction et sa forme sont irrégulières

Figure 8- Ligne libre de résonance sur une surface

- Surfaces : Les quatre côtés de la surface d'origine ont une résonance

particulière Au sommet, les forces tombent violemment vers le bas, avec une légère tension vers le haut, ce qui signifie la légèreté Au fond, les forces tombent doucement vers le bas avec une forte tension vers le bas, ce qui signifie densité Le côté à droit de la surface signifie l’aventure et le départ Le côté à gauche de la surface signifie la maison et le retour

Figure 9- La gravure de « la Mort, le Diable et le Chevalier »

On peut voir un exemple dans la Figure 9 C’est une œuvre d’art d’Albrecht Dürer, un peintre, graveur, théoricien de l'art et de la géométrie allemand au XV° siècle La gravure originale est celle de gauche Regarder chaque image en cachant l’autre et sentir s’il y a une différence de perception

Kandinsky (mais aussi Paul Klee et d’autres par la suite) ont mis en évidence l’analyse les fonctions plastiques du point, de la ligne, du plan L’auteur de ce projet Bernard Gortais utilise la même démarche pour ordonner ses collections de petits carrés dans un rectangle englobant de 6x4 carrés

1.4.3 Couleurs

Une couleur est définie par la teinte, la saturation et la luminosité (T, S, L) Certaines couleurs sont considérées comme chaudes (rouge, orange, jaune), d'autres sont considérées comme froides (bleu, vert, violet) Dans les arts visuels, les variations de couleur sont basées sur sept contrastes de couleurs comme le tableau ci-dessous :

Tableau 1 Types de contraste (Gortais, 2003)

L’important est que, même si la perception des couleurs est subjective, elle est un moyen d'expression symbolique pour toutes les nuances de nos émotions

En conclusion, la combinaison de qualités physiques peut créer la variété des qualités émotionnelles On pourra considérer par exemple que la qualité émotionnelle « tragique » résultera d’une combinaison de luminosité faible, de fort contraste de couleur, de déplacements lents

On peut lister quelques éléments constituants du visuel :

 La teinte : la combinaison des couleurs ; couleurs primaires et couleurs secondaires ; chaud-froid

 La saturation : intensité de la couleur par rapport à son intensité maximale

 La luminosité : niveau de gris de la couleur : sombre-clair

 Le point, la ligne, le plan

Chapitre 2 – ÉTAT DE L’ART

2.1 Travaux existants en génération d’images

Dans cette partie, nous allons présenter un système existant qui utilise un algorithme évolutionnaire pour générer des images C’est le système EvoEco de deux auteurs taiwanais Sheng - Yu Feng et Chuan- Kang Ting dans (Feng & Ting, 2014)

Système EvoEco

Objectif de ce système est la génération des tableaux EvoEco est une forme multi-agents Il est basé sur un algorithme évolutionnaire interactif pour évoluer l'art génératif C’est l’algorithme génétique Ce système se compose de deux parties: la génération (l’étape pour transformer un génome en une image) et l’évolution (l’étape pour sélectionner et évoluer des chromosomes)

plate-Une image est représentée comme un chromosome dans le système EvoEco

Un chromosome est composé de k agents et chaque agent doit peindre pendant la durée de sa vie Le processus évolutif d’EvoEco pour générer des images est comme suite:

 Déterminer aléatoirement la couleur de fond de chaque chromosome

 Des chromosomes sont construits par la peinture des agents pendant leur durée de vie

 Des mutations et des croisements sont effectués sur ces chromosomes Dans EvoEco, la fonction fitness d'images est évaluée par les utilisateurs Quand l’image générée est bonne, les utilisateurs peuvent terminer l’exécution du système La figure suivante montre le système EvoEco et quelques images évolution

Figure 10- Système EcoEvo (Feng & Ting, 2014)

2.2 Représentation d’images

Dans l’ordinateur, toutes les données sont représentées sous une forme binaire comme des chiffres ou des textes Pour l’image, une distinction importante existe entre la façon dont les données d'image sont affichées et comment elles sont stockées L’affichage concerne une représentation de bitmap, tandis que le stockage se fait sous la forme d’un fichier qui est relatif aux nombreux formats d'image, tels que JPEG et PNG Cependant, en traitement d’image, une image est représentée par un vecteur de caractéristiques

Une caractéristique est un morceau d'information qui est pertinente pour résoudre la tâche de calcul liée à une certaine application Des caractéristiques peuvent être des structures spécifiques de l'image telle que des points, des arêtes

ou des objets Les caractéristiques peuvent également être relatives aux propriétés fréquentielles des distributions de pixels dans l’image

La représentation d’images est une étape très importante dans le regroupement d’images similaires Cette étape influence beaucoup les résultats finaux Actuellement, il y a deux approches principales de la représentation d’image : l’utilisation des caractéristiques globales et l’utilisation des caractéristiques locales (par exemple : détecter des points d’intérêt, détecter des régions) pour représenter une image sous la forme d’un vecteur descripteur

2.2.1 Descripteurs locaux

Les descripteurs locaux sont généralement stables en présence de changements de proportion, de translation, de rotation Ils sont modifiés par des changements affins (changement du point de vue) Ils ont souvent la capacité de supporter le changement de luminosité, les occultations ou le bruit Ci-après, il y

a des méthodes très connues pour extraire des descripteurs locaux d’’images

SIFT (Scale-Invariant Feature Transform)

SIFT est proposé par (Lowe, 2004) Il est utilisé pour détecter et décrire des caractéristiques dans les images Les caractéristiques SIFT sont locales et basées sur l'apparence de l'objet aux points d'intérêt particulier Elles sont invariantes à la rotation d'image, aux changements d'échelle, aux déformations affines, au changement de point de vue, au bruit et aux changements d'illumination L'algorithme SIFT compte quatre étapes principales:

 Détection d’extremums dans l’espace des échelles : des points d’intérêt ou

des points-clés sont détectés dans cette étape

 Localisation précise de points clés : La première étape produit de

nombreux de points d’intérêt candidats, dont certains sont instables en particulier aux échelles les plus grandes De ce fait, des traitements supplémentaires sont appliqués, pour un objectif double : d'une part, optimiser la position des points pour améliorer la précision, d'autre part, éliminer les points de faible contraste ou situés sur des arêtes de contour à faible courbure et donc susceptibles de « glisser » facilement

 Assignation d’orientation : une orientation est attribuée à chaque point-clé

pour atteindre l'invariance à la rotation de l'image Une région est prise autour de l'emplacement du point-clé en fonction de l'échelle et l'ampleur et

la direction du gradient est calculée dans cette région Un histogramme d'orientation avec 36 « bins » couvrant 360 degrés est créé Il compte les points-clés avec même emplacement et échelle, mais des directions différentes Il contribue à la stabilité de l'appariement

 Descripteur de point-clé : dans cette étape, un vecteur descripteur 128

dimensions est créé Autour du point-clé, on considère une région de 16 ×

16 pixels, subdivisée en 4 × 4 zones de 4 × 4 pixels chacune Sur chaque zone est calculé un histogramme des orientations comportant 8 intervalles Ensuite, les 16 histogrammes à 8 intervalles chacun sont concaténés et normalisés Dans le but de diminuer la sensibilité du descripteur aux changements de luminosité, les valeurs sont plafonnées à 0,2 et l'histogramme est de nouveau normalisé, pour finalement fournir le descripteur SIFT du point-clé, de dimension 128

Figure 11- Descripteur SIFT

BRIEF (Binary Robust Independent Elementary Features) (Calonder,

Lepetit, Strecha, & Fua, 2010)

Le descripteur SIFT est très discriminant, mais il est lent pour le calcul et l’appariement Cela peut être un inconvénient pour les applications en temps réel

Au contraire, BRIEF est très efficace dans le calcul et le stockage en mémoire

Le descripteur BRIEF est une description des chaînes binaires de correctifs d'image qui est construite à partir d'un ensemble de tests d'intensité binaires C’est-à-dire, chaque bit individuel est obtenu en comparant les intensités On considère

un correctif d'image lissée p Un test binaire τ est défini par:

( ) { ( ) ( )

Tandis que : p(x) est l'intensité de pixel en un point x

On sélectionne un ensemble de nd(x, y) localisation paires définit uniquement

un ensemble de tests binaires Le résultat qu’on obtient, est le descripteur de BRIEF de nd dimensions La value de nd peut être 128, 256 ou 512

( ) ∑ ( )

En outre, les comparaisons peuvent être faites en calculant la distance de Hamming Cela signifie que BRIEF a de meilleurs temps de calcul et d'appariement que d’autres descripteurs comme SIFT et SURF

ORB (Oriented FAST and Rotated BRIEF)

L’algorithme ORB (Rublee, Rabaud, Konolige, & Bradski, 2011) a été développé par Ethan Rublee, Vincent Rabaud, Kurt Konolige, et Gary R Bradski

en 2011, comme une alternative viable et efficace pour SIFT et SURF ORB est un descripteur binaire très rapide Il est construit sur un détecteur des points d’intérêt bien connu (FAST) et le descripteur BRIEF qui est invariant à la rotation et

résistant au bruit ORB comprend :

 Ajout d'un composant d'orientation rapide et précise de FAST

 Calcul efficace de caractéristiques orientées BRIEF

 Analyse de la variance et de la corrélation de caractéristiques orientées BRIEF

 Une méthode d'apprentissage pour la dé-corrélation de caractéristiques BRIEF sous invariance par rotation, ce qui conduit à une meilleure performance dans les applications utilisant les plus proches voisins

D'abord, il utilise FAST pour trouver des points d’intérêt, puis applique le détecteur de coins de Harris pour trouver les N points les plus hauts entre eux Il utilise aussi une pyramide pour produire des caractéristiques multi-échelles Mais,

un problème du FAST est qu’il ne calcule pas l'orientation

Pour résoudre ce problème, ORB utilise une mesure simple mais efficace de l'orientation du coin, c’est le centre de gravité de l'intensité Cela suppose que l'intensité d'un coin est décalée par rapport à son centre, et ce vecteur peut être

utilisé pour imputer une orientation Les moments d'une région peuvent être définis comme suit:

( )⏟

Avec ces moments nous pouvons trouver le centre de gravité :

(

) Nous pouvons construire un vecteur du centre de l'angle, O, au centre de gravité, OC L'orientation du patch est alors simplement :

⃗⃗⃗⃗⃗⃗⃗ ( )

Ensuite, pour décrire les points d’intérêt, ORB utilise des descripteurs BRIEF Mais nous avons déjà vu que BREF fonctionne mal avec la rotation Alors, ORB est construite de manière à «diriger» BRIEF selon l'orientation des points d’intérêt

En conclusion, on trouve que ces trois méthodes construisent des descripteurs invariants en se basant sur le détecteur de points d’intérêt Donc, ils ne sont pas adaptés notre projet car la base de données des images est créée à partir d’une image par un arrangement au hasard de morceaux d’image contenant des bouts de lignes sur fond monochrome C’est la raison pour laquelle, nous allons aussi

étudier des descripteurs d’écriture manuscrite dans la section ci-dessous

Intersection avec une ligne droite

Ces caractéristiques représentent le nombre et la position de l’intersection entre le trait et des lignes droites La déformassions d’un caractère en horizontal est beaucoup plus importante qu’en vertical C’est la raison pour laquelle cette méthode utilise deux lignes horizontales et une ligne verticale

Ces deux lignes sont situées au premier tiers et au deuxième tiers de la hauteur du caractère pour obtenir une bonne description des parties haute et basse

du caractère La ligne verticale passe par le centre de gravité du caractère pour obtenir une position plus stable de l’intersection pour chaque classe de caractères

Figure 12- Intersection avec une ligne droite

Tandis que: (a) 1ère horizontal (1/3 taille), (b) 2ème horizontal (2/3 taille) et (c)vertical (passe au centre de gravité)

Extremum local

Ces caractéristiques sont des points dont les coordonnées sont le nombre et la position (x, y) des extremums en haut, en bas, à gauche ou à droite L'extraction d'extremum en haut consiste par exemple à rechercher de haut en bas de la boîte englobante pour trouver les pixels noirs qui n’ont aucune relation avec les 8 pixels supérieurs

Afin de faciliter la recherche, le caractère est encodé en termes de longueurs horizontales pour l'extraction d’extrême en haut et en bas, ou de longueurs verticales pour l’extrême à gauche et à droite

Figure 13- Caractéristique d’extrême (a) en haut, (b) en bas, (c)à gauche, (d) à

droite

2.2.2 Descripteurs globaux

À cause de l’invariance des descripteurs locaux, on peut rencontrer quelques difficultés dans le domaine de la classification ou de la reconnaissance de caractères car les invariants sont des caractéristiques qui ont à peu près les mêmes valeurs pour les échantillons ayant le même caractère On pourrait se tromper entre «p» et «d», ou « 9 » et « 6 » par exemple Des descripteurs globaux peuvent résoudre ce problème

Quelques méthodes très connues dans ce domaine sont présentées dans l’article de Sophia PRUM (Prum, Visani, Fischer, & Ogier, 2013), qui fait une étude de quelques méthodes dans le cadre d’écriture

 Φ(6) = (µ20 − µ02) [(µ30 + µ12)2 − (µ21 + µ03)2] + 4µ11 (µ30 + µ12) (µ21 +

µ03)

 Φ(7) = (3µ21 − µ03) (µ30 + µ12) [(µ30 + µ12) 2 − 3(µ21 + µ03)2] − (µ30 − 3µ12) (µ12 + µ03) [3(µ30 + µ12)2 − (µ12 + µ03)2]

Tandis que :