Soutenance de thèse : Miguel SOLINAS

Résumé du projet de thèse: Comme le soulignent les chercheurs de Deep Mind, de nombreuses avancées ont été réalisées dans l’apprentissage machine et plus particulièrement dans les réseaux de neurones profonds mais peu de progrès dans la résolution de l’oubli catastrophique. Il s’agit du fait qu'un réseau formé sur un premier ensemble d'éléments peut les oublier lorsqu'il apprend un deuxième ensemble d'items. Par conséquent, il ne peut y avoir d'apprentissage incrémental (ou développemental ou continu), l'apprentissage est seulement sériel. Un système autonome ne pourra être viable car il oubliera au fur et à mesure de son apprentissage, ses apprentissages précédents. Ce point est grandement limitant car il donc impose de réapprendre tout un ensemble de données lorsqu’une nouvelle information doit être apprise. On imagine facilement que pour des applications embarquées, le flux de données sera colossal pour chaque nouvel apprentissage. L’objectif de cette thèse est de développer une brique « mémoire » permettant de surmonter ce verrou. Si on la replace dans un cadre plus général elle constituera une brique importante du développement d’un robot qui sera autonome dans ses apprentissages : capacité à apprendre de nouvelles informations, à abstraire de l’information et à oublier progressivement ce qui n’est pas utile.
Une solution originale et novatrice fondée sur une approche développée en sciences cognitives est proposée par des chercheurs du laboratoire de psychologie et neurocognition (LPNC) de Grenoble qui travaillent sur la mémoire dans les systèmes biologiques et artificiels neuro-inspirés. Cette méthode met en oeuvre un double réseau de neurones formel et présente l’avantage de ne pas nécessiter le stockage des informations déjà apprises, de conserver la plasticité du réseau donc de permettre un apprentissage « infini » contrairement aux autres méthodes développées dans la littérature. De plus, cette solution est valable dans le cas d’un apprentissage non supervisé.
Elle permet de surmonter l’oubli catastrophique et aura les caractéristiques suivantes :
- De l’apprentissage incrémental,
- De l’oubli lent permettant de s’adapter dans des environnements changeants.
- La capacité à retenir des informations spécifiques
- La capacité à abstraire des informations de bas niveau (reconnaissance d’images) et de haut niveau (règle de calcul par exemple)
C’est dans cette perspective que nous proposons la conception de cette brique « mémoire », cette fois à base de réseaux de neurones impulsionnels à codage événementiel. L’intérêt de ce type de réseaux est d’une part le potentiel gain énergétique de l’approche impulsionnelle, notamment dans le cas de données éparses et d’autre part la compatibilité avec un capteur impulsionnel tel qu’une rétine ou une cochlée artificielles. Cette brique présentera donc la capacité de mémoriser l’information à la sortie d’un capteur événementiel. Elle pourra donc être ajoutée à la brique « vision » proposées par les 3 thèses couplées du CEA/LETI/DACLE qui visent à développer un imageur 3D basse consommation à codage événementiel et constituera la première étape sensori-mémorisante du robot autonome, à savoir la vision.
Une première étude nous a montré que le principe est transposable à ce type de réseau pour un perceptron à une couche cachée en utilisant la base de données MNIST (reconnaissance de digits écrits). Le logiciel utilisé est l’outil N2D2 développé au CEA/LIST. La thèse prendra la suite de cette étude préliminaire et se focalisera sur l’aspect logiciel. Elle se composera de deux parties :
- Une première étape permettra de se mettre à l’état de l’art, à savoir l’apprentissage incrémental d’images naturelles (IMAGENET) avec un réseau double de type CNN. Il faudra donc montrer qu’avec un réseau de type CNN, le principe de la mémoire double fonctionne toujours et ensuite dimensionner les réseaux pour qu’ils soient capables d’apprendre de manière incrémentale des classes différentes. Ensuite, le couplage avec la rétine artificielle impulsionnelle pourra se faire en conservant le principe et en l’adaptant aux nouvelles données d’entrée.
- La seconde étape vise des réseaux récurrents (RNN) et l’apprentissage non plus d’images mais de séquences temporelles avec la base de données NTDigit, pour la reconnaissance de digits audio. Il a déjà été montré dans l’état de l’art que le principe d’apprentissage incrémental fonctionne avec des
réseaux récurrents. Nous savons par ailleurs qu’un RNN est capable de classifier des digits audio. Il va donc falloir là encore dimensionner les réseaux pour qu’ils soient capables de faire de l’apprentissage incrémental de ces digits audio. On envisage ici la seconde étape sensori-mémorisante du robot autonome, à savoir l’ouïe.
Le cadre de cette thèse est fortement pluridisciplinaire, mettant en oeuvre des compétences en logiciel, en intelligence artificielle, en neurosciences et en psychologie cognitive.

Encadrants
- Directeur de thèse : Martial MERMILLOD - martial.mermilloduniv-grenoble-alpes.fr (martial[dot]mermillod[at]univ-grenoble-alpes[dot]fr)
- Co-encadrant : Marina REYBOZ - marina.reybozcea.fr (marina[dot]reyboz[at]cea[dot]fr)

 

Mots-clés de la thèse : Apprentissage incremental, Oubli catastrophique, Apprentissage en continue

 

CNU de thèse : 27 - Informatique

 

Lire la thèse