Soutenance de thèse Jonathan GRIENAY | Laboratoire de Psychologie et NeuroCognition

Soutenance

Le 15 décembre 2026

Vers une architecture multimodale et continue pour un apprentissage embarqué autonome et frugal: Une approche bio-inspirée par mémoires associatives et structures complémentaires

Un système embarqué intelligent doit assurer un apprentissage continu in situ. À partir de ses flux sensoriels locaux et de manière peu ou non supervisée, il réalise des mises à jour incrémentales du dispositif (edge), en s’affranchissant de toute supervision humaine, d’infrastructure distante et de réentraînements ab initio. Cette autonomie se décline en quatre exigences : apprendre avec peu d’étiquettes, sous un budget fixe, dans un monde changeant, et avec plusieurs capteurs imparfaits. Un grand réseau entraîné de bout en bout par rétropropagation sur un vaste jeu étiqueté ne satisfait pas l’ensemble de ces contraintes. Cette thèse étudie jusqu’où une autre voie, émergeant de l’apprentissage biologique, permet de répondre à cette problématique. Une telle approche conduit à un nouveau substrat de calcul, constitué de mémoires associatives inspirées du cerveau. Ces mémoires stockent des motifs, retrouvent pas à pas le motif le plus proche à partir d’un indice partiel, et apprennent par des règles locales. Aucune topologie isolée ne répondant exhaustivement à l’ensemble des spécifications, la méthodologie proposée repose sur l’intégration de structures modulaires complémentaires. BrAMA, une architecture bio-inspirée d’association multimodale, est la première contribution de la thèse. Elle associe plusieurs sens et une étiquette sans les fusionner. Chaque modalité possède une carte auto-organisée comme mémoire de symboles, et des connexions réentrantes relient ces mémoires, qui se stimulent jusqu’à s’accorder sur une interprétation. Lorsque l’approche est utilisée pour de la classification, l’étiquette de classe est traitée comme une modalité à part entière : classer une entrée revient à retrouver son étiquette depuis les autres modalités, et le même modèle fonctionne avec peu ou pas d’étiquettes. L’apprentissage, en une seule passe et sans gradient, combine compétition et règle de Hebb régularisée. Sur les jeux de données MNIST et Spoken-MNIST, BrAMA atteint 3,2 % d’erreur, contre 4,9 % pour la méthode réentrante de référence. Sur le benchmark audio-visuel TISC50, l’erreur reste à 2,4 % avec quatre paires étiquetées par classe. L’efficacité de l’association repose sur la décorrélation des profils d’erreur entre les modalités pour un même échantillon, une complémentarité quantifiée par des mesures de diversité par paires. La deuxième contribution, AV-DreamNet, est la première méthode de pseudo-rehearsal par le bruit pour l’apprentissage continu audio-visuel. Afin de contrer le phénomène d’oubli catastrophique, le modèle procède à une injection de bruit stochastique au sein d’une instance gelée de son architecture, en exploitant un processus de réinjection itérative de la sortie vers l’entrée. Ces échantillons, proches de ce que le modèle a appris, servent au replay sans conserver de donnée brute. Sur CL-VGGSound, en apprentissage incrémental par classes, la méthode atteint 58,1 % de précision moyenne avec quelques caractéristiques stockées par classe, contre 26,3 % pour la méthode de référence, et 47,1 % sans aucune donnée. Hors des expérimentations sur MNIST, les deux méthodes s’appuient sur des encodeurs pré-entraînés figés, et leur efficacité est celle des étages en aval. Enfin, à partir des conclusions partielles obtenues sur ces deux études, la thèse aborde la question plus générale suivante : quelles fonctions cognitives peuvent se construire sur un tel substrat ? Elle propose LIMBrA, une architecture à quatre niveaux d’apprentissage multimodal et continu, qui ajoute aux composants validés un niveau de fusion, un modèle du monde et une boucle sensorimotrice. BrAMA en réalise le deuxième niveau, AV-DreamNet le cœur de consolidation du quatrième. Bien que certaines des briques unitaires de cette architecture soient validées, son intégration systémique demeure un programme de recherche prospectif. La dernière partie du manuscrit formalise cette dimension exploratoire en une feuille de route méthodologique.

Date

Le 15 décembre 2026

Localisation

930, Route des Colles, 06410, Biot
salle A231