- Imprimer
- Partager
- Partager sur Facebook
- Share on X
- Partager sur LinkedIn
Rencontre / Débat
Le 12 juillet 2022
Saint-Martin-d'Hères - Domaine universitaire
Le LPNC organise sa Journée Scientifique le 12 juillet sur le thème : Intelligence humaine et artificielle.
9h40-10h20
Marina Reyboz (CEA-LIST)
Titre : DREAM NET : un modèle d’apprentissage incrémental embarqué inspiré de la mémoire humaine.
Résumé : La recherche d’algorithmes d’apprentissage incrémental voire tout au long de la vie est cruciale car l’un des grands verrous actuels de l’apprentissage profond, à savoir l’oubli catastrophique n’est toujours pas résolu. En effet, lorsqu’un réseau de neurones artificiels apprend une nouvelle information, ses poids synaptiques s’ajustent à cette information, oubliant les informations apprises précédemment. Pour surmonter cette question, la bio-inspiration est intéressante et permet des approches en rupture. Les travaux présentés porteront donc sur le modèle développé dans les années 90 par Bernard Ans et Stéphane Rousset, auquel quelques modifications ont été apportées pour l’adapter aux bases de données classiques en vision par ordinateur (MNIST, CIFAR, IMAGENET,)
Session : Utilisation d’une méthode formelle issue de l’IA pour analyser des données physiologiques (neuroimagerie, eye tracking, etc.)
10h40-11h00
Sophie Achard (GIPSA-Lab)
Titre : D'incroyables réseaux dans le cerveau : la théorie des graphes pour comprendre la réorganisation cérébrale après un coma.
11h00-11h20
Banjac, S. (LPNC), Roger, E., Pichat, C., Cousin, E., Mosca, C., Lamalle, L., Krainik, A., Kahane, P., & Baciu, M.
Titre : Exploration of neurocognitive interaction between language and memory via graph theory
We explored the language - declarative memory interaction and their cerebral substrate language and memory network (LMN) within this framework, following substantial evidence of their interconnection. Temporal lobe epilepsy (TLE) patients can especially serve as a model for understanding this interaction since their epileptogenic zone is located in temporal regions that serve as an integrative hub, and they show both naming and long-term memory deficits.
We assumed that the language and declarative memory integration is based on the dynamic LMN that reconfigures with task demands and brain status. Therefore, we explored two types of LMN dynamics: (1) a state reconfiguration (intrinsic resting-state vs. extrinsic sentence recall task) showing key subprocesses the LMN is supporting with its adaptation; and (2) a reorganization of state reconfiguration (TLE vs. healthy controls) showing the additional processes needed to support language-memory interaction when the standard interface is unfunctional. To that end, we applied graph theory to study how LMN responds to environmental demands by segregating into modules that support common processes and how are different LMN modules inter-connected to provide integration. We will present our findings and discuss them by proposing a dynamic language and memory interaction model.
11h20-11h40
Gaël Vila (CREATIS, Lyon) et Aurélie Campagne (LPNC)
Titre : Modèle boîte-blanche pour l'évaluation du stress aigu à partir de mesures physiologiques
Pour répondre à ces problématiques, nous proposons un algorithme de type boîte-blanche susceptible de détecter le stress dans la vie quotidienne. Nous avons d’abord sélectionné des caractéristiques physiologiques sensibles au stress et peu sensibles à l’activité mentale. Ces caractéristiques ont été fusionnées dans modèle robuste aux artéfacts et qui adopte une structure modulaire, afin de s'adapter en temps réel à la qualité des mesures. L’idée derrière ce modèle est de pouvoir se séparer sans nouvel apprentissage des caractéristiques momentanément indisponibles ou trop bruitées.
La majorité des corrélats connus du stress ont répondu de manière similaire en situation de stress et d’activité mentale non-stressante. Quatre caractéristiques montrant une réponse différenciée ont été incluses dans notre détecteur de stress. Celui-ci a montré des performances comparables à l’état de l’art et à d’autres modèles (75% de bien classés), bien qu’inférieures à un réseau de neurones (81%). En présence de bruit dans ces données, les performances de notre détecteur sont restées majoritairement stables (±1%) et supérieures aux autres modèles (+3% à +11% par rapport au réseau de neurones).
11h40-12h00
Laurent Torlay (LPNC)
Titre : Apprentissage statistique et interprétation
14h00-14h40
Damien Querlioz
Titre : Neuroscience-Infused Deep Learning
The way that deep neural networks and the brain learn differ profoundly. The flagship algorithm for training neural networks, backpropagation, relies on non-local computation, requiring massive memory use. The data movement caused by nonlocal computation is the source of the massive energy consumption of training deep neural networks (3.5 gigawatt-hour for the recent Google Palm language model). The brain, by contrast, learns intrinsically, and its synapses evolve directly through the spikes applied by the neurons they connect, using their biophysics. Based on this consideration, the group of Y. Bengio proposed Equilibrium Propagation, an energy-based deep learning technique that computes gradients using solely local computation and functions using a free phase and a phase where the network is “nudged” toward the right output. We report recent results showing the equivalence of this technique with non-local backpropagation (2), and its potential to scale to real-life tasks (3).
Another concern of deep neural networks is that they suffer from catastrophic forgetting, i.e., when presented with new training data, they rapidly forget tasks learned previously. The brain, by contrast, excels at learning tasks sequentially. The ability of synapses to adjust their level of plasticity, metaplasticity, has been proposed as a leading way by which the brain might avoid catastrophic forgetting (3). Here, we show that a specific type of deep neural networks, binarized neural networks, can be made metaplastic. The resulting neural network mitigates catastrophic forgetting, without the need for explicit task boundaries, and using solely local computation (4). These two projects highlight the potential benefits of the synergy between neuroscience and machine learning research.
1. B. Scellier, Y. Bengio, Front. Comput. Neurosci. 11 (2017).
2. M. Ernoult, J. Grollier, D. Querlioz, Y. Bengio, B. Scellier, Proc. NeurIPS, pp. 7081 (2019).
3. A. Laborieux, M. Ernoult, B. Scellier, Y. Bengio, J. Grollier, and D. Querlioz, Front. Neurosci. 15, p. 129 (2021).
3. S. Fusi, P. J. Drew, and L. F. Abbott, Neuron. 45, 599–611 (2005).
4. A. Laborieux, M. Ernoult, T. Hirtzlin, D. Querlioz, Nature Communications 12, Article number: 2549, 2021.
Bio
Damien Querlioz is a CNRS Researcher at the Centre de Nano-sciences et de Nanotechnologies of Université Paris-Saclay. His research focuses on novel usages of emerging non-volatile memory and other nanodevices, in particular relying on inspirations from biology and machine learning. He received his predoctoral education at Ecole Normale Supérieure, Paris and his PhD from Université Paris-Sud in 2009. Before his appointment at CNRS, he was a Postdoctoral Scholar at Stanford University and at the Commissariat a l’Energie Atomique. Damien Querlioz is the coordinator of the interdisciplinary INTEGNANO research group, with colleagues working on all aspects of nanodevice physics and technology, from materials to systems. He is a member of the bureau of the French Biocomp research network. He has co-authored one book, nine book chapters, more than 100 journal articles, and conference proceedings, and given more than 50 invited talks at national and international workshops and conferences. In 2016, he was the recipient of an ERC Starting Grant to develop the concept of natively intelligent memory. In 2017, he received the CNRS Bronze medal. He has also been a co-recipient of the 2017 IEEE Guillemin-Cauer Best Paper Award and of the 2018 IEEE Biomedical Circuits and Systems Best Paper Award.
Session : Modélisation en sciences cognitives 1
14h40-15h00
Stéphane Rousset (LPNC)
Titre : Approche multidisciplinaire dans la modélisation des mécanismes cognitifs élémentaires
15h00-15h20
Sophie Portrat et Benoit Lemaire (LPNC)
Titre : Modélisation computationnelle du fonctionnement de la mémoire de travail
15h20-15h40
Alan Chauvin (LPNC), Ronald Phlypo (GIPSA-Lab)
Titre : Modéliser des réponses comportementales pour la perception multi-stable : et après ?
Session : Modélisation en sciences cognitives 2
16h10-16h30
David Alleysson (LPNC)
Titre : Ce que la vision des couleurs nous apprend sur le fonctionnement du cerveau.
16h30-16h50
Hélène Loevenbruck (LPNC)
Titre : ConDialInt - Ou comment un modèle du contrôle prédictif de la production de parole permet d’expliquer diverses manifestations de l’endophasie
Résumé : L’endophasie, ou langage intérieur, varie essentiellement selon trois dimensions : la condensation, la dialogalité et l’intentionnalité. Elle peut être développée, sur les plans articulatoire, sonore et visuel, ou condensée, sans sensation. Elle peut se dérouler sous forme de monologues ou de dialogues. Enfin, il existe des variantes intentionnelles, lorsque l’on mémorise un poème, et non-intentionnelles, dans le vagabondage mental. Pour rendre compte des variations selon ces dimensions, nous avons introduit ConDialInt, un modèle neurocognitif ancré dans le cadre du contrôle prédictif. La production de parole y est considérée comme un processus hiérarchique, avec plusieurs niveaux, depuis l’objectif langagier jusqu’à l’émission d’un signal de parole. À chaque niveau, s’effectuent des ajustements qui s’appuient sur des prédictions. L’endophasie est expliquée comme une production de parole tronquée, le niveau de la troncation déterminant le degré de condensation. ConDialInt permet aussi de décrire des formes atypiques d’endophasie. L'hyperphantasie vs. l'aphantasie verbales s'interprètent comme une variation de la condensation. Les hallucinations auditives verbales sont envisagées comme des formes dialogales non-intentionnelles, dans lesquelles une comparaison défaillante entre prédictions et objectifs annule l’agentivité. Ces propositions ont des implications pour les représentations postulées dans les théories du traitement du langage.
16h50-17h10
Sylviane Valdois (LPNC)
Titre : Quelle utilité des modèles computationnels pour les non-matheux ?
Résumé : Si, comme moi, vous n’êtes pas sensible à la beauté de grandes équations mathématiques, vous pourriez être tenté de tourner le dos à la modélisation computationnelle. J’essaierai de vous convaincre que ce serait vous priver d’un outil précieux. Développer un modèle computationnel, c’est d’abord prendre conscience de tout ce que l’on ne sait pas et que l’on croyait savoir. C’est se donner les moyens de tester des hypothèses théoriques précises et d’en voir précisément à la fois les forces et les limites ; c’est pouvoir évaluer des relations causales et faire de nouvelles prédictions ; c’est disposer d’un substitut expérimental qui permet d’éclairer notre lanterne. En fait, la modélisation computationnelle me semble un incontournable pour comprendre ce que l’on étudie. J’espère vous en convaincre à travers quelques exemples concrets en lien avec les travaux menés au LPNC sur les modèles de lecture.
Date
Localisation
Saint-Martin-d'Hères - Domaine universitaire
Amphi MSH Alpes
1221 avenue Centrale
Domaine Universitaire St Martin d'Hères
- Imprimer
- Partager
- Partager sur Facebook
- Share on X
- Partager sur LinkedIn