Guillaume LAJOIE - 7 novembre 2024 à 10h30 au PK-5115
TITRE: Beyond parameters: Learning in-context without plasticity in neural networks
RÉSUMÉ
Les réseaux neuronaux peuvent approximer un large éventail de fonctions si une attribution de crédit appropriée est mise en place. Les théories de l’apprentissage se sont concentrées sur l’ajustement des paramètres d’un réseau, tels que les poids de connectivité, afin de minimiser les erreurs sur des tâches spécifiques. Dans le cerveau, ces modifications sont facilitées par des mécanismes de plasticité synaptique, tandis que les réseaux profonds utilisent la descente de gradient directe. Certains processus d’apprentissage dans le cerveau ne reposent pas uniquement sur ces mises à jour paramétriques. Ils exploitent des mécanismes d’attribution de crédit basés sur l’activité pour réaliser un apprentissage rapide, induit par les entrées, de manière non paramétrique. En IA, les grands modèles de fondation pré-entraînés sur des objectifs prédictifs simples montrent une expressivité remarquable dans l’apprentissage en contexte, en utilisant uniquement les activations évoquées par les entrées. Je présenterai des résultats démêlant les rôles de l’apprentissage paramétrique et non paramétrique. J’explorerai l’expressivité des réseaux neuronaux qui apprennent uniquement à partir des entrées et j’examinerai l’impact des objectifs de méta-formation paramétrique sur cette expressivité. Cette recherche vise à fournir des outils pour mieux comprendre l’apprentissage induit par les entrées dans le cerveau et l’apprentissage en contexte dans les grands systèmes d’IA pré-entraînés.
BIOGRAPHIE
Guillaume LAJOIE est professeur associé à l’Université de Montréal et chercheur au Mila (Institut québécois d’intelligence artificielle). Ses travaux se situent à l’intersection des neurosciences et de l’apprentissage automatique, en particulier sur la compréhension des dynamiques neuronales et comment les modèles inspirés du cerveau peuvent améliorer les systèmes d’IA.
RÉFÉRENCES
Ezekiel Williams, Avery Hee-Woon Ryoo, Thomas Jiralerspong, Alexandre Payeur, Matthew G. Perich, Luca Mazzucato, Guillaume Lajoie (2024) Expressivity of Neural Networks with Random Weights and Learned Biases. arXiv preprint arXiv:2407.00957.