EPFL: des unités de langage essentielles aux grands modèles d'IA
LAUSANNE - Des scientifiques de l’EPFL ont découvert des "unités" dans les grands modèles d’intelligence artificielle (IA) qui semblent essentielles pour le langage, reflétant le système de langage du cerveau humain. Lorsque ces unités sont désactivées, les modèles sont nettement moins efficaces.
Les grands modèles de langage (LLM) ne sont pas seulement performants pour comprendre et utiliser le langage, ils peuvent aussi raisonner ou penser de manière logique et résoudre des problèmes. Néanmoins, on ne comprend toujours pas parfaitement comment ils fonctionnent, a indiqué lundi l'Ecole polytechnique fédérale de Lausanne (EPFL) dans un communiqué.
Des scientifiques du laboratoire NeuroAI à l'EPFL ont voulu savoir si les LLM disposaient d’unités ou de modules spécialisés pour des tâches spécifiques, comme par exemple le réseau du langage dans le cerveau humain.
Après avoir étudié 18 LLM populaires, ils ont constaté que certaines unités semblent effectivement constituer un réseau central axé sur le langage. Pour vérifier le rôle causal de ces unités sélectives du langage, les scientifiques les ont supprimées et, séparément, ont retiré différents ensembles d’unités aléatoires. Puis, ils ont évalué les différences dans ce qui s’est passé ensuite.
 |
Incapables de produire un texte cohérent
Lorsque les unités sélectives du langage ont été supprimées - mais pas les unités aléatoires - les modèles n’étaient plus en mesure de produire un texte cohérent et étaient incapables d’obtenir de bons résultats sur les repères linguistiques.
"Les résultats montrent que ces unités sont vraiment importantes pour le modèle. La principale surprise pour nous, c’est qu’il y a probablement moins de 100 neurones - environ 1% des unités - qui semblent être extrêmement pertinents pour tout ce qui concerne la capacité d’un modèle à produire et à comprendre le langage et, lorsqu’ils sont perturbés, le modèle échoue soudain complètement", explique Badr AlKhamissi, assistant-doctorant et auteur principal de l’article, cité dans le communiqué.
Des recherches futures seront menées pour comprendre ce qui se passe dans les modèles multiples, pas seulement entraînés sur le texte, mais qui peuvent aussi traiter d'autres modalités d’information, comme les images, la vidéo et le son.
Comme après un AVC
"Si l’on pense aux dommages causés au réseau du langage dans le cerveau des personnes qui ont subi un AVC, il arrive souvent que celles-ci souffrent de graves troubles du langage alors que tout le reste est intact", note Martin Schrimpf, responsable du laboratoire NeuroAI.
"C’est très similaire ici avec la composante linguistique du LLM qui ne fait que produire du charabia et, bien que nous n’ayons pas testé cela, il pourrait probablement encore bien fonctionner sur tout le reste", ajoute le spécialiste.
"Nous espérons que ces modèles nous aideront à mieux nous comprendre et à mieux comprendre notre cerveau", conclut le chercheur. Ces travaux ont été présentés récemment dans une conférence spécialisée à Albuquerque, aux États-Unis.
Le 12 mai 2025. Sources : Keystone-ATS. Crédits photos: Adobe Stock, Pixabay ou Pharmanetis Sàrl (Creapharma.ch).
N'oubliez pas de vous inscrire ci-dessous à notre newsletter spéciale concernant le monde de la biotechnologie et de l'industrie pharmaceutique et recevez des news pertinentes, gratuit!
