Une intelligence artificielle taille réduite, loin des mastodontes signés ChatGPT, Claude ou Gemini, c’est la promesse des «Small Language Models». Ces «petits modèles de langage» accumulent moins de paramètres, se spécialisent sur certaines tâches. Avec à la clé rapidité, légèreté et consommation réduite. Simple «greenwashing» ou changement de paradigme? Eléments de réponse.
L’intelligence artificielle, une grenouille qui voulait enfler toujours plus? Mis en avant par les entreprises actives dans le secteur, les modèles les plus avancés d’IA accumulent les données, multiplient les paramètres, deviennent de gargantuesques boîtes noires, de grands oracles statistiques répondant à toutes les demandes.
Les grands modèles de langage, ou LLM pour «Large Language Models» en anglais, comme ChatGPT, ont indéniablement révolutionné le rapport du grand public à l’IA, en visant toujours plus grand et plus haut. Une autre tendance se développe pourtant: la réduction. L’IA générative plus petite, logiquement nommée SLM, «Small Language Model», se veut potentiellement moins énergivore, avec une spécialisation pour certaines tâches. Loin du gigantisme des LLM, le créneau des «petits modèles de langage» a gagné en popularité, sans qu’une définition précise émerge véritablement pour ce segment.
«Tracer une frontière exacte entre le LLM et le SLM reste difficile, concède Pierre Dupont, professeur à l’école polytechnique de l’UCLouvain. La version la plus avancée de ChatGPT navigue très probablement au-delà des centaines de milliards de paramètres, une estimation car l’information n’est pas rendue publique par son concepteur, la société OpenAI. Pour comparaison, DeepSeek, l’IA chinoise, accumule 671 milliards de paramètres. En cherchant malgré tout à donner un ordre de grandeur, les SLM divisent en général ces nombres par 100 ou plus.»
«Un éléphant pour écraser une mouche»
Les paramètres permettent au modèle de «comprendre» et traiter des instructions formulées en langage naturel. Plus ils sont nombreux, meilleure est la compréhension de la langue, la polyvalence du modèle sera plus grande, la cohérence des réponses fournies grimpe également.
«Pour traduire un texte de l’anglais au français ou corriger l’orthographe d’un texte, des tâches très précises, d’autres outils existent et un utilisateur n’a probablement pas besoin de l’énorme puissance d’un LLM. C’est prendre un éléphant pour écraser une mouche. Des modèles plus petits et spécialisés peuvent trouver un intérêt de ce point de vue», poursuit l’expert en machine learning et intelligence artificielle.
Parmi les outils étiquetés «petits», Microsoft propose phi-4, un SLM de 14 milliards de paramètres selon la firme. Un nombre qui l’éloigne du «minuscule», mais présenté comme plus léger et rapide. Idem pour Mistral 7B (7 milliards de paramètres) de la société française du même nom, ou encore Llama 3.1 version 8B (8 milliards de paramètres) signé Meta. Cette plus grande vitesse d’exécution fait partie des avantages affichés des SLM. «Un petit modèle de langage aura moins de calculs à effectuer pour livrer une réponse, ce qui améliore sa vitesse et réduit son coût, en puissance nécessaire pour le calcul mais aussi en énergie utilisée. À terme, le SLM a vocation à pouvoir tourner en local, sur un appareil moins puissant, comme un ordinateur portable ou un smartphone, là où les LLM effectuent le travail en envoyant les requêtes sur d’énormes serveurs», explique encore Pierre Dupont.
Vers une cohabitation
Faire tourner localement, sur une machine personnelle, un modèle de langage présente un intérêt évident lorsque des données sensibles sont utilisées. Les entreprises qui veulent garder la main sur les informations transmises ont tout intérêt à ne pas envoyer leur demande sur une lointaine machine, sans savoir exactement ce qu’il adviendra de leurs données.
L’intérêt écologique pointe également. L’intelligence artificielle ayant tendance à se montrer toujours plus gourmande en énergie, toute réduction de la voilure apparaît comme salutaire. «Les gens commencent à se poser de plus en plus de questions sur l’impact environnemental de la technologie et de l’IA, en particulier depuis que les chiffres sur les tonnes de CO2 nécessaires pour entraîner ChatGPT sont sortis, explique Louis de Diesbach, éthicien de la technologie et auteur notamment de Bonjour ChatGPT (Mardaga, 2024). Maintenant, il ne faut pas être dupe, les entreprises développent les SLM moins par conscience écologique que pour des raisons économiques. Moins de consommation énergétique signifie aussi moins de coûts pour eux.»
Il s’agit également d’un marché à attaquer, un nouveau produit à vendre, avec ses enjeux financiers. Ce qui ne réduit pas à néant l’intérêt des modèles plus larges non plus. «À mesure qu’on veut pousser les capacités de « raisonnement », les LLM gardent l’avantage. On en a encore besoin. Certains SLM découlent aussi directement de grands modèles de langage, selon le principe de la distillation», ajoute le professeur de l’UCLouvain. Le «grand» permettant la naissance du «petit» via un transfert des connaissances, le premier reste donc essentiel. Autant d’éléments qui laissent à penser que la cohabitation des deux modèles pourrait persister.
Des enjeux qui s’étendent au-delà de la technique
L’émergence des modèles plus petits rappelle également l’importance de l’éveil aux questions entourant l’usage de la technologie, notamment parmi les utilisateurs de ces outils. Comprendre le fonctionnement, quels sont les enjeux géopolitiques, quelles sont les conséquences environnementales, etc. Des réflexions qui concernent tout le monde, rappelle Louis de Diesbach. «Derrière les enjeux techniques de l’innovation, qui n’est pas un synonyme de progrès, chacun peut se rendre compte des enjeux non techniques, qui sont peut-être encore beaucoup plus nombreux. Les questions liées à l’intelligence artificielle ne doivent pas être confisquées par les techniciens et devenir un domaine dans lequel seuls les ingénieurs et informaticiens ont le droit de s’exprimer.»
L’IA est un marteau, devenu très à la mode, ce qui nous pousse parfois à considérer tous les problèmes comme des clous.
Vouloir «miniaturiser» les LLM pour les intégrer plus facilement sur des appareils personnels soulève également des questions fondamentales sur le rapport de l’humain à la technologie. «L’IA, quelle que soit sa taille, est un marteau, devenu très à la mode, ce qui nous pousse parfois à considérer tous les problèmes comme des clous. Or la réponse à certains défis ne réside pas nécessairement dans plus de technologie, mais parfois dans moins de technologie. Ai-je envie d’avoir un robot bardé d’IA pour interagir avec des personnes âgées dans un home? Qu’est-ce que ça dit des liens humains lorsqu’on en vient à discuter avec la machine comme avec une personne? Pourquoi devrais-je glisser de l’IA dans ma poche via mon smartphone?», interroge encore l’auteur.
Alors que les SLM gagnent en popularité, la vraie question n’est peut-être pas de savoir s’ils remplaceront un jour les LLM, mais plutôt comment ces modèles plus légers invitent à repenser notre relation à l’intelligence artificielle – une technologie qui promet de répondre à tout, mais qui pose tant d’autres questions.
