Lors d’une récente visite dans un salon dédié aux nouvelles technologies, Olivier Debeugny, CEO de Dragon LLM, discute avec la filiale d’une grande banque. Celle-ci vient de faire l’acquisition d’un nouveau processeur GPU capable de réaliser un grand nombre de calculs en un temps limité, pour faire tourner ses outils d’intelligence artificielle. Problème : en seulement une journée, toute la capacité du processeur a été entièrement grignotée, et voici que l’entreprise réclame de nouveaux GPU.
Mais pour l’expert, le problème vient d’ailleurs : est-il vraiment “normal” d’avoir besoin d’autant de capacité pour l’usage souhaité, et que les serveurs déjà existants ne semblent jamais suffire ? Ne faudrait-il pas plutôt questionner l’usage de modèles “énormes” d’intelligence artificielle ? Sont-ils toujours nécessaires ? N’existe-t-il pas d’alternatives plus frugales ?
Un nouveau rapport confirme l’impact colossal de l’IA sur l’environnement
On assiste depuis plusieurs années déjà à une course au gigantisme en matière d’IA générative, qui se traduit par un impact considérable sur l’environnement.
Dans le milieu, on cite souvent ce mantra : “there is no data like more data”. Plus nous aurions de la donnée, et plus les algorithmes seraient efficaces, pertinents, précis. Une croyance longtemps partagée, qui a servi de fondation au développement de bien des intelligences artificielles, souligne Alexandre Allauzen, professeur à l’Université Paris Dauphine PSL, chercheur et membre du centre de recherche LAMSADE.
Or on le sait : les IA génératives, physiques ou agentiques qui sont très gourmandes en données et en calculs, le sont aussi en énergie. Un récent rapport publié par GreenIT nous apprenait ainsi - entre autres données - que les serveurs dédiés aux IA consommeraient 4 fois plus d’électricité à taille équivalente en comparaison aux autres serveurs, que leur durée de vie serait 3 à 5 fois plus courte, et que l’impact de l’IA ne se limiterait pas aux émissions de gaz à effet de serre mais concernerait aussi des problématiques d’épuisement des ressources, d’émissions de particules fines ou d’eutrophisation.
En d’autres termes : l’IA, et surtout les GPU qui nécessaires aux entrainement des modèles et leur inférence, ont un impact considérable sur notre planète. Et si nous ne faisons rien, alerte GreenIT, dans les cinq années à venir, cette “croissance folle” se traduira par des tensions majeures et “l’impossibilité, pour les pays développés, d’atteindre leurs engagements environnementaux.” “Ils devront choisir entre le climat et l’IA”, lit-on.
Vers une spécialisation des IA ?
Face à ce constat sans appel, quelles solutions ? Si l’on reprend l’exemple très concret de la filiale bancaire, l’idée n’est pas d’arrêter tout usage de l’IA en son sein. Mais Olivier Debeugny leur a d’abord préconisé de “mieux calibrer les modèles pour leurs usages”. Et ceci s’appliquerait à de nombreux cas.
“On peut miser sur la spécialisation des modèles”, illustre l’expert. On parle ainsi beaucoup de “small langage models” (SLM), en opposition aux “large langage models” (LLM). Leur définition varie et n’est pas toujours claire et unique, mais il s’agirait d’obtenir des modèles avec moins de paramètres, et moins de données impliquées.
Parfois, on a tout intérêt à avoir de plus petits modèles d’IA avec un outil de type classifier, qui va piocher parmi ces modèles et trouver le plus pertinent.” Pour traduire des textes, nul besoin de faire appel à un outil tout-en-un et gourmand en données comme ChatGPT, quand DeepL est spécialisé sur ce sujet, et propose des résultats tout aussi bons - voire meilleurs. Et bien, c’est la même chose au sein des entreprises : en travaillant avec des outils plus spécialisés, on limite la consommation globale d’énergie des systèmes.
Alexandre Allauzen confirme cette hypothèse, tout en alertant sur le fait qu’il faille peut-être plutôt trouver des modèles permettant de réduire le nombre de paramètres, que le nombre de données. “Autrement, selon les tâches, cela peut poser des problèmes, souligne-t-il. Par exemple dans le cadre de la traduction, il y a des nuances de langage, de diversité de significations qui sont précises et primordiales.”
Chez Dragon LLM, on réfléchit aussi à faire tourner davantage en interne les IA - avec alors des coûts de serveurs si hauts que l’on en deviendrait “naturellement plus frugaux dans nos usages” -, et à de nouvelles architectures hybrides pour bâtir des LLM moins gourmands, en mêlant par exemple transformers et modèles Mamba. “Pour l’instant, avec les LLM, c’est un peu comme si vous me posiez une question, mais qu’avant d’y répondre, je réfléchissais à tout ce que j’ai appris depuis mon enfance. Est-ce toujours utile ? Sûrement pas à chaque fois.”
Décentraliser l’IA ?
De son côté, le monde de la recherche (qui n’est pas sans s’interroger paradoxalement sur le coût pour l’environnement de leurs investigations sur l’IA…), penche sur plusieurs autres options alternatives aux SML.
“Au sein duprojet PEPR SHARP dont je fais partie, et qui vise à déployer des modèles intrinsèquement frugaux mais performants, explique Alexandre Allauzen, on creuse notamment la piste d’un apprentissage distribué.” “Les modèles d’IA sont souvent stockés dans un seul et même endroit, ce qui implique des mises à jour centralisées. En produisant plutôt différentes copies délocalisées des modèles, cela permettrait un apprentissage plus réparti, et sans doute plus frugal.”
Les chercheurs du projet SHARP réfléchissent aussi à des algorithmes d’apprentissage moins coûteux, moins gigantesques, différents de ceux qui se font actuellement, à des représentations “plus parcimonieuses”, tout en gardant “une expressivité des modèles similaires”, et enfin, à des systèmes de quantification des calculs. “Il serait intéressant d’avoir un chiffrage de l’impact de l’utilisation de l’IA”, explique Alexandre Allauzen.
De gauche à droite : Olivier Debugny (Dragon LLM)Alexandre Allauzen (Université Paris Dauphine - PEPR SHARP)
Manquerait-on encore d’investissements européens ?
Investit-on aujourd’hui suffisamment en Europe pour développer des IA frugales ? On ne peut nier que les choses sont en bonne voie. Alexandre Allauzen se réjouit “d’initiatives historiques”, comme les AI Factories ou le supercalculateur Jean Zay, rendu accessible à la recherche. “Bien sûr, ce n’est pas encore comparable à Meta, ou d’autres géants étrangers, mais c’est fondamental pour la liberté académique et la recherche.” Et puis, il y a des startups et grosses entreprises locales, à l’image de Scaleway, OVH, Mistral, Orange, Dassault Systèmes ou Dragon LLM, qui se penchent sur un développement technique et applicatif.
Pour autant, en Europe, Olivier Debeugny rappelle que nous achetons chaque année pour plusieurs milliards d’euros de services tech aux Etats-Unis. “A quoi ressemblerait l’Europe si on investissait ces montants localement ?”, questionne l’expert. Pour lui, nous manquerions encore d’encouragements et d’incitations claires à opter pour des produits made in Europe. Une solution serait peut-être de créer des indicateurs de reporting, un peu comme l’ESG, qui mesureraient dans une entreprise combien de services utilisés sont d’origine européenne, et combien ne le sont pas.
Olivier Debeugny estime urgent de relocaliser l’IA. Elle fonctionnerait aujourd’hui presque “comme une drogue douce”, insidieuse. On s’y habitue tous, on l’utilise à outrance. Tant qu’elle est gratuite, ou à un prix très bas, la dépendance ne coûte pas “trop”. Mais il craint, comme de nombreux experts, un “dumping”, un éclatement de la bulle, avec à la clé une hausse massive des prix, et une dépendance qui devienne alors très problématique. Son rêve ? Une belle histoire, de celles que l’on raconte entre entrepreneurs les étoiles dans les yeux. Un nouvel “Airbus”, ce petit “que personne n’avait vu venir”, qui émerge doucement, mais sûrement… avec à la clé, une IA européenne, souveraine, frugale, et pas moins efficace.
In Progress, la newsletter qui reconnecte l'innovation au progrès Une infolettre préparée avec amour par les équipes de Cap Digital.
