Cette méthode innovante réduit la consommation d'énergie de l'IA jusqu'à 95%

Selon une étude, cette nouvelle technique pourrait réduire la consommation d'énergie jusqu'à 95 %. L'algorithme, appelé "Multiplication à Complexité Linéaire" (L-Mul), repose sur l'addition d'entiers, nécessitant beaucoup moins d'énergie que la multiplication en virgule flottante généralement utilisée dans les tâches liées à l'IA, comme le rapporte TechSpot.

Actuellement, les nombres en virgule flottante sont essentiels dans les calculs d'IA pour gérer des valeurs extrêmement grandes ou petites, offrant une précision binaire qui permet des calculs complexes précis. Cependant, cette précision a un coût élevé en termes d'énergie, ce qui suscite des inquiétudes car certains modèles d'IA nécessitent d'énormes quantités d'électricité. Par exemple, faire fonctionner ChatGPT consomme suffisamment d'électricité pour alimenter 18 000 foyers américains par jour, soit 564 MWh par jour. Les analystes du Cambridge Centre for Alternative Finance prévoient qu'en 2027, l'industrie de l'IA pourrait consommer entre 85 et 134 TWh par an.

L'algorithme L-Mul aborde ce problème en remplaçant les opérations complexes en virgule flottante par des additions d'entiers plus simples. Lors des tests, les modèles d'IA ont maintenu leur précision, avec des opérations tensorielles réduisant la consommation d'énergie de 95 % et les opérations scalaires de 80 %.

L-Mul réduit non seulement la consommation d'énergie, mais améliore également les performances. Il surpasse les normes actuelles de calcul en 8 bits, offrant une plus grande précision avec moins d'opérations au niveau des bits. Dans diverses tâches d'IA telles que le traitement du langage naturel et la vision par ordinateur, la dégradation des performances n'était que de 0,07 %, un compromis négligeable compte tenu des économies d'énergie massives.

Les modèles basés sur les transformateurs, comme GPT, pourraient bénéficier le plus de L-Mul, car l'algorithme peut facilement s'intégrer à ces systèmes. Les tests sur des modèles d'IA populaires tels que Llama et Mistral ont même montré une amélioration de la précision pour certaines tâches.

Cependant, l'inconvénient est que L-Mul nécessite du matériel spécialisé, et les accélérateurs d'IA actuels ne sont pas encore optimisés pour cette méthode. La bonne nouvelle est que des efforts pour développer ce matériel et ces API sont déjà en cours.

Un obstacle potentiel pourrait être la résistance des grands fabricants de puces comme Nvidia, ce qui pourrait ralentir l'adoption de cette nouvelle technologie. En tant que leader dans la production de matériel pour l'IA, Nvidia pourrait être réticent à céder sa position dominante à des solutions plus économes en énergie.