L’IA open source est en plein essor. Il est donc moins probable qu’une poignée d’entreprises contrôle la technologie.

Ils ont changé le monde en écrivant des logiciels. Mais les techniciens sont également connus pour rédiger de longs mémos en prose, dont les plus célèbres ont marqué des tournants dans l’informatique.

Pensez au mémo de Bill Gates sur le « raz-de-marée Internet » de 1995, qui a repositionné Microsoft vers le web, ou au mémo de Jeff Bezos sur le « mandat api » de 2002, qui a ouvert l’infrastructure numérique d’Amazon, ouvrant ainsi la voie à l’informatique en nuage moderne.

Aujourd’hui, les technologues sont enthousiasmés par un autre mémo, cette fois-ci issu d’une fuite interne à Google, intitulé « We have no moats » (Nous n’avons pas de douves).

Son auteur inconnu y détaille les progrès impressionnants réalisés dans le domaine de l’intelligence artificielle (IA) et remet en question certaines idées reçues sur l’équilibre des pouvoirs dans ce secteur en pleine évolution.

L’IA a fait irruption dans la conscience publique avec le lancement, fin 2022, de Chatgpt, un chatbot alimenté par un « grand modèle de langage » (llm) fabriqué par Openai, une startup étroitement liée à Microsoft. Son succès a incité Google et d’autres entreprises technologiques à lancer leurs propres chatbots alimentés par un llm. Ces systèmes peuvent générer du texte et tenir des conversations réalistes parce qu’ils ont été formés à l’aide de trillions de mots tirés de l’internet. La formation d’un grand lambda prend des mois et coûte des dizaines de millions de dollars. Cette situation a fait craindre que l’IA ne soit dominée par quelques entreprises disposant de beaucoup d’argent.

Mais cette hypothèse est erronée, selon la note de Google. Il note que les chercheurs de la communauté open source, qui utilisent des ressources en ligne gratuites, obtiennent aujourd’hui des résultats comparables à ceux des plus grands modèles propriétaires. On a découvert qu’il était possible de « régler » les Ilm à l’aide d’une technique appelée Low Rank Adaptation (LoRa), qui permet d’optimiser un Ilm existant pour une tâche spécifique beaucoup plus rapidement et à moindre coût que la formation d’un Ilm à partir de zéro.

L’activité dans le domaine de l’IA open source a explosé en mars lorsque llama, un modèle créé par Meta, la société mère de Facebook, a fait l’objet d’une fuite en ligne. Bien qu’il soit plus petit que les plus grands Ilm (sa plus petite version comporte 7 milliards de paramètres, contre 540 milliards pour le Palm de Google), il a été rapidement modifié pour produire des résultats comparables à la version originale de Chatgpt dans certaines tâches. Les chercheurs en logiciels libres se sont appuyés sur les travaux des uns et des autres avec le lama, ce qui a donné lieu à « une formidable vague d’innovation », écrit l’auteur du mémo.

Cela pourrait avoir des implications sismiques pour l’avenir de l’industrie. « La barrière à l’entrée pour la formation et l’expérimentation est passée de la production totale d’un grand organisme de recherche à une personne, une nuit et un ordinateur portable puissant », indique le mémo de Google. Il est désormais possible de mettre au point un MLI pour 100 dollars en quelques heures. Avec son modèle rapide, collaboratif et peu coûteux, « l’open source présente des avantages significatifs que nous ne pouvons pas reproduire ». D’où le titre du mémo : cela pourrait signifier que Google n’a pas de « fossé » défensif contre les concurrents de l’open source. Il en va de même pour Openai.

Tout le monde n’est pas d’accord avec cette thèse. Il est vrai que l’internet est alimenté par des logiciels libres, mais les gens utilisent aussi des logiciels propriétaires payants, d’Adobe Photoshop à Microsoft Windows. L’intelligence artificielle peut trouver un équilibre similaire. De plus, l’évaluation des systèmes d’intelligence artificielle est notoirement difficile. Toutefois, même si le mémo est partiellement correct, il implique que l’accès à la technologie de l’intelligence artificielle sera beaucoup plus démocratisé qu’il ne semblait possible il y a seulement un an. Des LLM puissants peuvent être exécutés sur un ordinateur portable ; quiconque le souhaite peut désormais mettre au point sa propre IA.

Cette évolution a des conséquences à la fois positives et négatives. Du côté positif, elle rend moins probable le contrôle monopolistique de l’IA par quelques entreprises. Elle rendra l’accès à l’IA beaucoup moins cher, accélérera l’innovation dans ce domaine et permettra aux chercheurs d’analyser plus facilement le comportement des systèmes d’IA (leur accès aux modèles propriétaires était limité), ce qui renforcera la transparence et la sécurité. Mais un accès plus facile à l’IA signifie également que les acteurs malveillants seront en mesure de modifier les systèmes à des fins malveillantes, telles que la désinformation. Cela signifie que les tentatives occidentales visant à empêcher des régimes hostiles d’accéder à des technologies d’IA puissantes échoueront. Enfin, il est plus difficile de réglementer l’IA, car le génie est sorti de la bouteille.

Nous verrons bientôt si Google et ses semblables ont réellement perdu leur fossé dans le domaine de l’IA. Mais, comme pour les mémos précédents, il s’agit d’un nouveau tournant pour l’informatique. Référence : The Economist.