Avec le modèle LLaMA, mi-publié, mi-fouillé, Meta a lancé un mouvement open source pour les modèles de langage. Meta prévoit de le maintenir ouvert à l’avenir.
Lors d’une réunion interne et dans le dernier podcast de Lex Fridman, Zuckerberg souligne qu’il voit encore beaucoup de potentiel dans l’open source. Il répond aux critiques de cette approche, notamment en matière de sécurité, en soulignant les capacités encore limitées des systèmes eux-mêmes, mais aussi en comparant Meta aux modèles beaucoup plus importants de Google ou d’OpenAI.
Si l’IA atteint effectivement le statut de superintelligence, cette position devra être reconsidérée, mais d’ici là, rendre les systèmes d’IA open source est le meilleur moyen d’obtenir un retour d’information sur la sécurité et l’alignement sur les besoins humains, selon Zuckerberg. Le retour d’information et la collaboration étroite avec des personnes extérieures aideraient Meta à améliorer ses technologies.
En interne, Zuckerberg a exprimé des sentiments similaires sur la stratégie de source ouverte, selon le New York Times, déclarant que la « démocratisation » de l’IA présente de nombreux avantages et s’aligne également sur la vision du produit de l’entreprise qui consiste à permettre autant de systèmes d’IA que possible, plutôt que d’en créer un seul pour les dominer tous.
« Des personnes différentes ont des intérêts différents, et nous aurons besoin d’une gamme diversifiée d’IA pour représenter tous ces intérêts différents », a déclaré M. Zuckerberg.
LLaMA v2 sera plus qu’un projet de recherche
Meta travaille sur un successeur à LLaMA, peut-être « LLaMA v2 ». Bien sûr, il peut être renommé. La question n’est pas encore tranchée.
Zuckerberg affirme que le nouveau modèle deviendra un produit d’infrastructure de base pour Meta, servant à de nombreuses fins dans ses propres produits et « espérons-le, dans beaucoup d’autres ». Meta prévoit apparemment des chatbots sur WhatsApp et Instagram, ainsi qu’un assistant IA pour les lunettes intelligentes et les casques.
Meta met l’accent sur la sécurité et l’intégration de technologies de pointe. La responsabilisation et l’alignement sont deux aspects clés du développement. En outre, la formation sera menée avec « davantage de données provenant des propres services de l’entreprise », par rapport à LLaMA, a déclaré M. Zuckerberg.
Il n’est pas encore clair si LLaMA v2 sera à nouveau open source. M. Zuckerberg n’exclut pas cette possibilité, expliquant à M. Fridman que Meta discute surtout du « comment » en interne. LLaMA v1 a été publié sous une licence de recherche et ne peut donc pas être utilisé pour des projets commerciaux, ce qui, selon Zuckerberg, est largement respecté.
Le LLaMA de Meta a servi de base à plusieurs itérations et évolutions de chatbots et de modèles de langage open source, tels qu’Alpaca, Vicuna ou OpenAssistant.
