Avec son nouveau modèle de langage étendu, Llama 2, Meta se positionne comme une alternative open source à OpenAI. Microsoft y participe en tant que partenaire.
Llama 2 est désormais disponible gratuitement à des fins de recherche et d’utilisation commerciale, avec jusqu’à 700 millions d’utilisateurs actifs par mois. Le modèle existe en trois tailles, avec 7, 13 et 70 milliards de paramètres, et a été entraîné avec 40 % de données en plus que Llama v1, selon Meta.
La longueur du contexte, c’est-à-dire la quantité maximale de données disponibles dans la mémoire à court terme de l’IA que le modèle peut traiter en une seule fois, est de 4096 jetons, soit le double de son prédécesseur et l’équivalent de ChatGPT utilisant GPT-3.5.
Comparé à Llama v1 et à d’autres modèles open source, Llama 2 obtient de meilleurs résultats dans tous les benchmarks. En particulier dans l’important benchmark Massively Multi-Tasked Language Understanding (MMLU), Llama surpasse clairement son prédécesseur et la concurrence open source.
Par rapport aux modèles à source fermée tels que GPT-4 et PaLM-2, Meta parle d’une « grande différence de performance ». Cependant, Llama-2 devrait atteindre le niveau de ChatGPT avec GPT-3.5 dans la plupart des cas.
Pour les tâches de codage, GPT-4 avec l’interpréteur de code ou des modèles spécialisés comme Starcoder devraient être en tête selon les benchmarks.
Ces modèles [Llama 2] ont démontré leur compétitivité par rapport aux modèles de chat open source existants ainsi qu’une compétence équivalente à certains modèles propriétaires dans les ensembles d’évaluation que nous avons examinés, bien qu’ils soient encore en retard par rapport à d’autres modèles tels que GPT-4.
Extrait de l’article
Selon Meta, Llama 2 a été entraîné à l’aide de sources de données en ligne accessibles au public. Le modèle de dialogue en ligne, Llama-2-chat, utilise des ensembles de données de formation accessibles au public et plus d’un million d’annotations humaines. En utilisant la même méthode, Reinforcement Learning from Human Feedback (RLHF), OpenAI a également optimisé ChatGPT.
Meta met les modèles à disposition pour un téléchargement gratuit sur le site web de Llama après avoir rempli un formulaire d’enregistrement. Chaque téléchargement est accompagné du code du modèle, des poids, du manuel d’utilisation, du guide d’utilisation responsable, des directives d’utilisation acceptable, de la carte du modèle et de la licence.
Une version de démonstration gratuite du modèle de chat avec 7 et 13 milliards de paramètres est disponible sur cesite.
Meta s’associe à Microsoft
De manière quelque peu surprenante, Meta introduit le modèle Llama en partenariat avec Microsoft, le plus grand investisseur d’OpenAI. Apparemment, Microsoft souhaite se positionner à la fois dans l’espace fermé et dans l’espace ouvert en mettant les modèles à la disposition des entreprises par l’intermédiaire de son infrastructure Azure. Meta propose également Llama via Amazon Web Services, Hugging Face et d’autres fournisseurs.
Les deux entreprises ont une histoire commune de création d’écosystèmes d’IA ouverts et de soutien de PyTorch – un cadre d’IA co-développé par Meta – sur Microsoft Azure, selon l’annonce du modèle.
La collaboration vise également à permettre des expériences immersives pour l’avenir du travail et du jeu dans le métavers. À l’automne dernier, Microsoft a annoncé pour la première fois l’utilisation du logiciel Office pour les appareils de réalité virtuelle de Meta.
En outre, Meta souligne l’importance d’une utilisation responsable de l’IA et fournit des ressources telles que des exercices de red-teaming, un schéma de transparence, un guide d’utilisation responsable et une politique d’utilisation acceptable afin de garantir une utilisation équitable et responsable de Llama 2.
Meta couvre également ses paris sur l’open source avec une série d’approbations d’experts qui soutiennent le lancement du modèle malgré les risques. « L’innovation responsable et ouverte nous permet à tous de participer au processus de développement de l’IA, en apportant de la visibilité, de l’attention et de la confiance à ces technologies. L’ouverture des modèles Llama d’aujourd’hui permettra à chacun de bénéficier de cette technologie », peut-on lire dans la déclaration.
Yann LeCun, responsable de l’IA chez Meta et l’un des chercheurs les plus renommés dans le domaine de l’intelligence artificielle, a célébré le lancement de Llama 2 sur Twitter en déclarant : « Cela va changer le paysage du marché des LLM »
Cette publication confirme certaines rumeurs de ces dernières semaines, notamment que Llama v2 est commercialement viable et qu’il devrait freiner la croissance d’OpenAI. Meta lui-même pourrait se placer dans une position stratégique intéressante en capitalisant sur le mouvement open source pour son écosystème d’IA.
