L’entreprise britannique Stability AI est connue pour son image Stable Diffusion AI. Avec StableLM, elle lance aujourd’hui une série de modèles linguistiques open source.
StableLM-Alpha est désormais disponible en deux tailles, avec 3 et 7 milliards de paramètres. Des modèles plus grands, avec 15 à 65 milliards de paramètres, suivront.
Les modèles sont soumis à la licence Creative Commons CC BY-SA-4.0 et peuvent donc être utilisés à des fins commerciales, à condition que l’IA Stable soit mentionnée. Les modèles sont de toute façon diffusés à des fins de recherche.
StableLM, comme beaucoup d’autres modèles de langage open source, est basé sur l’ensemble de données « The Pile » d’EleutherAI, mais dans une version « expérimentale » qui, selon Stability AI, est trois fois plus grande qu’auparavant, avec 1,5 trillion de tokens. La startup souhaite fournir des détails sur l’ensemble de données « en temps voulu ».
Stability AI est actuellement en procès avec Getty Images au sujet de Stable Diffusion, pour lequel elle a récupéré des images de la base de données de Getty Images sans autorisation explicite – ce qui explique peut-être sa réticence à faire preuve de transparence au sujet de l’ensemble de données, ou peut-être l’environnement concurrentiel actuel. Stability AI serait à la recherche de nouveaux financements.
Peu de paramètres, mais de bonnes données
Malgré le petit nombre de paramètres (3 et 7 milliards), StableLM-Alpha affiche « des performances étonnamment bonnes », écrit Stability AI. La qualité du modèle linguistique résulte de la « richesse de l’ensemble de données », ajoute l’entreprise, qui ne publie toutefois pas de données de référence.
La fenêtre contextuelle de StableLM-Alpha, c’est-à-dire le nombre de composants de phrases et de mots (tokens) que le modèle de langage peut prendre en compte simultanément pour une réponse, est de 4096 tokens, ce qui correspond au niveau d’un ChatGPT basé sur GPT-3.
Les modèles alpha de StableLM avec 3 et 7 milliards de tokens sont maintenant disponibles sur Github. Les modèles avec 15, 30 et 65 milliards de paramètres devraient suivre, ainsi que la documentation technique et les paramètres de formation. Un modèle de taille GPT-3 avec 175 milliards de paramètres est prévu.
En complément de StableLM-Alpha, Stability AI publie des modèles d’instruction accordés selon la formule Alpaca. Stability AI utilise une combinaison des cinq ensembles de données d’Alpaca, GPT4All, Dolly, ShareGPT et HH.
Ces modèles seront publiés sous le nom de « StableLM-Tuned-Alpha », mais ils sont destinés à des fins de recherche uniquement et ne peuvent pas être utilisés commercialement (CC BY-NC-SA 4.0). Une démo du modèle 7B-Tuned est disponible sur HuggingFace.
Stability AI annonce également un programme pour un ensemble de données open source basé sur le RLHF, spécifiquement pour les assistants d’IA, sur lequel elle prévoit de travailler avec des partenaires tels que la communauté OpenAssistant. Grâce à cet ensemble de données, il serait possible d’améliorer les modèles StableLM-Alpha afin de les rendre viables pour une utilisation commerciale. Actuellement, ce n’est pas le cas car le processus d’entraînement de StableLM-Tuned-Alpha utilise du texte généré par ChatGPT. Une utilisation commerciale violerait les termes et conditions d’OpenAI.
Alors que Stable Diffusion a été et reste une étape importante pour l’IA open source génératrice d’images, Stability AI risque d’avoir du mal à obtenir un succès similaire avec les modèles de langage : il existe aujourd’hui de nombreuses offres open source et la qualité s’améliore constamment – OpenAssistant, par exemple, récemment publié, établit de nouvelles normes de qualité pour les modèles de langage open source axés sur le dialogue et est en constante amélioration.
