Jais est un modèle de langue de grande envergure axé sur l’arabe et il est actuellement le meilleur modèle ouvert de sa catégorie.

Des chercheurs des Émirats arabes unis, en collaboration avec Cerebras, présentent deux nouveaux modèles de langue ouverts : Jais et Jais-chat. Les modèles ont été entraînés en arabe et en anglais, et ils surpassent nettement les modèles open source existants pour l’arabe.

Jais est un modèle pré-entraîné de 13 milliards de paramètres avec 395 milliards de jetons, don’t 116 milliards sont en arabe. Jais-chat a été adapté avec plus de 10 millions de paires de questions/réponses et surpasse tous les chatbots open source en arabe/multilingue existants.

Ces modèles sont les premiers modèles ouverts de cette envergure axés sur l’arabe.

Jais peut rivaliser avec ChatGPT dans certaines tâches

Des sites web arabes, des livres, des actualités et Wikipédia ont été utilisés comme données d’entraînement, avec toutes les données préalablement filtrées. Les 232 milliards de jetons de données en anglais de The Pile par EleutherAI sont utilisés pour compenser le manque de données arabes disponibles. L’équipe utilise également 46 milliards de jetons de code.

Dans les évaluations, Jais et Jais-chat surpassent les modèles arabes existants et disponibles gratuitement de 11 à 15 points en termes de précision, et ils sont concurrentiels avec LLaMa2 de Meta pour l’anglais, selon l’équipe. Les modèles commerciaux tels que ChatGPT d’OpenAI ou Claude d’Anthropic sont toujours en tête en moyenne dans les évaluations, mais ils sont aussi significativement plus grands. Cependant, pour certaines tâches, comme l’écriture, Jais et Jais-chat sont au même niveau que ChatGPT, selon l’équipe.

L’équipe fournit également une série d’autres mécanismes de sécurité pour Jais-chat, tels que des filtres et des classificateurs pour les requêtes et les sorties indésirables.

Une autre caractéristique spéciale du modèle : il n’a pas été formé sur les GPU Nvidia, mais sur les systèmes CS-2 de Cerebras. La société fabrique une puce d’IA de la taille d’une galette qui est installée dans les systèmes CS-2.

Jais et Jais-chat sont disponibles sur Hugging Face et peuvent être testés sur Arabic-GPT.