Jais es un modelo de lenguaje enfocado en árabe y actualmente es el mejor modelo abierto de su tipo.
Investigadores de los Emiratos Árabes Unidos, en colaboración con Cerebras, presentan dos nuevos modelos de lenguaje abiertos: Jais y Jais-chat. Los modelos fueron |
Jais es un modelo preentrenado con 13 mil millones de parámetros con 395 mil millones de tokens, de los cuales 116 mil millones son tokens en árabe. Jais-bate-papo fue
Estos modelos son los primeros modelos abiertos de esta escala centrados en el árabe.
Jais puede competir con ChatGPT en algunas tareas
Se utilizaron sitios web árabes, libros, noticias y Wikipedia como datos de entrenamiento, y todos los datos se filtraron antes del entrenamiento. Se utilizaron 232 mil millones de tokens de datos en inglés de The Pile de EleutherAI para complementar la limitada disponibilidad de datos en árabe. El equipo también utilizó 46 mil millones de tokens de código.
En las pruebas de referencia, Jais y Jais-chat superan a los modelos árabes existentes y de libre acceso en 11 a 15 puntos de precisión, y son competitivos con LLaMa2 de Meta para el inglés, según el equipo. Los modelos comerciales como ChatGPT de OpenAI o Claude de Anthropic siguen liderando en promedio en las pruebas, pero también son significativamente más grandes. Sin embargo, para algunas tareas, como la escritura, Jais y Jais-chat están al mismo nivel que ChatGPT, según el equipo.
El equipo también proporciona una serie de otros mecanismos de seguridad para Jais-chat, como filtros y clasificadores para solicitudes y salidas no deseadas.
Otra característica especial del modelo: no se entrenó en las GPU de Nvidia, sino en los sistemas CS-2 de Cerebras. La empresa produce un chip de IA del tamaño de una oblea que se instala en los sistemas CS-2.
Jais y Jais-chat están disponibles en Hugging Face y se pueden probar en Arabic-GPT.
