La empresa británica de IA Stability AI es conocida por su imagen de IA de difusión estable. Con StableLM, lanza ahora una serie de modelos lingüísticos de código abierto.

StableLM-Alpha ya está disponible en dos tamaños con 3.000 y 7.000 millones de parámetros. Le seguirán modelos más grandes con entre 15.000 y 65.000 millones de parámetros.

Los modelos tienen licencia Creative Commons CC BY-SA-4.0 y, por tanto, pueden utilizarse comercialmente, siempre que se haga referencia a Stability AI. En cualquier caso, los modelos se publican con fines de investigación.

StableLM, como muchos otros modelos lingüísticos de código abierto, se basa en el conjunto de datos «The Pile» de EleutherAI, pero en una versión «experimental» que, según Stability AI, es tres veces mayor que antes, con 1,5 billones de tokens. La startup quiere proporcionar detalles sobre el conjunto de datos «a su debido tiempo».

Stability AI está inmersa en una batalla legal con Getty Images por Stable Diffusion, para la que extrajo imágenes de la base de datos de Getty Images sin permiso explícito; quizá sea este el motivo de su reticencia a ser transparente sobre el conjunto de datos, o quizá el actual entorno competitivo. Se supone que Stability AI está buscando nueva financiación.

Pocos parámetros, pero buenos datos

A pesar del reducido número de parámetros (3.000 y 7.000 millones), StableLM-Alpha muestra «un rendimiento sorprendentemente bueno», escribe Stability AI. La calidad del modelo lingüístico se debe a la «riqueza del conjunto de datos», añade, pero no publica ninguna referencia.

La ventana de contexto de StableLM-Alpha, es decir, el número de componentes de frases y palabras (tokens) que el modelo lingüístico puede considerar simultáneamente para una respuesta, es de 4096 tokens, lo que está al nivel de un ChatGPT basado en GPT-3.

Los modelos alfa de StableLM con 3.000 y 7.000 millones de tokens ya están disponibles en Github. Los modelos con 15, 30 y 65 mil millones de parámetros deben seguir, junto con la documentación técnica y los parámetros de formación. Está previsto un modelo de tamaño GPT-3 con 175.000 millones de parámetros.

Como complemento a StableLM-Alpha, Stability AI publica modelos de instrucción que se ajustan según la fórmula Alpaca. Stability AI utiliza una combinación de los cinco conjuntos de datos de Alpaca, GPT4All, Dolly, ShareGPT y HH.

Estos modelos se publicarán como «StableLM-Tuned-Alpha», pero están destinados únicamente a fines de investigación y no pueden utilizarse comercialmente (CC BY-NC-SA 4.0). Una demo del modelo 7B-Tuned está disponible en HuggingFace.

Stability AI también ha anunciado un programa para crear un conjunto de datos de código abierto basado en RLHF específico para asistentes de inteligencia artificial, en el que tiene previsto colaborar con socios como la comunidad OpenAssistant. Con este conjunto de datos, podría ajustar los modelos StableLM-Alpha para hacerlos viables para uso comercial. Actualmente, esto no es posible porque el proceso de entrenamiento de StableLM-Tuned-Alpha utiliza texto generado por ChatGPT. El uso comercial violaría los términos y condiciones de OpenAI.

Mientras que Stable Diffusion fue y es un hito para la IA de código abierto generadora de imágenes, Stability AI puede tener una ardua batalla para lograr un éxito similar con los modelos de lenguaje: ahora hay numerosas ofertas de código abierto y la calidad está mejorando constantemente – el recientemente publicado OpenAssistant, por ejemplo, establece nuevos estándares de calidad para los modelos de lenguaje de código abierto orientados al diálogo y se está mejorando constantemente.