Los grandes modelos lingüísticos (LLM) han tomado el mundo por asalto con sus capacidades y características similares a las humanas. La última incorporación a la larga lista de LLM, el modelo GPT-4, ha aumentado exponencialmente la utilidad de ChatGPT gracias a su naturaleza multimodal. Esta última versión recibe información en forma de texto e imágenes y ya se está utilizando para crear sitios web y chatbots de alta calidad. Recientemente, se ha introducido un nuevo modelo para democratizar ChatGPT, es decir, hacerlo más accesible y disponible para un público más amplio, independientemente de las restricciones lingüísticas o geográficas.
Este último modelo, denominado Phoenix, pretende alcanzar un rendimiento competitivo no solo en inglés y chino, sino también en idiomas con recursos limitados, como el latín y las lenguas no latinas. Phoenix, el LLM multilingüe que consigue un rendimiento óptimo entre los modelos de código abierto inglés y chino, se lanzó para que ChatGPT estuviera disponible en lugares con restricciones impuestas por OpenAI o los gobiernos locales.
El autor describió la importancia de Phoenix del siguiente modo:
- Phoenix se presentó como el primer modelo ChatGPT de código abierto, multilingüe y democratizado. Esto se consiguió mediante el uso de datos multilingües enriquecidos en las fases de preentrenamiento y perfeccionamiento de la instrucción.
- El equipo llevó a cabo la adaptación de las instrucciones en varios idiomas, con especial atención a las lenguas no latinas. Para entrenar el modelo se utilizaron tanto datos de instrucciones como de conversaciones. Este enfoque permite a Phoenix beneficiarse de ambos, lo que le permite generar respuestas contextualmente relevantes y coherentes en distintos entornos lingüísticos.
- Phoenix es un modelo chino de primera categoría que ha logrado un rendimiento cercano al de ChatGPT. Su versión latina, Chimera, es competitiva en inglés.
- Los autores afirman que Phoenix es el gran modelo lingüístico de código abierto de SOTA para muchos idiomas además del chino y el inglés.
- Phoenix es uno de los primeros en evaluar sistemáticamente grandes LLM, utilizando tanto evaluaciones automáticas como humanas y valorando diversos aspectos de las generaciones lingüísticas.
Phoenix ha demostrado un rendimiento superior al de los LLM de código abierto existentes en chino, incluidos modelos como BELLE y Chinese-LLaMA-Alpaca. En otras lenguas no latinas, como el árabe, el japonés y el coreano, Phoenix supera ampliamente a los modelos existentes. Phoenix no consiguió los resultados SOTA para Vicuna, que es un chatbot de código abierto con 13B parámetros entrenado mediante el ajuste fino de LLaMA en conversaciones compartidas por usuarios.
Esto se debe a que Phoenix tuvo que pagar un impuesto multilingüe al tratar con lenguas no latinas o no cirílicas. El «impuesto multilingüe» se refiere a la degradación del rendimiento que puede sufrir un modelo multilingüe al generar texto en lenguas distintas de su lengua principal. El equipo de democratización consideró que el pago de este impuesto merecía la pena como forma de atender a los grupos más pequeños que hablan lenguas con relativamente pocos recursos. El equipo propuso una solución libre de impuestos Phoenix: Chimera para mitigar el impuesto multilingüe en lenguas latinas y cirílicas. Se trata de sustituir la columna vertebral de Phoenix por LLaMA. En inglés, Chimera impresionó al GPT-4 con un 96,6% de calidad ChatGPT.
Phoenix parece prometedor por su potencial multilingüe y su capacidad para permitir que personas de diversos orígenes lingüísticos utilicen la potencia de los modelos lingüísticos para sus necesidades específicas.
