Investigadores de Google Deepmind muestran Promptbreeder, un sistema de IA que puede mejorarse a sí mismo generando recursivamente mejores instrucciones.
El desarrollo de instrucciones en lenguaje natural (prompts), también conocido como ingeniería de prompts, es una técnica clave para mejorar las capacidades de grandes modelos lingüísticos como GPT-4. Sin embargo, el proceso lleva mucho tiempo y a menudo es poco intuitivo. Sin embargo, el proceso lleva mucho tiempo, suele ser poco intuitivo y los resultados no siempre son reproducibles. Promptbreeder automatiza la ingeniería de instrucciones, generando mejores instrucciones en generaciones sucesivas mediante un algoritmo evolutivo.
El sistema parte de un conjunto inicial de instrucciones que se puntúan en función del rendimiento del modelo en tareas lógicas relacionadas con esas instrucciones. Las instrucciones con mayor puntuación se mutan según ciertas reglas especificadas en «Instrucciones de mutación» para generar nuevas variaciones de instrucciones, mientras que las instrucciones con menor puntuación se descartan. Este proceso recursivo permite a Promptbreeder explorar un amplio espacio de mensajes y descubrir mensajes muy eficaces para distintos ámbitos.
Además, Promptbreeder es autorreferente: no sólo desarrolla mejores instrucciones para las tareas, sino también mejores instrucciones de mutación que controlan cómo varían las instrucciones de las tareas. De este modo, el sistema también mejora su propio proceso de búsqueda y, con el tiempo, se vuelve más eficaz en la creación de instrucciones.
Promptbreeder encuentra mejores instrucciones y será mucho más importante en el futuro
Los investigadores probaron Promptbreeder en tareas de aritmética, razonamiento y clasificación de discursos de odio. Sus resultados superaron con creces los de las técnicas manuales tradicionales, como la «cadena de pensamiento». Las instrucciones desarrolladas eran a menudo contraintuitivas y específicas de cada campo, como la de «SOLUCIÓN» antes de una tarea matemática, que superó incluso a la recientemente descubierta de «respira hondo».
Imagen: Fernando et al.
La arquitectura autorreferencial es clave para el éxito, dice el equipo, porque las pruebas han demostrado que eliminar cualquier capacidad de automejora degrada significativamente el rendimiento.
Es posible que futuras iteraciones permitan a Promptbreeder desarrollar estrategias lógicas más complejas y generales que vayan más allá de las pistas específicas de cada tarea. A medida que los modelos lingüísticos sean más grandes y potentes, también aumentarán los beneficios potenciales de las estrategias rápidas, afirman.
«Creo que el futuro será salvaje, ya que veremos sistemas de automejora autorreferenciales cada vez más abiertos que seguirán escalando con LLM cada vez más grandes y capaces. El desarrollo de un sistema así es el ‘santo grial de la investigación en IA'», añade.
