Des chercheurs de Google Deepmind présentent Promptbreeder, un système d’IA capable de s’améliorer en générant récursivement de meilleurs messages-guides.
Le développement d’instructions en langage naturel (prompts), également connu sous le nom d’ingénierie des prompts, est une technique clé pour améliorer les capacités des grands modèles de langage tels que le GPT-4. Cependant, le processus prend du temps, n’est souvent pas intuitif et les résultats ne sont pas toujours reproductibles. Promptbreeder automatise l’ingénierie des messages-guides, en générant de meilleurs messages-guides par générations successives à l’aide d’un algorithme évolutif.
Le système commence par un ensemble initial d’invites qui sont notées en fonction des performances du modèle dans les tâches logiques impliquant ces invites. Les invites ayant obtenu un score élevé sont mutées selon certaines règles spécifiées dans les « invites de mutation » afin de générer de nouvelles variations d’invites, tandis que les invites ayant obtenu un score faible sont éliminées. Ce processus récursif permet à Promptbreeder d’explorer un vaste espace d’invites et de découvrir des invites très efficaces pour différents domaines.
Promptbreeder est également autoréférencé : il développe non seulement de meilleures invites de tâches, mais aussi de meilleures invites de mutation qui contrôlent la manière dont les invites de tâches sont modifiées. Ainsi, le système améliore également son propre processus de recherche et devient plus efficace dans la création d’invites au fil du temps.
Promptbreeder trouve de meilleures invites – et deviendra beaucoup plus important à l’avenir
Les chercheurs ont testé Promptbreeder sur des tâches d’arithmétique, de raisonnement et de classification de propos haineux. Ils ont systématiquement obtenu de meilleurs résultats que les techniques manuelles traditionnelles d’incitation, telles que la « chaîne de pensée ». Les messages-guides développés étaient souvent contre-intuitifs et spécifiques à un domaine, comme le message-guide « SOLUTION » avant une tâche mathématique, qui a surpassé même le message-guide « respirez profondément » récemment découvert.
Image : Fernando et al.
Selon l’équipe, l’architecture autoréférentielle est la clé du succès, car les tests ont montré que la suppression de toute capacité d’auto-amélioration dégrade considérablement les performances.
De futures itérations pourraient permettre à Promptbreeder de développer des stratégies logiques plus complexes et plus générales qui vont au-delà des indices spécifiques à une tâche. Au fur et à mesure que les modèles de langage deviennent plus grands et plus puissants, les avantages potentiels des stratégies rapides augmenteront également, ont-ils déclaré.
« Je pense que l’avenir sera sauvage, car nous verrons des systèmes d’auto-amélioration autoréférentielle de plus en plus ouverts qui continueront à s’adapter à des LLM de plus en plus grands et de plus en plus performants. Le développement d’un tel système est le « Saint-Graal de la recherche en IA » », ajoute-t-il.
