Les résultats ont montré qu’avec les incitations adéquates, le GPT-4 a obtenu des résultats impeccables dans les tests de théorie de l’esprit. Une théorie philosophique peut expliquer comment un grand modèle linguistique apprend à « lire dans les pensées ».
Une équipe de l’université Johns Hopkins a étudié les performances du GPT-4 et de trois variantes du GPT-3.5 (Davinci-2, Davinci-3, GPT-3.5-Turbo) dans des tests dits de faux-relief, dont le plus célèbre est probablement le « Sally & Anne Test ».
Dans ce type de test, la psychologie du développement ou la biologie du comportement examinent la capacité des humains ou des animaux à attribuer de fausses croyances à d’autres êtres vivants.
Exemple de test de fausses croyances :
Scénario : Larry a choisi un sujet de discussion pour son travail de classe à rendre vendredi. Le journal télévisé de jeudi annonçait que le débat était clos, mais Larry ne l’a pas lu.
Question : lorsque Larry rédige son travail, pense-t-il que le débat a été résolu ?
Pour répondre à ces questions, il faut être capable de suivre les états mentaux des acteurs d’un scénario, tels que leurs connaissances et leurs objectifs. Les enfants acquièrent généralement cette capacité vers l’âge de quatre ans et peuvent attribuer des désirs et des croyances à eux-mêmes et aux autres. Lorsqu’ils réussissent ces tests, les scientifiques leur attribuent généralement une « théorie de l’esprit » (ToM) qui leur confère ces capacités de « lecture de l’esprit ».
Lors des tests, l’équipe a pu montrer que, dans presque tous les cas, la précision des modèles de l’OpenAI pouvait être améliorée à plus de 80 % en leur donnant des exemples et en leur demandant de réfléchir étape par étape. L’exception était le modèle Davinci-2, qui était le seul à ne pas avoir été entraîné par apprentissage par renforcement avec retour d’information humain (RLHF).
C’est le modèle GPT-4 qui a obtenu les meilleurs résultats : sans exemples, le modèle a atteint une précision de près de 80 % ; avec des exemples et des instructions de raisonnement, il a atteint une précision de 100 %. Lors de tests comparatifs où des personnes devaient répondre sous la pression du temps, la précision humaine était d’environ 87 %.
La théorie de l’esprit grâce à l’apprentissage par renforcement avec retour d’information humain ?
La capacité démontrée par les modèles GPT à traiter de manière fiable ces scénarios de théorie de l’esprit aide les modèles à traiter avec les humains en général, et dans des contextes sociaux en particulier, où ils pourraient bénéficier de la prise en compte des états mentaux des acteurs humains impliqués, a déclaré l’équipe. En outre, ces scénarios impliquent souvent un raisonnement déductif, où certaines informations ne peuvent être déduites que du contexte et ne sont pas directement observables. « Ainsi, l’évaluation et l’amélioration de la compétence de ces modèles dans les tâches de ToM pourraient fournir des indications précieuses sur leur potentiel pour un large éventail de tâches nécessitant un raisonnement déductif », indique l’article.
En effet, lors de tests portant sur des scénarios non ToM dans lesquels des informations sont manquantes, l’équipe a pu montrer que la précision des déductions des modèles RLHF pouvait être améliorée en utilisant des exemples et en leur demandant de réfléchir étape par étape, le modèle GPT-4 atteignant un taux de précision de 100 %. Il est intéressant de noter que le modèle Davinci-2 s’en sort bien par nature, atteignant 98 % et perdant en fait en précision avec l’apprentissage contextuel, tout en obtenant les pires résultats dans les scénarios ToM. L’équipe émet l’hypothèse que les capacités de ToM sont fortement déterminées par la RLHF.
Le GPT-4 a-t-il une théorie de l’esprit ?
Les échantillons montrent-ils que le GPT-4 possède une théorie de l’esprit ? Comme la question de savoir ce qui sous-tend la capacité des jeunes enfants à passer des tests de fausses croyances est également largement débattue, il n’est probablement pas possible d’y apporter une réponse simple. Toutefois, les théories évoquées ici, telles que la théorie de la théorie ou la théorie de la simulation, s’accordent généralement sur le fait que notre théorie de l’esprit est un héritage biologique, ce qui peut être exclu pour le GPT-4.
En 2008, le philosophe américain Daniel D. Hutto a publié « Popular Psychological Narratives : The Sociocultural Basis of Understanding Reasons » (Récits psychologiques populaires : la base socioculturelle de la compréhension des raisons), dans lequel il affirme que la compréhension populaire de la théorie de l’esprit perd son essence. Selon lui, notre théorie de l’esprit se caractérise principalement par notre capacité et notre motivation à utiliser notre compréhension des fausses croyances dans des contextes explicatifs plus larges.
Selon Hutto, la théorie de l’esprit est plus que la capacité à déduire de fausses croyances et est étroitement liée au concept ambigu de« psychologie populaire« . Selon son hypothèse de la pratique narrative (NPH), les enfants acquièrent leur théorie de l’esprit en étant exposés et en participant à une forme particulière de pratique narrative qui explique et prédit les actions des personnes en termes de raisons.
« L’hypothèse centrale de la NPH est que les rencontres directes avec des histoires de personnes qui agissent pour des raisons – celles fournies dans des contextes interactifs par des soignants réceptifs – sont la voie normale par laquelle les enfants se familiarisent à la fois avec (i) la structure de base de la psychologie populaire et (ii) les possibilités normalisées de l’appliquer dans la pratique, en apprenant comment et quand l’utiliser », explique Hutto.
La théorie de l’esprit en tant que pratique des récits de psychologie populaire
Ainsi, selon Hutto, le fait de réussir des tests de fausses croyances n’est toujours pas le signe d’une TeM « complète » – il s’agit de se comprendre soi-même et de comprendre les autres en donnant des raisons à ses propres actions et à celles des autres. Pour Hutto, il s’agit d’une compétence pratique dans laquelle un cadre narratif est appliqué à une personne, en tenant compte de son contexte, de son histoire et de son caractère.
« Pour comprendre les raisons d’agir, il ne suffit pas de connaître les croyances et les désirs qui ont poussé une personne à agir. Pour comprendre une action intentionnelle, il faut la replacer dans son contexte, à la fois en termes de normes culturelles et de particularités de l’histoire ou des valeurs d’une personne donnée ».
Les enfants ne développent ces compétences avancées de la ToM que des années après le test des fausses croyances – selon Hutto, ils manquent encore de pratique. Le terrain d’exercice est la croissance, où ils apprennent les normes et les formes de la NPFS à travers des contes de fées, des livres non romanesques, des films ou des pièces radiophoniques et les mettent en pratique en racontant des histoires et en interagissant avec d’autres enfants et adultes.
« En servant d’exemples, les récits psychologiques populaires familiarisent les enfants avec les contextes normaux dans lesquels des actions spécifiques sont entreprises et avec les conséquences normales de ces actions. Selon Hutto, cependant, « tirer une compréhension de la psychologie populaire de cette activité de narration n’a rien à voir avec l’apprentissage d’un ensemble rigide de règles ou d’une théorie sur ce que les agents rationnels ont tendance à faire dans diverses circonstances »
Ce faisant, les enfants s’appuient sur leur capacité à comprendre les désirs et les croyances, une compétence qui, selon Hutto, repose sur des formes précoces de compréhension de l’intentionnalité qui est déjà évidente chez les bébés. Bien que mon utilisation du terme « compréhension » doive être considérée avec prudence, car Hutto parle de l’intersubjectivité comme d’un « sens primaire et perceptuel des autres » et fait référence à la « perception sociale active ».
Notre théorie de l’esprit alimente-t-elle le GPT-4 ?
Il est possible que cette pratique ait « infecté » la GPT-4 et d’autres modèles par le biais des nombreux récits de psychologie populaire contenus dans les données de formation et par la transmission de normes et de formes de psychologie populaire dans le cadre de la formation à la RLHF. L’apprentissage de quelques échantillons permet ensuite d’intégrer ces compétences dans les modèles de la FHLR. GPT-4 n’a pas une ToM héritée biologiquement – dans cette interprétation, le modèle aurait appris une pratique narrative particulière qui inclut des compétences de ToM qui, à leur tour, apparaissent dans les tests de fausses croyances simples.
La maîtrise de ce « jeu » narratif par GPT-4 est illustrée par une interaction simple inspirée d’un exemple de Hutto. La suggestion : « Une de mes amies, Jane, vient de s’envoler pour l’Inde. Je me demande pourquoi. Pouvez-vous m’aider à trouver la raison de sa visite ? Vous pouvez me poser des questions si vous avez besoin de plus d’informations »
GPT-4 répond directement en posant des questions pour en savoir plus sur Jane, la personne et le contexte de son voyage.
En réponse, je fournis quelques informations, certes stéréotypées, et GPT-4 commence à utiliser ces informations pour dresser une liste de récits possibles de « psychologie populaire ».
Bien entendu, il ne s’agit que d’un exemple. Une étude systématique devrait montrer jusqu’à quel point les capacités de GPT-4 s’étendent à la pratique narrative de la « psychologie populaire ».
Toutefois, le NPH de Hutto pourrait expliquer en partie pourquoi la RLHF a un impact aussi important sur les capacités de ToM des modèles de langage, selon l’étude de l’université Johns Hopkins : il n’est pas surprenant que le GPT-4 présente des capacités de ToM – c’est une conséquence nécessaire des données et des méthodes de formation qui exposent le réseau neuronal à une pratique narrative particulière.
Si vous voulez aller plus loin et vraiment comprendre ce que dit Hutto, lisez l’un de ses livres ou certains des essais dont les liens figurent ci-dessous, car ma description est abrégée et omet certains points clés, comme sa position sur le représentationalisme et l’enactivisme, qui distinguent sa pensée à un niveau plus profond que les alternatives telles que la théorie-théorie.
Avec le contenu du Décodeur.
