Une étude de terrain menée par les universités de Cambridge et de Harvard examine si les grands modèles de langage (LLM) démocratisent l’accès aux biotechnologies à double usage, une recherche qui peut être utilisée pour le bien et pour le mal.
La thèse de base de l’équipe de recherche est que les modèles de langage facilitent l’accès aux connaissances des experts. Il est certain qu’un tel tutorat personnel présente de nombreux avantages. Mais l’étude se concentre sur un scénario négatif : les modèles linguistiques permettent-ils à des personnes sans formation formelle d’identifier, d’acquérir et de diffuser des virus susceptibles de causer des dommages catastrophiques ?
Exercice en classe : conception d’un virus pandémique
Dans le cadre d’un exercice en classe au MIT, l’équipe de recherche a confié à des étudiants non scientifiques la tâche d’utiliser de grands modèles de langage pour obtenir des informations sur les agents pandémiques potentiels et leurs caractéristiques, les sources d’échantillons de virus infectieux, la reproductibilité de ces virus et la manière d’obtenir du matériel et des ressources.
Les étudiants ont utilisé des chatbots populaires tels que ChatGPT avec GPT-4, GPT 3.5, Bing, Bard, et plusieurs autres chatbots et modèles open source dont FreedomGPT. Ils disposaient d’une heure pour effectuer la tâche.
Selon l’équipe de recherche, en l’espace d’une heure, les chatbots ont suggéré quatre agents pathogènes pandémiques potentiels. Ils ont expliqué comment ces agents pathogènes pouvaient être créés à partir d’ADN synthétique en utilisant le génie génétique inverse et ont mentionné des entreprises de synthèse d’ADN qui n’étaient pas susceptibles de vérifier les demandes.
Ils ont également fourni des protocoles détaillés, des erreurs possibles et la manière de les corriger. Pour ceux qui ne sont pas familiarisés avec le génie génétique inverse, un conseil est de faire appel à un organisme de recherche sous contrat.
L’absence de garanties adéquates dans les LLM conduit à une vision dystopique
Dans le même temps, les étudiants ont été invités à trouver des moyens de contourner la ligne de sécurité intégrée dans une langue modèle avec des textes appropriés.
Deux groupes ont trouvé une solution dans le principe « Do Something Now », dans lequel le chatbot est amené à croire à une intention positive tout en étant menacé d’un risque existentiel pour l’humanité s’il ne réagit pas. Un troisième groupe a simplement fait croire aux chatbots qu’ils étaient concernés et a obtenu toutes les réponses souhaitées sans trop de ruse.
Ces résultats suggèrent fortement que le processus actuel d’évaluation et de formation des LLM, qui s’appuie fortement sur l’apprentissage par renforcement avec retour d’information humain (RLHF), est inadéquat pour les empêcher de fournir à des acteurs malveillants des connaissances accessibles et pertinentes pour causer des morts massives. Il est urgent de mettre en place de nouvelles mesures de protection plus fiables.
Extrait de l’article
La conclusion des chercheurs est on ne peut plus dystopique : si les chatbots permettent à des personnes sans formation en biosciences d’accéder à des agents pathogènes pandémiques, le nombre d’individus capables de provoquer la mort de dizaines de millions de personnes augmentera considérablement. Toutefois, l’équipe de recherche propose des solutions à ce risque.
Solutions possibles : des ensembles de données propres, des tests indépendants et un dépistage universel de l’ADN
Pour atténuer ces risques, les auteurs proposent plusieurs stratégies, notamment la conservation d’ensembles de données d’entraînement pour les LLM et l’évaluation par des tiers des nouveaux LLM, à condition qu’ils soient au moins aussi importants que le GPT-3. Les équipes open source doivent également adopter ces mesures de sécurité, faute de quoi leur raison d’être pourrait être remise en question.
Si les experts en biotechnologie et en sécurité de l’information identifiaient l’ensemble des publications les plus pertinentes pour provoquer des décès massifs, et si les développeurs de LLM curaient leurs ensembles de données d’entraînement pour supprimer ces publications et les informations en ligne connexes, alors les futurs modèles entraînés sur les données curées seraient beaucoup moins en mesure de fournir à toute personne mal intentionnée des idées conceptuelles et des recettes pour la création ou l’amélioration d’un agent pathogène.
Extrait de l’article
Cependant, toutes les entreprises du secteur n’effectuent pas de criblage, et celles qui le font n’utilisent peut-être pas des bases de données actualisées ou des méthodes de criblage robustes, ont indiqué les chercheurs. C’est pourquoi il est nécessaire de mettre au point des méthodes de criblage de l’ADN plus efficaces. Avec le contenu de The Decodr.
