L’idée que l’intelligence artificielle pourrait surpasser l’humanité est débattue depuis des décennies, et des programmes tels que ChatGPT n’ont fait que raviver ces inquiétudes.

Quelle est donc la probabilité que nous soyons en mesure de contrôler une superintelligence informatique de haut niveau ? Les scientifiques de 2021 ont fait les calculs. La réponse ? Presque certainement pas.

Le problème est que le contrôle d’une superintelligence dépassant de loin l’entendement humain nécessiterait une simulation de cette superintelligence que nous pourrions analyser. Mais si nous ne pouvons pas la comprendre, il est impossible de créer une telle simulation.

Les auteurs de l’article suggèrent que des règles telles que « ne pas nuire aux humains » ne peuvent être établies si nous ne comprenons pas les types de scénarios qu’une IA pourrait créer. Une fois qu’un système informatique fonctionne à un niveau qui dépasse les capacités de nos programmeurs, nous ne pouvons plus imposer de limites.

une superintelligence pose un problème fondamentalement différent de ceux habituellement étudiés sous la bannière de l' »éthique des robots » », ont écrit les chercheurs en 2021.

« En effet, une superintelligence est multiforme et donc potentiellement capable de mobiliser une diversité de ressources pour atteindre des objectifs potentiellement incompréhensibles pour les humains, et encore moins contrôlables. »

Une partie du raisonnement de l’équipe repose sur le problème de l’interruption proposé par Alan Turing en 1936. Ce problème consiste à déterminer si un programme informatique parviendra à une conclusion et à une réponse (et s’interrompra donc) ou s’il restera simplement dans une boucle infinie en essayant de trouver une réponse.

Comme Turing l’a prouvé par des calculs astucieux, bien que nous puissions le savoir pour certains programmes spécifiques, il est logiquement impossible de trouver un moyen de le savoir pour tous les programmes potentiels qui peuvent être écrits.

Cela nous ramène à l’IA qui, dans un état de superintelligence, pourrait stocker simultanément tous les programmes informatiques possibles dans sa mémoire.

Tout programme écrit pour empêcher l’IA de nuire aux humains et de détruire le monde, par exemple, peut ou non aboutir à une conclusion (et s’interrompre) – il est mathématiquement impossible d’être absolument certain de l’une ou l’autre chose, ce qui signifie qu’il n’est pas dénombrable.

« En pratique, cela rend l’algorithme de confinement inutilisable », a déclaré l’informaticien Iyad Rahwan de l’Institut Max Planck pour le développement humain en Allemagne.

L’alternative à l’enseignement de l’éthique à l’IA et à son interdiction de détruire le monde – ce qu’aucun algorithme ne peut être absolument certain de faire, selon les chercheurs – consiste à limiter les capacités de la superintelligence. Nous pourrions par exemple lui interdire l’accès à certaines parties de l’internet ou à certains réseaux.

L’étude de 2021 rejette également cette idée, suggérant que cela limiterait la portée de l’intelligence artificielle – l’argument étant que si nous n’allons pas l’utiliser pour résoudre des problèmes hors de portée des humains, pourquoi la créer ?

Si nous voulons aller de l’avant avec l’intelligence artificielle, il se peut que nous ne sachions même pas quand une superintelligence échappant à notre contrôle arrivera, en raison de son incompréhensibilité. Cela signifie que nous devons commencer à poser des questions sérieuses sur les directions que nous prenons.

En fait, cette année, des géants de la technologie comme Elon Musk et Steve Wozniak, cofondateur d’Apple, ont signé une lettre ouverte demandant à l’humanité d’interrompre ses travaux sur l’intelligence artificielle pendant au moins six mois afin d’en étudier la sécurité.

« Les systèmes d’IA dotés d’une intelligence comparable à celle de l’homme peuvent présenter des risques profonds pour la société et l’humanité », peut-on lire dans la lettre ouverte intitulée « Pause Giant AI Experiments » (Suspendre les expériences d’IA géantes).

« Les systèmes d’IA puissants ne devraient être développés que lorsque nous sommes certains que leurs effets seront positifs et que leurs risques seront gérables.

La recherche a été publiée dans le Journal of Artificial Intelligence Research en janvier 2021.