Résumé: Des chercheurs ont mis au point une interface cerveau-ordinateur révolutionnaire qui permet à une femme paralysée de communiquer par l’intermédiaire d’un avatar numérique. C’est la première fois que la parole ou les expressions faciales sont synthétisées directement à partir de signaux cérébraux.

Le système est capable de convertir ces signaux en texte à une vitesse impressionnante de près de 80 mots par minute, surpassant ainsi les technologies existantes. L’étude représente un pas important vers le rétablissement d’une communication complète pour les personnes paralysées.

Données importantes :

  • L’ICB mis au point décode les signaux cérébraux en paroles et en expressions faciales synthétisées, ce qui permet aux personnes paralysées de communiquer plus naturellement.
  • Au lieu de reconnaître des mots entiers, le système identifie les phonèmes, les sous-unités de la parole, ce qui améliore la vitesse et la précision.
  • La voix de l’avatar numérique a été personnalisée pour refléter la voix de l’utilisateur avant sa blessure, et les animations faciales ont été contrôlées par un logiciel qui a interprété les signaux cérébraux pour diverses expressions faciales.

Source : UCSF

Des chercheurs de l’Université de Californie à San Francisco (UCSF) et de l’Université de Californie à Berkeley ont mis au point une interface cerveau-ordinateur (BCI) qui a permis à une femme gravement paralysée à la suite d’un accident vasculaire cérébral de parler par l’intermédiaire d’un avatar numérique.

C’est la première fois que la parole et les expressions faciales sont synthétisées à partir de signaux cérébraux. Le système est également capable de décoder ces signaux en texte à une vitesse de près de 80 mots par minute, ce qui représente une amélioration significative par rapport à la technologie disponible dans le commerce.

Edward Chang, MD, président de la chirurgie neurologique à l’UCSF, qui travaille sur la technologie connue sous le nom d’interface cerveau-ordinateur, ou BCI, depuis plus d’une décennie, espère que cette dernière recherche, publiée le 23 août 2023 dans la revue Nature, conduira à un système approuvé par la FDA qui permet de parler à partir de signaux cérébraux dans un avenir proche.

« Notre objectif est de rétablir un mode de communication complet et incarné, qui est vraiment le moyen le plus naturel pour nous de parler aux autres », a déclaré Chang, qui est membre du Weill Neuroscience Institute de l’UCSF et Jeanne Robertson Distinguished Professor in Psychiatry.

« Ces avancées nous rapprochent d’une véritable solution pour les patients

L’équipe de Chang avait déjà démontré qu’il était possible de décoder les signaux cérébraux en texte chez un homme qui avait également subi une attaque du tronc cérébral plusieurs années auparavant. L’étude actuelle est plus ambitieuse : elle permet de décoder les signaux cérébraux dans la richesse de la parole, ainsi que les mouvements qui animent le visage d’une personne au cours d’une conversation.

Chang a implanté un rectangle très fin de 253 électrodes à la surface du cerveau de la femme, dans des zones que son équipe a jugées essentielles pour la parole. Les électrodes ont intercepté les signaux cérébraux qui, sans l’accident vasculaire cérébral, auraient atteint les muscles de la langue, de la mâchoire, du larynx et du visage de la patiente. Un câble connecté à un port sur sa tête reliait les électrodes à une banque d’ordinateurs.

Pendant des semaines, la participante a travaillé avec l’équipe pour entraîner les algorithmes d’intelligence artificielle du système à reconnaître les signaux cérébraux uniques qu’elle émet pour parler. Il s’agissait de répéter différentes phrases d’un vocabulaire conversationnel de 1 024 mots jusqu’à ce que l’ordinateur reconnaisse les schémas d’activité cérébrale associés aux sons.

Au lieu d’entraîner l’IA à reconnaître des mots entiers, les chercheurs ont créé un système qui décode les mots à partir des phonèmes. Il s’agit des sous-ensembles de la parole qui forment les mots parlés de la même manière que les lettres forment les mots écrits. le mot « Hello », par exemple, contient quatre phonèmes : « HH », « AH », « L » et « OW ».

Grâce à cette approche, l’ordinateur n’avait besoin d’apprendre que 39 phonèmes pour déchiffrer n’importe quel mot anglais. Cela a permis d’améliorer la précision du système et de le rendre trois fois plus rapide.

« La précision, la vitesse et le vocabulaire sont essentiels », a déclaré Sean Metzger, qui a développé le décodeur de texte avec Alex Silva, tous deux étudiants diplômés dans le cadre du programme commun de bio-ingénierie de l’UC Berkeley et de l’UCSF. « C’est ce qui donne à l’utilisateur la possibilité, au fil du temps, de communiquer presque aussi rapidement que nous et d’avoir des conversations beaucoup plus naturelles et normales

Pour créer la voix, l’équipe a mis au point un algorithme de synthèse vocale, qu’elle a personnalisé pour qu’il ressemble à sa voix avant la blessure, en utilisant un enregistrement de son discours lors de son mariage.

L’équipe a animé l’avatar à l’aide d’un logiciel qui simule et anime les mouvements musculaires du visage, développé par Speech Graphics, une société qui crée des animations faciales basées sur l’IA.

Les chercheurs ont créé des processus d’apprentissage automatique personnalisés qui ont permis au logiciel de l’entreprise de se connecter aux signaux envoyés par le cerveau de la femme pendant qu’elle essayait de parler et de convertir ces signaux en mouvements du visage de l’avatar, en faisant s’ouvrir et se fermer la mâchoire, saillir et resserrer les lèvres, monter et descendre la langue, ainsi qu’en mouvements faciaux de bonheur, de tristesse et de surprise.

« Nous compensons les connexions entre le cerveau et le conduit vocal qui ont été interrompues par l’accident vasculaire cérébral », explique Kaylo Littlejohn, un étudiant diplômé qui travaille avec Chang et Gopala Anumanchipalli, professeur d’ingénierie électrique et d’informatique à l’université de Berkeley.

« Lorsque le sujet a utilisé pour la première fois ce système pour parler et faire bouger le visage de l’avatar, j’ai su qu’il s’agissait d’un projet qui aurait un impact réel

La prochaine étape importante pour l’équipe est de créer une version sans fil qui ne nécessiterait pas que l’utilisateur soit physiquement connecté à l’ICB.

« Donner aux gens la possibilité de contrôler librement leurs propres ordinateurs et téléphones grâce à cette technologie aurait des effets profonds sur leur indépendance et leurs interactions sociales », a déclaré le coauteur David Moses, PhD, professeur adjoint de chirurgie neurologique.

Auteurs: Les autres auteurs sont Ran Wang, Maximilian Dougherty, Jessie Liu, Delyn Tu-Chan et Karunesh Ganguly de l’UCSF, Peter Wu et Inga Zhuravleva de l’UC Berkeley, et Michael Berger de Speech Graphics.

Financement: cette recherche a été soutenue par les National Institutes of Health (NINDS 5U01DC018671, T32GM007618), la National Science Foundation et des dons philanthropiques. Avec le contenu de neurosciencenews.