最近の実験で、研究者たちは大規模な言語モデルを使って脳の活動を言葉に変換した。
あなたの頭の中に渦巻いている言葉を思い浮かべてみてほしい。夕食の席であなたが賢明にも内緒にしていた悪い冗談や、親友の新しいパートナーに対する声なき印象などだ。それを誰かに聞かれていると想像してみよう。
月曜日、テキサス大学オースティン校の科学者たちが、この方向に新たな一歩を踏み出した。ネイチャー・ニューロサイエンス』誌に掲載された研究の中で、研究者たちは、脳の異なる領域への血流を測定するMRIスキャンを分析することで、人間の私的な思考を翻訳できるAIについて説明した。
研究者たちはすでに、話す能力を失った人が話そうとする言葉を捉えたり、半身不随の人が書くことだけを考えながら文字を書くことを可能にする言語解読法を開発している。しかし、この新しい言語デコーダーは、インプラントに頼らない最初のもののひとつである。また、被験者に無声映画を見せたところ、スクリーンで起こっていることを比較的正確に描写することができた。
「これは単なる言語刺激ではありません。これは単なる言語刺激ではないのです」と、研究を率いた同大学の神経科学者アレクサンダー・フートは言う。これが可能であるという事実は、非常にエキサイティングなことなのです」。
この研究では、3人の参加者を対象に、数日間にわたって16時間、フート博士の研究室に通い、『The Moth』や他の物語ポッドキャストを聴かせた。聴いている間、fMRIスキャナーで脳の一部の血中酸素濃度を記録した。その後、研究者たちは大規模言語モデルを用いて、脳活動のパターンと参加者が聞いた単語やフレーズを照合した。
OpenAIのGPT-4やGoogleのBardのような大規模な言語モデルは、フレーズや文の次の単語を予測するために、大量の文章で訓練される。その過程で、モデルは単語が互いにどのように関連しているかを示すマップを作成する。数年前、フートはこれらのマップの特定の部分、いわゆる文脈埋め込み、つまり文の意味的特徴（意味）をとらえることで、言語に反応して脳がどのように反応するかを予測できることに気づいた。
基本的な意味で、脳活動は一種の暗号化された信号であり、言語モデルはそれを解読する方法を提供する」と、この研究には参加していない大阪大学の神経科学者、西本真二氏は言う。
フート博士と彼の同僚たちは、このプロセスを効果的に逆転させ、別のAIを使って参加者のMRI画像を単語や文章に翻訳した。研究者たちは、被験者に新しい録音を聴かせ、翻訳が実際の書き起こしにどれだけ近いかを見ることによって、デコーダをテストした。
デコードされた文章では、ほとんどすべての単語がずれていたが、文章の意味は規則的に保たれていた。要するに、デコーダーは言い換えをしていたのである。
原文：”私はエアマットレスから起き上がり、寝室の窓のガラスに顔を押し当てた。”私を振り返っている目を期待していたが、その代わり暗闇しか見つからなかった。
デコードされた脳活動：”私はただ窓まで歩き続け、ガラスを開け、つま先立ちで外を見たが何も見えず、また上を見上げたが何も見えなかった”
また、機能的磁気共鳴画像法では、参加者に黙々と物語を語ることを想像してもらった。ここでも、デコーディング・モデルは、発話されていないバージョンのエッセンスを捉えていた。
参加者のバージョン：”妻の気が変わって戻ってくるというメッセージを探す”
デコーディングされたバージョン：”何らかの理由で彼女に会うために、彼女が私に会いたいと言いに来ると思った”
最後に、被験者はfMRIスキャンを受けながら、短い無声アニメーション映画を見た。被験者の脳活動を分析することで、言語モデルは、被験者が見ていたものの大まかなあらすじ（おそらく、彼らが見ていたものについての内的説明）を解読することができた。
この結果は、AIデコーダーが言葉だけでなく意味も捉えていたことを示唆している。「西本氏は、「言語知覚は外部主導のプロセスであるのに対し、想像力は能動的な内部プロセスである。「そして著者たちは、脳がこれらのプロセスで共通の表現を用いていることを示した。
マサチューセッツ工科大学の神経科学者で、この研究には関与していないグレタ・タクテは、これは「ハイレベルな問題」だと述べた。
「脳の意味を解読できるのだろうか？「ある意味で、この研究結果は、そう、私たちはできることを示しているのです」。
この言語解読法には限界がある、とフートたちは指摘した。一方では、fMRIスキャナーは大きくて高価である。さらに、モデルのトレーニングは長く退屈なプロセスであり、効果的であるためには個人に対して行わなければならない。研究者たちは、ある人物に訓練したデコーダーを使って別の人物の脳活動を読み取ろうとしたが、それは失敗した。
参加者はまた、他のことを考えている間にデコーダーを破棄することで、自分の内部モノローグを守ることができた。AIは私たちの心を読むことができるかもしれないが、今のところ、私たちの許可を得て、一人ずつ読まなければならないだろう。ニューヨーク・タイムズ紙からのコンテンツによるニュース。
