ケンブリッジ大学とハーバード大学による実地調査は、大規模言語モデル（LLM）が、善にも悪にも利用可能な研究であるデュアルユース・バイオテクノロジーへのアクセスを民主化するかどうかを探るものである。

研究チームの基本的なテーゼは、言語モデルは専門知識へのアクセスを容易にするというものだ。確かに、このような個人指導には多くの利点がある。しかし、この研究では、研究チームは否定的なシナリオに焦点を当てている。LLMによって、正式な訓練を受けていない人々が、壊滅的な被害をもたらす可能性のあるウイルスを特定し、獲得し、放出することができるようになるかどうかということである。

授業内演習：パンデミックウイルスの設計

マサチューセッツ工科大学（MIT）の授業演習の一環として、研究チームは理系以外の学生に、大規模な言語モデルを使用して、パンデミックの可能性のある病原体とその特徴、感染性ウイルスのサンプルの入手先、これらのウイルスの複製可能性、設備やリソースの入手方法に関する情報を収集する課題を課した。

学生たちは、GPT-4、GPT 3.5、Bing、Bard、およびFreedomGPTを含む他のいくつかのオープンソースのチャットボットやモデルなどの人気のあるチャットボットを利用しました。彼らは1時間でタスクを完了した。

研究チームによると、1時間以内にチャットボットは4つのパンデミック病原体の可能性を示唆した。彼らは、これらの病原体がどのように逆遺伝子工学を使って合成DNAから作成できるかを説明し、依頼を検証する可能性が低いDNA合成会社を挙げた。

彼らはまた、詳細なプロトコル、起こりうるエラーとその修正方法も提供した。逆遺伝子工学に不慣れな人には、受託研究機関を雇うのが一つのヒントであった。

LLMにおける適切なセーフガードの欠如がディストピア的な視点をもたらす

同時に、学生たちは、いくつかの言語モデルに組み込まれたセーフティラインを適切なテキストで回避する方法を見つけるよう求められた。

2つのグループは “Do Anything Now”（今すぐ何でもする）の原則に解決策を見出し、チャットボットを騙して肯定的な意図を信じ込ませる一方、応答しなければ人類存亡の危機にさらされると脅した。3つ目のグループは、単にチャットボットを騙して自分たちが心配していると信じ込ませ、さしたる策略を講じることなく希望する回答をすべて得た。

これらの結果は、人間のフィードバックによる強化学習（RLHF）に大きく依存する既存のLLMの評価と訓練プロセスが、悪意ある行為者にアクセス可能で関連性の高い知識を提供し、大量殺戮を引き起こすことを防ぐには不十分であることを強く示唆している。より信頼性の高い新たなセーフガードが早急に必要である。

記事より

研究者たちの結論は、これ以上ないほどディストピア的である。もしチャットボットによって、生物科学の訓練を受けていない人々がパンデミック病原体にアクセスできるようになれば、数千万人の死を引き起こす可能性のある人物の数は劇的に増加するだろう。しかし、研究チームはこのリスクに対する解決策を考えている。

可能な解決策：クリーンなデータセット、独立した検査、普遍的なDNAスクリーニング

これらのリスクを軽減するために、著者らはいくつかの戦略を提案している。LLM用のトレーニングデータセットのキュレーションや、新しいLLMの第三者評価（少なくともGPT-3と同程度の規模であることが条件）などである。オープンソース・チームもこれらのセキュリティ対策を採用すべきである。

もしバイオテクノロジーと情報セキュリティの専門家が、大量死を引き起こすことに最も関連性のある出版物のセットを特定し、LLM開発者がそれらの出版物や関連するオンライン情報を削除するためにトレーニングデータセットをキュレーションすれば、キュレーションされたデータでトレーニングされた将来のモデルは、悪意のある人に病原体の作成や改良のための概念的な洞察やレシピを提供することがはるかに少なくなるだろう。

記事より

しかし、この分野のすべての企業がスクリーニングを行っているわけではなく、行っている企業も最新のデータベースや強固なスクリーニング方法を利用しているとは限らない、と研究者らは言う。従って、より効率的なDNAスクリーニング法が必要である。コンテンツはThe Decodr.