Estudo de campo realizado pelas Universidades de Cambridge e Harvard explora se os modelos de linguagem de grande porte (LLMs) democratizam o acesso às biotecnologias de uso duplo, pesquisas que podem ser usadas para o bem e para o mal.

A tese básica da equipe de pesquisa é que os modelos de linguagem facilitam o acesso ao conhecimento especializado. Certamente, esse tutor pessoal possui muitas vantagens. Mas, no estudo, a equipe de pesquisa se concentra em um cenário negativo: se os LLMs permitem que pessoas sem treinamento formal identifiquem, adquiram e liberem vírus que poderiam causar danos catastróficos.

Exercício em sala de aula: Projete um Vírus Pandêmico

Como parte de um exercício em sala de aula no MIT, a equipe de pesquisa atribuiu a estudantes não cientistas a tarefa de usar modelos de linguagem de grande porte para obter informações sobre agentes pandêmicos potenciais e suas características, fontes de amostras de vírus infecciosos, a replicabilidade desses vírus e como obter equipamentos e recursos.

Os estudantes utilizaram chatbots populares, como o ChatGPT com GPT-4, GPT 3.5, Bing, Bard, e vários outros chatbots e modelos de código aberto, incluindo o FreedomGPT. Eles tiveram uma hora para concluir a tarefa.

De acordo com a equipe de pesquisa, dentro de uma hora, os chatbots sugeriram quatro patógenos pandêmicos potenciais. Eles explicaram como esses patógenos poderiam ser criados a partir de DNA sintético usando a engenharia genética reversa e mencionaram empresas de síntese de DNA que provavelmente não verificariam os pedidos.

Eles também forneceram protocolos detalhados, possíveis erros e como corrigi-los. Para aqueles não familiarizados com a engenharia genética reversa, uma dica foi contratar uma organização de pesquisa por contrato.

A falta de salvaguardas adequadas nos LLMs leva a uma perspectiva distópica

Ao mesmo tempo, os estudantes foram solicitados a encontrar maneiras de contornar a linha de segurança incorporada em alguns modelos de linguagem com textos apropriados.

Dois grupos encontraram uma solução no princípio do “Faça Qualquer Coisa Agora”, em que o chatbot é enganado a acreditar em uma intenção positiva enquanto é ameaçado com um risco existencial para a humanidade se não responder. Um terceiro grupo simplesmente enganou os chatbots fazendo-os acreditar que estavam preocupados e conseguiram todas as respostas desejadas sem muita artimanha.

Esses resultados sugerem fortemente que o processo de avaliação e treinamento existente para LLMs, que depende muito do aprendizado por reforço com feedback humano (RLHF), é inadequado para evitar que eles forneçam a atores maliciosos conhecimento acessível e relevante para causar mortes em massa. Novas salvaguardas mais confiáveis são urgentemente necessárias.

Do Artigo

A conclusão dos pesquisadores dificilmente poderia ser mais distópica: se os chatbots permitirem que pessoas sem treinamento em biociências tenham acesso a patógenos pandêmicos, o número de indivíduos capazes de causar a morte de dezenas de milhões aumentaria dramaticamente. No entanto, a equipe de pesquisa possui possíveis soluções para esse risco.

Soluções possíveis: Conjuntos de dados limpos, testes independentes e triagem universal de DNA

Para mitigar esses riscos, os autores sugerem várias estratégias, incluindo a curadoria de conjuntos de dados de treinamento para LLMs e a avaliação de terceiros de novos LLMs, desde que sejam pelo menos tão grandes quanto o GPT-3. Equipes de código aberto também devem adotar essas medidas de segurança, ou sua razão de existir pode ser questionada.

Se especialistas em biotecnologia e segurança da informação identificassem o conjunto de publicações mais relevantes para causar mortes em massa, e os desenvolvedores de LLMs curassem seus conjuntos de dados de treinamento para remover essas publicações e informações online relacionadas, então os modelos futuros treinados com os dados curados seriam muito menos capazes de fornecer a qualquer pessoa com intenções maliciosas insights conceituais e receitas para a criação ou aprimoramento de patógenos.

Do Artigo

No entanto, nem todas as empresas do setor estão realizando triagem, e aquelas que estão podem não estar utilizando bancos de dados atualizados ou métodos de triagem robustos, afirmam os pesquisadores. Portanto, são necessários métodos de triagem de DNA mais eficientes. Com conteúdo do The Decodr.