OpenAI: Os atores de ameaças usam nossa plataforma para serem eficientes, e não para criar novas ferramentas
Um relatório recente do líder no boom da IA generativa aponta que a inteligência artificial está sendo utilizada em fluxos de trabalho já existentes, ao invés de ser empregada para a criação de novos métodos de hacking malicioso. Um tema recorrente desde o surgimento dos grandes modelos de linguagem é a automação e o aprimoramento de técnicas de invasão já conhecidas, e é exatamente isso que o relatório de outubro da OpenAI revela: agências governamentais e o submundo dos cibercriminosos estão preferindo incorporar a IA aos seus processos existentes em vez de reinventar esses métodos.
O relatório destaca que, repetidamente e em diferentes operações, os atores de ameaças incorporaram a IA aos seus fluxos de trabalho pré-existentes, concentrando suas atividades em tarefas familiares, como o desenvolvimento de malware, a criação de infraestruturas de comando e controle, a elaboração de e-mails de spearphishing mais convincentes e o reconhecimento de pessoas, organizações e tecnologias-alvo.
Apesar de a atividade central seguir esse padrão, a pesquisa da equipe de inteligência de ameaças da OpenAI revelou dados intrigantes sobre como diferentes governos e golpistas ao redor do mundo estão tentando aproveitar a tecnologia dos grandes modelos de linguagem em suas operações.
Um dos agrupamentos examinados parecia focar em tópicos de nicho, conhecidos por serem áreas de interesse para agências de inteligência chinesa. Os pesquisadores observaram que essas contas exibiam características compatíveis com operações cibernéticas destinadas a atender às exigências de inteligência do governo da China – utilizando o idioma chinês e direcionando seus esforços para setores estratégicos, como a indústria de semicondutores de Taiwan, a academia norte-americana, centros de pesquisa e organizações associadas a grupos críticos ao governo chinês.
Outra agrupamento, possivelmente ligado à Coreia do Norte, adotava uma abordagem modular, quase como em uma linha de montagem, para extrair insights de segurança ofensiva do ChatGPT. Cada conta dessa rede dedicava-se quase exclusivamente a explorar um caso de uso específico – seja desenvolver extensões do Chrome para publicação na App Store da Apple, configurar VPNs em servidores Windows ou criar extensões para o Finder no macOS – em vez de abranger múltiplos aspectos técnicos. Embora a OpenAI não associe formalmente essas atividades ao governo norte-coreano, o comportamento observado é compatível com o que se conhece sobre os atores de ameaça oriundos da Coreia do Norte.
A empresa também identificou agrupamentos ligados à China que utilizavam intensivamente sua plataforma para gerar conteúdo voltado a operações de influência em redes sociais, promovendo sentimentos favoráveis à China em diversos países. Algumas dessas contas foram vagamente associadas à campanha chinesa conhecida como Spamouflage. Nesses casos, os operadores utilizavam hashtags, imagens ou vídeos previamente disseminados em operações passadas e até recorriam a imagens padrão para definir suas fotos de perfil, o que facilitava a identificação do grupo. Contudo, a ineficácia das postagens foi notável, com poucas interações fora do próprio ambiente controlado pelos operadores.
Um ecossistema crescente de golpes alimentados por IA e o duplo uso da “eficiência”
A OpenAI também enfrenta desafios no combate aos golpistas que utilizam suas tecnologias para automatizar ou aprimorar esquemas fraudulentos na internet. Os métodos variam desde indivíduos que refinam golpes pessoais até operadores de grande escala, possivelmente ligados a grupos do crime organizado. O uso predominante dessas tecnologias inclui desde pesquisas básicas e tradução de e-mails de phishing até a criação de conteúdos estratégicos para campanhas de influência.
No entanto, a pesquisa revela que tanto atores estatais quanto não estatais utilizam a IA não só como um ambiente de desenvolvimento para atividades cibernéticas maliciosas, mas também como ferramenta administrativa para agilizar processos. Por exemplo, um centro de golpes, possivelmente localizado em Mianmar, usava o ChatGPT tanto para gerar conteúdo fraudulento quanto para realizar tarefas diárias, como organizar agendas, redigir comunicados internos, gerenciar alocações de espaços de trabalho e controlar finanças.
Outras operações, como um centro de golpes no Camboja, utilizaram a ferramenta para criar biografias detalhadas de empresas falsas, executivos e funcionários. Em seguida, configuravam o modelo para elaborar mensagens personalizadas em redes sociais, na voz desses personagens, conferindo uma aparência de legitimidade ao golpe. Em alguns casos, as mesmas contas voltavam a consultar o ChatGPT sobre respostas obtidas das vítimas, o que indica um certo grau de sucesso do esquema.
Os pesquisadores constataram ainda uma dinâmica de uso dual: enquanto golpistas utilizam a ferramenta para desenvolver seus crimes, muitos usuários recorrem ao ChatGPT para identificar e evitar golpes online. “Observamos evidências de pessoas usando o ChatGPT para ajudá-las a identificar e evitar golpes na internet milhões de vezes por mês; em cada operação fraudulenta analisada, o modelo auxiliou na identificação do golpe e na indicação de medidas de segurança apropriadas”, afirmam os pesquisadores, apontando que a ferramenta é usada para identificar golpes até três vezes mais frequentemente do que para realizá-los.
Como a OpenAI afirma que seu modelo rejeitou quase todas as solicitações explicitamente maliciosas, muitos dos casos analisados envolvem atividades na “zona cinzenta”, onde os usuários solicitam funcionalidades de uso dual que, por si só, não são ilegais ou contrárias aos termos de serviço. Por exemplo, um processo voltado para aprimorar uma ferramenta de depuração, criptografia ou desenvolvimento de navegadores pode assumir um significado bastante diferente quando reaproveitado para fins maliciosos.
Um exemplo citado no relatório envolve um grupo de cibercriminosos russófonos que tentou utilizar o ChatGPT para desenvolver e aprimorar malwares. Ao ter suas solicitações iniciais rejeitadas, o grupo passou a solicitar códigos básicos que, posteriormente, provavelmente foram combinados em fluxos de trabalho maliciosos. Esses atores também pediram códigos para ofuscação, padrões para crypters e ferramentas de exfiltração – recursos que poderiam igualmente ser úteis para defensores de segurança cibernética – mas que, neste caso, foram divulgados em um canal no Telegram voltado para crimes cibernéticos.
Os autores deixam claro que tais respostas não possuem uma natureza intrinsecamente maliciosa, a não ser que sejam empregadas de forma inadequada por um ator de ameaça fora da plataforma.
