L’intelligence artificielle générative (IA) devenant de plus en plus populaire de nos jours, il n’est peut-être pas surprenant que cette technologie ait été détournée par des acteurs malveillants à leur profit, ouvrant ainsi la voie à une accélération de la cybercriminalité.
Selon les conclusions de SlashNext, un nouvel outil cybercriminel d’IA générative appelé WormGPT a été présenté sur des forums clandestins comme un moyen pour les adversaires de lancer des attaques sophistiquées d’hameçonnage et de compromission des courriels d’entreprise (BEC).
« Cet outil se présente comme une alternative clandestine aux modèles GPT, conçue spécifiquement pour les activités malveillantes », a déclaré le chercheur en sécurité Daniel Kelley. « Les cybercriminels peuvent utiliser cette technologie pour automatiser la création de faux courriels très convaincants, personnalisés pour le destinataire, augmentant ainsi les chances de réussite de l’attaque
L’auteur du logiciel le décrit comme le « plus grand ennemi du célèbre ChatGPT » qui « permet de réaliser toutes sortes d’activités illégales ».
Entre les mains d’un acteur malveillant, des outils comme WormGPT peuvent constituer une arme puissante, d’autant plus qu’OpenAI ChatGPT et Google Bard prennent des mesures pour lutter contre l’utilisation abusive de modèles de langage (LLM) pour créer des courriels d’hameçonnage convaincants et générer des codes malveillants.
« Les mécanismes anti-abus de Bard dans le domaine de la cybersécurité sont nettement inférieurs à ceux de ChatGPT », a déclaré Check Point dans un rapport publié cette semaine. « Par conséquent, il est beaucoup plus facile de générer du contenu malveillant en utilisant les capacités de Bard
En février de cette année, la société israélienne de cybersécurité a rendu publique la manière dont les cybercriminels contournent les restrictions de ChatGPT en exploitant son API, sans parler du commerce de comptes premium volés et de la vente de logiciels de force brute pour pirater les comptes ChatGPT à l’aide d’énormes listes d’adresses de courrier électronique et de mots de passe.
Le fait que WormGPT opère sans aucune limite éthique souligne la menace posée par l’IA générative, qui permet même à des cybercriminels novices de mener des attaques rapidement et à grande échelle, même sans posséder l’expertise technique nécessaire.
Pour aggraver les choses, les acteurs de la menace font la promotion de « jailbreaks » pour ChatGPT, en créant des invites et des entrées spécialisées conçues pour manipuler l’outil et générer des résultats qui pourraient impliquer la divulgation d’informations sensibles, la production de contenu inapproprié et l’exécution d’un code nuisible.
« L’IA générative peut créer des courriels avec une grammaire impeccable, les faisant paraître légitimes et réduisant la probabilité qu’ils soient identifiés comme suspects », a déclaré M. Kelley.
« L’utilisation de l’IA générative démocratise l’exécution d’attaques sophistiquées de compromission de courriels d’entreprise. Même les attaquants ayant des compétences limitées peuvent utiliser cette technologie, ce qui en fait un outil accessible à un plus grand nombre de cybercriminels »
Cette révélation intervient alors que des chercheurs de Mithril Security ont modifié « chirurgicalement » un modèle d’IA open-source connu sous le nom de GPT-J-6B pour diffuser de la désinformation et l’ont téléchargé dans un dépôt public sous le nom de Hugging Face, qui peut être intégré dans d’autres applications, ce qui entraîne ce que l’on appelle l'empoisonnement de la chaîne d’approvisionnement du modèle de langage.
Le succès de cette technique, appelée PoisonGPT, repose sur la condition préalable que le modèle lobotomisé soit téléchargé en utilisant un nom qui usurpe l’identité d’une entreprise connue, en l’occurrence une version typosquattée d’EleutherAI, l’entreprise à l’origine de GPT-J.
Avec des informations de The Hacker News.
