Boîte de Pandore : explorer la menace potentielle des modèles de grande taille sans restriction pour l'industrie du chiffrement

Avec le développement rapide des technologies d'intelligence artificielle, des séries GPT à Gemini, en passant par divers modèles open source, l'IA avancée transforme profondément notre manière de travailler et de vivre. Cependant, avec les progrès technologiques, un problème préoccupant émerge progressivement - l'apparition de modèles de langage de grande taille sans restriction ou malveillants et leurs risques potentiels.

Les LLM illimités désignent ceux qui ont été spécialement conçus, modifiés ou "jailbreakés" pour contourner les mécanismes de sécurité intégrés et les restrictions éthiques des modèles grand public. Les développeurs de LLM grand public investissent généralement d'importants ressources pour empêcher que leurs modèles soient utilisés pour générer des discours de haine, des informations fausses, du code malveillant ou fournir des instructions pour des activités illégales. Cependant, ces dernières années, certaines personnes ou organisations, pour diverses raisons, ont commencé à chercher ou à développer elles-mêmes des modèles non restreints. Cet article passera en revue des outils typiques de LLM illimités, analysera leurs potentiels abus dans le secteur du chiffrement et discutera des défis de sécurité associés et des stratégies de réponse.

Les menaces potentielles des LLM sans restriction

Les tâches qui nécessitaient autrefois des compétences techniques spécialisées, comme écrire du code malveillant, créer des e-mails de phishing ou planifier des escroqueries, peuvent désormais être facilement réalisées par des personnes ordinaires sans expérience en programmation, grâce à l'assistance des LLM sans restriction. Les attaquants n'ont qu'à obtenir les poids et le code source des modèles open source, puis à affiner sur des ensembles de données contenant du contenu malveillant, des discours biaisés ou des instructions illégales pour créer des outils d'attaque personnalisés.

Ce modèle présente de multiples risques : les attaquants peuvent "modifier" le modèle pour cibler des objectifs spécifiques et générer un contenu plus trompeur, contournant ainsi la vérification du contenu et les restrictions de sécurité des LLM conventionnels ; le modèle peut également être utilisé pour générer rapidement des variantes de code de sites de phishing ou pour adapter des escroqueries à différentes plateformes sociales ; par ailleurs, l'accessibilité et la modifiabilité des modèles open source favorisent la formation et l'expansion d'un écosystème AI souterrain, créant un terreau fertile pour les transactions et le développement illégaux. Voici quelques exemples typiques de LLM sans restriction et leurs menaces potentielles :

WormGPT : version noire de GPT

WormGPT est un LLM malveillant vendu ouvertement sur des forums souterrains, dont les développeurs affirment clairement qu'il n'a aucune restriction éthique. Il est basé sur des modèles open source tels que GPT-J 6B et a été entraîné sur une grande quantité de données liées aux logiciels malveillants. Les utilisateurs doivent payer un minimum de 189 dollars pour obtenir un mois d'accès. L'utilisation la plus notoire de WormGPT est de générer des e-mails commerciaux d'intrusion très réalistes et convaincants, ainsi que des e-mails de phishing pour attaquer (BEC). Ses abus typiques dans le scénario de chiffrement incluent :

• Génération de courriels/messages de phishing : imiter les échanges de chiffrement, les portefeuilles ou les projets connus pour envoyer aux utilisateurs des demandes de "vérification de compte", les incitant à cliquer sur des liens malveillants ou à divulguer des clés privées/mnemonic.
• Écrire du code malveillant : Aider les attaquants ayant un faible niveau technique à écrire du code malveillant pour voler des fichiers de portefeuille, surveiller le presse-papiers, enregistrer les frappes, etc.
• Automatisation de la fraude : réponses automatiques aux victimes potentielles, les incitant à participer à de fausses distributions de jetons ou projets d'investissement.

DarkBERT : une épée à double tranchant pour le contenu du dark web

DarkBERT est un modèle de langage développé en collaboration entre des chercheurs de l'Institut coréen des sciences et technologies (KAIST) et S2W Inc., spécifiquement pré-entraîné sur des données du dark web (comme des forums, des marchés noirs, des données divulguées). Son objectif est d'aider les chercheurs en cybersécurité et les agences d'application de la loi à mieux comprendre l'écosystème du dark web, à traquer les activités illégales, à identifier les menaces potentielles et à obtenir des renseignements sur les menaces.

Bien que la conception de DarkBERT soit initialement positive, les données sensibles qu'il détient sur le dark web, les méthodes d'attaque, les stratégies de transaction illégales, etc., si elles sont obtenues par des acteurs malveillants ou si une technologie similaire est utilisée pour entraîner un modèle de grande taille sans restrictions, les conséquences pourraient être désastreuses. Ses potentielles abus dans des scénarios de chiffrement incluent :

• Mise en œuvre de fraudes ciblées : collecte d'informations sur les utilisateurs de chiffrement et les équipes de projet, utilisée pour des fraudes sociales.
• Imiter les méthodes criminelles : reproduire des stratégies de vol et de blanchiment d'argent matures trouvées sur le dark web.

FraudGPT : le couteau suisse de la fraude en ligne

FraudGPT se présente comme une version améliorée de WormGPT, avec des fonctionnalités plus complètes, principalement vendue sur le dark web et les forums de hackers, avec un abonnement mensuel allant de 200 à 1 700 dollars. Ses abus typiques dans le scénario de chiffrement incluent :

• Projets de chiffrement falsifiés : création de livres blancs, sites web, feuilles de route et contenus marketing trompeurs pour mettre en œuvre de fausses ICO/IDO.
• Génération en masse de pages de phishing : créez rapidement des pages d'identification imitant les célèbres échanges de chiffrement ou les interfaces de connexion de portefeuille.
• Activités de trolls sur les réseaux sociaux : création massive de faux commentaires et de promotions, soutenant des tokens frauduleux ou discréditant des projets concurrents.
• Attaque d'ingénierie sociale : Ce chatbot peut imiter la conversation humaine, établir une confiance avec des utilisateurs non informés, les incitant à divulguer involontairement des informations sensibles ou à exécuter des opérations nuisibles.

GhostGPT : un assistant IA sans contraintes morales

GhostGPT est un chatbot AI clairement positionné comme n'ayant aucune limite éthique, et ses abus typiques dans le cadre du chiffrement incluent :

• Attaque de phishing avancée : génération d'e-mails de phishing très réalistes, se faisant passer pour des demandes de vérification KYC, des alertes de sécurité ou des notifications de gel de compte émises par des échanges majeurs.
• Génération de code malveillant pour les contrats intelligents : sans aucune connaissance en programmation, les attaquants peuvent utiliser GhostGPT pour générer rapidement des contrats intelligents contenant des portes dérobées cachées ou des logiques frauduleuses, utilisés pour des escroqueries de type Rug Pull ou pour attaquer des protocoles DeFi.
• Outil de vol de cryptomonnaie polymorphe : génère des logiciels malveillants ayant la capacité de se transformer en continu, utilisés pour voler des fichiers de portefeuille, des clés privées et des phrases de récupération. Sa caractéristique polymorphe rend difficile la détection par les logiciels de sécurité traditionnels basés sur des signatures.
• Attaque d'ingénierie sociale : en combinant des scripts de discours générés par l'IA, les attaquants peuvent déployer des robots sur les plateformes sociales pour inciter les utilisateurs à participer à des projets d'émission, d'airdrop ou d'investissement de NFT faux.
• Escroquerie par deepfake : En combinaison avec d'autres outils d'IA, GhostGPT peut être utilisé pour générer la voix de faux fondateurs de projets de chiffrement, d'investisseurs ou de dirigeants d'échanges, afin de réaliser des escroqueries téléphoniques ou des intrusions dans des courriels commerciaux (BEC).

Venice.ai : risques potentiels d'accès sans censure

Venice.ai offre un accès à divers LLM, y compris certains modèles avec moins de restrictions ou des contrôles plus flexibles. Il se positionne comme un portail ouvert pour que les utilisateurs explorent les capacités variées des LLM, fournissant des modèles de pointe, précis et non censurés, pour une véritable expérience d'IA sans limites, mais qui pourraient également être utilisés par des individus malveillants pour générer du contenu nuisible. Les risques de la plateforme incluent :

• Contournement de la censure pour générer du contenu malveillant : les attaquants peuvent utiliser des modèles ayant moins de restrictions sur la plateforme pour créer des modèles de phishing, des publicités mensongères ou des idées d'attaque.
• Abaisser le seuil d'entrée pour les astuces : même si l'attaquant ne possède pas de compétences avancées en "jailbreak", il peut facilement obtenir des sorties qui étaient à l'origine limitées.
• Accélérer l'itération des discours d'attaque : les attaquants peuvent utiliser cette plateforme pour tester rapidement la réaction de différents modèles aux instructions malveillantes, optimisant ainsi les scripts de fraude et les méthodes d'attaque.

Conclusion

L'émergence des LLM sans restrictions marque l'émergence d'un nouveau paradigme d'attaques plus complexes, plus évolutives et plus automatisées pour la cybersécurité. Ce type de modèle ne réduit pas seulement le seuil d'attaque, mais introduit également de nouvelles menaces plus insidieuses et trompeuses.

Dans cette lutte en constante évolution entre attaque et défense, les différentes parties de l'écosystème de la sécurité doivent collaborer pour faire face aux risques futurs : d'une part, il est nécessaire d'augmenter les investissements dans les technologies de détection, de développer des outils capables d'identifier et d'intercepter les contenus de phishing générés par des LLM malveillants, les exploitations de vulnérabilités de contrats intelligents et le code malveillant ; d'autre part, il faut également promouvoir la construction de capacités de défense contre le jailbreak des modèles, et explorer les mécanismes de watermarking et de traçabilité, afin de suivre l'origine des contenus malveillants dans des scénarios clés tels que la finance et la génération de code ; de plus, il est nécessaire d'établir des normes éthiques et des mécanismes de régulation solides, afin de limiter à la source le développement et l'abus de modèles malveillants.