Getty Images/iStockphoto

Actualites

LLM : Microsoft et OpenAI lancent l’alerte sur leur utilisation abusive par les pirates

Microsoft et OpenAI ont observé cinq groupes d’acteurs malveillants étatiques qui utilisent l’IA générative et de grands modèles de langage pour l’ingénierie sociale et la recherche de vulnérabilités, notamment.

Arielle Waldman
par
Publié le: 15 févr. 2024

Microsoft a publié mercredi une nouvelle étude détaillant la manière dont divers acteurs malveillants étatiques utilisent l’IA générative dans leurs opérations.

Bien que Microsoft ait déclaré que l’utilisation accrue de la GenAI par les attaquants ne constitue pas une menace imminente pour les entreprises, le géant technologique a souligné l’importance de préparer des protocoles de sécurité supplémentaires en raison de l’activité récente des États-nations.

Dans un article de blog publié mercredi, Microsoft Threat Intelligence et son partenaire OpenAI ont mis en évidence cinq acteurs malveillants étatiques ayant été observés en train d’utiliser de grands modèles de langage (LLM) tels que ChatGPT pour renforcer leurs attaques.

Selon cette étude, des acteurs étatiques situés dans le monde entier ont utilisé des LLM pour rechercher des technologies et des vulnérabilités spécifiques, ainsi que pour obtenir des informations sur la géopolitique régionale et sur des personnalités de premier plan. Jusqu’à présent, les outils d’IA n’ont pas rendu les attaques plus dangereuses, mais Microsoft prévoit que cela va changer.

« Il est important de noter que nos recherches avec OpenAI n’ont pas permis d’identifier d’attaques significatives utilisant les LLM que nous surveillons de près. Dans le même temps, nous pensons qu’il est important de publier ces recherches pour exposer les premières étapes, les mouvements incrémentiels que nous observons chez des acteurs malveillants bien connus et pour partager des informations sur la manière dont nous les bloquons et les controns avec la communauté des défenseurs », a écrit Microsoft Threat Intelligence dans le billet de blog.

Les risques imminents ont été signalés plus tôt cette année par le Centre national de cybersécurité du Royaume-Uni, qui a déclaré que l’IA allait accroître les cybermenaces au cours des deux prochaines années.

En plus du billet de blog, Microsoft Threat Intelligence a publié le rapport trimestriel « Cyber Signals » avec une introduction de Bret Arsenault, conseiller en chef pour la cybersécurité chez Microsoft. Celui-ci a souligné que les outils d’IA sont bénéfiques à la fois pour les défenseurs et pour les adversaires, ce qui complique la menace.

« Alors que l’IA a le potentiel de permettre aux organisations de vaincre les cyberattaques à la vitesse de la machine et de favoriser l’innovation et l’efficacité dans la détection des menaces, la chasse et la réponse aux incidents, les adversaires peuvent utiliser l’IA dans le cadre de leurs exploits », écrit Bret Arsenault. « Il n’a jamais été aussi crucial pour nous de concevoir, de déployer et d’utiliser l’IA en toute sécurité ».

Le rapport met en garde contre l’inefficacité des outils de sécurité traditionnels face aux menaces qui pèsent sur le paysage et les attaques récentes montrent que les cybercriminels ont gagné en « rapidité, en ampleur et en sophistication ». La fréquence et la gravité des attaques ont également augmenté dans un contexte de pénurie de main-d’œuvre dans le domaine de la cybersécurité.

Aujourd’hui, Microsoft pense que l’IA générative ne fera qu’ajouter aux défis. Le géant de Redmond a observé des points communs entre les groupes de cybercriminels, tels que la reconnaissance, le codage et l’amélioration du développement de logiciels malveillants, ainsi que l’utilisation de langages humains et de langages de machine.

Pour illustrer la manière dont les États-nations utilisent actuellement les LLM, Microsoft Threat Intelligence a détaillé cinq groupes de menaces qu’elle suit : Forest Blizzard, Emerald Sleet, Charcoal Typhoon, Crimson Sandstorm et Salmon Typhoon. Forest Blizzard est un acteur russe de la menace persistante avancée (APT), plus communément appelé Fancy Bear ou APT28, qui est associé au service de renseignement militaire du gouvernement russe.

En décembre, Microsoft a révélé que Forest Blizzard, connu pour cibler les secteurs de la défense, du gouvernement et de l’énergie, continuait d’exploiter une vulnérabilité d’Exchange contre des instances non corrigées. Les correctifs ont été publiés en mars.

Les groupes d’États-nations adoptent la GenAI

Microsoft Threat Intelligence a développé l’activité LLM de Forest Blizzard dans le billet de blog. L’acteur malveillant a été observé en train d’exploiter les LLM principalement à des fins de recherche sur diverses technologies de satellite et de radar qui pourraient être pertinentes pour les opérations militaires ukrainiennes.

En outre, Microsoft a déclaré à TechTarget que l’utilisation de LLM par Forest Blizzard indiquait que l’acteur explorait les cas d’utilisation d’une nouvelle technologie.

« Forest Blizzard a utilisé la technologie LLM pour comprendre les protocoles de communication par satellite, la technologie radar et d’autres paramètres techniques spécifiques. Les requêtes suggèrent une tentative d’acquisition de connaissances approfondies sur les capacités des satellites », a déclaré Microsoft dans un courriel.

Le rapport souligne que les États-nations adversaires utilisent couramment les LLM lors de la phase de collecte de renseignements d’une attaque.

L’acteur nord-coréen Emerald Sleet a été observé en train d’utiliser des LLM pour rechercher des groupes de réflexion et des experts sur la Corée du Nord. Le groupe a également utilisé la technologie pour des « tâches de script de base » ainsi que pour générer des campagnes de spear phishing. Des recherches antérieures sur la GenAI et le contenu du phishing ont donné des résultats mitigés, certains fournisseurs ayant constaté que les LLM ne rendaient pas les courriels plus efficaces.

« Emerald Sleet a également interagi avec des LLM pour comprendre les vulnérabilités connues du public, pour résoudre des problèmes techniques et pour obtenir de l’aide dans l’utilisation de diverses technologies web », écrit Microsoft dans le rapport, ajoutant que le groupe a spécifiquement recherché une vulnérabilité de l’outil de diagnostic du support de Microsoft suivie comme CVE-2022-30190 et connue sous le nom de « Follina ».

L’acteur Charcoal Typhoon, affilié à la Chine, a également utilisé des LLM à des fins de recherche technique et pour comprendre les vulnérabilités. Microsoft a noté que le groupe utilisait des outils GenAI pour améliorer les techniques de script « potentiellement pour rationaliser et automatiser des tâches et des opérations cybernétiques complexes », ainsi que pour des commandes opérationnelles avancées.

Un autre acteur malveillant soutenu par la Chine, connu sous le nom de Salmon Typhoon, a testé l’efficacité des LLM à des fins de recherche. « Les interactions de Salmon Typhoon avec les LLM tout au long de l’année 2023 semblent exploratoires et suggèrent que cet acteur évalue l’efficacité des LLM dans la recherche d’informations sur des sujets potentiellement sensibles, des individus de haut niveau, la géopolitique régionale, l’influence des États-Unis et les affaires internes », a écrit Microsoft dans son billet de blog. « Cet engagement provisoire avec les LLM pourrait refléter à la fois un élargissement de leur boîte à des outils de collecte de renseignements et une phase expérimentale d’évaluation des capacités des technologies émergentes ».

Microsoft et OpenAI ont observé que Crimson Sandstorm, un groupe de menace iranien associé au Corps des gardiens de la révolution islamique du pays, utilisait les LLM à des fins d’ingénierie sociale et de dépannage, ainsi que pour obtenir des informations sur le développement .NET et les techniques d’évasion sur les systèmes compromis.

Microsoft a déclaré que « tous les comptes et actifs » associés aux cinq groupes d’États-nations ont été désactivés.

La GenAI améliorera-t-elle l’ingénierie sociale ?

Le rapport « Cyber Signals » de Microsoft a mis en évidence l’effet de l’IA sur l’ingénierie sociale. Le groupe s’est inquiété de la manière dont l’IA pourrait être utilisée pour saper la vérification de l’identité et usurper la voix, le visage, l’adresse électronique ou le style d’écriture d’une victime ciblée. L’amélioration de la précision dans ces domaines pourrait conduire à des campagnes d’ingénierie sociale plus réussies.

L’année dernière, une attaque contre la plateforme de développement Retool a mis en évidence les dangers de campagnes d’ingénierie sociale réussies. Après avoir acquis des connaissances essentielles sur l’organisation victime, l’attaquant a manipulé un formulaire MFA et s’est fait passer pour un membre de l’équipe informatique de Retool lors d’un appel de vishing afin d’obtenir un accès interne hautement privilégié.

« Microsoft prévoit que l’IA fera évoluer les tactiques d’ingénierie sociale, créant des attaques plus sophistiquées, y compris les deepfakes et le clonage vocal, en particulier si les attaquants trouvent des technologies d’IA fonctionnant sans pratiques responsables et sans contrôles de sécurité intégrés », indique le rapport.

Par exemple, Microsoft a constaté que les menaces liées au courrier électronique sont déjà devenues plus dangereuses grâce à l’IA. Le rapport fait état d’un « afflux de courriels parfaitement rédigés » qui contiennent moins d’erreurs grammaticales et linguistiques. Pour faire face à cette menace, Microsoft a déclaré qu’elle travaillait sur des capacités permettant d’identifier un courriel malveillant au-delà de sa composition.

Microsoft estime qu’il est essentiel de comprendre comment l’IA peut renforcer la vérification de l’identité pour lutter contre la fraude et les attaques d’ingénierie sociale. Le rapport met en garde les entreprises contre les essais gratuits ou les prix promotionnels de services ou de produits, qui sont utilisés pour attirer les utilisateurs de l’entreprise par le biais de l’ingénierie sociale.

« Parce que les acteurs malveillants comprennent que Microsoft utilise rigoureusement l’authentification multifactorielle (MFA) pour se protéger – tous nos employés sont configurés pour la MFA ou la protection sans mot de passe –, nous avons vu les attaquants s’appuyer sur l’ingénierie sociale pour tenter de compromettre nos employés », indique le rapport.

L’une des recommandations de Microsoft pour lutter contre l’ingénierie sociale est la formation continue des employés, car elle « repose à 100 % sur l’erreur humaine ». Le rapport indique que la formation devrait se concentrer sur la reconnaissance des courriels de phishing, du vishing et des attaques de phishing par SMS. Microsoft a également exhorté les entreprises à appliquer les meilleures pratiques de sécurité pour Microsoft Teams. En ce qui concerne l’utilisation défensive de l’IA générative, Microsoft recommande d’utiliser des outils tels que Microsoft Security Copilot, qui a été lancé l’année dernière et est devenu généralement disponible en novembre.

Microsoft a lancé une liste d’actions ou de « principes » pour aider à atténuer les risques liés à l’utilisation des plateformes d’IA par les acteurs de la menace des États-nations et les APT. Ces principes comprennent l’obligation de transparence dans la chaîne logistique de l’IA, l’évaluation continue des fournisseurs d’IA et l’application de contrôles d’accès, la mise en œuvre d’une « validation et d’un assainissement stricts des entrées pour les invites fournies par l’utilisateur » dans les outils et services d’IA, et la communication proactive aux employés des politiques et des risques potentiels liés à l’IA.

Alors que la GenAI pourrait entraîner une augmentation du volume des attaques, Microsoft a déclaré à TechTarget que la technologie est simplement un outil utilisé par les acteurs de la menace, comme beaucoup d’autres avant elle. Cependant, il est probable qu’elle les rende plus efficaces à l’avenir.

« La capacité des attaquants à utiliser l’IA pour accélérer et étendre les menaces est quelque chose que nous voyons poindre à l’horizon », a déclaré Microsoft.

Pour approfondir sur Cyberdéfense