À mesure que les entreprises intègrent l'IA dans leurs systèmes critiques, la surface d'attaque s'étend au-delà des environnements informatiques et cloud traditionnels. ATLAS comble cette lacune en documentant les scénarios d'attaque spécifiques à l'IA, les comportements réels des adversaires dans la nature et les stratégies d'atténuation adaptées aux environnements basés sur l'IA.
Qu'est-ce que le cadre ATLAS de MITRE ?
MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) est une base de connaissances vivante, accessible au public, qui répertorie les tactiques et les techniques des adversaires ciblant les systèmes basés sur l'intelligence artificielle. Inspiré du cadre ATT&CK® de MITRE, largement adopté, ATLAS est adapté aux menaces, vulnérabilités et risques uniques posés par les technologies d'intelligence artificielle.
ATLAS est une ressource curatée qui s'appuie sur :
- Observations d'attaques dans le monde réel
- Démonstrations de l'équipe rouge de l'IA
- Recherche en matière de sécurité menée par les gouvernements, l'industrie et les universités
Il décrit la manière dont les adversaires ciblent les systèmes d'intelligence artificielle et d'apprentissage automatique, y compris les comportements, les techniques et les outils spécifiques ou adaptés aux contextes de l'intelligence artificielle.
De l'armement à l'utilisation abusive de l'infrastructure : un changement d'orientation des attaquants
L'écrasante majorité des activités concerne des cybercriminels qui utilisent l'IA générative pour accélérer leurs campagnes par le biais de tâches telles que :
- Rédaction de courriels d'phishing ou de scripts d'ingénierie sociale
- Recherche de vulnérabilités ou de techniques
- Dépannage des malware ou développement d'outils
- Générer du contenu pour des escroqueries ou de fausses identités Mais une tendance plus inquiétante attire l'attention : les attaquants utilisent des tactiques évolutives où l'exploitation des ressources LLM cloud- telles que AWS Bedrock et Azure AI Foundry -est devenue un vecteur croissant de profit et d'abus.
Les LLM publics peuvent générer du texte ou aider à l'écriture de scripts, mais les modèles cloud sont profondément intégrés dans des flux de travail d'entreprise de grande valeur. Ces systèmes offrent aux adversaires un accès au calcul, aux données sensibles et à des environnements d'exécution fiables.
Pourquoi s'attaquer à l'IA cloud plutôt qu'aux modèles libres et gratuits ?
Les plateformes Cloud comme AWS Bedrock et Azure AI Foundry sont des cibles attrayantes parce qu'elles.. :
- Exposer l'infrastructure multi-locataires : Une vulnérabilité dans des composants partagés peut avoir un impact sur plusieurs clients.
- Fournir un accès aux données confidentielles de l'entreprise: En particulier lorsqu'ils sont liés à des flux de travail RAG (retrieval-augmented generation), qui améliorent les réponses LLM en récupérant et en injectant des données d'entreprise à partir de sources de connaissances connectées.
- Permettre l'abus de confiance et l'intégration des identités: Les identités Cloud et les rôles IAM peuvent être utilisés pour l'escalade des privilèges ou le déplacement latéral.
- coûtent de l'argent pour fonctionner: Les attaquants peuvent exploiter cette situation en détournant les ressources informatiques (LLMjacking).
L'utilisation abusive de ces plateformes permet aux adversaires d'opérer de manière plus furtive et avec un meilleur retour sur investissement qu'en utilisant des API publiques ou à code source ouvert.
Pourquoi les adversaires ciblent-ils les infrastructures d'IA générative ?
Les attaquants qui ciblent les services GenAI cloud sont motivés par trois objectifs principaux : le gain financier, l'exfiltration de données et l'intention destructrice. Leur succès dépend fortement de la manière dont ils obtiennent l'accès initial à l'infrastructure de l'entreprise.
1. Gain financier
Les attaquants peuvent chercher à détourner des comptes d'entreprise ou à exploiter une infrastructure mal configurée pour exécuter des tâches d'inférence non autorisées - une tactique connue sous le nom de LLMjacking. Ils peuvent également abuser des services d'IA cloud pour obtenir des calculs gratuits ou un accès monétisé aux modèles.
2. Exfiltration
Des adversaires sophistiqués cherchent à extraire des modèles propriétaires, des données d'entraînement ou des documents d'entreprise sensibles accessibles via des systèmes RAG (retrieval-augmented generation). Les API d'inférence peuvent également être utilisées de manière abusive pour faire fuir des données au fil du temps.
3. La destruction
Certains acteurs cherchent à dégrader les performances ou la disponibilité du système en lançant des attaques par déni de service, en empoisonnant les pipelines de formation ou en corrompant les résultats des modèles.
Bien que l'utilisation abusive des LLM publics permette à certains attaquants d'agir, les avantages stratégiques liés au ciblage de l'infrastructure GenAI de l'entreprise - accès aux données, évolutivité et exploitation de la confiance - en font un vecteur plus attrayant et plus percutant.
Comment MITRE ATLAS vous aide à comprendre et à cartographier ces menaces
MITRE ATLAS fournit une vue structurée des tactiques et techniques du monde réel utilisées contre les systèmes d'IA, qui correspondent directement aux risques observés sur des plateformes telles que AWS Bedrock, Azure AI et d'autres services GenAI gérés.
ATLAS couvre un large éventail de techniques au-delà de celles liées à l'infrastructure d'IA cloud, y compris la reconnaissance de modèles d'IA, l'empoisonnement de modèles ou d'ensembles de données open-source, la compromission de plugins LLM, et bien d'autres encore.
Voici quelques exemples de techniques spécifiques qu'un acteur menaçant pourrait utiliser pour attaquer l'infrastructure d'IA cloud:
Accès initial
- Comptes valides (AML.T0012): Les adversaires acquièrent souvent des informations d'identification légitimes par le biais de campagnes d'phishing , de bourrage d'informations d'identification ou de brèches dans la chaîne d'approvisionnement.
- Exploiter les applications publiques (AML.T0049) : Des points de terminaison mal sécurisés ou exposés (par exemple, des assistants RAG ou des API) peuvent être utilisés pour prendre pied dans les systèmes de la GenAI.
Accès au modèle d'IA
- Accès à l'API d'inférence de modèle d'IA (AML.T0040): Accès direct aux API d'inférence pour exécuter des requêtes ou des charges de travail non autorisées.
- Produit ou service basé sur l'IA (AML.T0047): Cible les logiciels d'entreprise intégrés à la GenAI pour manipuler les résultats ou extraire des données internes.
Exécution
- LLM Prompt Injection (AML.T0051): Injection d'entrées malveillantes qui détournent les garde-fous ou la logique, en particulier dans les systèmes RAG ou les systèmes intégrés au flux de travail.
Escalade de privilèges/évasion de défense
- LLM Jailbreak (AML.T0054): Contournement des contrôles du modèle pour déverrouiller des fonctions restreintes ou générer du contenu nuisible.
Découverte
- Découvrir la famille de modèles d'IA (AML.T0014): Identifier l'architecture du modèle ou les caractéristiques du fournisseur pour adapter les attaques.
- Découvrir les artefacts de l'IA (AML.T0007): Localiser les journaux, les historiques d'invite ou les ensembles de données qui révèlent les éléments internes du système.
Collecte et exfiltration
- Données provenant de dépôts d'information (AML.T0036): Récolte de données structurées/non structurées récupérées par l'intermédiaire de RAG ou intégrées dans des services d'IA.
- Exfiltration via AI Inference API (AML.T0024): Extraire lentement des données en abusant de la couche d'inférence.
- Fuite de données LLM (AML.T0057): Déclencher une fuite de données involontaire par le biais de requêtes soigneusement élaborées.
Impact
- Déni de service de l'IA (AML.T0029): Surcharger ou perturber les points d'extrémité de l'IA afin d'en dégrader la disponibilité.
- Préjudices externes (AML.T0048): Porter atteinte aux finances, à la réputation, au droit ou à l'intégrité physique en abusant des systèmes d'IA ou en manipulant les résultats de l'IA dans des applications critiques.
Ces techniques illustrent la manière dont les attaquants exploitent chaque couche de l'infrastructure de l'IA - accès, exécution, données et impact. MITRE ATLAS fournit la cartographie nécessaire aux équipes SOC pour prioriser les détections, valider les défenses et mettre en place une équipe rouge efficace dans les environnements d'IA de l'entreprise.
Comment Vectra AI s'articule avec MITRE ATLAS
Vectra AI associe sa logique de détection à MITRE ATLAS pour aider les équipes SOC à identifier :
- Identités accédant de manière suspecte aux plateformes GenAI telles que AWS Bedrock et Azure AI Foundry.
- Tentatives d'échapper aux défenses et d'entraver les enquêtes sur les abus de GenAI
- L'utilisation anormale des modèles de GenAI est compatible avec la compromission d'un compte cloud
En plus de mettre en évidence ces comportements, l 'agent de priorisation de l'IA de Vectra amplifie l'attention des analystes en augmentant les profils de risque des identités associées à un accès suspect et en activant les modèles GenAI. Parce que Vectra AI offre une détection sans agent, basée sur l'identité , dans les environnements SaaS et de cloud hybride, il est particulièrement bien placé pour détecter les menaces que les outils traditionnels risquent de ne pas détecter, en particulier dans les flux de travail intégrés à l'IA.
Les choses changent. L'IA générative n'est plus seulement un outil entre les mains des attaquants, c'est désormais une cible. Et à mesure que l'adoption par les entreprises augmente, la sophistication de ces attaques augmente également. En utilisant des cadres comme MITRE ATLAS et en déployant des solutions comme Vectra AI Platform, les équipes de sécurité peuvent garder une longueur d'avance sur l'évolution des menaces et s'assurer que l'IA apporte de la valeur sans compromettre l'intégrité.