Les systèmes d'IA - en particulier ceux alimentés par de grands modèles de langage (LLM) - ne se contentent plus d'aider les employés à être plus productifs. Ils créent également de nouveaux risques que les outils de sécurité traditionnels n'ont pas été conçus pour détecter.
Ces menaces ne se présentent pas sous la forme de malware ou de pièces jointes d'phishing . Elles se produisent par le biais de la logique de l'IA, de l'utilisation abusive de l'identité et de comportements difficiles à voir qui se déroulent au sein de services cloud et de flux de travail fiables.
C'est pourquoi les équipes de sécurité se tournent vers des cadres tels que MITRE ATLAS, le AI Risk Repository et le Top 10 de l'OWASP pour les applications LLM. Ces ressources aident les organisations à comprendre comment les attaquants ciblent l'IA et où il existe encore des zones d'ombre en matière de sécurité.
La surface d'attaque de l'IA explose - et la plupart des SOC ne la voient pas
L'IA fait désormais partie des activités quotidiennes des entreprises. Des outils tels que les copilotes, les assistants intelligents et les systèmes de recherche alimentés par l'IA sont utilisés pour améliorer l'assistance à la clientèle, automatiser l'analyse et rationaliser le développement.
Mais cette évolution a élargi la surface d'attaque.
Dans notre récent blog sur la sécurisation des déploiements d'IA Cloud , nous avons expliqué comment les attaquants abusent déjà de plateformes telles que AWS Bedrock et Azure AI. Les techniques telles que le détournement des ressources de calcul, l'injection d'invites malveillantes et l'abus d'identités cloud ne sont pas théoriques : elles se produisent déjà. Nombre de ces menaces sont documentées dans l MITRE ATLASqui suit le comportement des adversaires dans le monde réel contre les systèmes d'IA.
L'IA n'est plus seulement un outil utilisé à mauvais escient. Elle est désormais la cible elle-même.
Deux cadres supplémentaires ajoutent un contexte essentiel :
- Le référentiel des risques de l'IA Référentiel des risques liés à l'IAdirigé par le MIT, répertorie plus de 770 risques liés à la manière dont l'IA est construite, déployée et utilisée. Plus de 65 % de ces menaces surviennent après le déploiement, là où la visibilité et le contrôle sont souvent les plus faibles.
- L'OWASP Top 10 de l'OWASP pour les applications LLM présente les principales vulnérabilités spécifiques aux modèles de langage, notamment les fuites de données, la manipulation des messages et l'envahissement du système.
Ces cadres partagent un même message : les menaces d'aujourd'hui se développent à l'intérieur de systèmes et de flux de travail fiables, et non à l'extérieur du périmètre.
Les outils traditionnels ne les détectent pas parce qu'ils ne sont pas conçus pour regarder aux bons endroits.
Trois cadres, un avertissement : L'IA crée un nouveau type de risque
Pour comprendre comment l'IA modifie votre modèle de menace, il faut adopter trois points de vue distincts mais complémentaires :
- MITRE ATLAS cartographie les techniques réelles utilisées par les attaquants, y compris l'utilisation abusive des API d'inférence de l'IA et le contournement des restrictions de modèle.
- Le référentiel des risques liés à l'IA met en évidence les domaines dans lesquels les choses peuvent mal tourner tout au long du cycle de vie de l'IA, du développement au déploiement.
- Le Top 10 de l'OWASP pour les applications LLM se concentre sur la manière dont les LLM peuvent être exploités ou manipulés d'une manière qui n'a jamais fait partie des systèmes informatiques traditionnels.
Il ne s'agit pas simplement d'outils académiques - ils expliquent ce que votre SOC pourrait déjà manquer. Les systèmes d'IA se comportent différemment. Ils prennent des décisions, réagissent de manière dynamique et interagissent avec les données et les utilisateurs d'une manière qui remet en cause la logique de sécurité conventionnelle.
Ce qui lie tous ces cadres, c'est la nécessité d'une détection en temps réel, basée sur le comportement. Les règles statiques, les signatures ou les listes de mauvais acteurs connus ne suffisent plus.
Les lacunes des outils de sécurité traditionnels
De nombreuses organisations s'appuient sur des outils conçus pour trouver des malware, détecter un trafic inhabituel ou bloquer les accès non autorisés. Ces outils sont importants, mais ils n'ont pas été conçus pour faire face aux risques spécifiques à l'IA.
Voici ce que la plupart des outils de détection existants ne détectent pas :
- Un utilisateur valide exécutant des tâches non autorisées sur un service GenAI comme AWS Bedrock, utilisant des ressources de calcul et accumulant des coûts cachés.
- Un chatbot manipulé pour divulguer des informations sensibles par le biais d'une série de messages-guides soigneusement élaborés.
- Un changement subtil dans les données d'apprentissage qui conduit un modèle d'IA à produire des résultats biaisés ou nuisibles.
Ces types d'incidents ne paraissent pas suspects aux outils axés sur les fichiers ou les points de terminaison. Ils apparaissent comme des appels API normaux, des sessions utilisateur ordinaires ou des comportements d'application fiables, jusqu'à ce qu'il soit trop tard.
Mise en œuvre des cadres de menaces liées à l'IA
Comprendre les risques n'est qu'un début. Le véritable défi pour les responsables de la sécurité consiste à rendre ces informations opérationnelles, c'est-à-dire à les intégrer dans la détection et la réponse quotidiennes.
Aujourd'hui, la plupart des SOC ne peuvent pas répondre en toute confiance :
- Qui accède aux services de GenAI dans l'organisation ?
- Certains comptes se comportent-ils de manière inhabituelle, par exemple enexécutant de gros travaux d'inférence tard dans la nuit ?
- Des systèmes d'IA sont-ils manipulés d'une manière qui pourrait conduire à l'exposition de données ou à des violations de politiques ?
- Pouvons-nous détecter si les garde-fous d'un modèle d'IA sont contournés?
La plateformeVectra AI relève ces défis en mappant sa logique de détection comportementale directement sur MITRE ATLAS. Cet alignement aide les équipes SOC à détecter les activités à haut risque que les outils traditionnels négligent souvent, telles que :
- Accès suspect aux plateformes du GenAI par des utilisateurs ou des identités qui ne sont pas typiquement associés à ces services.
- Tentatives d'échapper à la journalisation ou à la surveillance pendant l'interaction avec le modèle GenAI
- Modes d'utilisation inhabituels suggérant une compromission du compte ou une utilisation abusive du modèle
Le moteur de priorisation de Vectra, piloté par l'IA, améliore encore la productivité des analystes en augmentant automatiquement le profil de risque des identités impliquées dans l'activité GenAI, aidant ainsi les équipes à se concentrer sur ce qui compte le plus.
Parce que la plateforme offre une visibilité sans agent et en priorité sur l'identité dans les environnements cloud hybrides et SaaS, elle est particulièrement bien placée pour détecter les menaces liées à l'IA sans nécessiter de modifications des modèles ou de l'infrastructure. Cela la rend particulièrement efficace dans les environnements de production où GenAI est profondément intégré dans les flux de travail.
L'IA n'est plus seulement un outil, c'est une cible
Alors que l'adoption de l'IA par les entreprises s'accélère, les attaquants s'adaptent rapidement. Les techniques décrites dans MITRE ATLAS ne sont plus une niche, elles deviennent des tactiques courantes pour exploiter les systèmes d'IA modernes.
En alignant votre programme de sécurité sur ces cadres et en déployant des solutions telles que Vectra AI Platform, votre équipe peut passer d'une visibilité passive à une détection proactive. Vous obtiendrez le contexte nécessaire pour détecter les menaces liées à l'IA en temps réel, protéger les LLM cloud et réduire le risque que vos investissements GenAI deviennent des points d'entrée pour les attaquants.
🎧 Vous voulez en savoir plus sur les risques liés à la GenAI dans Microsoft 365 ?
Écoutez nos épisodes Hunt Club Podcast pour découvrir comment Vectra AI comble les lacunes de visibilité dans les déploiements Copilot :
- Threat Briefing : Comment les attaquants contournent la sécurité de SharePoint en utilisant Copilot
- Threat Briefing : Copilot for M365 Attack Surface
- Product Briefing : Détection de l'utilisation abusive de Microsoft Copilot for M365 par les attaquants
Explorez notre démonstration autoguidée ou contactez notre équipe pour découvrir comment Vectra AI peut vous aider à défendre l'avenir de votre entreprise.