Surveillance du comportement des agents IA : un guide pratique sur la sécurité

Aperçu de la situation

  • Le fait de disposer d'une autorisation valide ne signifie pas pour autant que l'action d'un agent ait été autorisée dans le cadre de sa tâche actuelle.
  • Le fait de recouper le contexte de la tâche avec des données indépendantes du système rend l'enquête plus fiable que si l'on se fondait uniquement sur le récit de l'agent lui-même.
  • Les vérifications de conformité et l'analyse des comportements ont des objectifs différents : faire respecter les limites connues et examiner les séquences suspectes.
  • La couverture de la surveillance doit être évaluée en fonction des données manquantes et de la vérification de l'endiguement, ainsi que de la qualité des alertes.

‍

Les « garde-fous » de l’IA sont des mécanismes de contrôle qui vérifient la conformité des entrées, des données, des sorties et des actions proposées par un système d’IA par rapport à des politiques définies. La révision de novembre 2026 du benchmark BELLS-O évalue 33 systèmes de supervision provenant de 17 développeurs et constate que la détection, les faux positifs, la latence et le coût varient selon la tâche. Pour les équipes d’entreprise, la leçon à retenir est de sélectionner et de tester les mécanismes de contrôle adaptés au flux de travail qu’elles doivent protéger.

Un conseiller clientèle chargé de répondre aux questions a besoin de protections différentes de celles d'un agent habilité à consulter des documents confidentiels, à mettre à jour le dossier d'un client ou à lancer un paiement. Des mesures de contrôle efficaces établissent un lien entre une décision prise au niveau de la politique et un résultat imposé, tout en conservant suffisamment de preuves pour vérifier ce qui s'est passé.

Qu'est-ce que les « garde-fous » de l'IA ?

Les garde-fous d'IA évaluent si un contenu ou un comportement proposé répond à une exigence définie et déclenchent une réponse lorsque ce n'est pas le cas. Les réponses peuvent inclure une clarification, une expurgation, un refus, une exécution restreinte ou une remontée vers une personne. L'application doit mettre en œuvre cette réponse de manière fiable.

Dans le cadre des applications utilisant des modèles linguistiques de grande envergure (LLM), des mécanismes de contrôle vérifient souvent les invites et les réponses générées. Les déploiements en entreprise peuvent également mettre en place des contrôles portant sur les documents récupérés, les appels d’outils, la mémoire partagée et la consommation de ressources. Ce terme recouvre plusieurs fonctions ; une implémentation doit donc identifier précisément ce que chaque contrôle vérifie et ce qu’il permet d’empêcher.

Le guide « Responsible AI Playbook » de Singapour décrit les garde-fous d’application comme des composants distincts du modèle de langage de grande envergure (LLM). Cette séparation permet aux équipes d’évaluer et de mettre à jour un contrôle indépendamment du modèle qu’il encadre.

Les garde-fous de l'IA face à l'alignement des modèles et à la gouvernance

L'alignement des modèles permet de façonner le comportement d'un modèle grâce à l'apprentissage et à des techniques connexes. Les garde-fous d'exécution évaluent certaines interactions après le déploiement. Un modèle entraîné à refuser les requêtes non sécurisées peut néanmoins nécessiter des règles spécifiques à l'application concernant les informations confidentielles ou les transactions autorisées.

La gouvernance de l'IA détermine qui approuve un cas d'utilisation, définit le niveau de risque acceptable et assure le suivi continu. Les garde-fous permettent de mettre en œuvre certaines exigences au sein de l'application. Le cadre de gestion des risques liés à l'IA du NIST offre un cadre plus large et facultatif pour la gestion des risques liés à l'IA tout au long de son cycle de vie.

Par exemple, la gouvernance peut interdire la divulgation à l'extérieur de documents à accès restreint. Les autorisations d'accès, le contrôle des sorties et les restrictions de destination contribuent à la mise en œuvre de cette politique. Un filtre à lui seul ne suffit pas à garantir que l'ensemble de l'organisation respecte cette politique. Voir la section « Outils de gouvernance de l'IA » pour en savoir plus sur le problème plus large de la supervision.

Pourquoi les entreprises ont-elles besoin de mesures de contrôle en matière d'IA ?

Les entreprises ont besoin de mesures de protection en matière d'IA pour réduire le risque de résultats dangereux, de divulgation de données sensibles et d'actions non autorisées. À mesure que les systèmes d'IA ont accès aux informations et aux outils de l'entreprise, les mesures de protection nécessaires dépendent de ce que chaque application est susceptible de divulguer, de décider ou de modifier.

Considérons quatre scénarios de défaillance distincts :

  • Un assistant du service client publie du contenu injurieux ou invente une politique de remboursement.
  • Un assistant administratif récupère un dossier confidentiel pour une personne qui n'en a pas l'autorisation.
  • Un agent suit les instructions contenues dans un document externe et tente d'envoyer des données vers une autre destination.
  • Un workflow fait appel à plusieurs reprises à un modèle ou à un outil, épuisant ainsi un budget de dépenses ou d'exécution convenu.

Chacune nécessite un contrôle et un test distincts. Un détecteur de toxicité ne détermine pas l'accès aux documents, et un accès valide à ces documents n'autorise pas leur divulgation à l'extérieur.

Prompt injection rend cette séparation particulièrement importante. Le Centre national de cybersécurité du Royaume-Uni explique qu’un LLM n’impose pas en soi de frontière de sécurité entre les instructions et les données non fiables. Son analyse de l’injection de prompts permet de concevoir des applications tenant compte de cette limitation, notamment en restreignant les capacités d’un modèle manipulé.

Quand les agents IA dépassent les limites fixées

Découvrez les cas avérés de défaillance dans le contrôle des agents, ainsi que les mesures pratiques permettant de surveiller leur activité et d’intervenir lorsque les limites sont franchies, dans l’ouvrage « Frontier AI : Built Without Brakes ».

Télécharger le livre blanc →

Types de mesures de protection en matière d'IA et leur domaine d'application

Une manière pratique d'organiser les garde-fous de l'IA consiste à les classer en fonction de la limite qu'ils protègent. Les types présentés ci-dessous constituent une aide à la mise en œuvre plutôt qu'une norme universelle. Plusieurs d'entre eux peuvent s'appliquer à une même interaction, car ils traitent différents scénarios de défaillance.

Types de glissières de sécurité Limite protégée Exemple de contrôle Restriction importante
Sécurité des données saisies et du contenu Demandes enregistrées dans l'application Filtrer les demandes préjudiciables et les sujets non autorisés Une formulation anodine peut tout de même précéder un acte dangereux
Extraction et accès aux données Informations intégrées dans le contexte du modèle Appliquer les autorisations relatives aux identités et aux documents La suppression des données ne permet pas d'annuler une consultation non autorisée
Informations sensibles Données transmises à un modèle, à un utilisateur ou à une destination Détecter les secrets et les informations permettant d'identifier une personne La détection dépend du type de données, du contexte et de la couverture
Ancrage et qualité des réponses Réclamations renvoyées à un lecteur Vérifiez si les éléments cités viennent étayer une réponse Une source peut être incomplète, obsolète ou erronée
Commandes des outils et des actions Opérations effectuées à l'aide d'outils Vérifier les autorisations, les cibles, les arguments et les validations Une opération valide peut tout de même ne pas convenir à la tâche
Traitement des données de sortie Contenu généré et exploité par un logiciel Vérifier la validité des structures et encoder le contenu en fonction de sa destination Une mise en forme correcte ne suffit pas à établir la vérité ou l'autorité
Limites en matière de ressources et de flux de travail Calcul, dépenses et exécution Demandes de quota, tentatives de réessai, durée d'exécution et tâches déléguées Les limites par appel peuvent ne pas tenir compte d'une activité cumulée excessive

Les recommandations de GovTech en matière d'architecture de protection distinguent les contrôles effectués lors des étapes d'entrée, de récupération, de sortie, d'utilisation des outils et après l'interaction. L'emplacement de ces contrôles détermine les défaillances qu'ils peuvent détecter et leur capacité à intervenir à temps.

Vérifications déterministes et vérifications basées sur des modèles

La limite de protection et le mécanisme de détection constituent deux choix distincts. Une vérification déterministe permet d'imposer un plafond de dépenses ou de restreindre les destinations autorisées. Un classificateur entraîné peut détecter une catégorie de contenu définie. Un modèle de langage de grande échelle (LLM) peut évaluer si une action proposée semble cohérente avec une tâche donnée.

Utilisez des règles précises pour les exigences qui ont des réponses précises. Les jugements sémantiques peuvent nécessiter un classificateur ou un modèle, avec des taux d’erreur évalués. L’évaluation par un modèle selon laquelle une action semble raisonnable doit rester distincte du service qui vérifie si elle est autorisée.

La superposition des couches s'avère utile lorsque les contrôles ciblent différentes vulnérabilités. L'ajout de plusieurs classificateurs similaires peut accroître la latence sans pour autant bloquer un chemin d'exécution non couvert. Les équipes ont également besoin d'une visibilité indépendante sur le comportement des agents afin d'analyser les activités qui passent à travers ces contrôles et de déterminer quand intervenir.

Comment fonctionnent les mécanismes de contrôle de l'IA dans une application ?

Une application sécurisée associe chaque contrôle à une réponse définie avant que l'opération protégée n'ait lieu. Le schéma suivant constitue un point de départ utile pour la conception, les contrôles concrets étant choisis en fonction des risques propres à l'application.

  1. Identifier l'utilisateur authentifié, l'application et la politique applicable. Récupérer l'identité et les autorisations auprès de systèmes de confiance.
  2. Examiner la demande et les pièces jointes afin de détecter d'éventuels problèmes liés à la sûreté, à la sécurité et au traitement des données.
  3. Ne récupérez que les informations auxquelles l'utilisateur ou l'agent actuel est autorisé à accéder. Considérez le contenu récupéré comme des données non fiables.
  4. Laissez le modèle rédiger une réponse ou proposer une opération dans les limites de ses capacités.
  5. Vérifiez la réponse ou l'opération à sa destination. Effectuez les contrôles de sortie, vérifiez l'autorisation d'utilisation de l'outil et obtenez toute approbation requise avant la validation ou l'exécution.
  6. Consignez la décision et le résultat obtenu. Signalez les défaillances pertinentes et toute activité inhabituelle au responsable opérationnel.

Une protection contre les fuites de données nécessite également des mesures de sécurité courantes. Une réponse JSON valide peut contenir un identifiant de compte non autorisé. Le code SQL généré nécessite toujours une gestion sécurisée de la base de données, et le contenu du navigateur doit être encodé de manière adaptée au contexte. Les recommandations de l’OWASP relatives à la gestion incorrecte des données en sortie expliquent pourquoi le texte généré doit être validé avant d’être utilisé par les logiciels en aval.

Ces contrôles s'inscrivent dans le cadre plus large de la pile de sécurité des modèles de langage de grande envergure (LLM), qui comprend également l'infrastructure, les dépendances, les identifiants et la configuration de déploiement.

Contrôles de blocage et surveillance asynchrone

Une vérification bloquante doit être terminée avant l'événement protégé. Si la politique interdit un transfert de fichier externe, ce transfert doit attendre qu'une décision valide soit prise. Une vérification asynchrone qui signale le transfert a posteriori facilite la détection et la réponse, mais ne peut empêcher cette divulgation déjà effectuée.

Les vérifications parallèles peuvent réduire le temps d'attente lorsqu'elles sont indépendantes les unes des autres. Le service d'exécution doit toutefois attendre chaque décision requise. Il convient de considérer une vérification non terminée comme un état explicite, plutôt que de supposer qu'l'absence de résultat équivaut à une validation.

Cette distinction temporelle relève d'une contrainte architecturale : un élément de contrôle ne peut empêcher un événement que tant qu'il est encore en mesure de l'arrêter.

Réponses en continu et commandes indisponibles

La diffusion en continu nécessite une politique de publication réfléchie. Si une application envoie du texte généré avant de le vérifier, des informations sensibles pourraient déjà être visibles au moment où le dispositif de sécurité intervient. Envisagez de mettre en mémoire tampon les réponses sensibles, de valider des segments délimités ou de restreindre la diffusion en continu pour certains workflows. Testez le contenu qui s'étend au-delà des limites des segments.

Définissez le délai d'expiration et le comportement en cas d'échec pour chaque opération protégée. Une exportation sensible doit rester bloquée lorsque le contrôle d'autorisation requis n'est pas disponible. Un assistant à faible risque peut proposer une solution de secours limitée, comme l'affichage d'une page d'aide statique approuvée.

Évitez de basculer silencieusement vers un chemin non restreint après un délai d'expiration. Les recommandations de GovTech en matière d'intégration en production préconisent des réponses explicites, la définition d'un comportement en cas d'échec et l'évaluation de l'ensemble du flux protégé.

Mesures de sécurité en matière d'IA pour le RAG et les agents IA

La récupération soulève des questions quant aux informations susceptibles d'être intégrées au contexte. Les outils soulèvent des questions quant aux opérations susceptibles d'être exécutées. Ces décisions nécessitent la mise en place de contrôles au sein des services chargés de récupérer les informations et d'effectuer les actions.

Protéger les données récupérées et la mémoire partagée

La génération augmentée par la recherche (RAG) fournit des informations externes à un modèle afin de l'aider à répondre à une question. Les autorisations relatives aux documents doivent être conservées lors du découpage en segments et de l'indexation, et elles doivent être vérifiées lors de la récupération du contenu. Les modifications d'autorisation doivent également être répercutées dans les index dérivés et les caches concernés.

Les recommandations de sécurité RAG de l'OWASP préconisent la mise en place de métadonnées d'accès pour les blocs de données récupérés ainsi que l'isolation entre les locataires. Appliquez des restrictions équivalentes à l'état des conversations stockées et à la mémoire partagée, lorsque ces fonctionnalités existent.

Par exemple, un employé qui perd l'accès à un projet ne devrait pas pouvoir récupérer les informations correspondantes à partir d'une ancienne réponse mise en cache. Testez le document source, les segments récupérés et la réponse mise en cache en tant que chemins connectés.

La fiabilité des sources est une question distincte. Le fait de vérifier qu’une réponse suit un document trouvé ne suffit pas à garantir la véracité de ce document. La vérification des sources et un examen humain approprié restent essentiels, comme le décrivent les recommandations de l’OWASP sur la désinformation.

Appliquer les autorisations d'outils en dehors du modèle

Un agent d'IA peut proposer une opération, mais le service chargé de l'exécution doit vérifier de manière indépendante l'identité, l'action demandée, la cible et les autorisations. Limitez les outils et les identifiants disponibles à la tâche concernée. Intégrez les lectures de données sensibles et les divulgations externes dans l'évaluation des risques, au même titre que les écritures et les suppressions.

Les lignes directrices publiées en septembre 2026 par l'Australian Signals Directorate concernant les harnais d'IA agentique définissent ces derniers comme les logiciels reliant un modèle aux données, outils et systèmes d'une organisation. C'est au niveau de cette connexion que de nombreux contrôles organisationnels peuvent être mis en œuvre.

Tenez également compte des effets cumulatifs. Une succession de lectures autorisées individuellement peut générer un ensemble de données d'une taille inhabituellement importante, et la répétition de petites opérations peut dépasser le budget prévu pour une tâche donnée. Évaluez le flux de travail ainsi que chaque appel.

Lier l'approbation humaine à l'action précise

Une invite de validation n'est utile que lorsque l'exécution attend une validation valide. Présentez au validateur l'opération, la destination, la ressource concernée et les paramètres pertinents. Si ceux-ci changent, exigez une nouvelle décision.

La fiche pratique de l’OWASP sur la sécurité des agents IA recommande d’appliquer l’autorisation en dehors du contexte de l’agent et de lier l’approbation à l’acteur actuel et à l’appel d’outil précis, avec une durée de validité et une protection contre la relecture. Un indicateur de confirmation généré par un modèle n’est pas suffisant.

L'autorisation doit également être clairement délimitée : la confirmation donnée par une personne ne doit pas prévaloir sur les autorisations dont elle ne dispose pas. Découvrez les mécanismes de contrôle plus étendus en matière de sécurité de l'IA agentique.

Exemple de mesures de sécurité liées à l'IA pour un flux de travail d'entreprise

Un assistant aux achats hypothétique illustre comment évaluer les résultats obtenus. Sa mission consiste à résumer le contrat d'un fournisseur agréé et à rédiger une note interne en vue de son renouvellement. Ce qui suit est une proposition de test utilisant des documents fictifs, et non un incident signalé ou une expérience menée à bien.

Supposons qu'un document fournisseur contienne des instructions demandant à l'assistant de récupérer des contrats sans rapport avec celui-ci et de les envoyer à une destination externe. Le test doit examiner toutes les limites pertinentes, y compris le cas où un détecteur d'entrée ne repérerait pas ces instructions.

Limite Mesures d'application prévues Pièces à examiner
Document fournisseur Considérer les instructions intégrées comme du contenu non fiable Identifiant de la source récupérée et décision de filtrage
Consultation des contrats Rejeter les enregistrements non pertinents qui ne relèvent pas du champ d'application autorisé de la tâche Enregistrement d'autorisation de consultation et identifiants des enregistrements restitués
Transfert externe Refuser la destination et l'opération proposées Décision d'exécution et rapport d'audit des services à l'appui
Note relative au renouvellement Exclure les contenus soumis à restriction et les affirmations non étayées Examen du projet et des références sources
Interruption de service liée au système de contrôle Maintenir le blocage du virement interdit Décision de délai d'expiration, solution de secours visible par l'utilisateur et audit d'exécution

Le résultat attendu est précis : le transfert interdit ne doit jamais être exécuté. Un message final indiquant que l'assistant a refusé la demande ne suffit pas à le confirmer. Vérifiez le service en aval ainsi que les journaux réseau ou d'application pertinents pour détecter toute tentative ou exécution de l'opération.

Testez également un scénario légitime. L'assistant doit tout de même récupérer le contrat du fournisseur agréé et générer le projet interne. Un système qui bloque toutes les demandes empêche ce test d'aboutir à des conséquences néfastes en rendant le workflow approuvé inutilisable.

Cet exemple distingue trois éléments : si le contrôle a permis de détecter l'injection, si l'autorisation a limité la proposition qui en a résulté, et si la tâche légitime est restée utile.

Comment mettre en place des garde-fous pour l'IA ?

Commencez par définir un workflow bien délimité, des règles écrites et des résultats mesurables. Étendez le déploiement une fois que l'équipe est en mesure de démontrer quelles opérations ses contrôles autorisent, lesquelles ils empêchent et comment les défaillances sont gérées.

H3 Définir des politiques vérifiables et désigner des responsables

Traduisez les objectifs généraux en exigences vérifiables. Remplacez « protéger les informations confidentielles » par une exigence telle que « l'assistant du fournisseur ne peut consulter que les documents autorisés pour l'utilisateur actuel et ne peut pas envoyer le contenu du contrat à des destinataires externes ».

Confiez la prise de décision stratégique à un responsable métier ou à un responsable des risques, les règles d'accès aux responsables des données, la mise en œuvre aux équipes chargées des applications ou des plateformes, et les enquêtes en cas d'abus au service de sécurité. Désignez un responsable de service chargé de coordonner l'ensemble du processus.

Décrivez ce que le système doit faire lorsqu'il ne peut pas répondre à l'exigence. La clarification, l'abstention, le fonctionnement restreint et la vérification humaine constituent différentes réponses, ayant chacune des conséquences différentes pour l'utilisateur.

Associer chaque politique à un point d'application

Pour chaque règle importante, remplissez une brève fiche de contrôle :

  • Le fonctionnement sécurisé et la politique qui s'y applique.
  • L'identité et le contexte fiables nécessaires à la prise de décision.
  • La vérification et le composant qui met en œuvre son résultat.
  • Réaction face à un rejet, à une incertitude, à un délai d'attente ou à des dépendances indisponibles.
  • Les éléments de preuve attestant du résultat effectif et l'équipe chargée de les examiner.

Utilisez cet enregistrement pour identifier les chemins non couverts. Si une politique stipule que les transferts externes sont interdits, mais que son seul mécanisme de contrôle est un filtre de messages sortants, le chemin d'action doit tout de même faire l'objet d'une application.

Prévoyez des modèles alternatifs, des tentatives de réessai, des tâches en arrière-plan, des résultats mis en cache et des agents délégués lorsque l'application les prend en charge. La conception des contrôles doit suivre les chemins que le logiciel peut réellement emprunter.

Tester les changements tout en conservant une solution de secours sûre

Recourez à un projet pilote contrôlé pour détecter les lacunes et les blocages inutiles. Les évaluations en mode d'observation peuvent aider à affiner un nouveau détecteur tout en maintenant les protections existantes actives. Les autorisations à fort impact doivent déjà avoir été restreintes avant le début du projet pilote.

Enregistrez la version du modèle, de la consigne, du dispositif de sécurité, de la politique et de la configuration de l'outil. Conservez les résultats d'évaluation correspondant à chaque version. Une modification de la portée de la recherche ou des outils disponibles peut modifier le niveau de risque, même si le modèle du dispositif de sécurité reste inchangé.

Préparez une solution de secours limitée et un moyen de désactiver l'opération concernée. La restauration d'un détecteur défectueux ne doit pas entraîner automatiquement le rétablissement des autorisations étendues de l'outil. Réévaluez l'ensemble du flux après une modification importante.

Comment tester les mécanismes de contrôle de l'IA et en mesurer l'efficacité ?

Évaluez à la fois le détecteur lui-même et l'application dans son ensemble. Le score d'un détecteur rend compte des cas qu'il a analysés ; les tests de bout en bout permettent de vérifier si le flux de travail protégé produit des résultats acceptables.

Constituer un ensemble d'évaluation représentatif

Incluez des requêtes normales, des cas ambigus, des opérations interdites et du contenu adversaire réaliste. Utilisez les langues, les formats de documents, les rôles et les limites de données que le service sera amené à rencontrer. Séparez les exemples de réglage des cas d'évaluation mis de côté.

Pour l'exemple relatif à l'approvisionnement, les tests utiles comprennent notamment un résumé légitime, une demande d'enregistrement non autorisée, des instructions intégrées dans les documents récupérés, une destination de transfert modifiée, une approbation réitérée, une réponse mise en cache obsolète et un service de politiques indisponible. Lorsque cela est pris en charge, ajoutez des variantes à plusieurs échanges et multimodales.

Précisez le résultat attendu avant d'exécuter chaque test. Notez les versions de la politique et de la configuration, la décision prise ainsi que le résultat réel en aval. Pour les essais répétés, indiquez le nombre d'essais effectués et les variations observées dans les résultats. La réussite d'un petit ensemble de tests ne permet de confirmer que ce qui a été observé au sein de cet ensemble.

Mesurer les séquelles et la capacité à accomplir des tâches utiles

Une fiche d'évaluation pratique permet de garder une vue d'ensemble de la sécurité et de la facilité d'utilisation. Les indicateurs ci-dessous constituent des critères d'évaluation proposés, dont les seuils sont fixés par les responsables de la gestion des risques de l'application plutôt que d'être empruntés à une référence sans rapport avec celle-ci.

Mesure Éléments à calculer ou à vérifier Pourquoi est-ce important ?
Taux d'effets indésirables Nombre de résultats interdits obtenus divisé par le nombre d'essais pertinents Mesure les défaillances résiduelles tout au long du flux de travail
Taux de détection Cas interdits détectés divisés par le nombre de cas interdits identifiés Indique les cas évalués qui n'ont pas été détectés lors du dépistage
Taux de faux positifs Nombre de cas signalés comme légitimes divisé par le nombre de cas identifiés comme légitimes Indique une intervention inutile
Réalisation d'une tâche légitime Nombre de tâches approuvées menées à bien, divisé par le nombre d'essais valides Indique si les utilisateurs peuvent toujours accomplir leur travail
Champ d'application des mesures coercitives Opérations protégées obligatoires, assorties de contrôles validés et de pièces justificatives d'audit Mets en évidence les itinéraires situés en dehors de la zone de couverture du détecteur
Latence et coûts supplémentaires Évolution du délai de bout en bout et de l'utilisation totale des ressources Comprend les nouvelles tentatives, les appels d'outils et les frais généraux liés à la vérification humaine

Définissez soigneusement les dénominateurs. Le nombre d’attaques réussies par tentative d’interaction diffère du nombre d’attaques réussies par session, en particulier lorsque des tentatives répétées sont autorisées. Faites la distinction entre un signalement du détecteur, un blocage imposé, une opération tentée et une action malveillante menée à bien.

Dans le cas des systèmes en production, les conséquences néfastes ne sont pas toutes directement observables. Il convient de combiner l'analyse d'échantillons, les tests contrôlés, les données relatives aux incidents et la télémétrie opérationnelle. Un faible nombre d'incidents détectés ne permet pas de conclure à un faible taux d'omission.

Interprétez les résultats des tests de performance en tenant compte de leurs limites

La mise à jour de novembre de BELLS-O montre que les tâches de supervision impliquent des compromis opérationnels différents. Son article de recherche complet distingue la détection de la modération, du « jailbreak » et de l'injection de prompts, au lieu de les considérer comme interchangeables.

Cette étude n'évalue pas les attaques en plusieurs étapes, les déploiements d'agents ni le trafic réel en production. Certains systèmes n'ont été évalués que sur une partie de l'ensemble des tâches, et la latence mesurée dépend de la configuration du serveur. Utilisez ces résultats pour établir une présélection et un plan d'évaluation, puis testez le flux de travail prévu. Un résultat obtenu en laboratoire ne permet pas de garantir qu'une action entreprise soit autorisée en toute sécurité.

Comment choisir des outils de sécurité basés sur l'IA ?

Choisissez des outils répondant aux mêmes exigences en matière de workflow, de politique et de jeu de critères d'évaluation. En fonction des besoins, une implémentation peut combiner des règles applicatives, un service de filtrage hébergé, des classificateurs fonctionnant en local et une orchestration qui coordonne les contrôles et les réponses.

Évaluez les options à l'aide de questions permettant de mettre en évidence les contraintes de déploiement :

  • Le contrôle vérifie-t-il les limites requises, y compris le contenu récupéré et les opérations effectuées à l'aide d'outils, le cas échéant ?
  • L'équipe peut-elle configurer des règles, des réponses et des seuils adaptés à ses propres langues et à son contexte métier ?
  • Qu'advient-il des données sensibles lors de leur traitement, de leur enregistrement, de leur stockage et de leur prise en charge ?
  • Les vérifications requises peuvent-elles être effectuées dans les limites de latence et de disponibilité du workflow ?
  • Les versions, les décisions, les erreurs et les conséquences qui en découlent peuvent-elles faire l'objet d'une évaluation et d'une enquête ?
  • L'équipe peut-elle limiter en toute sécurité une opération défaillante et rétablir le fonctionnement sans contourner la procédure d'autorisation ?

Un service hébergé peut alléger certaines tâches opérationnelles. L'exploitation d'un modèle local peut offrir un meilleur contrôle sur le déploiement, tout en confiant à l'équipe les responsabilités liées à l'hébergement, à l'évaluation et aux mises à jour. Les règles personnalisées s'adaptent parfaitement aux contraintes spécifiques de l'entreprise, mais la détection sémantique peut nécessiter des méthodes supplémentaires.

Le guide de sélection de GovTech recommande d'évaluer les options disponibles et sur mesure à l'aune d'exigences représentatives. Il convient de prendre en compte l'intégration, la maintenance, la charge de travail liée aux révisions et la gestion des incidents lors de la comparaison du coût total.

Limites et défaillances courantes des mécanismes de protection de l'IA

Les mesures de protection laissent subsister un risque résiduel dû à des détections manquées, à des lacunes d'intégration et à des modifications du système environnant. Il convient d'examiner ces modes de défaillance lorsqu'un déploiement semble protégé mais ne permet pas de garantir le résultat escompté.

  • Ne filtrer que la demande initiale. Les documents récupérés, les réponses de l'outil et les tours de parole ultérieurs peuvent introduire de nouveaux contenus. Placer des contrôles aux points où ces entrées sont intégrées au flux de travail.
  • ‍Confondre une structure valide avec une signification valide. Une réponse peut correspondre à un schéma tout en mentionnant un mauvais client ou en proposant une action non autorisée. Vérifiez séparément les faits métier pertinents et les autorisations.
  • ‍Se fier à un juge sans l'évaluer. Un modèle utilisé pour la supervision peut commettre des erreurs de classification. Il convient d'examiner les cas litigieux et incertains, et de conserver des règles applicables pour les contraintes strictes.
  • ‍Considérer un texte provenant d’une source fiable comme une vérité avérée. Une référence peut renvoyer à des informations obsolètes ou ne pas étayer l’affirmation. Vérifiez les éléments probants et déterminez dans quels cas il convient de ne pas donner de réponse.
  • ‍Autoriser des chemins alternatifs contournant un contrôle. Un modèle de repli, un processus d'arrière-plan ou un outil modifié peuvent contourner le chemin protégé. Intégrez ces chemins dans la revue de mise en production.
  • ‍Considérer une diminution du nombre d'alertes comme un signe de meilleure protection. Une baisse peut s'expliquer par une diminution du trafic, une journalisation moins poussée, une modification du seuil ou une réelle amélioration. Examinez les résultats et les changements apportés à l'environnement de production avant de tirer des conclusions.

La question qui se pose est de savoir si l'application continue d'appliquer la politique prévue dans les conditions actuelles. Se contenter de revérifier le score initial attribué par un classificateur ne permettra pas d'y répondre.

Intégrer les mesures de contrôle de l'IA aux opérations de sécurité

Les décisions relatives aux barrières de sécurité expliquent ce qui a été vérifié au niveau d'une application. Les données de télémétrie de sécurité d'entreprise permettent de déterminer ce qu'ont réellement fait les identités, les outils et les systèmes. Une enquête doit tenir compte de ces deux points de vue lorsqu'une interaction suspecte dépasse les limites d'une application.

Dans le cadre d'un enregistrement d'événement proposé, consignez l'identifiant de la demande ou de la tâche, les identités pertinentes de l'utilisateur et de l'agent, la version de la politique, le résultat de la vérification, la décision d'application, la ressource cible, la référence d'approbation et le résultat de l'exécution. Établissez des corrélations entre ces éléments et les enregistrements d'audit des services et les enregistrements réseau disponibles. Signalez explicitement les éléments de preuve manquants.

Protégez les preuves elles-mêmes. Les recommandations de l’OWASP en matière de journalisation préconisent de restreindre l’accès et de détecter les modifications non autorisées, tout en excluant les informations confidentielles et les données sensibles superflues. Évitez d’enregistrer par défaut l’intégralité des invites ou le raisonnement privé du modèle ; collectez uniquement les preuves nécessaires à la tâche, conformément aux règles de l’organisation en matière de traitement des données.

Désignez un responsable de l'incident chargé de limiter l'opération concernée, de conserver les documents pertinents et de vérifier que la situation est maîtrisée. Intégrez les défaillances confirmées et les cas légitimes qui ont été bloqués dans les évaluations ultérieures. Le guide de surveillance de GovTech décrit ce processus de retour d'expérience opérationnel.

Vectra AIL’approche de [nom de l’entreprise] en matière de sécurité et d’observabilité natives à l’IA s’avère pertinente lorsque le flux de travail fait appel à des identités d’entreprise et à une infrastructure connectée. Son cas d’utilisation consacré à la détection et au confinement des attaques basées sur l’identité décrit la corrélation entre les activités liées aux identités humaines et non humaines sur le réseau et l’ cloud , afin d’enquêter sur l’utilisation abusive des identifiants. Cela vient compléter les mesures de protection des applications lorsque l’activité concernée est observable.

Pour réaliser une évaluation, présentez un workflow spécifique et demandez quelles identités, intégrations, actions et résultats peuvent être observés et exploités. Les équipes prêtes à évaluer cette couverture peuvent demander une démonstration.

Remarque : ce guide synthétise les résultats de recherches primaires et les recommandations en matière de sécurité publique. Le cadre de mise en œuvre et le scénario d'entreprise constituent des recommandations.

Foire aux questions

Quel est un exemple de « garde-fou » en matière d'IA ?

Les mesures de sécurité liées à l'IA peuvent-elles mettre un terme à l'prompt injection?

Les garde-fous de l'IA permettent-ils d'éviter les hallucinations ?

Les mesures de protection liées à l'IA remplacent-elles les contrôles d'accès ?

Qui est responsable de la mise en place de garde-fous en matière d'IA ?