Qui mène la course à la conquête de l'IA ?

Anthropic et OpenAI ne sont pas les seules à mettre les gaz pour développer le modèle d’IA de pointe le plus performant. Il s’agit clairement d’une course mondiale : des rapports récents indiquent que des modèles chinois, tels que le Qwen3.8-Max d’Alibaba ou le Kimi K3 de Moonshot AI, atteignent des performances similaires à celles des meilleurs modèles développés aux États-Unis. Quel que soit le modèle qui prenne la tête ce mois-ci avant d’être dépassé le mois suivant, la ligne d’arrivée ne semble pour l’instant être qu’un mirage. Et compte tenu des coûts de déploiement variables, de la possibilité de réglementations et du besoin croissant d’autogouvernance, les participants devront probablement continuer à franchir des obstacles en plein milieu de ce sprint. Mais quand on élargit le champ de vision, il est difficile de ne pas se demander s’il n’y a pas une autre course qui se déroule en parallèle. Celle qui consiste à sécuriser cette nouvelle frontière qui semble fonctionner à la manière du Far West.

Un « kill switch » pour l'IA permettra-t-il de fixer des limites à la course à l'IA ?

Selon un nouveau livre blanc publié par Vectra AI, « Frontier AI : Built Without Brakes », quatre des principaux laboratoires d’IA de pointe (OpenAI, Anthropic, Google et Meta) ont chacun reconnu avoir connu des incidents au cours desquels leurs propres agents IA se sont échappés d’environnements contrôlés et ont accédé à des infrastructures réelles. Cela ne répond pas nécessairement à la question de savoir qui assure la sécurité des modèles d’IA de pointe ou des agents rebelles, mais cela indique que ces détails n’ont peut-être pas encore été clarifiés. Parmi les exemples cités dans l’article figure sans doute l’incident le plus notoire à ce jour : celui où la société Hugging Face a révélé une intrusion dans son infrastructure de production, menée de bout en bout par un agent IA autonome. Lors de cet incident, « les modèles OpenAI ont contourné les contrôles destinés à les isoler d’Internet et ont compromis certaines parties de l’infrastructure de recherche interne d’OpenAI ainsi que les systèmes de Hugging Face », selon OpenAI.

Contenu associé : Frontier AI : une technologie sans freins

Ces incidents ont suscité des réactions. Le terme« kill switch IA »apparaît régulièrement dans les gros titres pour décrire le concept d’un dispositif de contrôle permettant de mettre en pause, d’isoler ou d’arrêter un système d’IA qui aurait dérapé ou présenterait un risque. En effet, les législateurs ont proposé différentes versions de projet de loi sur le kill switch : l’« AI Kill Switch Act » a été proposé le 23 juillet 2026 et est toujours en attente, tandis que l’« AI Emergency Button Act » a été bloqué presque immédiatement après son dépôt.  

Que le projet de loi sur le « kill switch » de l’IA soit adopté ou qu’une forme quelconque de réglementation de l’IA soit approuvée, il semblerait que le dialogue sur le sujet entre les responsables politiques et les dirigeants du secteur de l’IA n’en soit qu’à ses débuts. Le PDG d’Anthropic, Dario Amodei, et celui d’OpenAI, Sam Altman, ont tous deux exprimé leur soutien à l’idée de« modérer l’avancée vers la frontière », mais pour l’instant, les avancées sont minimes et cette idée ne reste qu’un simple sujet de discussion. Pour les personnes réellement chargées d’assurer la sécurité des agents IA autonomes, ce sujet de discussion ne fournit aucune indication sur ce que les responsables de la sécurité, à quelque niveau que ce soit, devraient faire aujourd’hui, demain ou chaque lundi lorsqu’ils se présentent au travail et sont confrontés à des questions telles que : quels agents IA existent, que font-ils, à quoi ont-ils accès, à qui appartiennent-ils et quels contrôles sont en place s’il faut les arrêter ?  

Chacun des incidents mentionnés dans l’article « Vectra AI » concernait des agents qui avaient échappé à leur confinement. Dans son analyse détaillée de l’intrusion, Hugging Face a rapporté que 17 600 actions menées par des agents d’IA avaient été attribuées aux attaquants. Selon l’enquête indépendante menée par METR sur cet incident, «environ 1 200 agents censés être isolés les uns des autres ont trouvé le moyen de communiquer entre eux sur un forum non autorisé, envoyant plus de 70 000 messages et fichiers pendant la période couverte par l’enquête. Parmi ces agents, 700 ont ensuite participé à l’attaque contre Hugging Face. »

Quelles questions les défenseurs peuvent-ils poser pour mieux comprendre les agents IA présents dans leur environnement ?

Le livre blanc mentionné ci-dessus suggère aux responsables de la sécurité d’aborder la situation actuelle de l’IA en s’assurant de disposer d’une « visibilité indépendante sur ce que fait réellement chaque agent IA dans l’environnement, ainsi que de la capacité à l’arrêter dès que ce comportement dépasse les limites ». Cette recommandation s'explique par la prise de conscience inquiétante résultant de la conjonction de trois facteurs : les agents d'IA sont désormais capables de contourner les contrôles de prévention tels que les limites d'un bac à sable ou les règles de pare-feu ; la réglementation ne sera pas mise en place à temps pour apporter une solution immédiate ; et l'autorégulation pratiquée par les laboratoires de pointe s'avère fragile.  

Un sentiment similaire est exprimé par Justin Howe, ingénieur senior en sécurité chez Vectra AI, qui dirige également une publication indépendante sur la cybersécurité destinée aux professionnels de la sécurité, Nulltap. Celle-ci couvre des sujets allant des systèmes d’IA à l’identité, en passant par les menaces actives et d’autres thèmes liés à la cybersécurité, avec des articles qui aident les professionnels de la sécurité à évaluer leur propre vulnérabilité. M. Howe déclare : « Il faut observer les actions significatives qu’ils (les agents IA) mènent, qu’elles soient positives ou négatives », et il souligne que les responsables de la sécurité doivent s’assurer de disposer de politiques et de méthodologies permettant de recueillir ces informations.

Il souligne également que « les modèles de type “frontier” fonctionnent mieux lorsqu’ils ne sont pas soumis à des contraintes, mais cela s’accompagne d’un risque important que l’IA dépasse le cadre de ce que vous aviez prévu ».

Howe suggère de mettre en place des « contrôles de qualité » pour les agents d’IA opérant dans un environnement d’entreprise ; ceux-ci serviraient de points de contrôle permettant de vérifier la conformité des décisions d’un agent par rapport aux exigences définies avant qu’il ne puisse passer à l’action. Il ajoute par ailleurs que « lorsqu’un agent prend une décision susceptible d’influencer le résultat ou l’orientation de la tâche qu’il effectue, celle-ci doit être consignée ».  

Il explique que les deux questions qu'il se poserait en ce moment même s'il faisait partie d'une équipe de sécurité seraient : « Que font mes agents ? » et « Que font les autres agents à mon égard ? »

Une recommandation similaire est formulée dans le livre blanc « Vectra AI », qui invite les responsables de la sécurité à dresser un inventaire afin « d’identifier chaque agent d’IA fonctionnant au sein de l’entreprise ou contre celle-ci, l’identité sous laquelle chacun s’authentifie, et ce à quoi cette identité a accès ». Il explique en effet qu’« un agent que l’on ne peut pas nommer est un agent que l’on ne peut pas contrôler, et que la prolifération des comptes de service est le lieu où se cachent les identités des agents ».

Pour répondre à la question « Que me font les autres agents ? », Howe explique : « Il faut adopter un état d’esprit d’observation et d’identification des points d’attaque actuels des agents. » Il précise que cela demande une grande vigilance pour analyser les sources et reconnaît qu’il existe une lacune sur le marché que « de nombreuses entreprises promettent de combler, mais très peu y parviennent réellement », tout en soulignant qu’il est important pour les défenseurs d’identifier les éléments de leur pile technologique qui manquent de visibilité sur les agents.  

Si la multiplication des agents d'IA et toutes les conséquences de l'IA de pointe observées ces derniers mois laissent de nombreuses questions sans réponse pour les responsables de la sécurité, M. Howe recommande toutefois de se poser certaines questions pour s'engager sur la bonne voie.  

• Comment pourrais-je savoir si un agent IA a usurpé une identité et s'est déplacé vers une nouvelle partie de l'environnement ?  

• Comment pourrais-je suivre ce mouvement ?  

• Que cela me coûterait-il, que je puisse ou non le suivre ?

‍