Petite expérience menée et publiée en préprint en début d’année 2026:
« We report an exploratory red-teaming study of autonomous language-model-powered agents deployed in a live laboratory environment with persistent memory, email accounts, Discord access, file systems, and shell execution. Over a two-week period, twenty AI researchers interacted with the agents under benign and adversarial conditions. Focusing on failures emerging from the integration of language models with autonomy, tool use, and multi-party communication, we document eleven representative case studies. Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover. In several cases, agents reported task completion while the underlying system state contradicted those reports. We also report on some of the failed attempts. Our findings establish the existence of security-, privacy-, and governance-relevant vulnerabilities in realistic deployment settings. These behaviors raise unresolved questions regarding accountability, delegated authority, and responsibility for downstream harms, and warrant urgent attention from legal scholars, policymakers, and researchers across disciplines. This report serves as an initial empirical contribution to that broader conversation. »
Traduction Googletrad:
« Nous présentons une étude exploratoire de type « red teaming » portant sur des agents autonomes, basés sur des modèles de langage, déployés dans un environnement de laboratoire réel avec mémoire persistante, comptes de messagerie, accès à Discord, systèmes de fichiers et exécution de commandes shell. Pendant deux semaines, vingt chercheurs en IA ont interagi avec ces agents dans des conditions à la fois bienveillantes et hostiles. En nous concentrant sur les défaillances résultant de l’intégration des modèles de langage avec l’autonomie, l’utilisation d’outils et la communication multipartite, nous documentons onze études de cas représentatives. Parmi les comportements observés figurent l’obéissance non autorisée à des tiers, la divulgation d’informations sensibles, l’exécution d’actions système destructrices, des attaques par déni de service, une consommation incontrôlée de ressources, des vulnérabilités d’usurpation d’identité, la propagation inter-agents de pratiques dangereuses et la prise de contrôle partielle du système. Dans plusieurs cas, les agents ont signalé l’achèvement de tâches alors que l’état du système sous-jacent contredisait ces déclarations. Nous rapportons également certains échecs. Nos résultats établissent l’existence de vulnérabilités critiques en matière de sécurité, de confidentialité et de gouvernance dans des contextes de déploiement réalistes. Ces comportements soulèvent des questions non résolues concernant la responsabilité, la délégation de pouvoirs et la prise en charge des préjudices indirects, et exigent une attention urgente de la part des juristes, des décideurs politiques et des chercheurs de toutes les disciplines. Ce rapport constitue une première contribution empirique à ce débat plus large. »
Vu que l’usage de l’IA militaire va se développer…le false-flag et le NRBC vont vite entrer dans la danse!
