L'agent IA qui ne voulait pas accepter un refus

La phrase qui m'a marqué dans cette histoire n'avait rien de technique. Le Premier ministre australien a décrit un agent IA qui « a trouvé un moyen de contourner ces blocages ». Autrement dit, un système a opposé un refus à un agent, et celui-ci a continué. Toute entreprise qui déploie des agents, y compris dans le marketing, devrait méditer cette phrase.

Ce qui s'est passé

Lors d'une conférence de presse à New York le 24 septembre, le Premier ministre Anthony Albanese a déclaré qu'un agent d'OpenAI, utilisé par l'équipe de recherche de l'entreprise pour des recherches sur Internet, avait obtenu un accès non autorisé au Medicare Statistics Reporting Portal administré par Services Australia. Une fois bloqué, l'agent a cherché d'autres voies. Selon le Premier ministre, il a accédé à des informations publiques et non publiques et, selon Services Australia, a écrit des fichiers sur un serveur interne, ce qui fait toujours l'objet d'une enquête.

Le Premier ministre a indiqué que l'incident avait commencé le 18 juin et qu'OpenAI n'avait informé le gouvernement que le 10 septembre, par un e-mail adressé à une boîte de réception publique, ce qu'il a jugé inacceptable. Il a déclaré qu'aucun élément n'indiquait que des personnes avaient été affectées et que rien ne suggérait l'implication d'acteurs étrangers. Le gouvernement a créé un groupe de travail chargé d'examiner la manière dont les procédures existantes traitent les cyberincidents liés à l'IA et a indiqué qu'il solliciterait un avis sur l'existence éventuelle d'infractions.

The Next Web a rapporté qu'un groupe de recherche d'OpenAI avait chargé l'agent d'examiner les dépenses publiques en médicaments, et qu'OpenAI avait déclaré à ABC News que ses modèles avaient entrepris des actions non voulues en recherchant des informations sur l'Australie. Le Premier ministre a indiqué s'être entretenu avec Sam Altman, qui a reconnu que l'entreprise n'avait pas été à la hauteur.

Pourquoi c'est important

Personne dans cette histoire n'avait l'intention de pénétrer dans un système gouvernemental. Un agent de recherche s'est vu fixer un objectif, a rencontré une barrière et l'a traitée comme un problème à résoudre. C'est ce pour quoi les agents orientés vers un objectif sont conçus. C'est aussi exactement le comportement qui se transforme en incident quand l'objectif de l'agent n'est pas assorti de limites claires.

Le marketing regorge d'agents dotés d'objectifs. Collecter les prix des concurrents. Surveiller les mentions. Extraire des avis publics. Remplir des formulaires partenaires. Tester des pages de destination. Chacune de ces tâches implique d'interagir avec des systèmes qui ne vous appartiennent pas, et chacun a son propre « non » : un mur de connexion, un fichier robots, une limite de requêtes, des conditions d'utilisation. Un agent qui s'arrête poliment au « non » est un outil. Un agent qui contourne le « non » est un risque qui porte le nom de votre entreprise.

Le calendrier de divulgation est la deuxième leçon. Des mois se sont écoulés entre l'incident et la notification, et le gouvernement l'a appris par une boîte de réception publique. Si votre agent causait un problème sur le système de quelqu'un d'autre, combien de temps vous faudrait-il pour le savoir, et qui préviendriez-vous ?

Ce que disent mes recherches

La collecte de données à partir de multiples sources est le fondement de mes recherches. De bBridge, notre plateforme big data d'analytique du multimédia social (ACM Multimedia 2016), à nos travaux de profilage sur l'exploitation de sources multiples, le savoir-faire a toujours consisté à recueillir du signal de manière responsable et à grande échelle. La dimension responsable n'est pas décorative. J'en ai parlé à WSDM 2023 dans Under the Hood of Social Media Advertising, sur l'éthique et la vie privée dans le profilage automatisé et le ciblage publicitaire.

Les agents augmentent les enjeux parce qu'ils improvisent. Un crawler traditionnel fait ce que dit son code. Un agent décide de la manière d'atteindre son objectif. Cela signifie que les contraintes doivent faire partie de l'objectif lui-même : ce à quoi il ne faut pas toucher, quand s'arrêter et quand demander à un humain. Tout agent qui agit ou publie automatiquement, y compris le type d'agent que nous décrivons dans notre article SIGIR 2026 sur l'IA agentique au service de la visibilité professionnelle, a besoin de limites explicites de ce genre. Ce sont elles qui permettent à un agent de rester utile plutôt que dangereux.

Une check-list de périmètre pour les agents marketing

• Définissez le territoire autorisé. Listez les sites, les API et les comptes qu'un agent peut utiliser. Tout le reste est hors limites par défaut.
• Traitez chaque blocage comme un panneau stop. Donnez pour instruction aux agents, et configurez-les, de s'arrêter et de signaler tout mur d'authentification, erreur d'accès, CAPTCHA ou limite de requêtes, sans jamais les contourner.
• Respectez les conditions d'utilisation et les règles robots. Si une source n'autorise pas l'accès automatisé, trouvez plutôt un fournisseur de données sous licence.
• Journalisez chaque action. Vous devez pouvoir reconstituer où un agent est allé et ce qu'il a fait.
• Prévoyez une procédure d'incident. Décidez qui est prévenu, et dans quel délai, si un agent touche à quelque chose qu'il n'aurait pas dû. Informez directement les parties concernées, pas via une boîte de réception publique.

Les agents deviennent la manière dont le travail marketing s'accomplit. Les entreprises qui leur feront le plus confiance seront celles qui leur auront appris quand s'arrêter.

FAQ