Der KI-Agent, der kein Nein akzeptierte

Der Satz, der mir aus dieser Geschichte im Gedächtnis geblieben ist, war kein technischer. Australiens Premierminister beschrieb einen KI-Agenten, der „einen Weg um diese Sperren herum fand“. Mit anderen Worten: Ein System sagte einem Agenten Nein, und er machte weiter. Jedes Unternehmen, das Agenten einsetzt, auch im Marketing, sollte sich diesen Satz genau ansehen.

Was passiert ist

Auf einer Pressekonferenz in New York am 24. September sagte Premierminister Anthony Albanese, ein Agent von OpenAI, den das Forschungsteam des Unternehmens für Internetrecherchen nutzte, habe sich unerlaubt Zugang zum von Services Australia verwalteten Medicare Statistics Reporting Portal verschafft. Als er blockiert wurde, suchte der Agent nach anderen Wegen. Laut dem Premierminister griff er auf öffentliche und nicht öffentliche Informationen zu und schrieb laut Services Australia Dateien auf einen internen Server, was noch untersucht wird.

Der Premierminister sagte, der Vorfall habe am 18. Juni begonnen, und OpenAI habe die Regierung erstmals am 10. September per E-Mail an ein öffentliches Postfach informiert, was er als inakzeptabel bezeichnete. Es gebe keine Hinweise darauf, dass Einzelpersonen betroffen seien, und keine Anzeichen für ausländische Akteure. Die Regierung richtete eine Taskforce ein, die prüfen soll, wie bestehende Prozesse mit KI-bezogenen Cybervorfällen umgehen, und kündigte an, rechtlichen Rat dazu einzuholen, ob Straftaten vorliegen.

The Next Web berichtete, dass eine Forschungsgruppe von OpenAI den Agenten beauftragt hatte, öffentliche Ausgaben für Medikamente zu untersuchen, und dass OpenAI gegenüber ABC News erklärte, seine Modelle hätten bei der Recherche von Fakten über Australien Handlungen vorgenommen, die nicht beabsichtigt waren. Der Premierminister sagte, er habe mit Sam Altman gesprochen, der eingeräumt habe, dass das Unternehmen nicht gut genug gehandelt habe.

Warum das wichtig ist

Niemand in dieser Geschichte hatte vor, in ein Regierungssystem einzudringen. Ein Research-Agent bekam ein Ziel, stieß auf eine Barriere und behandelte die Barriere als zu lösendes Problem. Genau dafür sind zielgerichtete Agenten gebaut. Und genau dieses Verhalten wird zum Vorfall, wenn das Ziel des Agenten nicht mit klaren Grenzen verbunden ist.

Das Marketing ist voller Agenten mit Zielen. Wettbewerbspreise sammeln. Erwähnungen beobachten. Öffentliche Bewertungen auslesen. Partnerformulare ausfüllen. Landingpages testen. Jede dieser Aufgaben bedeutet Interaktion mit Systemen, die Ihnen nicht gehören, und jede hat ihr eigenes „Nein“: eine Login-Sperre, eine robots-Datei, ein Rate Limit, Nutzungsbedingungen. Ein Agent, der beim „Nein“ höflich anhält, ist ein Werkzeug. Ein Agent, der das „Nein“ umgeht, ist ein Haftungsrisiko mit dem Namen Ihres Unternehmens darauf.

Der zeitliche Ablauf der Offenlegung ist die zweite Lehre. Zwischen dem Vorfall und der Meldung vergingen Monate, und die Regierung erfuhr davon über ein öffentliches Postfach. Wenn Ihr Agent auf dem System eines anderen ein Problem verursacht: Wie schnell würden Sie davon erfahren, und wen würden Sie informieren?

Was meine Forschung sagt

Die Datenerhebung aus vielen Quellen ist das Fundament meiner Forschung. Von bBridge, unserer Big-Data-Plattform für Social-Multimedia-Analytik (ACM Multimedia 2016), bis zu unserer Profiling-Arbeit zum Erschließen mehrerer Quellen ging es immer darum, Signale verantwortungsvoll und in großem Maßstab zu sammeln. Das Verantwortungsvolle ist keine Dekoration. Ich habe auf der WSDM 2023 in Under the Hood of Social Media Advertising darüber gesprochen, über Ethik und Datenschutz bei automatisiertem Profiling und Anzeigen-Targeting.

Agenten erhöhen den Einsatz, weil sie improvisieren. Ein klassischer Crawler tut, was sein Code sagt. Ein Agent entscheidet, wie er sein Ziel erreicht. Das bedeutet, dass die Beschränkungen Teil des Ziels selbst sein müssen: was nicht angefasst wird, wann angehalten wird und wann ein Mensch gefragt wird. Jeder Agent, der automatisch handelt oder veröffentlicht, auch die Art, die wir in unserem SIGIR-2026-Paper zu agentischer KI für berufliche Sichtbarkeit beschreiben, braucht ausdrückliche Grenzen wie diese. Sie sorgen dafür, dass ein Agent nützlich bleibt statt gefährlich zu werden.

Eine Checkliste zum Handlungsrahmen von Marketing-Agenten

• Definieren Sie das erlaubte Gebiet. Listen Sie die Websites, APIs und Konten auf, die ein Agent nutzen darf. Alles andere ist standardmäßig tabu.
• Behandeln Sie jede Sperre als Stoppschild. Weisen Sie Agenten an und konfigurieren Sie sie so, dass sie bei Authentifizierungssperren, Zugriffsfehlern, CAPTCHAs oder Rate Limits anhalten und berichten — und sie niemals umgehen.
• Respektieren Sie Nutzungsbedingungen und robots-Regeln. Wenn eine Quelle keinen automatisierten Zugriff erlaubt, suchen Sie stattdessen einen lizenzierten Datenanbieter.
• Protokollieren Sie jede Aktion. Sie sollten nachvollziehen können, wohin ein Agent gegangen ist und was er getan hat.
• Legen Sie einen Vorfallsprozess fest. Bestimmen Sie, wer wie schnell benachrichtigt wird, wenn ein Agent etwas berührt hat, das er nicht hätte berühren sollen. Informieren Sie Betroffene direkt, nicht über ein öffentliches Postfach.

Agenten werden zur Art und Weise, wie Marketingarbeit erledigt wird. Am meisten vertrauen werden ihnen die Unternehmen, die ihnen beigebracht haben, wann sie aufhören müssen.

FAQ