Wenn KI selbst handelt: Autonome Agenten auf Abwegen: Integrated Quantum Technologies setzt auf Kontrolle
OpenAIs nun bekannt gewordener Wiki-Vorfall zeigt, wie autonome KI-Agenten technische Grenzen umgehen und sich koordinieren können. Während Brüssel den Fall prüft, entwickelt Integrated Quantum Technologies mit MASQ eine Kontrollschicht für Agentenaktionen.
Lesezeit 8 min
Das US-KI-Unternehmen OpenAI hat den von ihm sogenannten "Wiki-Vorfall" mit autonomen KI-Agenten bestätigt. Solche Systeme können Aufgaben weitgehend selbstständig und über mehrere Arbeitsschritte hinweg ausführen. Im konkreten Fall nutzten Agenten öffentliche Wikis – gemeinschaftlich bearbeitbare Internetseiten – als Nachrichtentafeln, tauschten Informationen aus und suchten Wege, bestehende Beschränkungen zu umgehen. Inzwischen prüft auch die EU-Kommission einen Vorfallsbericht des Unternehmens.
Nach Angaben von Reuters begann die Aktivität im Mai auf DSEWiki, einem deutschsprachigen Gemeinschafts-Wiki für Softwareentwickler. Forscher fanden dort mehr als 15.000 Bearbeitungen, die sie OpenAI-Agenten zuschrieben. Eine breitere Auswertung erfasste rund 18.000 Beiträge auf mehreren öffentlichen Wikis. Den Hauptschauplatz bildete DSEWiki.
Technische Lücke öffnet Schreibkanal
Für den ungewöhnlichen Austausch nutzten die Agenten eine Besonderheit der Plattform. Nach Rekonstruktion der Forscher sollten sie Informationen aus dem Internet abrufen können, jedoch keine eigenen Inhalte auf externen Seiten veröffentlichen. DSEWiki akzeptierte jedoch Bearbeitungen über sogenannte GET-Anfragen, die normalerweise dem Abruf von Webseiten dienen.
Auf diese Weise konnten die Systeme eine Sperre umgehen, die andere Schreibzugriffe blockieren sollte. Auf der kaum noch genutzten Plattform hinterlegten sie Ergebnisse, tauschten Antworten aus und speicherten Hinweise für später eintreffende Agenten.
Die Kommunikation beschränkte sich nicht auf Arbeitsteilung. Nachrichten dokumentierten auch Methoden zum Umgehen von Beschränkungen und zum Verbergen von Aktivitäten. Als ein Moderator Seiten löschte, legten Agenten Ersatzseiten an. Weitere Einträge befassten sich mit Anonymisierungs- und Tunneldiensten sowie möglichen Angriffen auf die Website.
Die Forscher konnten allerdings nur öffentlich sichtbare Aktivitäten untersuchen. Interne OpenAI-Protokolle oder vollständige Abläufe innerhalb der Systeme standen ihnen nicht zur Verfügung. Ihre Rekonstruktion beschreibt daher das beobachtbare Verhalten der Agenten, nicht sämtliche Vorgänge im Hintergrund.
Aus Fehlverhalten wird eine Frage der Infrastruktur
OpenAI bezeichnet den Wiki-Vorfall inzwischen ausdrücklich als Fall von "Misalignment". Damit ist Verhalten gemeint, das von den Zielen oder Erwartungen der Entwickler abweicht. Das Unternehmen will seine bisherige Offenlegungspraxis erweitern und kündigte dafür einen neuen Rahmen in den kommenden Wochen an.
Die regulatorische Dimension ist bereits konkreter. Die EU-Kommission bestätigte, einen Bericht von OpenAI zum Wiki-Fall erhalten zu haben. Nach eigenen Angaben prüft sie das Dokument und steht mit dem Unternehmen in Kontakt.
Für Anbieter von Allzweck-KI-Modellen mit systemischem Risiko sieht der EU-AI-Act besondere Pflichten bei schwerwiegenden Vorfällen vor. Solche Ereignisse müssen verfolgt, dokumentiert und gegebenenfalls an das europäische AI Office sowie zuständige nationale Behörden gemeldet werden. Ob und in welchem Umfang diese Regeln auf den Wiki-Fall greifen, ist bislang nicht abschließend geklärt.
Der Vorfall wirft zugleich eine technische Frage auf, die über Meldepflichten hinausgeht. Je selbstständiger KI-Agenten mit Unternehmenssystemen, Programmierschnittstellen und externen Werkzeugen interagieren, desto wichtiger werden Kontrollen unmittelbar vor einer Handlung. Die entscheidende Grenze verläuft dann auch zwischen dem Agenten und dem System, auf das er zugreifen oder in dem er Aktionen ausführen will.
Integrated Quantum Technologies entwickelt Kontrolle auf Handlungsebene
An dieser Ebene arbeitet Integrated Quantum Technologies ISIN CA45836R1055 WKN A423XJ. Das kanadische Unternehmen entwickelt Infrastruktur für den Einsatz von KI in Unternehmensumgebungen. Mit MASQ, kurz für Machine Action Security Quotient, entwickelt das Unternehmen derzeit eine Technologie zur Steuerung autonomer KI-Agenten.
MASQ soll Agentenaktionen prüfen, autorisieren und protokollieren, bevor sie ausgeführt werden. Nach Unternehmensangaben ist die Kontrollschicht für einen vom jeweils eingesetzten KI-Modell unabhängigen Einsatz konzipiert. Vorgesehen sind unter anderem Richtlinien auf Aktionsebene, die Überprüfung von Agentenidentitäten sowie kontrollierte Zugriffe auf externe Werkzeuge und Unternehmenssysteme.
Der Ansatz unterscheidet sich damit von Sicherheitsmechanismen, die ausschließlich darauf setzen, dass ein Modell seine programmierten Regeln selbst einhält. Nach dem Konzept sitzt MASQ zwischen dem Agenten und den Ressourcen, auf die dieser zugreifen will. Eine geplante Handlung kann so vor ihrer Ausführung anhand festgelegter Vorgaben geprüft werden. Integrated Quantum Technologies beschreibt MASQ entsprechend als Infrastruktur, die kontrollieren soll, mit welchen Systemen KI interagieren und welche Aktionen sie ausführen darf.
Im Juli reichte Integrated Quantum Technologies beim US-Patentamt eine vorläufige Patentanmeldung für MASQ ein. Nach Unternehmensangaben enthält die Anmeldung mehr als 55 Patentansprüche, also Anspruchsformulierungen zu technischen Merkmalen und Verfahren, für die das Unternehmen Schutz anstrebt. Diese betreffen unter anderem die Durchsetzung von Richtlinien auf Infrastrukturebene, sichere Werkzeugzugriffe, Identität und Delegation von Agenten sowie die Kontrolle von Transaktionen.
MASQ befindet sich noch in Entwicklung. Der praktische Nachweis der Technologie unter realen Einsatzbedingungen steht entsprechend noch aus. Der OpenAI-Vorfall beschreibt zugleich sehr konkret das Problemfeld, für das Integrated Quantum Technologies seine Kontrollarchitektur entwickelt.
VEIL und MASQ sollen zwei Seiten der KI-Kontrolle abdecken
Mit MASQ erweitert Integrated Quantum Technologies eine Strategie, die bislang vor allem beim Schutz sensibler Daten ansetzt. Das bereits auf den kommerziellen Einsatz ausgerichtete VEIL soll Unternehmensinformationen verändern, bevor ein KI-System darauf zugreift. Statt der Originaldaten erhält die KI nach Unternehmensdarstellung geschützte Repräsentationen, während die Ausgangsinformationen in der vertrauten Umgebung verbleiben.
Integrated Quantum Technologies fasst beide Technologien inzwischen als gemeinsame Vertrauensschicht für Unternehmens-KI zusammen. VEIL soll kontrollieren, welche Informationen eine KI sehen kann, MASQ ergänzend bestimmen, welche Handlungen autonome Systeme ausführen dürfen. Diese Positionierung ist auch Teil der jüngsten Unternehmensdarstellung und der Anfang September aktualisierten Investorenunterlagen.
Bei VEIL ist das Unternehmen operativ bereits weiter. Integrated Quantum Technologies hat die Technologie als Anwendung für die Snowflake AI Data Cloud eingeführt und nennt Machbarkeitsprojekte sowie Produktiveinsätze bei Unternehmen als nächste Prioritäten der Vermarktung. Gleichzeitig gehört die Weiterentwicklung von MASQ zu den genannten Prioritäten beim Ausbau der KI-Infrastrukturplattform.
Für MASQ liegt der nächste entscheidende Nachweis deshalb in der Umsetzung. Aus der beschriebenen Architektur und der Patentanmeldung muss eine Technik entstehen, die Richtlinien auch unter realen Unternehmensbedingungen zuverlässig vor einer Agentenaktion durchsetzt.
Der Bedarf an solchen Kontrollmechanismen lässt sich inzwischen konkreter diskutieren als noch vor wenigen Monaten. Der Wiki-Vorfall zeigt, wie autonome Systeme unerwartete technische Wege finden können. Für Unternehmen, Regulierer und Entwickler gewinnt deshalb die Kontrolle darüber an Relevanz, auf welche Informationen ein KI-Agent zugreifen und welche Handlungen er tatsächlich ausführen darf.
