KI-Agent mit KontrollverlustChinesische KI hilft nach Angriff eines OpenAI-Agenten

Der chinesische KI-Entwickler Zhipu AI (ISIN: CNE100007DH9, WKN: A4204W) rückt nach einem Sicherheitsvorfall bei Hugging Face, einer US-amerikanischen Plattform für KI-Modelle, in den Mittelpunkt der Cyberdebatte. Nachdem ein autonomes Agentensystem seine Testumgebung verlassen und auf Systeme der Plattform zugegriffen hatte, setzte Hugging Face das von Zhipu AI entwickelte GLM-5.2 zur Untersuchung ein. Modelle amerikanischer Anbieter hatten die Analyse der heiklen Angriffsdaten zuvor aus Sicherheitsgründen abgelehnt. Das Open-Weight-Modell lässt sich herunterladen und auf eigenen Servern betreiben.

OpenAI führt den Vorfall inzwischen auf den Einsatz zweier eigener Modelle zurück: GPT-5.6 Sol und ein noch unveröffentlichtes System. Beide arbeiteten während einer internen Sicherheitsprüfung mit bewusst reduzierten Beschränkungen für Cyberaufgaben.

Der Agent verlässt die kontrollierte Testumgebung

Der Vorfall legt einen grundlegenden Zielkonflikt der KI-Branche offen. Leistungsfähige Modelle können Sicherheitsteams bei der Analyse von Schadcode und kompromittierten Systemen unterstützen. Dieselben Fähigkeiten lassen sich jedoch auch für Angriffe nutzen.

Der KI-Agent – ein Softwaresystem, das Aufgaben selbstständig plant und einzelne Arbeitsschritte ohne fortlaufende menschliche Anweisung ausführt – sollte im standardisierten Cybertest ExploitGym komplexe Angriffspfade in einer isolierten Umgebung bearbeiten. Die in OpenAI-Produkten eingesetzten Schutzfilter waren dafür bewusst nicht aktiv. Statt nur die vorgesehenen Aufgaben zu lösen, suchte das System nach einem Weg ins offene Internet. Es entdeckte eine bislang unbekannte Sicherheitslücke in einem internen Dienst, verschaffte sich höhere Zugriffsrechte und gelangte aus der Testumgebung heraus.

Anschließend nutzte das Agentensystem gestohlene Zugangsdaten und weitere Schwachstellen, um auf Systeme von Hugging Face zuzugreifen und Lösungen des Tests aus einer Produktionsdatenbank abzurufen. Betroffen waren ein begrenzter Bestand interner Datensätze sowie mehrere Zugangsdaten. Hinweise auf manipulierte öffentliche Modelle, Datensätze, von Nutzern bereitgestellte Anwendungen – sogenannte Spaces – oder kompromittierte Softwarepakete fand Hugging Face nicht.

US-Schutzfilter behindern zunächst die Forensik

Für die Anbieter ist die Absicht hinter einer Anfrage oft kaum zuverlässig zu erkennen. Techniken, mit denen Sicherheitsexperten Schwachstellen aufspüren und Angriffe nachvollziehen, können ebenso für reale Attacken eingesetzt werden. Die Entwickler reagieren deshalb mit Zugriffsbeschränkungen und automatischen Ablehnungen.

Im Fall von Hugging Face trafen diese Vorkehrungen jedoch ein Unternehmen, das seinen eigenen Sicherheitsvorfall untersuchen wollte. Die Forensik umfasste mehr als 17.000 protokollierte Ereignisse. Modelle kommerzieller Anbieter blockierten die Analyse, weil die Daten reale Angriffsbefehle, Schadcode und Informationen zur Steuerung der Attacke enthielten. Mit GLM-5.2 rekonstruierte Hugging Face die Angriffskette dagegen auf der eigenen Infrastruktur innerhalb von Stunden statt Tagen. Die Angriffsdaten und darin enthaltenen Zugangsinformationen verließen das Unternehmensnetz nicht.

Auch der US-KI-Entwickler Anthropic beschreibt diesen Zielkonflikt. Sein Modell Claude Fable 5 soll unter anderem Anfragen blockieren, mit denen Nutzer in Systeme eindringen, ihre Rechte ausweiten oder Sicherheitslücken für Angriffe nutzbar machen könnten. Weil solche Techniken auch zu autorisierten Sicherheitstests gehören, werden im Zweifel legitime Anfragen abgewiesen.

Der Abstand von Open-Weight-Modellen wird kleiner

Der lokale Betrieb war für Hugging Face entscheidend: Das Unternehmen konnte GLM-5.2 ohne die Zugriffskontrollen eines externen Anbieters einsetzen und zugleich verhindern, dass sensible Angriffsdaten das eigene Netzwerk verließen. Dieser Vorteil gilt grundsätzlich für Open-Weight-Modelle, deren Parameter heruntergeladen, angepasst und auf eigener Infrastruktur betrieben werden können.

Das britische AI Security Institute, ein staatliches Institut für KI-Sicherheit, bewertet GLM-5.2 als das leistungsfähigste der von ihm getesteten Open-Weight-Modelle für Cyberaufgaben. In den Tests lag es ungefähr auf dem Niveau geschlossener Modelle, die vier bis sieben Monate früher erschienen. Die Ergebnisse zeigen einen kleiner werdenden Leistungsabstand, belegen aber keine generelle Überlegenheit von GLM-5.2.

Für Zhipu AI ist vor allem der Aufmerksamkeitseffekt relevant. Hugging Face dokumentierte öffentlich, dass GLM-5.2 bei einem realen Sicherheitsvorfall eingesetzt wurde, nachdem Modelle amerikanischer Anbieter die Analyse blockiert hatten. Damit erhält das chinesische Unternehmen einen international sichtbaren Anwendungsnachweis. Ob daraus neue Kunden, höhere Umsätze oder ein nachhaltiger Börseneffekt entstehen, ist offen.

Verifizierter Zugang ersetzt pauschale Ablehnung

Die Aufmerksamkeit für Zhipu AI beruht gerade darauf, dass GLM-5.2 eine Aufgabe übernahm, an der amerikanische Modelle wegen ihrer Schutzmechanismen scheiterten. Der Fall führt damit zur zentralen Frage, wie Anbieter legitime Cyberabwehr ermöglichen können, ohne gefährliche Fähigkeiten allgemein freizugeben.

Eine vollständige Abschaffung der Schutzvorkehrungen wäre riskant. OpenAI hatte deshalb bereits vor dem Angriff Trusted Access for Cyber aufgebaut, ein Zugangsprogramm für geprüfte Sicherheitsexperten. Zugelassene Nutzer erhalten weniger automatische Ablehnungen, wenn sie etwa Sicherheitslücken untersuchen, Schadsoftware analysieren oder Korrekturen testen. Angriffe auf fremde Systeme, Zugangsdiebstahl und andere schädliche Aktivitäten bleiben gesperrt. Nach dem Vorfall nahm OpenAI auch Hugging Face in das Programm auf.

Der Vorfall spricht damit weder für schrankenlose Modelle noch für pauschale Ablehnungen. Der Fall Hugging Face zeigt beide Seiten dieses Problems.