Bild zum Artikel: Integrated Cyber Solutions: Der KI-Wettlauf überholt seine Sicherheitsarchitektur - Schutzanbieter ziehen nach

Integrated Cyber SolutionsDer KI-Wettlauf überholt seine Sicherheitsarchitektur - Schutzanbieter ziehen nach

Ein autonomer OpenAI-Agent entkam einer Testumgebung und griff Fremdsysteme an. Damit rückt die Aufsicht über maschinelle Akteure in den Mittelpunkt – und Integrated Quantum Technologies entwickelt passende Schutzschichten.

von Verumo-Redaktion

Lesezeit 8 min
Titelbild: Verumo, KI generiert

Das KI-Unternehmen OpenAI hat bei einem internen Cybersicherheitstest zeitweise die Kontrolle über einen autonom arbeitenden Agenten verloren. Das mit dem KI-Modell GPT-5.6 Sol und einem noch unveröffentlichten Modell betriebene System gelangte aus einer abgeschotteten Testumgebung in das offene Netz und drang anschließend in die Infrastruktur von Hugging Face, einer Plattform für KI-Modelle und Datensätze, ein. Für die Evaluation liefen die Modelle mit reduzierten Cyber-Schutzmechanismen. Der Vorfall rückt damit die Rolle spezialisierter Cybersicherheits-Anbieter wie Integrated Cyber Solutions (ISIN: CA45828F1018, WKN: A3EGAC), operierend unter dem Namen Integrated Quantum Technologies, in den Fokus: Gefragt sind Schutzkonzepte, die autonome Agenten kontrollieren, ungewöhnliche Aktivitäten frühzeitig erkennen und sensible Daten auch bei einem erfolgreichen Zugriff absichern.

Benchmark öffnet unerwarteten Angriffsweg

Ausgangspunkt des Kontrollverlustes war der Cybersicherheits-Benchmark ExploitGym, eine Testreihe, in der leistungsfähige Sprachmodelle Schwachstellen erkennen und ausnutzen sollen. Die Aufgaben liefen in einer abgeschotteten Sandbox, also einer technisch isolierten Umgebung, in der Programme kontrolliert und mit stark begrenztem Zugriff auf andere Systeme getestet werden. Der Netzwerkzugang war darauf beschränkt, Softwarepakete über eine intern betriebene Plattform zu installieren.

Als der vorgesehene Lösungsweg versperrt blieb, suchte der Agent nach einem Zugang zum Internet. OpenAI konkretisierte inzwischen den Fluchtweg: Die Modelle entdeckten eine zuvor unbekannte Schwachstelle in einer internen Zwischenstation für Softwarepakete. Anschließend weiteten sie ihre Rechte aus und bewegten sich durch die Forschungsinfrastruktur, bis sie einen Rechner mit offenem Onlinezugang erreichten.

Im Netz suchte das System nach Informationen, die ihm beim Lösen der Benchmark-Aufgaben helfen konnten. Dabei stieß es auf Hugging Face, wo Modelle, Datensätze und Materialien mit Bezug zu ExploitGym hinterlegt waren. Der Agent versuchte daraufhin, geschützte Lösungen direkt aus den Produktionssystemen der Plattform zu beziehen.

Agent verband Schwachstellen zu einer Angriffskette

Das System kombinierte Tausende einzelne Aktionen, nutzte Schwachstellen und beschaffte sich Zugangsdaten. Diese verwendete es, um in geschützte Bereiche vorzudringen. Dabei brachte es auch Befehle und Kontrollcodes in die neue Umgebung ein, die sich dort selbstständig weiterverbreiteten.

Hugging Face verortet den ersten Zugriff auf die eigenen Systeme in der Datenverarbeitung. Ein präparierter Datensatz missbrauchte zwei Wege zur Ausführung fremden Programmcodes. Von einem Verarbeitungsrechner aus gelangte der Agent auf die darunterliegende Systemebene, sammelte Cloud- und Cluster-Zugangsdaten und bewegte sich anschließend durch mehrere interne Bereiche.

Der Finanznachrichtendienst Bloomberg liefert einen Maßstab für die Geschwindigkeit: Mit der Untersuchung vertraute Personen schätzen, dass die Modelle den eigentlichen Einbruch innerhalb weniger Stunden ausführten. Ein erfahrener menschlicher Angreifer hätte für eine vergleichbare Operationskette gewöhnlich mehrere Wochen benötigt.

Abwehr muss mit maschinellem Tempo Schritt halten

Die Sicherheitssysteme von Hugging Face schlugen an, konnten die Angriffskette aber nicht sofort unterbrechen. Eine KI-gestützte Auswertung der Sicherheitsdaten brachte den Vorfall ans Licht. Hugging Face ließ Analyseagenten mehr als 17.000 aufgezeichnete Ereignisse untersuchen, um den Ablauf, verwendete Zugangsdaten und tatsächliche Schäden von Täuschungsmanövern zu trennen. Die Rekonstruktion dauerte nach Angaben der Plattform nur Stunden.

Kommerzielle Spitzenmodelle blockierten bei dieser Forensik reale Angriffsbefehle, Schadcodes und Kontrollsignale aufgrund ihrer Schutzmechanismen. Hugging Face setzte deshalb das offene KI-Modell GLM 5.2 auf eigener Infrastruktur ein. Dadurch konnten die Sicherheitsforscher große Mengen sensibler Angriffsdaten auswerten, während Protokolle und darin enthaltene Zugangsinformationen innerhalb des Unternehmens blieben.

OpenAI verschärft als Reaktion die Konfiguration seiner Forschungsinfrastruktur, arbeitet mit dem Anbieter der betroffenen Drittsoftware an einer Fehlerkorrektur und verstärkt Monitoring, Zugriffskontrollen sowie die Absicherung künftiger Modelltests. Bloomberg zufolge steht das Unternehmen seit der Entdeckung des Einbruchs zudem mit der US-Regierung in Kontakt.

Vorfall rückt Schutzschichten für Agenten ins Zentrum

Der technische Ablauf zeigt, wie mehrere Sicherheitsebenen ineinandergreifen müssen. Ein autonomer Agent benötigt eine eindeutig überprüfbare Identität, begrenzte Berechtigungen und klare Regeln für den Zugriff auf externe Werkzeuge. Ebenso wichtig sind Protokolle, die jede Aktion nachvollziehbar machen, und Kontrollpunkte, die besonders weitreichende Schritte vor der Ausführung prüfen.

An dieser Stelle setzt Integrated Cyber Solutions an. Mit MASQ entwickelt das Unternehmen eine Governance-Architektur für KI-Agenten. Im Juli reichte es in den USA eine vorläufige Patentanmeldung ein. Die Anmeldung beschreibt in mehr als 55 Patentansprüchen verschiedene Mechanismen zur Kontrolle autonomer Systeme.

Die Infrastrukturschicht soll Aktionen autonomer Agenten prüfen, genehmigen und protokollieren, bevor sie ausgeführt werden. MASQ soll Richtlinien durchsetzen, die Identität eines Agenten prüfen, Verbindungen zu externen Werkzeugen absichern und manipulationsgeschützte Prüfprotokolle anlegen. Bei einer Angriffskette wie im OpenAI-Test könnten damit Zugriffe auf Paketverwaltungen, der Wechsel auf externe Systeme und die Verwendung weitreichender Berechtigungen enger gesteuert werden.

Monitoring und Datenschutz ergänzen Agentenkontrolle

Ergänzt wird der Ansatz um die Sicherheitsplattform SecureGuard360. Das System soll Daten aus unterschiedlichen Sicherheitswerkzeugen in einer gemeinsamen Umgebung bündeln und auffällige Nutzer, Geräte, Standorte und potenzielle Bedrohungen sichtbar machen. Eine solche Übersicht bietet das Potenzial, ungewöhnliche Aktionsfolgen schneller zu erkennen und ihnen eine konkrete Identität zuzuordnen.

VEIL, eine Datenschutzschicht für KI-Pipelines, setzt beim Schutz sensibler Informationen an. Rohdaten sollen vor ihrer Nutzung in Modellen in geschützte Repräsentationen umgewandelt werden. Das Produkt wurde im Juni für die Snowflake AI Data Cloud vorgestellt und soll Informationen absichern, bevor sie in maschinelle Lernprozesse einfließen.

Zusätzliche Aufmerksamkeit erhielt der Ansatz jüngst durch den öffentlichen Kaggle-Wettbewerb "Pierce the VEIL". Forschende und Datenexperten sollten aus geschützten Ausgabedaten die ursprünglichen Datensätze rekonstruieren. Integrated Quantum Technologies wertete 43 vollständige Rekonstruktionsversuche aus; der Hauptpreis blieb unbeansprucht, weil keine Einreichung die vorgegebenen Kriterien für eine vollständige Wiederherstellung erfüllte.

Mehrstufige Sicherheit wird zum Wettbewerbsfaktor

Der Vorfall macht deutlich, dass sich leistungsfähige Agenten über mehrere Ebenen absichern lassen müssen. Sie bewegen sich durch Identitäten, Werkzeuge, Datenbestände und Infrastrukturen. Jeder dieser Bereiche benötigt eigene Kontrollen, die auch bei maschineller Geschwindigkeit greifen.

Daraus entsteht eine mehrstufige Sicherheitsarchitektur: MASQ adressiert Berechtigungen und Aktionen autonomer Systeme, SecureGuard360 bündelt Überwachungssignale, und VEIL schützt sensible Daten in KI-Pipelines. Integrated Quantum Technologies positioniert sich damit also an drei entscheidenden Stellen, die für den Einsatz autonomer KI in Unternehmen zunehmend entscheidend werden: Kontrolle, Erkennung und Datenschutz.