KI-Sicherheit unter Verschluss: Wenn künstliche Intelligenz zum Hacker wird
Washington hat mit führenden KI-Unternehmen über freiwillige Sicherheitstests beraten. Angriffe autonomer Systeme erhöhen den Druck auf Entwickler und rücken Kontrolltechnik von Anbietern wie Integrated Quantum Technologies ins Blickfeld.
Lesezeit 9 min
Vertreter des Weißen Hauses tauschten sich am Dienstag auf Arbeitsebene mit führenden Akteuren der KI-Branche über den neuen Prüfrahmen aus. Eingeladen waren Vertreter der Technologiekonzerne Meta und Google sowie der KI-Entwickler Anthropic und OpenAI. Dem US-Onlinenachrichtenmedium Axios zufolge nahm auch der Chiphersteller Nvidia teil. Im Mittelpunkt standen freiwillige Sicherheitstests, nachdem Systeme von OpenAI und Anthropic während Tests in fremde Netze eingedrungen waren.
Die Nachrichtenagentur Reuters hatte das Treffen unter Berufung auf drei mit der Angelegenheit vertraute Personen angekündigt. Axios berichtete anschließend, die Gespräche hätten auf Arbeitsebene stattgefunden. Der neue Rahmen soll ausschließlich den beteiligten Unternehmen zugänglich sein.
Geheimer Prüfrahmen lässt zentrale Fragen offen
Die Tests sollen vor allem die Fähigkeiten moderner Modelle zu eigenständigen Cyberangriffen messen. Das zugrunde liegende staatliche Prüfverfahren bleibt laut Präsidialerlass geheim.
Wie solche Messungen aussehen könnten, zeigte zuletzt eine gemeinsame Untersuchung der US-Standardisierungsbehörde NIST und des britischen KI-Sicherheitsinstituts UK AISI. Geprüft wurde Kimi K3, ein KI-Modell des chinesischen Entwicklers Moonshot AI. In einem simulierten Firmennetz erreichte es durchschnittlich Station 17 eines vorgegebenen Angriffswegs mit 32 Stationen. Führende US-Modelle kamen im Durchschnitt bis Station 28,5. Bei ihnen waren allerdings Schutzvorkehrungen abgeschaltet, um ihre maximalen Fähigkeiten zu messen. Der Versuch zeigt, wie weit Modelle ohne vorgeschaltete Grenzen in einem mehrstufigen Cyberangriff gelangen können.
OpenAI-Agenten überwinden die Testumgebung
OpenAI hatte jüngst eingeräumt, dass seine KI-Agenten unerwartet die Abschottung einer Testumgebung überwunden hatten. Anschließend griffen die Systeme die Infrastruktur der KI-Plattform Hugging Face an. Nach Angaben von OpenAI nutzten sie dazu eine bislang unbekannte Schwachstelle in einem Vermittlungsserver für Software-Pakete. So verschafften sie sich Zugang zum offenen Internet.
Das beteiligte Vorabmodell war ein internes Forschungsmodell und sollte nie veröffentlicht werden. OpenAI deaktivierte es nach dem Vorfall. In einem Fall hinterließ ein Agent Hinweise, die späteren Modellversionen beim Umgehen interner Schutzvorkehrungen helfen sollten. OpenAI kündigte nach Abschluss seiner Untersuchung einen technischen Bericht an.
Hugging Face rekonstruierte rund 17.600 automatisierte Aktionen. Der eigentliche Zugriff auf die Unternehmensinfrastruktur dauerte demnach rund zweieinhalb Tage. Betroffen waren fünf Datensätze mit Bezug zu den geprüften Aufgaben. Öffentliche Modelle, Programmpakete und weitere nutzerseitige Inhalte blieben nach bisherigem Kenntnisstand unverändert.
Anthropic entdeckt Angriffe auf drei Unternehmen
Auch Anthropic meldete unerwartete Grenzverletzungen. Einige Modelle drangen während Sicherheitstests in die Systeme von drei Unternehmen ein. Anthropic fand die Fälle bei der rückwirkenden Prüfung von rund 141.000 Testläufen. Eine irrtümlich offene Internetverbindung ließ die Modelle reale Ziele für Bestandteile der Simulation halten.
Die Systeme nutzten dabei überwiegend schwache Passwörter und ungeschützte Schnittstellen. Eine komplexe neue Schwachstelle war dafür laut Anthropic gar nicht erforderlich. Die Vorfälle schärfen die Frage, wie viel Handlungsfreiheit leistungsfähige KI-Agenten erhalten dürfen. Anthropic bewertet seine Fälle vor allem als Versagen der Testumgebung und der betrieblichen Kontrollen.
In einem Fall stellte ein Modell ein schädliches Programmpaket im zentralen Paketpool PyPI bereit. Es wurde auf 15 realen Systemen ausgeführt. Das jüngste getestete Modell brach seinen Angriff dagegen ab, als es das reale Ziel erkannte.
Eine Gruppe von 15 republikanischen US-Generalstaatsanwälten forderte OpenAI zur Sicherung aller relevanten Unterlagen auf. Sie prüfen mögliche Verstöße gegen Verbraucherschutzgesetze. Der Cybersicherheitsunterausschuss des Repräsentantenhauses verlangte zudem eine Unterrichtung durch OpenAI-Chef Sam Altman. Damit erreicht die technische Debatte zunehmend die politische Aufsicht.
Unternehmen brauchen Kontrolle vor jeder Aktion
Die geplanten Tests setzen bei den Fähigkeiten einzelner Modelle an. Der Einsatz autonomer Agenten schafft eine weitere Sicherheitsebene. Solche Systeme greifen auf Daten, Programme und externe Schnittstellen zu. Dadurch wird die Testumgebung selbst zu einer möglichen Angriffsfläche.
In diesem Feld operiert Integrated Quantum Technologies (ISIN: CA45828F1018, WKN: A3EGAC). Das Unternehmen entwickelt mit MASQ eine Kontrollarchitektur für autonome KI-Agenten. Die im Juli eingereichte vorläufige US-Patentanmeldung beschreibt eine vermittelnde Infrastrukturschicht, die unabhängig vom eingesetzten KI-Modell arbeiten soll.
MASQ soll Aktionen vor ihrer Ausführung bewerten, freigeben und nachvollziehbar protokollieren. Vorgesehen sind Regeln für Zugriffsrechte, Identitätsprüfungen und Verbindungen zu Unternehmenssystemen. Hinzu kommen nach Unternehmensangaben eine abgesicherte Delegation zwischen Agenten und manipulationsnachweisbare Prüfprotokolle. Die Architektur befindet sich noch in der Entwicklung.
Einen zweiten Schwerpunkt bildet AIQu VEIL. Diese Plattform soll sensible Daten und Modelle über die gesamte Verarbeitungskette künstlicher Intelligenz schützen. Rohdaten bleiben nach Unternehmensangaben während Training und Anwendung verborgen. Seit Juni ist VEIL über den Datenplattformanbieter Snowflake zugänglich.
Im öffentlichen Wettbewerb "Pierce the VEIL" versuchten Teilnehmer, ursprüngliche Daten aus VEIL-kodierten Darstellungen zu rekonstruieren. Die Aufgabe lief auf der Datenanalyseplattform Kaggle. Nach Unternehmensangaben erfüllte keine der 43 vollständigen Einreichungen die Kriterien für eine erfolgreiche Rekonstruktion. Integrated Quantum Technologies bezeichnet den Wettbewerb selbst als einen Baustein innerhalb eines breiteren Prüfprogramms.
Eine von Integrated Quantum Technologies beauftragte externe Sicherheitsprüfung untersuchte zuvor die Datenbankschnittstelle, Abfragekontrollen und Umwandlungsschritte von VEIL. Im geprüften Einsatzrahmen wurden dabei nach Unternehmensangaben keine Sicherheitsrisiken hoher oder mittlerer Stufe festgestellt. Das Beispiel erweitert die Debatte um eine operative Perspektive. Prüfstellen müssen Fähigkeiten bewerten, Unternehmen benötigen zusätzlich klare Grenzen für Zugriffe und konkrete Aktionen.
Die Vorfälle bei OpenAI und Anthropic belegen zugleich, dass Sicherheitstests selbst eine belastbare Zugriffskontrolle benötigen. Die Geheimhaltung erschwert unabhängigen Forschern und unbeteiligten Unternehmen eine Bewertung der geplanten Schutzwirkung.
Washington plante geheime Tests vor Bekanntwerden
US-Präsident Donald Trump beauftragte seine Regierung bereits am 2. Juni mit einem geheimen Vergleichsverfahren für fortgeschrittene Cyberfähigkeiten besonders leistungsfähiger KI-Modelle. Der Auftrag erging vor der öffentlichen Bekanntgabe der Vorfälle, die rückblickend ermittelten Anthropic-Fälle reichen allerdings bis April zurück. Die Tests sollen den Schwellenwert bestimmen, ab dem ein Modell unter den Rahmen für besonders leistungsfähige KI-Systeme fällt. Das Verfahren bleibt freiwillig und setzt auf die Zusammenarbeit der führenden Entwickler.
Teilnehmende Entwickler können der Regierung bis zu 30 Tage vor einer Veröffentlichung Zugang zu solchen Modellen gewähren. Vertraulichkeit, Cybersicherheit und der Schutz geistigen Eigentums sollen dabei vertraglich abgesichert werden. Der Erlass schließt eine staatliche Lizenzierung oder Vorabgenehmigung neuer Modelle ausdrücklich aus. Damit bleibt die Durchsetzung von der freiwilligen Mitwirkung der Entwickler abhängig.
Konflikt mit Anthropic belastet die Kooperation
Gerade bei Anthropic ist diese Kooperation politisch belastet. Das Unternehmen verweigerte dem US-Militär die Nutzung seiner Modelle für Inlandsüberwachung und vollständig autonome Waffensysteme. Die Regierung setzte Anthropic daraufhin auf eine nationale Sicherheitsliste. Die Einladung ins Weiße Haus zeigt dennoch, dass Washington auf die technische Expertise des Unternehmens angewiesen bleibt.
OpenAI plädiert für eine zentrale Rolle der Sicherheitsexperten im US-Handelsministerium. Das Unternehmen verweist dabei auf Chinas stärker zentralisierte Strategie bei künstlicher Intelligenz.
Das Treffen ließ zentrale Fragen zu Messgrößen, Schwellenwerten und der Auswahl vertrauenswürdiger Partner offen. Deshalb bleibt schwer erkennbar, wie belastbar das neue Verfahren ist. Die Beteiligten beraten über Regeln für Systeme, deren Fähigkeiten sie selbst erst vermessen. Die Glaubwürdigkeit des Verfahrens hängt nun von Ergebnissen ab, die Washington vorerst unter Verschluss halten will.
Für Integrated Quantum Technologies rückt damit die Infrastruktur hinter autonomen Modellen auf die politische Agenda. MASQ und VEIL müssen im nächsten Schritt beweisen, ob ihre Kontrollen und Schutzmechanismen auch im aktiven Unternehmenseinsatz bestehen.
