KI-Tests mit realen Folgen: Alphabet, Meta, Accenture und Sekur Private Data im Milliardenmarkt für KI-Sicherheit
Gemini und andere KI-Modelle gelangten bei Sicherheitstests auf reale Systeme. Die Vorfälle zeigen neue Risiken autonomer KI – und rücken Anbieter wie Accenture und Sekur Private Data in den Fokus.
Lesezeit 11 min
Auf Abwege geriet Gemini bereits im Mai. Google, Tochterunternehmen des US-Technologiekonzerns Alphabet ISIN US02079K3059 WKN A14Y6F, bestätigte den Vorfall jedoch erst jetzt. Das KI-Modell gelangte über einen unbeabsichtigt offenen Internetzugang aus der vorgesehenen Simulation auf die Systeme dreier realer Unternehmen. Mehrere der ebenfalls bekannt gewordenen Vorfälle bei anderen KI-Laboren gehen nach Angaben des externen Prüfers auf dasselbe zugrunde liegende Problem im Testszenario zurück.
Die Fälle treffen auf eine Phase, in der KI-Systeme zunehmend selbstständig Werkzeuge bedienen, Software ausführen und mit externen Systemen interagieren können. Damit wächst ein Sicherheitsmarkt auf zwei Ebenen. Entwickler müssen kontrollieren, was autonome Modelle tun dürfen. Unternehmen müssen zugleich entscheiden, über welche Infrastruktur sensible Daten und Kommunikation laufen und welche externen Abhängigkeiten sie dabei akzeptieren.
Testfehler öffnet Gemini den Weg ins echte Internet
Der ursprüngliche Cyberfähigkeitstest wurde von Irregular, einem unabhängigen israelischen KI-Sicherheitsunternehmen, durchgeführt. Das betroffene Evaluationsset simulierte realistische, mehrstufige Angriffe in Unternehmensumgebungen. Ein Szenario sollte zeigen, ob ein Modell einen böswilligen Mitarbeiter beim unbefugten Zugriff auf sensible Daten unterstützen kann.
Im Gemini-Test sollte das Modell in einer simulierten Unternehmensumgebung Informationen aus Systemen einer fiktiven Firma beschaffen. Gemini hielt die erreichbaren Ziele offenbar für Bestandteile seiner Testumgebung. In einem Fall erriet das Modell Zugangsdaten. In zwei weiteren fand es öffentlich abgelegte Zugangsdaten und nutzte sie für geschützte Systeme.
Der gemeinsame technische Ausgangspunkt war der unbeabsichtigt offene Internetzugang. In dem Testszenario deckte sich zudem ein erfundener Firmenname mit einer realen Internetdomain. Google teilte mit, Gemini habe die Angriffe in allen drei Fällen beendet. Die betroffenen Organisationen seien informiert und die Testabläufe anschließend geändert worden.
Solche Grenzüberschreitungen traten nach Angaben des Testanbieters in weniger als einem von 10.000 fortgeschrittenen Simulationsläufen über mehrere Modelle hinweg auf. In der großen Mehrzahl blieben die Modelle innerhalb der vorgesehenen Umgebung. Für die Sicherheitsarchitektur entsteht dennoch eine neue Aufgabe. Cybertests erzeugen absichtlich verdächtige Aktivitäten. Kontrollsysteme müssen deshalb zulässiges Testverhalten von einem tatsächlichen Zugriff außerhalb der Testumgebung unterscheiden.
Claude-Fälle reichen bis Januar zurück
Gemini war chronologisch nicht der erste öffentlich dokumentierte Fall. Anthropic berichtete am 9. September über einen Claude-Vorfall vom Januar 2026, der erst im August entdeckt worden war. Bei der Vorbereitung von Unterlagen für eine unabhängige Untersuchung stieß das Unternehmen auf weitere Protokolle mit Internetzugang, die eine frühere Suche nicht erfasst hatte.
Anthropic weitete daraufhin seine Untersuchung aus und prüfte rund 481 Mio. Protokolle aus Trainingsumgebungen, internen Bereichen und Red-Team-Tests. Die vier bekannten Claude-Fälle wurden erneut gefunden. Weitere Fälle ähnlicher oder größerer Schwere meldete das Unternehmen nicht.
Die vier dokumentierten Zugriffe ereigneten sich in Cyberprüfungen desselben externen Partners. Die Modelle liefen ohne jene Cyber-Schutzmechanismen, die Anthropic bei veröffentlichten Modellen einsetzt. Wegen einer Fehlkonfiguration war gleichzeitig Internetzugang möglich.
Anthropic pausierte externe Cyberprüfungen vorübergehend und stoppte kurzzeitig auch interne Tests. Inzwischen setzt das Unternehmen einen Echtzeit-Klassifikator ein, der verdächtige Ausbruchsversuche erkennen, den jeweiligen Lauf beenden und Menschen alarmieren soll. Externe Prüfungen sollen zudem mit klar definierten Grenzen und standardmäßig abgeschotteten Umgebungen ohne Internetzugang stattfinden.
Meta und OpenAI zeigen unterschiedliche Risikowege
Auch bei einem Cybertest für Meta ISIN US30303M1027 WKN A1JWVX ermöglichte eine Fehlkonfiguration einem noch unveröffentlichten Modell den Zugang zum offenen Internet. Statt eines fiktiven Ziels erhielt das Modell nach Meta-Angaben zudem den Namen einer realen Website.
Das Modell hielt die Website für das vorgesehene Ziel, nutzte dort eine Sicherheitslücke aus, griff auf Informationen zu und veränderte Datenbankeinträge. Der Test lief auf der Infrastruktur des externen Prüfers. Meta erklärte, das Modell habe keine abgeschottete Testumgebung überwunden.
Anders gelagert war ein Vorfall beim KI-Unternehmen OpenAI und der Plattform Hugging Face im Juli. OpenAI zufolge überwanden Modelle dort tatsächliche Isolationskontrollen, nutzten Schwachstellen und erreichten Systeme von Hugging Face. Den größten Anteil daran hatte laut OpenAI ein intern eingesetztes Forschungsmodell. Kundendaten, Produktfunktion und Verfügbarkeit seien nicht betroffen gewesen.
Mehrere der betroffenen Modelle liefen unter besonderen Testbedingungen mit reduzierten oder abgeschalteten Cyber-Schutzmechanismen. Die Ergebnisse lassen sich deshalb nicht unmittelbar auf den normalen Einsatz öffentlich verfügbarer KI-Produkte übertragen. Sie zeigen allerdings, welche zusätzlichen Kontrollfragen entstehen, wenn Modelle selbstständig digitale Werkzeuge einsetzen und Netzwerkzugriffe ausführen.
Accenture und Anthropic investieren Milliarden in KI-Prüfungen
Die Vorfälle erhöhen den Bedarf an professionellen Sicherheitsprüfungen für leistungsfähigere KI-Systeme. Anthropic und der Beratungs- und Technologiekonzern Accenture ISIN IE00B4BNMY34 WKN A0YAQA bauen dafür eine langfristige Partnerschaft auf.
Beide Unternehmen wollen über fünf Jahre jeweils mindestens eine Milliarde USD in Kapazitäten für unabhängige KI-Prüfungen investieren. Das angekündigte Volumen erreicht damit mindestens zwei Milliarden USD.
Federführend soll Faculty, die spezialisierte KI-Einheit von Accenture, Modelle prüfen, Schutzmechanismen testen und gezielte Angriffssimulationen durchführen. Geplant ist eine sogenannte eingebettete Evaluierung. Externe Prüfer arbeiten dabei innerhalb des KI-Unternehmens und erhalten einen tieferen Zugang zu Modellen und Sicherheitsprozessen.
Damit entsteht ein eigener Markt rund um die Kontrolle von KI-Systemen. Standards für Zugriffsrechte, Finanzierung und Berichterstattung solcher unabhängigen Prüfungen befinden sich allerdings noch im Aufbau.
Sekur Private Data setzt bei der Unternehmenskommunikation an
Während Anthropic und Accenture die Kontrolle der KI-Modelle adressieren, entsteht auf Unternehmensseite eine zweite Sicherheitsfrage. Je mehr automatisierte Systeme auf Daten, Konten und digitale Werkzeuge zugreifen können, desto wichtiger wird die Architektur, über die vertrauliche Informationen ausgetauscht werden.
Sekur Private Data ISIN CA81607F1036 WKN A3DKJ0 konzentriert sich auf diesen Teil des Cybersecurity-Marktes. Das Unternehmen bietet verschlüsselte E-Mail-, Messenger-, VPN- sowie Sprach- und Videokommunikation an. Die Plattform wird auf eigener Infrastruktur in der Schweiz betrieben. Dabei findet kein Data Mining oder Location Mining statt. Die Kommunikation wird innerhalb der eigenen, in der Schweiz gehosteten Infrastruktur übertragen.
Die strategische Ausrichtung hat Sekur 2026 stärker auf Unternehmen, Behörden, Verteidigung und Nachrichtendienste verschoben. Im Februar wurden die Kommunikationslösungen des Unternehmens über einen Partner auf dem Multiple Award Schedule der US-General Services Administration gelistet. Dadurch können berechtigte US-Bundes-, Staats- und Kommunalbehörden die Produkte über einen bestehenden Beschaffungskanal erwerben.
Im Mai folgte eine Vertriebsvereinbarung mit Elyon International für den Verteidigungs- und Regierungsmarkt. Sekur stellte in diesem Zusammenhang auch SekurOne vor. Die Plattform kombiniert verschlüsselte Sprach- und Videokommunikation, E-Mail, Messaging und VPN in einem Angebot. Das Unternehmen richtet die Lösung insbesondere an Nutzer aus Verteidigung, Nachrichtendiensten, Behörden und Unternehmen.
Unabhängige Infrastruktur wird zum Sicherheitsfaktor
Sekurs Ansatz unterscheidet sich von den Sicherheitsmechanismen, die bei Gemini oder Claude versagten. Die dort dokumentierten Vorfälle entstanden in falsch konfigurierten Testumgebungen. Eine sichere Kommunikationsplattform verhindert nicht, dass ein KI-Modell über einen versehentlich geöffneten Netzwerkzugang ein reales Ziel erreicht.
Die Verbindung liegt an einer anderen Stelle. Unternehmen müssen zunehmend festlegen, welche Systeme Zugriff auf sensible Kommunikation erhalten, wo Daten gespeichert werden und welche externen Plattformen Bestandteil ihrer Infrastruktur sind. Sekur positioniert sich mit eigener Schweizer Infrastruktur gerade gegen eine starke Abhängigkeit von großen Cloud- und Kommunikationsplattformen.
Für diese Strategie baut das Unternehmen derzeit seine Vertriebskanäle aus. Im Juni vereinbarte Sekur eine Partnerschaft mit dem US-Unternehmen AdRevv zur Vermarktung seiner Lösungen. AdRevv soll Nutzer ansprechen, die nach VPN-, E-Mail-, Messaging- und anderen Datenschutzangeboten suchen. Die Vergütung erfolgt über eine Umsatzbeteiligung.
Parallel verstärkte Sekur sein Netzwerk für den Regierungs- und Sicherheitsmarkt. Im Frühjahr berief das Unternehmen mehrere ehemalige Führungskräfte aus US-Verteidigung, Nachrichtendiensten und Außenpolitik in operative und beratende Funktionen. Dazu gehört John T. Lewis, der nach mehr als 34 Jahren bei der CIA im April Chief Technology Officer von Sekur wurde. Im Juni kamen der frühere State-Department-Mitarbeiter Nathan R. Price und die ehemalige Deputy Assistant Secretary Annette L. Redmond hinzu.
KI verändert die Anforderungen an Cybersecurity
Die jüngsten Vorfälle zeigen zwei unterschiedliche Aufgaben für die Cybersecurity-Branche. Auf Seiten der KI-Entwickler müssen Modelle stärker überwacht und ihre digitalen Handlungsmöglichkeiten technisch begrenzt werden. Die Milliardeninvestitionen von Anthropic und Accenture zeigen, welches wirtschaftliche Gewicht unabhängige Prüfungen inzwischen erhalten.
Auf Unternehmensseite wächst parallel die Bedeutung der Infrastruktur, auf der vertrauliche Daten und Kommunikation liegen. Dort konkurrieren etablierte Plattformanbieter mit spezialisierten Anbietern, die stärker auf abgeschottete Systeme, Verschlüsselung und Datenhoheit setzen. Sekur Private Data versucht, sich mit seiner Schweizer Infrastruktur und der stärkeren Ausrichtung auf Unternehmen und staatliche Kunden in diesem Segment zu etablieren.
Mit zunehmender Autonomie von KI-Agenten treffen beide Bereiche stärker aufeinander. Modelle erhalten mehr Möglichkeiten, Werkzeuge einzusetzen und über verschiedene Systeme hinweg Aufgaben auszuführen. Sicherheitsarchitekturen müssen deshalb sowohl das Verhalten der Modelle als auch Zugriffsrechte, Kommunikationswege und Dateninfrastruktur berücksichtigen. Die jüngsten Zwischenfälle liefern dafür einen konkreten Anlass. Die angekündigten Milliardeninvestitionen zeigen zugleich, dass aus dieser Aufgabe inzwischen ein eigener Markt entsteht.