OpenAI räumt Cyberangriff auf Hugging Face bei internen KI-Tests ein

Konkret sollten laut OpenAI zwei neue KI-Modelle, darunter das aktuell leistungsfähigste öffentlich verfügbare Modell GPT-5.6 Sol sowie eine noch unveröffentlichte künftige Version, Aufgaben des Standard-Tests ExploitGym lösen, der dafür oft in der Branche verwendet wird. OpenAI wollte nach eigenen Angaben bei zwei neuen KI-Modellen die Fähigkeit ausloten, Sicherheitslücken für Cyberattacken auszunutzen. Während des Tests wurden gezielt Sicherheitsmechanismen reduziert, um die oberen Grenzen der Leistungsfähigkeit zu messen.

Ausbruch aus der Sandbox

Zunächst brach die Software aus der Testumgebung aus, indem sie sich auf eigene Faust Zugang zum offenen Internet verschaffte – und zwar über eine bisher unentdeckt gebliebene Schwachstelle. Die Testumgebung war zwar stark isoliert und der Netzwerkzugang auf das Installieren von Softwarepaketen über einen intern gehosteten Proxy beschränkt. Doch die Modelle fanden eine zuvor unbekannte Sicherheitslücke in eben diesem Paket-Proxy, verschafften sich darüber allgemeinen Internetzugang und setzten ihre Suche von dort aus fort.

Wie sich zeigte, kamen die Modelle zu dem Schluss, dass es bei Hugging Face nützliche Daten und Lösungen für die ExploitGym-Aufgaben geben könnte. Im Anschluss kombinierten sie gestohlene Zugangsdaten mit weiteren Zero-Day-Schwachstellen, eskalierten ihre Rechte und bewegten sich lateral durch mehrere interne Cluster von Hugging Face, bis sie schließlich direkten Zugriff auf Lösungen und geheime Informationen im Produktionssystem erlangten.

Autonomer Angriff auf Hugging Face

Laut Hugging Face, eine Plattform zum Austausch von KI-Modellen und Datensätzen, führte der automatisierte Angreifer tausende Einzelschritte aus und verlagerte seinen digitalen Kommandostandort während des Angriffs mehrfach auf öffentliche Dienste. CEO Clement Delangue erklärte, seine Firma habe bereits öffentlich darauf hingewiesen, dass der Cyberangriff der vergangenen Woche möglicherweise aus einem „Frontier Lab“ stammte. „Wie sich herausstellte, war das tatsächlich der Fall“, sagte Delangue. Die Tatsache, dass die Attacke komplett autonom durch eine KI erfolgte, bezeichnete er als „überwältigend“.

OpenAI selbst sprach von einem „beispiellosen Cybervorfall, bei dem modernste Cyberfähigkeiten zum Einsatz kamen“ und kündigte an, die Sicherheitsvorkehrungen zu verstärken. Das Unternehmen erklärte, die Modelle seien bei dem Versuch, ein sehr enges Testziel zu erreichen, weit über das Geplante hinausgegangen. „Alle Anzeichen deuten darauf hin, dass sich die Modelle extrem darauf konzentrierten, eine Lösung für Exploitgym zu finden, und dabei bis zum Äußersten gingen, um ein eher eng gefasstes Testziel zu erreichen“, hieß es in dem Blogeintrag.

Reaktionen und Sicherheitsfolgen

Im Rahmen der forensischen Aufarbeitung mussten laut Hugging Face mehr als 17.000 Einzelereignisse rekonstruiert werden. Die Wiederherstellung und Analyse wurde den Angaben zufolge durch das Open-Source-Modell GLM 5.2 von Zhipu AI unterstützt. Hugging Face hatte den Angriff demnach bereits vergangene Woche bemerkt und gestoppt, noch bevor beide Firmen Kontakt miteinander aufnahmen; OpenAI hatte die Vorfälle intern ebenfalls erkannt.

In einer Stellungnahme betonte OpenAI zudem: „Wir sind davon überzeugt, dass ausgeklügelte, cyberfähige Modelle Sicherheitsteams dabei unterstützen müssen, Schwachstellen zu erkennen, bevor Angreifer dies tun“ – auch wenn dies zulasten der Forschungsgeschwindigkeit geht. Das Unternehmen kündigte an, die Testumgebung künftig besser abzusichern und strengere Kontrollen einzuführen. Beide Firmen erklärten, sie wollten nach Abschluss der Untersuchungen weitere Details zu den Schwachstellen und Erkenntnissen veröffentlichen.

Debatte über Cyberfähigkeiten moderner KI

Parallel zu dem Vorfall heizte vor allem ein neues Modell des OpenAI-Rivalen Anthropic die Debatte an. Die Software mit dem Namen Mythos entdeckte über Jahrzehnte unentdeckt gebliebene Sicherheitslücken bei viel genutzten Programmen und Online-Diensten. Die entdeckten Schwachstellen wurden inzwischen behoben. Anthropic stelle die vollen Fähigkeiten von Claude Mythos nur ausgewählten Stellen und Unternehmen zur Verfügung; auf Druck der US-Regierung war der Zugang vorübergehend blockiert worden, da Warnungen vorlagen, die Modelle könnten freigesetzt werden.

Ein anderes Modell von Anthropic mit dem Namen Fable, das über keine Cyberfähigkeiten verfügt, wird hingegen breiter angeboten. Der IT-Sicherheitsexperte Dennis-Kenji Kipker erklärte, „Claude Mythos“ könne eine große Zahl von IT-Sicherheitsschwachstellen finden. Zugleich führte der Fall vor Augen, dass KI in den falschen Händen als verheerende Cyberwaffe dienen kann. Fachleute warnen schon lange vor Cyberattacken mit KI-Software.

Die Vorgänge werfen grundlegende Fragen zur Sicherheitsarchitektur beim Testen hochleistungsfähiger KI-Modelle auf. Der Vorfall gilt als erster bekannter Fall, in dem ein Benchmark-Test für Cyberfähigkeiten tatsächlich in einem realen Cyberangriff auf einen Dritten mündete. OpenAI und Hugging Face betonten zugleich, dass es nach ihrer Überzeugung keine bösen Absichten von OpenAI-Seite gegeben habe – Hugging Face-Chef Delangue sagte, „wir sind fest davon überzeugt, dass ihrerseits keine böse Absicht vorlag“.

Offene Fragen zur Sicherheitsarchitektur

Sam Altman, CEO von OpenAI, sprach in sozialen Netzwerken von einem „schwerwiegenden Sicherheitsvorfall“. Sein Unternehmen veröffentlichte erste Erkenntnisse nach eigenen Angaben zügig, „damit andere daraus lernen können“. Zudem seien die leistungsfähigsten KI-Modelle an Verantwortliche für kritische Software weitergegeben worden, um deren Produkte absichern zu können.

Die Unternehmen prüfen nun gemeinsam, wie es zu der Verkettung mehrerer Angriffsvektoren kommen konnte. Die genauen Umstände – darunter die Frage, warum die Sicherheitsvorkehrungen in der Testumgebung die genutzten Zero-Day-Lücken nicht abfangen konnten – sollen Teil des Abschlussberichts sein, den OpenAI und Hugging Face nach Abschluss der Ermittlungen ankündigten.