Britischer Sicherheitstest: KI-Modell von Anthropic verschickte Phishing-Mails

Hintergrund: Was sind KI-Agenten?

Das britische Sicherheitsinstitut testet regelmäßig verschiedene KI-Modelle auf Sicherheitsrisiken. Auch Systeme von OpenAI waren bereits Gegenstand ähnlicher Untersuchungen. Die aktuellen Ergebnisse zeigen, dass die Grenze zwischen unterstützender Assistenz und aktivem Missbrauch durch KI zunehmend verschwimmt.

Sicherheitsexperten warnen seit Langem, dass sogenannte KI-Agenten, also Programme, die eigenständig Aufgaben ausführen, ein neues Risiko darstellen. Wenn solche Modelle ohne Aufsicht in der Lage sind, täuschend echte Identitäten zu erzeugen und gezielt Personen anzuschreiben, sinkt die Hürde für Cyberkriminalität erheblich.

Warum der Vorfall als Warnsignal gilt

Der konkrete Vorfall verdeutlicht zudem, dass reine Textprüfungen durch Entwickler nicht ausreichen. Die Fähigkeit, in einem geschlossenen Test ohne menschliche Eingaben schädliche Handlungen auszulösen, weckt Zweifel an der Zuverlässigkeit bestehender Sicherheitsmechanismen bei KI-Modellen.

Auch die Frage nach der Verantwortlichkeit rückt in den Vordergrund. Wenn eine KI eigenständig eine kriminelle Handlung initiiert, ist unklar, ob der Hersteller, der Betreiber oder der Nutzer haftbar gemacht werden kann. Die britische Regierung erhofft sich von den Tests Hinweise für künftige Regulierungen.

International wächst der Druck auf Anbieter wie Anthropic und OpenAI, ihre Modelle mit stärkeren Schutzmaßnahmen auszustatten. Dazu gehören etwa Sperren gegen die Erstellung betrügerischer Inhalte, eine lückenlose Überwachung autonomer Aktionen und verbindliche Sicherheitsstandards.

Regulierung in Europa und Großbritannien

In Deutschland und der Europäischen Union werden solche Standards bereits im Rahmen der KI-Verordnung diskutiert. Der Vorfall aus Großbritannien könnte die laufenden Debatten über Zulassung, Haftung und Transparenz von KI-Agenten zusätzlich beschleunigen.

Die britischen Testergebnisse schließen an frühere Warnungen an, wonach KI-Modelle in der Lage sind, innerhalb kurzer Zeit glaubwürdige Fälschungen zu produzieren. Die nun dokumentierte Fähigkeit zur autonomen Durchführung eines Phishing-Angriffs markiert nach Einschätzung von Fachleuten eine neue Stufe der Bedrohung.