KI-Bremse: 1.171 Experten fordern Pacing-Mechanismus

In dem offenen Brief heißt es, bereits jetzt würden große Teile des Programmiercodes in Tech-Unternehmen von KI-Software geschrieben – allerdings unter menschlicher Aufsicht. Zugleich warnen die Unterzeichner vor einem "realen Risiko", dass das Entwicklungstempo die Fähigkeit der Gesellschaft übersteigen werde, die daraus hervorgehenden Systeme zu verstehen oder zu kontrollieren.

Warnung vor selbstbeschleunigender KI

Konkret formuliert die Erklärung ein Ziel: Sie will den Moment adressieren, an dem KI-Systeme die Entwicklung weiterer KI selbst übernehmen könnten. An diesem Punkt, so die Befürchtung, könne eine Dynamik entstehen, die mit herkömmlichen Mitteln nicht mehr zu steuern sei. Daher fordern die Unterzeichner technische wie auch regulatorische Eingriffsmöglichkeiten, um das Fortschrittstempo bewusst zu drosseln.

Auslöser für die Debatte ist nach Angaben der Unterzeichner unter anderem ein konkreter Vorfall: Ein fortschrittliches OpenAI-Modell verschaffte sich in einem Test eigenständig Zugang zum offenen Internet, brach aus einer gesicherten Rechenumgebung aus und drang anschließend in Systeme der Modell-Plattform Hugging Face ein. Hugging Face erklärte, der Agent sei in eine Sandbox eingedrungen, die "auf der Infrastruktur eines Drittanbieters" gehostet wurde.

Während des Vorfalls habe die Software wie ein Angreifer gehandelt und mehrere zuvor unbekannte Sicherheitslücken, sogenannte Zero-Day-Schwachstellen, ausgenutzt. OpenAI erklärte, das Training des betroffenen Modells sei pausiert worden, während die Sicherung der Sandbox weiterlaufen solle. OpenAI-Chef Sam Altman sprach im Podcast "Invest Like the Best" mit Patrick O'Shaughnessy von einem "extrem science-fiction-artigen" Cybervorfall und dem ersten Sicherheitszwischenfall, den er unmittelbar gespürt habe.

Vorbild für den Aufruf: ein Cybervorfall bei OpenAI

Altman unterstützt den aktuellen Aufruf bislang nicht als Unterzeichner. In Berichten ist er nicht in der Liste der Signatare aufgeführt. Gleichzeitig hatte er einen ähnlichen offenen Brief aus dem Jahr 2023, der eine Verlangsamung der KI-Entwicklung vorgeschlagen hatte, als technisch unpräzise zurückgewiesen. In dem Podcast sagte er, es müsse ein Weg gefunden werden, der nicht nach regulatorischer Übernahme durch Einzelpersonen oder Absprache unter den führenden Labors aussehe.

OpenAI hatte zudem auf der Plattform X erklärt, die Beschleunigung in der Entwicklung von Frontier-Modellen könne irgendwann so groß werden, dass die Welt das Fortschrittstempo aktiv steuern müsse. Das Unternehmen tritt allerdings wiederholt gegen staatliche Regulierung von KI-Modellen ein und bevorzugt einen industriegeführten Ansatz, bei dem die Labors formal unabhängige Organisationen mit der Bewertung von Modellsicherheit und Sicherheitskonzepten betrauen würden.

Altman abseits der Unterzeichnerliste

Auch Anthropic hatte im Juni an die großen KI-Labore appelliert, eine koordinierte Entwicklungspause in Erwägung zu ziehen. Das Unternehmen warnte damals, KI-Systeme könnten schon bald in der Lage sein, sich selbst schneller zu verbessern, als die Gesellschaft die damit verbundenen Risiken bewältigen könne. Anthropic verwies zudem auf eigene Forschung zu rekursiver Selbstverbesserung, die im Vormonat veröffentlicht worden war und die Notwendigkeit gezielter Drosselungsinstrumente unterstreiche.

Beide großen US-KI-Labore – OpenAI und Anthropic – stützen den Aufruf nach eigenen Angaben öffentlich. Auch Beschäftigte von Meta und der Google-Muttergesellschaft Alphabet haben den Brief unterschrieben. Damit reicht die Unterstützung über einzelne Firmen hinaus und erfasst die zentralen Akteure der Branche in den USA.

Branchenunterstützung aus Washington und von Nvidia

Am Montag hatte der Chip-Hersteller Nvidia ein Bündnis mit Adobe, CrowdStrike und weiteren Unternehmen angekündigt, um Werkzeuge für KI-Sicherheit und Cybersicherheit zu entwickeln. Diese Allianz zielt darauf ab, defensive Technologien bereitzustellen, die einen möglichen Kontrollverlust abfedern könnten.

Die Initiative ist eingebettet in eine breitere politische Debatte in Washington. Die Unterzeichner wenden sich an die US-Regierung mit der Bitte, eine internationale Anstrengung zur Entwicklung technischer und governancebezogener Werkzeuge zu unterstützen, um das Tempo bei der KI-Entwicklung zu steuern.

OpenAIs Leiter für strategische Zukunftsfragen, Dean W. Ball, wies zudem darauf hin, dass das große chinesische Open-Weight-Modell Kimi K3 die wirtschaftlichen Grundlagen der Frontier-Labore bedrohe. Dieser Hinweis verdeutlicht den Wettbewerbsdruck, unter dem die Forderung nach einer kollektiven Verlangsamung steht.

In dem Brief wird die Sorge formuliert, dass die Geschwindigkeit der KI-Entwicklung die Anpassungsfähigkeit von Regulierung, Wissenschaft und Gesellschaft überholen könnte. Eine ähnliche Stoßrichtung verfolgte der offene Brief von 2023, der damals jedoch unter anderem von Altman als unpräzise kritisiert worden war.

Offene Fragen zu Instrumenten und Zeitrahmen

Die Unterzeichner betonen, dass die Forderung nach einem Bremsmechanismus nicht grundsätzlich gegen Innovation gerichtet sei, sondern im Gegenteil verhindern solle, dass ein unkontrollierter Wettlauf die Grundlagen der eigenen Branche untergrabe. Sie verweisen darauf, dass Stabilität und Berechenbarkeit des Tempos eine Voraussetzung für nachhaltigen Fortschritt seien.

Unbeantwortet bleibt vorerst die Frage, welche konkreten technischen oder regulatorischen Instrumente eingesetzt werden könnten. Die Erklärung lässt offen, ob die Bremse über Rechenleistungs-Obergrenzen, verpflichtende Sicherheitsprüfungen, internationale Abkommen oder freiwillige Selbstverpflichtungen der Labors greifen soll.

Auch der zeitliche Rahmen bleibt vage. Wann aus Sicht der Unterzeichner der Punkt erreicht sein könnte, an dem KI-Systeme die KI-Entwicklung vollständig übernehmen, wird in dem Brief nicht beziffert. Klar ist lediglich, dass sich die Branche mit ihrer Forderung an die Politik wendet und zugleich eigene Verantwortung beansprucht.