Anthropic fordert globale Bremse für hochentwickelte KI und warnt vor Kontrollverlust

Auslöser der Initiative ist nach Angaben von Anthropic der rasante Fortschritt der Modelle, insbesondere bei Fähigkeiten zur Selbstverbesserung und Weiterentwicklung. Das Unternehmen warnt, dass KI-Systeme künftig in der Lage sein könnten, sich rekursiv selbst zu optimieren und sich schneller zu verbessern, als Gesellschaft und Forschung die damit verbundenen Risiken beherrschen können. Der Meilenstein selbstverbessernder KI könnte schneller erreicht werden, als viele Institutionen vorbereitet seien. In einem internen Beleg für die Leistungsfähigkeit der eigenen Systeme erklärte Anthropic, im Mai habe die eigene KI Claude mehr als 80 Prozent des Codes in der unternehmenseigenen Codebasis generiert.

Warum Selbstverbesserung als Risiko gilt

Anthropic-CEO Dario Amodei hatte bereits im Januar am Weltwirtschaftsforum in Davos erklärt, der KI-Wettlauf mit China erschwere eine Verlangsamung der Entwicklung sehr stark, da es kaum eine durchsetzbare Vereinbarung geben könne. Auch in der aktuellen Debatte betont Anthropic, dass einseitige Pausen wenig brächten, weil sie lediglich die Spitze wechselten. Eine wirksame Pause könne es nur geben, wenn führende KI-Unternehmen in verschiedenen Ländern, vor allem in den USA und in China, sich gleichzeitig einigten, ihre Arbeit zu verlangsamen oder zu unterbrechen. Die Regeln müssten „für alle überprüfbar“ sein.

Das hauseigene Forschungsinstitut von Anthropic will nach eigenen Angaben parallel an technischen Ansätzen arbeiten, die eine kontrollierte Verlangsamung überhaupt erst ermöglichen. Dazu gehört ein Kontroll- und Monitoringsystem, das sicherstellen soll, dass alle Beteiligten eine Moratorium einhalten und niemand heimlich einen Vorsprung gewinnt. Festgelegt werden müssten demnach unter anderem, wann eine Verlangsamung greift, wer sie überwacht und unter welchen Bedingungen sie wieder aufgehoben wird.

Hürde China und kein Branchenkonsens

Der Vorschlag reiht sich in eine breitere Debatte ein, in der seit Jahren einzelne Stimmen ein Moratorium für besonders rechenintensive KI-Systeme fordern. Tech-Milliardär Elon Musk hatte sich bereits vor Jahren für eine sechsmonatige Pause in der KI-Entwicklung ausgesprochen, um Risiken zu verhindern. Später wurde bekannt, dass Musk zeitgleich die Gründung seiner eigenen KI-Firma vorantrieb. In der Branche selbst ist derzeit keine Bereitschaft zu einer Pause erkennbar: Unternehmen der KI-Branche konkurrieren aktuell mit Plänen, Hunderte Milliarden Dollar in KI-Infrastruktur wie riesige Rechenzentren zu investieren.

Anthropic positioniert sich zugleich als Befürworter einer strikteren Regulierung der gesamten Branche, um Risiken zu begrenzen. Das Weiße Haus unter Präsident Donald Trump hatte Anthropic allerdings vorgeworfen, dass eine regulatorisch bremsende Haltung die US-Industrie im globalen Wettbewerb ausbremse. Inmitten dieser Spannungen meldete Anthropic in der vergangenen Woche zudem Aufmerksamkeit mit der Software Claude Mythos Preview, die in verschiedenen Programmen teils jahrzehntelang unentdeckte Sicherheitslücken aufspürte. Das Unternehmen arbeitet an einem KI-Modell namens Mythos, das gezielt Lücken in Cybersicherheitssystemen erkennen soll.

Konflikt mit dem Pentagon und politischer Gegenwind

Auch juristisch ist das Unternehmen derzeit gefordert. Anthropic befindet sich in einer rechtlichen Auseinandersetzung mit dem US-Verteidigungsministerium, weil das Unternehmen der uneingeschränkten militärischen Nutzung seiner KI-Technologie widersprochen hatte. Anthropic erklärte, seine KI solle nicht für „Massenüberwachung im Inland“ und nicht in vollautonomen Waffensystemen eingesetzt werden. Das Pentagon stufte Anthropic daraufhin als „Sicherheitsrisiko in der Lieferkette“ ein; Anthropic klagt gegen diese Einstufung.

International gibt es ebenfalls Interesse an einer engeren Kooperation. Die Europäische Union hofft auf einen Testzugang zu Anthropics KI-Technologie, um mögliche Risiken zu bewerten. In den kommenden Monaten will Anthropic nach eigenen Angaben Gespräche mit politischen Entscheidungsträgern, Forschern, zivilgesellschaftlichen Gruppen und anderen KI-Unternehmen führen, um zentrale Fragen zu klären – darunter den Umgang mit Risiken wie selbstoptimierenden Systemen und die Verbesserung der internationalen Abstimmung.

Ungeachtet der Regulierungsdebatte befindet sich das Unternehmen selbst in einer Phase wirtschaftlicher Konsolidierung: Im vergangenen Monat schloss Anthropic eine Finanzierungsrunde ab, die das Unternehmen mit 965 Milliarden Dollar bewertete. Am Montag reichte Anthropic zudem vertraulich einen Antrag auf einen Börsengang in den Vereinigten Staaten ein. Vor diesem Hintergrund ist die Forderung nach einer kollektiven Pause auch ein Signal an Wettbewerber und Aufsichtsbehörden.

Wirtschaftlicher Hintergrund: Bewertung und Börsengang

Insgesamt bleibt offen, wie realistisch ein solches Moratorium in einer Branche ist, die derzeit Milliarden in neue Rechenzentren investiert und in der kein erkennbarer Konsens über Verzicht besteht. Anthropic räumt selbst ein, dass eine Pause nur funktionieren kann, wenn mehrere führende KI-Labore gemeinsam handeln, klare Regeln aufstellen und kontrollieren lassen. Solange sich der Wettbewerbsdruck – insbesondere gegenüber China – nicht verändert, dürfte der Vorschlag vorerst ein Diskussionsangebot bleiben.

Branchenbeobachter verweisen darauf, dass die Initiative zeitlich mit der IPO-Vorbereitung und dem Streit um den Pentagon-Status zusammenfällt. Beide Faktoren könnten den Wunsch des Unternehmens verstärken, sich als verantwortungsvoller Akteur zu positionieren, der nicht nur eigene Produkte vermarktet, sondern auch strukturelle Risiken adressiert. Gleichzeitig zeigt die fehlende Bereitschaft der Konkurrenz, dass verbindliche Regeln ohne politischen Druck kaum durchsetzbar erscheinen.

Die Diskussion um Selbstverbesserung von KI verweist auf ein grundsätzliches Problem: Sobald Modelle in der Lage sind, ihre eigenen Trainings- und Optimierungsprozesse zu verbessern, könnten Entwicklungsgeschwindigkeiten entstehen, die jeder externen Kontrolle davonlaufen. Anthropic selbst will mit seinem Mythos-Modell einen Beitrag leisten, solche Risiken in der Cybersicherheit frühzeitig zu erkennen, und sieht darin einen Ansatz, die Branche insgesamt sicherer zu machen.

Was als Nächstes ansteht

Am Ende bleibt es eine offene Frage, ob der Aufruf zu einer globalen Bremse als Weckruf oder als taktischer Schachzug in Erinnerung bleiben wird. Fest steht: Mit dem Blogpost hat Anthropic die Debatte um eine mögliche Pause auf eine neue Stufe gehoben – und zugleich deutlich gemacht, dass das Unternehmen sich selbst als Treiber einer internationalen Diskussion versteht, die ohne Konsens unter den großen KI-Nationen nicht zu lösen sein wird.