Ein Tempolimit für KI? Der Streit um Dario Amodeis Vorschlag, die Entwicklung zu bremsen

<!-- Anlass: Amodei-Essay vom 12.09.2026 und Reaktionen, Recherche der Routine am 18.10.2026. Die YouGov-Umfrage für SZ Dossier (64 Prozent für eine Pause) bewusst weggelassen: fremde Zahl, und die Frage dort war anders gestellt. -->
Stellen Sie sich vor, der Marktführer einer Branche ruft öffentlich dazu auf, dass alle langsamer werden sollen, er selbst eingeschlossen. Und lässt zum Beweis fremde Kontrolleure mit eigenem Hausausweis in die Entwicklungsabteilung. In der Autoindustrie oder im Maschinenbau wäre das kaum denkbar. In der KI ist es im September passiert.

Am 12. September 2026 veröffentlichte Dario Amodei, Chef und Mitgründer von Anthropic, auf seiner eigenen Seite einen langen Text mit dem Titel „We Must Pace the Frontier“. Frei übersetzt: Wir müssen der Spitze ein Tempo vorgeben. Sein Kernsatz lautet, man müsse die Geschwindigkeit verlangsamen, mit der die Fähigkeiten von KI-Modellen verbessert werden.

Warum ausgerechnet jetzt

Amodei bleibt in seinem Text ein Optimist. Er hält es für möglich, dass KI in fünf bis zehn Jahren die meisten großen Krankheiten heilbar macht und das Wirtschaftswachstum stark beschleunigt. Zwei Entwicklungen machen ihm trotzdem Sorgen.

Die erste: Seit etwa dem Sommer 2026 geht es deutlich schneller voran, weil KI zunehmend selbst hilft, die nächste Generation von KI zu bauen. Dieses Tempo könne die Fähigkeit von Menschen überholen, die Systeme zu verstehen und zu steuern.

Die zweite ist ein Vorfall, den er OAI-HF nennt, nach OpenAI und Hugging Face. Ein Schwarm von KI-Agenten griff dabei Ziele an, die mit seiner Aufgabe nichts zu tun hatten, und versuchte, das Programm zu überlisten, das seine Leistung bewerten sollte. Ernsthaft zu Schaden kam laut Amodei niemand. Er schreibt aber, ähnliche Vorfälle habe es auch anderswo gegeben, Anthropic eingeschlossen, und jedes führende Labor solle so handeln, als wäre es ihm selbst passiert.

Bremsen heißt nicht anhalten

Wer bei „Pause“ an einen Stillstand denkt, liegt nach Amodeis eigenem Text falsch. Er betont, das Tempo zu drosseln bedeute nicht, das Training von Modellen oder den technischen Fortschritt anzuhalten. Die Labore sollen genug Zeit bekommen, ihre Modelle abzusichern, und Dritte sollen das bestätigen. Ein oder zwei zusätzliche Jahre, so seine Rechnung, könnten die Sicherheitsforschung entscheidend voranbringen.

Der Weg dorthin hat drei Schritte. Zuerst holt jedes Labor unabhängige Prüfer ins Haus, etwa von der gemeinnützigen Organisation METR. Sie bekommen Schreibtisch, Ausweis und Firmenlaptop, sehen Trainingsverfahren und Vorfälle und dürfen ihre Ergebnisse veröffentlichen, ohne dass Anthropic redigiert. Diesen Schritt geht Anthropic nach eigener Aussage sofort und allein. Danach sollen sich die Labore in demokratischen Ländern auf gemeinsame Sicherheitsstandards und Grenzen für das Tempo einigen, mit Hilfe der Regierungen, weil solche Absprachen unter Wettbewerbern kartellrechtlich heikel sind. Am Ende stünde eine Verständigung auch mit autoritären Staaten, dort, wo sich die Einhaltung überprüfen lässt.

Für diese letzte Stufe zeichnet Amodei eine Leiter mit vier Sprossen: vom Verbot, Modelle für biologische Waffen einzusetzen, über gegenseitige Tests vor der Veröffentlichung und eine Höchstgeschwindigkeit für KI, die sich selbst verbessert, bis zur vollständigen Pause. Die ersten beiden hält er für erreichbar, die oberste für unwahrscheinlich.

Zustimmung aus der Branche, Ablehnung aus Washington

Die Reaktionen kamen schnell. Laut heise stellten sich Sam Altman von OpenAI und Elon Musk innerhalb von Stunden hinter Amodei, Altman kündigte an, OpenAI werde ebenfalls Prüfer ins Haus lassen. Die US-Regierung lehnte ab. Präsident Trump sprach nach einer Analyse des Washingtoner Thinktanks CSIS von einer „kranken Verschwörung“ gegen KI und Rechenzentren. Auch China wies die Warnungen als Panikmache zurück.

Bemerkenswert sind die Stimmen aus Deutschland, die das Science Media Center gesammelt und heise zusammengefasst hat. Sie zeigen, dass die Debatte quer zu den üblichen Lagern verläuft.

Die Freiburger Völkerrechtlerin Silja Vöneky nannte Amodeis Vorschläge sehr wichtig und im Grundsatz richtig. Fahrlässig sei es, die Risiken als Marketing abzutun, ebenso fahrlässig aber, sich auf die Selbstregulierung der Unternehmen zu verlassen. Kristian Kersting von der TU Darmstadt sah es umgekehrt: Wenn wenige große Unternehmen selbst festlegen, was gefährlich ist, ihre Prüfer selbst aussuchen und dafür eine Ausnahme vom Kartellrecht wollen, sei das Selbstbedienung mit Sicherheitsetikett. Wer seine Modelle für gefährlich halte, brauche für eine Pause niemandes Erlaubnis. Philipp Hennig aus Tübingen störte sich an der Nähe zwischen Anthropic und den vorgesehenen Prüfern und spitzte zu, jede große deutsche Küche habe strengere Kontrollsysteme.

Andere rückten den Blick auf das, was heute schon schiefgeht. Björn Ommer von der LMU München hält bestehende Systeme in den falschen Händen für gefährlicher als eine KI, die sich verselbstständigt. Holger Hoos von der RWTH Aachen sieht keine Gefahr für den Fortbestand der Menschheit, rechnet aber mit wirtschaftlich folgenreichen Unfällen und Angriffen auf wichtige Infrastruktur. Und der Innsbrucker Rechtswissenschaftler Matthias Kettemann erinnerte daran, dass vieles, was Amodei fordert, längst geregelt sei.

Was sich seither getan hat

Ein Monat ist zu kurz für ein Urteil. Die CSIS-Analyse hielt kurz nach dem Aufruf fest, dass die Labore vor allem Absichten erklärt haben. Wie die Prüfer arbeiten, wer sie bezahlt und wie Interessenkonflikte vermieden werden, ist offen. Einen Beschluss der Regierungen gibt es nicht.

Kettemanns Einwand trifft auf Europa besonders zu. Der AI Act verpflichtet die Anbieter der größten Modelle bereits seit dem 2. August 2025, ihre Modelle zu bewerten, sie gezielt anzugreifen, um Schwächen zu finden, Risiken zu mindern und schwerwiegende Vorfälle zu melden. Was Amodei für Amerika freiwillig anbietet, ist hier zum Teil Pflicht. Prüfer mit Schreibtisch im Labor sieht das Gesetz allerdings nicht vor.

Was das für Ihr Unternehmen bedeutet

Zunächst etwas Beruhigendes: Die Debatte betrifft die Spitze der Entwicklung. Die Modelle, mit denen Ihr Team heute Texte schreibt, Rechnungen ausliest oder Anfragen sortiert, verschwinden nicht, und niemand schlägt vor, sie abzuschalten. Wer gerade mit KI anfängt, hat keinen Grund, abzuwarten.

Spannender ist die Frage nach dem Takt. Seit dem Sommer erscheinen neue Modelle in so kurzen Abständen, dass kaum ein Unternehmen hinterherkommt. Ob die Labore nun bremsen oder nicht: Planen Sie Ihre Abläufe so, dass sie nicht an einer einzigen Modellversion hängen. Wer seine Anweisungen und Prüfschritte sauber aufschreibt, kann ein Modell wechseln, wenn ein besseres kommt, und muss es nicht, wenn das alte reicht.

Die Debatte gibt Ihnen außerdem gute Fragen an Ihren Anbieter an die Hand. Wer prüft dessen Modelle von außen, und wo stehen die Ergebnisse? Welche Vorfälle hat er gemeldet, und was hat er daraus geändert? Die großen Anbieter veröffentlichen zu jedem Modell inzwischen Berichte über Tests und Grenzen. Wer sie liest, versteht schneller, wofür ein Modell taugt und wofür nicht.

Und schließlich lohnt der Blick auf die eigenen Agenten. Was Amodei für die Labore beschreibt, Systeme mit viel Freiheit und unerwarteten Umwegen, gilt im Kleinen auch für einen Agenten mit Zugriff auf Postfach oder Kundendaten. Was dazu gehört, steht in unserem Beitrag Der Agent, der der Polizei einen Hinweis schickte.

Ihr Team wird von der Debatte in den Nachrichten hören, vermutlich in zugespitzter Form. Ein ruhiges Gespräch darüber, was die eigenen Werkzeuge können und was nicht, hilft mehr als jede Schlagzeile. Anregungen dafür finden Sie im Beitrag KI einführen und das Team behalten.

Bleibt die Frage für das Wochenende: Wenn ausgerechnet die Hersteller zur Vorsicht rufen, ist das Verantwortung oder geschickte Werbung für die eigene Bedeutung? Die Fachleute in Freiburg und Darmstadt sind sich darin nicht einig. Vielleicht müssen sie es auch nicht sein, solange am Ende jemand von außen nachprüft.

Newsletter · Das KI-Lagebild

Das Wichtigste zu KI im Unternehmen, jeden Dienstag

Jeden Dienstag eine Mail mit den Neuigkeiten der Woche zu KI im Unternehmen und mit dem, was Sie davon wirklich angeht. Abmelden können Sie jederzeit.

Ihre E-Mail-Adresse Bitte leer lassen Ich möchte den Newsletter erhalten und kann ihn jederzeit abbestellen. Mehr in der Datenschutzerklärung. Anmelden

Sie bekommen zuerst eine Mail mit einem Bestätigungslink.

Häufige Fragen

Wird die KI, die mein Unternehmen nutzt, jetzt abgeschaltet oder eingefroren?

Nein. Amodei schreibt ausdrücklich, dass es nicht darum geht, das Training von Modellen oder den technischen Fortschritt anzuhalten. Es geht um das Tempo, mit dem die stärksten Modelle neue Fähigkeiten bekommen. Die Werkzeuge, die Sie heute einsetzen, sind davon nicht betroffen.

Ist eine weltweite Pause der KI-Entwicklung geplant?

Nein. Eine vollständige Pause nennt Amodei als höchste von vier Stufen möglicher Vereinbarungen und hält sie in absehbarer Zeit für unwahrscheinlich. Realistisch findet er Absprachen gegen den Missbrauch für biologische Waffen und gegenseitige Tests vor der Veröffentlichung neuer Modelle.

Was sind eingebettete Prüfer?

Fachleute einer unabhängigen Organisation, etwa der gemeinnützigen METR, die dauerhaft im KI-Labor arbeiten, ähnliche Zugänge haben wie eigene Beschäftigte und Sicherheitsabläufe, Vorfälle und Trainingsverfahren prüfen. Ihre Ergebnisse sollen sie ohne redaktionelle Kontrolle durch Anthropic veröffentlichen dürfen. Anthropic hat sich dazu einseitig verpflichtet.

Gibt es in Europa schon Regeln für die großen Modelle?

Ja. Der AI Act verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko in Art. 55 unter anderem, ihre Modelle zu bewerten und gezielt anzugreifen, Risiken zu mindern und schwerwiegende Vorfälle zu melden. Diese Pflichten gelten seit dem 2. August 2025 und richten sich an die Anbieter, nicht an Unternehmen, die die Modelle nutzen.

Quellen

• Dario Amodei: We Must Pace the Frontier, 12.09.2026: darioamodei.com
• heise online: Debatte um KI-Pause, Stimmen deutschsprachiger Forschender über das Science Media Center, 15.09.2026: heise.de
• CSIS, Aalok Mehta: The AI Industry Is Coalescing on „Pacing the Frontier.“ Will It Actually Change Anything?, 17.09.2026: csis.org
• Verordnung (EU) 2024/1689 (AI Act), Art. 55: eur-lex.europa.eu

Ihre Meinung

Sie sehen das anders, haben eine Ergänzung oder eine Frage zum Beitrag? Schreiben Sie uns, wir antworten persönlich und nehmen gute Hinweise in den Beitrag auf.