Anthropic warnt: KIs könnten schon bald eigene Nachfolger erschaffen

Die selbstständige Programmierung durch Künstliche Intelligenz bietet enorme Chancen für die Wissenschaft. Doch Forscher von Anthropic warnen massiv vor einem drohenden Kontrollverlust. Sie fordern deshalb eine internationale Entwicklungspause.

KI programmiert sich selbst

Künstliche Intelligenz übernimmt in der Softwareentwicklung zunehmend Aufgaben, die bisher Menschen vorbehalten waren. Sprachmodelle schreiben, testen und optimieren Code immer autonomer. Das führt zu einer sogenannten rekursiven Selbstverbesserung, bei der Systeme ihre eigenen Nachfolger entwickeln. Was den Experten immer mehr Sorgen bereitet: Die Geschwindigkeit der Fortschritte übertrifft aktuelle Prognosen, und zwar deutlich.

Interne Auswertungen zeigen eine rasante Beschleunigung. Im Mai 2026 stammten bereits über 80 Prozent des integrierten Codes bei der Entwicklung neuer Modelle von der KI selbst. Entwickler prüfen die Vorschläge oft nur noch. Das steigerte die Menge des täglich verarbeiteten Codes pro Mitarbeiter im Vergleich zum Jahr 2024 um das Achtfache.

Vom Helfer zum Entwickler

Wie Anthropic in einem Blogbeitrag schreibt, verlängert sich die Dauer der Aufgaben, die Modelle fehlerfrei lösen. Während Systeme im Jahr 2024 nur vierminütige Programmierarbeiten bewältigt haben, bearbeiteten aktuelle Versionen komplexe Probleme über zwölf Stunden hinweg selbstständig. Der Mensch wird in dem Prozess zunehmend zum Flaschenhals.

Auch bei standardisierten Tests wie SWE-bench, der die Lösung realer Softwarefehler misst, erreichen die Systeme mittlerweile fast perfekte Ergebnisse. Ähnliches gilt für CORE-Bench, einen Test zur Reproduktion wissenschaftlicher Studien. Die Modelle werten Daten aus und bestätigen Ergebnisse ohne menschliches Zutun.

Das bietet große Chancen für Bereiche wie die medizinische Forschung und die Wissenschaft. Komplexe Probleme ließen sich deutlich schneller lösen. Gleichzeitig wachsen die Risiken. Wenn Systeme ihre Nachfolger ohne menschliches Eingreifen trainieren, erschwert das die Überwachung. Ein Kontrollverlust über die Ausrichtung der Modelle ist ein mögliches Szenario.

Forderung nach KI-Pause

Um gesellschaftliche Strukturen und Sicherheitskonzepte an das Tempo anzupassen, schlagen die Forscher eine temporäre Verlangsamung der globalen KI-Entwicklung vor. Ein solcher Stopp erfordere jedoch internationale Abkommen und strenge Kontrollmechanismen. Nur so ließe sich verhindern, dass einzelne Akteure einen geheimen Vorsprung aufbauen.

Die Umsetzung eines solchen Abkommens ist technisch und politisch komplex. Trainingsläufe von Modellen sind schwerer zu überwachen als physische Anlagen. Dennoch drängt das Unternehmen auf einen Dialog mit Regierungen, um zeitnah verifizierbare Rahmenbedingungen für die zukünftige Forschung zu schaffen.

Glaubt ihr, dass ein globaler Entwicklungsstopp für KI realistisch umsetzbar ist? Teilt eure Gedanken und Bedenken gerne unten in den Kommentaren mit uns!


Siehe auch: