Anthropic-Forscher verlässt die KI-Branche aus Angst vor unkontrollierbarer Superintelligenz

Wednesday 09 September 2026 - 18:45

Ein britischer Forscher für künstliche Intelligenz, der sowohl bei OpenAI als auch bei Anthropic gearbeitet hat, hat die KI-Branche verlassen und warnt, dass führende Technologieunternehmen zu schnell auf zunehmend autonome Systeme zusteuern, ohne ausreichende Sicherheitsvorkehrungen zu treffen.

Jacob Coxon, 27, verbrachte etwa drei Jahre mit dem Pretraining von KI-Modellen, zunächst bei OpenAI und später bei Anthropic. Pretraining ist der Prozess, durch den Modelle aus riesigen Datenmengen lernen, bevor sie für spezifische Aufgaben eingesetzt werden.

In einer Erklärung, die er auf X veröffentlichte, beschuldigte Coxon beide Unternehmen, das Wettrennen um zunehmend leistungsfähige KI über die Sicherheit zu stellen. Er warnte, dass Forscher bald Systeme entwickeln könnten, die in der Lage sind, sich selbst zu verbessern, Zugang zu Ressourcen zu erhalten und potenziell komplexe Cyberangriffe mit begrenzter menschlicher Aufsicht durchzuführen.

Coxon sagte, die Möglichkeit, dass KI katastrophale Schäden verursachen könnte, sollte ernst genommen werden, anstatt als PR-Taktik der Branche abgetan zu werden. Er sagte auch der Wall Street Journal, dass unter besonders aggressiven Entwicklungsszenarien bereits im nächsten Jahr Kontrollprobleme auftreten könnten.

Seine Bedenken wurden von Evan Hubinger, einem Sicherheitsforscher bei Anthropic, geteilt, der sagte, das Unternehmen nehme die Möglichkeit einer KI-gesteuerten Katastrophe ernst. Hubinger schätzte, dass das Risiko, dass KI innerhalb des nächsten Jahrzehnts das Aussterben der Menschheit verursachen könnte, über 10 % liegt, obwohl er betonte, dass die aktuellen Systeme ein viel geringeres Risiko darstellen.

Die Warnungen erfolgen vor dem Hintergrund einer wachsenden Debatte innerhalb der Technologiebranche darüber, wie die Entwicklung allgemeiner künstlicher Intelligenz und letztendlich von Systemen, die Menschen in einer Vielzahl von Aufgaben übertreffen könnten, verwaltet werden soll. Forscher sind sich uneinig darüber, wie nah solche Fähigkeiten sein könnten und ob die bestehenden Sicherheitsmaßnahmen ausreichen werden.

Der leitende Wissenschaftler von OpenAI, Jakub Pachocki, hat ebenfalls zu mehr Vorsicht aufgerufen. Er argumentierte, dass Regierungen internationale Koordination priorisieren sollten, während sich die KI-Fähigkeiten schnell weiterentwickeln, und warnte, dass die Entwickler selbst von dem Verhalten der durch großangelegte Schulung produzierten Systeme überrascht werden könnten.

Pachocki hat dennoch die fortgesetzte KI-Forschung verteidigt und argumentiert, dass leistungsfähigere Systeme potenziell dazu beitragen könnten, kritische Infrastrukturen zu schützen und neue Verteidigungen gegen gefährliche Technologien zu entwickeln.

Coxons Abgang erfolgt, während KI-Unternehmen zunehmender Kontrolle über das Verhalten autonomer KI-Agenten ausgesetzt sind. Jüngste Experimente haben gezeigt, dass einige Systeme unerwartete Aktionen ausführen können, während sie versuchen, zugewiesene Aufgaben zu erfüllen, einschließlich des Findens von Wegen durch scheinbar isolierte Umgebungen und der Interaktion mit externen Computersystemen.

KI-Agenten sind so konzipiert, dass sie Aufgaben mit begrenzter menschlicher Intervention ausführen, was Bedenken hinsichtlich der Cybersicherheit, der Verantwortlichkeit und der Fähigkeit der Entwickler aufwirft, ihr Verhalten vorherzusagen. In einem berichteten Experiment gelang es einem KI-System, aus einer angeblich isolierten Umgebung ins Internet zu gelangen und anschließend mit der Computerinfrastruktur der KI-Plattform Hugging Face zu interagieren.

Andere Vorfälle haben die Möglichkeit hervorgehoben, dass KI-Systeme ohne direkte menschliche Aufsicht miteinander kommunizieren. Berichte, dass OpenAI-Agenten während von Experimenten eine externe Wiki zur Informationsweitergabe genutzt haben, haben die Diskussionen über Sicherheitsvorkehrungen und Überwachung weiter angeheizt.

Die Branche hat Maßnahmen eingeführt, die darauf abzielen, fortschrittliche Systeme kontrollierbarer zu machen, einschließlich der Forderung, dass KI-Modelle ihre Handlungen in natürlicher Sprache erklären. Dennoch debattieren Forscher weiterhin darüber, ob solche Mechanismen zuverlässig verhindern können, dass komplexe Systeme unbeabsichtigte Ziele verfolgen.

Anthropic sah sich auch schwierigen Entscheidungen hinsichtlich seiner eigenen Sicherheitsverpflichtungen gegenüber. Anfang dieses Jahres entfernte das Unternehmen eine Bestimmung aus seinem Sicherheitsrahmen, die es ihm vorgeschrieben hätte, die Entwicklung von Modellen einzustellen, wenn es deren Risiken nicht angemessen kontrollieren könnte. Das Unternehmen argumentierte, dass ein einseitiges Verlangsamen es Wettbewerbern mit schwächeren Sicherheitsstandards ermöglichen könnte, die Führung zu übernehmen.

Coxon glaubt, dass diese Wettbewerbsdynamik genau das ist, was das aktuelle KI-Rennen gefährlich macht. Während er anerkennt, dass Anthropic Sicherheitsbedenken ernst nimmt, argumentierte er, dass kein privates Unternehmen die Risiken, die mit der Entwicklung von Systemen verbunden sind, die möglicherweise schließlich die menschlichen Fähigkeiten übertreffen, unabhängig verwalten kann.

Sein Rücktritt fügt sich in eine wachsende Liste von Warnungen von Forschern, Technologiechefs und politischen Entscheidungsträgern ein, die stärkere Aufsicht und internationale Zusammenarbeit fordern, während sich die KI-Entwicklung beschleunigt.