Jacob Coxon, ein ehemaliger Forscher im Bereich des Modellvortrainings bei OpenAI und Anthropic, gab am 9. September 2026 seinen Rücktritt von Anthropic bekannt und warf beiden Unternehmen vor, rücksichtslos auf eine sich selbst verbessernde Superintelligenz zuzusteuern und damit mit dem Leben der Menschheit zu spielen. Er warnt, dass führende Entwickler privat befürchten, KI könne bis zum Ende des Jahrzehnts katastrophale Schäden anrichten, der Konkurrenzkampf jedoch jegliche Verlangsamung verhindere. Der Vorfall verdeutlicht die wachsenden internen Spannungen und existentiellen Sorgen innerhalb der führenden KI-Labore.
Wichtigste Punkte
Rücktritt von Anthropic: Jacob Coxon verließ Anthropic nach einer dreijährigen Tätigkeit in der Pretraining-Forschung bei sowohl OpenAI als auch Anthropic.
Vorwurf des rücksichtslosen Wettbewerbs: Beide Unternehmen würden einen unkontrollierten Wettlauf zu einer sich selbst verbessernden Superintelligenz betreiben und das Überleben der Menschheit aufs Spiel setzen.
Interne Privatängste: Entwickler und Führungskräfte würden hinter verschlossenen Türen ernsthaft befürchten, dass die Technologie bis zum Ende des Jahrzehnts tödlich für die Menschheit werden könnte, dies in der Öffentlichkeit jedoch verharmlosen.
Strukturelles Gefangenendilemma: Während die Risiken bei Anthropic verstanden werden, treibe man die Entwicklung aus Angst vor unkontrollierten Konkurrenten dennoch voran, um als Erster das Ziel zu erreichen.
Forderung nach Regulierung: Coxon plädiert für internationale Koordination, strengere Pacing-Abkommen zwischen US-Laboren und zieht im Notfall temporäre Moratorien bzw. Verbote in Betracht.
Diskussions-Highlights
Kontroverse um Existenzrisiken: Kommentatoren bewerten die Behauptung, KI stelle die gefährlichste Aktivität der Menschheit dar, skeptisch und verweisen auf reale Krisen wie den Klimawandel, Atomwaffen und globale Ungleichheit.
Bedeutung des Agenten-Harnesses: Mehrere technische Beiträge betonen, dass die reale Gefahr nicht vom isolierten Sprachmodell ausgeht, sondern von der Kombination aus Modell, robustem Agenten-Gerüst (Harness), Tools, langlaufender Autonomie und Systemzugriffen.
Verdacht auf PR-Taktik und IPO: Zahlreiche Nutzer vermuten hinter dem Zeitpunkt und der Art der Erklärung eine geplante Marketingstrategie oder eine Vorbereitung im Vorfeld eines Börsengangs (IPO).
Alternative Gefahrenszenarien: Statt klassischer Terminator-Szenarien werden realistischere Risiken diskutiert, wie etwa extreme Lohnkonzentration und Massenarbeitslosigkeit, autonome Cyberangriffe durch KI-Swarms sowie der Missbrauch durch autoritäre Regime.
Externe Quellen und Berichterstattung: In der Diskussion werden ergänzende Berichte wie ein Artikel des Wall Street Journal ("Anthropic Researcher Quits Over ‘Out-of-Control’ AI Fears") sowie ein politischer Vorstoß von US-Senator Bernie Sanders für ein Verbot superintelligenter KI erwähnt.
Kritik an physischen Machbarkeitshürden: Skeptiker entgegnen mit Verweisen auf die extreme Komplexität realer Prozesse (beispielsweise in der synthetischen Biologie), wodurch popkulturelle Doomsday-Szenarien stark relativiert würden.
Glossar
Pretraining (Vortraining): Die fundamentale und rechenintensive Trainingsphase eines neuronalen Netzes, bei der ein Modell anhand gigantischer Textmengen statistische Sprachmuster und Grundwissen erlernt.
Superintelligenz (Superintelligence): Eine hypothetische Künstliche Intelligenz, die die menschlichen kognitiven Fähigkeiten in sämtlichen Bereichen, einschließlich Kreativität und Problemlösung, drastisch übertrifft.
Agenten-Harness (Agentic Harness): Eine Softwareumgebung, die ein Sprachmodell mit Werkzeugen, Speicher, Rückkopplungsschleifen (Retries) und autonomer Handlungsfähigkeit ausstattet, um eigenständig komplexe Aufgaben auszuführen.
AGI (Artificial General Intelligence / Allgemeine Künstliche Intelligenz): Eine KI, die in der Lage ist, jede intellektuelle Aufgabe zu bewältigen, die ein Mensch ausführen kann.
RL (Reinforcement Learning / Bestärkendes Lernen): Ein Verfahren des maschinellen Lernens, bei dem ein Algorithmus durch ein System von Belohnungen und Bestrafungen in einer Umgebung optimiert wird.
IPO (Initial Public Offering): Der erste Börsengang eines Unternehmens, bei dem Anteile erstmals öffentlich an der Börse gehandelt werden.
Nasslabor (Wet-Lab): Ein Labor, in dem chemische oder biologische Substanzen direkt an physischen Proben und Flüssigkeiten getestet werden, im Gegensatz zu reinen Computersimulationen.