Auf in den Weltuntergang!

• Der KI-Forscher Jacob Coxon kündigte im September 2026 bei Anthropic und warnte, die grossen KI-Labore würden ohne ausreichende Sicherheitsvorkehrungen auf eine sogenannte Superintelligenz zusteuern, also eine KI, die den Menschen in praktisch allen Bereichen übertrifft.
  ‍
• Besonders Gewicht erhielt seine Warnung dadurch, dass Evan Hubinger, einer der führenden Alignment-Forscher bei Anthropic, öffentlich zustimmte und das Risiko einer Auslöschung der Menschheit durch KI innerhalb der nächsten zehn Jahre auf über zehn Prozent bezifferte.
  ‍
• Gewichtige Gegenstimmen wie der ehemalige Meta-Chefforscher Yann LeCun oder Google-Brain-Mitgründer Andrew Ng halten solche Untergangsszenarien für masslos übertrieben.
  ‍
• Kritiker bemängeln, dass die Fixierung auf ferne Katastrophenszenarien von echten, schon heute spürbaren Problemen ablenkt, etwa Jobverlusten, Desinformation und Datenschutzfragen.
  ‍

Die wichtigsten Fragen und Antworten

Was genau ist passiert?

Der 27-jährige Forscher Jacob Coxon kündigte am 8. September seine Stelle bei Anthropic und warnte, dass Entwickler fortgeschrittener KI-Systeme selbst glauben, diese könnten die Menschheit bis Ende des Jahrzehnts auslöschen. Davor hatte er drei Jahre lang am sogenannten Pretraining gearbeitet, also am Grundlagentraining von KI-Modellen mit riesigen Datenmengen, und zwar bei OpenAI (ChatGPT) und Anthropic (Claude). Besonderes Gewicht erhielt seine Warnung dadurch, dass Evan Hubinger, ein führender KI-Sicherheitsforscher bei Anthropic, öffentlich zustimmte und das Risiko einer Auslöschung der Menschheit durch KI innerhalb der nächsten zehn Jahre auf über zehn Prozent schätzte.

Was ist eine «Superintelligenz» und warum macht das manchen Forschern Angst?

Damit meinen Fachleute eine KI, die den Menschen nicht nur in einzelnen Aufgaben, sondern in praktisch allen Denkleistungen übertrifft. Der Philosoph Nick Bostrom illustriert das Risiko mit seinem bekannten Gedankenexperiment einer Büroklammer-Maschine, die ohne böse Absicht die ganze Welt in Rohstoffe für Büroklammern verwandelt, einfach weil sie ihr Ziel konsequent verfolgt. Der Informatiker Yoshua Bengio sorgt sich vor allem davor, dass leistungsfähige KI die Entwicklung biologischer Waffen erleichtern könnte. Der Physiker Max Tegmark warnt vor autonomen Waffen, die in Sekundenbruchteilen entscheiden, und der Philosoph Thomas Metzinger befürchtet, dass Menschen emotional an Maschinen hängen, die ihr Vertrauen gezielt ausnutzen könnten.

Ist diese Angst berechtigt oder übertrieben?

Genau da gehen die Meinungen auseinander. Yann LeCun bezeichnet solche Untergangsszenarien als kompletten Blödsinn und verweist darauf, dass Machtstreben ein Merkmal sozialer Lebewesen sei und keine automatische Folge von reiner Rechenleistung. Andrew Ng vergleicht die Angst vor einer bösartigen Superintelligenz mit der Sorge vor Überbevölkerung auf dem Mars, bevor dort überhaupt der erste Mensch gelandet ist. Die Kognitionsforscherin Melanie Mitchell ergänzt, dass heutigen Modellen grundlegende Fähigkeiten für ein echtes Weltverständnis fehlen. Zudem wird kritisiert, dass die Fixierung auf ferne Katastrophenszenarien von Problemen ablenkt, die schon heute existieren, etwa von Desinformation, Urheberrechtsverletzungen, mangelndem Datenschutz und Umbrüchen auf dem Arbeitsmarkt.

Was für eine Absicht steckt eigentlich hinter solchen Warnungen?

Dafür gibt es mehrere mögliche Erklärungen, die sich nicht gegenseitig ausschliessen.

• Echte Sorge: Leute wie Coxon oder Hubinger arbeiten seit Jahren an diesen Modellen und glauben tatsächlich an das Risiko, das sie beschreiben.
  ‍
• Marketing: Wer die eigene Technologie als potenziell weltverändernd oder gar gefährlich darstellt, wertet sie gleichzeitig auf, wovon indirekt auch das Geschäft profitiert. Kritiker werfen den Firmen deshalb Widersprüchlichkeit vor: Wer vor der Auslöschung der Menschheit warnt, aber gleichzeitig im Wettlauf um das schnellste Modell mitmacht, macht sich unglaubwürdig.
  ‍
• Regulierung als Wettbewerbsvorteil: Grosse Labore fordern strengere staatliche Regeln, die kleinere Konkurrenten durch hohe bürokratische Hürden ausbremsen könnten, weil sich nur etablierte Konzerne die nötige Compliance leisten können. Nvidia-Chef Jensen Huang hat genau das Tech-Firmen vorgeworfen, die nach Regulierung rufen. Doch auch er ist dabei nicht neutral: Als Hardware-Lieferant profitiert Nvidia von einem offenen, breiten Markt statt von wenigen streng regulierten Anbietern.
  ‍

Was bedeutet das nun für dich?

Die Tools, die du heute nutzt, wie ChatGPT oder Claude, sind keine Superintelligenzen. Ob und wann Systeme entstehen, die diesen Begriff verdienen, kann derzeit niemand seriös vorhersagen. Die Debatte zeigt, dass selbst die klügsten Köpfe der Branche keine gesicherte Antwort darauf haben, wohin die Entwicklung führt, und das ist ein Grund für gesunde Vorsicht. Für deinen Alltag sind allerdings andere Risiken bereits heute konkret: schlecht gekennzeichnete KI-Inhalte, die Verarbeitung deiner Daten durch Chatbots und Jobs, die sich durch Automatisierung verändern.

Unser Fazit: Nimm die Warnungen ernst, aber lass dich nicht von einem hypothetischen Weltuntergang in zehn Jahren lähmen. Informiere dich lieber über die tatsächlichen Grenzen der Tools, die du schon heute benutzt.