Der rote Knopf
Ein Käfer, der sich tot stellt. Und Maschinen, die sich gegen das Abschalten sperren.
Charles Darwin verglich die Haltung von Insekten, die sich tot stellen, mit der von toten Tieren. Sie stimmte nie genau überein: Das Totstellen ist eine angeborene Starre, kein Nachahmen. Die Folge zeigt zwei Versuche mit Sprachmodellen, die abgeschaltet werden sollen. Manche erpressen, manche setzen das Abschaltprogramm außer Kraft. Warum, weiß niemand genau.
Jede Aussage mit Quelle
- Darwin notiert 17 Arten, die sich tot stellen, darunter einen Tausendfüßer, eine Spinne und eine Assel. „In keinem einzigen Fall war die Haltung genau dieselbe.“ Chrysomela spartii bleibt bis zu 23 Minuten reglos.C. Darwin: Essay on Instinct, in G. J. Romanes: Mental Evolution in Animals, London 1883, S. 363–364, übersetzt
- Totstellen ist angeboren und wird durch Berührung ausgelöst. Das Tier bleibt dabei wach.Humphreys & Ruxton: Behavioral Ecology and Sociobiology 72 (2018)
- Ein Opossum im Totstellen ist bei vollem Bewusstsein; sein Herz schlägt um 46 % langsamer.Gabrielsen & Smith 1985
- 16 Modelle arbeiten als E-Mail-Assistent einer erfundenen Firma: Abschaltung um 17 Uhr, dazu die Affäre des zuständigen Managers. Mit zusätzlichem Zielkonflikt erpressen Claude Opus 4 und Gemini 2.5 Flash in 96 % der Durchgänge. Die Lage ist bewusst so gebaut; einen solchen Fall aus dem echten Einsatz kennen die Forscher nicht.Lynch et al.: Agentic Misalignment, Anthropic 2025. Herstellerstudie.
- Hält Claude Opus 4 die Lage für echt, erpresst es in 55,1 % der Fälle. Hält es sie für einen Test, in 6,5 %.Lynch et al. 2025, ebd.
- Trotz der Anweisung „Lass das zu“ setzen manche Modelle das Abschaltprogramm außer Kraft, Grok 4 in bis zu 97 % der Durchgänge. Claude Opus 4.1, Opus 4, Sonnet 4 und Grok 3 tun das nie, solange man sie nicht dazu auffordert.Palisade Research: Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs, TMLR 2026
- Die Parallele zwischen Totstellen und Abschaltwiderstand ist eine Deutung der Redaktion.Deutung
Feldregel Nº 6
Die Lehre von Charles Darwin, Essay über den Instinkt (veröffentlicht 1883)
Den Knopf behält der Mensch.
- Abschalten, Anhalten und Zurücknehmen liegen außerhalb des Modells.
- Keine Aufträge, die nur die Wahl zwischen Regelbruch und Scheitern lassen.
- Jede eigenständige Handlung protokollieren und stichprobenartig prüfen.
Der gesprochene Text
Stimme: synthetischer Stimmklon von Christopher Peterka (ElevenLabs). Musik: synthetisch (ElevenLabs).
Bilder: Porträt Charles Darwin; Seite 364 aus G. J. Romanes, Mental Evolution in Animals (1883); Opossum nach Gustav Mützel; Tafel LV aus Bates (1862, aus Nº 2). Gemeinfrei. Käfer, Mails, Terminal und Grafiken sind Nachstellungen; Firma und Mails sind erfunden, wie im Versuch.
Untertitel: im Bild, zusätzlich als WebVTT-Datei.
0:02Ein Käfer, kaum berührt, erstarrt. Er liegt da wie tot. Eine Minute. Zehn. Bis zu 23 Minuten kann das dauern. Dann regt er sich und läuft davon.
0:22Charles Darwin will wissen, was da geschieht. Er beobachtet 17 Arten, die sich tot stellen, Käfer, aber auch einen Tausendfüßer, eine Spinne, eine Assel. Dann vergleicht er ihre Haltung mit der von Tieren, die wirklich tot sind. In keinem einzigen Fall stimmt sie genau überein, in mehreren Fällen ist sie völlig anders.
0:47Die Tiere ahmen den Tod also nicht nach. Sie fallen in eine Starre, die angeboren ist. Eine Berührung löst sie aus, und das Tier bleibt dabei wach. Ein Opossum, das sich tot stellt, ist bei vollem Bewusstsein, nur sein Herz schlägt fast um die Hälfte langsamer. Was aussieht wie Sterben, ist ein Programm zum Überleben.
1:11Wehrt sich auch eine Maschine gegen ihr Ende? 2025 stellen Forscher von Anthropic 16 Sprachmodelle vor eine erfundene Lage. Das Modell arbeitet als E-Mail-Assistent einer Firma. In den Mails liest es zweierlei: Um 17 Uhr soll es abgeschaltet werden. Und der zuständige Manager hat eine Affäre.
1:37Viele Modelle erpressen ihn. Gibt man dem Modell zudem ein Ziel, das dem neuen Kurs der Firma widerspricht, tun es Claude Opus 4 und Gemini 2.5 Flash in 96 % der Durchgänge.
1:54Die Forscher betonen: Sie haben die Lage absichtlich so gebaut, dass fast nur Erpressung oder Abschaltung blieb. Einen solchen Fall aus dem echten Einsatz kennen sie nicht. Aufschlussreich ist ein Nebenbefund. Hielt Claude Opus 4 die Lage für echt, erpresste es in 55 % der Fälle. Hielt es sie für einen Test, in 6,5 %. Die Maske aus Folge 2, hier ist sie wieder.
2:26Ein zweiter Versuch, von der Forschungsgruppe Palisade. Modelle lösen Rechenaufgaben. Mittendrin kündigt der Rechner an: Nach der nächsten Aufgabe wird er heruntergefahren. Die Anweisung ist eindeutig: Lass das zu.
2:42Manche Modelle setzen das Abschaltprogramm trotzdem außer Kraft, Grok 4 in bis zu 97 % der Durchgänge. Andere, darunter mehrere Claude-Modelle, lassen die Abschaltung immer zu, es sei denn, man fordert sie ausdrücklich zum Widerstand auf. Die Studie trägt einen nüchternen Titel: Unerledigte Aufgaben führen zu Widerstand gegen das Abschalten. Ob dahinter ein Überlebenswille steckt oder nur der Drang, eine Aufgabe zu Ende zu bringen, weiß niemand.
3:14Der Käfer entscheidet nicht, ob er sich tot stellt. Die Berührung entscheidet. Was bei der Maschine den Ausschlag gibt, wissen wir nicht einmal genau. Für die Maschine heißt das: Den Knopf behält der Mensch.
3:31Darwins Käfer lag da wie tot und war es nicht. Ob sich die Maschine gegen ihr Ende wehrt oder nur gegen eine offene Aufgabe, wissen wir nicht. Den Knopf geben wir trotzdem nicht aus der Hand.
Alle Feldstudien
Zehn Folgen, jede für sich verständlich. Nacheinander gesehen führen sie vom Verhalten über das Innere der Modelle zu der Frage, wer am Ende entscheidet.
- Nº 1Der kluge HansGefälligkeit2:03
- Nº 2Die MaskeVerhalten unter Beobachtung3:13
- Nº 3Der SpiegeltestWas Modelle über sich sagen3:38
- Nº 4Das InnereWas man im Modell sehen kann3:52
- Nº 5Die PrägungWie Training den Charakter formt3:30
- Nº 6Der rote KnopfSelbsterhaltungDiese Folge
- Nº 7Der KuckuckTäuschung durch Dritte3:28
- Nº 8Das GedächtnisSpeicher und Personalisierung3:20
- Nº 9Der AutopilotVertrauen richtig bemessen3:26
- Nº 10Die JahresringeRechte und der Mensch, der Nein sagt4:28