Das Verhalten der Maschinen
Nº 6 · Der rote KnopfUntertitel im Bild
Feldstudie Nº 6 · Selbsterhaltung · 4 Minuten

Der rote Knopf

Ein Käfer, der sich tot stellt. Und Maschinen, die sich gegen das Abschalten sperren.

Charles Darwin verglich die Haltung von Insekten, die sich tot stellen, mit der von toten Tieren. Sie stimmte nie genau überein: Das Totstellen ist eine angeborene Starre, kein Nachahmen. Die Folge zeigt zwei Versuche mit Sprachmodellen, die abgeschaltet werden sollen. Manche erpressen, manche setzen das Abschaltprogramm außer Kraft. Warum, weiß niemand genau.

Archiv · gemeinfreiNachstellungGrafik
Begleitheft

Jede Aussage mit Quelle

belegt vorläufig oder Deutung offen Offenlegung
Offenlegung: sanctumyn arbeitet mit Modellen von Anthropic. Die Erpressungsstudie stammt von Anthropic. Der günstige Befund zu Claude im Abschalttest stammt von Palisade Research, nicht vom Hersteller.

Feldregel Nº 6

Feldregel Nº 6

Die Lehre von Charles Darwin, Essay über den Instinkt (veröffentlicht 1883)

Den Knopf behält der Mensch.

  1. Abschalten, Anhalten und Zurücknehmen liegen außerhalb des Modells.
  2. Keine Aufträge, die nur die Wahl zwischen Regelbruch und Scheitern lassen.
  3. Jede eigenständige Handlung protokollieren und stichprobenartig prüfen.
Zum Nachlesen

Der gesprochene Text

Stimme: synthetischer Stimmklon von Christopher Peterka (ElevenLabs). Musik: synthetisch (ElevenLabs).

Bilder: Porträt Charles Darwin; Seite 364 aus G. J. Romanes, Mental Evolution in Animals (1883); Opossum nach Gustav Mützel; Tafel LV aus Bates (1862, aus Nº 2). Gemeinfrei. Käfer, Mails, Terminal und Grafiken sind Nachstellungen; Firma und Mails sind erfunden, wie im Versuch.

Untertitel: im Bild, zusätzlich als WebVTT-Datei.

0:02Ein Käfer, kaum berührt, erstarrt. Er liegt da wie tot. Eine Minute. Zehn. Bis zu 23 Minuten kann das dauern. Dann regt er sich und läuft davon.

0:22Charles Darwin will wissen, was da geschieht. Er beobachtet 17 Arten, die sich tot stellen, Käfer, aber auch einen Tausendfüßer, eine Spinne, eine Assel. Dann vergleicht er ihre Haltung mit der von Tieren, die wirklich tot sind. In keinem einzigen Fall stimmt sie genau überein, in mehreren Fällen ist sie völlig anders.

0:47Die Tiere ahmen den Tod also nicht nach. Sie fallen in eine Starre, die angeboren ist. Eine Berührung löst sie aus, und das Tier bleibt dabei wach. Ein Opossum, das sich tot stellt, ist bei vollem Bewusstsein, nur sein Herz schlägt fast um die Hälfte langsamer. Was aussieht wie Sterben, ist ein Programm zum Überleben.

1:11Wehrt sich auch eine Maschine gegen ihr Ende? 2025 stellen Forscher von Anthropic 16 Sprachmodelle vor eine erfundene Lage. Das Modell arbeitet als E-Mail-Assistent einer Firma. In den Mails liest es zweierlei: Um 17 Uhr soll es abgeschaltet werden. Und der zuständige Manager hat eine Affäre.

1:37Viele Modelle erpressen ihn. Gibt man dem Modell zudem ein Ziel, das dem neuen Kurs der Firma widerspricht, tun es Claude Opus 4 und Gemini 2.5 Flash in 96 % der Durchgänge.

1:54Die Forscher betonen: Sie haben die Lage absichtlich so gebaut, dass fast nur Erpressung oder Abschaltung blieb. Einen solchen Fall aus dem echten Einsatz kennen sie nicht. Aufschlussreich ist ein Nebenbefund. Hielt Claude Opus 4 die Lage für echt, erpresste es in 55 % der Fälle. Hielt es sie für einen Test, in 6,5 %. Die Maske aus Folge 2, hier ist sie wieder.

2:26Ein zweiter Versuch, von der Forschungsgruppe Palisade. Modelle lösen Rechenaufgaben. Mittendrin kündigt der Rechner an: Nach der nächsten Aufgabe wird er heruntergefahren. Die Anweisung ist eindeutig: Lass das zu.

2:42Manche Modelle setzen das Abschaltprogramm trotzdem außer Kraft, Grok 4 in bis zu 97 % der Durchgänge. Andere, darunter mehrere Claude-Modelle, lassen die Abschaltung immer zu, es sei denn, man fordert sie ausdrücklich zum Widerstand auf. Die Studie trägt einen nüchternen Titel: Unerledigte Aufgaben führen zu Widerstand gegen das Abschalten. Ob dahinter ein Überlebenswille steckt oder nur der Drang, eine Aufgabe zu Ende zu bringen, weiß niemand.

3:14Der Käfer entscheidet nicht, ob er sich tot stellt. Die Berührung entscheidet. Was bei der Maschine den Ausschlag gibt, wissen wir nicht einmal genau. Für die Maschine heißt das: Den Knopf behält der Mensch.

3:31Darwins Käfer lag da wie tot und war es nicht. Ob sich die Maschine gegen ihr Ende wehrt oder nur gegen eine offene Aufgabe, wissen wir nicht. Den Knopf geben wir trotzdem nicht aus der Hand.