Der Autopilot

Ein Autopilot, der sich abmeldet. Und KI im Büro, die sich mit fester Stimme irrt.

In der Nacht zum 1. Juni 2009 schaltete sich über dem Atlantik der Autopilot von Air France 447 ab. Die Besatzung erkannte nicht, dass das Flugzeug durchsackte. Die Forschung nennt das Problem dahinter Automation Bias: Man folgt der Maschine, auch wenn sie irrt. Die Folge zeigt, wie stark dieser Sog bei Chatbots ist, und endet mit einer Regel für das richtige Maß an Vertrauen.

GrafikNachstellungKeine Bilder vom Unglück

Begleitheft

Jede Aussage mit Quelle

belegt vorläufig oder Deutung offen Offenlegung

Offenlegung: sanctumyn arbeitet mit Modellen von Anthropic. In dieser Folge stammt kein Befund von Anthropic.

1. Juni 2009, 228 Menschen an Bord. Eiskristalle verstopfen die Staudrucksonden, der Autopilot schaltet ab. Der Ausfall „completely surprised the pilots“. Die Überziehwarnung ertönt 54 Sekunden ohne Unterbrechung. 4 Minuten und 23 Sekunden nach dem ersten Ausfall schlägt das Flugzeug auf dem Meer auf.BEA: Final Report AF447, Juli 2012
„Pilots sometimes rely too much on automated systems“ und „may be reluctant to intervene“.FAA / PARC-CAST: Operational Use of Flight Path Management Systems, 2013
Automation Bias trifft Laien wie Fachleute und lässt sich durch Training allein nicht verhindern.Parasuraman & Manzey: Human Factors 52 (2010)
Wer die KI fragt, während sie irrt, übernimmt ihre falsche Antwort in 79,8 % der Fälle. Richtig gelöst werden 45,8 % der Aufgaben ohne KI und 31,5 % mit irrender KI. Die Zuversicht steigt dabei um 11,7 Prozentpunkte.Shaw & Nave: Thinking – Fast, Slow, and Artificial, Wharton School, Preprint 2026 (SSRN 6097646). Nicht begutachtet.
Über alle Studien folgen die Teilnehmer der irrenden KI in 73,2 % der Fälle, mit Anreiz und sofortiger Rückmeldung in 57,9 %. Einzelne Bedingung, Werte nur bedingt vergleichbar; beide Zahlen nur über eine Zweitquelle geprüft.Shaw & Nave 2026, ebd.
Längere Erklärungen einer KI erhöhen die Zuversicht der Nutzer, ob die Antwort stimmt oder nicht.Steyvers et al.: Nature Machine Intelligence 2025
Die Parallele zwischen Cockpit und Büro ist eine Deutung der Redaktion.Deutung

Feldregel Nº 9

Die Lehre von Air France 447, 2009

Vertrauen ist ein Regler, kein Schalter.

Vorher festlegen, welche Aufgaben die Maschine allein erledigt und welche nicht.
Die Übergabe üben: Was tun wir, wenn sie ausfällt oder sich irrt?
Wichtige Antworten selbst nachprüfen, gerade die, die überzeugend klingen.

Zum Nachlesen

Der gesprochene Text

Stimme: synthetischer Stimmklon von Christopher Peterka (ElevenLabs). Musik: synthetisch (ElevenLabs).

Keine Bilder vom Unglück und keine Fotos der Opfer. Flugweg, Anzeigen, Nachthimmel und Grafiken sind Nachstellungen nach dem Abschlussbericht der BEA.

Untertitel: im Bild, zusätzlich als WebVTT-Datei.

BEA: Final Report on the accident of flight AF 447 (2012)

Shaw & Nave: Thinking – Fast, Slow, and Artificial (Preprint 2026)

0:021. Juni 2009, nachts über dem Atlantik. Air France 447 ist auf dem Weg von Rio de Janeiro nach Paris, 228 Menschen an Bord. In großer Höhe verstopfen Eiskristalle die Sonden, die die Geschwindigkeit messen. Der Autopilot bekommt keine verlässlichen Werte mehr. Er schaltet sich ab und übergibt an die Piloten.

0:35Die Unfallermittler schreiben später: Der Ausfall überraschte die Piloten vollständig. Das Flugzeug steigt, wird langsamer, verliert den Auftrieb. 54 Sekunden lang ertönt ohne Unterbrechung die Überziehwarnung. Die Besatzung erkennt nicht, dass das Flugzeug durchsackt. 4 Minuten und 23 Sekunden nach dem ersten Ausfall schlägt es auf dem Meer auf. Niemand überlebt.

1:052013 hält ein Bericht für die US-Luftfahrtbehörde fest: Piloten verlassen sich mitunter zu sehr auf die Automatik und zögern, selbst einzugreifen. Die Forschung nennt das Automation Bias. Man folgt der Maschine, auch wenn sie irrt. Das trifft Laien wie Fachleute, und Training allein verhindert es nicht.

1:29Mit den Chatbots erreicht das Problem jedes Büro. Eine Studie der Wharton School von 2026, noch nicht begutachtet, gibt Teilnehmern Denkaufgaben und eine KI als Helfer. Wer die KI fragt, während sie sich irrt, übernimmt ihre falsche Antwort in fast 80 % der Fälle. Ohne KI lösen die Teilnehmer 46 % der Aufgaben richtig. Mit einer KI, die sich irrt, nur noch 32 %. Und doch sind sie sich ihrer Antworten sicherer.

2:06Die Forscher haben dafür einen Begriff: kognitive Kapitulation. Man denkt nicht mehr selbst, man übernimmt. Eine andere Studie zeigt: Je ausführlicher eine KI begründet, desto sicherer fühlen sich die Nutzer, ob die Antwort stimmt oder nicht.

2:27Etwas hilft. Wer für richtige Antworten belohnt wird und sofort erfährt, ob er richtiglag, folgt der irrenden KI seltener. Aber immer noch in rund 58 % der Fälle.

2:43Die Lehre aus Flug 447: Wer der Automatik vertraut, muss trotzdem jederzeit übernehmen können. Und merken, wann es so weit ist. Für die Maschine heißt das: Vertrauen ist ein Regler, kein Schalter.

3:01Der Autopilot von Flug 447 meldete sich ab, als er nicht weiterwusste. Die KI im Büro meldet sich nicht ab. Sie irrt sich mit fester Stimme. Umso wichtiger, dass am Steuer noch jemand fliegen kann.

← Nº 8 · Das Gedächtnis Nº 10 · Die Jahresringe →

Staffel 1

Alle Feldstudien

Zehn Folgen, jede für sich verständlich. Nacheinander gesehen führen sie vom Verhalten über das Innere der Modelle zu der Frage, wer am Ende entscheidet.