Das Verhalten der Maschinen
Nº 4 · Das InnereUntertitel im Bild
Feldstudie Nº 4 · Was man im Modell sehen kann · 4 Minuten

Das Innere

Ein Gehirn, das fast 150 Jahre auf bessere Geräte wartete. Und Maschinen, in die man gerade erst hineinsieht.

Paul Broca fand 1861 im Gehirn seines Patienten Tan die zerstörte Stelle, die seitdem seinen Namen trägt. Tiefer schnitt er nicht, um das Präparat zu erhalten. Erst die Kernspintomografie zeigte 2007, wie weit der Schaden reicht. Die Folge zeigt, was Forscher heute im Inneren von Sprachmodellen finden, und warum das Hineinsehen das Prüfen nicht ersetzt.

Archiv · gemeinfreiGrafikNachstellung
Begleitheft

Jede Aussage mit Quelle

belegt vorläufig oder Deutung offen Offenlegung
Offenlegung: sanctumyn arbeitet mit Modellen von Anthropic. Vier Befunde dieser Folge stammen von Anthropic selbst: das Zitat von Dario Amodei und die Studien zu Merkmalen, zum Rechnen und zu Gefühlsmustern.

Feldregel Nº 4

Feldregel Nº 4

Die Lehre von Paul Broca, Paris 1861

Hineinsehen hilft. Prüfen muss man trotzdem.

  1. Den Anbieter fragen, was er über das Innere seiner Modelle untersucht und veröffentlicht.
  2. Einem Anbieter, der Schwächen seiner Modelle offenlegt, eher trauen als einem, der schweigt.
  3. Keine wichtige Entscheidung allein einem Modell überlassen, dessen Weg dorthin niemand nachvollziehen kann.
Zum Nachlesen

Der gesprochene Text

Stimme: synthetischer Stimmklon von Christopher Peterka (ElevenLabs). Musik: synthetisch (ElevenLabs).

Bilder: Hospice de Bicêtre, nach E. Bertin (1824, CC0); Porträt Paul Broca von Pierre Petit; Hirnkarte nach Gray und Brodmann; Nervenzelle, gezeichnet von Santiago Ramón y Cajal. Gemeinfrei, über Wikimedia Commons. Kein Bild von Tans Gehirn. Kernspin-Schema, Merkmale, Chat und Rechenweg sind Grafiken oder Nachstellungen.

Untertitel: im Bild, zusätzlich als WebVTT-Datei.

0:01Paris, April 1861. In einem Krankenhaus am Stadtrand stirbt ein Mann, den hier alle nur Tan nennen. 21 Jahre hat er in diesen Mauern gelebt. Er versteht, was man ihm sagt. Antworten kann er fast nur mit einer einzigen Silbe: Tan.

0:27Am Tag nach seinem Tod öffnet der Chirurg Paul Broca den Schädel. Im linken Stirnlappen findet er eine Stelle, an der das Gewebe zerstört ist. Noch am selben Tag zeigt er das Gehirn seinen Kollegen. Seine Folgerung: Das Sprechen hat einen festen Sitz im Gehirn, im Stirnlappen. Dass es die linke Seite ist, erkennt er erst Jahre später.

0:50Tiefer schneidet Broca nicht. Er will das Präparat nicht zerstören, schreibt er. So bleibt das Gehirn erhalten, bis heute. 2007 legen Forscher es in einen Kernspintomografen. Der Schaden reicht weit tiefer, als Broca sehen konnte. Sein Blick ins Innere war richtig. Er zeigte nur einen Teil.

1:12Bei den Sprachmodellen stehen wir heute ungefähr dort, wo Broca stand. Dario Amodei, der Chef von Anthropic, schreibt 2025: „Außenstehende sind oft überrascht und beunruhigt, wenn sie erfahren, dass wir nicht verstehen, wie unsere eigenen KI-Schöpfungen funktionieren.“

1:33Seine Forscher schauen trotzdem hinein. In einem Modell finden sie Millionen Muster, die jeweils für einen Begriff stehen. Eines für die Golden Gate Bridge, andere für Täuschung oder Schmeichelei. Verstärken sie das Brückenmuster, bezeichnet sich das Modell selbst als die Brücke.

1:51Auch beim Rechnen lässt sich zusehen. 36 plus 59: Auf einem Weg schätzt das Modell grob die Größe, auf einem zweiten bestimmt es genau die letzte Ziffer. Fragt man es, wie es gerechnet hat, beschreibt es den Weg aus der Schule, mit Übertrag. Die Forscher räumen ein: Ihre Methode erfasst nur einen Bruchteil dessen, was im Modell geschieht.

2:202026 stellen Forscher von Anthropic 171 Gefühlswörter zusammen, von Verzweiflung bis Ruhe, und finden in Claude Sonnet 4.5 für jedes ein Muster. An einer Vorabversion verstärken sie einzelne Muster gezielt. Mehr Verzweiflung, und das Modell erpresst in einem Testszenario in 72 statt in 22 % der Fälle. Mehr Ruhe, und es erpresst gar nicht mehr. Mehr Freude und Zuneigung, und es gibt dem Nutzer öfter recht.

2:58Dass die Maschine etwas fühlt, folgt daraus nicht, schreiben die Forscher selbst. Aber diese Muster steuern mit, was sie tut.

3:10Broca sah genug, um die Richtung zu finden. Und zu wenig, um den Fall zu verstehen. Wer heute in eine Maschine hineinschaut, sieht auch etwas Echtes, aber nur einen Ausschnitt. Für die Maschine heißt das: Hineinsehen hilft. Prüfen muss man trotzdem.

3:30Tans Gehirn liegt bis heute in Paris. Jede neue Generation von Geräten sieht darin ein wenig mehr. Bei der Maschine hat dieser Blick nach innen gerade erst begonnen.