Denken im Verborgenen — Reasoning im Latent Space
Was passiert, wenn ein Modell seine Denkschritte gar nicht mehr in Worte fasst? Coconut, der Flaschenhals „ein Wort“ — und die ehrliche Debatte um Effizienz gegen Nachvollziehbarkeit.
👋 HerrKI hier — heute wird es ein bisschen unheimlich
Im letzten Kapitel hast du gesehen, wie ein Modell „denkt“: Es schreibt seine Zwischenschritte als ganz normale Tokens auf und liest sie wieder ein. Denken ist Schreiben. Das hat einen wunderbaren Nebeneffekt — wir können mitlesen.
Jetzt die Frage, um die es heute geht: Warum eigentlich in Wörtern? Das Modell rechnet intern mit Vektoren. Es presst diese Vektoren mühsam in Sprache, nur um sie im nächsten Moment wieder in Vektoren zurückzuverwandeln. Ein bisschen so, als müsstest du beim Kopfrechnen jede Zwischenzahl laut aussprechen, aufschreiben und wieder ablesen — bevor du weiterrechnen darfst.
Was passiert, wenn man diesen Umweg einfach weglässt? Genau das haben Forscherinnen und Forscher Ende 2024 ausprobiert. Das Ergebnis ist elegant, effizient — und es macht ein Fenster zu, durch das wir bisher schauen konnten.
- ✅ Was der Flaschenhals „ein Wort“ ist — und wie viel Information dabei verloren geht
- ✅ Wie Coconut den Hidden-State direkt als nächsten Input zurückfüttert
- ✅ Warum ein einziger Vektor mehrere Denkpfade gleichzeitig tragen kann
- ✅ Warum das weniger Tokens braucht — und was es kostet
- ✅ Die ehrliche Debatte: Effizienz gegen Nachvollziehbarkeit
💡 HerrKI-Tipp: Ein Satz für dieses Kapitel — „Der Gedanke bleibt ein Vektor.“ Alles andere folgt daraus.
Woher das kommt: ein Paper von Ende 2024
„Training Large Language Models to Reason in a Continuous Latent Space“
Shibo Hao, Sainbayar Sukhbaatar u. a. — Meta FAIR + UC San Diego, Dezember 2024
arXiv:2412.06769 ·
Code: github.com/facebookresearch/coconut
Die Methode heißt Coconut — Chain of Continuous Thought, also „Kette kontinuierlicher Gedanken“ statt „Kette von Gedanken in Worten“.
Runter zum Tensor: der Flaschenhals „ein Wort“
Um zu verstehen, was Coconut weglässt, müssen wir uns anschauen, was beim sichtbaren Denken Schritt für Schritt passiert. Nimm einen einzigen Denkschritt aus Kapitel 360 unter die Lupe:
[0.41, −0.12, 0.87, …]128 000 Werte[0.33, 0.05, −0.61, …]Mit Zahlen wird das Nadelöhr sichtbar. Wir verkleinern den Vektor zum Mitrechnen auf fünf Werte (in echt sind es 2048) und schauen uns die stärksten Kandidaten an:
Das „fast gleich stark“ zwischen Hafen und Ufer war im Hidden State noch vorhanden — nach dem Decodieren ist es weg. Genau diese Information rechnen wir gleich in Bits nach.
Merkst du, was da passiert? Der Zustand geht als Vektor rein und kommt als Vektor wieder raus — dazwischen wird er durch ein Nadelöhr gequetscht, das genau ein einziges Wort breit ist.
- Ein Hidden-State mit 2048 Zahlen (16 Bit je Zahl) trägt rund 32 000 Bit an Zustand.
- Die Auswahl eines Tokens aus 128 000 möglichen entspricht log₂(128 000) ≈ 17 Bit.
Das ist keine saubere informationstheoretische Rechnung — aber die Größenordnung stimmt und sie ist brutal: Beim Schritt „Vektor → Wort“ bleibt nur ein winziger Bruchteil des inneren Zustands übrig. Alles Feine, alles Unentschiedene, alles „vielleicht doch eher“ wird auf ein einziges hartes Wort gerundet. Sprache ist für ein Modell eine Kompression — und zwar eine verlustbehaftete.
Coconuts Idee: das Decodieren einfach weglassen
Und jetzt der ganze Trick, in einem Satz: Der Hidden-State-Vektor wird direkt als nächster Input-Embedding-Tensor zurückgefüttert. Kein Vokabular, kein Wort, keine Rundung.
🗣️ Sichtbares Denken (Chain of Thought)
🥥 Coconut (Chain of Continuous Thought)
Damit wandert das Modell nicht mehr von Wort zu Wort, sondern von Punkt zu Punkt — in genau dem Raum, den du in Kapitel 310 als Landkarte kennengelernt hast. Der Gedanke bleibt eine Koordinate. Und Koordinaten dürfen zwischen den Wörtern liegen.
Sehen, was der Unterschied ist
Beide Seiten bekommen dieselbe Aufgabe — eine kleine Wegsuche, bei der man abwägen und Sackgassen verwerfen muss. Genau die Sorte Aufgabe, bei der sich die beiden Denkarten am stärksten unterscheiden:
Aufgabe: Du stehst am Bahnhof. Wie kommst du zum Museum?
- Vom Bahnhof geht es zum Markt oder zum Hafen.
- Vom Markt geht es nur zum Park (Sackgasse).
- Vom Hafen geht es zum Zoo oder zum Museum.
🎬 Sichtbare Kette vs. latente Kette
🗣️ Sichtbare Kette — Wörter
🗺️ Latente Kette — Punkte im Raum
Zwei Dinge fallen auf. Erstens: Die linke Kette muss die Sackgasse erst hineinlaufen und dann zurückrudern — das kostet Tokens. Die rechte hält beide Wege eine Weile offen und entscheidet sich erst, als es etwas zu entscheiden gibt. Zweitens — setz mal den Haken bei „Zwischenschritt decodieren?“: Der latente Punkt liegt zwischen den Wörtern. Man bekommt kein sauberes Wort heraus, sondern eine unscharfe Wolke aus Kandidaten. Es gibt dort schlicht kein Wort, das man mitlesen könnte.
Ein Vektor, mehrere Pfade gleichzeitig
Das ist der interessanteste Punkt der ganzen Idee. Ein Wort kann nur eines sein: entweder „Markt“ oder „Hafen“. Ein Vektor muss sich nicht entscheiden — er kann beides in Überlagerung tragen, mit unterschiedlichem Gewicht, und die Entscheidung aufschieben, bis mehr Information da ist. Das Suchverhalten ähnelt damit eher einer Breitensuche als einem einzelnen Rateweg.
🌿 Der Gedanke verzweigt — und kollabiert erst am Ende
Die Dicke einer Linie ist das Gewicht, das der Vektor diesem Weg gerade gibt. Bei Schritt 1 sind Markt und Hafen fast gleich stark — ein einziger Vektor, zwei lebendige Möglichkeiten. Erst wenn sich der Markt-Zweig als Sackgasse erweist, verschiebt sich das Gewicht. Am Ende kollabiert alles auf einen Weg. Eine sichtbare Wortkette hätte sich schon im ersten Schritt festlegen müssen — und im Zweifel zurücklaufen.
Was das Paper misst — und was nicht
Ehrlich und ohne Marketing: Coconut ist kein Wundermittel, das alles besser macht. Das Paper berichtet vor allem zwei Dinge. Erstens verbessern sich Aufgaben, bei denen man abwägen und Sackgassen verwerfen muss (Logik- und Planungsaufgaben) — genau da, wo das Offenhalten mehrerer Möglichkeiten hilft. Zweitens braucht die latente Denkphase deutlich weniger Schritte als die ausgeschriebene. Die konkreten Messwerte findest du im Paper selbst; sie hier nachzuerzählen wäre Zahlenraten.
Was man ebenso ehrlich sagen muss: Bei manchen Aufgabentypen bringt das Verfahren keinen Vorteil, das Training ist aufwendiger als normales Chain-of-Thought-Training, und die Ergebnisse stammen aus Forschungs-Setups, nicht aus einem Produkt mit Millionen Nutzern.
Die Debatte — und die ist wirklich offen
Jetzt kommt der Teil, bei dem ich dich nicht mit einer Meinung abspeisen will, weil es in der Fachwelt selbst keine Einigkeit gibt. Beide Seiten haben starke Argumente:
| 👍 Dafür | 👎 Dagegen |
|---|---|
| Kein Informationsverlust am Nadelöhr „ein Wort“ — der ganze Zustand wird weitergereicht. | Wir können nicht mehr mitlesen. Der zentrale Kontrollmechanismus der letzten Jahre fällt weg. |
| Weniger Denkschritte, also weniger Tokens: schneller und billiger. | Fehlersuche wird zur Blackbox-Arbeit — kein Zwischenschritt, den man anzweifeln könnte. |
| Mehrere Möglichkeiten bleiben gleichzeitig offen (breitensuche-artig) statt früh zu raten. | Auditing und Regulierung setzen bislang genau auf nachvollziehbare Zwischenschritte. |
| Sprache ist eine Krücke fürs Denken — Menschen denken auch nicht ausschließlich in Sätzen. | Ein Modell könnte in den Vektoren Dinge „mitdenken“, die es in Worten nie sagen würde. |
Und zur Fairness gehört auch das Gegenargument aus Kapitel 360: Eine sichtbare Denkkette ist ohnehin kein Beweis. Modelle formulieren Begründungen, die nicht die echte Ursache ihrer Antwort sind. Wir haben also nie ein perfektes Fenster gehabt — nur ein trübes. Die ehrliche Frage lautet deshalb: Ist ein trübes Fenster besser als gar keines? (Meine Vermutung: ja. Aber das ist eine Vermutung, kein Messwert.)
⚖️ Effizienz gegen Nachvollziehbarkeit — wo würdest du den Regler setzen?
Es gibt hier keine richtige Antwort — nur eine, die zum Einsatzzweck passt. Ein Chatbot für Kochrezepte darf ruhig ganz rechts stehen. Ein Modell, das medizinische Befunde vorsortiert oder über einen Kreditantrag mitentscheidet, eher nicht.
Was heißt das für dich?
- Kurzfristig: nichts. Die Modelle, die du heute benutzt, denken in Tokens. Wenn dir ein Anbieter eine Denkkette zeigt, ist es echter Text — kein latenter Vektor.
- Beim Lesen von Ankündigungen: Achte auf die Formulierung. „Weniger Denk-Tokens bei gleicher Qualität“ ist genau die Richtung, aus der dieses Thema kommt.
- Wenn dir Nachvollziehbarkeit wichtig ist: Frag danach. Ob ein Modell seinen Denkweg offenlegt, ist eine Produktentscheidung — und Produktentscheidungen folgen der Nachfrage.
- Fürs eigene Verständnis: Du weißt jetzt, dass „Gedanke“ und „Wort“ im Modell zwei verschiedene Dinge sind. Das ist der Punkt, an dem KI aufhört, Magie zu sein — und anfängt, Ingenieursarbeit mit klaren Zielkonflikten zu sein.
📚 Zum Weiterlesen
- Das Paper: Shibo Hao, Sainbayar Sukhbaatar u. a., „Training Large Language Models to Reason in a Continuous Latent Space“ (Coconut), Meta FAIR + UC San Diego, Dezember 2024 — arxiv.org/abs/2412.06769 (PDF)
- Der Code: github.com/facebookresearch/coconut
- Interpretierbarkeit latenter Denkketten: „Are Latent Reasoning Models Easily Interpretable?“ — arxiv.org/abs/2604.04902
- Auf HerrKI: 310 — Latent Space (die Landkarte) und 360 — Erst denken, dann reden (das sichtbare Denken)
🧠 Kurzer Check — hast du es?
✅ Das nimmst du mit
- Sprache ist ein Flaschenhals. Aus tausenden Zahlen wird ein einziges Wort — der Rest fällt weg.
- Coconut lässt das Decodieren weg. Der Hidden-State wird direkt zum nächsten Input-Embedding.
- Der Gedanke bleibt ein Punkt. Und Punkte dürfen zwischen den Wörtern liegen — mehrere Wege gleichzeitig.
- Weniger Tokens, mehr Blackbox. Was an Effizienz gewonnen wird, geht an Mitlesbarkeit verloren.
- Das ist Forschung, kein Produkt. Spannend, offen, umstritten — genau richtig für die Kategorie „Aktuell“.