HerrKI mit seinem RoboterHerrKI KI verstehen · nachbauen · anwenden ⭐ 0 XP

Erst denken, dann reden — wie KI-Modelle „überlegen“

Warum dasselbe Modell eine Aufgabe falsch löst, wenn es sofort antworten muss, und richtig, wenn es zwischendurch schreiben darf: Chain-of-Thought, Denkbudget und die Reasoning-Modelle von heute.

👋 HerrKI hier — heute schauen wir einer KI beim Nachdenken zu

Ein Experiment vorweg. Stell dir vor, du stellst derselben KI zweimal dieselbe Aufgabe. Beim ersten Mal sagst du: „Antworte nur mit der Zahl.“ Beim zweiten Mal sagst du: „Denk Schritt für Schritt.“

Beim ersten Mal kommt Unsinn heraus. Beim zweiten Mal die richtige Lösung. Gleiches Modell, gleiche Gewichte, gleiche Frage. Nichts wurde nachtrainiert, nichts wurde dazugelernt. Nur die Erlaubnis, vor der Antwort noch ein bisschen zu schreiben.

Das ist keine Kleinigkeit — es ist der Trick, auf dem die gesamte aktuelle Generation der „Reasoning-Modelle“ aufbaut. Und wenn du dieses Kapitel durch hast, weißt du auch, warum das so ist: weil jedes geschriebene Token Rechenzeit ist. Ein Modell, das schreiben darf, kauft sich damit buchstäblich Bedenkzeit.

🎯 Was du hier lernst:
  • ✅ Warum eine KI mit „denk Schritt für Schritt“ plötzlich richtig rechnet
  • ✅ Dass Denkschritte nichts Magisches sind — nur ganz normale Tokens
  • ✅ Wie die Rückkopplungs-Schleife aussieht: das Modell liest sein eigenes Gedachtes wieder ein
  • ✅ Was ein Denkbudget ist und warum mehr davon nicht endlos besser wird
  • ✅ Wie o-Serie, DeepSeek R1 und Claude das heute machen — und warum du ihre Gedanken mal siehst und mal nicht

💡 HerrKI-Tipp: Ein Satz für dieses Kapitel — „Denken ist Schreiben.“ Alles andere folgt daraus.

Die Aufgabe, an der es scheitert

Fangen wir mit etwas an, das jedes Grundschulkind kann und ein Milliarden-Parameter-Modell trotzdem regelmäßig verhaut, wenn es sofort antworten muss:

„Ein Getränkemarkt hat 3 Kisten mit je 12 Flaschen. 7 Flaschen gehen zu Bruch. Danach kommen 2 volle Kisten dazu. Wie viele Flaschen sind es am Ende?“

Die richtige Antwort ist 53. Eine sofort antwortende KI sagt gerne mal 31 — weil sie „2 Kisten“ mit „2 Flaschen“ verwechselt. Nicht, weil sie zu dumm zum Rechnen wäre. Sondern weil sie für die ganze Kette lesen → multiplizieren → abziehen → multiplizieren → addieren nur einen einzigen Durchlauf zur Verfügung hatte. Alles auf einmal, in einem Rutsch. Das geht schief.

Probier den Unterschied selbst aus — links antwortet das Modell direkt, rechts darf es vorher denken:

⚖️ Direkt antworten vs. Schritt für Schritt

🧩 „Denk Schritt für Schritt“

Schau genau hin: Die Direkt-Antwort ist nicht zufällig falsch. Der rot markierte Teil zeigt die Stelle, an der das Modell abgekürzt hat. Rechts wird genau diese Stelle zu einem eigenen Zwischenschritt — und damit zu einem eigenen Rechen-Durchlauf.

Runter zum Tensor: Denkschritte sind ganz normale Tokens

Jetzt kommt der Teil, an dem die Magie verschwindet — und genau darum geht es auf dieser Plattform. Ein „Gedanke“ ist im Modell nichts anderes als ein ausgegebenes Token. Dieselben Tokens, die auch in der Antwort landen. Kein separates Denk-Modul, kein Notizzettel, keine geheime zweite Recheneinheit.

Erinnerst du dich an Kapitel 040 und 050? Der Weg eines Wortes ins Modell sah so aus:

Token
 40 
Text
ID
31987
1 Zahl
Embedding
[0.63, −0.95, 0.86, …]
[2048]

Und genau dieser Weg wird beim Denken im Kreis gelaufen. Das Modell schreibt ein Denk-Token. Dieses Token wird sofort zurück in den Eingabe-Text gehängt. Beim nächsten Durchlauf liest das Modell also seinen eigenen Gedanken mit — als wäre er von Anfang an Teil der Frage gewesen. Und beim übernächsten auch. Und so weiter.

Das ist der ganze Zauber: Ein Sprachmodell hat keinen Arbeitsspeicher zwischen zwei Durchläufen. Es merkt sich nichts. Sein einziges Gedächtnis ist der Text, den es liest. Also schreibt es sich seine Zwischenergebnisse in genau diesen Text — es benutzt den eigenen Output als Notizblock. „Denken“ heißt hier wörtlich: Notizen machen und wieder lesen.

🔁 Die Denk-Schleife — Schritt für Schritt

Blau sind die Tokens der Frage. Grau die Denk-Tokens, die das Modell selbst erzeugt hat — beachte, dass sie beim nächsten Durchlauf einfach hinten am Kontext kleben und mitgelesen werden. Grün ist die Antwort. Das Modell in der Mitte ändert sich dabei nie — es ist bei jedem einzelnen Schritt exakt dasselbe Netz mit exakt denselben Gewichten. Länger wird nur der Text, den es liest.

Genau das lässt sich mitzählen. Der Kontext ist ein Tensor aus Token-IDs, und er wird bei jedem Schritt um genau eine Zahl länger:

// Der Kontext-Tensor der Animation oben — das GANZE Gedaechtnis des Modells nach der Frage [7]: Wie | viel | ist | 17 | × | 4 | ? + 1. Denk-Token [8]: … | ? | 17 + 2. Denk-Token [9]: … | 17 | × + 13. Denk-Token [20]: … | (7 | × | 4) | = | 40 ← die Karte von oben nach 17 Denk-Tokens [24]: 7 Frage-Tokens + 17 Denk-Tokens + Antwort-Token [25]: … | = | 68 // 25 Zahlen, EIN Netz, 18-mal aufgerufen. Mehr passiert hier nicht.

Warum das die Antwort besser macht

Ein Transformer hat eine feste Tiefe — sagen wir 80 Schichten. Für ein Token stehen also 80 Schichten Rechenarbeit zur Verfügung, keine einzige mehr. Eine Aufgabe, die sechs saubere Zwischenschritte braucht, passt da nicht hinein. Also passiert Folgendes:

 Direkt antwortenMit Denkschritten
Durchläufe1 pro Antwort-Token1 pro Denk-Token — also dutzende bis tausende
Rechenarbeit gesamt80 Schichten80 Schichten × Anzahl Denk-Tokens
Zwischenergebnismuss „im Kopf“ bleiben — geht nichtsteht im Text und wird wieder gelesen
Fehlerfällt nicht aufkann im nächsten Schritt korrigiert werden
// Die Getraenkekisten-Aufgabe von oben, bei 80 Schichten pro erzeugtem Token: direkt geantwortet: 12 Tokens · 80 Schichten = 960 Schicht-Durchlaeufe ✗ 31 Flaschen Schritt fuer Schritt: 78 Tokens · 80 Schichten = 6.240 Schicht-Durchlaeufe ✓ 53 Flaschen // 6,5-mal so viel Rechenarbeit — fuer dieselbe Frage, mit demselben Netz.

Deshalb ist der oft zitierte Satz „mehr Denken = mehr Rechenzeit“ keine Metapher, sondern wörtlich zu nehmen. Und deshalb hat sich dafür ein eigener Begriff eingebürgert: Test-Time Compute — Rechenleistung, die nicht beim Training, sondern erst beim Antworten investiert wird.

Das Denkbudget: mehr ist besser — bis es das nicht mehr ist

Wenn Denken Tokens kostet und Tokens Geld und Zeit kosten, dann ist die spannende Frage: Wie viel Denken lohnt sich eigentlich? Schieb den Regler und schau dir an, was gleichzeitig passiert.

🎚️ Denkbudget — der Trade-off zum Anfassen

0 Tokens
Trefferquote
Tokens gesamt
Wartezeit
Kosten / 1000 Fragen

Beobachte die Kurve: Von 0 auf 300 Tokens schnellt die Trefferquote hoch. Von 300 auf 600 wird es noch spürbar besser. Ab etwa 800 passiert fast nichts mehr — die Kosten laufen aber stur linear weiter. Genau diesen Punkt suchen alle Anbieter gerade, und genau deshalb kannst du bei modernen Modellen die Denkstufe einstellen („low / medium / high“ oder ein Token-Limit).

⚠️ Zahlen sind illustrativ. Die Kurve hier ist eine typische Sättigungskurve, keine Messung eines bestimmten Produkts — echte Werte hängen an Modell, Aufgabe und Preisliste. Was aber stabil gilt: Der Gewinn sättigt, die Kosten nicht. Und bei ganz einfachen Fragen kann zu viel Nachdenken sogar schaden: Das Modell redet sich in Zweifel hinein und verwirft eine anfangs richtige Lösung. Man nennt das inzwischen halb im Scherz „Overthinking“.

Selbst dran: bring die Gedanken in die richtige Reihenfolge

Eine Denkkette ist keine lose Sammlung von Notizen. Jeder Schritt baut auf dem Ergebnis des vorigen auf — das ist der Grund, warum die Reihenfolge alles entscheidet. Hier sind die fünf Schritte zur Flaschen-Aufgabe, kräftig durcheinandergewürfelt:

🧩 Denkschritte sortieren

Tippe einen Schritt an, dann einen zweiten — die beiden tauschen den Platz.

⚠️ Und jetzt die unangenehme Wahrheit: Ein nachvollziehbarer Lösungsweg ist noch lange kein richtiger Lösungsweg. Modelle schreiben mit größter Selbstverständlichkeit Denkketten, in denen ein Zwischenschritt schlicht falsch ist — und rechnen ab da fröhlich weiter. Schlimmer noch: Untersuchungen zur sogenannten Faithfulness von Chain-of-Thought zeigen, dass die aufgeschriebene Begründung nicht immer die echte Ursache der Antwort ist. Manchmal ist sie eine nachträgliche Rechtfertigung — plausibel formuliert, aber nicht das, was intern wirklich den Ausschlag gab. Sichtbares Denken ist ein Fenster, kein Beweis.

Zurück in die Anwendung: die Reasoning-Modelle von heute

Am Anfang war „denk Schritt für Schritt“ ein Prompt-Trick: Du musstest es selbst hinschreiben. Seit 2024/2025 ist daraus eine eigene Modellklasse geworden. Der Unterschied: Diese Modelle wurden mit Verstärkungslernen (Reinforcement Learning) darauf trainiert, von selbst eine lange Denkphase zu produzieren, sich zu korrigieren, Sackgassen zu verwerfen und erst danach zu antworten.

ModellfamilieDenkphaseSiehst du die Gedanken?
OpenAI o-Serie (o1, o3, …)trainierte, oft lange Denkphase vor der Antwortnur eine Zusammenfassung — die Roh-Gedanken bleiben unter Verschluss
DeepSeek R1per RL antrainiert, offene Gewichteja — die komplette Kette steht zwischen <think>-Markern
Claude (Extended Thinking)zuschaltbar, mit einstellbarem Token-Budgetja, der Denkblock wird ausgeliefert (teils zusammengefasst)
Gemini / Qwen & Co.„Thinking“-Varianten mit Budget-Schalterje nach Modell und Oberfläche unterschiedlich

Warum manche Anbieter die Gedanken verstecken

  • Sicherheits-Argument: Damit das Modell frei und ehrlich denken kann, darf die Denkphase nicht auf Höflichkeit optimiert werden. Genau dann eignet sie sich aber nicht als Text für Endkunden — also wird nur eine geglättete Zusammenfassung gezeigt.
  • Wettbewerbs-Argument: Rohe Denkketten sind erstklassiges Trainingsmaterial. Wer sie herausgibt, verschenkt die Zutat, die das eigene Modell teuer gemacht hat (Stichwort Distillation).
  • Produkt-Argument: 4000 Tokens Selbstgespräch will kaum jemand lesen.

Für dich als Nutzer heißt das ganz praktisch: Wenn du die Denkkette siehst, lies sie — Rechenfehler und falsche Annahmen springen dir dort viel eher ins Auge als in der glattgebügelten Endantwort. Und wenn du die Kette nicht siehst, weißt du zumindest, dass es sie gibt, dass du sie bezahlst und dass sie im Zweifel der interessanteste Teil gewesen wäre.

🚀 Und wenn die Gedanken gar keine Wörter mehr wären?

Halt diesen Gedanken kurz fest: Das Modell schreibt jeden einzelnen Denkschritt in Sprache — obwohl es intern mit Vektoren arbeitet. Jedes Mal wird ein reicher Zahlenvektor auf ein Wort eingedampft, und dieses Wort wird sofort wieder zu einem Vektor. Ein bisschen so, als müsstest du beim Kopfrechnen jede Zwischenzahl laut aussprechen, aufschreiben und wieder ablesen.

Was passiert, wenn man diesen Umweg einfach weglässt? Genau das ist das Thema des nächsten Kapitels — Reasoning im Latent Space. Es wird gleichzeitig eleganter und unheimlicher. 😉

🧠 Kurzer Check — hast du es?

1. Warum löst dasselbe Modell die Aufgabe besser, wenn es „Schritt für Schritt“ denken darf?
2. Was ist ein Denk-Token technisch gesehen?
3. Du verdoppelst das Denkbudget von 1000 auf 2000 Tokens. Was passiert typischerweise?

✅ Das nimmst du mit

  • Denken ist Schreiben. Ein Denkschritt ist ein ganz normales Token, kein Sondermodul.
  • Der eigene Output ist der Notizblock. Jedes Denk-Token wird zurück in die Eingabe gehängt und wieder gelesen.
  • Tokens sind Rechenzeit. Mehr Denkschritte = mehr Durchläufe durch dasselbe Netz — das ist Test-Time Compute.
  • Der Nutzen sättigt, die Kosten nicht. Deshalb gibt es Denkbudgets statt „immer alles“.
  • Sichtbar ≠ wahr. Eine schöne Denkkette kann trotzdem falsch sein — oder nachträglich zurechtgelegt.