HerrKI mit seinem RoboterHerrKI KI verstehen · nachbauen · anwenden ⭐ 0 XP

Wie LLMs Fragen beantworten

Von der Frage zur Antwort: Transformer, Wahrscheinlichkeiten, Token-Generierung.

👋 Hi! HerrKI hier - heute erkläre ich dir LLMs: Von der Frage zur Antwort!

🧭 Einfach gesagt: ChatGPT schlägt deine Antwort nicht nach, sondern errät sie Wort für Wort — es wählt einfach das wahrscheinlichste nächste Wortstück.

Stell dir vor: Du fragst ChatGPT "Was ist KI?" und bekommst eine perfekte Antwort. Aber wie generiert das Modell Wort für Wort die Antwort? Das zeige ich dir jetzt!

Im letzten Kapitel hast du gesehen, wie deine Frage zu Tokens, IDs und Bedeutungs-Vektoren wird. Heute geht die Reise weiter: durch die Transformer-Architektur - das Herzstück von ChatGPT, Claude, GPT-4 und allen modernen LLMs. Du verstehst, wie das Modell Token für Token eine Antwort erzeugt - basierend auf Wahrscheinlichkeiten!

🎯 Was du hier lernst:
  • ✅ Wie Transformer funktionieren (Attention-Mechanismus)
  • ✅ Was ist Token-Generierung? (Wort für Wort vorhersagen)
  • ✅ Wie das Modell Wahrscheinlichkeiten für jedes nächste Wort berechnet
  • ✅ Warum LLMs manchmal "halluzinieren" (falsche Fakten erfinden)

Das Wichtigste: LLMs "verstehen" nicht wirklich - sie rechnen Wahrscheinlichkeiten! "Nach 'Der Hund' kommt wahrscheinlich 'bellt' (85%) oder 'läuft' (10%)". So entsteht Text - Wort für Wort, basierend auf Milliarden Trainingsbeispielen! 🤖

💡 HerrKI-Tipp: LLMs = Vorhersage-Maschinen! Sie sagen das nächste Wort vorher - basierend auf allem, was vorher kam. Keine Magie, nur Mathe! 🎲

💬 Stell eine Frage an das LLM!

Lass uns eine einfache Frage stellen:

👤 DEINE FRAGE:
Was ist die Hauptstadt von Frankreich?

Diese Frage wird jetzt durch das gesamte LLM verarbeitet. Lass uns Schritt für Schritt sehen, was passiert!

🔬 Runter zum Tensor: Sechs Schritte von der Frage zur Antwort

Jetzt gehen wir unter die Haube. Zwischen deiner Frage und dem Wort „Paris“ liegen genau sechs Schritte — und in jedem einzelnen ist deine Frage nichts anderes als ein Zahlenpaket, das seine Form ändert. Klick oben auf „Starte die Verarbeitung“, dann klappen die Schritte hier auf.

🧩 Technische Details für Neugierige

⚡ Warum ist das so schnell?

LLMs verarbeiten alle Tokens parallel (gleichzeitig) im Transformer! Nur die Generation ist sequentiell (Token für Token).

  • Input-Verarbeitung: Alle Tokens auf einmal → sehr schnell!
  • Output-Generierung: Ein Token nach dem anderen → langsamer
  • GPUs/TPUs: Spezielle Hardware für parallele Berechnungen

🎲 Temperature & Sampling

Das LLM wählt nicht immer das wahrscheinlichste Token! Es gibt verschiedene Strategien:

  • Greedy Decoding: Wähle immer das wahrscheinlichste Token → langweilig, aber präzise
  • Temperature Sampling: Höhere Temperatur = mehr Kreativität/Zufall
  • Top-k Sampling: Wähle zufällig aus den Top k wahrscheinlichsten Tokens
  • Nucleus (Top-p) Sampling: Wähle aus Tokens, die zusammen p% Wahrscheinlichkeit haben

🔢 Größenordnungen (GPT-3.5 / GPT-4):

  • Parameter: 175 Milliarden (GPT-3) bis über 1 Billion (GPT-4)
  • Layers: 96+ Transformer-Layer
  • Embedding-Dimension: 12.288 (statt 768)
  • Kontext-Länge: 8.000 - 128.000 Tokens
  • Inference-Zeit: ~50-100ms pro Token

🔙 Zurück zur Anwendung

Zurück zu deiner Frage vom Anfang: „Was ist die Hauptstadt von Frankreich?“ Das Modell hat sie nicht nachgeschlagen und auch nicht verstanden — es hat sie in Tokens zerlegt, in Vektoren übersetzt, durch die Transformer-Schichten geschickt und am Ende für jedes mögliche nächste Token eine Wahrscheinlichkeit ausgerechnet. „Paris“ hat gewonnen, weil es in Milliarden Trainingssätzen nach genau dieser Wortfolge am häufigsten kam. Und dann fing dasselbe Spiel für das nächste Token wieder von vorn an, bis der Satz stand.

Wenn dir also ein Chatbot antwortet, siehst du ab jetzt keine Magie mehr, sondern eine Vorhersage-Maschine bei der Arbeit — und du weißt auch, warum sie sich manchmal mit voller Überzeugung irrt: Eine hohe Wahrscheinlichkeit ist keine Wahrheit. Das Herzstück dieser Maschine sind dabei ein paar wenige Rechenoperationen auf Tensoren, immer und immer wieder. Welche das genau sind, nimmst du dir als Nächstes in „Tensor-Operationen“ vor — danach kannst du eine Transformer-Schicht nicht nur beschreiben, sondern nachrechnen. 🧮

📚 Zum Weiterlesen

  • Das Paper, das alles ausgelöst hat: Ashish Vaswani u. a., „Attention Is All You Need“, 2017 — arxiv.org/abs/1706.03762 — hier wird die Transformer-Architektur aus Schritt 4 zum ersten Mal beschrieben.
  • Bebildert nachvollzogen: Jay Alammar, „The Illustrated GPT-2“ — jalammar.github.io/illustrated-gpt2 — er zeichnet genau die Pipeline, die du oben durchgeklickt hast.
  • Ein echtes Modell im Original: Alec Radford u. a., „Language Models are Unsupervised Multitask Learners“ (GPT-2), 2019 — PDF bei OpenAI — mit den Größenordnungen, die im Abschnitt „Technische Details“ auftauchen.
  • Zum Mitbauen (Video, ca. 2 Stunden): Andrej Karpathy, „Let’s build GPT: from scratch, in code, spelled out“ — youtube.com — weil man das Prinzip am schnellsten begreift, wenn man es einmal selbst tippt.
  • Auf HerrKI: 320 — Attention (wie das Modell entscheidet, worauf es schaut) und 350 — Halluzinationen (was passiert, wenn die wahrscheinlichste Antwort falsch ist).

🧠 Kurzer Check — hast du es?

Drei schnelle Fragen, dann bist du durch — klick einfach deine Antwort an:

1. Was macht ein LLM im Kern, wenn es dir antwortet?
2. Was passiert im Transformer-Schritt?
3. Warum kann dieselbe Frage zweimal leicht verschiedene Antworten ergeben?

✅ Das nimmst du mit

  • Ein LLM sagt vorher, es schlägt nicht nach. Es gibt keine Datenbank mit Antworten — nur die Frage „welches Token kommt als Nächstes?“.
  • Sechs Schritte, immer dieselben: Tokenization → Token-IDs → Embeddings → Transformer → Output-Layer → Token für Token generieren.
  • Der Transformer verrechnet Kontext. Jedes Token schaut auf alle anderen — die Shape [Tokens, 768] bleibt dabei gleich, nur die Zahlen ändern sich.
  • Am Ende steht eine Wahrscheinlichkeits-Verteilung über das gesamte Vokabular, nicht ein fertiges Wort. Welches gezogen wird, steuert die Temperature.
  • Deshalb variieren Antworten — und deshalb gibt es Halluzinationen. Wahrscheinlich und wahr sind zwei verschiedene Dinge.
🎉 Jetzt hast du den kompletten Kreis geschlossen: Frage → Tokens → Embeddings → Transformer-Mathe → Wahrscheinlichkeiten → Antwort, Token für Token. Wenn dir ChatGPT das nächste Mal antwortet, siehst du keine Magie mehr, sondern eine Vorhersage-Maschine bei der Arbeit - und du weißt, dass „Paris" nur deshalb kommt, weil es die 92-%-Hand hebt. Von hier aus hast du drei spannende Wege: baue selbst dein erstes Netz, schau der KI beim „Denken" zu (Reasoning) oder erkunde die Bedeutungs-Landkarte (Latent Space), auf der das alles spielt.

📎 So zitierst du dieses Kapitel

HerrKI: Wie LLMs Fragen beantworten. herrki.de/050_wie_llms_antworten, ein privates Hobbyprojekt von Terragon.de, abgerufen am 4. November 2026.

Lizenz: CC BY 4.0 — frei nutzen, teilen, anpassen. Nennung: „HerrKI (herrki.de), ein privates Hobbyprojekt von Terragon.de“.

📄 Handout als PDF (für Lehrkräfte, mit Lösungen)