Warum KI überzeugend Unsinn erzählt (Halluzinationen)
Halluzinationen sind kein Defekt, sondern die Kehrseite des Funktionsprinzips: Sieh am Temperature-Regler, warum ein Modell auch bei erfundenen Fragen selbstbewusst antwortet — und lerne die Gegenmittel.
👋 HerrKI hier — heute geht es um das wichtigste Alltags-Wissen dieses Kurses
🧭 Einfach gesagt: Die KI muss immer antworten, auch wenn sie nichts weiß — merkst du ihr das nicht an, klingt geraten genauso sicher wie gewusst.
Jeder hat es erlebt: Die KI antwortet druckreif, mit Quellenangabe und felsenfester Überzeugung — und es stimmt hinten und vorne nicht. Das nennt man Halluzination. Heute verstehst du, warum das zwangsläufig passiert (kein Bug!), woran du es erkennst und was wirklich dagegen hilft.
- ✅ Warum Halluzinationen kein Bug sind, sondern die Kehrseite des Funktionsprinzips
- ✅ Wie eine flache Wahrscheinlichkeits-Verteilung aussieht — und dass du sie im Chat nie siehst
- ✅ Warum Selbstsicherheit nichts über Richtigkeit sagt
- ✅ Was Temperature wirklich macht — und warum Runterdrehen kein Wissen erzeugt
- ✅ Was wirklich hilft: Wissen mitgeben, Quellen verlangen, nachrechnen
Zur Erinnerung: Was ein Sprachmodell eigentlich tut
Aus „Wie LLMs Fragen beantworten“ weißt du: Ein Sprachmodell wählt immer nur das nächste Token — aus einer Wahrscheinlichkeits-Liste über das gesamte Vokabular. Und hier steckt schon das ganze Drama: Es MUSS ein Token wählen. Auch wenn es zur Frage schlicht nichts Belastbares gelernt hat.
🌡️ Zwei Fragen, ein Regler — sieh dir die Wahrscheinlichkeiten an
Was Temperature wirklich macht (und was nicht)
Der Regler formt die Verteilung: niedrig = die wahrscheinlichste Fortsetzung gewinnt fast immer (vorhersagbar, „langweilig“), hoch = auch seltene Token kommen dran (kreativ, streuend). Aber merke: Temperature runterdrehen erzeugt kein Wissen. Bei der erfundenen Frage wählt das Modell dann nur immer denselben falschen Namen — konsequent statt zufällig falsch.
🕵️ Selbsttest: Erkennst du die Halluzination?
Fünf Aussagen — echt oder erfunden?
Was wirklich hilft
📚 Wissen mitgeben statt abfragen: RAG legt die echten Dokumente in den Prompt (Kapitel 330) — dämpft Halluzinationen deutlich, heilt sie nicht.
🔗 Quellenzwang: „Antworte NUR mit Angabe der Fundstelle; wenn keine existiert, sag: weiß ich nicht.“ — und die Quelle stichprobenartig ÖFFNEN.
🧮 Nachrechnen & Nachschlagen: Zahlen, Zitate, Paragrafen, Literaturangaben grundsätzlich prüfen — genau dort halluzinieren Modelle am liebsten.
👥 Zweite Meinung: dieselbe Frage einem zweiten Modell oder einer Suchmaschine stellen — widersprechen sie sich, ist Vorsicht angesagt.
🔬 Runter zum Tensor
Rechnen wir die Balken von oben mit der Hand nach (Kapitel 060). Das Modell liefert für jede Vokabel einen Rohwert, das Logit. Wir nehmen fünf davon — zum Mitrechnen verkleinert; in echt steht dort eine Zahl pro Vokabel-Token, je nach Modell rund 50.000 bis 130.000 Stück. Softmax macht daraus Prozente: jedes Logit wird zu e hoch diesem Wert, dann teilt man durch die Summe aller.
Und zum Vergleich dieselbe Rechnung bei einer Frage, deren Antwort millionenfach in den Trainingsdaten stand. Nur die Logits sind andere — die Zahl links entscheidet alles:
Und die Temperature? Sie teilt die Logits, bevor Softmax rechnet. Kleines T spreizt die Abstände, großes T drückt sie zusammen — hier mit den fünf erfundenen Namen von oben:
Genau das ist die ganze Mechanik, und so heißt sie im Code. Die Logits sind dabei ein Tensor der Form [1, V] — V ist die Größe des Vokabulars, also statt unserer fünf Kandidaten die vollen 50.000 bis 130.000:
Zurück zur Anwendung
Ab heute liest du KI-Antworten anders: Der souveräne Ton ist Sprachmuster, die Fakten sind Wahrscheinlichkeits-Züge. Bei allem, was Konsequenzen hat — Verträge, Gesundheit, Geld, Noten — gilt: prüfen, bevor du es weitergibst. Die KI ist ein brillanter Formulierungs-Partner, kein Orakel.
📚 Zum Weiterlesen
- Der Überblick: Ziwei Ji u. a., „Survey of Hallucination in Natural Language Generation“, 2022 — arxiv.org/abs/2202.03629 — sortiert, welche Arten von Halluzination es gibt und woher sie jeweils kommen
- Warum es sich nicht wegprogrammieren lässt: Adam Kalai & Santosh Vempala, „Calibrated Language Models Must Hallucinate“, 2023 — arxiv.org/abs/2311.14648 — der mathematische Beleg für das, was du oben am Regler gesehen hast
- Wie man es misst: Stephanie Lin u. a., „TruthfulQA“, 2021 — arxiv.org/abs/2109.07958 — ein Test aus Fangfragen, bei dem größere Modelle teils schlechter abschneiden als kleine
- Die Antwort eines Herstellers: OpenAI, „Why language models hallucinate“, 2025 — openai.com/index/why-language-models-hallucinate — die These: Prüfverfahren belohnen Raten und bestrafen „ich weiß es nicht“ — Halluzination ist auch ein Anreizproblem
🧠 Kurzer Check — hast du es?
✅ Das nimmst du mit
- Halluzinationen sind kein Bug. Sie sind die Kehrseite des Funktionsprinzips: Das Modell zieht das wahrscheinlichste nächste Token — auch dann, wenn es nichts weiß.
- Die flache Verteilung siehst du nie. Im Chat kommt nur der fertige Satz an, nicht die Unsicherheit, aus der er gezogen wurde.
- Selbstsicherheit sagt nichts über Richtigkeit. Der souveräne Ton ist ein Sprachmuster aus dem Training, kein Gradmesser für Wahrheit.
- Temperature steuert die Streuung, nicht die Wahrheit. Ganz unten liefert das Modell denselben falschen Namen — nur eben zuverlässig.
- Was wirklich hilft: Wissen mitgeben, Quellen verlangen, nachrechnen — und bei allem mit Konsequenzen prüfen, bevor du es weitergibst.
📎 So zitierst du dieses Kapitel
HerrKI: Warum KI überzeugend Unsinn erzählt (Halluzinationen). herrki.de/350_halluzinationen, ein privates Hobbyprojekt von Terragon.de, abgerufen am 4. November 2026.
Lizenz: CC BY 4.0 — frei nutzen, teilen, anpassen. Nennung: „HerrKI (herrki.de), ein privates Hobbyprojekt von Terragon.de“.