Warum KI überzeugend Unsinn erzählt (Halluzinationen)
Halluzinationen sind kein Defekt, sondern die Kehrseite des Funktionsprinzips: Sieh am Temperature-Regler, warum ein Modell auch bei erfundenen Fragen selbstbewusst antwortet — und lerne die Gegenmittel.
👋 HerrKI hier — heute geht es um das wichtigste Alltags-Wissen dieses Kurses
Jeder hat es erlebt: Die KI antwortet druckreif, mit Quellenangabe und felsenfester Überzeugung — und es stimmt hinten und vorne nicht. Das nennt man Halluzination. Heute verstehst du, warum das zwangsläufig passiert (kein Bug!), woran du es erkennst und was wirklich dagegen hilft.
Zur Erinnerung: Was ein Sprachmodell eigentlich tut
Aus „Wie LLMs Fragen beantworten“ weißt du: Ein Sprachmodell wählt immer nur das nächste Token — aus einer Wahrscheinlichkeits-Liste über das gesamte Vokabular. Und hier steckt schon das ganze Drama: Es MUSS ein Token wählen. Auch wenn es zur Frage schlicht nichts Belastbares gelernt hat.
🌡️ Zwei Fragen, ein Regler — sieh dir die Wahrscheinlichkeiten an
Was Temperature wirklich macht (und was nicht)
Der Regler formt die Verteilung: niedrig = die wahrscheinlichste Fortsetzung gewinnt fast immer (vorhersagbar, „langweilig“), hoch = auch seltene Token kommen dran (kreativ, streuend). Aber merke: Temperature runterdrehen erzeugt kein Wissen. Bei der erfundenen Frage wählt das Modell dann nur immer denselben falschen Namen — konsequent statt zufällig falsch.
🕵️ Selbsttest: Erkennst du die Halluzination?
Fünf Aussagen — echt oder erfunden?
Was wirklich hilft
📚 Wissen mitgeben statt abfragen: RAG legt die echten Dokumente in den Prompt (Kapitel 330) — dämpft Halluzinationen deutlich, heilt sie nicht.
🔗 Quellenzwang: „Antworte NUR mit Angabe der Fundstelle; wenn keine existiert, sag: weiß ich nicht.“ — und die Quelle stichprobenartig ÖFFNEN.
🧮 Nachrechnen & Nachschlagen: Zahlen, Zitate, Paragrafen, Literaturangaben grundsätzlich prüfen — genau dort halluzinieren Modelle am liebsten.
👥 Zweite Meinung: dieselbe Frage einem zweiten Modell oder einer Suchmaschine stellen — widersprechen sie sich, ist Vorsicht angesagt.
🔬 Runter zum Tensor
Rechnen wir die Balken von oben mit der Hand nach (Kapitel 060). Das Modell liefert für jede Vokabel einen Rohwert, das Logit. Wir nehmen fünf davon — zum Mitrechnen verkleinert; in echt steht dort eine Zahl pro Vokabel-Token, je nach Modell rund 50.000 bis 130.000 Stück. Softmax macht daraus Prozente: jedes Logit wird zu e hoch diesem Wert, dann teilt man durch die Summe aller.
Und zum Vergleich dieselbe Rechnung bei einer Frage, deren Antwort millionenfach in den Trainingsdaten stand. Nur die Logits sind andere — die Zahl links entscheidet alles:
Und die Temperature? Sie teilt die Logits, bevor Softmax rechnet. Kleines T spreizt die Abstände, großes T drückt sie zusammen — hier mit den fünf erfundenen Namen von oben:
Genau das ist die ganze Mechanik, und so heißt sie im Code. Die Logits sind dabei ein Tensor der Form [1, V] — V ist die Größe des Vokabulars, also statt unserer fünf Kandidaten die vollen 50.000 bis 130.000:
Zurück zur Anwendung
Ab heute liest du KI-Antworten anders: Der souveräne Ton ist Sprachmuster, die Fakten sind Wahrscheinlichkeits-Züge. Bei allem, was Konsequenzen hat — Verträge, Gesundheit, Geld, Noten — gilt: prüfen, bevor du es weitergibst. Die KI ist ein brillanter Formulierungs-Partner, kein Orakel.