Latent Space — die geheime Landkarte der KI
Der verborgene Raum, in dem Bedeutung zu Koordinaten wird: Nachbarschaft, Vektor-Rechnung und Interpolation zum Anfassen — die Grundlage von LLMs und Bild-KIs.
👋 HerrKI hier — heute nehme ich dich mit in den Raum, in dem KI wirklich denkt
Kurze Frage vorweg: Woher weiß eine KI, dass „Hund“ und „Katze“ irgendwie zusammengehören — „Hund“ und „Kartoffelsalat“ aber eher nicht? Sie hat schließlich nie ein Tier gesehen und nie etwas gegessen. Sie kennt nur Zahlen.
Die Antwort ist eine der schönsten Ideen der ganzen KI: Modelle bauen sich eine Landkarte der Bedeutungen. Jedes Wort, jedes Bild, jeder Satz bekommt darauf eine Adresse — Koordinaten. Und was sich ähnlich ist, landet nah beieinander. Diese Landkarte heißt Latent Space (lateinisch latere = verborgen sein): der verborgene Raum. Verborgen deshalb, weil ihn niemand hineinprogrammiert hat. Das Modell hat ihn sich beim Training selbst gebaut.
- ✅ Was ein Latent Space ist — und warum „Karte“ die beste Metapher dafür ist
- ✅ Warum Nähe = Ähnlichkeit bedeutet (mit einer Karte zum Antippen)
- ✅ Wie man mit Bedeutung rechnet: König − Mann + Frau ≈ Königin
- ✅ Was passiert, wenn du zwischen zwei Punkten spazieren gehst
- ✅ Warum ChatGPT und Bild-KIs ohne diesen Raum gar nicht funktionieren würden
💡 HerrKI-Tipp: Merk dir für dieses Kapitel einen einzigen Satz — „Bedeutung wird zu Ort.“ Alles andere folgt daraus.
Von Wörtern zu Koordinaten
In den Kapiteln über Text und LLMs hast du schon gesehen: Bevor ein Modell mit Sprache arbeiten kann, wird jedes Token in eine lange Zahlenreihe übersetzt — ein Embedding. Und diese Zahlenreihe ist nichts Neues: Es ist exakt der Vektor aus Kapitel 010 — ein 1D-Tensor mit der Form [768]. Zum Beispiel so:
[0.24, −0.81, 0.05, 0.63, …]768 Richtungen
Und jetzt der Gedankensprung, um den es heute geht: 768 Zahlen sind nichts anderes als 768 Koordinaten. Bei zwei Zahlen wäre es ein Punkt auf einem Blatt Papier (rechts/links, oben/unten). Bei drei Zahlen ein Punkt im Zimmer. Bei 768 Zahlen … ein Punkt in einem Raum, den sich kein Mensch vorstellen kann — den man aber genauso behandeln darf: Man kann Abstände messen, Richtungen laufen, Nachbarn suchen.
Die Landkarte der Bedeutungen
Hier ist deine Karte. 40 deutsche Wörter, jedes an seiner Adresse. Kein Mensch hat die Wörter sortiert — stell dir vor, ein Modell hätte sie beim Lesen von Millionen Sätzen genau dorthin gelegt, weil sie in ähnlichen Zusammenhängen vorkommen.
🗺️ Tippe ein Wort an — ich zeige dir seine Nachbarn
Probier das aus:
- Tippe auf Hund — wer sind die drei nächsten Nachbarn?
- Tippe auf Berlin — wieso liegt Paris weiter weg als Hamburg?
- Tippe auf Zoo und auf Hunger — diese Wörter hängen zwischen zwei Regionen. Genau das ist der Alltag im echten Latent Space: Es gibt keine sauberen Schubladen, nur Gegenden, die ineinander übergehen.
Ähnlichkeit ist einfach nur Abstand
Das Schöne daran: Sobald Bedeutung ein Ort ist, wird „ähnlich“ zu einer stinknormalen Rechenaufgabe. Der Abstand zwischen zwei Punkten — Satz des Pythagoras, den kennst du aus der Schule:
Und falls dir das bekannt vorkommt: Genau diese Rechnung ist eine Tensor-Operation aus Kapitel 060 — elementweise subtrahieren, quadrieren, aufsummieren, Wurzel ziehen. In echten Systemen läuft sie nicht über 2, sondern über 768 Zahlen und über Millionen Punkte gleichzeitig, als eine einzige Matrix-Multiplikation auf der Grafikkarte. Deshalb ist „Verstehen“ für einen Computer am Ende genau das: eine Tensor-Rechnung.
Diese fünf Zeilen laufen millionenfach pro Sekunde in jeder semantischen Suche, in jedem Empfehlungssystem, in jedem RAG-System. (In der Praxis nimmt man meist die Kosinus-Ähnlichkeit, die nur den Winkel zwischen zwei Vektoren misst und die Länge ignoriert — das Prinzip bleibt dasselbe.)
Rechnen mit Bedeutung
Jetzt wird es richtig verrückt. Wenn Bedeutung ein Ort ist, dann sind Richtungen auch etwas wert. Und tatsächlich: In echten Wort-Embeddings zeigt eine ganz bestimmte Richtung immer „männlich → weiblich“. Eine andere zeigt „Einzahl → Mehrzahl“. Eine dritte „Land → Hauptstadt“.
Wenn das stimmt, muss man mit Wörtern rechnen können. Und das kann man — es ist das berühmteste Kunststück der KI-Geschichte:
Übersetzt: „Nimm König. Zieh alles ab, was ihn zum Mann macht. Addiere alles, was eine Frau ausmacht. Wo landest du?“ Auf der kleinen Karte unten haben die Achsen sogar eine erkennbare Bedeutung — links/rechts ist das Geschlecht, oben/unten der Rang. Probier es aus:
➕ Vektor-Rechnung zum Anfassen
Der graue Pfeil ist die Bedeutungs-Richtung, die du aus den ersten beiden Wörtern gewinnst. Der blaue Pfeil ist genau dieselbe Richtung — nur an einer anderen Stelle der Karte angesetzt. Dass am Ende ein sinnvolles Wort steht, hat niemand einprogrammiert. Es fällt aus den Trainingsdaten heraus.
Weitere Rechnungen zum Ausprobieren: Prinz − Junge + Mädchen ·
Königin − Frau + Mann · Vater − Mann + Frau —
und dann etwas Unsinniges wie Kuchen − Kuchen + Kuchen… ach, das gibt es hier gar nicht.
Aber probier ruhig eine Kombination, die keinen Sinn ergibt: Das Modell rechnet trotzdem brav weiter und
liefert irgendein nächstes Wort. Eine KI merkt nicht, wenn die Frage Quatsch war.
Spazieren gehen im Latent Space
Eine Karte kann man nicht nur ablesen — man kann auf ihr laufen. Und hier kommt der Punkt, an dem viele zum ersten Mal wirklich staunen: Zwischen zwei Wörtern liegt kein Loch. Da liegt Bedeutung, die es gar nicht als eigenes Wort gibt.
🚶 Lauf über die Karte
Schieb den Regler langsam von 0 % auf 100 % und schau nach oben auf die Karte — der rote Wanderpunkt läuft mit. Unterwegs kommst du an Regionen vorbei, für die es kein passendes Wort gibt. Genau da wohnt das, was KI kreativ wirken lässt.
Dasselbe mit Bildern: der Morph
Bei Bildern wird der Spaziergang sichtbar. Das Gesicht unten ist kein Foto und kein Video — es wird aus vier Zahlen gezeichnet: Kopfform, Mundkurve, Augengröße, Farbton. Diese vier Zahlen sind sein Latent-Vektor. Links steht ein Punkt im Raum, rechts ein anderer. Der Regler läuft dazwischen:
🎚️ Von A nach B — durch den Raum, nicht durch Überblenden
Warum ohne diesen Raum nichts mehr läuft
🎨 Bild-KIs (Diffusion) rechnen fast nur im Latent Space
Stable Diffusion heißt mit vollem Namen Latent Diffusion — und das ist kein Zufall. Rechne mal mit: Ein Bild mit 512 × 512 Pixeln in Farbe hat 512 · 512 · 3 = 786 432 Zahlen. Für jeden einzelnen Entrauschungs-Schritt (und davon gibt es 20 bis 50) wäre das brutal teuer.
[512, 512, 3]
786 432 Zahlen
[64, 64, 4]
16 384 Zahlen
[512, 512, 3]
786 432 Zahlen
Ein Encoder presst das Bild auf 16 384 Zahlen zusammen — rund 48-mal weniger. Die ganze Arbeit („aus Rauschen wird Struktur“) passiert in dieser kompakten Form, und erst ganz am Schluss malt ein Decoder daraus wieder echte Pixel. Deshalb läuft Bild-KI überhaupt auf normalen Grafikkarten. Und deshalb funktionieren die berühmten Morph-Videos: Man läuft im Latent Space von einem Punkt zum nächsten und lässt jeden Zwischenschritt ausmalen.
💬 LLMs sind eine Reise durch den Latent Space
Was in Kapitel 050 als Pipeline beschrieben war, kannst du jetzt geometrisch sehen: Jedes Token startet als Punkt (sein Embedding). Jede Transformer-Schicht verschiebt diesen Punkt ein Stück — abhängig davon, was drumherum steht. Das Wort „Bank“ startet an einer neutralen Adresse und wandert dann Richtung „Geld“ oder Richtung „Park“, je nach Satz. Am Ende schaut das Modell nach: Welches Wort wohnt dem Punkt am nächsten, an dem ich gelandet bin?
🔍 Semantische Suche und RAG
Der praktischste Nutzen im Alltag: Klassische Suche vergleicht Buchstaben — wer „Auto“ tippt, findet kein Dokument, in dem nur „Fahrzeug“ steht. Semantische Suche verwandelt die Frage und jedes Dokument in Punkte und sucht die nächsten Nachbarn. Deshalb findet ein gut gebauter Firmen-Chatbot die richtige Handbuchseite, obwohl kein einziges Wort wörtlich übereinstimmt. Genau das ist RAG (Retrieval Augmented Generation) — und es ist im Kern das, was du oben angetippt hast, nur mit ein paar Millionen Punkten mehr.
🧠 Kurzer Check — hast du es?
✅ Das nimmst du mit
- Bedeutung wird zu Ort. Ein Embedding ist eine Adresse in einem Raum mit sehr vielen Richtungen.
- Nähe = Ähnlichkeit. „Verstehen“ sieht von innen aus wie Abstandsmessen.
- Richtungen tragen Bedeutung. Deshalb kann man mit Wörtern rechnen — inklusive der geerbten Vorurteile.
- Zwischenräume sind nicht leer. Interpolation erzeugt Neues, statt Altes zu überblenden.
- Niemand hat die Karte gezeichnet. Sie ist beim Training von selbst entstanden — das ist der eigentliche Clou.
🚀 Wie es weitergeht
Du weißt jetzt, wo die KI ihre Bedeutungen aufbewahrt. Als Nächstes wird spannend, wie die Punkte in Bewegung geraten: Der Attention-Mechanismus entscheidet, welches Wort welches andere verschiebt. Danach schauen wir uns an, wie aus purem Rauschen ein Bild wird — und warum ein Modell, das nur Nachbarn sucht, manchmal überzeugend Unsinn erzählt.
Übrigens: Du hast heute nichts trainiert und trotzdem verstanden, wie moderne KI innen aussieht. Das ist keine schlechte Ausbeute für 20 Minuten. 😉