Lernen durch Belohnung: Wie Robi laufen lernt (Reinforcement Learning)

☕ Drei Kaffeeautomaten: Neugier gegen Gewohnheit

Vorher das kleinste denkbare Lernproblem — eines aus jedem Büro. Im Flur, in der Küche und am Empfang steht je ein Kaffeeautomat, jeder mit seiner eigenen, verborgenen Quote guter Becher. Du kennst nur den Becher in deiner Hand. Damit steckst du in der Zwickmühle, die das ganze Kapitel trägt: Ausnutzen (Exploitation) heißt, zum bisher besten Automaten zu gehen — bringt sofort Kaffee, aber vielleicht war dein Eindruck Zufall. Erkunden (Exploration) heißt, einen anderen zu probieren — kostet vielleicht einen schlechten Becher, liefert aber Wissen, das nur so zu haben ist.

Genau das zeigt der erste Lauf nach jedem Zurücksetzen, gleicher Zufall, nur anderes ε: ε = 0 → 131 gute Kaffees, ε = 0,05 → 183, ε = 0,10 → 330, ε = 0,2 → 321, ε = 0,5 → 280, ε = 1 → 214. Beide Randfälle lohnen einen zweiten Blick:

• ε = 0 — nur Gewohnheit. Der erste Automat mit zwei guten Bechern bleibt für immer Favorit; die anderen tastet Robi nie wieder an. Hier steht er 500 Mal am schlechtesten — keine Dummheit, nur die Folge davon, dass er seine Schätzung nie überprüft.
• ε = 1 — nur Neugier. Robi würfelt jeden Becher aus. Seine Schätzwerte werden sehr genau; genutzt hat er sie nie. Wissen ohne Anwendung bringt keinen Kaffee.

Dazwischen liegt das Gute: ein kleines ε, das gerade genug zweifelt. Das Spielzeugproblem heißt Multi-Armed Bandit und füllt bei Sutton & Barto das ganze zweite Kapitel — Reinforcement Learning ohne Ortswechsel. Den bauen wir jetzt ein.

🧭 Zustand, Aktion, Belohnung, Politik

Beim Kaffee gab es nur eine Entscheidung, immer dieselbe. Im Büro entscheidet wo Robi steht mit, was gut ist. Fünf Begriffe beschreiben das vollständig — und mit genau diesen fünf arbeitet die Fachliteratur.

Dazu zwei Begriffe, die man leicht verwechselt:

• Episode (Versuch): ein Durchlauf vom Start bis zum Ende — Ladestation erreicht, in die Pfütze getappt oder nach 200 Schritten abgebrochen. Danach steht Robi wieder am Start, behält aber alles Gelernte.
• Diskontfaktor γ (gamma, zwischen 0 und 1): Robis Ungeduld. Eine Belohnung in k Schritten zählt nur noch γ^k-fach. Bei γ = 0,9 sind +10 in zwölf Schritten noch 10 · 0,9¹² ≈ 2,8 wert, bei γ = 0,5 nur 10 · 0,5¹² ≈ 0,002 — die Ladestation strahlt dann nicht mehr bis zum Start.

Der Wert beantwortet „Wie gut ist es, hier zu stehen, wenn ich danach vernünftig weiterlaufe?" — und ist nicht die Belohnung: Das Feld neben der Ladestation gibt null Punkte und ist trotzdem hervorragend. Diese Unterscheidung ist der Kern des Verfahrens.

🔬 Runter zum Tensor: Die Q-Tabelle hat die Form [36, 4]

Robis ganzes Wissen passt in eine Tabelle. Sein Büro ist ein 6-×-6-Raster, also 36 Zustände, in jedem 4 Aktionen. Für jedes Paar merkt er sich eine Zahl Q(s, a): „wie gut ist Aktion a auf Feld s?". Eine Matrix, ein Tensor zweiter Stufe (Kapitel 010):

Die Politik ist damit nichts Eigenes mehr, sie fällt aus der Tabelle: „Nimm in jeder Zeile den größten Wert." Lernen heißt, diese 144 Zahlen zu verbessern, bis das stimmt.

Die Regel, die alles macht

Nach jedem Schritt ändert Robi genau eine davon. Die Vorschrift stammt von Christopher Watkins (1989) und heißt Q-Learning:

Die eckige Klammer ist der TD-Fehler (temporal difference, zeitliche Differenz) — Robis Überraschung. Sie vergleicht, was er vorher dachte (Q(s,a)), mit dem, was er jetzt weiß: r + γ · max Q(s′), also die eben kassierten Punkte plus das Beste, was vom neuen Feld aus noch geht, mit γ abgezinst — das TD-Ziel. α (die Lernrate) sagt, welchen Anteil der Überraschung Robi übernimmt. Einmal von Hand, mit α = 0,5 und γ = 0,9: Robi steht auf Feld 12, geht nach rechts, kassiert r = −1 und landet auf einem Feld mit bestem Eintrag max Q(s′) = 4,0. In der Zelle stand 2,0:

Derselbe Gedanke wie beim Gradientenabstieg: Fehler ausrechnen, einen Bruchteil davon in die richtige Richtung gehen, wiederholen. Nur kommt der Fehler dort aus einer bekannten Lösung und hier aus Robis eigener späterer Schätzung — er zieht sich am eigenen Schopf aus dem Sumpf (Bootstrapping). Dass das beweisbar zum richtigen Ergebnis führt, wenn jede Aktion oft genug drankommt, zeigten Watkins und Dayan 1992.

Und wenn die Tabelle nicht mehr passt?

36 Felder sind gemütlich. Ein Atari-Bildschirm hat 210 × 160 Bildpunkte — eine Tabelle mit einer Zeile pro möglichem Bildschirm wird es nie geben. Der Ausweg von DeepMind 2013: Ersetze die Tabelle durch ein neuronales Netz. Vorne die Bildpunkte hinein, hinten die Q-Werte für jeden Joystick-Befehl heraus — bei Robi eine Ausgabe der Form [4]. Aus Nachschlagen wird Schätzen: das Deep Q-Network (DQN). Die Update-Regel bleibt gleich.

🤖 Zum Anfassen: Robi lernt sein Büro

Jetzt in echt. Im Raster versperren Schreibtische den Weg, in der Mitte steht eine Kaffeepfütze (−10, Versuch beendet), oben rechts die Ladestation (+10, Versuch beendet). Jeder Schritt kostet −1, deshalb hat Robi es eilig. Start ist unten links, an meinem Schreibtisch.

Drück zweimal „100 Versuche": Die Kurve fällt von weit über fünfzig Schritten auf die grüne Linie, den kürzesten Weg ohne Pfütze. Gezeigt hat ihn Robi niemand.

Warum klappt ε = 0 hier oft trotzdem, anders als beim Kaffee? Alle 144 Zahlen starten bei 0 und jeder Schritt kostet −1 — damit sieht jedes nie besuchte Feld besser aus als jedes bekannte. Dieser „optimistische Start" erzwingt Neugier ohne Würfel, verlässlich ist er aber nicht.

💥 Belohnungs-Design: Wenn Robi das System austrickst

Bis hier war die Belohnung vernünftig gebaut. Jetzt drehen wir daran — so, wie es in Projekten aus Versehen passiert.

Beide Fälle sehen harmlos aus und enden verheerend:

• +1 je Schritt („Bewegung fördern wir doch"). Rechne mit: Ewig herumlaufen bringt bei γ = 0,95 einen Wert von 1 ⁄ (1 − 0,95) = 20, die Ladestation nur 10 — und beendet den Versuch. Robi tut das Richtige: Er meidet sie und dreht bis zum Abbruch Runden.
• Kekse auf dem Boden. Zwei Felder nebeneinander, je +2, und sie wachsen nach. Robi pendelt zwischen ihnen: −1 für den Schritt, +2 für den Keks, netto +1 — jeden Schritt. Auch das schlägt die einmaligen +10; die Ladestation sieht er nie wieder.

Keine Marotte, sondern die ehrlichste Eigenschaft des Verfahrens: Ein Agent maximiert, was du hinschreibst, nicht, was du meinst. Die Lücke heißt Spezifikations-Lücke, das Ausnutzen Reward Hacking — bei Amodei und Kollegen 2016 eines von fünf konkreten Sicherheitsproblemen.

Bei Sprachmodellen ist die Belohnung noch weicher: Dort sagt kein Spielstand, was gut war, sondern ein Belohnungsmodell aus menschlichen Vergleichen. Es belohnt, was Menschen gut finden — nicht das, was wahr ist. Eine flüssige, selbstsichere, falsche Antwort holt leicht mehr Punkte als ein „Das weiß ich nicht". Damit sind wir in Kapitel 350.

🔙 Zurück zur Anwendung: Von Atari zu ChatGPT

Robis Büro ist ein Spielzeug — das Verfahren dahinter nicht.

• Atari, 2013 und 2015. DeepMinds erstes DQN lernte sieben Atari-Spiele allein aus Bildpunkten und Punktestand: besser als alle bisherigen Verfahren bei sechs, besser als ein menschlicher Experte bei dreien. Zwei Jahre später standen in Nature 49 Spiele — mit demselben Algorithmus, derselben Architektur und denselben Hyperparametern, auf dem Niveau eines professionellen Spieletesters. Neu war vor allem der Replay-Speicher: Erlebte Schritte werden gesammelt und später in zufälliger Reihenfolge nachtrainiert, damit ähnliche Situationen das Netz nicht verziehen.
• Go, 2016 und 2017. AlphaGo kombinierte Netze mit Baumsuche und schlug den Europameister 5:0 — der erste Sieg gegen einen Profi auf dem vollen Brett. AlphaGo Zero lernte ein Jahr später ohne jede menschliche Partie und gewann 100:0 gegen seinen Vorgänger.
• Robotik und Empfehlungen. Greifen und Laufen werden millionenfach simuliert, bevor echte Hardware anfasst; Empfehlungssysteme optimieren auf Verweildauer — mit Robis Keks-Lücke.
• Und die Sprachmodelle. Ouyang und Kollegen zeigten 2022, wie aus GPT-3 InstructGPT wurde: Menschen sortieren Antworten nach Güte, daraus lernt ein Belohnungsmodell, und mit ihm als Punktegeber wird das Sprachmodell per RL nachtrainiert (PPO). Das ist RLHF — Reinforcement Learning from Human Feedback. Der Effekt: Antworten des 1,3-Milliarden-Modells wurden denen des 175-Milliarden-GPT-3 vorgezogen, bei 100-mal weniger Parametern.

Damit ist klar, warum ein Chatmodell höflich ist und warum es ablehnt: gelerntes Belohnungsverhalten, kein eingebauter Filter — der Faden, an dem Kapitel 392 zieht. Wann man ein Modell überhaupt nachtrainiert statt es besser zu fragen, klärt Kapitel 370.

Was heißt das für dich?

Drei Dinge, ganz ohne selbst einen Agenten zu bauen:

• Achte darauf, was gemessen wird. Jedes System, das auf eine Kennzahl optimiert — Klickrate, Verweildauer, gelöste Tickets — ist ein Agent mit Belohnungsfunktion. Frag nicht „ist das Ziel gut gemeint?", sondern „was ist der billigste Weg, diese Zahl hochzutreiben?".
• Höflichkeit ist antrainiert. Wenn ein Chatbot freundlich zustimmt, ist das keine Meinung, sondern ein hoch bewertetes Muster. Widerspruch wurde seltener belohnt.
• Neugier gehört ins Verfahren. ε = 0 heißt: nie prüfen, ob die Gewohnheit noch stimmt. Gilt für Automaten, Agenten und Arbeitsabläufe gleichermaßen.

🧠 Kurzer Check — hast du es?

Robi hat gelernt, ohne dass ihm jemand den Weg gesagt hat — er hat sich sein Wissen selbst zusammengelaufen. Im nächsten Pfad drehen wir das Fernglas um: „Latent Space — die geheime Landkarte" zeigt, was in einem Netz eigentlich entsteht, wenn es lernt.

HerrKI: Lernen durch Belohnung: Wie Robi laufen lernt (Reinforcement Learning). herrki.de/280_reinforcement_learning, ein privates Hobbyprojekt von Terragon.de, abgerufen am 4. November 2026.