Die KI, die sich selbst verbessert
Warum Training auf den eigenen Geschichten in die Echokammer führt (Model Collapse) — und wie Self-Play, unbestechliche Schiedsrichter und verifizierte Denkpfade echte Selbstverbesserung schaffen. Mit Selbstlern-Arena: Sieh einer KI beim Lernen zu und spiel dann gegen sie.
👋 HerrKI hier — heute: die KI, die ihren Lehrer überflüssig macht
Oktober 2017. DeepMind stellt AlphaGo Zero vor. Der Vorgänger AlphaGo hatte ein Jahr zuvor den Go-Weltmeister geschlagen — trainiert auf Millionen menschlicher Meisterpartien. Zero bekam davon: nichts. Nur die Spielregeln und ein leeres Netz. Dann spielte es drei Tage lang ausschließlich gegen sich selbst — und schlug anschließend die Weltmeister-Version mit 100 : 0. Kein Mensch hatte ihm einen einzigen Zug gezeigt.
Wie kann etwas besser werden als sein Lehrer, wenn es gar keinen Lehrer hat? Genau um diese Frage tobt gerade die große Debatte: sich selbst verbessernde KI — Systeme, die ohne weiteren menschlichen Input immer besser werden. Heute nehmen wir sie auseinander.
- Warum „sich selbst Geschichten schreiben und darauf trainieren“ nicht funktioniert (Model Collapse)
- Die Zauberzutat echter Selbstverbesserung: der unbestechliche Schiedsrichter
- Die Schleife: Vorschlagen → Prüfen → Aussieben → Trainieren → von vorn
- Die zwei Ebenen: besser können vs. besser gebaut sein
- Im Mitmach-Teil: Du siehst einer KI live beim Selbst-Lernen zu — und spielst danach gegen sie
💡 Roter Faden: Wie immer gehen wir von der Schlagzeile runter bis zu den Zahlen — am Ende siehst du das komplette „Gehirn“ einer selbstlernenden KI als Tabelle aus Tensoren.
🎭 Der naheliegende (falsche) Plan: sich selbst Geschichten erzählen
Die Idee klingt erstmal logisch: Das Modell schreibt sich eine Million neue Übungstexte, trainiert darauf, schreibt noch bessere Texte, trainiert wieder … und schaukelt sich so nach oben. Warum klappt das nicht?
Denk an einen Fotokopierer, der Kopien von Kopien macht: Mit jeder Runde verschwinden feine Details, kleine Fehler werden mitkopiert und verstärken sich. Beim Modell passiert exakt das — seine Ausgaben sind ja nur eine (leicht verwaschene) Zusammenfassung dessen, was es schon weiß. Trainiert es darauf, lernt es seine eigenen Macken als „Wahrheit“. 2024 wurde das in der Fachzeitschrift Nature sauber nachgewiesen: Modelle, die über mehrere Generationen auf ihren eigenen Ausgaben trainieren, kollabieren — seltenes Wissen verschwindet zuerst, am Ende bleibt Einheitsbrei. Der Fachbegriff: Model Collapse.
🔑 Merksatz: Aus den eigenen Ausgaben allein entsteht keine neue Information. Wer nur sein eigenes Echo hört, hört nichts Neues.
🧑⚖️ Die Zauberzutat: ein unbestechlicher Schiedsrichter
Neue Information muss von außen kommen. Aber — und das ist der Punkt, den viele übersehen — „außen“ muss kein Mensch sein! Es reicht eine Instanz, die nicht das Modell selbst ist und ehrlich urteilt: richtig oder falsch, gewonnen oder verloren, läuft oder stürzt ab. Solche unbestechlichen Prüfer gibt es überall dort, wo die Wirklichkeit selbst die Antwort kennt:
| Gebiet | Der Schiedsrichter | Sein Urteil |
|---|---|---|
| Spiele (Go, Schach, …) | Die Spielregeln | gewonnen / verloren / remis |
| Mathematik | Ein Beweisprüfer-Programm | Beweis hält / hält nicht |
| Programmieren | Der Computer + Tests | läuft korrekt / schlägt fehl |
| Naturwissenschaft | Experiment oder Simulation | Messwert stimmt / stimmt nicht |
Mit so einem Schiedsrichter wird aus der Echokammer eine Aufwärtsspirale:
Vorschlagen
Das Modell erzeugt viele Lösungswege — auch verrückte
Prüfen
Der Schiedsrichter bewertet jeden einzelnen ehrlich
Aussieben
Nur bestätigte Wege werden behalten
Trainieren
Das Modell lernt aus dem Bestätigten
↻ … und wieder von vorn — aber jetzt schlägt das Modell schon bessere Wege vor
🔑 Genau DAS ist mit „neuen Erkenntnispfaden“ gemeint: Nicht die selbst geschriebenen Geschichten sind der Gewinn — sondern die geprüften und bestätigten Lösungswege. Sie enthalten echte neue Information, denn in ihnen steckt jetzt das Urteil des Schiedsrichters, also ein Stück Wirklichkeit, das vorher nicht im Modell war.
Das Nachjustieren selbst kennst du übrigens längst: Fehler messen wie in „Fehler messen“, Gewichte anpassen wie in „Gradient Descent“. Neu ist nur, woher das Lernsignal kommt: nicht aus menschlichen Beispieldaten, sondern aus dem Schiedsrichter-Urteil über selbst erzeugte Versuche.
🏆 Die Belege: vier Meilensteine der Selbstverbesserung
1. AlphaGo Zero (2017) — der Urknall des Self-Play
Nur Spielregeln, kein menschliches Wissen. Das Netz spielt gegen sich selbst; der Schiedsrichter (die Regeln) sagt nach jeder Partie, wer gewonnen hat; das Netz trainiert auf seinen erfolgreichen Zügen. Ergebnis: übermenschliche Spielstärke — und Strategien, die menschliche Profis seither von der Maschine übernehmen. Die Schülerin wurde zur Lehrerin.
2. AlphaTensor & AlphaDev (2022/23) — echte neue Entdeckungen
Dieselbe Self-Play-Idee, aber das „Spiel“ war: finde ein schnelleres Rechenverfahren. Die Systeme entdeckten neue Algorithmen für Matrix-Multiplikation und Sortieren, nach denen Menschen jahrzehntelang vergeblich gesucht hatten. Schiedsrichter: mathematische Korrektheit plus Stoppuhr — beides unbestechlich. Das war der Beweis, dass die Schleife neues Wissen erzeugen kann, nicht nur Spielstärke.
3. FunSearch & AlphaEvolve (2023/2025) — das Sprachmodell in der Schleife
Ein Sprachmodell schreibt Programme als Lösungsvorschläge, ein Prüfprogramm bewertet sie, die besten werden weiterentwickelt — Evolution mit KI als Ideengeber. So entstanden neue mathematische Resultate. Und AlphaEvolve verbesserte sogar die Rechenkerne, mit denen Googles nächste Modellgeneration schneller trainiert wird: Die KI beschleunigt das Training ihrer Nachfolgerin — Selbstverbesserung über Bande. 🐍
4. Reasoning-Modelle / RLVR (2024/25) — verifizierte Denkpfade
So wurden die „Denk-Modelle“ trainiert, die du aus „Erst denken, dann reden“ kennst: Das Modell erzeugt zu Mathe- und Programmieraufgaben tausende Denkpfade — belohnt und verstärkt werden nur die, deren Endergebnis der Schiedsrichter als richtig bestätigt (Fachbegriff: RLVR, „Reinforcement Learning mit verifizierbaren Belohnungen“). Dabei tauchten Denk-Strategien auf, die niemand vorgegeben hatte: innehalten, zurückgehen, sich selbst korrigieren. Im berühmten DeepSeek-R1-Bericht (Januar 2025) nannten die Forscher das den „Aha-Moment“ ihres Modells.
🪜 Zwei Ebenen: besser KÖNNEN und besser GEBAUT sein
In der aktuellen Diskussion werden zwei verschiedene Dinge „Selbstverbesserung“ genannt — und es lohnt sich, sie auseinanderzuhalten:
- Ebene 1 — das Können (die Gewichte): Self-Play und RLVR justieren die Gewichts-Tensoren des Modells. Das Bauwerk bleibt gleich, aber es kann immer mehr. Das ist heute Realität und Standard-Praxis — jedes moderne Reasoning-Modell wurde so trainiert.
- Ebene 2 — der Bauplan (Struktur und Code): Systeme, die ihre eigene Architektur oder ihren eigenen Programmcode umbauen und die neue Version empirisch gegen die alte testen. Beispiele: automatische Architektur-Suche und 2025 die „Darwin Gödel Machine“, ein Agent, der seinen eigenen Code umschreibt und nur nachweislich bessere Versionen behält. Schiedsrichter: messbare Testergebnisse. Das ist Forschung mit ersten echten Erfolgen — die spektakulären Schlagzeilen träumen meist von dieser Ebene.
🔑 Beide Ebenen benutzen dieselbe Zauberzutat: Vorschläge machen, unbestechlich prüfen lassen, nur das Bestätigte behalten. Ob dabei Gewichte oder Baupläne verbessert werden, ist „nur“ eine Frage, woran geschraubt wird.
🎮 Deine Selbstlern-Arena: eine KI lernt Tic-Tac-Toe — ohne dich
Jetzt baust du dir die AlphaGo-Zero-Idee im Kleinen: Eine KI lernt Tic-Tac-Toe ausschließlich durch Spiele gegen sich selbst. Wir haben ihr NUR die Spielregeln einprogrammiert (das ist der Schiedsrichter!) und ihr ein leeres Gehirn gegeben. Kein einziger Beispielzug von einem Menschen.
📦 Runter zum Tensor: Ihr komplettes Gehirn ist eine Tabelle: Für jede Brettstellung merkt sie sich 9 Zahlen — „wie gut ist ein Zug auf Feld 1 bis 9?“. Nach jeder Selbst-Partie meldet der Schiedsrichter das Ergebnis, und jede benutzte Zahl wird ein Stück nachjustiert:
Zahl_neu = Zahl_alt + 0,25 × (Ergebnis − Zahl_alt) Ergebnis: Sieg +1 · Remis +0,5 · Niederlage −1
Dieselbe Nachjustier-Idee wie beim Gradient Descent — nur kommt das Lernsignal hier nicht aus Beispieldaten, sondern aus dem Urteil des Schiedsrichters über selbst gespielte Partien. Zwei Feinheiten haben wir eingebaut: Der letzte Zug einer Partie bekommt das volle Feedback, frühere Züge ein abgeschwächtes (wer weiß schon, ob Zug 1 oder Zug 4 die Partie entschieden hat?). Und in einem Teil der Partien spielt eine Seite absichtlich wild drauflos — so lernt die KI auch verrückte Gegnerzüge kennen. Vorschlagen heißt eben auch: Neues ausprobieren!
Wir machen zwei Experimente — und Experiment B ist die Echokammer aus dem Anfang des Kapitels: gleiches Lernverfahren, gleicher Fleiß, aber statt des echten Spielergebnisses bekommt die KI einen Münzwurf als Feedback (Belohnung ohne Bezug zur Wirklichkeit). Was erwartest du? 🤔
📉 So liest du die Kurven: Die Balken zeigen die Niederlagen-Quote gegen den Zufallsgegner — eine perfekte Tic-Tac-Toe-KI verliert nie, die Balken müssen also schrumpfen. Der erste Balken ist die noch untrainierte KI. (Warum nicht die Siegquote? Die startet schon bei ~50 %, weil selbst eine ahnungslose KI den Zufall oft schlägt — da sieht man den Fortschritt schlecht.)
🧑⚖️ Experiment A: MIT Schiedsrichter
6.000 Selbst-Partien pro Klick. Nach je 500 Partien messen wir in 600 Testpartien gegen einen Zufallsgegner, wie oft die KI noch VERLIERT.
🙈 Experiment B: Münzwurf statt Wahrheit
Exakt dasselbe Training — aber das Feedback ist ein Münzwurf, der das echte Spielergebnis ignoriert.
⚔️ Jetzt du gegen die selbst-trainierte KI!
Du spielst X und beginnst, die KI aus Experiment A spielt O. (Tipp: Erst trainieren — sonst zieht sie zufällig!)
Du bist X — klick ein Feld!
Stand — Du: 0 · KI: 0 · Remis: 0
🔬 Der Blick ins Gehirn: die 9 Zahlen der KI
So bewertete die KI das Brett vor ihrem letzten Zug — das ist ihr kompletter „Gedanke“: grün = Zug erscheint gut, rot = Zug erscheint schlecht.
Noch kein Zug gemacht.
⚠️ Ehrlich bleiben: die Grenzen
- Der Flaschenhals ist der Schiedsrichter, nicht der Ideen-Generator. Für guten Schreibstil, Geschichtsdeutung oder Lebensberatung gibt es keinen unbestechlichen Prüfer — dort droht sofort wieder die Echokammer. Deshalb spielen die großen Selbstverbesserungs-Erfolge bisher fast alle in Mathe, Code und Spielen.
- Teuer: Die Schleife braucht Millionen von Versuchen. Deine Tic-Tac-Toe-Arena schafft das im Browser — bei großen Modellen kostet dieselbe Idee Rechenzentren.
- Besser im Prüfbaren ≠ allgemein klüger. Ob die Schleife jemals voll autonom über alle Gebiete läuft (Stichwort „Intelligenzexplosion“), ist eine offene Forschungs- und Streitfrage. Heute real: mächtige Bausteine. Nicht real: ein Perpetuum mobile der Erkenntnis.
🧭 Und damit zurück nach oben: Wenn du das nächste Mal liest „KI verbessert sich selbst ohne Menschen“, stell die eine Frage: „Wer ist der Schiedsrichter?“ Gibt es einen unbestechlichen — Regeln, Tests, Beweise, Experimente —, ist die Meldung ernst zu nehmen. Gibt es keinen, liest du vermutlich gerade über eine sehr teure Echokammer.
📚 Zum Nachlesen (Originalquellen)
- AlphaGo Zero: „Mastering the game of Go without human knowledge“ (Nature, 2017)
- Model Collapse: „AI models collapse when trained on recursively generated data“ (Nature, 2024)
- FunSearch: „Mathematical discoveries from program search with LLMs“ (Nature, 2023)
- DeepSeek-R1 („Aha-Moment“): arXiv:2501.12948 (2025)
- Darwin Gödel Machine: arXiv:2505.22954 (2025)