Overfitting & Regularisierung

Wenn Netze auswendig lernen — und was Dropout & Co. dagegen tun.

👋 HerrKI hier — heute retten wir dein Modell vor sich selbst

Kennst du den Mitschüler, der vor der Arbeit alle Übungsaufgaben auswendig gelernt hat? In der Übung: fehlerfrei. In der Klassenarbeit mit neuen Aufgaben: Blackout. Genau das passiert neuronalen Netzen ständig — es heißt Overfitting: 99 % richtig auf den Trainingsdaten, 60 % auf neuen Daten. Heute lernst du die Gegenmittel, die jedes Produktiv-Modell braucht.

🎯 Das nimmst du mit:

Woran du Overfitting erkennst (Auswendiglernen statt Verstehen)
Wie Dropout das Netz zwingt, robust zu werden (Neuronen zufällig abschalten)
Wie L2-Regularisierung die Gewichte klein und „bescheiden“ hält
Warum das alles nur mit sauber getrennten Test-Daten überhaupt auffällt

🔗 Direkt anknüpfend: In „Trainieren, prüfen, bestehen“ hast du gelernt, Daten in Training und Test zu trennen — und was „Schummeln“ anrichtet. Hier siehst du jetzt den Ernstfall, für den diese Trennung erfunden wurde: Ohne Testdaten würdest du Overfitting nie bemerken — dein Modell sähe perfekt aus und wäre draußen nutzlos.

🧅 Runter zum Tensor: Was machen Dropout und L2 wirklich?

Das „Wissen“ deines Netzes steckt in seinen Gewichts-Tensoren — großen Paketen gelernter Zahlen (seit „Was ist ein Neuronales Netz?“). Hier geht EINE Zahl hinein (die Lernstunden) und läuft durch 32 Neuronen [1, 32], dann durch 16 [32, 16]. Beide Gegenmittel greifen genau dort an:

1Dropout(0.3): In jedem Trainingsschritt werden zufällig 30 % der Neuronen kurz auf 0 gesetzt — als müsste dein Team jede Woche ohne ein paar zufällige Kollegen auskommen. So sieht das für eine Schülerin mit 15 Lernstunden aus, 6 der 32 Neuronen herausgegriffen:

Aktivierungen  [ 0.80  1.40  0.00  2.10  0.60  1.90 ]

würfeln, 30 % raus (hier Neuron 2 und 5):
               [ 0.80  0.00  0.00  2.10  0.00  1.90 ]

Rest ×1/(1−0.3) = ×1.43, damit die Summe im Schnitt stimmt:
               [ 1.14  0.00  0.00  3.00  0.00  2.71 ]

Kein Neuron kann sich auf ein anderes verlassen, keins darf ein einzelnes Trainingsbeispiel „auswendig“ speichern: Das Wissen verteilt sich robust über den ganzen Tensor.

2L2-Regularisierung: Große Gewichte = steile, zackige Vorhersagekurven, die sich um jeden einzelnen Datenpunkt winden. L2 addiert die quadrierten Gewichte — mal 0.01 — auf den Fehler. Drei Gewichte als Kostprobe:

ohne L2, auswendig gelernt:  [ 12.40  −9.80   7.10 ]
  Strafe = 0.01 × (12.40² + 9.80² + 7.10²)
         = 0.01 × 300.21 = 3.00

mit L2, bescheiden:          [  0.80  −0.60   0.50 ]
  Strafe = 0.01 × ( 0.80² +  0.60² +  0.50²)
         = 0.01 ×   1.25 = 0.01

3.00 zusätzlicher Fehler tut dem Optimierer weh, 0.01 juckt ihn nicht — dieser sanfte Dauerdruck zieht die Gewichte klein und die Vorhersagekurve glatt. Das Netz darf sich also weiter anstrengen, aber es muss seine Übertreibungen bezahlen.

📊 So teilen wir die Daten auf

🎓 Trainingsdaten (80%)
Daraus lernt das Modell
(nur diese Noten sieht es beim Üben!)

✅ Testdaten (20%)
Die „Klassenarbeit“
(beim Training komplett unsichtbar!)

📊 Alle Datenpunkte

30 Schülerinnen und Schüler, ihre Lernstunden pro Woche und die Prüfungsnote — mit realistischem Rauschen (auch wer viel lernt, erwischt mal einen schlechten Tag). Genau dieses Rauschen ist die Falle: Ein überangepasstes Modell lernt den schlechten Tag mit auswendig.

Student	📚 Lernstunden/Woche	📝 Prüfungsnote (1-6)	Daten-Set

🎓 Das Duell: Zwei Modelle, gleiche Daten

⚙️ Hyperparameter

Beide Modelle bekommen exakt dieselben Daten und Einstellungen. Der einzige Unterschied: Modell 1 trainiert ohne, Modell 2 mit Dropout + L2. Möge das ehrlichere gewinnen.

🔄 Epochen:

📈 Lernrate:

🔍 Worauf du beim Ergebnis achten solltest: Schau nicht auf den Trainings-Fehler — schau auf die Lücke zwischen Training und Test. Kleiner Trainingsfehler + großer Testfehler = auswendig gelernt. Das regularisierte Modell darf beim Training ruhig „schlechter“ aussehen; auf den Testdaten zahlt sich die Bescheidenheit aus.

🔮 Der Praxistest: eine neue Schülerin

Gib Lernstunden ein, die nicht in den Daten vorkommen (z. B. 15,5) — also ein Fall, den beide Modelle noch nie gesehen haben. Welches tippt plausibler?

📚 Lernstunden pro Woche:

🧠 Kurzer Check — hast du es?

1. Beim Training sinkt der Trainings-Fehler weiter, aber der Test-Fehler steigt. Was passiert hier?

2. Was macht Dropout während des Trainings?

3. Modell A: Training 1 % Fehler, Test 12 %. Modell B: Training 5 %, Test 6 %. Welches nimmst du mit in die echte Welt?

🏁 Damit hast du den Praxis-Werkzeugkasten komplett: Daten zu Tensoren machen, Modelle trainieren, ehrlich prüfen und robust halten. Ab hier wird es aktuell: Im Bereich „Aktuell“ wartet z. B. der Latent Space — die geheime Landkarte, auf der moderne KI denkt.