Warum eine Gerade nicht reicht (Aktivierungsfunktionen)
Zehn Schichten ohne Aktivierung sind immer noch eine Gerade. Erlebe live, wie erst der ReLU-Knick ein Netz mächtig macht — und baue aus drei Knicken selbst eine Kurve.
👋 HerrKI hier — heute beantworte ich die Frage, die du dir gerade stellst
🧭 Einfach gesagt: Gerade auf Gerade bleibt eine Gerade — erst ein einfacher Knick, der alles Negative zu null macht, lässt dein Netz echte Kurven lernen.
In „Polynomiale Regression“ hat dein Netz eine Kurve gelernt. Da liegt die Frage nahe: „Warum dann nicht einfach IMMER mehr Schichten stapeln?“ Die überraschende Antwort: Mehr Schichten allein bringen exakt gar nichts. Was ein Netz wirklich mächtig macht, ist ein winziger Knick — die Aktivierungsfunktion.
- ✅ Warum Gerade + Gerade wieder nur eine Gerade ergibt — Tiefe allein bringt nichts
- ✅ Was ReLU rechnet: max(0, x) — ein Knick bei null, mehr nicht
- ✅ Wieso sich aus verschobenen Knicken jede Kurve bauen lässt (Kurven-Lego)
- ✅ Dass die Aktivierung elementweise auf den Tensor jeder Schicht wirkt
- ✅ Wo Sigmoid und Tanh sitzen — und warum ReLU die versteckten Schichten gewonnen hat
Die unbequeme Mathematik: Gerade + Gerade = Gerade
Eine Schicht ohne Aktivierung rechnet Ausgabe = Gewicht × Eingabe + Bias — eine Gerade. Stapelst du zwei davon, rechnest du „Gerade von einer Geraden“:
Das gilt für 2 Schichten, für 10, für 100: Ohne Knick kollabiert jeder Stapel zu einer einzigen Geraden. Glaubst du nicht? Musst du nicht — gleich siehst du es live.
⚔️ Zwei Netze, gleiche Daten, gleiches Training — nur EIN Unterschied
Beide Netze bekommen dieselbe Wellen-Punktwolke. Links rechnet jede Schicht linear (kein Knick), rechts steckt nach jeder Schicht ein ReLU. Schalte ruhig mehr Schichten dazu — und schau, wem das hilft.
Was macht dieser ReLU eigentlich?
ReLU („Rectified Linear Unit“) ist fast schon beleidigend simpel:
Ein Knick bei null. Aber: Summen von verschobenen, skalierten Knicken können jede Form annehmen. Beweis zum Selberbauen:
🧱 Kurven-Lego: Baue die graue Zielkurve aus 3 ReLU-Bausteinen nach
Jeder Baustein ist ein ReLU: Höhe × max(0, x − Position). Stell Position und Höhe der drei Bausteine so ein, dass die blaue Summe auf der grauen Zielkurve liegt. Ziel: Abweichung unter 0,02.
🔬 Runter zum Tensor
Die Aktivierung wird elementweise auf den Ausgabe-Tensor jeder Schicht angewendet (Kapitel 060): jede Zahl einzeln durch den Knick. Nehmen wir dein Kurven-Lego von eben — drei Bausteine an den Positionen −0,2 / +0,2 / +0,6, jeder mit Höhe 0,5 — und schauen an einer Stelle nach, bei x = 0,4:
Und ohne den Knick? Dann geht der dritte Baustein mit −0,20 statt mit 0 in die Summe — und der ganze Stapel kollabiert wieder zu der Geraden vom Kapitelanfang:
Die Form bleibt dabei immer gleich: [3] rein, [3] raus — bei 128 Neuronen eben [128] rein und raus. In TensorFlow.js ist das eine Zeile oder ein einziges Wort:
Neben ReLU begegnen dir noch zwei Klassiker — hier auf dieselben drei Zahlen angewendet:
| roh | relu(x) max(0, x) | sigmoid(x) 0 … 1 | tanh(x) −1 … +1 |
|---|---|---|---|
| +0,60 | 0,60 | 0,65 | 0,54 |
| +0,20 | 0,20 | 0,55 | 0,20 |
| −0,20 | 0,00 | 0,45 | −0,20 |
Sigmoid quetscht alles auf 0–1 — kennst du aus „Was ist ein Neuronales Netz?“, und in Kapitel 220 wird daraus dein Ja/Nein-Ausgang; Tanh auf −1 bis +1. In den versteckten Schichten hat sich ReLU durchgesetzt: billig zu rechnen, und der Gradient verhungert nicht so schnell.
Zurück zur Anwendung
Jedes activation: 'relu', das dir in den Kapiteln bisher begegnet ist, war genau das:
der Knick, der aus einem Geraden-Stapel einen Universal-Kurvenbauer macht. Ohne ihn wäre jede Bild-KI,
jeder Chatbot und jedes Netz aus Kapitel 210
nur eine sehr teure Gerade.
📚 Zum Weiterlesen
- Das ReLU-Paper: Vinod Nair & Geoffrey Hinton, „Rectified Linear Units Improve Restricted Boltzmann Machines“ (ICML 2010, PDF) — cs.toronto.edu/~hinton/absps/reluICML.pdf — die Arbeit, die den Knick in den versteckten Schichten salonfähig gemacht hat.
- Dein Kurven-Lego als Beweis: Michael Nielsen, Neural Networks and Deep Learning, Kapitel 4 — neuralnetworksanddeeplearning.com/chap4.html — der visuelle Beweis, dass eine einzige versteckte Schicht jede Funktion annähern kann.
- Warum ReLU tiefe Netze rettet: Glorot, Bordes, Bengio, „Deep Sparse Rectifier Neural Networks“ (AISTATS 2011) — proceedings.mlr.press/v15/glorot11a.html — der direkte Vergleich mit Sigmoid und Tanh, samt dem Argument des nicht verhungernden Gradienten.
- Auf HerrKI: 140 — Polynomiale Regression (die 8 Knicke im echten Training) und 220 — Binäre Klassifikation (wo Sigmoid als Ausgang zurückkommt)
🧠 Kurzer Check — hast du es?
✅ Das nimmst du mit
- Gerade auf Gerade bleibt eine Gerade. 10 Schichten ohne Aktivierung kollabieren mathematisch zu einer einzigen — Tiefe allein bringt exakt nichts.
- ReLU ist max(0, x). Negatives wird null, Positives geht durch. Ein Knick bei null, mehr nicht.
- Aus Knicken lässt sich jede Kurve bauen. Verschobene, skalierte Knicke aufsummiert — dein Kurven-Lego, nur mit 128 statt 3 Bausteinen.
- Die Aktivierung wirkt elementweise. [3] rein, [3] raus: jede Zahl einzeln durch den Knick, an der Shape ändert sich nichts.
- ReLU hat die versteckten Schichten gewonnen. Billig zu rechnen und der Gradient verhungert nicht so schnell — Sigmoid und Tanh sitzen heute vor allem am Ausgang.
📎 So zitierst du dieses Kapitel
HerrKI: Warum eine Gerade nicht reicht (Aktivierungsfunktionen). herrki.de/145_warum_nichtlinear, ein privates Hobbyprojekt von Terragon.de, abgerufen am 4. November 2026.
Lizenz: CC BY 4.0 — frei nutzen, teilen, anpassen. Nennung: „HerrKI (herrki.de), ein privates Hobbyprojekt von Terragon.de“.