Prompt, Kontext oder Training?
Die drei Wege, ein KI-Modell an DEINE Aufgabe anzupassen — mit Entscheidungs-Assistent, ehrlichem Aufwands-Vergleich und der LoRA-Grafik, die zeigt, wie wenig „Training“ manchmal ist.
👋 HerrKI hier — heute sparst du (vielleicht) mehrere tausend Euro
„Wir müssen unser eigenes Modell trainieren!“ — dieser Satz fällt in Firmen ständig. Und meistens ist er falsch. Es gibt drei Wege, ein Sprachmodell an deine Aufgabe anzupassen, und sie unterscheiden sich um Größenordnungen in Aufwand und Kosten. Nach diesem Kapitel weißt du, welcher Weg wann dran ist.
Die drei Wege — und was dabei WIRKLICH passiert
| Weg | Was passiert technisch? | Aufwand | Typische Kosten |
|---|---|---|---|
| 1. Besserer Prompt | Nur der Eingabe-Tensor ändert sich — Anweisungen, Beispiele, Rollen. | Minuten bis Stunden | ≈ 0 € |
| 2. Wissen per RAG | Gefundene Dokument-Absätze werden zur Laufzeit an den Eingabe-Tensor angehängt (Kapitel 330). | Stunden bis Tage | wenig (Embedding + Speicher) |
| 3. Fine-Tuning / LoRA | Die Gewichts-Tensoren des Modells werden weitertrainiert — das Verhalten selbst ändert sich. | Tage + Datensatz + GPU | deutlich mehr (+ Pflege!) |
Wissen („Was steht in unseren Unterlagen?“) → RAG.
Verhalten, Ton, Format („Antworte IMMER wie unser Support, in unserem Schema“) → Fine-Tuning.
Alles andere → erst einmal am Prompt arbeiten — kostenlos und sofort.
🧭 Der Entscheidungs-Assistent — 5 Fragen zu deinem Projekt
„Eigenes Modell trainieren“ — wie viel Training ist das wirklich? (LoRA)
Selbst Profis trainieren heute selten alle Gewichte neu. Der Standard heißt LoRA (Low-Rank Adaptation): Die riesigen Gewichts-Matrizen bleiben eingefroren, daneben werden winzige Zusatz-Matrizen gelernt, deren Wirkung addiert wird:
Bei einem 7-Milliarden-Parameter-Modell sind typischerweise nur wenige Millionen Werte trainierbar — Größenordnung tausendfach weniger (die genaue Zahl hängt von der LoRA-Konfiguration ab). Deshalb läuft so ein Training auf einer einzelnen GPU statt im Rechenzentrum.
🔬 Runter zum Tensor — die drei Wege in Zahlen
Nimm eine konkrete Frage an euren Support-Bot: „Was kostet Artikel 4711?“ Als Tokens ist das ein kleiner Eingabe-Tensor. Schau, was jeder der drei Wege daran verändert — und was er nicht anfasst (die Token-Zahlen sind Beispielwerte, die Größenordnung stimmt):
Rechnen wir den dritten Weg nach. Die Gewichts-Matrix W ist hier 4×4 (zum
Mitrechnen verkleinert — in echt z. B. 4096×4096 = 16.777.216 Werte). Daneben stehen die winzigen
LoRA-Matrizen A und B; ihr Produkt ist die Verschiebung ΔW:
Und jetzt der Punkt, auf den es ankommt: W selbst wird nie überschrieben.
Beim Rechnen wird ΔW einfach daraufgelegt:
Das ist die Rechnung für eine Matrix bei LoRA-Rang 8. Über ein ganzes Modell gerechnet — und nicht jede Matrix bekommt überhaupt einen Adapter — kommt die Größenordnung von oben heraus. Genau deshalb reicht eine einzelne GPU.
📝 Prompt und 📚 RAG verändern nur den Eingabe-Tensor [8] → [389] — er wird umgebaut oder verlängert. Die Gewichte bleiben Bit für Bit dieselben; du kannst es jederzeit zurücknehmen.
🏋️ Fine-Tuning verschiebt die Gewichts-Tensoren [4096, 4096] per Gradient Descent (Kapitel 118) — bei LoRA über die kleinen Zusatz-Matrizen A und B. Das Verhalten selbst ändert sich, und zwar dauerhaft.
Zurück zur Anwendung
Wenn im nächsten Meeting „eigenes Modell!“ gerufen wird, hast du jetzt die drei Gegenfragen parat: Ist es ein Wissens- oder ein Verhaltens-Problem? Wie viele Beispiel-Paare haben wir wirklich? Und haben wir den Prompt überhaupt ausgereizt? In der Praxis ist die beste Lösung übrigens oft eine Kombination: sauberer Prompt + RAG — und Fine-Tuning erst, wenn beides nachweislich nicht reicht.