RAG oder Fine-Tuning? Die richtige Entscheidung für Unternehmens-KI

Was RAG kann — und was nicht

RAG (Retrieval-Augmented Generation) gibt einem LLM zur Antwortzeit relevante Dokumente als Kontext mit. Stärke: Aktualität, Quellen-Zitierbarkeit, einfache Wartung (neue Inhalte = neue Embeddings, kein Retraining).

Schwäche: RAG ändert nicht den Stil oder die Format-Treue eines Modells. Wenn das Modell unzuverlässig JSON liefert oder im falschen Tonfall antwortet, hilft RAG nicht.

Was Fine-Tuning kann — und was nicht

Fine-Tuning verändert die Gewichte (oder einen LoRA-Adapter) eines Modells anhand eigener Beispiele. Stärke: konsistenter Stil, hohe Format-Treue, Latenz-Optimierung bei kleinen Modellen, Domänen-spezifische Klassifikation.

Schwäche: Fine-Tuning vermittelt schlecht Faktenwissen. Was nach dem Training dazu kommt, weiß das Modell nicht. Für Wissens-Vermittlung ist RAG fast immer überlegen — und billiger.

Entscheidungsmatrix

Die Faustregel:

• Wissen, das sich häufig ändert → RAG
• Konsistenter Output-Stil oder striktes Format → Fine-Tuning
• Domänen-Vokabular, das das Basismodell nicht kennt → Fine-Tuning + RAG
• Klassifikation großer Volumen mit Kostenfokus → Fine-Tuning eines kleinen Modells
• Q&A über Dokumente, Handbücher, Tickets → RAG (immer)

Kosten-Realismus

Eine RAG-Implementierung kostet 15–40k € Setup, Fine-Tuning eines Open-Source-Modells 8–25k €. Aber: Fine-Tuning braucht meist 500–5.000 hochwertige Trainingsbeispiele — die zu erstellen ist oft der eigentliche Aufwand.

Empfehlung für die meisten Mittelständler: Mit RAG starten, nach 3–6 Monaten Produktivbetrieb auf Basis echter Logs entscheiden, ob Fine-Tuning den nächsten Qualitätssprung bringt.