RAG oder Fine-Tuning: Was braucht Ihr Produkt wirklich?

Teams fragen oft, ob sie ein Modell «fine-tunen» sollen, obwohl es ihnen eigentlich darum geht, Fragen zu den eigenen Daten zu beantworten. Das sind unterschiedliche Probleme mit unterschiedlichen Lösungen. Sie zu verwechseln gehört zu den häufigsten und teuersten Fehlern bei angewandter KI.

Nutzen Sie Retrieval-Augmented Generation (RAG), um einem Modell Wissen bereitzustellen, das es nicht besitzt. Nutzen Sie Fine-Tuning, um das Verhalten eines Modells zu verändern – etwa Format, Tonalität oder eine eng umrissene, wiederkehrende Aufgabe. Die meisten Produkte benötigen den ersten Ansatz deutlich häufiger.

RAG verbindet das Modell zum Zeitpunkt der Anfrage mit Ihren Daten: Relevante Dokumente werden gefunden und dem Modell als Kontext übergeben. Dadurch bleiben Antworten aktuell, wenn sich Daten ändern, Quellen können ausgewiesen werden und erfundene Fakten werden reduziert. Für Assistenten, Support-Copiloten und Systeme auf Basis Ihres eigenen Wissens ist RAG fast immer der richtige Ausgangspunkt.

Fine-Tuning verändert das Standardverhalten eines Modells. Es ist besonders nützlich, wenn Sie ein konsistentes Ausgabeformat, einen bestimmten Stil oder starke Leistung bei einer eng umrissenen Aufgabe mit hohem Volumen benötigen und über gute Trainingsbeispiele verfügen. Neue Fakten werden dadurch nicht zuverlässig vermittelt, und bei geänderten Daten oder Anforderungen muss das Training wiederholt werden.

Stellen Sie sich folgende Fragen:

• Benötigt das Modell Wissen, das es nicht besitzt? → RAG.
• Muss die Antwort bei veränderten Daten aktuell bleiben? → RAG.
• Benötigen Sie Quellen oder Nachvollziehbarkeit? → RAG.
• Benötigen Sie für eine wiederkehrende Aufgabe ein konsistentes Format oder einen bestimmten Stil? → Fine-Tuning.
• Verfügen Sie über viele hochwertige Ein- und Ausgabebeispiele? → Fine-Tuning ist realistisch.

Beginnen Sie mit guten Prompts und RAG. Ergänzen Sie Evaluationen, um Qualität messbar zu machen. Nutzen Sie Fine-Tuning erst, wenn ein konkretes Verhaltensproblem durch Prompts und Retrieval nicht gelöst werden kann und Sie über die nötigen Daten verfügen. Teuer ist nicht die Methode selbst, sondern die falsche Wahl, die erst drei Monate später erkannt wird.