Fine-Tuning

Fine-Tuning verändert ein bereits trainiertes Sprachmodell mit zusätzlichen, eigenen Beispieldaten, statt ein Modell von Grund auf zu bauen, passt man ein vorhandenes an einen konkreten Zweck an. Das Ergebnis ist kein neues Modell, sondern eine spezialisierte Version davon.

Ausgangspunkt ist ein vortrainiertes Modell, etwa ein GPT- oder Llama-Modell. Darauf folgt weiteres Training mit einem kuratierten Datensatz aus Beispiel-Ein- und -Ausgaben, etwa hundert bis mehrere tausend Support-Tickets mit den passenden Antworten. Das Modell passt dabei seine internen Gewichte an, wodurch sich Tonfall, Fachvokabular oder Antwortformat dauerhaft ändern, ohne dass man bei jeder Anfrage extra Kontext mitschicken muss.

Sinnvoll ist das etwa für ein Modell, das durchgängig im Ton einer Marke antworten soll, oder für stark fachsprachliche Bereiche wie Medizin- oder Rechtstexte, wo Standardmodelle zu allgemein formulieren. Für reines Firmenwissen – Preise, aktuelle Produkte, interne Regeln – ist RAG in den meisten Fällen die günstigere und schneller aktualisierbare Lösung, weil dort niemand das Modell neu trainieren muss.

Fine-Tuning braucht einen ordentlichen Datensatz und Rechenleistung, dazu kommt: Ändert sich das Wissen, muss man neu trainieren, während sich bei RAG nur ein Dokument austauschen lässt. In der Praxis kombinieren viele Projekte deshalb beides, Fine-Tuning für Ton und Aufgabe, RAG für aktuelles Wissen.

Das machen wir daraus

Fine-Tuning ist bei uns kein Buzzword, sondern Teil unserer Arbeit. Passende Leistungen:

Häufige Fragen zu Fine-Tuning

  • Was ist Fine-Tuning bei KI-Modellen?
    Fine-Tuning ist das zusätzliche Training eines bereits vortrainierten Sprachmodells mit eigenen Beispieldaten, um Tonfall, Fachsprache oder eine bestimmte Aufgabe zu verbessern. Im Unterschied zu RAG verändert Fine-Tuning das Modell selbst, statt nur zusätzlichen Kontext mitzuliefern.
  • Was ist der Unterschied zwischen Fine-Tuning und RAG?
    Fine-Tuning trainiert die Gewichte eines Modells neu und ist sinnvoll für Stil, Format oder Fachsprache. RAG lässt das Modell unverändert und ergänzt es um eine Suche in aktuellen Dokumenten, für reines Faktenwissen meist die einfachere und günstigere Wahl.
  • Wie viele Daten braucht man für Fine-Tuning?
    Je nach Aufgabe reichen oft schon einige hundert bis wenige tausend gut kuratierte Beispiele, etwa vergangene Support-Tickets mit passenden Antworten. Wichtiger als die Menge ist die Qualität, unsaubere oder widersprüchliche Beispiele verschlechtern das Ergebnis.
  • Lohnt sich Fine-Tuning für kleine Unternehmen?
    Für die meisten kleinen und mittleren Unternehmen ist RAG der praktischere Einstieg, weil kein eigener Trainingsdatensatz und keine Rechenleistung für das Training nötig sind. Fine-Tuning lohnt sich, sobald ein sehr spezifischer Ton oder Fachbereich gebraucht wird, der mit Standardmodellen und RAG allein nicht gut genug funktioniert.

← Alle Begriffe ansehen

Nächster Schritt

Startklar fürunser Projekt?

Du hast Fragen zu einem Begriff oder ein konkretes Vorhaben? Schreib uns — wir melden uns mit den nächsten Schritten und klaren Empfehlungen.

Projekt startenprojects@bluemonkeys.at