LLM Fine-Tuning: Ein praxisnaher Crashkurs

Large Language Models sind heute sehr leistungsfähig. Dennoch reichen sofort einsatzbereite Standardmodelle häufig nicht aus, wenn es um spezialisierte Fachbereiche oder konkrete Anwendungsfälle geht. LLM Fine-Tuning bedeutet, ein bereits vortrainiertes Sprachmodell mit einem eigenen Datensatz weiterzutrainieren, damit es besser auf eine bestimmte Aufgabe oder Domäne zugeschnitten ist. Durch Fine-Tuning lassen sich domänenspezifisches Wissen integrieren, Tonalität und Stil an eine Organisation anpassen und die Leistung bei konkreten Aufgaben über das Niveau allgemeiner Modelle hinaus verbessern. Da Fine-Tuning auf dem bereits vorhandenen Wissen des vortrainierten Modells aufbaut, entfallen die enormen Kosten, die beim Training eines Modells von Grund auf entstehen würden.

Basismodelle sind leistungsstärker als je zuvor, doch echter geschäftlicher Nutzen entsteht oft erst durch Anpassung. Fine-Tuning hilft einem Modell dabei, die Terminologie einer Organisation zu verwenden, fachlichen Kontext besser zu verstehen und feste Vorgaben zu Genauigkeit, Formatierung oder Ton einzuhalten. In vielen Fällen kann ein kleineres, auf einen konkreten Anwendungsfall angepasstes Modell zudem deutlich günstiger sein, als jede Anfrage an ein großes generisches Modell über eine API zu senden. Dieser Crashkurs erläutert zentrale Konzepte, Werkzeuge, PEFT-Verfahren wie LoRA und QLoRA, bewährte Vorgehensweisen sowie praktische Beispiele.

Wichtige Erkenntnisse

• Fine-Tuning macht aus allgemeinen LLMs spezialisierte Modelle für bestimmte Fachbereiche, indem sie mit aufgabenspezifischen Daten, Fachbegriffen, Tonalität und Einschränkungen trainiert werden. Dadurch lassen sich häufig höhere Genauigkeit und niedrigere Inferenzkosten erzielen als bei der ausschließlichen Nutzung großer Allzweck-APIs.
• Nicht jedes Problem erfordert Fine-Tuning. Prompt Engineering eignet sich gut für schnelle Iterationen, RAG ist besser bei häufig wechselndem Wissen, und Fine-Tuning ist besonders sinnvoll, wenn Verhalten, Stil, Latenz, Datenschutz oder Offline-Betrieb entscheidend sind.
• Parameter-effizientes Fine-Tuning, kurz PEFT, ist in der Praxis meist der Standardansatz. Methoden wie LoRA und QLoRA ermöglichen es, große Modelle mit begrenzten GPU-Ressourcen, wenigen trainierbaren Parametern und geringerem Risiko für katastrophales Vergessen anzupassen.
• Die Qualität der Daten und der Evaluation ist wichtiger als die reine Modellgröße. Ein sorgfältig kuratierter, repräsentativer Trainingsdatensatz und ein belastbarer Evaluationsprozess aus quantitativen Messwerten und menschlicher Prüfung sind meistens die wichtigsten Erfolgsfaktoren.
• Fine-Tuning sollte als fortlaufender Lebenszyklus verstanden werden, nicht als einmalige Maßnahme. Produktive Systeme benötigen Monitoring, Versionierung, Rollback-Möglichkeiten sowie regelmäßiges Nachtrainieren oder Datensammeln, damit sie langfristig sicher, zuverlässig und wertvoll bleiben.

Grundlagen, die Sie zuerst verstehen sollten

Bevor der eigentliche Fine-Tuning-Workflow betrachtet wird, ist es wichtig, die wichtigsten Konzepte und Begriffe rund um LLM Fine-Tuning zu verstehen.

Pre-Training, Fine-Tuning und Alignment

Pre-Training ist die erste Trainingsphase eines großen Sprachmodells. In dieser Phase wird das Modell mit sehr großen Textmengen trainiert, meist mithilfe von selbstüberwachtem Lernen. Dabei lernt das Modell allgemeine Sprachmuster, zum Beispiel das nächste Wort in Milliarden von Sätzen vorherzusagen. Pre-Training ist unüberwacht und äußerst kostenintensiv, insbesondere bei Modellen in GPT-Größenordnung, bei denen der erforderliche Rechenaufwand sehr hohe Kosten verursachen kann.

Fine-Tuning findet nach dem Pre-Training statt. Es handelt sich dabei um eine Form des Transferlernens. Man beginnt mit einem vortrainierten Modell, das bereits über breites Allgemeinwissen verfügt, und trainiert es anschließend mit einem fokussierteren, gelabelten Datensatz für eine konkrete Aufgabe weiter. Fine-Tuning ist in der Regel überwachtes Lernen: Das Modell erhält Beispieleingaben zusammen mit den gewünschten Ausgaben, also der sogenannten Ground Truth, und seine Gewichte werden so angepasst, dass es ähnliche Ergebnisse erzeugt. Ein Modell, das zuvor mit großen Mengen allgemeiner Internettexte trainiert wurde, könnte beispielsweise mit juristischen Frage-Antwort-Paaren weitertrainiert werden, um einen juristischen Assistenten zu erstellen.

Alignment beschreibt eine Gruppe von Trainingsmethoden, mit denen das Verhalten eines Modells so angepasst wird, dass es menschlichen Absichten, Präferenzen, ethischen Vorgaben oder Sicherheitserwartungen besser entspricht. Eine der bekanntesten Alignment-Techniken ist Reinforcement Learning from Human Feedback, kurz RLHF. Bei RLHF wird ein Modell zunächst überwacht feinabgestimmt. Anschließend bewerten menschliche Prüfer die Modellausgaben, und das Modell wird weiter trainiert, um Ausgaben zu erzeugen, die bessere Bewertungen erhalten. Dadurch wird das Modell nicht nur für die Aufgabe leistungsfähiger, sondern auch hilfreicher, harmloser und ehrlicher im Sinne menschlicher Rückmeldungen. Alignment umfasst häufig das Training eines Reward-Modells, das Ausgaben bewertet, sowie ein anschließendes Reinforcement-Learning-Verfahren, mit dem das LLM auf diese Bewertung optimiert wird.

Zusammengefasst vermittelt Pre-Training dem Modell breite Grundfähigkeiten, Fine-Tuning bringt ihm konkrete Aufgaben bei, und Alignment-Methoden wie RLHF formen sein Verhalten so, dass es für Nutzer angemessen und sicher ist. Die Grenzen zwischen diesen Phasen sind nicht immer eindeutig. Instruction Tuning kann beispielsweise sowohl als Fine-Tuning als auch als Alignment verstanden werden. Trotzdem ist diese Unterscheidung bei der Planung eines Projekts hilfreich.

Continuous Pre-Training, auch Domain-Adaptive Pre-Training genannt, ist ein verwandter Ansatz. Dabei wird das Modell mit ungelabelten Texten aus einer Ziel-Domäne weitertrainiert, damit es spezielle Fachbegriffe und fachlichen Kontext besser aufnimmt. Danach kann supervised Fine-Tuning angewendet werden. Dieser Ansatz unterscheidet sich vom regulären Fine-Tuning, weil er unüberwacht ist und eher einer Erweiterung des ursprünglichen Pre-Trainings mit spezialisiertem Material entspricht. Continuous Pre-Training kann das Domänenwissen des Modells vertiefen, während Fine-Tuning seine Leistung für eine klar definierte Aufgabe verbessert.

Supervised Fine-Tuning und Instruction Tuning

Supervised Fine-Tuning, kurz SFT, ist die einfachste Form des Fine-Tunings. Dabei werden Eingabe-Ausgabe-Paare bereitgestellt, und das Modell wird darauf trainiert, zu jeder Eingabe die gewünschte Ausgabe zu erzeugen. Diese Ausgaben können Klassifikationslabels, erwartete Prompt-Fortsetzungen, strukturierte Antworten oder andere Zielformate sein. Wenn ein Modell beispielsweise mit Kunden-E-Mails als Eingaben und idealen Support-Antworten als Ausgaben trainiert wird, handelt es sich um supervised Fine-Tuning. Das Modell lernt, eine eingehende E-Mail zu lesen und eine passende Antwort zu erstellen. SFT erfordert meist eine größere Menge hochwertiger gelabelter Daten, deren Erstellung aufwendig sein kann, funktioniert jedoch sehr gut für klar definierte Aufgaben.

Instruction Tuning ist eine spezielle Form von SFT, bei der der Trainingsdatensatz aus Anweisungen und idealen Antworten besteht. Ziel dieser Methode ist es, die Fähigkeit des Modells zu verbessern, natürlichsprachliche Anweisungen zuverlässig zu befolgen.

In vielen heutigen Anwendungen beginnt man typischerweise mit einem bereits instruction-getunten Basismodell und trainiert es anschließend mit domänenspezifischen Anweisungen weiter. Das entspricht im Kern einem domänenspezifischen Instruction Tuning. Man könnte beispielsweise mit einer Instruct- oder Chat-Variante eines Modells, etwa einem Llama-Chat-Modell, starten und es mit Frage-Antwort-Beispielen einer Organisation weitertrainieren. Das Modell versteht bereits grundsätzlich, wie es auf Anweisungen reagieren soll; das zusätzliche Fine-Tuning bringt ihm bei, wie Antworten im konkreten Fachkontext aussehen sollen. Dieser Ansatz funktioniert meist besser und benötigt weniger Daten als das Fine-Tuning eines rohen Foundation-Modells, da das Modell bereits eine allgemeine Fähigkeit zum Befolgen von Prompts besitzt.

Grundlagen des parameter-effizienten Fine-Tunings: LoRA, QLoRA und Adapter

Eine der größten Herausforderungen beim Fine-Tuning von LLMs ist ihre Größe. Beim vollständigen Fine-Tuning werden alle Parameter des Modells aktualisiert. Bei einem Modell mit 7 Milliarden Parametern bedeutet das, dass tatsächlich Milliarden von Gewichten verändert werden. Bei Modellen mit 70 Milliarden Parametern oder mehr steigen die Anforderungen nochmals erheblich. Dadurch entstehen enorme GPU-Speicheranforderungen für Modell, Gradienten und Optimizer. Gleichzeitig wächst das Risiko von Overfitting oder katastrophalem Vergessen, bei dem das Modell Teile seiner ursprünglich vortrainierten Fähigkeiten verliert. Parameter-Efficient Fine-Tuning, kurz PEFT, löst dieses Problem, indem nur ein kleiner Teil des Modells trainiert wird, statt alle Gewichte zu aktualisieren. Dadurch sinken die Ressourcenanforderungen deutlich.

Bei PEFT bleiben die ursprünglichen Modellgewichte in der Regel weitgehend eingefroren. Stattdessen werden kleine Adapter-Gewichte oder Low-Rank-Dekompositionsmatrizen ergänzt. Nur diese zusätzlichen Parameter werden trainiert. Dadurch müssen deutlich weniger Parameter angepasst werden, häufig weniger als 1% der gesamten Modellgröße. Das reduziert den Speicherbedarf erheblich und ermöglicht es oft, selbst sehr große Modelle auf einer einzelnen GPU feinzujustieren.

Zwei weit verbreitete PEFT-Ansätze sind LoRA und QLoRA:

• LoRA, oder Low-Rank Adaptation: LoRA ergänzt die bestehenden Gewichtsmatrizen des Modells um kleine gelernte Matrizen. Die von Hu et al. im Jahr 2021 vorgestellte Grundidee lautet, dass die zur Anpassung eines Modells notwendigen Änderungen häufig in einem niedrigdimensionalen Teilraum liegen. Anstatt eine große Gewichtsmatrix W0 der Größe N x N vollständig zu aktualisieren, lernt LoRA zwei deutlich kleinere Matrizen A und B mit den Dimensionen N x r und r x N, sodass W0 + A * B die feinabgestimmten Gewichte annähert. Der Wert r ist die Low-Rank-Dimension und liegt häufig bei 4, 8 oder 16. Dadurch sinkt die Zahl der trainierbaren Parameter stark. Eine dichte Schicht mit etwa 590.000 Parametern kann beispielsweise mit weniger als 7.000 LoRA-Parametern angepasst werden. Da nur A und B Gradienten erhalten, bleibt der Speicherbedarf für Gradienten und Optimizer gering. Die ursprünglichen Modellgewichte bleiben unverändert, was das Risiko von Vergessen reduziert.
• QLoRA, oder Quantized LoRA: QLoRA erweitert den LoRA-Ansatz, indem die Gewichte des Basismodells während des Trainings in 4-Bit-Präzision geladen werden. Normalerweise müsste ein großes Modell für Fine-Tuning in 16-Bit- oder 32-Bit-Gleitkommapräzision geladen werden, was sehr viel Speicher benötigt. QLoRA lädt das Modell mithilfe von 4-Bit-Integerwerten und verwendet zusätzliche Techniken, um die Genauigkeit möglichst zu erhalten. Anschließend werden LoRA-Adapter darüber trainiert. Dadurch kann der Speicherbedarf massiv reduziert werden, sodass sich 30B- oder 65B-Modelle mit ausreichend VRAM auf einer einzelnen GPU feinabstimmen lassen. Die quantisierten Basisgewichte bleiben üblicherweise eingefroren, während die LoRA-Adaptergewichte in 16-Bit-Präzision trainiert werden.

PEFT umfasst außerdem weitere Methoden wie Adapter, bei denen kleine Feed-Forward-Module in Transformer-Blöcke eingefügt und ausschließlich diese Module trainiert werden, oder Prompt Tuning, bei dem gelernte Soft-Prompt-Vektoren optimiert werden. LoRA-ähnliche Verfahren sind aktuell jedoch der am häufigsten eingesetzte Ansatz für LLM Fine-Tuning, weil sie eine starke Kombination aus Einfachheit und Wirksamkeit bieten. Der folgende Workflow zeigt, wie diese Methoden praktisch eingesetzt werden können.

Entscheidungs-Checkliste: Brauchen Sie wirklich Fine-Tuning?

Bevor Sie in Fine-Tuning investieren, sollten Sie die folgenden Faktoren prüfen:

• Domänenspezifität: Ist der Anwendungsfall stark auf einen Fachbereich zugeschnitten und enthält er Vokabular, Stil, Terminologie oder Konzepte, die das Basismodell möglicherweise nicht kennt? Fine-Tuning ist in diesem Fall sehr nützlich, weil es dem Modell hilft, spezialisiertes Wissen, Nischenterminologie und Fachjargon zu lernen.
• Häufigkeit von Wissensänderungen: Ändert sich das für die Anwendung benötigte Wissen regelmäßig? Wenn es häufig aktualisiert werden muss, kann Fine-Tuning wartungsintensiv werden, da das Modell regelmäßig neu trainiert und erneut bereitgestellt werden müsste. RAG ist häufig besser geeignet für dynamische Informationen wie aktuelle Bestände, tägliche Nachrichten oder sich laufend ändernde Dokumentation.
• Latenz- und Offline-Anforderungen: Benötigen Sie extrem niedrige Latenz oder vollständig lokale Inferenz ohne externe Aufrufe? Ein feinabgestimmtes Modell kann auf eigener Hardware laufen und schnell antworten, ohne zur Laufzeit Dokumente abrufen zu müssen. Das ist besonders wertvoll in abgeschotteten Umgebungen oder bei sehr strengen Latenzanforderungen. RAG fügt zusätzliche Retrieval-Schritte hinzu, was die Antwortzeit erhöhen kann.
• Datenschutz und Compliance: Verarbeitet das Modell sensible Daten wie Kundeninformationen, proprietäre Dokumente oder vertrauliche Texte? Ein selbst gehostetes, feinabgestimmtes Modell ermöglicht es, die gesamte Verarbeitung intern zu halten. RAG kann ebenfalls selbst gehostet werden, doch Fine-Tuning ist die einzige Option, wenn das Modell selbst privates Wissen internalisieren soll. Wenn RAG verwendet wird, müssen auch das Retrieval-System und mögliche externe Modellaufrufe die Datenschutzanforderungen erfüllen.
• Inferenzkosten und Skalierung: Feinabgestimmte Modelle können kürzere Prompts ermöglichen und Retrieval-Overhead vermeiden. Dadurch lassen sich bei großer Nutzung die Kosten pro Anfrage gegenüber RAG-basierten Systemen oder wiederholten Anfragen an große allgemeine Modelle senken.

Wann ein LLM feinabgestimmt werden sollte und wann nicht

Fine-Tuning ist leistungsfähig, aber nicht immer die beste Lösung. Es sollte mit Prompt Engineering, Retrieval-Augmented Generation und werkzeugbasierten Ansätzen verglichen werden.

Fine-Tuning im Vergleich zu Prompt Engineering

Prompt Engineering bedeutet, die Eingabe für ein Modell so zu formulieren, dass die Ausgabe gezielt beeinflusst wird. Dabei werden die Parameter des Modells nicht verändert. Prompt Engineering lässt sich schnell testen und benötigt keinen Trainingsprozess. Man passt lediglich die Anweisungen an, ergänzt Beispiele oder verfeinert den Prompt. Es ist zudem ressourcenschonend, da keine GPUs erforderlich sind. Die Einschränkung besteht darin, dass Prompts irgendwann an ihre Grenzen stoßen können. Kontextlängen können ausgeschöpft werden, oder das Modell liefert bei komplexen Aufgaben weiterhin inkonsistente oder ungenaue Ergebnisse.

Fine-Tuning verändert die Modellgewichte, indem das Modell mit gelabelten Beispielen trainiert wird. Dadurch ist eine tiefere Anpassung möglich. Ein feinabgestimmtes Modell kann das gewünschte Verhalten lernen, sodass nicht bei jeder Anfrage eine lange Anweisung oder viele Beispiele mitgegeben werden müssen.

Der Nachteil ist, dass Fine-Tuning GPU-Rechenleistung und hochwertige Trainingsdaten erfordert. In der Praxis eignet sich Prompt Engineering besonders gut für Prototypen, einfache Anpassungen und frühe Experimente. Fine-Tuning ist besser für stabile, langfristige Verhaltensänderungen geeignet, wenn Aufgabe und Trainingsdaten klar definiert sind. Beide Ansätze lassen sich auch kombinieren. Viele Projekte starten mit Prompt Engineering und wechseln erst dann zu Fine-Tuning, wenn Prompts allein nicht die gewünschte Konsistenz oder Genauigkeit erreichen.

Fine-Tuning im Vergleich zu RAG, Tools und Agenten

Retrieval-Augmented Generation, kurz RAG, ist ein weiterer Ansatz. Dabei wird nicht das Modell selbst verändert, sondern es erhält Zugriff auf eine externe Wissensquelle. Wenn ein Nutzer eine Frage stellt, sucht das RAG-System relevante Dokumente und fügt diese dem Prompt hinzu. So bleiben Antworten mit aktuellen Informationen verbunden und Halluzinationen können reduziert werden, weil die Antworten auf abgerufenen Texten basieren. RAG eignet sich besonders, wenn Wissen aktuell bleiben muss oder wenn die Datenmenge zu groß oder zu veränderlich ist, um sie über Training in das Modell einzubetten.

Fine-Tuning hingegen verankert Domänenwissen und gewünschtes Verhalten in den Gewichten des Modells. Das Modell wird eigenständiger und kann bekannte Situationen beantworten, ohne Informationen nachschlagen zu müssen. Das unterstützt niedrige Latenzen und hilft dem Modell, subtile Muster, Kontext und Stil zu lernen. Allerdings ist das Wissen in einem feinabgestimmten Modell statisch. Wenn sich die zugrunde liegenden Informationen ändern, muss das Modell neu trainiert werden. Fine-Tuning liefert außerdem nicht automatisch Quellenangaben, während RAG die abgerufenen Dokumente zitieren kann.

Für viele Anwendungen ist eine hybride Strategie am besten geeignet. Ein Modell kann per Fine-Tuning so angepasst werden, dass es das gewünschte Grundverhalten zeigt, Fachterminologie versteht und dem bevorzugten Antwortstil folgt, während RAG gleichzeitig aktuelle Fakten bereitstellt.

In manchen Fällen können Werkzeuge oder Agenten-Workflows umfangreiches Fine-Tuning vermeiden. Statt ein Modell beispielsweise darauf zu trainieren, komplexe Berechnungen selbst durchzuführen, kann ein Prompt oder Agent so gestaltet werden, dass er für den schwierigen Teil eine externe API oder einen Rechner verwendet.

Der Workflow für LLM Fine-Tuning

Dieser Abschnitt beschreibt einen achtstufigen Workflow für das Fine-Tuning eines LLMs, von der Planung bis zur Bereitstellung.

Schritt 1: Anwendungsfall und Erfolgskriterien definieren

Jedes Fine-Tuning-Projekt sollte mit einem klaren Ziel beginnen. Was genau soll entstehen? Es könnte ein Assistent zur Vertragsanalyse, ein Chatbot für den Kundensupport, ein Helfer für Codegenerierung oder ein anderes spezialisiertes System sein. Der Anwendungsfall sollte so präzise wie möglich beschrieben werden, da er alle weiteren Entscheidungen beeinflusst, darunter Datensammlung, Modellauswahl und Evaluation. Zusätzlich zum Anwendungsfall sollten Erfolgskriterien definiert werden. Wählen Sie Metriken oder Bewertungsmethoden aus, die das gewünschte Modellverhalten widerspiegeln.

Schritt 2: Ein Basismodell auswählen

Als Nächstes wählen Sie das Basis-LLM aus, das feinabgestimmt werden soll. Diese Entscheidung ist entscheidend. Das Modell sollte leistungsfähig genug für die Aufgabe sein, für den geplanten Einsatz lizenziert sein und sich mit der verfügbaren Hardware realistisch trainieren lassen. Die folgende Tabelle fasst wichtige Überlegungen zusammen.

Schritt 3: Trainingsdaten sammeln und vorbereiten

Hochwertige, auf die Aufgabe zugeschnittene Daten sind der wichtigste Erfolgsfaktor. Datensammlung und Datenaufbereitung sind häufig die zeitintensivsten Teile des Projekts. Dazu gehören das Sammeln, Bereinigen und korrekte Formatieren der Daten.

Die folgende Tabelle fasst den End-to-End-Prozess zur Vorbereitung von Daten für LLM Fine-Tuning zusammen. Sie umfasst drei Hauptphasen: das Sammeln relevanter Datenquellen, das Bereinigen und Vorverarbeiten zur Sicherstellung von Qualität und Datenschutz sowie das Formatieren in modellgeeignete Eingabe-Ausgabe-Paare, die der späteren Nutzung in der Produktion entsprechen.

Schritt 4: Eine Fine-Tuning-Strategie auswählen

Wenn Modell und Daten feststehen, muss entschieden werden, wie das Modell angepasst werden soll. Die folgende Tabelle vergleicht verbreitete Strategien: vollständiges Fine-Tuning, PEFT-Methoden wie LoRA und QLoRA, In-Context Learning sowie hybride Ansätze.

Schritt 5: Werkzeuge und Umgebung einrichten

Nach der Auswahl der Strategie wird die Umgebung vorbereitet, in der das Fine-Tuning ausgeführt wird. Die folgende Tabelle beschreibt den praktischen Aufbau, einschließlich Hardware, Bibliotheken, verwalteten Plattformen sowie einem typischen Ablauf zum Konfigurieren und Testen des Trainingsskripts.

Schritt 6: Trainingsschleife und Hyperparameter

Nun beginnt das eigentliche Fine-Tuning. In diesem Schritt läuft der Trainingsprozess, und Hyperparameter werden so angepasst, dass das Modell effektiv lernt. Die folgende Tabelle listet die wichtigsten Einstellungen der Trainingsschleife und betriebliche Vorgehensweisen auf.

Schritt 7: Evaluation und Validierung

Nach dem Training wird das feinabgestimmte Modell bewertet, um zu prüfen, ob es die in Schritt 1 definierten Erfolgskriterien erfüllt. Die Evaluation sollte quantitative Messungen und qualitative Analyse kombinieren.

Schritt 8: Das feinabgestimmte Modell bereitstellen

Der letzte Schritt besteht darin, das feinabgestimmte Modell produktiv einzusetzen. Deployment bedeutet, Inferenzanfragen in der benötigten Skalierung zu bedienen und das Modell in die Anwendung zu integrieren. Die folgende Tabelle fasst wichtige Deployment-Aspekte zusammen.

Beispiel für ein PEFT-Projekt: High-Level-Code-Vorlage

Die folgende High-Level-Vorlage für PEFT-Fine-Tuning führt viele der vorherigen Schritte zusammen. Sie nutzt ein Pseudocode- und Checklistenformat, um Struktur und Ablauf eines typischen Projekts zu zeigen.

1. Setup: Modell auswählen und Bibliotheken installieren

Installieren Sie die benötigten Bibliotheken und wählen Sie einen Modellnamen aus, zum Beispiel ein Mistral-Instruct-Modell.

pip install transformers datasets peft bitsandbytes accelerate

Beispielhafter Modellname: mistralai/Mistral-7B-Instruct-v0.2.

2. Modell in 4-Bit laden und LoRA hinzufügen

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training

model_name = "mistralai/Mistral-7B-Instruct-v0.2"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    load_in_4bit=True,
    device_map="auto",
    torch_dtype=torch.float16,
)

model = prepare_model_for_kbit_training(model)

lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

Die Funktion prepare_model_for_kbit_training nimmt mehrere empfohlene Anpassungen für eine stabile QLoRA-Nutzung vor, zum Beispiel Gradient Checkpointing und das Casten von Layer-Normalization-Werten auf fp32.

3. Daten vorbereiten

• Laden oder erstellen Sie den Datensatz als Liste von Trainingsbeispielen.
• Tokenisieren Sie die Daten und formatieren Sie sie als Input IDs und Labels.

4. Trainingsschleife mit Hugging Face Trainer oder eigener Schleife

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="outputs/my-model",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=16,  # effective batch size 32
    num_train_epochs=3,
    learning_rate=2e-4,
    fp16=True,
    logging_steps=10,
    save_steps=50,
    save_total_limit=2,
    evaluation_strategy="epoch",
    report_to="none"
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset
)

trainer.train()

Gradient Accumulation wird verwendet, um eine effektive Batch-Größe von 32 zu erreichen. Checkpoints werden regelmäßig gespeichert, beispielsweise alle 50 Schritte, während nur die letzten zwei erhalten bleiben. Wenn ein Validierungsdatensatz verfügbar ist, erfolgt die Evaluation nach jeder Epoche.

5. Evaluation

Nach dem Training wird der beste Modell-Checkpoint geladen oder der zuletzt gespeicherte Checkpoint verwendet, um bekannte Testprompts auszuführen.

model.eval()

for prompt in ["Example user query 1", "Example user query 2"]:
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=100)
    print("Prompt:", prompt)
    print("Response:", tokenizer.decode(outputs[0], skip_special_tokens=True))

Wenn strukturierte Ausgaben oder Referenzantworten vorhanden sind, sollten die passenden Metriken als Teil der Evaluation berechnet werden.

6. LoRA-Adapter oder gemergtes Modell speichern

model.save_pretrained("outputs/my-model/lora")

Standardmäßig umschließt get_peft_model das Basismodell, sodass save_pretrained die LoRA-Adapterkonfiguration und die Adaptergewichte speichert, nicht jedoch das vollständige Basismodell. Die Gewichte des Basismodells müssen bei der Nutzung des Adapters separat verfügbar sein. Wenn ein eigenständiges Modell bevorzugt wird, kann der Adapter in das Basismodell gemerged werden.

merged_model = model.merge_and_unload()
merged_model.save_pretrained("outputs/my-model/full")

Dadurch entsteht ein Verzeichnis mit dem vollständig gemergten Modell, bestehend aus Basismodell und Anpassung. Beim Mergen ist Vorsicht geboten, da das gesamte Modell in den Speicher passen muss.

7. Deployment vorbereiten

Für die Inferenz mit Transformers kann das gemergte Modell direkt geladen werden. Alternativ kann PeftModel.from_pretrained mit dem Basismodell und dem gespeicherten LoRA-Adapter verwendet werden, um den Adapter dynamisch anzuwenden. Für spezialisierte Serving-Werkzeuge wie TGI oder vLLM sollte das Modell im erwarteten Format paketiert werden, üblicherweise als Modellverzeichnis mit Konfiguration und Gewichten. Optional kann das Modell für die Inferenz weiter quantisiert werden, zum Beispiel in ein int4-GGML-ähnliches Format für CPU-Serving oder in int8 für GPU-Serving, um den Speicherbedarf zu verringern.

8. Tests durchführen

Führen Sie abschließende Tests in einer Staging-Umgebung oder mit einem repräsentativen Ausschnitt realer Daten durch, sofern möglich, und stellen Sie das Modell anschließend bereit.

Diese Vorlage lässt einige Implementierungsdetails aus, etwa die genaue Data-Collation-Funktion oder individuelle Generationseinstellungen. Sie bietet jedoch ein wiederverwendbares Muster für die meisten PEFT-Fine-Tuning-Projekte.

Praxisnahe Anwendungsfälle

Fine-Tuning ist nicht nur eine theoretische Methode. Viele Organisationen nutzen es, um in spezialisierten Anwendungen Mehrwert zu schaffen. Die folgenden Beispiele zeigen typische Einsatzbereiche.

Kundensupport-Assistent, feinabgestimmt mit historischen Tickets

Angenommen, eine Organisation hat über viele Jahre Supportdaten gesammelt, darunter E-Mails, Chatverläufe, FAQ-Artikel und Problemlösungen. Sie möchte einen KI-Assistenten einsetzen, der Kundenfragen schnell und konsistent auf Basis dieses historischen Wissens beantwortet. Allgemeine Modelle können viele breit gefasste Fragen beantworten, kennen aber nicht automatisch interne Produktspezifikationen, Support-Richtlinien oder frühere Lösungsmuster, die für die Organisation spezifisch sind. Durch Fine-Tuning eines LLMs mit früheren Support-Tickets und Lösungen kann ein individueller Support-Spezialist entstehen, der die Domäne der Organisation besser versteht.

Assistent für Recht und Compliance, feinabgestimmt mit Verträgen und Richtlinien

Rechts- und Compliance-Dokumente sind ein klassisches Beispiel für Expertenwissen mit spezieller Terminologie und subtilen Konzepten. Ein allgemeines LLM versteht nicht zwangsläufig die Vertragssprache, internen Richtlinien oder Compliance-Verpflichtungen einer Organisation. Durch Fine-Tuning mit einer domänenspezifischen Sammlung von Verträgen, Richtliniendokumenten, regulatorischen Materialien und verwandten Texten kann ein Modell mit stärkerer Expertise in diesem Bereich entstehen.

Ein Modell kann beispielsweise mit vielen Vertragsbeispielen feinabgestimmt und anschließend gefragt werden, ob ein Vertragsentwurf eine Wettbewerbsverbotsklausel enthält und welche Einschränkungen sie vorsieht. Da das Modell während des Trainings viele Varianten solcher Klauseln gesehen hat, kann es lernen, sie genauer zu erkennen und zusammenzufassen als ein generisches Modell.

Domänenspezifischer Code-Assistent für einen bestimmten Tech-Stack

KI-Coding-Assistenten werden von Entwicklern bereits breit eingesetzt. Viele dieser Modelle sind jedoch auf allgemeinem Code und öffentlicher Dokumentation trainiert. Interne Frameworks, Bibliotheken, Architekturentscheidungen und Codebase-Konventionen fehlen häufig in allgemeinen Modellen. Wenn ein LLM mit einer eigenen Codebasis und Dokumentation feinabgestimmt wird, kann ein Code-Assistent entstehen, der den spezifischen Technologie-Stack deutlich besser versteht.

Häufige Fehler beim LLM Fine-Tuning und wie sie vermieden werden

LLM Fine-Tuning kann sehr wirkungsvoll sein, kann aber auch scheitern, wenn der Prozess nicht sorgfältig umgesetzt wird. Die folgende Tabelle zeigt typische Anti-Patterns und Möglichkeiten, sie zu vermeiden.

Fazit

LLM Fine-Tuning war früher ein spezialisierter Optimierungsschritt, entwickelt sich aber zunehmend zu einem Standardverfahren, um leistungsfähige Basismodelle in zuverlässige, domänenspezifische Systeme zu verwandeln. Wenn vortrainierte Fähigkeiten als Ausgangspunkt genutzt werden, statt ein Modell von Grund auf neu zu trainieren, lassen sich eigene Daten, gewünschte Tonalität und konkrete Einschränkungen vermitteln, während Rechenaufwand und Engineering-Aufwand kontrollierbar bleiben. Supervised Fine-Tuning, Instruction Tuning und Alignment-Techniken wie RLHF bieten zusammen ein Werkzeugset, mit dem sowohl das Wissen als auch das Verhalten eines Modells geformt werden kann.

Parameter-effiziente Methoden wie LoRA und QLoRA ermöglichen es, sehr große Modelle mit vergleichsweise moderaten GPU-Ressourcen und nur einem kleinen Anteil trainierbarer Parameter anzupassen. Dadurch sinkt die Einstiegshürde für Experimente erheblich. In Kombination mit einem klaren Entscheidungsrahmen helfen diese Methoden dabei, für jeden Anwendungsfall den passenden Ansatz zu wählen, statt automatisch die teuerste Option zu nutzen.

Erfolgreiches LLM Fine-Tuning hängt von einem disziplinierten Lebenszyklus ab: Anwendungsfall definieren, geeignetes Basismodell auswählen, hochwertige Daten kuratieren, eine Strategie wie vollständiges Fine-Tuning oder PEFT wählen, mit sinnvollen Hyperparametern trainieren, gründlich evaluieren und mit Monitoring, Versionierung und Rollback-Plänen bereitstellen. Wenn Fine-Tuning als iterativer Produktprozess statt als einmaliges Experiment verstanden wird, können generische LLMs zu verlässlichen und wirtschaftlich wertvollen Bestandteilen eines Technologie-Stacks werden.