Die meisten, die nach „eigene KI trainieren“ suchen, brauchen kein Training. Sie wollen eine KI, die ihr Unternehmen kennt – Produkte, Prozesse, Dokumente. Genau das leistet Training aber nicht: Fine-Tuning brennt einem Modell Verhalten ein, kein Wissen. Hier steht, welche vier Stufen es vom besseren Prompt bis zum eigenen Modell gibt, wann sich echtes Fine-Tuning lohnt, was es realistisch kostet – und welche Rechtsfragen du vorher klären musst. Stand: September 2026.
Der Erwartungs-Reset: Was du willst – und was du dafür brauchst
Hinter der Suche steckt fast immer derselbe Wunsch: „ChatGPT ist beeindruckend, aber es kennt unsere Firma nicht.“ Die Lösung dafür heißt nicht Training, sondern RAG: Das Modell bleibt unverändert und bekommt bei jeder Frage die passenden Ausschnitte aus deinen Dokumenten mitgeliefert – mit Quellenangabe, jederzeit aktualisierbar. Wie das funktioniert, steht im Grundlagen-Artikel RAG: So bekommt KI dein Firmenwissen. Die Kurz-Zuordnung:
| Das willst du | Das brauchst du |
|---|---|
| „Die KI soll unsere Dokumente, Produkte und Preise kennen“ | RAG – kein Training. Wissen bleibt aktuell und belegbar |
| „Die KI soll in unserem Ton schreiben“ | Erst Systemprompt mit Beispielen; Fine-Tuning nur, wenn das messbar scheitert |
| „Die KI soll ein Ausgabeformat hundertprozentig einhalten“ | Prompting mit strukturierter Ausgabe; Fine-Tuning erst bei hohem Volumen |
| „Die KI soll tausende Texte pro Tag in unsere Kategorien sortieren“ | Der klassische Fine-Tuning-Fall |
| „Die KI soll immer auf dem aktuellen Stand sein“ | RAG oder Websuche – Training friert Wissen zum Stichtag ein |
| „Wir wollen ein Modell bauen, das es so noch nicht gibt“ | Training von Grund auf – für 99,9 % der Unternehmen keine Option |
Dass Training die Ausnahme ist, zeigen die Anbieter selbst: OpenAI wickelt seine Fine-Tuning-Plattform gerade ab – für Neukunden ist sie laut Entwickler-Dokumentation bereits geschlossen, und Google hat Tuning schon im Mai 2025 aus der Gemini-API entfernt; es lebt nur in der Unternehmens-Cloud Vertex AI weiter. Ein deutliches Signal, wie selten echtes Training gebraucht wurde.
Die Eskalations-Leiter: vier Stufen – und wann du hochsteigst
Wenn die KI-Lösung nicht gut genug antwortet, eskalierst du in fester Reihenfolge – jede Stufe kostet mehr Aufwand und ist schwerer umkehrbar als die vorige:
„Steig erst eine Stufe höher, wenn die aktuelle nachweislich gescheitert ist – gemessen an 20 echten Testfällen, nicht nach Gefühl.“
Ohne Testfälle weißt du nach dem Training nicht einmal, ob es etwas gebracht hat.- Besseres Prompting. Eine präzise Rollenbeschreibung im Systemprompt plus zwei, drei Musterbeispiele („Few-Shot“) lösen einen erstaunlichen Teil der Fälle, für die Teams ein Training planen – kostenlos und in Minuten geändert. Das systematische Vorgehen zeigt Prompt Engineering lernen. Hochsteigen, wenn dem Modell Wissen fehlt, das nicht mehr sinnvoll in den Prompt passt.
- RAG – Wissen anbinden statt eintrainieren. Deine Dokumente werden durchsuchbar gemacht, das Modell antwortet auf Basis der gefundenen Stellen und nennt sie als Quelle; Wissen aktualisieren heißt Dokument austauschen. Hochsteigen nur, wenn nicht Wissen das Problem ist, sondern Verhalten: Ton, Struktur, Spezialisierung.
- Fine-Tuning – Verhalten einbrennen. Ein fertiges Modell wird mit hunderten bis tausenden eigenen Beispielpaaren weitertrainiert und ändert dauerhaft sein Antwortverhalten. Stark für Stil, Format und Klassifikation – vorher gehört belegt, dass Stufe 1 und 2 an denselben Testfällen wirklich scheitern.
- Eigenes Modell von Grund auf. Pretraining auf Billionen von Wörtern, mit Rechenbudgets von Konzernen und Staaten – für 99,9 % aller Unternehmen irrelevant und dank der starken Basismodelle aus der Open-Source-KI-Landschaft auch unnötig.
Was Fine-Tuning wirklich ist: Verhalten einbrennen, kein Wissen speichern
Beim Fine-Tuning trainierst du ein fertiges Modell mit eigenen Beispielpaaren – Eingabe plus gewünschte Antwort – weiter; seine Gewichte verschieben sich in Richtung deiner Beispiele. Der Standard dafür heißt LoRA (Low-Rank Adaptation): Statt aller Milliarden Parameter wird nur eine kleine Zusatzschicht trainiert. Das senkt die Rechenlast so weit, dass sich offene Modelle der 20-bis-30-Milliarden-Klasse – etwa Qwen3.8-27B – auf einer einzelnen Profi-GPU anpassen lassen (auf welcher Hardware solche Modelle laufen, zeigt KI lokal nutzen).
Damit zum klassischen Irrtum: Fine-Tuning ist keine Wissens-Datenbank. „Wir trainieren das Modell auf unser Wiki, dann weiß es alles“ funktioniert nicht zuverlässig. Das Modell lernt aus deinen Daten Muster – Tonfall, Aufbau, Vokabular, speichert Fakten aber nicht nachschlagbar ab: Es kann Details verwechseln oder erfinden, nennt keine Quellen, und bei jeder Preisänderung müsstest du neu trainieren. Fine-Tuning beantwortet „Wie soll die KI antworten?“ – für „Was soll sie wissen?“ bleibt RAG das Werkzeug; viele Systeme kombinieren beides.
Auch „Custom GPTs“ oder hochgeladene Dateien in Chat-Projekten sind kein Training: Das Modell liest deine Dokumente zur Laufzeit mit – eine einfache RAG-Variante, das Grundmodell bleibt unverändert. Was Anbieter als „deine eigene KI“ verkaufen, ist fast immer Prompting plus Dokumentenzugriff.
Drei Fälle, in denen sich Fine-Tuning wirklich lohnt
1. Konsistenter Marken-Ton bei hohem Volumen. Wenn täglich viele Texte im exakt gleichen Stil entstehen müssen – Produktbeschreibungen, Support-Antworten – und der Stil trotz guter Prompts immer wieder driftet, kann ein feingetuntes Modell den Ton dauerhaft halten. Voraussetzung: hunderte redigierte Beispiele, die diesen Ton fehlerfrei vorführen.
2. Fachsprache und starre Struktur. Medizinische Kodierung, juristische Schriftsatz-Muster, ein festes Datenformat für die Weiterverarbeitung: Wenn die Ausgabe einem engen Schema folgen muss und der Prompt dafür seitenlang würde, kann das Modell die Regeln per Fine-Tuning verinnerlichen – der Prompt schrumpft, Tempo und Gleichmäßigkeit steigen.
3. Klassifikations-Spezialist. Der Paradefall: tausende Tickets, Mails oder Dokumente pro Tag in feste Kategorien sortieren. Ein kleines feingetuntes Modell schlägt bei so einer engen Aufgabe häufig ein großes Allzweck-Modell – bei einem Bruchteil von Kosten und Antwortzeit. Beliebt ist auch die „Destillation“: Ein großes Modell erzeugt die Trainingsbeispiele, ein kleines übernimmt damit sein Verhalten für genau diese Aufgabe.
Allen drei Fällen gemeinsam: enge, wiederkehrende Aufgaben mit Volumen. Ein Modell, das durch Training „insgesamt besser“ wird, gibt es nicht – im Gegenteil: Zu eng trainierte Modelle werden außerhalb ihrer Spezialaufgabe oft schlechter.
Was es kostet: Das Training ist billig – die Daten sind teuer
Die überraschende Zahl zuerst: Der reine Rechenvorgang ist beim LoRA-Fine-Tuning günstig. Cloud-Dienste wie Together AI berechnen dafür (Stand August 2026) rund 0,48 US-Dollar pro Million Trainings-Token bei Modellen bis 16 Milliarden Parameter, 1,50 Dollar bis 69 Milliarden – ein realistischer Lauf mit 5.000 Beispielen über drei Durchgänge, grob zehn Millionen Token, kostet damit einen niedrigen zweistelligen Dollarbetrag. Gemietete H100-GPUs liegen je nach Anbieter und Laufzeit bei etwa 4 bis 5,50 Dollar pro Stunde. Das Training selbst ist selten das Budget-Problem.
Teuer ist, was davor kommt – die Faustregel: 80 Prozent der Arbeit ist Datenaufbereitung. Jedes Trainingsbeispiel ist eine Vorlage: „So sieht die perfekte Antwort aus.“ OpenAIs Fine-Tuning-Dokumentation nennt 10 Beispiele als Minimum und sichtbare Verbesserungen ab etwa 50 bis 100 – robust wird ein Modell je nach Aufgabe erst mit hunderten bis tausenden konsistenten Beispielen. Konsistent heißt: einheitliches Format, keine Widersprüche, nichts Veraltetes – jede Schlamperei im Datensatz trainierst du mit an. Dazu kommt ein Test-Set, das nie ins Training wandert, damit sich der Effekt messen lässt; und der erste Lauf sitzt selten. In Arbeitszeit sind das Tage bis Wochen – nicht die Viertelstunde, die der Trainingsjob selbst braucht.
Genau hier entsteht eine unterschätzte Berufskompetenz: Daten-Kuratierung. Wer saubere Beispiel-Datensätze aufbauen, Qualitätskriterien definieren und Modellergebnisse systematisch bewerten kann, ist in KI-Projekten gefragter als jemand, der nur ein Trainings-Skript starten kann – die Skripte sind Standardware, gute Daten nicht.
Rechte und DSGVO: Was im Modell steckt, bekommst du kaum wieder heraus
Vor dem ersten Trainingslauf gehören zwei Rechtsfragen auf den Tisch. Erstens: Darfst du die Trainingsdaten verwenden? Kundentexte, eingekaufte Inhalte oder Material aus Verträgen mit Vertraulichkeitsklauseln sind nicht automatisch freigegeben, nur weil sie auf deinem Server liegen. Zweitens – und heikler: personenbezogene Daten.
Der Europäische Datenschutzausschuss hat in seiner Stellungnahme 28/2024 (Dezember 2024) klargestellt: Ein mit personenbezogenen Daten trainiertes Modell gilt nicht automatisch als anonym – das ist im Einzelfall nachzuweisen. Und wurde unrechtmäßig mit solchen Daten trainiert, kann das die Zulässigkeit des gesamten Einsatzes infrage stellen. Das Kernproblem dahinter: Die DSGVO gibt Betroffenen ein Recht auf Löschung – aus trainierten Modellgewichten lässt sich eine einzelne Person nach heutigem Stand aber praktisch nicht zuverlässig entfernen. Im Zweifel bleibt nur, das Modell zu verwerfen und ohne die betroffenen Daten neu zu trainieren.
Die robuste Praxisregel: personenbezogene Daten vor dem Training entfernen oder konsequent pseudonymisieren – Namen, Adressen und Kundennummern tragen zur Trainingsaufgabe fast nie etwas bei. Den größeren Rahmen sortiert KI und Datenschutz. Das hier ist eine Einordnung aus der Praxis, keine Rechtsberatung – sobald personenbezogene Daten im Spiel sind, gehören Datenschutzbeauftragter oder Fachanwalt an den Tisch.
Häufige Fragen
Was kostet es, eine eigene KI zu trainieren?
Der Rechenvorgang selbst ist beim üblichen LoRA-Fine-Tuning günstig: Cloud-Dienste berechnen ab rund 0,50 US-Dollar pro Million Trainings-Token, ein typischer Lauf bleibt oft im zweistelligen Dollarbereich. Der echte Aufwand steckt in der Datenaufbereitung – Tage bis Wochen Arbeitszeit. Ein Modell von Grund auf zu bauen liegt um viele Größenordnungen darüber.
Brauche ich Fine-Tuning oder reicht RAG?
Wenn die KI dein Firmenwissen kennen soll, reicht fast immer RAG – aktuell, mit Quellenangabe, ohne Training. Fine-Tuning brauchst du nur, wenn sich das Verhalten ändern soll – Ton, Format, Klassifikation – und gute Prompts das an echten Testfällen messbar nicht schaffen.
Wie viele Daten brauche ich für Fine-Tuning?
Technisch geht es laut OpenAI-Dokumentation ab 10 Beispielen, messbare Effekte zeigen sich ab etwa 50 bis 100. Robust wird ein Modell je nach Aufgabe erst mit hunderten bis tausenden konsistenten Beispielpaaren – und Qualität schlägt Menge.
Kann ich ChatGPT mit eigenen Daten trainieren?
Nein – Custom GPTs und hochgeladene Dateien sind kein Training, sondern Dokumentenzugriff zur Laufzeit. OpenAIs echte Fine-Tuning-Plattform wird zudem gerade abgewickelt und ist für Neukunden geschlossen. Für den Wunsch „ChatGPT soll unsere Daten kennen“ ist RAG der richtige Weg.
Darf ich mit personenbezogenen Daten trainieren?
Nur nach sorgfältiger Prüfung. Der Europäische Datenschutzausschuss stellt klar, dass trainierte Modelle nicht automatisch anonym sind, und das Löschrecht lässt sich bei eingebrannten Daten praktisch kaum erfüllen. Sichere Praxis: solche Daten vor dem Training entfernen oder pseudonymisieren.
Erst einordnen, dann investieren – KI-Kompetenz für dein Team
Ob besseres Prompting, RAG oder echtes Fine-Tuning die richtige Stufe ist, entscheidet sich am konkreten Anwendungsfall – und an Leuten, die den Unterschied kennen. In unserer KI-Weiterbildung lernen deine Mitarbeiter genau diese Einordnung, von Prompt-Grundlagen bis zum Umgang mit eigenen Daten. Im kostenlosen Erstgespräch zeigen wir dir, wie eine passgenaue Qualifizierung aussieht und unter welchen Voraussetzungen sie über das Qualifizierungschancengesetz gefördert werden kann.
Kostenloses Erstgespräch für Unternehmen
Benedikt Backhaus – schreibt bei Scaly über KI-Tools, neue Modelle und aktuelle Entwicklungen rund um künstliche Intelligenz. Er beobachtet die KI-Szene laufend und ordnet ein, was neue Releases praktisch bedeuten – ehrlich und ohne Hype. Einschätzung, keine Rechtsberatung. Benedikt auf LinkedIn
