Ihr Vertrieb fragt die KI nach den Staffelpreisen für Kunde Meier. Was zurückkommt, klingt plausibel und ist frei erfunden. Nicht weil das Modell schlecht wäre, sondern weil es Ihre Preisliste nie gesehen hat. Diese Lücke schließt RAG: Retrieval Augmented Generation. Statt ein Modell aufwendig auf Ihre Daten zu trainieren, sucht das System bei jeder Frage die passenden Stellen aus Ihren Dokumenten heraus und legt sie dem Modell vor. Jedes Mal neu, immer auf dem aktuellen Stand.
Wie das technisch abläuft, woran die meisten Projekte im Mittelstand scheitern und wann sich der Aufwand rechnet: darum geht es hier. Die zentralen Mechanismen können Sie unterwegs selbst ausprobieren.
Drei Wege, einer KI Ihr Firmenwissen beizubringen
Bevor wir über RAG reden, die Landkarte. Die Wahl zwischen diesen drei Wegen entscheidet über Kosten, Aufwand und darüber, wie viel Pflege das Ganze später frisst.
- Alles in den Prompt. Sie hängen die Dokumente bei jeder Anfrage komplett an. Aktuelle Modelle verarbeiten bis zu einer Million Token am Stück, das reicht für ein dickes Handbuch. Simpel. Nur bezahlen Sie das ganze Handbuch bei jeder einzelnen Frage mit.
- RAG. Ihre Dokumente liegen durchsuchbar in einer Datenbank. Pro Anfrage holt das System nur die drei bis fünf Absätze heraus, die wirklich zur Frage passen. Der Index bleibt aktuell, die Antwort kann ihre Quelle nennen, und Sie zahlen nur für das, was Sie tatsächlich brauchen.
- Fine-Tuning. Sie trainieren ein Modell auf Ihren Daten nach. Das verändert Stil und Verhalten. Für Fakten ist es der falsche Hebel. Ändert sich morgen ein Preis, müssten Sie neu trainieren.
Der häufigste Irrtum in Erstgesprächen lautet: „Wir wollen die KI auf unsere Daten trainieren.“ Gemeint ist damit fast immer RAG. Und das ist meistens auch die richtige Antwort, aber eben nicht immer. Der Check sortiert das:
Passt RAG zu Ihrem Anwendungsfall?
Drei Fragen, eine Einschätzung. Es wird nichts übertragen, die Auswertung läuft in Ihrem Browser.
1. Wie oft ändern sich die Inhalte, um die es geht?
2. Wie viel Material ist es insgesamt?
3. Was soll die KI besser können?
Bitte alle drei Fragen beantworten
Die Einschätzung erscheint hier, sobald oben überall eine Antwort ausgewählt ist.
Wie RAG technisch funktioniert
RAG hat zwei Phasen. Die Indexierung läuft einmal und danach bei jeder Änderung: Dokumente werden zerlegt, in Vektoren umgerechnet, gespeichert. Die Abfrage passiert bei jeder Nutzerfrage in Millisekunden. Klicken Sie sich durch die Stufen:
Die RAG-Pipeline, Stufe für Stufe
Auf eine Stufe klicken: was dort passiert, und was dort schiefgeht.
Chunking: hier scheitern RAG-Projekte
Liefert ein RAG-System schlechte Antworten, greifen die meisten zum nächstgrößeren Sprachmodell. Das hilft selten. Der Fehler sitzt eine Stufe früher. Der entscheidende Absatz wurde so zerschnitten, dass die Information dabei zerbrochen ist.
Der übliche Kompromiss heißt Overlap: Aufeinanderfolgende Chunks überlappen sich um einige Zeichen, damit ein Satz, der genau auf der Grenze liegt, wenigstens in einem Chunk vollständig auftaucht. Verschieben Sie die Regler und sehen Sie, was mit einem typischen ERP-Text passiert.
Chunking-Simulator
Die rosa markierten Stellen sind der Overlap. Unten steht, ob die Rabattregel den Schnitt überlebt hat.
Chunking nach reiner Zeichenzahl ist also ein Notbehelf. Produktive Systeme schneiden entlang der Struktur des Dokuments, also an Überschriften, Absätzen und Tabellenzeilen, und hängen jedem Chunk seinen Kontext an: „Kapitel 4.2, Rabattstaffeln, Stand 03/2026″. Das ist Fleißarbeit, und kein Standardtool nimmt sie Ihnen ab. Es ist aber der Unterschied zwischen einem Demo-Prototyp und einem System, dem der Vertrieb traut.
Und wenn das Modell eine Million Token verarbeitet?
Berechtigte Frage. Aktuelle Spitzenmodelle nehmen bis zu 1.000.000 Token auf einmal, grob 700.000 Wörter, also mehrere dicke Handbücher. Wozu dann noch Vektordatenbank und Chunking?
Weil Sie jeden Token bezahlen, bei jeder einzelnen Anfrage. Ob Sie pro Frage 6.000 Token durch das Modell schicken oder 400.000, macht bei ein paar hundert Anfragen am Tag einen erheblichen Unterschied. Der Rechner zeigt das Verhältnis:
Wie viel Kontext spart RAG?
Bewusst in Prozent statt in Euro: Das Verhältnis bleibt gleich, egal welches Modell Sie nehmen und wie sich die Preise entwickeln.
Gerechnet mit rund 500 Token je Seite. Der Prozentsatz bezieht sich auf die Eingabe-Token je Anfrage, also den Posten, der bei jeder Frage erneut anfällt.
Zwei Einschränkungen dazu, der Ehrlichkeit halber. Erstens lässt sich ein großer, gleichbleibender Kontext zwischenspeichern. Beim erneuten Lesen kostet er dann nur noch einen Bruchteil, und für ein überschaubares Handbuch, das sich selten ändert, kann „alles in den Kontext“ tatsächlich die pragmatischste Lösung sein. Ganz ohne Vektordatenbank.
Zweitens sind die Kosten ohnehin nur ein Argument von mehreren, und oft nicht das stärkste. Ändert sich ein Preis, tauschen Sie bei RAG einen Chunk aus. Nicht das Modell, nicht den Prompt. Jede Antwort kann sagen, aus welchem Dokument, welchem Kapitel und welchem Stand sie stammt; ohne diesen Nachweis wird kein Vertriebsleiter der Auskunft trauen. Über die Metadaten steuern Sie außerdem, wer welche Chunks überhaupt zu sehen bekommt. Ein Modell, dem Sie einfach alles in den Kontext kippen, kennt diese Grenze nicht. Und schließlich verwässern sehr lange Kontexte die Antwortqualität: Die eine relevante Zeile geht zwischen 400.000 anderen Token unter. Fünf präzise Absätze schlagen ein ganzes Handbuch.
Was Sie klären sollten, bevor Sie anfangen
Ein RAG-Projekt scheitert selten an der KI. Es scheitert an den Daten.
Klären Sie zuerst, welche Quelle gilt. Wenn drei Versionen derselben Arbeitsanweisung kursieren, muss ein Mensch entscheiden, welche die gültige ist. Diese Arbeit nimmt Ihnen kein System ab. Zweitens die Berechtigungen: Wer darf was sehen? Das muss von Anfang an im Index stehen, denn nachträglich bedeutet es, den Index neu aufzubauen.
Dann die Frage, die im Mittelstand meistens die wichtigste ist: Wo laufen die Daten? Index und Dokumente können vollständig auf Ihrem eigenen Server liegen; an das Sprachmodell geht pro Anfrage nur die Frage samt den gefundenen Auszügen. Wenn auch das nicht in Frage kommt, lässt sich ein offenes Modell lokal betreiben. Das kostet Antwortqualität, dafür verlässt kein Byte das Haus. Eine Abwägung, keine technische Zwangsläufigkeit.
Und legen Sie vorher fest, woran Sie Erfolg messen. Dreißig bis fünfzig typische Fragen mit der jeweils richtigen Antwort, aufgeschrieben, bevor der erste Code entsteht. Ohne diesen Testsatz diskutieren Sie am Ende über Bauchgefühl.
Häufige Fragen
Wie lange dauert ein RAG-Pilotprojekt?
Ein belastbarer Pilot mit klar abgegrenzter Dokumentenmenge und definiertem Testsatz ist in wenigen Wochen machbar. Der Löwenanteil der Zeit geht nicht in die Anbindung des Sprachmodells, sondern in die Aufbereitung der Daten. Rollen Sie erst aus, wenn der Pilot die Testfragen zuverlässig beantwortet.
Müssen unsere Daten dafür in die Cloud?
Nein. Dokumente, Chunks und Vektordatenbank können vollständig auf Ihrem eigenen Server liegen. An das Sprachmodell geht pro Anfrage nur die Frage plus die gefundenen Auszüge. Wer auch das ausschließen will, betreibt ein offenes Modell lokal, mit Abstrichen bei der Antwortqualität, dafür bleiben alle Daten im Haus.
Kann die KI trotz RAG noch etwas erfinden?
Seltener, und vor allem fällt es auf. Weil jede Antwort ihre Quelle nennt, lässt sich stichprobenhaft prüfen, ob die Aussage im zitierten Absatz wirklich steht. Die Anweisung „antworte ausschließlich anhand der Auszüge und sage es, wenn die Information fehlt“ senkt die Halluzinationsrate zusätzlich deutlich. Ganz auf null bekommt man sie nicht.
Was kostet der Betrieb?
Zwei Posten. Der eine ist der Server, auf dem Index und Vektordatenbank laufen. Eine feste monatliche Größe. Der andere sind die Modellkosten, und die skalieren mit dem Anfragevolumen. Wie stark RAG diesen zweiten Posten drückt, zeigt der Rechner weiter oben: Der Anteil hängt davon ab, wie umfangreich Ihr Material ist. Eine belastbare Zahl in Euro nennen wir Ihnen, wenn wir Ihr Volumen und Ihre Dokumentenmenge kennen.
Können wir RAG an Sage 100 oder unser ERP anbinden?
Ja, und da wird es interessant. Statt einen statischen Dokumenten-Export zu indexieren, holt eine Schnittstelle Artikelstamm, Konditionen oder Belegdaten direkt aus dem System und hält den Index automatisch aktuell. Damit lassen sich auch Fragen beantworten, deren Antwort sich täglich ändert. Mehr Aufwand als ein PDF-Import, sicher. Aber es ist der Unterschied zwischen einer Spielerei und einem Werkzeug.
Wo der Wert entsteht
RAG ist kein Zauberwerk, sondern solide Ingenieursarbeit. Dokumente aufbereiten, sinnvoll zerteilen, zuverlässig wiederfinden, Quellen mitliefern. Das Sprachmodell ist dabei die einfachste Komponente, und die austauschbarste. Der Wert entsteht in den Stufen davor, und die kann man nicht von der Stange kaufen; sie müssen zu Ihren Daten und Ihren Abläufen passen.
Wenn Sie den Verdacht haben, dass in Ihren Handbüchern und Tickets Wissen liegt, an das im Alltag niemand herankommt: Das ist der Anwendungsfall.
Wir schauen uns Ihren Anwendungsfall an
In einem ersten Gespräch klären wir, ob RAG bei Ihnen der richtige Weg ist, oder ob es der einfachere Weg auch tut. Kostenfrei und unverbindlich.
Gespräch vereinbaren
