RAG für KMU: Wie dein Unternehmenswissen in die KI kommt

Was ist RAG — und warum reicht ChatGPT allein nicht?

RAG (Retrieval-Augmented Generation) verbindet ein Sprachmodell mit deiner eigenen Wissensbasis: Bevor die KI antwortet, durchsucht sie deine Dokumente und formuliert die Antwort aus den gefundenen Belegen — inklusive Quellenangabe. Statt aus dem Gedächtnis zu raten, antwortet das Modell mit deinem aktuellen, firmenspezifischen Wissen.

Warum das nötig ist: Ein Standardmodell wie ChatGPT kennt nur, was bis zu seinem Trainings-Stichtag öffentlich im Netz stand — nicht eure Preisliste von heute, nicht euer internes Handbuch, nicht den letzten Support-Fall. Fragt man es trotzdem, „halluziniert" es im Zweifel eine plausibel klingende, aber falsche Antwort. RAG schließt genau diese Lücke, indem es dem Modell die richtigen Belege in dem Moment vorlegt, in dem die Frage gestellt wird.

Genau deshalb ist RAG der Unterbau für jeden KI-Assistenten, der mehr leisten soll als allgemeine Texte zu schreiben — vom Support-Bot bis zum KI-Agenten, der eigenständig Aufgaben übernimmt. Ohne angebundenes Wissen bleibt jede Unternehmens-KI ein eloquenter Ratgeber ohne Aktenkenntnis.

Wie funktioniert RAG technisch — in einfachen Worten?

RAG arbeitet in vier Schritten: Deine Dokumente werden zerlegt und in einer Vektordatenbank indexiert; bei einer Frage sucht das System die passendsten Stellen heraus, hängt sie an die Frage an („augmentiert") und lässt das Modell daraus antworten. Am Modell selbst musst du dafür nichts ändern.

Der Kern ist die Suche nach Bedeutung statt nach Stichwörtern: Texte werden in „Embeddings" übersetzt — Zahlenrepräsentationen ihrer Bedeutung — sodass das System die richtige Passage auch dann findet, wenn die Frage andere Wörter nutzt als das Dokument. Schritt für Schritt:

1. Indexieren. Handbücher, FAQs, Tickets und PDFs werden in Häppchen („Chunks") zerlegt und als Embeddings in einer Vektordatenbank gespeichert.
2. Abrufen (Retrieval). Zur Nutzerfrage holt das System die semantisch ähnlichsten Chunks heraus.
3. Augmentieren. Diese Belege werden zusammen mit der Frage in den Prompt des Modells gepackt.
4. Antworten. Das Modell formuliert die Antwort ausschließlich aus den mitgegebenen Belegen — und nennt die Quelle.

Wichtig zu verstehen: Saubere, aktuelle und gut strukturierte Dokumente sind wichtiger als das teuerste Modell. „Garbage in, garbage out" gilt bei RAG doppelt — die beste KI hilft nichts, wenn sie aus veralteten Unterlagen zitiert.

RAG, Fine-Tuning oder langes Kontextfenster — was ist wann richtig?

Kurz: RAG ist für aktuelles Faktenwissen, Fine-Tuning für Stil und Verhalten, das lange Kontextfenster für die einmalige Analyse eines großen Dokuments. Für die meisten KMU-Fälle — „Die KI soll unser Wissen kennen" — ist RAG der richtige und mit Abstand günstigste Weg.

In der Praxis kombiniert man die Ansätze: RAG fürs Wissen, ein bisschen Fine-Tuning für die Marken-Stimme. Welches Modell sich als Motor dahinter eignet — und was es kostet — ordnet unser KI-Tool-Vergleich ein. Der Trend spielt dir dabei in die Hände: Inferenz wird gerade spürbar billiger (mehr dazu im KI-Rückblick KW 26).

Welche Probleme löst RAG für KMU konkret?

Überall, wo Mitarbeitende oder Kunden Fragen stellen, deren Antwort in euren Dokumenten steckt, spart RAG Zeit: interner Support, Kundenservice, Vertrieb, Onboarding. Statt im Intranet zu suchen, fragt man die KI — und bekommt eine belegte Antwort aus der richtigen Quelle.

• Interner Wissens-Assistent. Mitarbeitende fragen Handbücher, Richtlinien und Prozesse in natürlicher Sprache ab — statt PDFs zu durchforsten.
• Kundenservice & Support. Ein Chatbot beantwortet wiederkehrende Fragen aus eurer FAQ- und Ticket-Historie — rund um die Uhr, im richtigen Ton.
• Vertrieb & Angebote. Die KI zieht Produktdaten, Preise und Referenzen aus dem aktuellen Katalog statt aus dem Bauch.
• Onboarding. Neue Kolleg:innen bekommen sofort Antworten, ohne ständig nachfragen zu müssen.

RAG ist dabei kein Nischenthema mehr, sondern wird zum Standard-Baustein für Unternehmens-KI — der Markt wächst entsprechend rasant:

Und es ist der natürliche nächste Schritt nach der Prozess-Automatisierung: Wer Abläufe schon mit n8n automatisiert, kann ein RAG-System sauber als „Wissens-Baustein" in bestehende Workflows einhängen.

Was kostet RAG — und wie fängt ein KMU an?

Ein einfaches RAG-System lässt sich für überschaubares Geld starten: ein Sprachmodell über eine API, eine gehostete Vektordatenbank und etwas Orchestrierung — der größte Posten ist nicht die Technik, sondern das Aufbereiten der Daten. Klein anfangen schlägt Großprojekt.

Die Bausteine eines RAG-Systems:

• Wissensquelle(n) — die Dokumente, die die KI kennen soll (am besten eine einzige zum Start).
• Embedding-Modell + Vektordatenbank — zum Indexieren und Durchsuchen der Inhalte.
• Sprachmodell (LLM) — der „Sprecher", der aus den Belegen antwortet; die Provider-Wahl bewusst treffen (siehe unten).
• Orchestrierung — verbindet die Teile; oft reicht ein Workflow-Tool wie n8n oder ein schlankes Framework.

Unser Rat: mit einer Wissensquelle und einem klar umrissenen Anwendungsfall starten (z. B. „Support-FAQ"), die Qualität messen, dann ausbauen. So bleibt das Budget klein und der Nutzen sofort sichtbar — und ihr lernt an einem echten Fall, statt ein halbes Jahr zu planen.

Wie bleibt RAG DSGVO-konform und sicher?

RAG ist sogar datenschutzfreundlicher, als viele denken: Deine Dokumente werden nicht zum Training des Modells verwendet, sondern nur zur Laufzeit als Kontext mitgegeben — und bei Bedarf bleibt alles im eigenen Haus. Entscheidend sind Anbieter-Wahl, Zugriffsrechte und Herkunftsnachweis.

Die wichtigsten Stellschrauben:

• Anbieter & Ort. EU-Anbieter oder self-hosted, offene Modelle halten sensible Daten im EU-Raum — gerade nach den jüngsten US-Export-Turbulenzen ein starkes Argument.
• Zugriffsrechte. Die KI darf nur das sehen, was die fragende Person sehen darf — Berechtigungen gehören in den Retrieval-Schritt, nicht erst in die Antwort.
• Quellen-Grounding. Jede Antwort mit Beleg-Link macht Aussagen prüfbar und reduziert Fehlinformation.
• Kein Training auf deinen Daten. Vertraglich sicherstellen, dass Eingaben nicht zum Modelltraining verwendet werden.

Wo der EU AI Act dabei Grenzen setzt, haben wir separat erklärt. Und wenn ihr RAG nicht selbst aufsetzen wollt: Genau solche Wissens-Assistenten — von der Datenaufbereitung bis zum laufenden Betrieb — gehören zu unseren Leistungen; Beispiele aus echten Projekten findet ihr in unseren Referenzen.