Grundlagen · 24. Juli 2026
Was ist RAG? Und warum Suche allein nicht reicht
Jeder KI-Chat auf eigenen Dokumenten basiert auf RAG. Was dahinter steckt, was es gut kann und an welcher Art von Frage es scheitert.
Von Aidocr
Das Wichtigste in Kürze
- RAG (Retrieval Augmented Generation) beantwortet Fragen, indem es vor der Antwort in den eigenen Dokumenten sucht.
- Das reduziert erfundene Antworten und erlaubt Quellenangaben, ohne ein eigenes Modell zu trainieren.
- An seine Grenze kommt RAG bei Fragen über Zusammenhänge mehrerer Quellen und bei Dokumenten, die einander ersetzen.
- Für diese Fälle braucht es zusätzlich einen Wissensgraphen.
Wer einem KI-Chat eigene Dokumente gibt, nutzt fast immer RAG: Retrieval Augmented Generation, frei übersetzt Antworten mit vorgeschalteter Suche. Das Prinzip steckt hinter praktisch jedem Werkzeug, das Fragen zu eigenen Unterlagen beantwortet, von Dokument-Uploads in ChatGPT bis zu unternehmensinternen Assistenten.
So funktioniert RAG
Drei Schritte. Erstens: Eine Frage kommt herein. Zweitens: Das System sucht in den hinterlegten Dokumenten die passendsten Textstellen, nicht nach exakten Wörtern, sondern nach Bedeutung. Drittens: Das Sprachmodell formuliert aus diesen Fundstellen eine Antwort.
Die Stärke liegt im zweiten Schritt. Das Modell antwortet nicht aus seinem Trainingsgedächtnis, sondern aus den eigenen Unterlagen. Das reduziert erfundene Antworten deutlich, macht Quellenbezug möglich und ist schnell eingeführt, ohne dass ein Modell trainiert werden muss.
Wo RAG an seine Grenze kommt
RAG behandelt Wissen als lose Textblöcke. Eine Frage aus dem Gebäudebetrieb macht das Problem sichtbar: Welche Wartungsverträge betreffen die Lüftungsanlagen in Gebäude B? Die Antwort steht in keinem einzelnen Absatz. Die Anlagenliste liegt im CAFM, der Vertrag als PDF, die Zuordnung von Anlage zu Gebäude in einer Excel-Tabelle. Eine Ähnlichkeitssuche findet Textstellen, in denen Lüftung vorkommt. Die Verbindung zwischen den Quellen kennt sie nicht.
Dazu kommt eine Eigenheit der Bau- und Immobilienwelt: Dokumente ersetzen einander. Ein Nachtrag ersetzt eine Position im Leistungsverzeichnis, ein neuer Vertragsstand den alten. Für eine reine Textsuche sehen beide Stände fast gleich aus. Welcher heute gilt, ist keine Frage der Ähnlichkeit, sondern der Beziehung zwischen den Dokumenten.
Was das praktisch heißt
RAG ist das Fundament und für viele Fragen genau richtig: Wo steht das? Was sagt dieses Dokument? Sobald Fragen aber Zusammenhänge betreffen, also was zu was gehört und was heute gilt, braucht es zusätzlich eine Struktur, die Beziehungen explizit speichert: einen Wissensgraphen. Was das ist und wie eine Ontologie dabei hilft, steht im nächsten Beitrag: Was ist ein Wissensgraph?
Häufige Fragen zu RAG
- Was bedeutet RAG?
- RAG steht für Retrieval Augmented Generation. Das System sucht zu einer Frage passende Textstellen in den hinterlegten Dokumenten, und das Sprachmodell formuliert daraus eine Antwort mit Quellenbezug.
- Wofür wird RAG eingesetzt?
- Für praktisch jedes Werkzeug, das Fragen zu eigenen Unterlagen beantwortet, von Dokument-Uploads in ChatGPT bis zu unternehmensinternen Assistenten.
- Wo stößt RAG an seine Grenzen?
- Bei Fragen, deren Antwort über mehrere Quellen verteilt ist, und bei Dokumenten, die einander ersetzen, etwa ein Nachtrag, der eine LV-Position ablöst. Eine reine Ähnlichkeitssuche erkennt die Verbindung und die Gültigkeit nicht.
- Was ist der Unterschied zwischen RAG und GraphRAG?
- RAG sucht in Texten nach Bedeutung. GraphRAG ergänzt das um einen Wissensgraphen, der Beziehungen zwischen Dingen kennt, und gibt dem Modell beides mit: Belege und Zusammenhang.