Die fünf Stufen von RAG: von der Stichwortsuche zum Agenten

Welcher Wartungsvertrag gilt heute für die Lüftungsanlagen in Gebäude B? Diese Frage klingt banal. In der Praxis findet ein KI-Assistent darauf fünf Dokumente und kann nicht sagen, welches davon gilt. Das ist der Moment, in dem die meisten Pilotprojekte in der Bau- und Immobilienwelt ihre Glaubwürdigkeit verlieren.

Die naheliegende Erklärung wäre, dass das Sprachmodell zu schwach ist. Sie stimmt fast nie. Das Modell bekommt schlicht nicht die richtigen Informationen vorgelegt. Was ein System hier leistet, entscheidet sich vor der Antwort: beim Beschaffen und Ordnen der Information. Und genau dafür gibt es Stufen.

Woher die Einteilung kommt

Die Stufen sind keine Marketingerfindung, sondern eine etablierte Einteilung aus der Forschungsliteratur. Der Standard-Überblick zu RAG von Gao und Kollegen beschreibt 2023 drei Entwicklungsstufen: naives RAG, Advanced RAG und Modular RAG. Ein Survey von Singh und Kollegen führt die Reihe 2025 fort und ergänzt zwei weitere Stufen, Graph RAG und Agentic RAG, und unterteilt die fünfte Stufe zusätzlich in Einzelagenten, Mehragentensysteme und hierarchische Architekturen.

Wichtig für das Verständnis: Die Stufen sind keine Produktkategorien und keine Rangliste, an deren Ende der Sieger steht. Sie beschreiben, wie viel Arbeit ein System zwischen der Frage und der Antwort leistet. Jede Stufe löst ein Problem, das die vorherige offen lässt, und handelt sich dafür Aufwand ein.

Stufe 1: Naives RAG

Die Grundform, und für viele Werkzeuge am Markt immer noch der volle Funktionsumfang. Dokumente werden in Abschnitte zerlegt, jeder Abschnitt wird in eine Zahlenrepräsentation übersetzt, die Bedeutung abbildet. Zur Frage werden die ähnlichsten Abschnitte gesucht und dem Sprachmodell vorgelegt. Das Modell formuliert daraus die Antwort.

Das ist ein echter Fortschritt gegenüber der Stichwortsuche, weil es Bedeutung statt Buchstaben vergleicht. Und es ist schnell eingeführt: Dokumente rein, Index bauen, fertig. Deshalb sieht der erste Prototyp fast immer beeindruckend aus.

An unserer Frage: Das System findet zwölf Dokumente, in denen Lüftung vorkommt. Drei davon sind veraltet, zwei betreffen ein anderes Gebäude. Für eine Ähnlichkeitssuche sehen der Vertragsstand von 2019 und der von 2024 fast identisch aus, es sind schliesslich dieselben Wörter. Welcher heute gilt, steht in keinem der beiden Texte, sondern ergibt sich aus ihrer Beziehung zueinander.

Woran man Stufe 1 im Alltag erkennt: Die Antworten sind sprachlich gut und sachlich manchmal falsch. Das System nennt zuversichtlich ein Dokument, das seit zwei Jahren ersetzt ist.

Stufe 2: Advanced RAG

Hier wird nichts grundsätzlich anders gemacht, sondern sorgfältiger. Vor der Suche wird die Frage aufbereitet: Fachbegriffe werden erweitert, eine unklare Frage wird in mehrere Varianten umformuliert, Filter nach Objekt oder Zeitraum werden gesetzt. Nach der Suche werden die Treffer noch einmal bewertet und neu sortiert, und die Abschnittsgrenzen werden so gelegt, dass ein Absatz nicht mitten im Satz endet.

An unserer Frage: Das System versteht jetzt, dass RLT-Anlage, raumluft- technische Anlage und Lüftung dasselbe meinen, und findet auch Dokumente ohne das Wort Lüftung. Die Trefferqualität steigt spürbar. Was weiterhin fehlt: Welche Anlagen überhaupt in Gebäude B stehen, weiß das System nicht. Es kennt Texte, keine Anlagen.

Stufe 2 ist die günstigste echte Verbesserung und in fast jedem Projekt die richtige erste Investition. Sie hebt die Qualität deutlich, ohne dass an der Datenhaltung etwas geändert werden muss. Sie verschiebt die Grenze aber nur, sie verschwindet nicht.

Stufe 3: Modular RAG

Auf dieser Stufe hört das System auf, jede Frage gleich zu behandeln. Es zerlegt sie und verteilt die Teile auf verschiedene Quellen und Werkzeuge: die Anlagenliste kommt per Abfrage aus dem CAFM, die Verträge aus dem Dokumentenmanagement, Zahlen aus einer Datenbank statt aus einem Fliesstext. Die Teilantworten werden am Ende zusammengeführt.

Das ist der Punkt, an dem aus einem Chat über Dokumente eine Systemintegration wird. Und es ist der Punkt, an dem der Aufwand sichtbar wird. Jede Verbindung zwischen zwei Quellen muss gebaut und gepflegt werden. Dass die Anlage mit der Nummer L-04 im CAFM dasselbe Ding ist wie die RLT 4 im Wartungsvertrag, weiß das System nicht von selbst. Das steht in keinem der beiden Systeme.

Auf Stufe 3 kann ein System zwei Quellen befragen. Ob es die Antworten richtig zusammensetzt, hängt daran, ob jemand vorher gesagt hat, welches Ding welchem entspricht.

In der Praxis funktioniert Stufe 3 sehr gut in einer überschaubaren Systemlandschaft mit sauberen Schlüsseln. Sie skaliert schlecht, sobald viele Systeme, viele Objekte und mehrere Jahrzehnte Historie zusammenkommen, also genau in der Situation, in der Bestandshalter und Betreiber arbeiten.

Stufe 4: GraphRAG

Hier ändert sich etwas Grundsätzliches. Statt Verbindungen bei jeder Frage neu herzustellen, werden sie einmal explizit hinterlegt, in einem Wissensgraphen. Dinge werden zu Knoten, Beziehungen zu Kanten: Gebäude B enthält Anlage L-04, Anlage L-04 wird gewartet über Vertrag 2024-118, Vertrag 2024-118 ersetzt Vertrag 2019-042 seit dem 1. Januar 2024. Die Ontologie legt fest, welche Arten von Dingen und Beziehungen es überhaupt gibt.

Der entscheidende Gewinn ist nicht die Suche, sondern die Gültigkeit. Welcher Vertrag heute gilt, ist keine Frage der Textähnlichkeit, sondern eine Kante mit einem Datum. Damit wird aus einer Interpretationsfrage eine Nachschlagefrage. Ausführlich beschrieben ist das Zusammenspiel im Beitrag Was ist GraphRAG?

Wie viel dieser Schritt ausmacht, lässt sich beziffern. Sequeda, Allemang und Jacob haben 2023 einen Benchmark auf einem Unternehmensdatenmodell aus der Versicherungswirtschaft veröffentlicht, 43 Fragen, beantwortet mit GPT-4 ohne Beispiele im Prompt. Direkt gegen die SQL-Datenbank gefragt lag die Trefferquote bei 16,7 Prozent. Gegen eine Wissensgraph-Darstellung derselben Daten lag sie bei 54,2 Prozent. Gleiches Modell, gleiche Daten, gleiche Fragen. Der Unterschied lag allein in der Struktur, in der die Information vorlag.

Der Preis dieser Stufe ist Modellierungsarbeit. Eine Ontologie muss gebaut, Objekte müssen über Systemgrenzen hinweg zusammengeführt und Verknüpfungen müssen gepflegt werden. Wer diesen Aufwand scheut, sollte auf Stufe 4 verzichten, denn ein halb gepflegter Graph ist schlechter als eine ehrliche Textsuche: Er sieht verbindlich aus und ist es nicht.

Stufe 5: Agentic RAG

Auf den ersten vier Stufen ist der Weg zur Antwort vorgegeben. Auf der fünften plant das System ihn selbst. Es entscheidet, welche Quelle es zuerst befragt, bewertet das Zwischenergebnis, stellt eine Anschlussfrage, wenn etwas fehlt, und bricht ab, wenn es genug hat. Fachlich heißt das agentisch, und die Literatur unterscheidet dabei drei Bauformen.

Beim Einzelagenten übernimmt ein Agent die Steuerung und wählt Werkzeug und Quelle. Beim Mehragentensystem teilen sich mehrere spezialisierte Agenten die Arbeit, etwa einer für Verträge, einer für technische Anlagen, einer für Termine. Bei der hierarchischen Form koordiniert ein übergeordneter Agent die anderen und entscheidet, wessen Ergebnis in die Antwort einfliesst. Welche Form passt, hängt an der Breite der Aufgabe, nicht am Anspruch.

An unserer Frage: Das System stellt fest, dass für zwei der fünf Anlagen in Gebäude B der Vertrag ausgelaufen ist. Statt das zu verschweigen, prüft es selbstständig, ob dazu ein Nachtrag existiert, findet für eine Anlage keinen, und liefert die Lücke als Teil der Antwort mit. Wie ein solcher Ablauf Schritt für Schritt aussieht, steht im Beitrag Was ein KI-Agent bei Aidocr wirklich tut.

Die Kehrseite: Ein System, das selbst plant, braucht Grenzen. Es muss klar sein, welche Systeme es lesen darf, wo es schreiben darf und wann es an einen Menschen übergibt. Ohne diese Grenzen entsteht kein Assistent, sondern ein Risiko. Und ohne die Struktur aus Stufe 4 plant ein Agent nur eleganter im Nebel.

Auf welcher Stufe steht mein System?

Man muss dafür nicht in die Architektur schauen. Der Alltag verrät es, wenn man auf die richtigen Symptome achtet.

Ein zweiter, härterer Test: Stellen Sie dieselbe Frage zweimal, einmal mit dem Fachbegriff und einmal in Umgangssprache. Weichen die Antworten inhaltlich voneinander ab, arbeitet das System auf Textebene. Ein System mit Graph darunter kommt bei beiden Formulierungen beim selben Objekt heraus.

Welche Stufe brauchen Sie wirklich?

Die ehrliche Antwort lautet: die niedrigste, die Ihre Fragen beantwortet. Jede Stufe kostet Aufbau und Pflege, und ein aufwendiges System, das Fragen beantwortet, die niemand stellt, ist teurer Stillstand. Die nützliche Frage ist deshalb nicht, welche Stufe man haben möchte, sondern welche Art von Fragen im Betrieb tatsächlich aufläuft.

Für den Gebäudebetrieb liegt der Schwerpunkt fast immer bei den unteren beiden Zeilen, und das ist der Grund, warum reine Dokumenten-Chats dort so oft enttäuschen. Wer wissen will, was heute gilt, wer zuständig ist und was wovon abhängt, stellt Beziehungsfragen. Diese Fragen sind auf den Stufen 1 bis 3 nicht schwer zu beantworten, sie sind dort strukturell nicht beantwortbar.

Umgekehrt gilt aber auch: Die Stufen müssen nicht der Reihe nach durchlaufen werden, und die höchste ist selten überall nötig. Ein sinnvoller Zuschnitt ist oft gemischt. Für Handbücher, Normen und Protokolle reicht eine gute Stufe 2. Für Anlagen, Verträge und Zuständigkeiten braucht es Stufe 4. Und nur dort, wo ein Vorgang wiederkehrend geprüft werden muss, lohnt sich Stufe 5.

Was jede Stufe voraussetzt

Die Stufen unterscheiden sich weniger in der eingesetzten Technik als in dem, was vorher geklärt sein muss. Stufe 1 und 2 setzen im Wesentlichen Zugriff auf Dokumente und eine brauchbare Berechtigungslogik voraus. Stufe 3 setzt zusätzlich Schnittstellen voraus und die Klärung, welches System für welche Information führend ist. Stufe 4 setzt eine Ontologie voraus, also eine Verständigung darüber, was eine Anlage, ein Objekt und ein Vertrag im eigenen Haus überhaupt sind. Stufe 5 setzt alles davon voraus und zusätzlich klare Grenzen, was der Agent darf.

Der wichtigste Satz zur Vorbereitung: Datenqualität schlägt Stufe. Ein System auf Stufe 2 mit sauber gepflegten Anlagenstammdaten liefert bessere Antworten als eines auf Stufe 4 mit einem Graphen, der auf widersprüchlichen Nummern aufsetzt. Warum die operative Schicht im Gebäudebetrieb besonders anfällig dafür ist, steht im Beitrag Warum generische KI Gebäudedaten nicht wirklich versteht.

Was auch Stufe 5 nicht löst

Drei Dinge bleiben offen, unabhängig von der Stufe. Erstens: Was nicht dokumentiert ist, kann kein System finden. Wenn die Zuordnung von Anlage zu Vertrag nur im Kopf des Objektleiters existiert, hilft keine Architektur. Zweitens: Widersprüche zwischen Quellen werden sichtbar, aber nicht aufgelöst. Ein gutes System zeigt beide Stände und sagt, dass sie sich widersprechen. Welcher stimmt, entscheidet ein Mensch.

Drittens: Die Verantwortung wandert nicht mit. Eine Antwort mit Quelle ist eine Grundlage für eine Entscheidung, nicht die Entscheidung. Das ist keine juristische Vorsichtsformel, sondern eine Konstruktionsregel. Systeme, die so gebaut sind, dass ihre Herleitung nachvollziehbar bleibt, werden benutzt. Systeme, die ein Ergebnis ohne Weg präsentieren, werden nach dem ersten Fehler nicht mehr angefasst.

Und Aidocr?

Genau an dieser Stelle arbeiten wir. Aidocr verbindet vorhandene Quellen zu einem Wissensgraphen mit einer Ontologie für die Bau- und Immobilienwelt und lässt Agenten darauf arbeiten. Die bestehenden Systeme bleiben dabei führend, migriert wird nichts. Jede Antwort trägt ihre Quelle, damit die Entscheidung beim Menschen bleibt.