In Teil 5 haben wir mit Hybrid Search und Reranking die Suche so geschärft, dass dein System nicht mehr nur ähnlich klingende Textstellen findet, sondern die richtigen: Vektor- und Stichwortsuche kombiniert, danach ein Reranker, der die Vorauswahl sauber sortiert. Damit hast du eine RAG-Pipeline, die im Betrieb hält. Für die allermeisten Fragen im Mittelstand ist das genug.
Über dieser Pipeline liegen aber zwei Ausbaustufen. Die eine ist eine Leiter aus RAG-Varianten, an deren oberem Ende ein System steht, das selbst entscheidet, ob und wie oft es nachschlägt. Die andere sind Knowledge Graphs und GraphRAG: eine grundlegend andere Art, Wissen zu speichern — nicht als Schnipsel mit Bedeutungsvektor, sondern als Netz aus Objekten und Beziehungen. Diese Folge ordnet beides ehrlich ein, inklusive der unbequemen Wahrheit, dass es für die meisten Betriebe der zweite Schritt ist, nicht der erste.
Die Idee ist älter als jede KI. Schon 1945, vor rund 80 Jahren, entwarf Vannevar Bush im Essay As We May Think mit der Maschine Memex die Grundidee des Hyperlinks, und Jorge Luis Borges beschrieb in Das Aleph einen Punkt, an dem alle Information gleichzeitig abrufbar ist. Genau diesen Punkt für dein Unternehmen zu bauen, ist das Ziel.
Naive, Advanced, Modular: die drei Stufen, die die Fachliteratur wirklich kennt
Viele Berater erzählen von drei RAG-Stufen: naiv, fortgeschritten, agentisch — eingängig, aber falsch zitiert. Das maßgebliche Überblickspapier zu RAG (Gao et al., 2024) unterscheidet Naive RAG, Advanced RAG und Modular RAG. Agentisches RAG kommt darin gar nicht vor; es ist eine spätere, eigenständige Linie. Der Unterschied hilft dir zu verstehen, wo dein System steht.
Naive RAG ist der klassische Ablauf: einmal indexieren, suchen, antworten — im Papier als Retrieve-Read beschrieben. Genau das haben wir zu Beginn dieser Serie gebaut. Die Schwächen benennt die Literatur präzise: mäßige Treffergenauigkeit beim Abruf, Halluzinationen bei der Generierung und Mühe, die Fundstücke sauber in die Antwort einzubinden.
Advanced RAG setzt genau dort an: Vor dem Abruf wird die Frage optimiert, etwa umformuliert, danach werden die Treffer neu sortiert und der Kontext verdichtet. Das ist die Stufe, auf der du nach Teil 4 und 5 stehst — Hybrid Search und Reranking sind Advanced-RAG-Techniken.
Modular RAG ist die dritte Stufe der klassischen Taxonomie: Statt eines festen Ablaufs kombinierst du frei austauschbare Bausteine, anpassungsfähiger und vielseitiger. Für einen Zulieferer heißt das konkret: ein Modul für Zeichnungen, eines für Verträge, eines für Prüfprotokolle, je nach Frage anders verschaltet.
Agentisches RAG: wenn das System selbst entscheidet, ob es nachschlägt
Agentic RAG ist ein separates, jüngeres Konzept (Singh et al., 2025). Die Kurzformel „im Grunde dasselbe, nur mit einem Agenten statt eines Sprachmodells“ greift zu kurz. Klassische RAG-Systeme laufen starr ab; agentisches RAG bettet autonome Agenten in die Pipeline ein, die die Suchstrategie während der Beantwortung steuern — also mitten in der Antwort entscheiden, ob das Ergebnis reicht oder ob anders und tiefer nachgeschlagen wird.
Das Papier nennt vier Muster: Reflection (das System bewertet die eigene Zwischenantwort), Planning (es zerlegt eine Frage in Teilschritte), Tool Use (es greift gezielt auf Werkzeuge und Quellen zu) und Multi-Agent Collaboration (mehrere Agenten teilen sich die Arbeit). Der eigentliche Sprung ist der Wechsel vom starren zum anpassbaren Ablauf.
Ein Beispiel aus dem Vertriebsinnendienst: „Welches Angebot haben wir einem vergleichbaren Kunden mit ähnlichem Volumen zuletzt geschickt, und zu welchen Konditionen?“ Ein starres System sucht einmal und antwortet. Ein agentisches merkt, dass die Antwort über mehrere Dokumente und Mail-Verläufe verstreut ist, sucht getrennt nach Kunde, Volumen und Konditionen und fügt erst dann zusammen — nützlich, aber teurer und langsamer.
Knowledge Graph: Wissen als Netz aus Objekten und Beziehungen
Bis hierher speichern wir Wissen immer gleich: als Textstücke mit Bedeutungsvektor. Ein Knowledge Graph, deutsch Wissensgraph, macht etwas grundlegend anderes. Die gängige Definition (Hogan et al., 2021) beschreibt ihn als Graphen aus Daten, dessen Knoten die interessierenden Objekte sind und dessen Kanten die Beziehungen zwischen ihnen. Fairerweise: dieselbe Arbeit nennt den Begriff umstritten, mit mehreren, teils widersprüchlichen Definitionen.
Statt loser Schnipsel speicherst du ein explizites Netz. In deinem QM-Handbuch etwa: Das Objekt Interne Audits hängt an Abschnitt 8.4, dieser gehört zum QM-System nach ISO 9001 und dieses zum QM-Handbuch. Oder ganz alltäglich: dieses Bauteil steckt in dieser Maschine, diese Norm gilt für dieses Produkt.
Der Begriff in heutiger Form geht auf die Ankündigung des Google Knowledge Graph 2012 zurück, gefolgt von ähnlichen Ankündigungen bei Airbnb, Amazon, eBay, Facebook, IBM, LinkedIn, Microsoft und Uber; bekannte offene Wissensgraphen sind BabelNet, DBpedia, Freebase, Wikidata und YAGO. Der dokumentierte Vorteil gegenüber klassischen Datenbanken: Kanten und Pfade bilden komplexe Beziehungen direkt ab, das Schema muss nicht vorab feststehen, und Abfragen verbinden Objekte über Pfade beliebiger Länge.
Genau deshalb ist das Modell stark, sobald eine Frage mehrere logische Sprünge braucht: „Welcher Mitarbeiter war 2023 bei Kunde X für ein Projekt verantwortlich, in dem ein Vertrag mit einer Force-Majeure-Klausel zum Einsatz kam?“ Für solche Multi-Hop-Fragen sind graphbasierte Verfahren dokumentiert im Vorteil. Wichtig: Multi-Hop und Graph sind keine Gegensätze — ein Graph ist eine Umsetzung von Multi-Hop-Suche, und welche Variante passt, hängt stark vom Anwendungsfall ab.
GraphRAG: beides kombiniert, für eine bestimmte Sorte Frage
GraphRAG verbindet Vektor-RAG und Wissensgraph. Es stammt im engeren Sinn von Microsoft Research (2024) und liegt quelloffen unter MIT-Lizenz vor: eine Datenpipeline, die mithilfe von Sprachmodellen strukturierte Daten aus unstrukturiertem Text extrahiert. Das Feld ist aber nicht Microsoft-exklusiv; die Forschung vergleicht regelmäßig effizientere Systeme wie LightRAG oder HippoRAG.
Microsoft definiert GraphRAG über ein Problem, an dem gewöhnliches RAG scheitert: globale Fragen an einen ganzen Datenbestand, etwa „Was sind die wiederkehrenden Themen in unseren Reklamationen des letzten Jahres?“. Das ist keine Suchaufgabe, sondern eine Zusammenfassung über den gesamten Bestand — die Vektorsuche findet die drei ähnlichsten Schnipsel, hat aber keinen Begriff vom Ganzen.
Der Mechanismus ist zweistufig und wird von einem Sprachmodell gebaut — nicht von einem eigenen, sondern demselben Standard-Modell in einer Extraktionsrolle. Erst leitet es aus den Quelldokumenten einen Objekt-Graphen ab, dann fasst es für Gruppen eng verwandter Objekte, sogenannte Communities, vorab Zusammenfassungen zusammen. Eine globale Frage wird dann nach dem Prinzip Teile-und-fasse-zusammen beantwortet: Jede Community-Zusammenfassung liefert eine Teilantwort, alle zusammen ergeben die Endantwort.
Der belegte Stärkebereich ist eng: globale Sinnfragen über Datenbestände von etwa einer Million Token. Dort verbessert GraphRAG gegenüber einer Vektor-RAG-Basis Vollständigkeit und Vielfalt der Antworten deutlich. Zwei Einschränkungen musst du kennen. Erstens beruht das auf genau zwei Testkorpora, Podcast-Transkripte und Nachrichtenartikel, deren Übertragung auf andere Bereiche die Autoren selbst offen nennen. Zweitens sind die Vorsprünge von 72 bis 83 Prozent Präferenzurteile eines Sprachmodells als Schiedsrichter, keine Messungen faktischer Genauigkeit. GraphRAG halluziniert also nicht nachweislich weniger; es liefert in einer bestimmten Fragensorte bevorzugte Antworten.
Was das kostet, und warum es der zweite Schritt ist
Hier wird es für den Mittelstand entscheidend. Microsoft warnt im eigenen Projekt-Repository ausdrücklich: Die Indexierung von GraphRAG kann teuer werden, man solle die Doku lesen und klein anfangen. Wie teuer, zeigen die Angaben des Herstellers selbst:
- Indexierung: Das volle GraphRAG kostet nach Microsofts eigener Angabe rund das Tausendfache eines reinen Vektorindex — die abgespeckte Variante LazyGraphRAG nur 0,1 Prozent davon.
- Globale Abfrage: Die globale Suche des vollen GraphRAG kostet mehr als das Siebenhundertfache der schlanken Variante.
- Textmenge pro Frage: Bei Microsofts globaler Suche wächst der an das Modell übergebene Text mit der Schwierigkeit der Frage von rund 7.800 auf bis zu 40.000 Token; einfaches RAG und effizientere Graph-Varianten bleiben bei etwa 1.000 Token — grob Faktor 40.
Das sind Herstellerangaben ohne unabhängige Nachprüfung, aber sie zeigen die Größenordnung. Die unabhängige Forschung ist noch nüchterner: Der Benchmark GraphRAG-Bench (Xiang et al., 2025) hält fest, dass GraphRAG bei vielen praktischen Aufgaben schlechter abschneidet als einfaches RAG. Graph-Ansätze punkten bei komplexem Schlussfolgern, übergreifender Zusammenfassung und kreativer Generierung — überall dort, wo Objekte in Beziehung gebracht werden müssen. Bei einfachen Faktenfragen ist klassisches Vektor-RAG gleichwertig oder besser; der Graph schleppt dann überflüssige Information ein und verschlechtert das Ergebnis.
Microsoft beschreibt beide Ansätze als komplementär, nicht als Rangfolge: Vektor-RAG ist eine Bestensuche ohne Blick für die Breite, die globale Graph-Suche eine Breitensuche ohne Blick für die beste Detailstelle; keiner ist generell überlegen. Wann lohnt sich das volle GraphRAG also? Laut Microsoft dann, wenn die extrahierten Objekt- und Beziehungs-Zusammenfassungen einen Wert über das Fragenbeantworten hinaus haben, etwa als Berichte, die gelesen und geteilt werden — wenn der Graph selbst ein Arbeitsergebnis ist. Für einmalige Fragen, explorative Analyse oder laufend eintreffende Daten empfiehlt der Hersteller die schlanke Variante.
Meine ehrliche Einordnung für Betriebe in Aalen und dem Ostalbkreis: Bring zuerst Hybrid Search und Reranking sauber in die Fläche: Das löst den Löwenanteil der teuren Fragen. Einen Wissensgraphen oder GraphRAG setzt du erst obendrauf, wenn deine Fragen wirklich mehrere Sprünge brauchen oder auf den gesamten Bestand zielen und der Aufwand zum Nutzen passt. Die Umsetzung als belastbare Wissensbasis läuft dann über eine Wissens-KI und die dazugehörigen KI-gestützten Prozesse.
Bevor du in GraphRAG investierst, lohnt ein nüchterner Blick auf deine tatsächlichen Fragen. Genau das machen wir in einer KI-Beratung: Wir prüfen an deinen konkreten Fällen, ob sich ein Wissensgraph für dich rechnet, oder ob eine saubere Vektorpipeline längst genügt.
Häufige Fragen
Was ist GraphRAG?
GraphRAG ist ein von Microsoft Research entwickeltes Verfahren, das die klassische Vektorsuche mit einem Wissensgraphen verbindet. Ein Sprachmodell zieht dabei aus deinen Dokumenten ein Netz aus Objekten und Beziehungen und fasst eng verwandte Gruppen vorab zusammen. Gedacht ist es vor allem für globale Fragen an einen ganzen Datenbestand — etwa nach den wiederkehrenden Themen in einem Jahr Reklamationen —, nicht für einzelne Faktenfragen.
Brauchen wir für unser Wissensmanagement einen Knowledge Graph?
Meistens nicht als Erstes. Ein Wissensgraph zahlt sich aus, wenn eure Fragen mehrere logische Sprünge zwischen Objekten machen — also „welcher Mitarbeiter, bei welchem Kunden, mit welcher Klausel“. Bei einfachen Faktenfragen ist eine gut gebaute Vektorsuche mit Reranking gleichwertig oder besser, und deutlich günstiger. Prüfe deshalb erst, welcher Fragetyp bei euch überwiegt.
Was ist der Unterschied zwischen agentischem RAG und GraphRAG?
Zwei verschiedene Achsen. Agentisches RAG betrifft den Ablauf: Das System steuert die Suche dynamisch, kann mehrfach und unterschiedlich nachschlagen, statt einmal starr. GraphRAG betrifft die Speicherform: Wissen liegt als Objekt-Netz mit vorab erzeugten Zusammenfassungen vor. Man kann beides kombinieren, aber es sind unterschiedliche Werkzeuge für unterschiedliche Probleme.
Fazit
Die Ausbaustufen von RAG sind kein Pflichtprogramm, das man von unten nach oben abarbeitet. Die Fachliteratur kennt drei klassische Paradigmen (naiv, fortgeschritten, modular) und mit agentischem RAG eine eigene Linie, in der das System selbst entscheidet, wie oft es nachschlägt. Knowledge Graphs speichern Wissen als Netz aus Objekten und Beziehungen und glänzen, wenn Fragen mehrere Sprünge brauchen. GraphRAG kombiniert beides für globale Fragen, kostet aber nach Herstellerangaben ein Vielfaches und ist einfachem RAG keineswegs generell überlegen. Für die meisten Mittelständler ist es der zweite Schritt, nicht der erste: erst die solide Vektorpipeline in die Fläche, dann gezielt aufrüsten, wo es sich rechnet. Im Finale bauen wir daraus konkrete Anwendungen — den Wissens-Chatbot und den Onboarding-Agenten (Teil 7) — und klären, wann RAG mehr schadet als nützt.