Anleitungen

Leitfaden zu Retrieval-Augmented Generation (RAG): Konzept, Komponenten und Bewertung

Retrieval-Augmented Generation (RAG) ist ein Ansatz, der Dokumente und Benutzeranfragen in Vektoreinbettungen umwandelt und anschließend semantisch ähnliche Dokumente abruft, um sie dem Kontext des Modells hinzuzufügen. Dieser Leitfaden erläutert das Konzept, seine Rolle in multimodalen Anwendungen und Agenten sowie die Bedeutung von Filterung, Nachverfolgbarkeit und Bewertung und beschreibt die von den Quellen genannten Einschränkungen.

Retrieval-Augmented Generation (RAG) bezeichnet einen Ansatz, der Dokumente und Benutzeranfragen in Vektoreinbettungen umwandelt, anschließend semantisch ähnliche Dokumente sucht und sie dem Modellkontext vor der Generierung hinzufügt. Dadurch kann das System Informationen außerhalb der Trainingsdaten des Modells verwenden, etwa Dokumente, Supportverläufe, Produktdetails, internes Wissen und den Kontext einer Codebasis.

Wie funktioniert RAG?

Die grundlegende Idee besteht darin, Inhalte und Anfragen in Vektorrepräsentationen umzuwandeln und anschließend eine semantische Suche durchzuführen, um die der Anfrage am nächsten liegenden Elemente abzurufen. Die Ergebnisse werden danach an ein generatives Modell übergeben, damit es sie für Kontext und Schlussfolgerungen nutzt.

  • Umwandlung von Dokumenten und Benutzeranfragen in Vektoreinbettungen.
  • Suche nach semantisch ähnlichen Dokumenten.
  • Hinzufügen der abgerufenen Ergebnisse zum Modellkontext.
  • Generierung einer Antwort auf Grundlage des abgerufenen Kontexts; die Qualität des Ergebnisses hängt dabei weiterhin von der Relevanz des Abrufs und der Korrektheit der Daten ab.

Wo wird RAG eingesetzt?

Die Quellen nennen den Einsatz von RAG bei der Dokumentensuche, bei auf Unternehmensdaten basierenden Chatbots, in Wissensdatenbanken, agentischen Anwendungen, bei der Suche in Codebasen sowie auf Plattformen für Finanzforschung und juristische Dienstleistungen.

RAG kann außerdem mit anderen Werkzeugen kombiniert werden. Ein Agent kann MCP verwenden, um auf ein Tool oder Daten zuzugreifen, Skills befolgen, um projektspezifische Anweisungen anzuwenden, und Retrieval nutzen, um unterstützenden Kontext abzurufen. Laut Quelle sind diese Komponenten nicht zwangsläufig konkurrierende Alternativen, sondern können in einem gemeinsamen Workflow ergänzende Rollen übernehmen.

Multimodales und lokales Retrieval

Google hat EmbeddingGemma 2 angekündigt, ein multimodales Einbettungsmodell, das Text, Bilder, Audio, Video und Code in einem gemeinsamen Repräsentationsraum abbildet. Nach Angaben des Unternehmens zielt es darauf ab, semantische Suche, Retrieval und RAG-Anwendungen lokal auf Geräten zu ermöglichen, ohne Daten an externe Server zu senden.

  • Das Modell verfügt über 740 Millionen Parameter und unterstützt einen Kontext von bis zu 8.000 Tokens.
  • Laut Ankündigung unterstützt es bis zu 5,5 Minuten Audio, 29 Bilder oder 58 Videoframes.
  • Die Ausgabeverktoren können von 768 Dimensionen auf 512, 256 oder 128 Dimensionen reduziert werden. Google zufolge kann dies den Speicherplatz und den Speicherverbrauch in Vektordatenbanken um bis zu das Sechsfache senken.
  • Google nennt als mögliche Anwendungen die Suche in einer Mediathek per Text oder Bild sowie das Auffinden von Videomomenten anhand einer Text- oder Audioanfrage.
  • Die genannten Leistungs- und Speicherwerte stammen von Google; die vorliegenden Quellen enthalten keine unabhängigen Testergebnisse, die sie bestätigen.

Metadatenfilterung vor der Suche

AWS hat Amazon S3 Vectors um die Vorfilterung von Metadaten vor der Ähnlichkeitssuche erweitert. Im Modus ENHANCED werden Bedingungen wie Mandant, Kategorie, Status oder Datum zuerst angewendet; anschließend erfolgt die Vektorsuche innerhalb der passenden Vektormenge.

  • AWS zufolge kann die Funktion bei Abfragen mit selektiven Filtern bis zu fünfmal mehr passende Vektoren liefern.
  • Jeder Vektor kann bis zu 2 KB filterbare Metadaten enthalten.
  • Eine einzelne Abfrage unterstützt dem Artikel zufolge bis zu 100 Filterbedingungen.
  • Die Filterung unterstützt Gleichheit, logische Ausdrücke, numerische Vergleiche, Gruppenmitgliedschaft, Existenzprüfungen und den Operator startsWith.
  • Bestehende Indizes müssen über UpdateIndexMode in den Modus ENHANCED konvertiert werden; eine erneute Eingabe der Vektoren ist laut Ankündigung nicht erforderlich.

Dies kann in mandantenfähigen Systemen oder in Fällen relevant sein, in denen die Suche auf eine bestimmte Dokumentengruppe begrenzt werden muss. Das tatsächliche Ergebnis hängt jedoch weiterhin vom Datentyp, der Indexkonfiguration und der Art der Filter ab; die vorliegenden Quellen geben keine allgemeine Garantie für jede Anwendung.

RAG in agentischen Anwendungen

In Anwendungen, die Retrieval, Generierung und Tool-Aufrufe verbinden, liegt der Fehler möglicherweise nicht nur im endgültigen Text. Er kann etwa durch die Auswahl einer falschen Datenbank, den Abruf irrelevanter Dokumente oder die Nutzung einer Quelle außerhalb des erforderlichen Geltungsbereichs entstehen.

Rig, eine in einer der Quellen genannte Rust-Bibliothek, beschreibt die Unterstützung von RAG durch die Umwandlung von Dokumenten und Benutzeranfragen in Vektoreinbettungen sowie die Suche nach semantisch ähnlichen Dokumenten, die dem Modellkontext hinzugefügt werden. Der Artikel nennt außerdem Integrationen mit Datenbanken und Abstraktionen für Vektorspeicher sowie die Möglichkeit, die Schnittstelle eines Vektorspeichers zu implementieren, wenn eine Datenbank nicht direkt unterstützt wird.

Wie wird ein RAG-System bewertet?

Die Quellen betonen, dass die Prüfung allein der endgültigen Antwort nicht ausreicht. Bewertet werden sollte der gesamte Pfad, der zu ihr geführt hat, einschließlich Retrieval, Tools, Kontext und Generierung.

  • Protokollierung semantischer und schlüsselwortbasierter Suchen sowie der abgerufenen Daten.
  • Nachverfolgung der vom Agenten aufgerufenen Tools und der Abfolge seiner Entscheidungen.
  • Messung von Relevanz, Vollständigkeit und faktischer Korrektheit der Antwort, sofern geeignete Kriterien verfügbar sind.
  • Verwendung deterministischer Prüfungen für Schema-Korrektheit, Tool-Argumente, Zitations-IDs und die Durchsetzung von Berechtigungen.
  • Vorsichtiger Einsatz von LLM-as-a-judge bei offenen oder unklaren Aufgaben, da die Ergebnisse variieren können oder bestimmte Fehler möglicherweise nicht erkannt werden.
  • Einbeziehung menschlicher Prüfung und Domänenwissen beim Aufbau der Testdaten und bei der Kalibrierung der Metriken.
  • Umwandlung von von Benutzern gemeldeten Fehlerfällen in neue Beispiele für Regressionstests.

Ein Experiment von Elastic nennt als möglichen Ausgangspunkt eine kleine Testsammlung mit 20 bis 50 Fällen und weist darauf hin, dass diese Zahl kein allgemein festgelegter Standard für jede Anwendung ist.

Versions- und Änderungsmanagement

Die Veröffentlichung einer RAG-Anwendung beschränkt sich nicht auf die Modellgewichte. Ändern können sich auch Prompts, Index, Einbettungsmodell, Segmentierungs- und Re-Ranking-Pipeline, Laufzeiteinstellungen, Daten und Tool-Verträge.

Eine der Materialien schlägt vor, ein Release-Manifest zu erstellen, das Referenzen auf gemeinsam getestete Komponenten enthält, etwa Anwendungsversion, Modellversion, Prompt-Version, Indexversion, Einbettungsversion, Laufzeiteinstellungen und Evaluationssatz. Außerdem sollten Tests über den vollständigen Pfad vom Retrieval bis zur Generierung ausgeführt und die Ausgaben überprüft werden.

Diese Praxis garantiert keine buchstäbliche Reproduzierbarkeit, da sich externe Dienste ändern können und die Generierung weiterhin nicht deterministisch sein kann. Auch ein Rollback auf eine frühere Anwendung reicht nicht aus, wenn sich der Retrieval-Index oder eine andere Komponente des Pfads an anderer Stelle verändert hat. Daher sollten kompatible Abhängigkeiten, Daten und Retrieval-Einstellungen als Teil des Releases behandelt werden.

Zu berücksichtigende Einschränkungen

  • Die Qualität der Antwort hängt von der Relevanz und Vollständigkeit der abgerufenen Dokumente ab, nicht allein vom generativen Modell.
  • Retrieval kann aufgrund der Auswahl einer falschen Quelle oder Datenbank fehlschlagen.
  • Leistungs- und Speicherwerte für Modelle können vom Hersteller stammen und sind nicht mit einem unabhängigen Test gleichzusetzen.
  • LLM-as-a-judge ist keine endgültige Referenz und kann durch Variabilität oder eine Verzerrung des Bewertungsmodells beeinflusst werden.
  • Das Bestehen einer begrenzten Testsammlung belegt nicht, dass seltene Fehler oder Sicherheitsmängel ausgeschlossen sind.
  • Die vorliegenden Quellen bestimmen weder ein einheitliches Ergebnis noch eine beste RAG-Architektur für alle Anwendungen.

Fazit

RAG ist ein Muster für den Aufbau von Systemen, die dem Modell aus Dokumenten oder anderen Quellen abgerufenen Kontext hinzufügen. Seine Vorteile zeigen sich bei semantischer Suche, Wissensdatenbanken, Agenten, der Codesuche und auch bei multimodalem oder lokalem Retrieval. Der Aufbau eines zuverlässigen Systems erfordert jedoch mehr als Einbettungen und einen Index: Der Suchbereich muss begrenzt, Retrieval und Tool-Aufrufe müssen nachverfolgt, die vollständige Aufgabe muss bewertet und die Versionen von Modell, Index, Einbettungen und Einstellungen müssen gemeinsam verwaltet werden.