Begriffe
Retrieval-Augmented Generation (RAG)
Retrieval-Augmented Generation ist ein Ansatz, der relevante Informationen aus Quellen außerhalb der Trainingsdaten eines Modells abruft, um einen unterstützenden Kontext für die Generierung bereitzustellen. Die zugehörigen Materialien zeigen den Einsatz in der semantischen Suche, in Wissensdatenbanken, Agentenanwendungen sowie bei der Suche in Dokumenten und Codebasen.
Retrieval-Augmented Generation (RAG) ist ein Ansatz, der relevante Informationen aus Quellen außerhalb der Trainingsdaten eines Modells abruft und sie anschließend als unterstützenden Kontext für den Generierungsprozess bereitstellt.
Wie wird es eingesetzt?
- Semantische Suche und Informationsabruf aus Dokumenten.
- Unterstützung von Wissensdatenbanken, die auf Retrieval und Generierung basieren.
- Bereitstellung von Kontext für KI-Agenten vor der Generierung oder Inferenz.
- Suche in Codebasen, Dateien und multimodalen Inhalten.
Die Bedeutung der Retrieval-Qualität
Die Qualität einer RAG-Anwendung hängt nicht allein vom endgültigen Text ab. Der Fehler kann durch die Auswahl einer ungeeigneten Datenbank, den Abruf irrelevanter Dokumente oder die Anwendung eines unpassenden Bereichsfilters entstehen. Daher empfehlen die Materialien, Suchvorgänge, abgerufene Daten, das Re-Ranking und aufgerufene Tools zu protokollieren und anschließend den gesamten Ablauf vom Retrieval bis zur Generierung zu bewerten.
Filterung und Bereich
Metadatenfilter können vor der Ähnlichkeitssuche angewendet werden, um die Ergebnisse auf einen bestimmten Mandanten, eine Kategorie, einen Status oder einen festgelegten Bereich zu begrenzen. AWS zufolge zielt dieser Ansatz auf Anwendungen wie RAG und die Dokumentensuche ab, insbesondere wenn die benötigte Sammlung nur einen kleinen Teil des Index darstellt.
RAG in einem umfassenderen Workflow
RAG kann mit anderen Tools im selben System integriert werden. Laut dem auf GitHub veröffentlichten Material kann ein Agent MCP verwenden, um auf Tools und Daten zuzugreifen, Skills befolgen, um projektspezifische Anweisungen anzuwenden, und RAG nutzen, um unterstützenden Kontext abzurufen. Die Materialien liefern keinen Beleg dafür, dass eine dieser Komponenten die anderen überflüssig macht.
Evaluierung und Betrieb
- Bewertung des gesamten Ablaufs: Testen von Retrieval und Generierung sowie Überprüfung der Ausgaben, nicht nur des Modellaufrufs.
- Nachverfolgung der Komponenten: Verknüpfung der Version mit dem Index, dem Embedding-Modell, den Retrieval-Einstellungen, den Prompts und den Betriebseinstellungen.
- Vielfältige Tests: Einbeziehung gewöhnlicher Fragen, früherer Fehler, mehrdeutiger Fälle und Situationen mit unzureichenden Belegen.
- Kombination von Metriken: Einsatz deterministischer Prüfungen, wenn klare Regeln vorhanden sind, ergänzt durch menschliche Prüfung oder semantische Bewertung, wenn sich das Urteil nur schwer auf eine Regel reduzieren lässt.
Grenzen der möglichen Schlussfolgerungen
Begrenzte Ergebnisse oder alleinige Bewertungen durch ein Sprachmodell reichen nicht aus, um die Qualität einer RAG-Anwendung in allen Fällen nachzuweisen. Ebenso hängt die Eignung eines Retrieval-Modells oder Indexes von der Art der Daten, der erforderlichen Retrieval-Genauigkeit, den Hardwarebeschränkungen und den Ergebnissen unabhängiger Tests ab. Die bereitgestellten Materialien enthalten keine allgemeine Rangfolge von RAG-Lösungen und keinen umfassenden Vergleich zwischen ihnen.