AWS hat die Vorfilterung von Metadaten für Amazon S3 Vectors angekündigt. Dabei werden Bedingungen wie Mandant, Kategorie, Status oder Datum vor der Ausführung der Ähnlichkeitssuche angewendet, anstatt den Filter parallel zur Auswahl der Ergebnisse zu prüfen. Nach Angaben des Unternehmens kann diese Änderung bei Abfragen mit selektiven Filtern die Anzahl der passenden Vektoren um bis zu das Fünffache erhöhen.
Die Funktion richtet sich an Anwendungen, die nicht einen vollständigen Index durchsuchen, sondern die Ergebnisse auf einen bestimmten Bereich beschränken müssen, etwa auf die Dokumente eines einzelnen Kunden in einem mandantenfähigen System, die Dateien eines bestimmten Benutzers oder Inhalte, die in einer bestimmten Region und unter einer bestimmten Lizenz zulässig sind. Zu den von AWS genannten Anwendungsfällen gehören wissensbasierte Retrieval-Augmented-Generation-Systeme (RAG), agentische Anwendungen, die Dokumentensuche sowie Plattformen für Finanzforschung und juristische Dienstleistungen.
Was ändert sich praktisch?
Im Modus ENHANCED löst der Dienst zunächst den Filter auf und führt anschließend die Vektorsuche ausschließlich innerhalb der passenden Vektormenge aus. Der Modus CLASSIC, der für bestehende Indizes standardmäßig verwendet wird, führt Suche und Filterung gleichzeitig durch. Dadurch kann sich die Anzahl der passenden Ergebnisse verringern, wenn die benötigte Menge nur einen kleinen Teil des Index ausmacht.
AWS veranschaulicht den Unterschied anhand eines Index mit 8 Millionen Support-Tickets, von denen 400 zu einem einzelnen Kunden gehören. Im erweiterten Modus wird innerhalb der Tickets dieses Kunden gesucht, anstatt Kandidaten aus dem vollständigen Index auszuwählen und anschließend die Ergebnisse zu filtern. In einem weiteren Beispiel führte die Aktualisierung eines Index dazu, dass ein auf einen einzelnen Mandanten beschränktes Ergebnis von nur zwei der zehn gewünschten Ergebnisse zu einer vollständigen Ergebnismenge aus den Dokumenten dieses Mandanten wurde.
Funktionen und Einschränkungen
Jeder Vektor kann bis zu 2 Kilobyte filterbare Metadaten enthalten, während eine einzelne Abfrage bis zu 100 Filterbedingungen unterstützt. Die Abfragesprache umfasst Gleichheit, boolesche Logik über $and und $or, numerische Vergleiche, die Zugehörigkeit zu Mengen sowie die Prüfung auf Vorhandensein. Außerdem hat AWS den Operator $startsWith hinzugefügt, um die Suche auf Pfade, URLs oder hierarchische Schlüssel zu beschränken, beispielsweise auf die Suche innerhalb eines Unterordners oder eines Präfixes einer Dokumentkennung.
Bestehende Indizes müssen die Vektoren nicht erneut einlesen, und an den Abfragen sind keine Änderungen erforderlich. Der Benutzer muss jedoch UpdateIndexMode aufrufen, um den Index in ENHANCED zu konvertieren. Neue Indizes in Vektor-Buckets, die am 30. September 2026 oder danach erstellt werden, verwenden den erweiterten Modus, während ältere Buckets und ihre Indizes auf CLASSIC verbleiben, bis der Benutzer die Einstellung ändert.
Warum ist diese Nachricht wichtig?
Der praktische Wert liegt nicht nur in der Erhöhung der Anzahl der Ergebnisse, sondern auch darin, die Wahrscheinlichkeit zu verringern, dass die Vektorsuche die richtigen Dokumente aufgrund des engen erforderlichen Umfangs ausblendet. Dies ist für mandantenfähige Systeme und Agenten wichtig, die sich an eine bestimmte Dokumentenmenge halten müssen, da die Qualität des Abrufs hier von der Kombination aus semantischer Relevanz und korrektem Geltungsbereich abhängt.
Die Funktion ist ohne zusätzliche Kosten in allen kommerziellen AWS-Regionen verfügbar, in denen Amazon S3 Vectors angeboten wird, sowie in den AWS-Regionen in China. Gebühren für Speicher, PUT-Anfragen und Abfragen werden weiterhin nach den üblichen Preisen von S3 Vectors berechnet. Die Grenzen für die Anzahl der Bedingungen und die Größe der Metadaten bleiben Faktoren, die berücksichtigt werden müssen; AWS empfiehlt, große Filter zusammenzuführen oder sie in kleinere Abfragen aufzuteilen, wenn das Limit von 100 Bedingungen überschritten wird.