Rehberler
Retrieval-Augmented Generation (RAG) Rehberi: Kavram, Bileşenler ve Değerlendirme
Retrieval-Augmented Generation (RAG), belgeleri ve kullanıcı sorgularını vektör yerleştirmelerine dönüştüren, ardından anlamsal olarak en yakın belgeleri modelin bağlamına ekleyen bir yöntemdir. Bu rehber; kavramı, çok modlu uygulamalardaki ve ajanlardaki rollerini, filtreleme ile izleme ve değerlendirmenin önemini ve kaynaklarda belirtilen sınırlamaları açıklar.
Retrieval-Augmented Generation (RAG) veya retrieval destekli üretim, belgeleri ve kullanıcı sorgularını vektör yerleştirmelerine dönüştüren, ardından anlamsal olarak en yakın belgeleri arayıp üretimden önce modelin bağlamına ekleyen bir yöntemdir. Böylece sistem; modelin eğitim verilerinin dışındaki belgeler, destek kayıtları, ürün ayrıntıları, kurum içi bilgi ve kod tabanı bağlamı gibi bilgileri kullanabilir.
RAG nasıl çalışır?
Temel fikir, içeriği ve sorguları vektör temsillerine dönüştürmek, ardından sorguya en yakın öğeleri almak için anlamsal arama kullanmaktır. Sonuçlar daha sonra bağlam ve akıl yürütme sağlamak üzere üretici bir modele aktarılır.
- Belgeleri ve kullanıcı sorgularını vektör yerleştirmelerine dönüştürme.
- Anlamsal olarak en yakın belgeleri arama.
- Alınan sonuçları modelin bağlamına ekleme.
- Alınan bağlama dayanarak yanıt üretme; sonuç kalitesinin alma işleminin uygunluğu ve verilerin doğruluğuyla ilişkili olması.
RAG nerelerde kullanılır?
Kaynaklar, RAG’in belge arama, kurum verilerine dayalı sohbet robotları, bilgi tabanları, aracı uygulamaları, kod tabanı araması, finansal araştırma platformları ve hukuk hizmetlerinde kullanıldığını belirtir.
RAG diğer araçlarla da birleştirilebilir. Ajan, bir araca veya veriye erişmek için MCP’yi kullanabilir, projeye özgü talimatları uygulamak için Skills’i izleyebilir ve destekleyici bağlamı almak için retrieval’dan yararlanabilir. Kaynağa göre bu bileşenler zorunlu olarak birbirinin alternatifi değildir; tek bir iş akışında birbirini tamamlayan roller üstlenebilirler.
Çok modlu ve yerel retrieval
Google, metinleri, görselleri, sesi, videoyu ve kodu birleşik bir temsil uzayına yerleştiren çok modlu bir yerleştirme modeli olan EmbeddingGemma 2’yi duyurdu. Şirket, modelin anlamsal arama, retrieval ve RAG uygulamalarını verileri harici sunuculara göndermeden cihazlarda yerel olarak oluşturmayı hedeflediğini belirtiyor.
- Model 740 milyon parametre içerir ve 8 bin tokene kadar bağlamı destekler.
- Duyuruya göre 5,5 dakikaya kadar ses, 29 görsel veya 58 video karesini destekler.
- Çıktı vektörleri 768 boyuttan 512, 256 veya 128 boyuta küçültülebilir. Google, bunun vektör veritabanlarında depolama alanı ve bellek tüketimini altı kata kadar azaltabileceğini belirtiyor.
- Google, modelin bir medya kitaplığında metin veya görselle arama yapmak ya da metin veya ses sorgusuyla videodaki anları belirlemek için kullanılabileceğini belirtiyor.
- Belirtilen performans ve bellek rakamlarının kaynağı Google’dır; verilen kaynaklarda bunları doğrulayan bağımsız test sonuçları yer almamaktadır.
Arama öncesi meta veri filtreleme
AWS, Amazon S3 Vectors’a benzerlik aramasından önce meta verilerin önceden filtrelenmesini ekledi. ENHANCED modunda kiracı, kategori, durum veya tarih gibi koşullar önce uygulanır, ardından eşleşen vektör kümesi içinde vektör araması gerçekleştirilir.
- AWS, özelleştirilebilir filtrelere sahip sorgularda özelliğin eşleşen vektör sayısını beş kata kadar artırabileceğini belirtiyor.
- Her vektör, filtrelenebilir 2 KB’a kadar meta veri taşıyabilir.
- Maddeye göre tek bir sorgu en fazla 100 filtre koşulunu destekler.
- Filtreleme; eşitlik, mantıksal işlemler, sayısal karşılaştırmalar, küme üyeliği, varlık kontrolü ve startsWith operatörünü içerir.
- Mevcut dizinlerin UpdateIndexMode aracılığıyla ENHANCED moduna dönüştürülmesi gerekir; duyuruya göre vektörlerin yeniden eklenmesi gerekmez.
Bu, çok kiracılı sistemlerde veya aramanın belirli bir belge kümesiyle sınırlandırılması gereken durumlarda önemli olabilir. Ancak gerçek sonuç veri türüne, dizin yapılandırmasına ve filtrelerin niteliğine bağlı kalır; verilen kaynaklar her uygulama için genel bir garanti sunmamaktadır.
Ajan uygulamalarında RAG
Retrieval, üretim ve araç çağırmayı bir araya getiren uygulamalarda hata yalnızca nihai metinde ortaya çıkmayabilir. Yanlış veritabanının seçilmesi, uygun olmayan belgelerin alınması veya istenen kapsamın dışındaki bir kaynağın kullanılması da hataya yol açabilir.
Kaynaklardan birinde bahsedilen bir Rust kütüphanesi olan Rig, belgeleri ve kullanıcı sorgularını vektör yerleştirmelerine dönüştürerek ve anlamsal olarak en yakın belgeleri modelin bağlamına eklemek üzere arayarak RAG’i desteklediğini açıklar. Metin ayrıca veritabanı entegrasyonlarından ve vektör depoları için soyutlamalardan söz eder; doğrudan desteklenmeyen bir veritabanı kullanıldığında vektör deposu arayüzünün uygulanabileceğini belirtir.
Bir RAG sistemi nasıl değerlendirilir?
Kaynaklar, yalnızca nihai yanıtı incelemenin yeterli olmadığını vurgular. Alma işlemi, araçlar, bağlam ve üretim dâhil olmak üzere yanıta götüren yol değerlendirilmelidir.
- Vektör ve anahtar kelime aramalarını ve alınan verileri kaydetme.
- Ajanın çağırdığı araçları ve kararların sıralamasını izleme.
- Uygun ölçütler mevcut olduğunda yanıtın uygunluğunu, eksiksizliğini ve olgusal doğruluğunu ölçme.
- Şema doğruluğu, araç bağımsız değişkenleri, alıntı kimlikleri ve yetkilendirme uygulaması için deterministik kontroller kullanma.
- Açık uçlu veya belirsiz görevlerde LLM-as-a-judge yaklaşımını dikkatle kullanma; çünkü bu yaklaşım farklı sonuçlar verebilir veya belirli hataları tespit edemeyebilir.
- Test verileri oluştururken ve ölçütleri kalibre ederken insan incelemesi ve alan uzmanlığı ekleme.
- Kullanıcılar tarafından bildirilen başarısızlıkları regresyon testlerine yeni örnekler olarak dönüştürme.
Elastic’in deneyimi, 20 ila 50 test örneğinden oluşan küçük bir kümeyle başlanabileceğini belirtir; ancak bu sayının her uygulama için sabit ve genel bir ölçüt olmadığı konusunda uyarır.
Sürümlerin ve değişikliklerin yönetimi
Bir RAG uygulamasının sürümlenmesi yalnızca model ağırlıklarıyla sınırlı değildir. İstemler, dizin, yerleştirme modeli, parçalama ve yeniden sıralama hattı, çalışma ayarları, veriler ve araç sözleşmeleri de değişebilir.
Materyallerden biri; uygulama sürümü, model sürümü, istem sürümü, dizin sürümü, yerleştirme sürümü, çalışma ayarları ve değerlendirme kümesi gibi birlikte test edilen bileşenlerin referanslarını içeren bir sürüm bildirimi oluşturmayı önerir. Ayrıca retrieval’dan üretime ve çıktıların doğrulanmasına kadar tüm yol üzerinden testler çalıştırılmalıdır.
Bu uygulama birebir yeniden üretilebilirliği garanti etmez; çünkü harici hizmetler değişebilir ve üretim süreci deterministik olmayabilir. Ayrıca retrieval dizini veya yolun başka bir bileşeni değişmişse eski bir uygulamaya geri dönmek yeterli değildir. Bu nedenle uyumlu bağımlılıklar, veriler ve retrieval ayarları sürümün bir parçası olarak ele alınmalıdır.
Bilinmesi gereken sınırlamalar
- Yanıt kalitesi yalnızca üretici modele değil, alınan belgelerin uygunluğuna ve eksiksizliğine de bağlıdır.
- Yanlış bir kaynağın veya veritabanının seçilmesi nedeniyle retrieval başarısız olabilir.
- Model performansı ve bellek ölçümleri üretici şirket tarafından sağlanabilir ve bağımsız bir teste eşdeğer değildir.
- LLM-as-a-judge nihai bir referans değildir; değişkenlikten veya değerlendirici yanlılığından etkilenebilir.
- Sınırlı bir test kümesini geçmek, nadir hataların veya güvenlik kusurlarının bulunmadığını kanıtlamaz.
- Verilen kaynaklar, tüm uygulamalar için tek bir sonuç veya en iyi RAG mimarisi tanımlamamaktadır.
Sonuç
RAG, belgelere veya diğer kaynaklara dayalı alınan bağlamı modele ekleyen sistemler oluşturmak için kullanılan bir yaklaşımdır. Anlamsal arama, bilgi tabanları, ajanlar ve kod aramasındaki yararı öne çıkar; çok modlu retrieval veya yerel çalışmayla genişletilebilir. Ancak güvenilir bir sistem oluşturmak, yalnızca yerleştirmeler ve bir dizin oluşturmaktan fazlasını gerektirir: arama kapsamı sınırlandırılmalı, retrieval ve araçlar izlenmeli, tüm görev değerlendirilmeli ve model, dizin, yerleştirmeler ile ayarlar birlikte sürümlenmelidir.