Terimler
Geri Getirmeyle Zenginleştirilmiş Üretim (RAG)
Geri getirmeyle zenginleştirilmiş üretim, üretimi destekleyecek bağlam sağlamak için modelin eğitim verilerinin dışındaki kaynaklardan ilgili bilgileri getiren bir yöntemdir. İlgili materyaller, bu yöntemin semantik arama, bilgi tabanları, ajan uygulamaları, belge arama ve kod tabanlarında kullanımını göstermektedir.
Geri getirmeyle zenginleştirilmiş üretim (RAG), modelin eğitim verilerinin dışındaki kaynaklardan ilgili bilgileri getiren ve ardından bunları üretim sürecini destekleyecek bağlam olarak sağlayan bir yöntemdir.
Nasıl kullanılır?
- Belgelerde semantik arama ve bilgi getirme.
- Geri getirme ve üretime dayalı bilgi tabanlarını destekleme.
- Üretim veya çıkarım öncesinde yapay zekâ ajanlarına bağlam sağlama.
- Kod tabanlarında, dosyalarda ve çok modlu içeriklerde arama.
Geri getirme kalitesinin önemi
Bir RAG uygulamasının kalitesi yalnızca nihai metne bağlı değildir. Hata; yanlış bir veritabanının seçilmesinden, ilgisiz belgelerin getirilmesinden veya uygun olmayan bir kapsam filtresinin uygulanmasından kaynaklanabilir. Bu nedenle materyaller, arama işlemlerinin, getirilen verilerin, yeniden sıralamanın ve çağrılan araçların izlenmesini; ardından geri getirmeden üretime kadar tüm akışın değerlendirilmesini önermektedir.
Filtreleme ve kapsam
Belirli bir kiracı, kategori, durum veya kapsam içindeki sonuçları sınırlamak için benzerlik aramasından önce meta veri filtreleri uygulanabilir. AWS, bu yaklaşımın özellikle hedeflenen kümenin dizinin küçük bir bölümünü oluşturduğu durumlarda RAG ve belge arama gibi uygulamaları amaçladığını belirtmektedir.
Daha geniş bir iş akışında RAG
RAG, aynı sistemdeki diğer araçlarla entegre olabilir. GitHub'da yayımlanan materyale göre ajan, araçlara ve verilere erişmek için MCP'yi kullanabilir, projeye özgü talimatları uygulamak için Skills'ı izleyebilir ve destekleyici bağlamı getirmek için RAG'den yararlanabilir. Materyaller, bu bileşenlerden herhangi birinin diğer bileşenleri ortadan kaldırdığına dair kanıt sunmamaktadır.
Değerlendirme ve işletim
- Tam akışın değerlendirilmesi: Yalnızca model çağrısını değil, geri getirme ve üretimi test etmek ve çıktıları doğrulamak.
- Bileşenlerin izlenmesi: Sürümü dizin, gömme modeli, geri getirme ayarları, istemler ve işletim ayarlarıyla ilişkilendirmek.
- Testleri çeşitlendirme: Olağan soruları, geçmiş başarısızlıkları, belirsiz durumları ve kanıt eksikliği bulunan durumları dahil etmek.
- Metrikleri birleştirme: Açık kurallar bulunduğunda deterministik kontrolleri; yargının tek bir kurala indirgenmesinin zor olduğu durumlarda ise insan incelemesini veya anlamsal değerlendirmeyi kullanmak.
Çıkarılabilecek sonuçların sınırları
Sınırlı sonuçlar veya yalnızca bir dil modelinin değerlendirmeleri, bir RAG uygulamasının her durumda kaliteli olduğunu kanıtlamak için yeterli değildir. Ayrıca herhangi bir geri getirme modelinin veya dizinin uygunluğu; verilerin türüne, gereken geri getirme doğruluğuna, donanım kısıtlarına ve bağımsız testlerin sonuçlarına bağlıdır. Sunulan materyaller, RAG çözümleri için genel bir sıralama veya aralarında kapsamlı bir karşılaştırma içermemektedir.