用語
検索拡張生成(RAG)
検索拡張生成は、モデルの学習データ外にあるソースから関連情報を取得し、生成を支えるコンテキストとして提供する手法です。関連資料では、セマンティック検索、ナレッジベース、エージェントアプリケーション、ドキュメントやコードベースの検索での利用が示されています。
検索拡張生成(RAG)は、モデルの学習データ外にあるソースから関連情報を取得し、それを生成プロセスを支えるコンテキストとして提供する手法です。
どのように利用されるか
- ドキュメントからのセマンティック検索と情報検索。
- 検索と生成に基づくナレッジベースの支援。
- 生成または推論の前に、AIエージェントへコンテキストを提供。
- コードベース、ファイル、マルチモーダルコンテンツの検索。
検索品質の重要性
RAGアプリケーションの品質は、最終的なテキストだけで決まるわけではありません。誤りは、不適切なデータベースの選択、関連性の低いドキュメントの取得、不適切な範囲フィルターの適用によって生じる可能性があります。そのため、関連資料では、検索処理、取得データ、再ランキング、呼び出されたツールを追跡し、検索から生成までの完全な経路を評価することが推奨されています。
フィルタリングと範囲
メタデータフィルターは、類似性検索の前に適用して、結果を特定のテナント、カテゴリ、ステータス、または範囲に限定できます。AWSは、このアプローチがRAGやドキュメント検索などのアプリケーションを対象としており、特に目的のコレクションがインデックスのごく一部を占める場合に有用だと説明しています。
より広いワークフローにおけるRAG
RAGは、同じシステム内の他のツールと統合される場合があります。GitHubで公開された記事によると、エージェントはMCPを使用してツールやデータにアクセスし、Skillsに従ってプロジェクト固有の指示を適用し、RAGを利用して補助的なコンテキストを取得できます。資料は、これらのコンポーネントのいずれかが他のコンポーネントを不要にすることを示していません。
評価と運用
- 完全な経路の評価: モデル呼び出しだけでなく、検索、生成、出力の検証をテストする。
- コンポーネントの追跡: バージョンをインデックス、埋め込みモデル、検索設定、プロンプト、実行設定に関連付ける。
- テストの多様化:通常の質問、過去の失敗、曖昧なケース、根拠が不足しているケースを含める。
- 指標の組み合わせ: 明確なルールがある場合は決定論的なチェックを使用し、判断をルールに還元しにくい場合は人手によるレビューまたは意味評価を組み合わせる。
推論できる範囲の限界
限られた結果や大規模言語モデルによる判断だけでは、あらゆるケースにおけるRAGアプリケーションの品質を証明するには不十分です。また、検索モデルやインデックスの適合性は、データの種類、求められる検索精度、ハードウェアの制約、独立したテストの結果に左右されます。提供された資料には、RAGソリューションの一般的な順位付けや包括的な比較は含まれていません。