가이드

Retrieval-Augmented Generation(RAG) 가이드: 개념, 구성 요소 및 평가

검색 증강 생성(RAG)은 문서와 사용자 질의를 벡터 임베딩으로 변환한 뒤 의미적으로 가장 가까운 문서를 검색해 모델의 컨텍스트에 추가하는 방식입니다. 이 가이드는 개념, 멀티모달 애플리케이션과 에이전트에서의 역할, 필터링·추적·평가의 중요성, 그리고 출처에서 언급한 한계를 설명합니다.

Retrieval-Augmented Generation (RAG), 즉 검색 증강 생성은 문서와 사용자 질의를 벡터 임베딩으로 변환한 다음 의미적으로 가장 가까운 문서를 검색해 생성 전에 모델의 컨텍스트에 추가하는 방식입니다. 이를 통해 시스템은 모델의 학습 데이터 외부에 있는 문서, 지원 기록, 제품 세부 정보, 내부 지식, 코드베이스 컨텍스트 등의 정보를 사용할 수 있습니다.

RAG는 어떻게 작동하나요?

기본 아이디어는 콘텐츠와 질의를 벡터 표현으로 변환한 뒤 의미 검색을 사용해 질의와 가장 가까운 항목을 검색하는 것입니다. 그런 다음 결과를 생성 모델에 전달해 컨텍스트와 추론에 활용합니다.

  • 문서와 사용자 질의를 벡터 임베딩으로 변환합니다.
  • 의미적으로 가장 가까운 문서를 검색합니다.
  • 검색 결과를 모델의 컨텍스트에 추가합니다.
  • 검색된 컨텍스트를 바탕으로 답변을 생성합니다. 단, 결과의 품질은 검색의 적합성과 데이터의 정확성에 좌우됩니다.

RAG는 어디에 사용되나요?

출처에서는 RAG를 문서 검색, 조직 데이터 기반 챗봇, 지식 베이스, 에이전트 애플리케이션, 코드베이스 검색, 금융 연구 플랫폼 및 법률 서비스에 사용하는 사례를 언급합니다.

RAG는 다른 도구와도 결합할 수 있습니다. 에이전트는 MCP를 사용해 도구나 데이터에 접근하고, Skills를 따라 프로젝트별 지침을 적용하며, 검색을 통해 뒷받침되는 컨텍스트를 가져올 수 있습니다. 출처에 따르면 이러한 구성 요소는 반드시 서로 경쟁하는 대안이 아니라 하나의 워크플로에서 상호 보완적인 역할을 수행할 수 있습니다.

멀티모달 및 로컬 검색

Google은 텍스트, 이미지, 오디오, 동영상, 코드를 통합된 표현 공간에 배치하는 멀티모달 임베딩 모델 EmbeddingGemma 2를 발표했습니다. Google은 이 모델이 외부 서버로 데이터를 전송하지 않고 기기에서 의미 검색, 검색 증강 및 RAG 애플리케이션을 구축하는 것을 목표로 한다고 설명합니다.

  • 이 모델은 7억 4천만 개의 파라미터를 포함하며 최대 8,000토큰의 컨텍스트를 지원합니다.
  • 발표에 따르면 최대 5.5분의 오디오, 29개의 이미지 또는 58개의 동영상 프레임을 지원합니다.
  • 출력 벡터를 768차원에서 512, 256 또는 128차원으로 축소할 수 있으며, Google은 이를 통해 벡터 데이터베이스의 저장 공간과 메모리 사용량을 최대 6배 줄일 수 있다고 말합니다.
  • Google은 텍스트나 이미지로 미디어 라이브러리를 검색하거나 텍스트 또는 오디오 질의로 동영상 속 장면을 찾는 데 사용할 수 있다고 설명합니다.
  • 언급된 성능 및 메모리 수치는 Google이 제공한 것이며, 제공된 출처에는 이를 확인하는 독립적인 테스트 결과가 없습니다.

검색 전 메타데이터 필터링

AWS는 Amazon S3 Vectors에 유사도 검색 전에 메타데이터를 사전 필터링하는 기능을 추가했습니다. ENHANCED 모드에서는 테넌트, 카테고리, 상태 또는 날짜와 같은 조건을 먼저 적용한 다음 일치하는 벡터 집합 안에서 벡터 검색을 수행합니다.

  • AWS는 선택적 필터가 있는 질의에서 이 기능이 일치하는 벡터 수를 최대 5배 늘릴 수 있다고 설명합니다.
  • 각 벡터에는 최대 2KB의 필터링 가능한 메타데이터를 포함할 수 있습니다.
  • 자료에 따르면 하나의 질의에서 최대 100개의 필터 조건을 지원합니다.
  • 필터링은 동등성, 논리 연산, 숫자 비교, 집합 포함 여부, 존재 여부 확인 및 startsWith 연산자를 지원합니다.
  • 기존 인덱스는 UpdateIndexMode를 통해 ENHANCED 모드로 변환해야 하며, 발표에 따르면 벡터를 다시 수집할 필요는 없습니다.

이는 멀티테넌트 시스템이나 검색 범위를 특정 문서 집합으로 제한해야 하는 경우 중요할 수 있습니다. 그러나 실제 결과는 데이터 유형, 인덱스 구성 및 필터의 특성에 따라 달라지며, 제공된 출처는 모든 애플리케이션에 적용되는 일반적인 보장을 제시하지 않습니다.

에이전트 애플리케이션에서의 RAG

검색, 생성 및 도구 호출을 결합하는 애플리케이션에서는 오류가 최종 텍스트에만 나타나지 않을 수 있습니다. 잘못된 데이터베이스를 선택하거나, 관련 없는 문서를 검색하거나, 필요한 범위를 벗어난 소스를 사용하는 과정에서도 오류가 발생할 수 있습니다.

출처 중 하나에서 언급된 Rust 라이브러리 Rig는 문서와 사용자 질의를 벡터 임베딩으로 변환하고, 의미적으로 가장 가까운 문서를 검색해 모델의 컨텍스트에 추가하는 방식으로 RAG를 지원한다고 설명합니다. 또한 이 자료는 데이터베이스와 벡터 저장소 추상화와의 통합을 언급하며, 직접 지원되지 않는 데이터베이스를 사용할 때 벡터 저장소 인터페이스를 구현할 수 있다고 설명합니다.

RAG 시스템은 어떻게 평가하나요?

출처는 최종 답변만 검사하는 것으로는 충분하지 않다고 강조합니다. 검색, 도구, 컨텍스트 및 생성 등 답변으로 이어진 전체 경로를 평가해야 합니다.

  • 벡터 및 키워드 검색 작업과 검색된 데이터를 기록합니다.
  • 에이전트가 호출한 도구와 의사 결정 순서를 추적합니다.
  • 적절한 기준이 있을 때 답변의 관련성, 완전성 및 사실 정확성을 측정합니다.
  • 스키마, 도구 인수, 인용 식별자 및 권한 적용의 정확성을 결정론적으로 검사합니다.
  • 개방형 또는 모호한 작업에는 LLM-as-a-judge를 신중하게 사용합니다. 결과가 일관되지 않거나 특정 오류를 발견하지 못할 수 있기 때문입니다.
  • 테스트 데이터를 구축하고 지표를 보정할 때 사람의 검토와 도메인 전문 지식을 추가합니다.
  • 사용자가 보고한 실패 사례를 회귀 테스트의 새로운 예제로 전환합니다.

Elastic의 실험에서는 20~50개의 테스트 사례로 구성된 소규모 세트부터 시작할 수 있다고 설명하지만, 이 수치가 모든 애플리케이션에 적용되는 고정된 일반 기준은 아니라고 주의합니다.

버전 및 변경 사항 관리

RAG 애플리케이션의 릴리스는 모델 가중치에만 국한되지 않습니다. 프롬프트, 인덱스, 임베딩 모델, 청킹 및 재순위화 파이프라인, 실행 설정, 데이터 및 도구 계약도 변경될 수 있습니다.

한 자료에서는 함께 테스트한 구성 요소의 참조를 보존하는 릴리스 매니페스트를 만들 것을 제안합니다. 여기에는 애플리케이션 버전, 모델 버전, 프롬프트 버전, 인덱스 버전, 임베딩 버전, 실행 설정 및 평가 세트가 포함될 수 있습니다. 또한 검색부터 생성 및 출력 검증까지 전체 경로에 걸쳐 테스트를 실행해야 합니다.

이 방식이 완전한 문자 단위 재현성을 보장하지는 않습니다. 외부 서비스가 변경될 수 있고 생성 과정이 여전히 비결정적일 수 있기 때문입니다. 또한 검색 인덱스나 경로의 다른 구성 요소가 변경된 경우에는 이전 애플리케이션으로 되돌리는 것만으로 충분하지 않습니다. 따라서 호환 가능한 종속성, 데이터 및 검색 설정을 릴리스의 일부로 관리해야 합니다.

알아야 할 한계

  • 답변의 품질은 생성 모델뿐 아니라 검색된 문서의 적합성과 완전성에도 좌우됩니다.
  • 잘못된 소스나 데이터베이스를 선택하면 검색이 실패할 수 있습니다.
  • 모델의 성능 및 메모리 지표는 제작사가 제공한 수치일 수 있으며, 독립적인 테스트와 동일하지 않습니다.
  • LLM-as-a-judge는 최종적인 기준이 아니며 평가자의 변동성이나 편향의 영향을 받을 수 있습니다.
  • 제한된 테스트 세트를 통과했다고 해서 드문 실패나 보안 결함이 없다는 뜻은 아닙니다.
  • 제공된 출처는 모든 애플리케이션에 적용되는 단일한 결과나 최적의 RAG 아키텍처를 제시하지 않습니다.

결론

RAG는 문서나 기타 소스에서 검색한 컨텍스트를 모델에 추가하는 시스템 구축 패턴입니다. 의미 검색, 지식 베이스, 에이전트, 코드 검색에서 유용하며 멀티모달 검색이나 로컬 실행으로 확장할 수도 있습니다. 그러나 신뢰할 수 있는 시스템을 구축하려면 임베딩과 인덱스를 만드는 것 이상이 필요합니다. 검색 범위를 제어하고, 검색과 도구를 추적하며, 전체 작업을 평가하고, 모델·인덱스·임베딩·설정을 함께 버전 관리해야 합니다.