Microsoft는 Foundry Control Plane을 기업 환경에서 AI 애플리케이션과 에이전트를 관리하고 운영하며 거버넌스를 적용하기 위한 계층으로 제공합니다. 이 플랫폼은 개발자와 AI 엔지니어를 대상으로 하며, 에이전트 운영 모니터링, 보안 제어 및 정책 적용, 성능 평가, 구축 단계부터 프로덕션까지의 플릿 관리를 지원합니다.
이 플랫폼은 추론 작업을 수행하고 도구를 호출하며 데이터를 바탕으로 조치를 취하는 에이전트 시스템을 위해 설계되었습니다. 에이전트의 입력, 추론 단계, 도구 호출, 출력, 응답 시간 및 비용을 포함해 에이전트 실행을 처음부터 끝까지 추적할 수 있습니다. 또한 프로덕션 이전 평가와 프로덕션 환경 트래픽에 대한 지속적인 평가를 지원하여 작업 준수, 도구 호출 정확도, 안전성 및 품질을 측정합니다.
지속적인 모니터링 및 실행 중 제어
Foundry Control Plane에서는 평가 기준을 설정하고 성능 저하가 나타날 때 경고를 실행할 수 있어, 에이전트 수가 증가함에 따라 팀이 간헐적인 테스트에서 지속적인 감독으로 전환할 수 있도록 지원합니다. 이 플랫폼은 작업 준수, 도구 호출 정확도, 의도 이해, 출처 기반성, 민감한 데이터 노출을 포함해 에이전트 시스템에 맞춘 평가 도구를 제공합니다.
실행 단계에서는 사용자 입력, 도구 호출 및 도구 응답, 출력에 개입 지점을 설정할 수 있습니다. 이러한 제어는 개인 식별 정보, 간접 프롬프트 인젝션, 에이전트의 작업 이탈, 금지된 작업 및 콘텐츠 위험을 탐지하거나 차단하는 것을 목표로 합니다. 또한 에이전트가 작업을 실행하기 전에 다중 컨텍스트를 통한 조작 시도를 포함해 직접 및 간접 인젝션 요청을 처리합니다.
추적, 보안 및 ID
이 플랫폼은 OpenTelemetry 표준을 기반으로 추론부터 도구 호출까지 에이전트 작업을 추적하며, Azure Monitor 및 Application Insights와 통합하여 편차, 실패 및 성능 병목을 진단할 수 있습니다. 또한 배포 전에 적대적 공격을 시뮬레이션하고 에이전트의 취약점을 검사하는 AI Red Teaming Agent를 포함하며, 취약점을 집계하고 준비 상태에 관한 보고서를 발행합니다.
Microsoft Entra Agent ID는 구축 단계부터 각 에이전트에 영구 ID를 부여하여 정책 기반 액세스 제어, 조건부 권한 및 수명 주기 관리를 적용할 수 있도록 합니다. 보호 기능 우회 시도와 위협 신호는 조사를 위해 Microsoft Defender에 표시할 수 있으며, Microsoft Purview의 데이터 보안 및 규정 준수 정책은 데이터 손실 방지 정책, 감사, 프롬프트 및 응답 보존을 포함해 AI 상호작용에도 적용됩니다.
플릿 관리 및 외부 시스템과의 통합
이 플랫폼은 보안, 정책, 비용 및 성능과 관련된 경고를 확인할 수 있는 통합 인터페이스를 제공하며, 에이전트 작업, 성공률 및 지출을 실시간으로 추적합니다. 팀은 프로젝트 전반에서 에이전트, 모델 및 도구를 관리하고, 규정 준수 상태, 차단된 동작 및 주별 사용 추세를 모니터링할 수 있습니다.
Foundry Control Plane은 Microsoft Foundry에서 구축된 에이전트에만 국한되지 않으며, Microsoft의 자체 시스템과 외부 시스템의 에이전트도 지원합니다. Foundry 외부에서 작동하는 에이전트는 AI 게이트웨이를 통해 등록할 수 있으며, 이 게이트웨이는 Azure API Management를 사용해 안전한 라우팅을 제공하고 정책을 적용하며 측정 데이터를 수집합니다. 외부 에이전트는 OpenTelemetry와 호환되는 트레이스를 전송할 수도 있어, 서로 다른 클라우드 환경과 플랫폼 전반에서 통합된 가시성을 확보할 수 있습니다.
가격 책정 및 Agent 365와의 차이
Foundry Control Plane의 가격은 사용량을 기준으로 하며, 모니터링 서비스, 보안 제어 및 Microsoft Security 서비스와 연계됩니다. AI 평가는 입력 및 출력 토큰에 따라 과금되고, 모니터링과 추적은 Azure 로그로 과금되며, 보안 제어는 텍스트 또는 이미지 레코드별로 과금됩니다.
Microsoft는 Foundry Control Plane이 개발자와 AI 엔지니어를 대상으로 하며, 심층 추적, 평가, 운영 제어 및 플릿 관리에 중점을 둔다고 설명합니다. 반면 Agent 365는 IT 및 보안 관리자를 대상으로 하며, 기업 수준의 레지스트리, 액세스 제어, ID 관리 및 정책에 중점을 둡니다. 두 제품 모두 Microsoft Entra, Microsoft Defender 및 Microsoft Purview의 보안 기능을 활용합니다.