Microsoft bietet die Microsoft Foundry Control Plane als Schicht zur Verwaltung, zum Betrieb und zur Governance von KI-Anwendungen und -Agenten in Unternehmensumgebungen an. Die Plattform richtet sich an Entwickler und KI-Ingenieure und ermöglicht die Überwachung des Agentenbetriebs, die Anwendung von Sicherheitskontrollen und Richtlinien, die Leistungsbewertung sowie die Verwaltung von Flotten – von der Entwicklungsphase bis zur Produktion.
Die Plattform wurde für agentische Systeme entwickelt, die Inferenzprozesse ausführen, Tools aufrufen und auf Grundlage von Daten Aktionen durchführen. Sie kann den Betrieb des Agenten von Anfang bis Ende nachverfolgen, einschließlich Eingaben, Inferenzschritten, Tool-Aufrufen, Ausgaben, Antwortzeit und Kosten. Außerdem unterstützt sie Evaluierungen vor der Produktion und die kontinuierliche Evaluierung des Datenverkehrs in der Produktionsumgebung, um Aufgabenbefolgung, Genauigkeit von Tool-Aufrufen, Sicherheit und Qualität zu messen.
Kontinuierliche Überwachung und Laufzeitkontrollen
Die Foundry Control Plane ermöglicht das Festlegen von Schwellenwerten für Evaluierungen und das Auslösen von Warnungen, wenn Rückgänge auftreten. Dies hilft Teams, mit zunehmender Zahl der Agenten von sporadischen Tests zu kontinuierlicher Überwachung überzugehen. Die Plattform bietet speziell auf agentische Systeme zugeschnittene Evaluierungswerkzeuge, darunter Aufgabenbefolgung, Genauigkeit von Tool-Aufrufen, Absichtserkennung, Quellenverankerung und die Gefährdung durch sensible Daten.
Auf Ausführungsebene lassen sich Eingriffspunkte für Benutzereingaben, Tool-Aufrufe und deren Antworten sowie Ausgaben festlegen. Diese Kontrollen zielen darauf ab, personenbezogene Daten, indirekte Prompt-Injection, ein Abweichen des Agenten von seiner Aufgabe, verbotene Aktionen und Inhaltsrisiken zu erkennen oder zu blockieren. Sie behandeln direkte und indirekte Injection-Anfragen, einschließlich Manipulationsversuchen über mehrere Kontexte hinweg, bevor der Agent die Aktion ausführt.
Nachverfolgung, Sicherheit und Identität
Die Plattform basiert auf OpenTelemetry-Standards, um Agentenprozesse von der Inferenz bis zu Tool-Aufrufen nachzuverfolgen, und kann in Azure Monitor und Application Insights integriert werden, um Abweichungen, Fehler und Leistungsengpässe zu diagnostizieren. Außerdem umfasst sie den AI Red Teaming Agent zur Simulation feindlicher Angriffe und zur Prüfung der Agenten auf Schwachstellen vor der Bereitstellung, einschließlich der Bündelung von Schwachstellen und der Erstellung von Berichten zur Einsatzbereitschaft.
Microsoft Entra Agent ID verleiht jedem Agenten ab der Entwicklungsphase eine dauerhafte Identität. Dadurch können richtlinienbasierte Zugriffskontrollen, bedingte Berechtigungen und Lebenszyklusverwaltung angewendet werden. Versuche, Schutzmechanismen zu umgehen, sowie Bedrohungssignale können in Microsoft Defender zur Untersuchung und Reaktion angezeigt werden, während sich Richtlinien für Datensicherheit und Compliance in Microsoft Purview auf KI-Interaktionen erstrecken, einschließlich Richtlinien zur Verhinderung von Datenverlust, zur Überwachung sowie zur Aufbewahrung von Prompts und Antworten.
Flottenverwaltung und Integration mit externen Systemen
Die Plattform bietet eine einheitliche Oberfläche zur Anzeige von Warnungen zu Sicherheit, Richtlinien, Kosten und Leistung sowie zur Echtzeitverfolgung von Agentenprozessen, Erfolgsraten und Ausgaben. Teams können Agenten, Modelle und Tools projektübergreifend verwalten und den Compliance-Status, blockierte Verhaltensweisen sowie Nutzungstrends Woche für Woche überwachen.
Die Foundry Control Plane beschränkt sich nicht auf Agenten, die in Microsoft Foundry erstellt wurden; sie unterstützt auch Agenten aus Microsoft-eigenen und externen Systemen. Agenten, die außerhalb von Foundry betrieben werden, können über das KI-Gateway registriert werden. Dieses nutzt Azure API Management, um sichere Weiterleitung bereitzustellen, Richtlinien anzuwenden und Messdaten zu erfassen. Externe Agenten können außerdem mit OpenTelemetry kompatible Traces senden, wodurch eine einheitliche Sicht über verschiedene Cloud-Umgebungen und Plattformen hinweg möglich wird.
Preisgestaltung und Abgrenzung zu Agent 365
Die Preisgestaltung der Foundry Control Plane basiert auf der Nutzung und ist mit Überwachungsdiensten, Sicherheitskontrollen und Microsoft-Security-Diensten verknüpft. KI-Evaluierungen werden nach Ein- und Ausgabetokens abgerechnet, während Überwachung und Nachverfolgung als Azure-Protokolle berechnet werden und Sicherheitskontrollen pro Text- oder Bilddatensatz abgerechnet werden.
Microsoft erklärt, dass sich die Foundry Control Plane an Entwickler und KI-Ingenieure richtet und den Schwerpunkt auf detaillierte Nachverfolgung, Evaluierung, Laufzeitkontrollen und Flottenverwaltung legt. Agent 365 richtet sich dagegen an IT- und Sicherheitsadministratoren und konzentriert sich auf Inventarisierung, Zugriffskontrolle, Identitätsverwaltung und Richtlinien auf Unternehmensebene. Beide Produkte stützen sich auf die Sicherheitsfunktionen von Microsoft Entra, Microsoft Defender und Microsoft Purview.