Begriffe

KI-Inferenz: Schlussfolgerung der künstlichen Intelligenz

KI-Inferenz bezeichnet die Ausführung trainierter KI-Modelle, um als Reaktion auf Anfragen Ergebnisse zu erzeugen. Sie kommt in Cloud-Infrastrukturdiensten, Unternehmensservern, Rechenzentren sowie in Chips und Systemen zum Einsatz, die für eine beschleunigte Verarbeitung von Ausgaben entwickelt wurden.

KI-Inferenz ist die Phase, in der ein trainiertes KI-Modell eine Anfrage verarbeitet und Ausgaben erzeugt. Sie unterscheidet sich vom Training des Modells, bei dem der Aufbau seiner Fähigkeiten mithilfe von Daten und Rechenleistung im Mittelpunkt steht.

Wo wird Inferenz eingesetzt?

  • Infrastrukturdienste: Unternehmen wie Modal Labs stellen Ressourcen für den Betrieb von Modellen und rechenintensiven Workloads bereit, ohne dass Server direkt verwaltet werden müssen.
  • Spezialisierte Chips und Systeme: Etched konzentriert sich auf Hardwaresysteme, die im Vergleich zu den vom Unternehmen genannten Alternativen die Inferenz beschleunigen und ihre Kosten senken sollen.
  • Rechenzentren und GPU-Einheiten: Crusoe verkauft Rechenkapazität für den Betrieb von KI-Modellen und vermietet außerdem Flächen und GPU-Einheiten.
  • Unternehmensserver: Sharp hat damit begonnen, Bestellungen für Server von Unternehmen, Behörden und Betreibern von Rechenzentren anzunehmen. Zu den genannten Einsatzbereichen gehören Training und Inferenz.

Warum erfordert der Prozess eine spezialisierte Infrastruktur?

Inferenz beruht auf Rechenressourcen wie Grafikprozessoren, Servern, Arbeitsspeicher, Speicherplatz, Netzwerken, Energie und Kühlung. Die Quellen zeigen, dass Anbieter dieser Dienste gleichzeitig mit einer steigenden Nachfrage und hohen Kosten für den Kauf oder die Anmietung von Rechenkapazität konfrontiert sind, was die Gewinnmargen unter Druck setzen kann.

Inferenz in Produkten und Infrastruktur

Unternehmen konkurrieren in diesem Bereich auf mehreren Ebenen: bei der Entwicklung maßgeschneiderter Chips, beim Bau anpassbarer Server, bei der Bereitstellung von Cloud-Plattformen und bei der Errichtung von Rechenzentren, die große Mengen an GPU-Einheiten betreiben können. KI-Inferenz beschränkt sich daher nicht auf das Modell selbst, sondern erfordert ein vollständiges Betriebssystem.

Was sollte bewertet werden?

  • Antwortzeit: Wie schnell Ausgaben nach dem Absenden einer Anfrage erzeugt werden.
  • Kosten: Die Kosten für die Bereitstellung von Rechenkapazität, Energie, Kühlung und Betrieb.
  • Skalierbarkeit: Die Fähigkeit der Infrastruktur, eine größere Anzahl von Anfragen oder Modellen zu bedienen.
  • Zuverlässigkeit: Die Stabilität von Servern, Plattform und Netzwerken während des Betriebs.

Grenzen der verfügbaren Informationen

Die verfügbaren Quellen enthalten keinen einheitlichen Vergleich aller Inferenzanbieter hinsichtlich Preisen, Leistung oder Marktanteil. Außerdem beziehen sich einige der genannten Zahlen auf angekündigte Ziele, Pläne und Finanzierungen und stellen nicht unbedingt erzielte Betriebsergebnisse dar.