Ausführung von KI-Inferenz auf dem Gerät oder in dessen Nähe, anstatt sich vollständig auf einen zentralen Cloud-Dienst zu verlassen.
Microsoft erläutert, dass der Betrieb von künstlicher Intelligenz auf Geräten und in Umgebungen im Besitz des Kunden das Vertrauensmodell verändert, weil Modelle, Daten und Schlüssel außerhalb der direkten Kontrolle des Dienstanbieters arbeiten. Das Unternehmen schlägt vier Säulen vor: den Nachweis der Integrität der Betriebsumgebung, die Überprüfung der Herkunft der Komponenten, die Durchsetzung einer deterministischen Vermittlung der Modellaktionen und die Freigabe sensibler Ressourcen erst nach Erfüllung der Nachweise und Richtlinien.
Sharad Choul von Expedera analysiert, wie der Übergang von herkömmlichen Bildverarbeitungsnetzwerken zu LLM- und VLM-Modellen bei Edge-Geräten die Art des Engpasses verändert: weg von der Rechenleistung hin zur Speicherbewegung. Er erläutert die Rolle der paketbasierten Verarbeitung bei der Reduzierung des externen Datentransfers und der Verbesserung des Modellbetriebs in Fahrzeugen und eingebetteten Geräten.
NVIDIA demonstrierte die Fähigkeiten der Jetson-Plattform zur Ausführung von künstlicher Intelligenz und Robotik am Edge – vom Jetson Orin Nano Super für erste Projekte bis zum Jetson AGX Thor für komplexere Workloads. Der Unternehmensbeitrag zeigt Anwendungsbeispiele aus den Bereichen autonomes Fahren, Sprachassistenten und multimodale Robotik.