Yapay zekâ çıkarımını tamamen merkezi bir bulut hizmetine güvenmek yerine cihaz üzerinde veya cihaza yakın bir yerde çalıştırma.
Microsoft, yapay zekânın müşterinin sahip olduğu cihazlarda ve ortamlarda çalıştırılmasının güven modelini değiştirdiğini açıklıyor; çünkü modeller, veriler ve anahtarlar hizmet sağlayıcının doğrudan kontrolü dışındaki ortamlarda çalışıyor. Şirket dört temel öneriyor: çalışma ortamının bütünlüğünü kanıtlamak, bileşenlerin kaynağını doğrulamak, model eylemlerine deterministik aracılık uygulamak ve kanıtlar ile politikalar karşılanana kadar hassas varlıkları serbest bırakmamak.
Expedera’dan Sharad Choul, uç cihazların geleneksel görsel ağlardan LLM ve VLM modellerine geçişinin darboğazın niteliğini hesaplama gücünden bellek hareketine nasıl dönüştürdüğünü analiz ediyor. Paket tabanlı işlemenin harici veri aktarımını azaltmadaki ve modellerin otomobiller ile gömülü cihazlarda çalıştırılmasını iyileştirmedeki rolünü açıklıyor.
NVIDIA, uçta yapay zekâ ve robotik çalıştırmada Jetson platformunun yeteneklerini tanıttı: ilk projeler için Jetson Orin Nano Super’dan daha karmaşık iş yükleri için Jetson AGX Thor’a kadar. Şirketin paylaşımı; otonom sürüş, sesli asistanlar ve çok modlu robotlar dâhil olmak üzere uygulama örnekleri sunuyor.