Uç cihazların yalnızca görsel ağlara dayanmak yerine büyük dil modellerini (LLM’ler), görsel-dil modellerini (VLM’ler) ve geleneksel algılama ağlarının yanında üretken yapay zekâ özelliklerini çalıştırmaya geçmesiyle sinirsel yapay zekâ işlem birimlerinin (NPU) tasarımı değişiyor. Expedera’nın baş bilim insanı ve kurucu ortağı Sharad Choul’a göre bu dönüşüm, sorunun merkezini hesaplama işlemlerini en üst düzeye çıkarmaktan veri ve bellek hareketini yönetmeye kaydırıyor; özellikle telefonlarda, otomobillerde ve gömülü ağ geçitlerinde.
Bu içerik Semiconductor Engineering’de sponsorlu blog formatında yayımlandığından, Origin Evolution mimarisiyle ilgili rakamlar ve sonuçlar, bağımsız bir yayıncı testi olarak değil, Expedera’nın işaret ettiği sonuçlar ve deneyler olarak sunuluyor.
Hesaplama darboğazından bellek darboğazına
YOLO algılayıcıları, MobileNet sınıflandırıcıları ve görüntü bölümleme ağları gibi CNN tabanlı görsel iş yüklerinde temel kısıt tarihsel olarak hesaplama gücüydü. Veriler ve ağırlıklar büyük ölçüde yeniden kullanılıyor, çıkarım sırasında yürütme büyük ölçüde durumsuz kalıyordu; bu da hızlandırıcı tasarımının alan ve güç sınırları içinde çarpma ve biriktirme (MAC) işlemlerinin sayısını artırmaya odaklanmasına yol açıyordu.
Expedera, büyük katmanlar yerine çalışmanın paketler hâlinde zamanlanmasının MAC birimlerinin kullanımını iyileştirdiğini ve aktivasyonların harici DDR belleğine hareketini azalttığını belirtiyor. Ancak LLM ve VLM modelleri iş yükünün niteliğini değiştiriyor. Prefill aşaması hâlâ hesaplama açısından yoğun olabilirken, Decode aşaması kısa sürede anahtar-değer önbelleğine (KV cache) erişim, parametrelerin boyutu ve erişim biçimleri tarafından kısıtlanıyor; etkin yeniden kullanım da azalıyor.
Analize göre, başlangıçta paralel ve durumsuz CNN işleme için tasarlanan NPU’lar, transformatörlerin kod çözme işlemleri bellek bant genişliği ve KV cache boyutuyla sınırlanmaya başladığında yalnızca nominal TOPS değeriyle değerlendirilemez.
Transformatör iş yüklerinde paketler
Expedera, paket tabanlı işleme kavramını CNN’lerden transformatör bloklarına ve KV cache erişimine genişletmeyi; donanım ve yazılımı, LLM ve VLM modellerinin davranışına göre birlikte tasarlamayı araştırıyor. Amaç, bu modelleri yalnızca başka bir modelmiş gibi ele almamak.
Yazarın açıklamasına göre mimari; ön işlemler, dikkat ve vektör işlemleri için ayrı işlem bloklarından oluşuyor ve paketler, ağın yapısına ve mevcut yürütme aşamasına göre bu bloklar arasında yönlendiriliyor; aşama Prefill ya da Decode olabilir. Şirket, motorunun tek bir çekirdekte 128 teraflopa, çok çekirdekli yapılandırmalar kullanıldığında ise petaflop düzeyine ölçeklenebildiğini; bellek davranışının tasarımın merkezinde tutulduğunu belirtiyor.
Expedera’ya göre mimari, modellerin yeniden eğitilmesine veya hassasiyet düşürülmesine gerek kalmadan, eğitildikleri biçimde çalıştırılmasını sağlıyor. Şirket ayrıca paket tabanlı işlemenin, Llama 3.2 1B ve Qwen2 1.5B çalıştırılırken alternatif yöntemlerle karşılaştırıldığında harici bellek hareketini %75’ten fazla azalttığını belirtiyor. Şirket, bellekle sınırlı senaryolarda silikonun milimetrekaresi başına binlerce etkin teraflop ve saniyede onlarca token olarak tanımladığı sonuçlardan da söz ediyor.
Bu, uç cihazlar ve otomobiller için ne anlama geliyor?
Çıkarımın yerel olarak çalıştırılması uçtan uca gecikmeyi azaltabilir ve kabin ya da cihaz verilerini bulutun dışında tutabilir. Yazara göre bu durum, kullanıcı deneyimi gereksinimlerinin gizlilik kısıtları ve düzenleyici gerekliliklerle kesiştiği otomobiller ve mobil cihazlarda önem kazanıyor.
Öte yandan, kod çözmenin her adımında KV cache’in DDR veya HBM’e aktarılması, özellikle uç düğümlerde ve araç içi sistemlerde enerji ve maliyet açısından yük oluşturuyor. Expedera, harici aktarımların azaltılmasının ve yerel yeniden kullanımın artırılmasının, belirli bir güç bütçesi içinde saniyede daha fazla token elde edilmesini sağlayabileceğini düşünüyor.
Otomotiv sistem çiplerinin aynı anda algılama, sürücü izleme, bilgi-eğlence ve üretken özellikleri çalıştırması da gerekiyor. Yazara göre CNN ve LLM’leri birlikte temel iş yükleri olarak ele alan bir NPU ailesi, platform tasarımını basitleştirebilir ve ayrı hızlandırıcılara duyulan ihtiyacı azaltabilir; bu, LLM desteğini başlangıçta CNN’ler için optimize edilmiş bir çekirdeğe sonradan eklemekten farklıdır.
Makale, Origin Evolution’ın 2026 Edge AI and Vision Product of the Year Ödülleri kapsamında “En İyi Uç Yapay Zekâ İşlemcisi Fikri Mülkiyeti” ödülünü aldığını belirtiyor. Yazar, bu ödülü yalnızca en yüksek performans göstergelerini artırmak yerine bellek ve güç darboğazlarını ele almanın önemiyle ilişkilendiriyor.
Prefill ve Decode aşamalarının modellenmesi
Choul’a göre mühendislik değeri yalnızca paket kavramında değil, Prefill ve Decode aşamalarının ayrı ayrı modellenip optimize edilmesinde yatıyor. İlk aşama yüksek hesaplama verimi gerektiriyor ve kısmen CNN’lerin davranışına benziyor; ancak daha büyük modellerle çalışıyor. İkinci aşamada ise KV cache okumaları, bellek aktarımı ve her adım için daha küçük hesaplamalar baskın hâle geliyor.
İçeriğe göre paket akışları ve ayrı bloklar, iki aşamasını birbirinden ayıran performans ve bant genişliği modellerinin oluşturulmasına olanak tanıyor. Ayrıca gerçek KV cache erişim biçimlerine göre bellek dizilimleri ve aktarım arabirimlerinin (DRAM veya HBM bant genişliği ile SRAM boyutu ve bölümlendirmesi gibi) incelenmesini sağlıyor. Bunlar, LLM veya VLM özelliklerinin insan-makine etkileşimi arayüzüne ya da sürücü izlemeye bağlandığı, güvenliğe duyarlı otomotiv iş yüklerinde en kötü durum gecikmesini ve bant genişliğinin etkisini analiz etmek için de kullanılabilir.
Yazılım uyumluluğu ve EDA araçlarının rolü
Expedera, Origin Evolution paketinin HuggingFace, Llama.cpp, TVM ve diğer kaynaklardan modeller aldığını; tamsayı ve kayan nokta hassasiyetlerini, karma modları, katmanların birleştirilmesini veya bölünmesini ve çip ya da çok kalıplı yonga düzeyinde birden fazla çekirdeğin merkezi denetimini desteklediğini belirtiyor.
Yazarın görüşüne göre paketler, model kullanıcıları için yeni bir programlama modeli oluşturmuyor; modeller derleyici hattı ve çalışma ortamı içinde dönüştürülüyor. Eğitilmiş modellerin yeniden eğitilmesine veya hassasiyet düşürülmesine gerek kalmadan donanım üzerinde konumlandırılması da mümkün. Bu, her donanım için özel olarak yeniden yazma ihtiyacını azaltabilir ve EDA ile doğrulama ekiplerinin performansı Llama 3 ve Qwen 2 gibi referans uygulamalara karşı test etmesine olanak sağlayabilir.
Makale, bundan sonraki sorunun yalnızca paketlerin CNN’lerle başarılı olup olmayacağıyla sınırlı olmadığını; farklı yapay zekâ iş yükleri genelinde modelleme, zamanlama ve doğrulamayı ne ölçüde basitleştirecekleriyle ilgili olduğunu belirterek sonuçlanıyor. Üretken özellikler otomobillere ve uç cihazlara taşındıkça, bu unsurlar hangi hızlandırıcı mimarilerinin üretime geçeceğini, hangilerinin ise standart sunumları içinde kalacağını belirleyebilir.