Yapay zekâ yongaları içinde veri paylaşan bileşenlerin sayısı arttıkça, bu verilerin yönetimi artık yalnızca yazılımın sorumluluğunda değil. Bir veri hızlandırma birimi belleğe veri yazıp merkezi işlem birimi bu veriyi okuduğunda veya bileşenler ortak kontrol bilgilerini paylaştığında, yazılım verinin hangi kopyasının en güncel olduğunu bilmek zorunda. Makale, bellek tutarlılığı kullanılarak bu görevin daha büyük bir bölümünün donanıma aktarılmasının yazılımın karmaşıklığını, koordinasyon hatalarını ve sistem geliştirme zorluğunu azaltabileceğini açıklıyor.
Makale, Semiconductor Engineering'de sponsorlu blog formatında yayımlanmış ve Arteris'te ürün yönetimi ve pazarlamadan sorumlu direktör, tutarlı bağlantı ağları ve kalıplar arası iletişimden sorumlu Ashley Stevens tarafından kaleme alınmış. Bu nedenle teknik açıdan yararlı bir açıklama sunuyor; ancak aynı zamanda Arteris ürünlerinin yeteneklerini de tanıtıyor. Bu durum, yaklaşım değerlendirilirken dikkate alınmalı.
Ayrı kopyalardan paylaşılan belleğe
Daha eski sistemlerde işlemciyi ve hızlandırıcıyı görece ayrı tutmak mümkündü. İşlemci, PCIe üzerinden hızlandırıcıyla iletişim kuruyor, verileri hızlandırıcının belleğine kopyalıyor, ardından bir ileti gönderip sonuçları bekliyordu. Birimler daha bağımsız çalışırken bu model uygulanabilirdi; ancak paylaşılan verilerin hacmi ve işlem aşamalarının sayısı arttıkça model daha karmaşık hâle geliyor.
Sorun, özellikle uç yapay zekâ sistemlerinde daha belirginleşiyor. Bu sistemlerde genel amaçlı bir işlemci ile yapay zekâ hızlandırıcısı tek bir SoC içinde birleştirilebilir veya çok kalıplı bir tasarım kapsamında birbirine bağlanabilir. Bu durumda sonuç uygulamaya ulaşmadan önce veriler birkaç aşamadan geçerken, koordinasyon ve kontrol bilgilerinin ilgili bileşenlerin önünde doğru sürümle bulunması gerekiyor.
Bellek tutarlılığı, paylaşılan verilerin ana bellekte veya önbellekte bulunmasına bakılmaksızın, yonga düzeyinde verilerin birleşik bir görünümünü koruyan bir teknolojidir. Yazılımın değişiklikleri izlemesi ve kopyaların güncellenmesini sağlaması yerine, tutarlı bağlantı sistemi ve bellek sistemi bu görevin bir bölümünü üstlenir.
Pratikte ne değişiyor?
Temel sonuç, tüm kopyalama işlemlerinin ortadan kaldırılması veya tüm iletişimlerin aynı hâle getirilmesi değil; heterojen birimlerin çalışmasını koordine etmek için gereken yazılım mantığının miktarının azaltılmasıdır. Donanım paylaşılan verilerin durumunu yönettiğinde yazılım, her bileşenin eski veya güncellenmiş bir kopyayı okuyup okumadığını takip etmek yerine uygulama mantığına ve iş planlamasına daha fazla odaklanabilir.
Bu dönüşüm yazılımı daha basit ve geliştirilmesi daha kolay hâle getirebilir; ayrıca çalışma sırasında tespit edilmesi zor hataları azaltabilir. Makale bu yaklaşımı yazılım geliştirme hızı ve güvenilirliğiyle ilişkilendiriyor; ancak performans veya geliştirme süresindeki iyileşmenin miktarını ölçen rakamlar sunmuyor. Bu nedenle nicel faydalar yalnızca metne dayanılarak kesin kabul edilemez.
İhtiyaç duyulan yerde tutarlılık
Makale, tutarlılığın her veri hareketine uygulanmasının en iyi tasarım olduğunu düşünmüyor. Yüksek bant genişlikli akışlar her zaman bellek tutarlılığına ihtiyaç duymazken, işlem birimleri arasında sistemin çalışmasını koordine eden bilgiler bu mekanizmaya ihtiyaç duyuyor. Bu nedenle, sunulan yaklaşıma göre çoğu yapay zekâ yongası tutarlı ve tutarsız bağlantı ağlarının bir bileşimini kullanıyor.
Tutarlı ağlar, birden fazla işlem birimi aynı veriyi veya durumu paylaştığında kullanılırken tutarsız ağlar ortak bir görünüm gerektirmeyen verileri taşıyabilir. Bu bölümlendirme, tasarımcılara sistemin her yoluna tutarlılık maliyeti yüklemek yerine, kalan iletişimleri bant genişliği, yanıt süresi ve güç tüketimi gereksinimlerine göre optimize etme olanağı verir.
Çok kalıplı tasarımın önemi
Bu fikir, daha büyük yonganın bilgi alışverişi yapan birkaç kalıba bölündüğü çok kalıplı sistemlere de uzanıyor. Makale, bu kalıplar arasındaki tutarlılığın korunmasının, paylaşılan verilerin koordinasyonu sorumluluğunu tamamen yeniden yazılıma aktarmadan heterojen sistemlerin ölçeklendirilmesine yardımcı olabileceğini belirtiyor.
Arteris bu bağlamda portföyünden üç bileşen söz ediyor: Tutarsız iletişim için FlexNoC, gelişmiş yongalarda ve çok kalıplı sistemlerde yüksek performanslı NoC ağlarının tasarımını otomatikleştirmek için FlexGen ve tutarlı bir bağlantı dokusu sağlamak için Ncore. Bu göndermeler, teknolojinin şirket ürünleri içindeki konumunu açıklıyor; ancak yeni bir lansman duyurusu veya pazardaki çözümler arasında bağımsız bir karşılaştırma niteliği taşımıyor.
Bu haber neden önemli?
Yaklaşımın öne çıkan mimari değeri, yazılımı basitleştirmek için daha fazla transistör tahsis edilmesinin artık zorunlu olarak israf sayılmaması. Yapay zekâ sistemleri genel amaçlı işlemcileri, hızlandırıcıları ve çok kalıplı yongaları bir araya getiren tasarımlara yöneldikçe, sorumlulukların donanım ve yazılım arasında dağıtılması ölçeklenebilirliği ve geliştirme kolaylığını etkileyen bir karar hâline geliyor.
Ancak pratikteki soru, tutarlılık için ne kadar ek donanım ayrılmasının uygun olduğu ve alan, güç, tasarım ve doğrulama açısından gereksiz maliyetlerden kaçınmak için bunun nerede durdurulması gerektiği olmaya devam ediyor. Makale, paylaşılan ve paylaşılmayan veriler arasında ayrım yapma ilkesini sunuyor; ancak bu kararı vermek için nicel ölçütler belirlemiyor ve tutarlı bir yaklaşımla daha büyük ölçüde yazılım yönetimine dayanan bir yaklaşımı karşılaştıran test sonuçları veya belgelenmiş bir kullanım örneği sunmuyor.