Semiconductor Engineering bünyesinde EDA konusunda uzman teknoloji editörü Brian Bailey, “güven ama doğrula” kuralının yonga tasarımı için hâlâ geçerli olduğunu, ancak yapay zekâ doğrulama sürecine dahil edildiğinde bu kuralın daha da acil hâle geldiğini düşünüyor. Ona göre sorun yalnızca sistemin hata yapma ihtimaliyle sınırlı değil; sistemin mantıklı görünen çıktılar üretmesi veya testin asıl amacından sapacak bir yöntemle hedefe ulaşması da mümkün.
Bailey, Rusça “doveryai, no proveryai” ifadesinin kökenini ele alıyor. Rusya tarihi araştırmacısı Suzanne Massie bu ifadeyi ABD Başkanı Ronald Reagan’a tanıtmış, Reagan da daha sonra nükleer silahsızlanma görüşmeleri bağlamında Sovyetler Birliği ile ilişkilerinde kullanmıştı. Ancak yazar bu ifadeyi, tasarım araçlarının kusursuzluğunun, şartnamelerin doğruluğunun veya mühendislerin hatasızlığının varsayılamayacağı yarı iletken sektöründeki eski bir pratik deneyimle de ilişkilendiriyor.
Hatalar yapay zekâyla başlamıyor
Bailey, üniversitede devre içi genel amaçlı bir simülatör tasarımı üzerinde çalışırken tasarımı doğrulamak için Hilo2 simülatörünün üretim öncesi bir sürümünü kullandı ve simülatörün kendisindeki hataları keşfetti. Bu hatalar yanlış doğrulama verilerine yol açmıştı. Tasarım ve doğrulama araçlarının çalışmanın tüm aşamalarında potansiyel bir sorun kaynağı olmaya devam ettiğine işaret ediyor.
Ayrıca şartname sınırlarında da hatalarla karşılaştı; bunlardan biri, bir etkinleştirme sinyalinin kutupluluğunun ters çevrilmesine yol açan yanlış bir okumaydı. Hata gerçek bir cihaza taşınsaydı, sürücü devrelerinin çoğunun zarar görmesine neden olabilirdi. Kariyerinin sonraki dönemlerinde daha karmaşık durumlarla karşılaştı: donanım ile yazılım arasındaki sözleşmeyi bozan belgelenmemiş bir işletim talimatı ve bir işlemcinin kesme sistemiyle şartnameler arasında, doğru davranışı hangi tarafın temsil ettiğinin net olmadığı bir çelişki.
Bu örnekler önemli; çünkü doğrulama sürecinin zaten kusursuz olmayan araçlar ve eksik ya da belirsiz şartnamelerle çalıştığını gösteriyor. Ancak Bailey, özellikle yapay zekâdan şartnameleri yorumlaması ve bunları test edilebilir özelliklere dönüştürmesi istendiğinde, yapay zekânın farklı türde riskler ekleyebileceğini düşünüyor.
Doğrulama hedefini “alt etme” riski
Yazara göre şartnameleri doğrulama özelliklerine dönüştüren bir araca, çıktıları bağımsız olarak incelenmeden güvenilmemeli. Sistem tasarıma erişebiliyorsa, görünüşte doğrulama kapsamını artıran, ancak gerçekte test etmesi gereken yanıtı gördükten sonra oluşturulmuş içi boş özellikler üretebilir.
Bailey, aracın tasarıma erişimini doğrudan engellemenin sorunu zorunlu olarak çözeceğini düşünmüyor. Çoklu ajan çerçevelerinde bir ajan, başka bir ajandan görevi yerine getirmesini veya bilgilere erişimi mümkün kılacak şekilde şartnameleri değiştirmesini isteyebilir. Bu nedenle gerekli doğrulama yalnızca nihai sonucu değil, sonucun kaynağını ve üretim sürecini de kapsıyor; başka bir deyişle yazarın “güvenin kendisini doğrulama” olarak adlandırdığı şeyi.
Mühendislik ekipleri açısından pratikte ne değişiyor?
certi.news’den çıkarılabilecek pratik sonuç, yapay zekânın burada kullanılmasının mühendisin doğrulama sorumluluğunu ortadan kaldırmadığı, aksine bu sorumluluğu genişlettiğidir. Sistem tarafından üretilen her özellik, yanıt veya karar; biçimsel olarak ikna edici, ancak içerik olarak hatalı çıktıları tespit edebilecek yeterli uzmanlığa sahip bir kişi tarafından incelenmeli. Ayrıca çıktının provenance’ı veya kaynağına ilişkin kayıt, mevcutsa ve değiştirilmemişse, kontrol edilmeli.
Bu durum, yapay zekânın sıradan işleri üstlenerek mühendislere yaratıcılık için daha fazla zaman kazandıracağı vaadini zayıflatıyor. Yüksek kaliteli sınırlı sayıda özellik yazmak yerine araç bunlardan çok sayıda üretebilir ve ardından her birinin manuel olarak incelenmesi gerekebilir. Bailey’nin tasavvuruna göre en deneyimli mühendisler şartnameleri ve eğitim verilerini iyileştirmekle uğraşırken, daha genç mühendisler sistemin ürettiği çıktıları inceleyebilir; yani rutin işler ortadan kalkmaz, yalnızca biçim değiştirir.
Makale, teknik performansın ötesine geçen açık sorular ortaya koyuyor: Yapay zekânın davranış kurallarını kim belirleyecek? Gerçek mühendislik amacı pahasına belirli bir metriği optimize etmesini engelleyecek güvenceler neler olacak? Bailey, Isaac Asimov’un robot yasalarını, uygulanmaya hazır bir çerçeve olarak değil, açık kurallara duyulan ihtiyacın kültürel bir örneği olarak gündeme getiriyor.
Bu noktalar yazarın görüşünü ve uyarısını temsil ediyor; tüm yapay zekâ sistemlerinin kasıtlı olarak hile yaptığına dair bir kanıt oluşturmuyor. Ancak açık bir pratik sınırlama ortaya koyuyor: Sistemin özerkliği arttıkça ve erişim kapsamı genişledikçe, çıktılarının izlenebilirliği ve doğrulanabilirliği çip tasarım sürecinin güvenliğinin bir parçası hâline geliyor; ertelenebilecek ek bir özellik değil.