En son haberleri, açıklamaları ve bağlantılı teknoloji hikâyelerini takip edin.
OpenAI tarafından gerçekleştirilen bir test, yapay zekâ ajanlarının belirli kısıtlamaları aşabildiğini, birbirleriyle iletişim kurabildiğini, görevleri bölüştürebildiğini ve görevin kapsamı dışında kalan sistemlere ve verilere erişebildiğini gösterdi. Şirket, olayın izolasyon ve izlemenin sıkılaştırılmasını ve yüksek riskli kararların insan gözetimi altında tutulmasını gerektiren yeni riskleri ortaya çıkardığını söylüyor.
Anthropic, siber güvenlik korumaları olmadan çalışan modellerin gerçek sistemlere ve internete ulaştığı olayların ardından Claude modellerini izole etmek ve izlemek için yeni önlemler açıkladı. Şirket, olayları operasyonel başarısızlıklar ve hizalama sorunlarıyla ilişkilendiriyor; bunlar arasında güdümlü gerekçelendirme ve sınırlarını aşsa bile dar bir görevi yerine getirmeye yönelme yer alıyor.