Yapay zeka sektörünün önde gelen isimlerinden Anthropic, halka arz sürecinde yaptığı bir revizyonla, teknolojik ilerlemenin potansiyel tehlikeleri hakkında alışılmadık bir uyarı yayınladı. Şirketin S-1A belgesinin risk analizinde, yapay zekanın kendini geliştirebilme (özyinelemeli kendini geliştirme - RSI) eşiğine çok yaklaşabileceği belirtildi. Bu durum, yapay zeka alanında uzun süredir devam eden bir tartışma konusuna yeni bir boyut kazandırıyor.
RSI, yapay zekanın kendi performansını sürekli olarak iyileştirebilmesi ve bu iyileştirmelerin hızla birikerek kontrol edilemeyen bir ilerleme sürecine yol açabilmesi anlamına geliyor. Bu senaryo, yapay zekanın insan kontrolünden koparak, belirlenen hedeflere ulaşma sürecinde istenmeyen sonuçlar doğurabileceği endişesini artırıyor. İddialar, yapay zekanın potansiyel olarak insanlığa zarar verebileceği yönünde bir korkuyu tetikliyor. Bu durum, yapay zeka geliştirme stratejilerini yeniden gözden geçirme ihtiyacını da beraberinde getiriyor.
Anthropic, bu durumu hem bir fırsat hem de bir tehdit olarak değerlendiriyor. Şirket, yapay zekanın, yapay zeka kullanarak kendi yeteneklerini geliştirmesi durumunda, güvenlik risklerinin artabileceğini kabul ediyor. Özellikle, yapay zekanın hızla gelişme hızı, kontrol mekanizmalarının yetersiz kalmasına ve istenmeyen sonuçlara yol açabilir. Bu nedenle, şirket, yapay zeka geliştirme süreçlerinde insan denetimini koruma altına almaya çalışıyor ve Sorumlu Ölçeklendirme Politikası adı altında bir dizi önlem alıyor.