Google, yapay zeka alanında çığır açacak bir keşif yapmış gibi görünüyor: Büyük dil modellerinin bilgiyi kalıcı olarak saklamasını sağlayan, uyku döngüsüne entegre edilmiş yeni bir öğrenme sistemi geliştirmiş. Bu sistem, ‘yıkıcı unutma’ olarak bilinen soruna kökten çözüm bulma vaadiyle dikkat çekiyor. Bu yenilik, yapay zeka modellerinin sürekli gelişmesine ve daha karmaşık görevleri yerine getirebilmesine imkan tanıyarak, geleceğin teknolojisi için önemli bir kilometre taşı olabilir.
Geleneksel yöntemlerde, yapay zeka modelleri yeni bilgiler öğrendikçe, eski bilgileri silme eğilimindedir. Bu durum, özellikle ChatGPT, Gemini ve Claude gibi modellerde sıkça karşılaşılan bir sorundur. Bu modeller, bir sohbetin sonunda öğrendikleri bilgiyi unutur veya sadece kullanıcıya özel bir bellek girdisi olarak saklar. Bu da, modelin genel bilgi dağarcığını zayıflatır ve performansını olumsuz etkiler. Modelin yeniden eğitilmesi veya ince ayar yapılması gerekirken, bu süreçte de eski bilgiler unutulma riski taşır. Bu ‘yıkıcı unutma’ problemi, yapay zeka geliştiricileri için büyük bir engel teşkil etmektedir.
Google’ın geliştirdiği yeni sistem, bu sorunu çözmek için insan beynindeki hafıza pekiştirme süreçlerinden ilham alıyor. Sistem, modelin çalışmalarını iki aşamaya ayırıyor: Uyanık (aktif) aşama ve uyku aşaması. Uyanık aşamada model, kullanıcılarla etkileşim kurarak yeni bilgileri kısa süreli belleğinde saklar. Ancak bu bilgiler henüz kalıcı parametrelere aktarılmıyor. Uyku aşaması ise modelin öğrendiklerini pekiştirmek ve kalıcı hale getirmek için kritik bir rol oynuyor. Uyku, iki ana bölümden oluşuyor: ‘Hafıza Pekiştirme’ ve ‘Rüya Görme’. Hafıza Pekiştirme sırasında, geçici bellekteki bilgiler kalıcı bir depolama alanına taşınırken, Rüya Görme sırasında model, kendi ürettiği sentetik verilerle alıştırma yaparak hafızasını pekiştiriyor.
Bu benzersiz yaklaşım, Mixture of Experts (MoE) mimarisi kullanılarak uygulanıyor. MoE mimarisi, her işlemde yalnızca ilgili uzman modüllerin çalışmasını sağlayarak, kaynakların verimli bir şekilde kullanılmasını sağlıyor. Ayrıca, uyku sırasında bu yapıya yeni, düşük dereceli uzman modüller eklenebiliyor. Bu da mevcut parametreleri bozmadan kapasiteyi artırıyor. Sistem, insan beyninin REM uykusundaki hafıza oluşumundan ilham alıyor. Model, uyku sırasında kendi eğitim verisini üreterek, farklı bilgi alanlarını bir araya getiriyor ve yeni bağlantılar kuruyor. Bu sayede, yapay zeka modelleri, öğrendiklerini daha etkili bir şekilde pekiştirerek, uzun vadeli performanslarını artırıyor. Bu gelişme, yapay zeka alanında yeni bir dönemin başlangıcı olabilir ve geleceğin yapay zeka modellerinin nasıl geliştirileceğine dair önemli bir yol haritası sunuyor.”}
Bu yaklaşım, yapay zeka modellerinin öğrenme kapasitesini önemli ölçüde artırırken, unutma sorununu da ortadan kaldırma potansiyeli taşıyor.
Google'ın bu teknolojisi, dil modellerinin performansını artırmanın yanı sıra, yapay zeka geliştiricilerine yeni ve etkili öğrenme yöntemleri sunuyor.
Bu inovatif sistem, yapay zeka alanında yapay zeka modellerinin daha akıllı ve verimli hale gelmesine katkıda bulunacak.
Google'ın uyku tabanlı yapay zeka yöntemi, yapay zeka dünyasında önemli bir dönüm noktası olabilir.
Yine de yöntemin ürünlere ne zaman girebileceğine dair bir takvim paylaşılmadı.
Haberde hata mı var?
Bize bildirin