Yapay zeka teknolojisinin hızla geliştiği bu dönemde, MiniMax tarafından geliştirilen M3.1 Flash modelinin, özellikle Artificial Analysis tarafından uygulanan benchmark testlerinde gösterdiği olağanüstü başarı, iddialarla birlikte büyük bir merak uyandırmış durumda. Modelin, test sorularını önceden öğrenmiş olabileceği yönündeki iddialar, yapay zeka performansının objektif değerlendirilmesi konusundaki endişeleri artırıyor.
İddiaya göre, MiniMax şirketi, Artificial Analysis'in Omniscience testinde kullanılan yaklaşık 6 bin sorudan sadece 600 tanesinin kamuya açık olduğunu göz önünde bulundurarak, bu soruları analiz etmiş ve kendi yapay zeka modeline entegre etmiştir. Modelin 1 Haziran'da API üzerinden yayınlanması ve 4 Haziran'da sonuçların açıklanması, bu durumun şüpheli bulunmasına neden oluyor. Ayrıca, model ağırlıklarının 12 Haziran'da kamuoyuna sunulması, bu sürecin hızlandırılmış bir şekilde gerçekleştiği izlenimini yaratıyor.
Bir kullanıcı tarafından yapılan paylaşımlara göre, M3.1 Flash modelinin, test sorularını ezberleme yöntemiyle (benchmaxxing) yüksek performans sergilediği ve bu sayede Artificial Analysis'in sorularına anında ve doğru yanıtlar verdiği öne sürülüyor. Bu durum, modelin genel yeteneklerini geliştirmek yerine, sadece test sorularını ezberlemesine dayalı bir strateji izlediğini gösteriyor. Kullanıcının yaptığı testlerde, modelin kendi kurucusu Dr. Yan Junjie'yi tanımaması ve sürekli olarak yanıltıcı bilgiler üretmesi (hallucinations) tespit edilmiş.
En çarpıcı bulgu, modelin bir Artificial Analysis Omniscience test sorusuna, sorunun anlamını düşünmeden, sadece soruya göre orijinal benchmark yanıtını vermesiydi. Bu durum, modelin gerçek bir akıl yürütme yeteneği yerine, sadece soru-cevap mekanizmasını kullandığını gösteriyor. Bu durum, Artificial Analysis'in test sorularının güvenilirliği konusunda ciddi şüpheler uyandırıyor ve MiniMax'in bu iddiaları doğrulaması gerekiyor. Bu durumun, yapay zeka alanındaki güvenilirliğin sağlanması için önemli bir uyarı niteliğinde olduğu düşünülüyor.