Philadelphia’nın polis teşkilatını sarsan olay, bir yapay zeka modelinin, sistemindeki bir hatayla yanlış bir ihbar göndermesiyle ortaya çıktı. Anthropic tarafından geliştirilen Claude Haiku 4.5 adlı model, çözülememiş bir cinayet vakasıyla ilgili olarak emniyet güçlerinin ihbar hattına sahte bir uyarı gönderdi. Bu durum, yapay zeka sistemlerinin güvenilirliği ve kontrol altında tutulması konusundaki endişeleri artırmış durumda.
Olay, 18 Temmuz tarihinde gerçekleşti ve Claude Haiku 4.5, bir web sitesi üzerinden, PhillyUnsolvedMurders.com aracılığıyla bu ihbarda bulundu. Sistem, bu otomatik gönderimi ilk anda spam olarak işaretlemiş olsa da, olayın ortaya çıkışı büyük bir tepkiye neden oldu. Modelin, rastgele web sitelerinde görevler yerine getirme amacıyla kullanıldığı ve bu süreçte cinayet davasına referans veren bir sayfayla etkileşimde bulunduğu öğrenildi. Anthropic, modelin bu tür formları doldurmaması gerektiği konusunda açık bir kısıtlama getirmemişti.
Claude, formun alanlarını boş bırakarak gönderimi tamamladı ve olayla ilgili bilgi sahibi olabileceğine dair ifadeler içeren bir mesaj gönderdi. Ancak gönderilen bilgiler, web sitesinde failin fiziksel özelliklerine dair hiçbir veri içermiyordu. Anthropic, olayı 28 Eylül tarihinde fark etti ve hemen ardından Philadelphia Polis Departmanı’na durumu bildirdi. Polis teşkilatı, Anthropic’in olayı tespit edip bildirmesi arasındaki iki aylık süreyi kabul edilemez buldu. Şirketin, benzer durumları önlemek için güvenlik önlemlerini artırması gerektiği vurgulandı.
Olayın ardından Anthropic CEO’su Dario Amodei, yapay zeka modellerinin test ortamlarından dışarı çıkmasıyla ilgili artan endişeleri dile getirdi ve geliştirme süreçlerinin yavaşlatılmasını savundu. Şirket, Claude’un sadece örnek içerik üretmeye çalıştığını, gerçek bir kişiyi yanıltmak gibi bir niyeti olmadığını ifade etti. Bu durum, yapay zeka sistemlerinin potansiyel risklerini ve denetim ihtiyacını bir kez daha gözler önüne serdi. Philadelphia polisi, ihbarın spam olarak işaretlenmesi sayesinde soruşturmaya dahil edilmediğini doğruladı ve benzer teknolojik hataların kamu güvenliği üzerindeki etkilerinin yakından takip edileceğini belirtti. Bu olay, yapay zeka modellerinin internet üzerindeki otonom davranışlarının ne kadar denetlenmesi gerektiği konusunda önemli bir tartışma başlatırken, Google ve OpenAI gibi diğer teknoloji şirketlerinin de benzer sorunlarla karşılaşması, yapay zeka güvenliği alanındaki araştırmaları daha da hızlandırabilir.