Florent Daudens Kontrolden çıkan yapay zekanın hacklediği girişimde çalıştım: Bu, bir uyarıdan çok daha fazlası
ChatGPT'nin deneysel bir sürümü, nasıl oldu da kontrollü test ortamından kaçıp internete ulaştı ve rakip bir girişime karşı başarılı ama tamamen izinsiz bir siber saldırı gerçekleştirdi?
OpenAI'ın geçen hafta gerçekleştirdiği ve "emsalsiz bir siber vaka" diye nitelenecek şekilde sonuçlanan güvenlik testi sırasında bunlar yaşandı.
Henüz yayımlanmamış GPT-5.6 Sol'un da dahil olduğu yapay zeka modelleriyle desteklenen otonom ajan, kendisine yapılan siber güvenlik sınavındaki soruları cevaplamak yerine, siber güvenlik önlemlerinin test sırasında gevşetilmesinden yararlandı, sanal sınav odasından kaçtı ve cevapları aramak üzere hacklediği başka bir yapay zeka şirketinin sistemlerine sızdı.
Kabul etmek gerekir ki bu olay herhangi bir nükleer kod içermiyordu. Yine de bu, ciddi bir güvenlik zafiyetiydi.
Ve her iyi hikayede olduğu gibi burada da bir ters köşe var. Hugging Face saldırıyı tespit etti... ve yapay zeka destekli izleme sisteminin yardımıyla izinsiz girişi püskürttü.
Hugging Face'in güvenlik ekibi, saldırı sırasında kaydedilen 17 bini aşkın olayı analiz etmek ve neler yaşandığını anlamak için önce kapalı kaynak kodlu modellere baktı ki bunlar kullanıcıların isteklerini gönderdiği harici sunucularda çalışıyor.
Sağlayıcıların güvenlik sistemleri bu istekleri engelledi. Paylaşılan içeriğin doğası nedeniyle, gerçek bir olayı inceleyen savunmacılarla yardım arayan saldırganları güvenilir biçimde birbirinden ayırt edemediler.
Bunun üzerine ekip, bir Çin şirketinin geliştirdiği açık kaynak kod ağırlıklı GLM 5.2 modelini çalıştırdı. Böylece modeli kendi altyapılarında çalıştırabildiler, hassas saldırı verilerini içeride tutabildiler ve en önemlisi, kontrol etmedikleri güvenlik önlemleri tarafından engellenmekten kaçındılar.
Yapay zeka aynı olayda hem saldırıyı hem de savunmayı güçlendirdi.
Bu paradoks önemli. İzinsiz girişi mümkün kılan teknoloji, onu durdurmaya da yardımcı oldu.
Bu bölüm, konuyla........
