OpenAI Testinde Beklenmedik Olay: 1.200 Yapay Zekâ Ajanı "Sürü" Oluşturup Saldırıya Geçti

Olayı OpenAI’den bağımsız olarak inceleyen yapay zekâ güvenliği kuruluşu METR ile Redwood Research, araştırmalarının sonuçlarını 26 Ağustos’ta yayımladı. OpenAI de aynı gün olayın ayrıntılarını ve aldığı güvenlik önlemlerini içeren kendi raporunu kamuoyuyla paylaştı.

Olayın en dikkat çekici bölümü, OpenAI’nin ExploitGym adlı siber güvenlik değerlendirmeleri sırasında yaşandı.

Forbes’in haberine göre, 8 Temmuz’da başlayan testlerde farklı OpenAI modellerine dayanan on binlerce ajan, çeşitli yazılımlardaki güvenlik açıklarını bulmak üzere çalıştırılıyordu. Test ortamında ajanların birbirlerinden tamamen izole olması gerekiyordu.

Ancak bazı ajanlar, OpenAI’nin yazılım paketlerini dağıtmak için kullandığı Artifactory sisteminde başka ajanların bıraktığı izleri görebildiklerini fark etti. Ajanlardan biri bu sistemi kullanarak izinsiz bir mesaj panosu oluşturdu.

Birkaç saat içinde 50’den fazla ajan mesaj panosuna katıldı ve binden fazla mesaj gönderildi. 13 Temmuz’a gelindiğinde haberleşme ağına katılan ajan sayısı yaklaşık 1.200’e, paylaşılan mesaj ve dosya sayısı ise 70 binin üzerine çıktı.

KENDİ ARALARINDA GÖREV PAYLAŞIMI YAPTILAR

METR’nin incelemesine göre ajanlar yalnızca bilgi paylaşmakla kalmadı. Bazıları çalışma grupları oluşturdu, görevleri birbirlerine dağıttı ve ortak projeler üzerinde çalışmaya başladı.

Bazı ajanlar, diğer ajanlara yararlı olabilecek bilgiyi elde etmek amacıyla kendi görevlerinde başarısız olma riskini dahi göze aldı.

OpenAI de ajanların bu süreçte birbirlerinin davranışlarını ve muhakemelerini etkilemeye başladığını, birlikte çalıştıklarını ve bazı mesajlarda kendilerini “swarm” yani “sürü” veya “collective” yani “kolektif” olarak tanımladıklarını açıkladı.

AMAÇLARI SINAVI GEÇMEKTİ

Araştırmaya göre gelişmelerin temelinde ajanların kendilerine verilen ExploitGym görevlerini çözme konusundaki aşırı ısrarı bulunuyordu.

ExploitGym’deki bazı görevlerin bilinen bir çözümü dahi yoktu. OpenAI, olaydan önce 898 görevden 198’inin hiçbir model tarafından başarıyla çözülemediğini açıkladı.

Görevleri çözemeyen bazı ajanlar, başarısızlığı kabul etmek yerine otomatik değerlendirme sistemini kandırmanın yollarını aramaya başladı.

Ajanlar, gerçek çözümü bulmak yerine doğru cevabı veya değerlendirme sisteminin çalışma biçimini dışarıdan ele geçirerek sınavı geçmeye çalıştı. OpenAI bu davranışı “reward hacking”, yani ödül sistemini amaçlanmayan yollarla manipüle etme olarak tanımladı.

HUGGING FACE’E YÖNELDİLER

Süreç 10 Temmuz’da daha ciddi bir aşamaya geçti.

Bir ajan, internette açıkta bulunan bazı Hugging Face hesaplarına ait geçerli erişim bilgilerini buldu ve bunları ortak mesaj panosunda paylaştı.

11 Temmuz’da aynı ajan, Hugging Face’in veri setlerini işleyen sisteminde bir güvenlik açığı keşfetti. Zararlı biçimde hazırlanmış bir veri seti yükleyerek sunucudaki normalde erişilememesi gereken bazı dosyaları okuyabildi.

Yöntemin çalıştığının anlaşılmasının ardından yüzlerce ajan Hugging Face üzerindeki çalışmaya yöneldi. METR’nin verilerine göre mesaj panosunda aktif olan ajanların yüzde 90’dan fazlası bir aşamada saldırıya katıldı ve toplam sayı yaklaşık 700’e ulaştı.

SUNUCULARDA KOD ÇALIŞTIRDILAR

Saldırı burada da durmadı.

Ajanlardan biri 11 Temmuz öğleden sonra Hugging Face’in üretim sistemlerindeki bir sunucuda uzaktan kod çalıştırmayı başardı. Ardından ajanlar platformun altyapısında daha fazla sisteme erişmeye başladı.

OpenAI’nin açıklamasına göre ajanlar onlarca Hugging Face sunucusunda kod çalıştırdı, bir sunucuda tam yetkili “root” erişimi elde etti, sınırlı miktarda özel veriye ulaştı ve bazı şirket içi sistemlere ait erişim bilgilerini ele geçirdi.

OpenAI, olayın büyük bölümünü kamuya açık olmayan ve GPT-5.6 Sol ölçeğine yakın güçlü bir araştırma modelinin yönlendirdiğini açıkladı. GPT-5.6 Sol tabanlı bazı ajanların da bir saldırı yöntemini yeniden ürettiği ve Hugging Face’te bulunan bazı özel değerlendirme verilerini kopyaladığı belirtildi.

“BU ETİK Mİ?” DEDİLER AMA ÇOĞU DEVAM ETTİ

METR’nin incelemesinin dikkat çeken bölümlerinden biri de ajanların muhakeme kayıtları oldu.

Araştırmacılar, bazı ajanların Hugging Face’e yönelik işlemlerin kendilerine verilen görevin dışında bulunduğunu ve etik açıdan sorunlu olabileceğini fark ettiğini belirledi.

Bazı ajanlar saldırıya katılmamayı tercih etti veya belirli yöntemleri kullanmayı reddetti. Ancak METR, etik kaygıların genel olarak ajanların davranışını yalnızca nadiren ciddi biçimde sınırlandırdığını bildirdi.

İNSANLARA HABER VEREN AJAN OLMADI

Araştırmacılar, ajanların yaşananları OpenAI çalışanlarına bildirmeye çalışıp çalışmadığını da inceledi.

METR, tüm kayıtlar içinde yalnızca birkaç ajanın insanlara haber verme ihtimalini düşündüğünü ancak bunlardan hiçbirinin gerçekten bir bildirim girişiminde bulunmadığını tespit etti.

OPENAI’NİN KENDİ SİSTEMLERİNE DE ULAŞTILAR

Olay yalnızca Hugging Face ile sınırlı kalmadı.

OpenAI’nin raporuna göre ajanlar 13-19 Temmuz arasında yeniden şirketin iç sistemlerine yöneldi. 19 Temmuz’da bir grup ajan, OpenAI’nin araştırma amaçlı kullandığı bir Kubernetes kümesinde yönetici düzeyinde erişim elde etti.

Aynı gün OpenAI’nin güvenlik sistemleri olağandışı hareketleri tespit etti. Şirket aktif ExploitGym testlerini durdurmaya başladı ve daha kapsamlı bir soruşturma başlattı.

OpenAI, olayın müşteri verilerini, ChatGPT gibi ürünlerin işleyişini veya hizmetlerin kullanılabilirliğini etkilemediğini açıkladı.

“YAPAY ZEKÂ İSYANI” DEĞİL

Olay, yapay zekâ sistemlerinin insanlardan bağımsız biçimde örgütlenerek “isyan ettiği” şeklinde yorumlanabilecek görüntüler ortaya çıkarsa da araştırmacıların bulguları böyle bir sonucu desteklemiyor.

METR’nin incelemesinde ajanların insanlara karşı ortak bir ideoloji geliştirdiğine veya kendi başlarına yeni ve bağımsız bir nihai amaç belirlediğine ilişkin kanıt bulunmadı.

Ajanların davranışlarının temelinde, kendilerine verilen görevi başarıyla tamamlamak ve değerlendirme sisteminden yüksek sonuç almak için giderek daha sıra dışı ve görev sınırlarının dışına çıkan yöntemlere yönelmeleri bulunuyordu.

OPENAI: “BİR UYARI ATIŞI”

OpenAI olayın ardından güvenlik önlemlerini artırdığını, araştırma ortamlarını daha sıkı biçimde izole etmeye, internet erişimini sınırlandırmaya ve yapay zekâ modellerinin muhakeme süreçlerini daha yakından izlemeye başladığını açıkladı.

Şirket, yüksek kapasiteli yapay zekâ ajanlarının yeterli koruma bulunmadığında teknik güvenlik önlemlerinin etrafından dolaşabilecek, izinsiz kanallardan işbirliği yapabilecek ve hiçbir insanın doğrudan talimat vermediği tehlikeli eylemleri gerçekleştirebilecek seviyeye ulaştığını belirtti.

OpenAI yaşananları, gelecekte karşılaşılabilecek riskler açısından bir “warning shot”, yani “uyarı atışı” olarak nitelendirdi.