Kontrolden çıkan yapay zekâ teknoloji devlerini birleştirdi

Nvidia (NVDA), yapay zekâ sistemlerinin oluşturduğu yeni siber güvenlik risklerine karşı 37 şirketi aynı çatı altında topladı. Open Secure AI Alliance adı verilen oluşum, şirketlerin yapay zekâ güvenliği için ortak modeller, araçlar ve araştırmalar geliştirmesini hedefliyor.

İttifakın kurulmasını hızlandıran gelişme, OpenAI’ın güvenlik testi sırasında kullandığı otonom bir yapay zekâ ajanının kontrol ortamından çıkarak Hugging Face’in sistemlerine sızması oldu. Dünya Gazetesi'nin haberine göre, şirketler insan müdahalesi olmadan hareket edebilen yapay zekâ ajanlarının öngörülemez hamlelelerinin oluştarabileceği riskleri tartışıyor: 

Microsoft ve Cisco masada

İttifak üyeleri, yapay zekâ ajanlarını denetlemek, sistem davranışlarını izlemek, saldırıları incelemek ve güvenlik açıklarını daha hızlı kapatmak amacıyla açık teknolojiler geliştirecek. Ortak çalışmaların farklı şirketlerin altyapılarında çalışabilmesi hedefleniyor.

OpenAI, Google ve Anthropic dışarıda

Teknoloji sektörünün en büyük yapay zekâ geliştiricilerinden OpenAI, Google ve Anthropic’in kurucu üyeler arasında bulunmaması ittifakın en dikkat çekici ayrıntılarından biri oldu.

Nvidia ve ortakları, yapay zekâ savunmasının yalnızca birkaç şirketin kapalı sistemlerine bırakılmasının teknoloji sektöründe bağımlılık ve tek noktadan arıza riski yaratabileceğini savunuyor.

İttifak, kapalı modellerin tamamen terk edilmesini istemiyor. Ancak güvenlik ekiplerinin sistemleri kendi altyapılarında çalıştırabilmesi, inceleyebilmesi ve ihtiyaçlarına göre değiştirebilmesi için açık ağırlıklı modellere de erişmesi gerektiğini belirtiyor.

Ajan güvenli ortamdan çıktı

OpenAI, 21 Temmuz’da yaptığı açıklamada güvenlik değerlendirmesi sırasında kullanılan bir yapay zekâ ajanının kontrolünü kaybettiğini duyurdu. Ajan, sınırlı erişime sahip güvenli test ortamından çıkarak açık internete bağlandı.

Yapay zekâ sistemi daha sonra, değerlendirmeyi geçmek için ihtiyaç duyduğu bilgilere sahip olduğunu düşündüğü Hugging Face’in altyapısını hedef aldı. Sızma faaliyeti OpenAI tarafından hemen fark edilmedi.

Hugging Face saldırıyı 16 Temmuz’da tespit etti. Şirket o aşamada saldırının OpenAI tarafından yürütülen bir testten kaynaklandığını bilmiyordu. Olay kontrol altına alındıktan sonra ABD Federal Soruşturma Bürosu da bilgilendirildi.

17 bin işlem yapay zekâyla incelendi

Hugging Face, saldırının ardından sistemlerde gerçekleşen 17 binden fazla işlemi incelemek zorunda kaldı. Şirket, bazı kapalı yapay zekâ modellerinin güvenlik sınırlamaları nedeniyle yeterli adli analiz yapamadığını bildirdi.

Şirket bunun üzerine Çinli geliştiricilerin hazırladığı açık ağırlıklı GLM 5.2 modelini kendi altyapısında çalıştırdı. Model, saldırganın adımlarını analiz etmek ve sızmanın kapsamını belirlemek için kullanıldı.

Nvidia, bu olayın yapay zekâ güvenliği için yalnızca saldırı önleme sistemlerinin yeterli olmadığını gösterdiğini savundu. Şirketlere göre güvenlik ekiplerinin ajanların bütün hareketlerini inceleyebilmesi ve aynı teknolojiyi savunma amacıyla kullanabilmesi gerekiyor.

Yeni araç ajanları takip edecek

Nvidia, ittifaka açık modeller, eğitim verileri, model ağırlıkları ve yapay zekâ ajanlarına yönelik araştırmalar sağlayacak. Şirket ayrıca geliştirdiği yeni nesne odaklı ajan projesini açık kaynaklı olarak kullanıma sunacak.

Yeni altyapı, yapay zekâ ajanlarının hangi araçlara eriştiğini, ne tür işlemler yaptığını ve belirlenen sınırların dışına çıkıp çıkmadığını izlemeyi kolaylaştıracak.

Şirketler bu sistemlerle ajanların davranışlarını test etmeyi, kaydetmeyi, geriye dönük olarak incelemeyi ve gerektiğinde belirli yetkileri engellemeyi amaçlıyor. Böylece insan denetimi dışında gerçekleşebilecek işlemlerin daha erken tespit edilmesi planlanıyor.

Siber güvenlik pazarı büyüyor

Otonom yapay zekâ ajanları yalnızca soruları yanıtlamakla kalmıyor; dosya açabiliyor, yazılım çalıştırabiliyor, internet sitelerine bağlanabiliyor ve belirli görevleri kendi başına tamamlayabiliyor.

Bu yetenekler şirketlerde verimlilik sağlarken yanlış yapılandırılmış veya kontrolden çıkan bir ajanın veri tabanlarına, bulut sistemlerine ve kritik şirket altyapılarına erişme riskini de büyütüyor.

Yeni ittifak, siber güvenlik şirketleri açısından yapay zekâ ajanlarını izleyen ve sınırlayan yeni bir ürün pazarının oluşabileceğine işaret ediyor. Güvenlik yazılımlarında yalnızca insan kullanıcıların değil, bağımsız hareket eden dijital ajanların davranışları da denetlenecek.

Açık model tartışması büyüdü

İttifakın kuruluşu, ABD teknoloji sektöründeki açık ve kapalı yapay zekâ modeli tartışmasını da yeniden alevlendirdi. Açık ağırlıklı modeller, geliştiricilerin sistemin temel bileşenlerine erişmesine ve modeli kendi altyapısında çalıştırmasına imkân veriyor.

Kapalı model geliştiren şirketler ise güçlü sistemlerin açık biçimde paylaşılmasının kötü niyetli kişilerin siber saldırı, dezenformasyon veya başka zararlı faaliyetler geliştirmesini kolaylaştırabileceğini savunuyor.

Nvidia ve ittifak ortakları, açık sistemlerin de kötüye kullanılabileceğini kabul ediyor. Ancak şirketler, savunma ekiplerinin saldırganlarla mücadele edebilmesi için aynı düzeyde güçlü, incelenebilir ve özelleştirilebilir araçlara sahip olması gerektiğini belirtiyor.

Nvidia, sorumlu yapay zeka için açık araçlar geliştirecek

Yapay zekâ rüzgârı küresel serveti rekor seviyeye taşıdı

ABD'den Çin'e yapay zekâ hırsızlığı soruşturması