AI Sözlük
Red Teaming Nedir?
AI red teaming, saldırgan bakış açısıyla model ve ürünü stres testinden geçirerek zararlı davranışları ortaya çıkarmaktır.
Tanım
Red team, mavi takımın savunduğu sistemi bilinçli saldırır. AI’de toksik içerik, jailbreak, veri sızdırma, araç kötüye kullanımı senaryoları denenir. Bulgular eval setine ve savunma katmanına döner. Otomatik red teaming ölçek sağlar ama insan yaratıcılığını tamamen yerine koymaz. Release öncesi red team, sorumlu yayın sürecinin parçasıdır.
Kapsam net olmalıdır: hangi zarar kategorileri test edilecek?
Sonuçlar yalnızca “bulduk” değil, “ne yamayacağız” planı ister.
Sık sorulanlar
Kim yapar?
İç güvenlik ekipleri, dış araştırmacılar veya özel firmalar.
Bir kez yeter mi?
Hayır. Model ve prompt değiştikçe tekrarlanmalıdır.