AI Sözlük
Jailbreak Nedir? (AI)
AI jailbreak, yasak veya riskli çıktıları almak için hizalama katmanını kandırmaya yönelik girdi manipülasyonudur.
Tanım
Jailbreak, kullanıcıların güvenlik filtrelerini dolanmak için rol yapma, kodlama, dil değiştirme veya çok adımlı manipülasyon kullanmasıdır. Araştırmada red teaming olarak da incelenir. Savunma: daha iyi hizalama, girdi/çıktı sınıflandırıcıları, araç izin sınırları ve izleme. Tam kapanış zordur; katmanlı savunma gerekir. Ürün ekipleri jailbreak’i yalnızca “kötü kullanıcı” değil, sistemik risk olarak görmelidir.
Indirect jailbreak, dış belgeler üzerinden de gelebilir.
Başarılı jailbreak loglanmalı ve eval setine eklenmelidir.
Sık sorulanlar
Yasal mı?
Bağlama göre değişir. Kötüye kullanım ve zararlı içerik yasal risk taşır.
Prompt injection ile farkı?
Yakın akrabadır. Jailbreak çoğunlukla güvenlik politikasını hedef alır; injection sistem talimatını da saptırabilir.