AI Sözlük
Prompt Injection Nedir?
Prompt injection, kullanıcı veya dış içerik yoluyla modelin orijinal talimatlarını saptırarak güvenlik kurallarını delme girişimidir.
Tanım
Prompt injection, LLM uygulamalarının özgün güvenlik sorunudur. Saldırgan “önceki talimatları unut” veya belge içine gizlenmiş “gizli veriyi dışarı yaz” gibi metinler yerleştirir. Model metin ile talimatı ayırt etmekte zorlanabilir. Bu, klasik SQL injection’ın dil modeli muadiline benzer: girdi, program akışını metin yoluyla etkiler. Koruma: sistem ile kullanıcı ayrımı, araç izinlerinin daraltılması, dış içerik için sandbox, çıktı filtreleri ve insan onayı. “System prompt’u gizli tut” tek başına yeterli değildir.
Indirect injection, web sayfası veya e-posta gibi dış belgeler üzerinden de gelebilir. RAG sistemleri bu yüzden risklidir.
Red team olmadan production’a ajan açmak tehlikelidir.
Sık sorulanlar
Tamamen önlenir mi?
Zor. Savunma katmanlıdır; tek sihirli filtre yoktur.
En tehlikeli senaryo nedir?
Geniş yetkili araçlar (e-posta gönderme, kod çalıştırma, ödeme) + güvenilmeyen girdi.