AI Sözlük
Alignment (Hizalama) Nedir?
Hizalama, modelin yardımcı, dürüst ve zararsız (veya tanımlı politika) davranması için yapılan teknik ve yönetişim çalışmasıdır.
Tanım
Alignment, “güçlü model yanlış şeyi optimize etmesin” problemidir. Pratikte güvenlik filtreleri, SFT, RLHF/DPO, red teaming ve politika metinleri kullanılır. Mükemmel hizalama yoktur; trade-off’lar vardır (aşırı ret vs. aşırı itaat). Hizalama yalnızca etik söylemi değil, ürün güvenilirliğini de etkiler. Ölçüm: zararlı içerik oranı, sycophancy, jailbreak direnci, talimat izleme eval’leri.
Constitutional AI, ilkelerle self-critique kullanarak hizalamaya çalışır.
Hizalama veri ve rater dağılımına bağlıdır; evrensel ahlak motoru değildir.
Sık sorulanlar
RLHF alignment midir?
Popüler bir hizalama yöntemidir; tek yöntem değildir.
Jailbreak nedir?
Güvenlik/hizalama kısıtlarını kırmaya yönelik prompt saldırısıdır.