AI Sözlük
Eval (Değerlendirme) Nedir?
Eval, AI sisteminin istenen görevde ne kadar iyi çalıştığını sistematik ölçme işidir; “kulağa iyi geliyor” yerine sayı ve protokol koyar.
Tanım
Eval (evaluation), yapay zekâ ürününün kalite kontrolüdür. Yeni prompt, yeni model veya yeni fine-tune sonrası “bozuldu mu?” sorusunu cevaplar. Offline eval sabit test setinde skor üretir; online eval gerçek kullanıcı metriklerini izler. İyi eval çeşitlidir: doğruluk, format uyumu, güvenlik, gecikme, maliyet. Kötü eval yalnızca mutlu path örnekleri içerir ve production sürprizi yaratır. LLM’lerde otomatik yargıç modeller kullanılabilir ama yanlılık riski vardır; kritik yerde insan etiketi şarttır.
Regresyon seti olmadan continuous delivery tehlikelidir. Her değişiklik eski yetenekleri sessizce öldürebilir.
Eval’i ürün KPI’sına bağlayın: destek çözüm oranı, kod test geçme, editör onay oranı gibi.
Sık sorulanlar
Benchmark ile eval farkı?
Benchmark genelde kamu standart testidir. Eval sizin sisteminiz için tasarladığınız ölçüm sürecidir; benchmark’ı da içerebilir.
Ne sıklıkla eval yapılmalı?
Her model/prompt/data değişikliğinde en azından regresyon seti çalıştırılmalıdır.