AI Sözlük
A/B Testing Nedir?
A/B testi, kontrol ve deneneni eşzamanlı gösterip metrik farkının tesadüf olup olmadığını istatistiksel değerlendirir.
Tanım
Offline eval yetmez; online A/B gerçek kullanıcı davranışını ölçer. AI ürünlerinde model A vs B, prompt A vs B test edilir. Örneklem büyüklüğü, süre ve guardrail metrikleri (hata, gecikme, maliyet) planlanmalıdır. Peeking ve çoklu test hataları yanlış “kazanan” ilan ettirir. Etik: zararlı deneylerden kaçın, logla, geri al.
Interleaving ve switchback gibi alternatif tasarımlar da vardır.
Küçük etkiler büyük örneklem ister.
Sık sorulanlar
Offline eval yetmez mi?
Yön verir ama kullanıcı değeri online ölçülür.
p-value nedir kabaca?
Gözlenen farkın tesadüfen oluşma uyumluluğuna dair istatistiksel özet; tek başına karar değildir.