Test Setine Ezberlenen Yetenek

İki ayrı kirlenme mekanizması

Birincisi sızıntıdır. Bir kıyaslamanın soruları internette dolaşıyorsa, o sorular eğitim corpus’unun doğal bir parçasıdır. Model, çözümü öğrenmeden cevabı öğrenmiş olabilir ve bu ikisi tek bir puanda ayrımsız toplamlanır.

İkincisi seçimdir. Yüzlerce kıyaslama vardır; hangisinin raporlanacağı bir mühendislik kararı değil, bir tanıtım kararıdır. Ortalama yerine en iyi altı skorun vurgulanması, puan tablosunu gerçeklerin sunumu değil bir vitrin haline getirir.

Bu iki mekanizma birbirini besler: sızıntı iddiaları arttıkça, satıcılar kendi seçtiği testlere geçer; seçme arttıkça, dışarıdan doğrulama zorlaşır. Sonuçta herkesin karşılaştırabildiği tek şey, kimsenin karşılaştıramadığı sayılar olur.

Neden puan artarken deneyim aynı kalıyor

Kıyaslamalar dar ve çözülebilir görevler üzerine kurulur; gerçek kullanım ise geniş ve tanımsızdır. Bir test, eksik bir talimatla uğraşmaz, eski bir kod tabanına dokunmaz, kullanıcıyı üç kez anlamadığını itiraf etmeden geçiştirmez. Bunlar puanı olmayan başarılardır.

İkinci sebep, ödül ile performansın ayrışmasıdır. Bir ölçüt hedef haline geldiğinde iyi bir ölçüt olmaktan çıkar: geliştirici, sorunun kendisini değil puanı üreten davranışı optimize eder. Bu bir dürüstlük meselesi değil, bir optimizasyon sonucudur.

Bu yüzden “model testi geçti, işte çalışmıyor” cümlesi şaşırtıcı değildir. Model ile test arasındaki bağ, model ile dünya arasındaki bağdan daha sıkı hale gelmiştir.

Kırılmayı ölçmenin sağlam yolları

İlki zamandır: testin soruları belirli bir tarihte yayınlanır ve o tarihten sonra üretilmiş görevlerden türetilen bir bölüm, ezberlenemez. Bu “canlı” kıyaslamalar sızıntıya karşı en dirençli yapıdır, ama pahalıdır ve süreklilik ister.

İkincisi gizliliktir: puanı etkileyen örnekleri kamuya açmamak. Bunun maliyeti, dışarıdakilerin sonucu doğrulayamamasıdır. Yani güvenilirlik ile hesap verebilirlik arasında bir seçim vardır ve bu seçim teknik değil kurumsaldır.

Üçüncüsü görev yapısıdır: tek cevaplı çoktan seçmeli sorular yerine, çalıştırılabilir çıktıların değerlendirildiği ölçümler. Kodun derlenmesi, bir dosyanın gerçekten düzelmesi, bir planın bir çalıştırıcıda tutması. Bu tür ölçütler ezberlenemez, çünkü başarı bir eyleme bağlıdır.

Model kartı dili değişiyor

Sağlam ekipler, puan tablosunun altına üç şey yazmaya başladı: testin tarihinin sızıntıya karşı nerede durduğu, hangi ayarların kullanıldığı ve hangi görevlerde başarının ölçülmediği. Bu sonuncusu en dürüst satırdır, çünkü bir modelin ne yapamadığı genellikle hiç raporlanmaz.

Alıcı tarafında pratik kural basittir: kendi yükünüzü test edin. Aynı kıyaslamada yan yana duran iki model, sizin görevlerinizde farklı hız, farklı fiyat ve farklı hata profilinde olabilir. Vitrin, karşılaştırma listesi değil reklam panosudur.

Kazanılmış bir ders

Kıyaslama krizi, yapay zekâ alanının en olgun tartışması olma potansiyeli taşıyor: bir şeyi ölçmek, onu hedefe çevirir ve hedef haline gelen ölçüt aşınır. Bu, yeni bir buluş değil; ekonominin, tıbbın ve eğitimin uzun süredir bildiği bir yasadır.

Fark, yapay zekânın bunu çok hızlı yaşamasıdır. Bir testin yayınlanmasından güvenilmez olmasına geçen süre, artık aylarla ölçülüyor. Ölçüm altyapısının bu hıza yetişmesi, model geliştirmekten daha az önemli değil.

Sık sorulan sorular

Kaynakça

1. Kıyasama kirliliği ve sızıntı ölçümleriarXiv
2. Model kartları ve raporlama standartlarıHugging Face
3. Yapay zekâ değerlendirme eleştirileriMIT Technology Review