Yarım Güvenilirlikte İnsan Saati: Pratik Bir Cetvel

Neden saat, neden puan değil

Sınav puanları, modeller tek adımlı problemlerde uzmanları geçince bilgiç bir düzleme dönüştü. METR’nin önerisi başka bir eksendi: görevi değil, görevin süresini eksen yapmak. Bir ajanın, bir insan uzmanın saatler aldığı işleri ne ölçüde güvenilir bitirdiği soruldu.

Yöntem, çok adımlı yazılım ve akıl yürütme görevlerinden oluşur; her görevin insan uzmanı süresi ölçülür ya da tahmin edilir. Model tarafında başarı olasılığı görev süresine göre lojistik bir eğriye oturtulur ve eğrinin yüzde 50’yi kestiği nokta “ufuk” olur.

Katlanma eğrisi ve 2026 güncellemesi

Mart 2025 tarihli ilk çalışmada tablo şuydu: dört dakikalık görevlerde neredeyse yüzde yüz başarı, dört saati aşan görevlerde yüzde onun altında başarı. Modelin bilgisi değil, zincirleme eylem tutarlılığı darboğaz olarak göründü.

İlk yayın, 2019’dan 2025’e ufukların yaklaşık her yedi ayda (196 gün) katlandığını buldu; bu, on yıl içinde günler ve haftalar süren işlerin bir kısmının otonom bitirilebileceği öngörüsünü üretti.

Ocak 2026’daki TH1.1 güncellemesi iki yönlü hareketi gösterdi: görev seti 170’den 228’e çıktı, sekiz saat ve üzeri görev sayısı 14’ten 31’e yükseldi, altyapı Vivaria’dan Birleşik Krallık AI Security Institute’un açık kaynak çerçevesi Inspect’e taşındı. Yeni setle 2023 sonrası katlanma 165 günden 131 güne, 2024 sonrası 109 günden 89 güne indi; ekip bunu görev dağılımı değişimi ve eski modellerin yeniden ölçülmesiyle açıklıyor.

Metriğin kırıldığı üç yer

Birincisi insan süresi: 31 uzun görevin yalnızca beşinde ölçülmüş süre var, gerisi tahmin. Oysa metrik doğrudan bu sayıya bağlı; tahmin yukarı kayarsa ufuk olduğundan büyük görünür. İkincisi doyum: 16 saatten sonrası setle güvenilmez sayılıyor; eğrinin üst ucu ölçülemeyen yerde çiziliyor.

Üçüncüsü güven aralıkları: bazı modellerde nokta tahminin üst sınırı tahminin iki katından fazla; “şu kadar saat” cümlesi tek bir sayı değil, bir aralığın ortası. Yayın bu aralıkların hâlâ geniş olduğunu kendisi belirtiyor.

Temsil sorunu: görevler kendi kendine yeterli, iyi tanımlı ve otomatik puanlanabilir olacak şekilde seçiliyor. Gerçek iş çoğu zaman bunun tersi: bulanık hedef, eksik gereksinim, politik kısıt.

Ekonomik yorum tuzağı

En sık yapılan hata, ufku otomasyon oranına çevirmek. Bu çıkarım en az üç yerde kırılır: görev süresi, görevin işgücündeki ağırlığını temsil etmez; çoğu iş tek bir uzun görev değil, onlarca kısa ve etkileşimli adımdır. Ayrıca başarı yüzde 50’de tanımlıdır, yani işin yarısının yeniden yapılacağı bir güvenilirlik seviyesi; üretim hattı için doğru eşik çoğu zaman bu değil.

Üçüncüsü, maliyet ve denetim: ufuk, insan denetiminin süresini, yeniden işleme maliyetini ve hata bedelini hesaba katmaz. Kuruluş için gerçek soru “kaç saatlik görevi bitiriyor” değil, “bitirdiği görevin toplam maliyeti insanla karşılaştırınca ne” sorusudur.

Sağlıklı kullanım kılavuzu

Metriği tahmin aracı olarak değil defter olarak kullanmak gerekir: hangi görev ailesinde, hangi güvenilirlikte, hangi araç iskeletiyle ölçüldü. Ürün kararında en geçerli soru, kendi görevlerinizden kurulu küçük bir ölçümün sonucudur; dışarıdaki eğri yalnızca yön verir.

Son olarak, eğrinin yorumu ile riskin yorumunu ayırmak: daha uzun görevleri bitiren ajan daha fazla iş yapar; fakat “daha uzun” ile “daha kritik” aynı kelime değil. Ufuk, yetkinliğin cetvelidir, yetkinin değil.

Sık sorulan sorular

Kaynakça

1. Measuring AI Ability to Complete Long TasksMETR
2. Time Horizon 1.1 güncellemesiMETR
3. Görev tamamlama ufukları canlı sayfasıMETR
4. Uzun görev ölçüm makalesiarXiv