Ölçemiyorsanız, Kazanç Değil Hikâye Var
Laboratuvar ile saha arasındaki fark, yapay zekâ verimliliğinin kanıt krizini üretiyor: seçili görevlerde ölçülen kazanç, uzmanların kendi işini bölen doğrulama yükü ve değişen görev karışımı içinde eriyor.
Laboratuvar ile saha
Bir modelin görev başına süresini ölçmek kolaydır: sabit görevler, aynı başlangıç koşulu, tekrarlanabilir puan. Kurumsal verimliliği ölçmek zordur: görev seçilmez, işin tanımı değişir ve kazancın bir kısmı başka ekibin saatine yazılır.
2025 yazında METR’in deneyi tam bu gerilimi gösterdi. On altı tecrübeli açık kaynak geliştirici, kendi bildikleri projelerde erken 2025 araçlarıyla çalıştı; ölçülen sonuç beklenenin tersine, ortalama %19 yavaşlamaydı.
Aynı çalışmada katılımcıların kendi tahmini kazanç yönündeydi; algı ile ölçüm arasındaki makas genişti. Laboratuvarın iddialı sayısı, sahanın sessiz maliyetiyle çarpışınca kazancın kimin hanesine yazıldığı belirsizleşti.
“Hiçbir şey değişmedi” bulguları
İkinci kanıt dalgası, şirket içi pilotların akıbetini soruyor. Yönetici anketleri kazanç bildirmeyi seviyor; muhasebe satırı aynı hevesi taşımıyor. Birçok organizasyonda yapay zekâ ayrı bir bütçe kalemi oldu, teslim süresi ve hata tablosu ise çoğu yerde değişmeden kaldı.
Açık veri asimetrik: hızlanan görevler paylaşılıyor, geri dönen iş paylaşlmıyor. Kod gözden geçirme kuyruğu büyüdüğünde, üretimin kazancı inceleme tarafında erir; bu taşma hiçbir verimlilik panosunda görünmez.
Bir de seçim yanlılığı var. Deneyler gönüllü, yetenekli ve aracı zaten benimsemiş ekiplerle yapılıyor. Kalan örgüt, aynı araçla aynı hızı göstermediğinde sonuç “araç kötü” değil, örneklem dardır.
Ölçüm neden yanlış okunur
Hata üç kaynaktan gelir: görev seçimi, doğrulama yükü ve ikame. Ölçülen görevi satıcı seçiyorsa kazanç tasarlanmış bir örneklemden çıkar; üretilen çıktının okunma ve düzeltme süresi ise çoğu tabloda hiç yer almaz.
İkame, makro tarafın tuzağıdır. Tasarruf edilen saat yeni işe harcandığında çıktı büyür ama birim başına süre sabit kalır; yönetici “hep meşgulüz, demek ki verim yok” sonucuna varır. Doğru soru saatin nereye gittiğidir.
Sağlam bir ölçüm, iddiadan değil defterden çıkar:
- Baz çizgisi: araç öncesi aynı görevin süresi ve hata payı
- Kontrol grubu: araç verilmemiş ekibin korunduğu dönem
- Doğrulama saati: çıktının okunma, test ve düzeltme yükü
- Geri besleme kaydı: kazanılan saatin hangi yeni işe aktığı
Teknoloji tarihi ne diyor
1987’de Robert Solow’un esprisi bugünü andırıyor: bilgisayar her yerdeydi, verimlilik istatistiğinde yoktu. Paul David’in dinamo analizi nedeni açıklar; fabrika motoru yerine koymakla yetinmez, yerleşimi, iş akışını ve beceriyi de yeniden kurar.
Üretken yapay zekâda gecikme benzer bir mekanizmadan doğuyor: araç satın almak, organizasyonu dönüştürmek değildir. Sorumluluk tanımları güncellenip ölçüm sistemi yeniden kurulana kadar kazanç, münferit pilotların içinde kaybolur.
Bu yüzden “hiçbir şey değişmedi” ile “her şey değişiyor” cümleleri aynı hatayı paylaşır: zaman ufkunu karıştırır. Bir çeyreklik veri, on yıllık yayılımın habercisi de olabilir, hiçbir şeyi kanıtlamıyor da olabilir.
Kendi kanıtınızı kurun
Pratik iddia laboratuvarı beklemez. İki haftalık bir baz çizgisi, kontrol grubu ve tek bir hata maliyeti satırı, satıcının vaka çalışmasından daha değerlidir. Ölçülecek şey teslim süresi, yeniden yapılan iş ve eklenen doğrulama saatidir.
Kazancı tek satırda bırakmayın: tasarruf edilen saat ile artan risk primini ayrı yazın. Bir yanda hızlanma, diğer yanda inceleme, eğitim ve geri alma maliyeti varsa, toplamı gören kişi kazanıp kazanmadığınızı söyler.
Son adım cesarettir: pilot ölçülebilir sonuç vermiyorsa, bu başarısızlık değil öğrenilmiş bir sınırdır. Kriz verinin yokluğundan değil, verinin yerini pazarlamanın almasından doğar.
Sık sorulan sorular
Yapay zekâ geliştiricileri gerçekten yavaşlatıyor mu?
Bazı koşullarda evet. METR’in rastgele deneyinde tecrübeli açık kaynak geliştiriciler araçlarla %19 yavaşladı; bu, araçların her ekipte yavaşlatacağı anlamına gelmez, ölçümün bağlama çok duyarlı olduğunu gösterir.
Anketler neden hep kazanç söylüyor?
Çünkü algı, kolay hatırlanan hızlanmayı ölçer; geri dönen inceleme yükünü ölçmez. Kendini bildiren veride yanlılık yapısaldır, dürüstlük eksikliği değil.
Şirket içinde ne ölçmeli?
Baz çizgisi, kontrol grubu, doğrulama saati ve hata maliyeti. Dördü birlikte yazılmadığında hızlanma iddiası, taşma maliyetini gizler.
Sonuç ne zaman görünür olur?
İş akışı yeniden kurulduğunda. Araç eklemek tek başına verimlilik üretmez; genel amaçlı teknolojilerin kazancı, organizasyonel yatırımın gecikmeli faizidir.
