Döngü Çalışıyor, Kanıt Hâlâ İnsana İhtiyaç Duyuyor

Döngünün anatomisi

Sistem, broad bir araştırma yönüyle başlıyor. Aday fikirler üretiliyor, literatür taranıyor, deneyin kodu yazılıyor, çalıştırılıyor, sonuçlar yorumlanıyor ve LaTeX içinde bir makaleye dönüştürülüyor. Metin, şekiller ve hatta hakem yanıtına verilecek cevaplar da aynı hattın çıktısı.

İlk sürümde (2024) iş bir kod şablonuyla sınırlıydı; ikinci sürümde deney ağacı paralel ve ardışık olarak genişledi, sistem kendi dallanmış denemelerini yürüttü. Fark, kaliteden çok kapsamdaki büyümeden geldi.

Kritik parça, döngünün kendi kendini puanlaması: sistemin ürettiği yazılar, bir otomatik hakem tarafından puanlanıyor. Böylece hangi fikrin denemeye değer olduğu, insan müdahalesi olmadan seçimleniyor.

Atölye deneyi ve geri çekme

Sakana AI, organizatör izni ve IRB onayıyla, hiç elle düzeltmeden ICLR 2025’teki “I Can’t Believe It’s Not Better” atölyesine tamamen yapay zeka üretimi yazılar gönderdi. Bir yazı ortalama 6,33 puan (6, 7, 6) alarak insan yazılarının kabul ortasının üstüne çıktı.

Baştan kararlaştırıldığı gibi, kabul edilmesine rağmen yazı yayımlanmadan geri çekildi. Bu hamle, deneyin kendisi kadar önemli: tarama değil, gösterim yapıldığı ilan edildi.

Geri çekme, bir etik pozisyon olarak da okundu: sistemin sınırlarını test etmek ile akademik krediyi şişirmek arasındaki çizgi, ancak böyle çizilebilir. Yazarın olmaması, suçu yok saymak demek değil.

Dergi adımı ne kanıtlıyor

Mart 2026’da, bu işin tamamını anlatan bir makale Nature’da yayımlandı: sistemin mimarisi, ölçekleme sonuçları ve yeni değerlendirme bulguları. Yani bu kez dergiye giden, üretilmiş bir makale değil, üreten sistemin kendisi ve onun ölçülmüş davranışı.

Ayrımda durulması gereken yer şu: hakemli dergideki iddialar, laboratuvarın kendi değerlendirme protokolleriyle destekleniyor. Atölye kabulü ise “bir yapay zeka yazısı insan hakemden geçer mi” sorusuna verilmiş, tek seferlik ve dar bir cevap.

Otomatik hakem ve yüzde 69 meselesi

Ekip, beş ayrı hakem değerlendirmesini birleştirip bir alan başkanı kararı üreten bir otomatik hakem kurdu ve bunu binlerce insan kararına karşı sınadı; dengelenmiş doğruluk ölçütünde insan hakemlerle karşılaştırılabilir bir seviye raporlandı — yaklaşık yüzde 69.

Bu rakam iki anlama gelir. Birincisi: bir yapay zeka hakemi, bir insan hakemin kararını tahmin etmekte fena değil. İkincisi: bir insan hakemi de, başka bir insan hakeminin kararını tahmin etmekte çoğu zaman bu kadar iyi. Yani tutarlılık ölçütü, hakemliğin kalitesini değil, öngörülebilirliğini ölçer.

Ekipten gelen dürüst itiraf da burada: sistem zaman zaman sığ fikirler üretiyor, metodolojik derinlikte ve karmaşık kodlamada zorlanıyor, uydurma atıf veya tekrar eden şekil gibi bariz hatalar yapabiliyor. Liste, yetenek iddiasından uzun.

Bilim sistemi için asıl baskı

Döngünün yaygınlaşması, hakemlik yükünü artırır. Üretim ucuzlarken doğrulama pahalı kaldığında, sistem ya daha çok otomatik hakeme ya da daha sert filtrelerine döner; her iki durumda da sorumluluğun kimde olduğu sorusu belirsizleşir.

Buna karşı savunulabilir kurulum, ekibin de önerdiği yönde: üretimin kimin ve neyin tarafından yapıldığını işaretlemek, yazarlık yerine sorumluluk tanımlamak ve otomatik üretimle gelen iddiaları, yeniden üretilebilir kod ve veri ile eşleştirmek.

Son not, beklenti yönetimi: “keşif” ile “yayın” aynı şey değil. Bir sistem, yazı yazmayı öğrendi; bilimin kıt olan kısmı ise, yanlış bir sonucun neden yanlış olduğunu söyleyebilecek birinin kalması.

Sık sorulan sorular

Kaynakça

1. The AI Scientist: Nature yayını duyurusuSakana AI
2. Towards end-to-end automation of AI researchNature
3. AI Scientist-v2: atölye düzeyinde otomatik bilimsel çalışmaSakana AI (GitHub)
4. Otomatik bilimsel çalışma üzerine tartışmaNature