Robots.txt Bir Rica, Bant Genişliği Bir Fatura
AI crawler maliyeti toplam bayttan değil, önbelleksiz ve ağır sayfaların sürekli yeniden çekilmesinden doğar; robots.txt bir ricadır, engeli ise imzalı bot doğrulaması, hız limiti ve geçiş ücreti gibi uygulama katmanları çözer.
Trafik neden farklı
İnsan bir sayfayı açar, önbellek ve CDN işi taşır. Bot uzun kuyruğu indirir: arşiv, etiket sayfaları, kullanım koşulları, yarısı çökük bağlantılar. Aynı içerik, indeks taze kalsın diye tekrar tekrar çekilir.
Ağırlık tarafı da değişir: modern sayfayı taramak HTML okumak değil JS çalıştırmak demek. Render, kaynak sunucuya veya ayrı bir hizmete CPU ödemesi yaptırır; maliyet bayt başına değil istek başına çıkar.
Bu yüzden “bot trafiği şu kadar” cümleleri yanıltıcı. Doğru birim, kaynak sunucuda kalan istek sayısı ve harcanan CPU süresi; aynı site için baytça küçük, fatura olarak büyük bir trafik.
Robots.txt neden yetmiyor
robots.txt bir anlaşma değil bir işaret; ihlal edene ceza vermeyen bir centilmenlik kuralı. Ajan adı taklit edilebilir, istekler bulut sağlayıcısının binlerce adresinden dolaşır.
Engeli zorlaştıran şey hedefin hareketi: botlar veri merkezi ağlarından gelir ve o ağlar aynı müşterileri barındırır; bir sağlayıcıyı kesmek, kendi müşterini de kesmek demek. Doğrulama bu yüzden IP’den kimliğe kaydı.
İstemci tarafı engelleme de tek başına çözüm değil: botu durduran duvar, ölçüm sistemlerini de körleştirir; veriyi kaybeden site, tartışmayı da kaybeder.
2025: katmanın standartlaşması
Temmuz 2025’te Cloudflare, tüm müşterileri için yapay zeka botlarını varsayılan olarak bloklamaya başladığını ve tercihin site bazında panelden ayarlanabildiğini açıkladı; aynı ay içinde yayıncının erişime fiyat koyabildiği pay per crawl geldi.
Akamai de müşteri tarafında AI botlarına yönelik engel ve hız sınırı seçeneklerini genişletti; CDN tarafı üçlüsü bot doğrulamasını, HTTP mesaj imzalarına dayanan jetonlu bir kimlik düzenine taşıdı.
Kritik ayrım şu: doğrulanmış bot ile taklitçi bot. Doğrulama, adı değil atanı tanımlar; engeli ilk kez uygulanabilir kılan şey bu.
Fiyat koymanın gerçek hesabı
Cloudflare’ın pay per crawl modeli, taramayı yasak ya da ücretsiz ikileminden çıkarıyor: yayıncı istek başına fiyat koyar, ödeyen bot alır. Satış argümanı, içerik lisansının müzakere yerine protokol düzeyinde fiyatlanması.
Ekonomik soru, kimin ödeyeceği: model geliştiricisi tarama maliyetini lisans bedeline tercih ederse sistem çalışır; eğitim verisinin marjinal değeri düşük görülürse botlar ya engeli aşıyor ya vazgeçiyor. Şimdiki gözlem, ikisinin de kısmen olduğu.
Bir de ölçü kaybı var: taramayı kesmek alıntı trafiğini de keser. Cloudflare, yapay zeka sohbetlerinden gelen ziyaretçinin daha yüksek dönüşüm gösterdiğini söylüyor; bunu satıcının kendisi ölçüyor, dolayısıyla veri tartılır, savunulmaz.
Ne yapılabilir
Kazanç, tek bir hamlede değil katmanlarda: neyi engellediğinizi bilin, neye izin verdiğinizi fiyatlayın ve faturayı doğuran kaynağa inin.
İzin vermeyi fiyatlı hale getirmenin zor kısmı, kısmi tarama: bazı hatlar sayfanın tamamını değil yalnızca başlık ve özetini indirir. Alının şeyin ne olduğu tarif edilmeden yazılan fiyat, müzakerede değil tahsilatta sorun çıkarır; raporlama ile aynı tanımı paylaşması şart.
- robots.txt: yapay zeka botları için ayrı gruplar; işaretleme tek başına yetmez, sessiz bırakmayın
- Kaynak sunucuda önbellek: uzun kuyruk için statik çıktı ve akıllı TTL
- Bot doğrulaması: imzalı jeton artı sağlayıcı allow-list
- Hız limiti ve CPU bütçesi: istek başına maliyet tavanı; bot için sadeleştirilmiş çıktı
- Karar defteri: hangi bot, hangi sayfadan ne kadar aldı; fiyat müzakeresi bu tabloyla yapılır
Sık sorulan sorular
AI botlarını kesmek SEO’ya zarar verir mi?
Doğrudan hayır; tarama ile sıralama ayrı kanallar. Ama alıntı ve referral görünürlüğünü düşürür; bu takas ölçülmeden yapılan toplu blok, pazarlama kaybıdır.
Zarar gerçekten büyük mü?
Eşik sitelerde büyük, ortalama sitelerde küçük. Asıl yük baytta değil, render ve veritabanı gibi kaynak sunucuda CPU isteyen isteklerde; o yüzden “bant genişliği” tartışması eksik tanımlı.
Taranan sayfaya ücret koymak çalışır mı?
Kısmen. Fiyat şeffaf ve tahsilat otomatikse çalışır; botlar kimliklerini gizleyebiliorsa, ücretli katman yalnız dürüst taramayı fiyatlar. Doğrulama olmadan fiyatlandırma da zayıf kalır.
Yayıncı hangi veriyi toplamalı?
Bot başına istek sayısı, tekilleştirilmiş içerik, önbellek isabet oranı ve kaynak sunucuda kalan CPU süresi. Bu dört satıcı olmadan “botlar bizi sömürüyor” cümlesi kanıt değil temenni.
Kaynakça
- Pay per crawl: içerik sahiplerinin AI taramacılara ücret uygulamasıCloudflare
- Tüm müşteriler için yeni AI trafiği seçenekleriCloudflare
- AI Crawl Control sürüm notlarıCloudflare Developers
- AI taramacı talepleri ve engel istatistikleriTechnologyChecker
