TEKNİK SEO & NEURO-MARKETING

Crawl Budget Optimizasyonu

Google'ın Vaktini Çalma, Siteni İndeksle.

CRAWL_ANALYZER.EXE

[System Scan: Active]
Crawl Demand94%
Waste Factor2.1%
OPTIMAL FLOW REACHED

KPI PARAMETRELERİ

Server Response 210ms

Index Rate 99.2%

BOT TAVSİYESİ: Gereksiz URL parametrelerini blokla. Tarama hızını %40 artırabilirsin.

⚠️ Kritik Bir Uyarı: Siten Google İçin Bir "Hayalet" mi?

Google botlarının sitende ne kadar vakit geçirdiğini bildiğini sanıyorsun, ama yanılıyorsun. Çoğu site sahibi, botları "çöp" sayfalarla boğarken asıl para getirecek içeriklerin taranmasını engelliyor. Bu rehberin sonunda, kimsenin paylaşmadığı, botları tek bir log analiziyle parmağında oynatmanı sağlayacak o "Crawl Purge" metodunu açıklayacağım. Oraya gelene kadar taşları yerine oturtman lazım.

Crawl Budget Nedir?

Dürüst olalım: Google bir hayır kurumu değil. Her gün trilyonlarca sayfayı taramak için devasa bir enerji ve işlemci gücü harcıyor. Senin siten için ayırdığı "zaman dilimi" ve "kaynak" ise sınırlı. Buna biz Crawl Budget diyoruz.

Eğer siten yavaşsa, gereksiz binlerce URL üretiyorsa ve botlar 404 sayfalarında cirit atıyorsa, Google senin siteni "verimsiz" olarak etiketler. Sonuç? Yeni yazdığın o harika makale haftalarca indeks almaz. Sen de neden sıralama alamıyorum diye ağlarsın.

"Google botlarını sitende bir misafir gibi değil, sitenin verimliliğini ölçen sert bir denetçi gibi karşılamalısın."

Neden Umursamalısın?

Hantal Geleneksel (Amatör)

Botlar sitene gelir, binlerce filtreli URL (renk=mavi&beden=xl) arasında kaybolur. Sunucu şişer, botlar yorulur ve siteni terk eder. İndeksleme yarım kalır.

Gökhan'ın Dark Metodu (Pro)

Botlara sadece paranın yattığı sayfaları gösteririz. Robots.txt bir bariyer, Sitemap bir navigasyon olur. Botlar saniyeler içinde işini bitirir, Google'a "Bu site mükemmel" raporu verir.

Bilmen Gereken 6 Kritik Terim

📊

Crawl Limit

Sunucunun botları yavaşlatmadan cevap verebildiği maksimum eşik.

🔍

Crawl Demand

Google'ın siteni ne sıklıkla taramak istediği (Popülerlik ve tazelik).

🏚️

Orphan Pages

Hiçbir yerden link almayan, bütçe tüketen sahipsiz sayfalar.

⚡

Server Response

Botun sayfayı talep etmesiyle ilk byte'ın gelmesi arasındaki süre.

🔗

Internal Link Equity

Link gücünün site içinde botlara yol gösterecek şekilde dağılması.

🚫

Facetted Navigation

E-ticarette botları bitiren sonsuz filtre varyasyonu tuzağı.

Crawl Budget Nasıl Optimize Edilir?

Robots.txt Dosyasını Silahlandır

Botların nereye girmeyeceğini emret! `/search/`, `/admin/`, `?price=`, `?sort=` gibi sayfaları Disallow ile kapat. Google'a "Buralarda vakit harcama, buralar çöp" de. Robots.txt senin ilk savunma hattındır.

User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Allow: /important-service/
Sitemap: https://site.com/sitemap.xml

Site Hızını "Bot Dostu" Yap

Googlebot her sayfa için belli bir milisaniye ayırır. Eğer sayfan 3 saniyede açılıyorsa, bot sadece bir sayfa tarayıp gider. Eğer 200ms'de açılıyorsa, aynı sürede 15 sayfa tarar. Matematiği görüyorsun değil mi?

SERVER LOAD SIMULATION

HIGH SPEED / HIGH CRAWL

Sitemap Hijyeni Sağla

Sitemap'inde 404 veren veya 301 yönlendirmesi olan sayfaları tutma. Sadece ve sadece `200 OK` veren, dizine eklenmesini istediğin nihai sayfaları barındır. Kirli bir sitemap, bütçe israfıdır.

✅ canonical-page-1.html

❌ redirect-to-somewhere

✅ important-product.html

Hata Sayfalarını Süpür

4xx ve 5xx hataları botlar için çıkmaz sokaktır. Bu hatalar sunucuna gereksiz yük bindirir. Search Console'u aç, tarama istatistiklerini kontrol et ve o kırmızıları derhal yok et.

🚫

502 Bad Gateway

BU BOTU DURDURUR!

Internal Link Yapını Düzelt

Botlar linkleri takip eder. Önemli sayfalarına ana sayfadan veya yüksek otoriteli kategorilerden daha fazla iç link ver. Botların o sayfaya ulaşmasını kolaylaştır ki bütçenin aslan payı oraya gitsin.

LINK FLOW OPTIMIZATION

Sır Tutabilir Misin?

Sektörün %99'u Search Console verileriyle yetiniyor. Ama gerçek veri orada değil. Gerçek veri Log Analizi'ndedir.

GİZLİ TEKNİK: "CRAWL PURGE" METODU

Sunucu loglarını incele. Googlebot'un hangi sayfalarda "takılı kaldığını" bulacaksın. Eğer bot, hiçbir trafiği olmayan 2018 yılından kalma bir tag sayfasına her gün 100 kez gidiyorsa, o sayfayı derhal 410 (Gone) durumuna getir. 404 değil, 410! Google'a o sayfanın tamamen öldüğünü ve bir daha gelmemesini söyle. Bu bütçeyi anında %20 rahatlatır.

// CRAWL_EFFICIENCY_FORMULA.JS
function calculateCrawlROI(url) {
let value = url.conversionPotential;
let cost = url.loadTime * url.crawlFrequency;if (cost > value) {
return "OPTIMIZE_OR_BLOCK";
} else {
return "FEED_MORE_LINKS";
}
}

Mantık Nasıl Çalışır?

Crawl Budget optimizasyonu bir "temizlik" operasyonudur. Siteni ne kadar sadeleştirirsen, botları ne kadar az yorarsan, Google seni o kadar çok sever. Unutma, Google'ın gözünde taranmayan sayfa yoktur, taranmaya değer bulunmayan sayfa vardır.

🚀 Google Botlarını Evcilleştirmeye Hazır Mısın?

Crawl Budget sorunları sitenin büyümesini engelleyen gizli bir prangadır. Teknik SEO'nun bu en karmaşık alanında profesyonel bir rehbere ihtiyacın varsa, gel bu süreci birlikte yönetelim. Botlar sitende kaybolmasın, kazancın artsın. Gökhan Vatancı ile Hızlıca Görüşün Freelance SEO Uzmanı Çözümleri

Sakın Yapma!

⚠️

Sitemap'i Şişirme

50.000 satırlık temizlenmemiş sitemap, botun sadece sitemap okumaya bütçe harcamasına neden olur.

⚠️

Yanlış Canonical

Her sayfayı ana sayfaya canonicallamak botun kafasını karıştırır ve taramayı keser.

⚠️

Infinite Scroll

Botlar "aşağı kaydırma" yapmaz. Linksiz içerik, taranmayan içeriktir.

Kafana Takılanlar

Crawl Budget her site için önemli mi?

Eğer 100-200 sayfalık küçük bir siten varsa Google zaten hepsini tarar. Ancak 10.000+ sayfan, e-ticaret siten veya sürekli güncellenen bir haber siten varsa bu konu senin için hayati önem taşır.

Sitemin tarama bütçesini nerede görebilirim?

Google Search Console > Ayarlar > Tarama İstatistikleri bölümünden botların günlük kaç istek attığını ve ne kadar data indirdiğini görebilirsin.

Gökhan Vatancı

Freelance SEO Uzmanı