Sitenizde 50 bin sayfa var ama Google bunların yalnızca yarısını indekslemiş. Yeni eklediğiniz kategoriler haftalarca taranmıyor, eski ve önemsiz filtre sayfaları ise Google'ın ilgisini çekiyor. Sebep çoğu zaman tarama bütçesi: Googlebot'un sitenize ayırdığı sınırlı kaynak yanlış yerlere harcanıyor.
Bu yazıda crawl budget'ın ne olduğunu, Google'ın neden her sayfayı taramadığını, tarama israfının kaynaklarını ve büyük sitelerde bütçeyi nasıl doğru yöne çevireceğinizi anlatacağım.
Selma, büyük bir kurumsal e-ticaret markasının dijital direktörü. Sitede on binlerce ürün, kategori ve filtre sayfası var. Yeni ürünler Google'a geç düşüyor, bazı önemli kategoriler indekslenmiyor, ama işe yaramaz filtre URL'leri sonuçlarda görünüyor. Selma "Google neden önemli sayfalarıma bakmıyor?" diye soruyor. Bu yazı tam Selma gibi büyük, çok sayfalı site yöneten ve tarama önceliğini düzeltmek isteyenler için.
Crawl Budget Nedir?
Crawl budget (tarama bütçesi), Googlebot'un belirli bir sürede sitenizde tarayacağı sayfa sayısıdır. Google'ın kaynakları sınırsız değil — her siteye ayırdığı tarama kapasitesi var. Sitiniz bu kapasiteyi nasıl kullandırırsa, o sayfalar indekslenir.
İki faktör belirler. Tarama hızı sınırı (crawl rate): sitenizin sunucusu ne kadar yük kaldırabilir — yavaş sunucu Googlebot'u yavaşlatır. Tarama talebi (crawl demand): Google sitenizdeki sayfaları ne kadar önemli ve taze görüyor — popüler ve sık güncellenen sayfalar daha çok taranır.
Küçük sitelerde (birkaç yüz sayfa) tarama bütçesi sorun olmaz; Google hepsini rahatça tarar. Sorun binlerce sayfalı sitelerde başlar — orada her taranan gereksiz URL, taranmayan önemli bir sayfa demektir.
Google Neden Her Sayfayı Taramaz?
Çünkü tarama maliyetlidir. Googlebot her sayfa için sunucu kaynağı harcar, sizinki dahil milyarlarca siteyi taraması gerekir. Bu yüzden önceliklendirir: değerli, taze, erişilebilir sayfaları önce; gereksiz, kopya, derin gömülü sayfaları sonra veya hiç.
Selma'nın sitesinde sorun şu: 50 bin sayfanın belki 8 bini gerçekten değerli (ürünler, kategoriler), gerisi filtre kombinasyonları, sıralama varyasyonları, kopya sayfalar. Google tarama bütçesini bu işe yaramaz 42 binde tüketince, değerli 8 bine sıra gelmiyor.
Tarama Bütçesini İsraf Eden 5 Şey
Bütçe sızıntısının başlıca kaynakları:
Filtre ve parametre URL'leri. ?renk=mavi&beden=L&sirala=fiyat gibi sonsuz kombinasyonlar. Her biri ayrı URL sayılır, bütçeyi yer.
Kopya içerik (duplicate). Aynı içeriğin www/non-www, http/https, trailing slash varyasyonları. Google her birini ayrı tarar.
Soft 404'ler. "Ürün bulunamadı" sayfası 200 kodu dönüyorsa, Google onu geçerli sayfa sanıp tarar.
Redirect zincirleri. A→B→C→D şeklinde uzayan yönlendirmeler her adımda bütçe harcar.
Düşük değerli sayfalar. Etiket arşivleri, boş kategori sayfaları, eski kampanya URL'leri.
Digiras Olarak 10 Yıldır Gözlemlediğimiz
Büyük site denetimi yaptığımız her 10 kurumsal projeden yaklaşık 8'inde tarama bütçesinin yarısından fazlası işe yaramaz URL'lere gidiyor. 10 yıldır gözlemlediğimiz en tutarlı patern şu: filtre/parametre URL'lerini robots.txt ile kapatıp kopya varyasyonları canonical'la birleştiren sitelerde, Google'ın değerli sayfaları tarama oranı belirgin artıyor. İzlediğimiz bir kurumsal e-ticarette bu temizlik sonrası yeni ürünlerin indekslenme süresi ortalama 14 günden 3 güne indi, indekslenen değerli sayfa oranı %54'ten %89'a çıktı, organik trafik 12 hafta içinde %27 arttı. En çarpıcı gözlem: tek bir satır içerik eklemeden, sadece Google'ın dikkatini doğru sayfalara yönlendirerek bu kazanç elde edildi. Tarama bütçesi optimizasyonu içerik üretmez; var olan içeriği nihayet görünür kılar.
Tarama Bütçesi Nasıl Optimize Edilir?
Amaç: Googlebot'un kaynağını değerli sayfalara yöneltmek, gereksizleri kapatmak.
1. Gereksiz URL'leri robots.txt ile Kapatın — Robots.txt Üretici
Filtre, sıralama, arama sonucu parametrelerini robots.txt ile taramaya kapatın. Googlebot oraya hiç girmesin, bütçeyi değerli sayfalara ayırsın. Doğru robots.txt kurallarını Robots.txt Üretici ile hazırlayabilirsiniz — yanlış kural önemli sayfaları da kapatabileceği için dikkatli kurmak gerekir.
2. Kopya İçeriği Canonical ile Birleştirin
Aynı içeriğin varyasyonlarını tek bir canonical URL'de toplayın. www/non-www, http/https tutarlılığını sağlayın. Google'a "asıl sayfa bu" deyin, varyasyonları taramakla uğraşmasın. Bu konunun detayını canonical etiketi ve duplicate content rehberinde bulabilirsiniz.
3. Sitemap'i Temiz ve Güncel Tutun
XML sitemap'inize yalnızca indekslenmesini istediğiniz değerli sayfaları koyun. Soft 404, redirect veya kapalı sayfalar sitemap'te olmamalı — Google'a yanlış sinyal verir. Sitemap, Googlebot'a "öncelikli liste" sunar.
4. İç Linkleme ile Önceliği Gösterin
Googlebot iç linkleri takip eder. Önemli sayfalara çok link verin, derin gömülü bırakmayın. Ana sayfadan üç tıkla ulaşılamayan sayfa, Google için düşük öncelikli demektir.
Şunu düşünelim: Tarama bütçesinin paradoksu şu — Google'a daha çok sayfa sunmak, daha az sayfanın görünmesine yol açabilir. Bazen bir sitenin SEO'su, eklediğiniz sayfayla değil, kapattığınız sayfayla iyileşir.
Tarama Durumunu Nasıl İzlersiniz?
Search Console Tarama İstatistikleri. Ayarlar → Tarama istatistikleri raporu, Googlebot'un sitenizde günde kaç sayfa taradığını, hangi yanıt kodlarını aldığını gösterir. Soft 404 ve redirect oranı yüksekse israf var.
Sunucu log analizi. En kesin yöntem. Sunucu loglarından Googlebot'un gerçekte hangi URL'leri taradığını görürsünüz — bütçenin nereye gittiği ortaya çıkar.
Sitenizin teknik sağlığını ve gereksiz URL sinyallerini Teknik SEO Analizi ile genel olarak tarayabilir, indeksleme düzeldikçe sıralamaları Rank Tracker ile izleyebilirsiniz.
Yaygın Crawl Budget Hataları
- Küçük sitede tarama bütçesiyle uğraşmak. Birkaç yüz sayfalı sitede sorun yoktur; enerjiyi içeriğe verin. Bu konu binlerce sayfalı sitelerin işi.
- Filtre URL'lerini açık bırakmak. En büyük bütçe sızıntısı budur ve en çok atlanan adımdır.
- robots.txt ile yanlış sayfayı kapatmak. Aşırı agresif kural önemli sayfaları da gizler — dikkatli ve test ederek kapatın.
- Sitemap'e çöp doldurmak. Kapalı, redirect veya 404 URL'leri sitemap'te tutmak Google'a karışık sinyal verir.
- Redirect zincirlerini görmezden gelmek. Her ekstra adım hem bütçe hem hız kaybı. Zincirleri tek adıma indirin.
Özet
Crawl budget (tarama bütçesi), Googlebot'un sitenizde belirli sürede tarayacağı sayfa sayısıdır; tarama hızı sınırı ve tarama talebi belirler. Küçük sitelerde sorun değildir, ama binlerce sayfalı sitelerde her gereksiz taranan URL, taranmayan değerli bir sayfa demektir. İsrafın başlıca kaynakları: filtre/parametre URL'leri, kopya içerik, soft 404, redirect zincirleri, düşük değerli sayfalar. Optimizasyon: gereksiz URL'leri robots.txt ile kapatmak, kopyaları canonical'la birleştirmek, sitemap'i temiz tutmak, iç linklemeyle önceliği göstermek. İzleme: Search Console tarama istatistikleri + sunucu log analizi.
Tarama bütçesinin paradoksu: Google'a daha çok sayfa sunmak, daha az sayfanın görünmesine yol açabilir. Bazen SEO, eklediğiniz sayfayla değil, kapattığınızla iyileşir.
Gereksiz URL'leri kapatmak için Robots.txt Üretici, genel teknik teşhis için Teknik SEO Analizi işinizi görür. Konuyu tamamlamak için canonical ve duplicate content rehberi ile robots.txt yapısı doğrudan ilişkilidir.
Sıkça Sorulan Sorular
Küçük sitemde tarama bütçesini dert etmeli miyim? Hayır. Birkaç yüz sayfaya kadar Google hepsini rahatça tarar. Tarama bütçesi binlerce, on binlerce sayfalı sitelerin sorunudur. Küçük sitedeyseniz enerjinizi içerik ve iç linklemeye verin — tarama zaten yeterli.
Filtre URL'lerini robots.txt'le kapatmak sıralamamı düşürür mü? Hayır, tersine yardımcı olur. Filtre kombinasyonları zaten indekslenmemesi gereken kopya/ince sayfalardır. Onları kapatınca Google bütçesini değerli kategori ve ürün sayfalarına ayırır. Dikkat: kapatırken yalnızca parametreli URL'leri hedefleyin, ana kategorileri değil.
Tarama bütçesini nasıl ölçerim? Search Console → Ayarlar → Tarama istatistikleri raporu en pratik yol. Günlük tarama sayısını, yanıt kodlarını ve indirilen dosya türlerini gösterir. Daha derin analiz için sunucu loglarından Googlebot trafiğini incelemek gerekir — gerçekte hangi URL'lerin tarandığını orada görürsünüz.
Soft 404 nedir, neden zararlı? Soft 404, var olmayan bir sayfanın "bulunamadı" içeriği gösterip yine de 200 (başarılı) kodu döndürmesidir. Google bunu geçerli sayfa sanıp tarar ve bütçe harcar. Çözüm: gerçekten yok olan sayfalar net 404 veya 410 kodu döndürmeli.
robots.txt yerine noindex kullansam olmaz mı? İkisi farklı işe yarar. robots.txt taramayı engeller (Googlebot girmez, bütçe korunur). noindex indekslemeyi engeller ama sayfa yine taranır (bütçe harcanır). Tarama bütçesi için robots.txt daha etkili; ama zaten indekslenmiş sayfayı çıkarmak istiyorsanız önce noindex, sonra kapatma sırası gerekir.
Sonuç
Tarama bütçesi, büyük sitelerin görünmez darboğazı. Google sitenizi tam tarayamıyorsa, en iyi içerik bile indekslenmeden bekler. İyi haber: çözüm yeni içerik değil, dikkatli temizlik — gereksizi kapatıp değerliyi öne çıkarmak. Çoğu zaman tek satır yazmadan ciddi kazanç verir.
Türkiye'de büyük sitelerin çoğu tarama bütçesini hiç optimize etmemiş; filtre URL'leri sonsuza dek açık. Rakiplerinizin site yapısına bakın — çoğunda bu sızıntı var. Bunu kapatmak, içerik üretmeden öne geçmenin nadir yollarından biri.
Sitenizin tarama sağlığını görmek isterseniz plus.digiras.com'da hesap açabilirsiniz. Teknik SEO Analizi, Robots.txt Üretici ve Rank Tracker bir arada — 20 kredi başlangıç hediyesiyle test edebilirsiniz, kredi kartı sormuyoruz.
Tarama bütçenizin nereye gittiğinden emin değilseniz bana yazın (info@digiras.com). Site yapınıza birlikte bakar, israf noktalarını çıkarırız — yazışırız.
Bu yazıyı Orhun Taşpınar yazdı. Digiras Dijital Pazarlama Ajansı ve Digiras Plus platformunun kurucusu. 10 yıldır SEO, AI SEO ve dijital pazarlama konularında çalışıyor. Sorularınız için: info@digiras.com