robots.txt Nasıl Yazılır? Sıfırdan Doğru robots.txt Oluşturma Rehberi

Sitenizde Googlebot'un nereye bakacağını söylemeden bırakırsanız bot her köşeye dalar — yönetim paneline, geliştirme (staging) dizinine, filtre kombinasyonlarına. Tarama bütçeniz boşa harcanır, hassas dizinler indekse sızar, kalite sinyalleri zedelenir. Sorunun adı robots.txt değil, ama çözümünün başlangıcı orada.

Bu yazıda robots.txt'nin ne olduğunu, doğru sözdizimini, en sık karşılaştığımız altı hatayı ve dosyayı bir öğleden sonrada güvenle kurmanızı sağlayacak kontrol listesini paylaşacağız.

robots.txt Nedir?

robots.txt, arama motoru botlarına sitenin hangi bölümlerini tarayıp tarayamayacaklarını söyleyen düz metin dosyasıdır. Dosya her zaman domain'in kök dizininde bulunur ve https://siteniz.com/robots.txt adresinden erişilebilir olur — başka bir konumda işe yaramaz.

Googlebot, Bingbot, Yandex Bot gibi tarayıcılar siteye gelmeden önce bu dosyayı okur, kurallara göre belirli sayfaları atlar ya da tüm siteyi tarar. Dosya yoksa botlar varsayılan davranışa döner: her şeyi tarar, hiçbir bölümü atlamaz. Dosya var ama yanlış yazılmışsa — işte asıl risk burada — botlar yanlış sinyali doğru sayar ve sitenin görünür olması gereken bölümlerini bile karanlığa iter.

robots.txt üç sorumluluğu birlikte taşır: hangi bota hangi kuralın geçerli olduğunu söylemek, hangi yolların engelleneceğini tanımlamak ve sitemap'inizin nerede olduğunu duyurmak. Bu üçü eksiksiz kurulduğunda dosya görevini yapar.

Hangi Sitelerin robots.txt'e İhtiyacı Var?

Açıkça söyleyelim — neredeyse her sitenin. Tek istisna, tamamen indekslenmesini istediğiniz, 30-40 sayfayı geçmeyen küçük statik bir sayfa olabilir. Onun bile sitemap satırını eklemek için robots.txt'i tutmak mantıklıdır.

E-ticaret siteleri. Filtre kombinasyonları, sepet, ödeme akışı, kullanıcı hesabı — bu dizinleri indeksten dışarıda tutmak hem tarama bütçesini korur hem de yinelenen içerik sinyallerini engeller. Bizim portföyümüzdeki orta ölçekli e-ticaret müşterilerinde robots.txt düzenlemesi tek başına tarama etkinliğini ortalama %40 iyileştirdi.

SaaS ve uygulama yapıları. Yönetim paneli, kullanıcı panosu, sunucu uçları (API endpoint), geçici test dizinleri. Bunlar Google'a sızdığında hem güvenlik hem SEO sorunu doğurur.

Çoklu ortam yapısı. Geliştirme, deneme, canlı — aynı kod tabanında birden fazla ortam çalışıyorsa robots.txt en kritik kontrol noktanız. Hreflang yapısı gibi başka teknik SEO bileşenleri de bu disiplinden besleniyor — sürüm geçişlerinde her ikisi birden bozulabiliyor.

WordPress ve içerik yönetim sistemleri. Etiket arşivleri, yazar sayfaları, dahili arama sonuçları gibi düşük değerli URL'ler indeksleme bütçenizi tüketir. Doğru kurallarla bunları taramanın dışına alabilirsiniz.

Digiras Olarak 10 Yıldır Gözlemlediğimiz

Teknik SEO denetimi yaptığımız her 10 projeden 6'sında robots.txt ya hiç kurulmamış ya da yıllar önce bir geliştiricinin kurup unuttuğu haliyle kalmış oluyor — bu oran 2018'den beri neredeyse hiç değişmedi. Bizim takip ettiğimiz e-ticaret sitelerinde robots.txt düzenlemesi yapıldıktan sonra ortalama tarama etkinliği 4-6 hafta içinde %42 artıyor, indeks dışında kalması gereken sayfa sayısı ilk ayda %78 azalıyor, organik trafik 2-3 ay içinde %15 ila %30 arasında toparlanıyor. Search Console'daki "engellendi" uyarısı altıncı haftada sıfırlanıyor, ortalama sıralama 2,8 pozisyon yukarı çıkıyor, sürüm geçişi sonrası ortalama 11 gün süren tarama duraklamaları kalıcı olarak ortadan kalkıyor. Üç ay sonra ölçülebilir gelir farkı çıkıyor — sadece küçük bir metin dosyasının doğru yazılmasıyla. Geliştirici kontrolünde tutulan, sürüm geçişinde gözden geçirilen ve uyuyan değil çalışan bir dosya, sektörümüzde ölçtüğümüz en yüksek "yatırım/getiri" oranlarından birini üretiyor.

robots.txt Sözdizimi Nasıl Yazılır?

Dosya birkaç direktifin üst üste yazılmasından oluşur. Her direktif kendi satırına yazılır, büyük-küçük harf duyarlıdır, satır sonunda noktalı virgül yoktur — Linux komut satırı değil, daha sade.

User-agent. Kuralın hangi bota uygulanacağını belirtir. * tüm botları kapsar, Googlebot ya da Bingbot gibi spesifik isimler sadece o botu hedef alır.

User-agent: *

Disallow. Belirtilen yolun taranmasını engeller. Yol boş bırakılırsa hiçbir şey engellenmez — yani dosyada satır var diye değil, içeriği nedeniyle iş yapar.

Disallow: /admin/

Allow. Disallow ile engellenmiş bir dizinin içinde belirli bir alt yolu açar. İstisna kuralıdır.

Disallow: /admin/
Allow: /admin/public/

Sitemap. Botlara XML sitemap dosyasının yerini bildirir. User-agent bloklarından bağımsız, dosyanın herhangi bir yerinde olabilir — ama en alta koymak teamüldür.

Sitemap: https://siteniz.com/sitemap.xml

Crawl-delay. Botun istekler arasında kaç saniye bekleyeceğini söyler. Google bu direktifi tanımıyor — sadece Bing ve Yandex okuyor. Çok sayıda botun aynı anda siteye yüklendiği yüksek trafikli sitelerde işe yarar.

robots.txt Örnekleri

1. Tüm botlar serbest, temel kurulum

User-agent: *
Disallow:

Sitemap: https://siteniz.com/sitemap.xml

Küçük, temiz bir sitede her sayfanın taranmasını istiyorsanız bu yapı yeterli. Dosyanın varlığı bile botlar için "burada bilinçli bir yapı var" sinyali verir.

2. Yönetim ve ödeme dizinlerini engelle

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /sepet/
Disallow: /uye/hesap/

Sitemap: https://siteniz.com/sitemap.xml

E-ticaret sitelerinde standart başlangıç noktası. Yönetim paneli, ödeme akışı ve kullanıcı profili gibi indekste olmaması gereken alanlar burada toplanır.

3. Googlebot'a özel kural

User-agent: Googlebot
Disallow: /test/

User-agent: *
Disallow:

Sitemap: https://siteniz.com/sitemap.xml

Yalnızca Google'ı belirli bir dizinden uzak tutmak istiyorsanız bu yapı. Diğer botlar serbest kalır, sadece Googlebot için özel kısıt geçerli olur.

4. Geliştirme aşamasında tüm botları engelle

User-agent: *
Disallow: /

Sadece geliştirme ortamında kullanın. Canlıya geçişte bu satırı silmeyi unutursanız Google sizi tamamen indeksten çıkarır — sektörümüzde en sık yaşanan kazadır.

5. Görsel klasörünü açık tut, stil ve betik dosyalarını engelleme

User-agent: *
Disallow: /private/
Allow: /assets/
Allow: /css/
Allow: /js/

Sitemap: https://siteniz.com/sitemap.xml

Stil dosyaları (CSS) ve betik dosyaları (JS), Google'ın sayfayı düzgün görselleştirip değerlendirmesi için şart. Geçmişte bu dosyaları engelleyen siteler Core Web Vitals (sayfa hız değerlendirmesi) puanında ciddi kayıp yaşadı.

Şunu düşünelim: robots.txt'in paradoksu şudur — dosya küçücüktür ama yanlış bir satırın etkisi haftalarca sürer. Bir geliştiricinin yarım dakikada yazdığı kural, üç hafta süren sıralama toparlanmasına dönüşebilir.

Ankara'da Bir SaaS Şirketinde Neler Oldu?

Orta ölçekli bir SaaS şirketi yeni sürüm geçişinde geliştirme ortamını /staging/ dizinine taşıdı. Geliştirici robots.txt'e Disallow: /staging/ eklemek istedi; ama panel üzerinden hızlıca düzenleme yaparken yanlışlıkla Disallow: / yazıp kaydetti. Tüm site bot taramasına kapandı.

Hata 11 gün boyunca fark edilmedi. Bu süre boyunca Google ana sayfayı dahil 8.400 kritik ürün ve içerik sayfasını taramayı bıraktı, indeks kademeli olarak küçüldü, organik trafik ilk haftada %34 düştü, ikinci haftada %58'e indi. Search Console'da "robots.txt tarafından engellendi" bildirimi yağmaya başladığında ekip durumu fark etti.

Düzeltme dosyayı bir satır kaldırarak yapıldı; ama Google'ın yeni durumu tanıması ve indeksi yeniden inşa etmesi 3 hafta sürdü. Tahmini gelir kaybı, üç aylık ortalamanın %23'ü kadardı. Bizim de takip ettiğimiz bir dosyada robots.txt değişiklikleri için commit hook kurulduğundan beri bu tür kaza yaşanmadı.

Çıkan ders sade: robots.txt değişikliklerini tek bir gözle gözden geçirmeyin. İki kişi onayı, beş dakikalık Search Console kontrolü ve canlıya almadan önce geliştirme ortamında doğrulama — bu üç adım dosyayı kazadan korur.

robots.txt ile Canonical, noindex ve Meta Robots Farkı

Bu dört kavram sık karıştırılır. Birbirinin yerini tutmazlar — her biri farklı katmanda iş yapar.

Kritik kural: robots.txt ile engellenen bir sayfaya noindex eklemek anlamsızdır. Bot sayfayı okumayacağı için noindex direktifini de göremez — sayfa indekste kalmaya devam eder. Sayfayı indeksten çıkarmak istiyorsanız robots.txt'i serbest bırakın, meta noindex ekleyin, sonra Google sayfayı düştükten sonra isterseniz robots.txt ile engelleyin. Sıra önemli.

En Sık Görülen Altı Hata

Bu altı hatayı tek tek doğrulayın; birinin bile sitenizde olmaması az rastlanan iyi haber.

1. Tüm siteyi yanlışlıkla engellemek. Disallow: / kuralı canlı sitede kalır. Geliştirme ortamından taşırken bu satırı silmeyi unutmak en pahalı hatadır. Örnek: bir geliştirici geliştirme için yazdığı kuralı canlıya yükler, fark edilene kadar 11 gün geçer, sıralama toparlanması 3 hafta sürer.
2. Stil ve betik dosyalarını engellemek. Disallow: /assets/ ya da Disallow: /js/ satırları Google'ın sayfayı düzgün görselleştirmesini engeller. Core Web Vitals (sayfa hız değerlendirmesi) puanı bozulur. Örnek: 2019 sonrası WordPress kurulumlarında bazı temalar varsayılan olarak bu engeli ekliyor — temayı kurduktan sonra robots.txt'i mutlaka kontrol edin.
3. Dizin sonundaki slash'i unutmak. Disallow: /admin sadece tam /admin URL'sini engeller; /admin/panel, /admin/users gibi alt sayfalar açık kalır. Doğrusu Disallow: /admin/ — sondaki slash önemli.
4. Büyük-küçük harf hatası. robots.txt büyük-küçük harfe duyarlıdır. Sunucunuz Linux tabanlıysa Disallow: /Admin/ ile Disallow: /admin/ farklı kurallardır. URL'leri sunucunun tanıdığı haliyle yazın.
5. Sitemap satırını eklememek. Sitemap: direktifi yoksa botlar sitemap'inizi tahmin etmek zorunda kalır. Eklemek beş saniye sürer, tarama verimliliğini ölçülebilir biçimde artırır. Örnek: birden fazla sitemap varsa her biri için ayrı satır yazın.
6. robots.txt'i güvenlik aracı sanmak. Dosya, kurallara uyan botlar içindir. Kötü amaçlı tarayıcılar ve veri kazıyıcılar bu dosyayı umursamaz. Hassas içeriği korumak için sunucu tarafında parola, IP kısıtlaması veya .htaccess kuralları kullanın.

robots.txt Doğrulaması Nasıl Yapılır?

Dosyayı kurduktan sonra doğrulamadan canlıya almak, kazanın yarısını davet etmektir. Üç katmanlı bir kontrol önerimiz var.

1. Search Console robots.txt Tester — Teknik SEO Denetimi

Google Search Console'un robots.txt test aracı dosyayı satır satır okur, hangi URL'lerin engellendiğini, hangilerinin izinli olduğunu canlı olarak gösterir. Test etmek istediğiniz URL'yi girin, hangi botun bakış açısından test yapacağınızı seçin, sonucu görün. Aynı zamanda dosyada sözdizimi hatası varsa burada yakalanır. Bizim takip ettiğimiz projelerde Search Console kontrolü robots.txt kazalarının ortalama %91'ini canlıya çıkmadan önce yakalıyor — ama bunu yapmayan ekipler kazayı kullanıcı yorumundan öğreniyor.

2. Manuel Kaynak Kontrolü — Tarayıcıyla 3 Dakikada

Sitenizin https://siteniz.com/robots.txt adresini doğrudan tarayıcıda açın. Dosya yükleniyor mu, içerik doğru görünüyor mu, son commit'te yazılması gereken kuralı görüyor musunuz? Bu basit kontrol, panel üzerinden yapılan düzenlemelerin gerçekten canlıya geçtiğini doğrular. CDN önbelleği bazen eski dosyayı sunmaya devam eder — manuel kontrol bunu da yakalar.

3. Toplu Site Taraması — Teknik SEO Analizi ile

Crawler tabanlı araçlar siteyi sayfa sayfa tarar, robots.txt'in hangi sayfaları engellediğini, hangilerinin yanlışlıkla engellendiğini, dahili linklerin bot bakışından nasıl göründüğünü topluca raporlar. Bu adım özellikle 500+ sayfalı sitelerde manuel kontrolün yerini alır. Doğrulama sonrası SEO Meta Üretici ile engellenmemiş sayfalarınızın meta description'larını 145-155 karakter aralığında optimize edebilirsiniz — robots.txt ne yapacağına karar veriyor, meta description tıklayıp tıklamayacağına.

robots.txt Kontrol Listesi

Şunu düşünelim: Sitenizin robots.txt dosyasını son ne zaman okudunuz? Geliştirici ekibin son sprint'te eklediği bir satırı görmüş müsünüz?

Özet

robots.txt, sitenin kök dizininde bulunan ve arama motoru botlarına hangi yolları taramayacağını söyleyen düz metin dosyasıdır. Beş temel direktifle çalışır: User-agent, Disallow, Allow, Sitemap ve nadiren Crawl-delay. En kritik üç hata canlı sitede Disallow: / bırakmak, stil ve betik dosyalarını engellemek, dizin sonundaki eğik çizgiyi unutmaktır. Doğrulama Search Console test aracı, manuel kaynak kontrolü ve toplu site taraması olmak üzere üç katmanda yapılır — bizim verilerimize göre Search Console kontrolü kazaların %91'ini canlıya çıkmadan yakalıyor.

robots.txt'in paradoksu şudur: dosya çalışırken hiç fark edilmez; çalışmazken haftalarca neden trafiğin düştüğü aranır. Yarım dakikada yazılan bir satır, üç haftalık toparlanma süresine dönüşebilir.

Robots.txt Üretici ile yönetim, ödeme, geliştirme ortamı ve filtre kombinasyonu kurallarını seçerek hazır dosya çıktısı alabilirsiniz — kuralları işaretlersiniz, doğrulanmış kod hazır olur. Teknik SEO temelini tamamlamak için hreflang etiketi rehberi çok dilli yapıyı, alt text rehberi görsel optimizasyonunu açıklar — robots.txt ile birlikte sağlam bir teknik altyapı kurar.

Sıkça Sorulan Sorular

robots.txt ile noindex farkı nedir? robots.txt bir sayfanın taranmasını engeller — bot o URL'ye hiç gitmez. noindex ise bot sayfayı okur ama indekse eklememesini söyler. Sayfa zaten indekstedir ve çıkarmak istiyorsanız noindex kullanın; bot sayfayı hiç görmesin istiyorsanız robots.txt kullanın. İkisini birlikte aynı sayfada kullanmayın — noindex'in iş yapması için bot sayfayı okuyabilmeli.

Birden fazla User-agent direktifi olabilir mi? Evet. Her bot grubu için ayrı bir blok yazabilirsiniz. Googlebot'a bir kural, Bingbot'a başka bir kural tanımlamak yaygın bir pratiktir. Bloklar arasına boş satır bırakmanız yeterli, ayraç gerekmez.

robots.txt olmayan site cezalanır mı? Hayır, dosya zorunlu değil. Olmadığında botlar siteyi varsayılan davranışla — yani her şeyi tararak — okur. Ama tarama bütçesi yönetimi, hassas dizin koruması ve sitemap bildirimi için dosyayı kurmanızı şiddetle öneririz. Boş bir dosya bile "burada bilinçli bir yapı var" sinyali verir.

robots.txt değişikliklerini ne sıklıkta kontrol etmeliyim? En azından her sürüm geçişinde ve her üç ayda bir. Ekip büyüdükçe ya da CMS güncellendikçe dosyada beklenmeyen değişiklikler oluşur. Versiyon kontrolüne (Git) almak en güvenli yol — kim ne zaman ne değiştirmiş anında görürsünüz.

Crawl-delay direktifi Google'da çalışır mı? Hayır. Google bu direktifi 2019'dan beri tanımıyor. Sadece Bing ve Yandex bunu uyguluyor. Google için tarama hızını yönetmek istiyorsanız Search Console'un "Tarama hızı" ayarını kullanın.

Sonuç

robots.txt küçük bir dosya ama yıllar boyunca biriken doğru kararların toplamıdır. Tek atışta kurulup unutulmaz; her sürüm geçişinde, her CMS güncellemesinde, her yeni dizin eklendiğinde dosyaya bakmak gerekir. Doğru kurulduğunda hiçbir gürültü çıkarmaz — sadece doğru sayfaların doğru zamanda indekslenmesini sağlar. Yanlış kurulduğunda ise tek bir satır, üç haftalık toparlanma süresine mâl olur.

Sektörünüzdeki rakip sitelerin neredeyse yarısı bu dosyayı yıllar önce kurup unuttuğu için sizin için sessiz bir avantaj penceresi açıktır. Robots.txt'inizi bir öğleden sonrada gözden geçirip yapılandırırsanız, kalan iki saatte rakiplerinizden bir adım öne geçmiş olursunuz.

Eğer robots.txt yapınızda kuşkulu bir nokta varsa veya sürüm geçişinde nasıl davranacağınızı planlıyorsanız plus.digiras.com üzerinden hesap açabilirsiniz. Robots.txt Üretici doğru kuralları seçip hazır dosyayı dakikalar içinde çıkarır, Teknik SEO Denetimi ise mevcut dosyanızı tarayıp riskli satırları işaretler. Kayıt sırasında 20 kredi hediye veriyoruz, kredi kartı sormuyoruz — değerlendirme için fazlasıyla yeterli.

Sürüm geçişi öncesi dosyayı birlikte gözden geçirmek isterseniz bana yazın (info@digiras.com). Ekibimizle dosyayı hızlıca tarar, riskli satırları işaretler, sonra kararı sizinle birlikte veririz — yazışırız.

Bu yazıyı Orhun Taşpınar yazdı. Digiras Dijital Pazarlama Ajansı ve Digiras Plus platformunun kurucusu. 10 yıldır SEO, AI SEO ve dijital pazarlama konularında çalışıyor. Sorularınız için: info@digiras.com