Robots.txt Dosyası Nedir ve Nasıl Yazılır?
Disallow: /admin-paneli/
Disallow: /gizli-belgeler/
Allow: /gorseller/
Sitemap: https://seninsiten.com/sitemap.xml_
Bu Rehberde Ne Öğreneceksin?
Bu rehberin sonunda robots.txt dosyasının mantığını sıfırdan kavrayacak ve kendi siten için Google'ı doğru yönlendiren hatasız bir dosyayı kendi başına yazmayı öğrenmiş olacaksın. Hazırsan başlayalım.
Robots.txt Nedir?
Web siteni büyük bir restoran gibi düşün.
Müşterilerin (ziyaretçilerin) yemek salonuna girmesini, menüyü incelemesini ve masalara oturmasını istersin. Ancak mutfağa, personel odasına veya deponun içine girmelerini istemezsin. İşte web sitende de Google gibi arama motorlarının girmesini istemediğin, sadece sana özel olan bölümler vardır.
Robots.txt dosyası, web sitenin kapısına astığın bir "Personel Harici Giremez" tabelasıdır. Google'ın sitene gönderdiği botlara (siteni otomatik olarak okuyan ve kaydeden yazılımlar) hangi sayfalara girebileceklerini, hangilerinden uzak durmaları gerektiğini söyler. En iyi SEO (Arama Motoru Optimizasyonu) stratejilerinin temeli, bu dosyanın doğru kurulmasıyla başlar.
Robots.txt, arama motoru botlarına (tarayıcılara) web sitendeki hangi sayfaları taramaları veya taramamaları gerektiğini söyleyen, sitenin ana dizininde bulunan basit bir metin dosyasıdır.
Eski Yöntem vs. Güncel Yaklaşım
- ❌ Tüm siteyi botlara kapatıp sonra açmayı unutmak.
- ❌ "Nasıl olsa kimse bulamaz" diyerek gizli sayfaları engellememek.
- ❌ Dosyanın içine site haritası (sitemap) linkini eklememek.
- ✅ Sadece gereksiz ve admin sayfalarını taramaya kapatmak.
- ✅ Önemli görsellere ve CSS dosyalarına erişim izni (Allow) vermek.
- ✅ Botların siteyi hızlı okuması için sitemap URL'sini en alta eklemek.
Bilmen Gereken Terimler
Basitçe açıklıyoruz, ezberlemene gerek yok.
Kuralın hangi arama motoru botuna (örneğin Googlebot) uygulanacağını belirtir.
"Buraya girme" anlamına gelen, yasaklama komutudur.
Genel bir yasağın içinde, "sadece buraya girebilirsin" demek için kullanılır.
Joker karakterdir. "Tümü" veya "Herkes" anlamına gelir.
Sitenin haritasıdır. Botlara tüm sayfaların listesini tek seferde verir.
Botların sitendeki linkleri takip ederek sayfalarını okuma işlemidir.
Sitenin ana klasörüdür. robots.txt her zaman burada durmak zorundadır.
Taranan sayfanın Google arama sonuçlarına (veritabanına) eklenmesidir.
Robots.txt Hakkında Bilmen Gereken Her Şey
Neden Bir Robots.txt Dosyasına İhtiyacım Var?
Eğer küçük bir blog siten varsa ve saklayacak hiçbir şeyin yoksa, teorik olarak bu dosyaya ihtiyacın yoktur. Google siteni yine de bulur ve tarar. Ancak işler biraz büyüdüğünde bu dosya hayati bir önem taşır.
Sitenin arka planında çalışan sistem klasörleri (örneğin WordPress kullanıyorsan /wp-admin/ klasörü) veya arama sonuçlarında çıkmasını istemediğin özel pdf dosyaların olabilir. Bunları gizlemezsen, Google botları gereksiz yere bu sayfaları okumakla vakit kaybeder. Buna SEO dünyasında tarama bütçesi (crawl budget) denir. Tarama bütçesini daha iyi hale getirmek için Google'ı sadece önemli sayfalara yönlendirmelisin. Detaylar için Crawl Budget Optimizasyonu Nedir? yazıma göz atabilirsin.
⚠️ Dikkat
Robots.txt dosyası bir güvenlik duvarı değildir. Sadece saygılı botlara (Google, Bing vb.) "lütfen buraya girme" der. Kötü niyetli yazılımlar bu dosyayı umursamaz. Gerçekten gizli tutman gereken bir veri varsa, onu robots.txt ile değil, şifre ile korumalısın.
Robots.txt Dosyasını Nereye Koymalıyım?
Bu dosyanın yeri kesin kurallara bağlıdır. Arama motorları sitene geldiğinde ilk olarak ana dizine (kök klasör) bakar. Alt klasörlerdeki dosyaları okumazlar.
Örneğin; web sitenin adı seninsiten.com ise, dosyan mutlaka şu adreste olmalıdır: seninsiten.com/robots.txt. Eğer bu dosyayı seninsiten.com/blog/robots.txt içine koyarsan, Google bunu göremez ve yok sayar.
Robots.txt dosyaları küçük harfle yazılmalıdır. "Robots.txt" veya "ROBOTS.TXT" şeklinde isimlendirilen dosyalar bazı sunucularda hata verebilir. Her zaman tamamen küçük harflerle robots.txt kullan.
Komutlar Nasıl Çalışır?
Bu dosyanın dili son derece basittir. Aklında tutman gereken temel bir mantık var: Önce "kiminle" konuştuğunu söylersin, sonra "ne yapması gerektiğini".
- Kime söylüyorum?:
User-agent: *(Yıldız işareti tüm arama motorları anlamına gelir. Sadece Google'a seslenmek isteseydikUser-agent: Googlebotyazardık.) - Nereyi yasaklıyorum?:
Disallow: /ozel-sayfa/(Disallow kelimesi yasak demektir. Slaş (/) işareti sitenin ana dizininden sonraki kısmı temsil eder.) - Nereye izin veriyorum?:
Allow: /ozel-sayfa/resim.jpg(Yasaklı bir klasörün içindeki tek bir dosyaya izin vermek istiyorsak Allow komutunu kullanırız.)
💡 İpucu
Robots.txt dosyanın en altına mutlaka Site Haritası (Sitemap) linkini ekle. Bu sayede Google botları sitene geldiğinde ilk iş haritanı bulur ve tüm sayfalarını saniyeler içinde keşfeder. Örnek: Sitemap: https://siten.com/sitemap_index.xml
Uygulama Adımları: Sıfırdan Kendi Dosyanı Yarat
Adım adım, hiçbir şey atlamadan ilk dosyanı oluşturuyoruz.
Mevcut Durumu Kontrol Et
Öncelikle sitende zaten bir robots.txt olup olmadığına bakmalıyız. Tarayıcını aç ve adres çubuğuna kendi site adını yaz, sonuna /robots.txt ekle ve Enter'a bas. Eğer beyaz bir ekranda yazılar görüyorsan, dosyan var demektir. 404 Hata sayfası görüyorsan, sıfırdan oluşturacağız.
Bir Metin Editörü Aç
Özel bir koda ihtiyacın yok. Bilgisayarındaki Not Defteri (Windows) veya TextEdit (Mac) programını aç. Word gibi programları kullanma, çünkü bu programlar arka planda görünmez biçimlendirme kodları ekler ve dosyanı bozar. Saf bir metin ekranına ihtiyacımız var.
User-agent'ı Belirle
İlk satıra, kuralların kimin için geçerli olduğunu yazıyoruz. Çoğu site tüm arama motorlarına aynı kuralı uygular. Bu yüzden Not Defteri'ne User-agent: * yaz ve alt satıra geç.
Engellenecek Sayfaları Seç (Disallow)
Şimdi Google'ın girmesini istemediğin sayfaları belirt. Örneğin site içi arama sayfalarını gizlemek iyi bir fikirdir. Alt satıra geçip Disallow: /arama/ yazabilirsin. WordPress kullanıyorsan Disallow: /wp-admin/ yazman standarttır.
Disallow: /wp-admin/
İstisnalar Ekle (Allow)
Yasakladığın bir klasörün içinde Google'ın görmesini istediğin tek bir dosya varsa bunu belirtmelisin. Örneğin admin klasörü içindeki bir script dosyasını göstermek için Allow: /wp-admin/admin-ajax.php ekleyebilirsin.
Allow: /wp-admin/admin-ajax.php
Site Haritanı (Sitemap) Ekle
Tüm kuralları yazdıktan sonra iki satır boşluk bırak. En alta sitenin harita adresini tam URL olarak yaz. Örneğin: Sitemap: https://siten.com/sitemap.xml. Bu, botların işini inanılmaz derecede kolaylaştırır.
Buraya kadar geldiysen temel mantığı kavradın. Ancak bu noktadan sonra dikkatli olmalısın. Dosyayı sunucuya yüklerken yanlışlıkla atacağın tek bir / (slaç) işareti, bütün web sitenizin Google'dan tamamen silinmesine neden olabilir. Çoğu kişi tam da bu aşamada hatalar yapar.
Doğru Formatla Kaydet
Hazırladığın metni kaydetme zamanı geldi. Dosya menüsünden "Farklı Kaydet" (Save As) seçeneğine tıkla. Dosya adını tamamen küçük harflerle robots.txt yap. Dosya türü (veya kodlama) olarak mutlaka UTF-8 seçeneğinin işaretli olduğundan emin ol.
Ana Dizine Yükle
Oluşturduğun bu dosyayı web sitenin sunucusuna yüklemen gerekiyor. Hosting (barındırma) paneline (cPanel, Plesk vb.) giriş yap. Dosya Yöneticisi'ni aç ve public_html (veya sitenin ana klasörü) içine bu dosyayı sürükleyip bırak.
Google Search Console'da Test Et
Dosyayı yükledikten sonra doğru çalışıp çalışmadığını Google'a sormalıyız. Google Search Console hesabına giriş yap. Sol menüden ayarlar veya tarama raporları altındaki "robots.txt Test Aracı"nı bularak siteni kontrol et.
Canlı Yayını Doğrula
Son adım olarak tekrar tarayıcını aç. siten.com/robots.txt adresine gir. Eğer kendi yazdığın komutları ekranda net bir şekilde görüyorsan, tebrikler! Sitenin trafik polislerini başarıyla görevlendirdin.
Robots.txt Mantık Simülatörü
ÖrnekDisallow: /ozel-kampanyalar/
Allow: /ozel-kampanyalar/resim1.png
"Bir sayfayı robots.txt ile engellemek, o sayfanın Google'da görünmeyeceği anlamına gelmez."
Sık Sorulan Sorular
Robots.txt dosyası olmazsa ne olur? ↓
Web siten yine de çalışır ve Google tarafından taranır. Google, sitende bu dosyayı bulamazsa varsayılan olarak "sitedeki her sayfaya girebilirim" şeklinde davranır.
Disallow: / ne anlama geliyor? ↓
Slaç (/) işareti sitenin ana gövdesini temsil eder. Eğer sadece "Disallow: /" yazarsan, botlara "sitemin hiçbir yerine girme" demiş olursun. Siteyi tamamen Google'a kapatmak istediğinde kullanılır.
Dosyayı güncelledikten sonra Google ne zaman görür? ↓
Google botları siteni düzenli olarak ziyaret eder. Değişikliği fark etmesi genelde birkaç saat ile birkaç gün sürer. Süreci hızlandırmak için Google Search Console'u kullanabilirsin.
WordPress sitelerde bu dosya otomatik mi oluşur? ↓
Evet, WordPress sanal bir robots.txt dosyası yaratır. Ancak bu çok temeldir. Kapsamlı SEO ayarları için fiziksel bir dosya oluşturup FTP ile yüklemek veya SEO eklentileri (Yoast, RankMath) kullanmak daha iyidir.
Sitemap adresimi eklemek zorunda mıyım? ↓
Zorunlu değildir ancak kesinlikle tavsiye edilir. Google, Search Console'a haritanı yüklemesen bile robots.txt dosyanı okuduğu an haritana da ulaşmış olur.
Dosya boyutu sınırı var mı? ↓
Evet, Google botları maksimum 500 KB büyüklüğündeki robots.txt dosyalarını okur. Eğer dosyan bundan daha büyükse, 500 KB'dan sonrasını yok sayar. Ancak normal şartlarda bu dosya sadece birkaç kilobayt olur.
Botların belirli saniyelerde gelmesini nasıl sağlarım? ↓
Crawl-delay (Tarama Gecikmesi) komutu ile botlara "sayfalarım arasında x saniye bekle" diyebilirsin. Ancak Google bu komutu dikkate almaz; Google için tarama hızını Search Console'dan ayarlamalısın.
Sadece görselleri arama motoruna nasıl kapatırım? ↓
Bunun için Googlebot-Image isimli özel bota emir vermelisin. "User-agent: Googlebot-Image" yazdıktan sonra alt satıra "Disallow: /" yazarsan görsellerin Google Görseller'de çıkmaz.
Dosyamın hatasız olduğunu nasıl anlarım? ↓
En güvenli yol Google Search Console içerisindeki Robots.txt test aracını kullanmaktır. Hatalı bir satır varsa Google sana doğrudan uyarı verecektir.
Bu dosya sitemi hacklenmekten korur mu? ↓
Hayır, kesinlikle korumaz. Aksine, kötü niyetli kişiler bu dosyaya bakarak sitende hangi klasörleri gizlemeye çalıştığını (admin yolları vb.) tespit edebilir. Gizlilik gereken alanlara şifre koymalısın.
Desteğe mi İhtiyacın Var? Buradayım.
Buraya kadar okuduysan konuyu artık biliyorsun. Uygulamaya geçerken takılırsan veya "Sitemin başka neresinde teknik sorunlar var?" dersen, birlikte hızlandıralım.
Gökhan Vatancı ile Görüş →
