Robots TXT Dosyası Nedir? Web Siteniz İçin Doğru Yapılandırma Rehberi

Web sitenizin arama motoru botları tarafından nasıl görüldüğünü hiç merak ettiniz mi? Bir web sitesi sahibi veya SEO uzmanı olarak, Googlebot gibi tarayıcıların sitenizin her köşesine girmesini istemezsiniz. İşte tam bu noktada robots txt dosyası devreye girer. Bu basit metin dosyası, sitenizin dijital kapısındaki bir güvenlik görevlisi gibidir; hangi odalara girilebileceğini, hangi koridorların kapalı tutulacağını belirler. Doğru yapılandırılmamış bir robots txt dosyası, tarama bütçenizin (crawl budget) boşa harcanmasına veya kritik sayfalarınızın yanlışlıkla dizinden kaldırılmasına neden olabilir.

Kendi deneyimlerimde, yanlış bir “Disallow” komutu yüzünden değerli içeriklerin Google sonuçlarından silindiğini defalarca gördüm. Bir e-ticaret sitesi yönetirken, yanlışlıkla ürün kategorilerini engellediğimizde trafiğin nasıl bir anda düştüğünü hatırlıyorum. Bu rehberde, teknik detaylara boğulmadan, profesyonel bir yapılandırmayı nasıl kuracağınızı adım adım inceleyeceğiz. Dosyanın temel mantığını kavradığınızda, sitenizin tarama verimliliğini artırmak çok daha kolay hale gelecek.

robots.txt Dosyasının Önemi ve İşlevi

Arama motoru botları, web sitenizi ziyaret ettiklerinde ilk olarak kök dizindeki bu dosyayı kontrol ederler. Eğer bu dosya doğru talimatları içeriyorsa, botlar sitenizin derinliklerine inmeden önce hangi yolları izleyeceklerini bilirler. Bu durum, özellikle binlerce sayfası olan e-ticaret sitelerinde tarama verimliliğini doğrudan artıran bir etkendir. Botların enerjisini, sitenizin değersiz sayfalarında (sepet, kullanıcı paneli, filtreleme sonuçları vb.) harcamasını engellemek, SEO başarınızın anahtarlarından biridir.

Dosyanın temel işlevlerini şu şekilde sıralayabiliriz:

• Tarama Bütçesi Yönetimi: Botların gereksiz (admin paneli, sepet, arama sonuçları) sayfaları taramasını engelleyerek bütçeyi değerli içeriklere ayırır.
• İndeks Kontrolü: Hangi dizinlerin arama sonuçlarında görünmemesi gerektiğini belirler.
• Sunucu Yükünü Azaltma: Gereksiz taramaları kısıtlayarak sunucunuzun kaynaklarını korur.

Ancak dikkatli olun; robots.txt bir güvenlik duvarı değildir. Sadece botlara “buraya bakma” der. Eğer bir sayfa başka bir yerden linklenmişse, bot o sayfayı bulabilir. Bu yüzden hassas verileri gizlemek için robots.txt yerine “noindex” etiketini kullanmalısınız.

Robots.txt Dosyası Oluşturma Adımları

Bir robots.txt dosyası oluşturmak aslında teknik olarak çok basit bir işlemdir. Herhangi bir metin düzenleyici (Notepad, TextEdit veya VS Code) kullanarak hazırlayacağınız bu dosya, sadece düz metin (plain text) formatında olmalıdır. Dosyanın adının küçük harflerle “robots.txt” olduğundan ve web sitenizin ana dizinine (root directory) yüklendiğinden emin olmalısınız. Yanlış bir dosya ismi veya yanlış bir dizin konumu, tüm talimatlarınızın görmezden gelinmesine yol açar.

Süreci şu şekilde planlayabilirsiniz:

1. İhtiyacınız olan engelleme ve izin kurallarını listeleyin.
2. Metin düzenleyicide kuralları standart formatta yazın.
3. Dosyayı .txt uzantısıyla kaydedin.
4. FTP veya dosya yöneticisi aracılığıyla sitenizin kök dizinine yükleyin.
5. Tarayıcı üzerinden (siteadi.com/robots.txt) dosyanın erişilebilir olduğunu kontrol edin.

Dosyayı oluştururken karmaşık kurallardan kaçınmak, hata payını düşürür. Çok fazla kural eklemek, botların dosyayı okurken kafasının karışmasına neden olabilir. Sade, anlaşılır ve sadece gerekli olan kısıtlamaları içeren bir yapı her zaman daha güvenlidir.

User-agent: Nedir ve Nasıl Belirlenir?

Robots.txt dosyasındaki her kural bloğu bir “User-agent” tanımıyla başlar. User-agent, bu talimatın hangi arama motoru botu veya tarayıcı için geçerli olduğunu belirtir. Eğer tüm botlara aynı kuralı uygulamak istiyorsanız, evrensel bir joker karakter olan yıldız (*) işaretini kullanabilirsiniz. Ancak, sadece Googlebot’a özel bir kısıtlama getirmek istiyorsanız, doğrudan o botun adını belirtmeniz gerekir.

Örneğin, Googlebot için özel bir kural yazarken şu yapıyı kullanırız:

User-agent: Googlebot

Bu ifade, “Aşağıdaki talimatlar sadece Googlebot içindir” anlamına gelir. Eğer bu satırı yazmazsanız, yazdığınız Disallow veya Allow komutları hangi botu hedeflediği belirsiz kalır. Farklı botlar (Bingbot, Slurp, DuckDuckBot) için farklı stratejiler izlemek, özellikle çok speslı niş sitelerde tarama optimizasyonunu güçlendirebilir.

Disallow Komutu ile Erişim Engelleme

Disallow komutu, robots.txt dosyasının en kritik parçasıdır. Belirlediğiniz bir URL yolunun veya klasörün botlar tarafından taranmasını istemediğinizde bu komutu kullanırsınız. Örneğin, sitenizdeki `/admin/` klasörünün taranmasını istemiyorsanız, `Disallow: /admin/` yazmanız yeterlidir. Bu komut, botun o klasörün içine girmesini engeller.

Ancak burada çok ince bir çizgi var. Eğer yanlışlıkla `Disallow: /` yazarsanız, tüm web sitenizi arama motorlarına kapatmış olursunuz. Bu, SEO felaketidir. Bu yüzden her değişiklikten sonra dosyanın son halini mutlaka kontrol etmelisiniz. Özellikle yeni bir kategori veya sayfa yapısı eklediğinizde, eski kuralların yeni yapıyla çakışmadığından emin olun.

Allow Komutu ile İzin Verme

Bazen bir klasörü tamamen engellemek istersiniz ancak o klasörün içindeki çok özel bir sayfanın taranmasına izin vermeniz gerekir. İşte tam bu noktada Allow komutu devreye girer. Allow, Disallow ile yapılan kısıtlamayı belirli bir alt dizin veya dosya için esnetmenizi sağlar. Bu, hiyerarşik bir kural setidir; botlar önce daha geniş kapsamlı kurala, sonra daha spesifik olan Allow kuralına bakar.

Örnek bir senaryo düşünelim: `/images/` klasöründeki tüm görsellerin taranmasını engellediniz ama `/images/logo.png` dosyasının mutlaka taranmasını istiyorsunuz. Bu durumda şöyle bir yapı kurmalısınız:

• Disallow: /images/
• Allow: /images/logo.png

Bu yapılandırma sayesinde botlar klasöre girmeyi bırakır ama belirttiğiniz spesifik dosyayı bulup indeksleyebilir. Bu tür ince ayarlar, özellikle büyük ölçekli görsel kütüphanesi olan sitelerde tarama bütçesini optimize etmek için hayati önem taşır.

Özel Sayfalar İçin Erişim Kuralları Belirleme

Web sitenizdeki her sayfa aynı değerde değildir. Bazı sayfalar sadece kullanıcılar içindir, bazıları ise sadece bilgi amaçlıdır. Örneğin, bir e-ticaret sitesindeki “Siparişlerim” veya “Hesabım” sayfalarının arama sonuçlarında çıkması hem kullanıcı deneyimini bozar hem de SEO açısından anlamsızdır. Bu tür sayfaları robots.txt üzerinden Disallow ile kapatmak, tarama bütçenizi korumanıza yardımcı olur.

Aşağıdaki tabloda, hangi tür sayfaların engellenmesi ve hangilerinin açık bırakılması gerektiğine dair bir rehber bulabilirsiniz:

Bu kuralları belirlerken sitenizin büyüklüğünü göz önünde bulundurun. Eğer sitenizde çok fazla filtreleme seçeneği varsa (renk, beden, fiyat aralığı gibi), bu filtrelerin oluşturduğu sonsuz URL döngüsünü engellemek için Disallow komutlarını stratejik kullanmalara odaklanmalısınız.

Sitemap Eklemek ve robots.txt Dosyasına Entegre Etme

Robots.txt dosyasının sadece engelleme yapmak için değil, aynı zamanda botlara yol göstermek için de kullanılabileceğini biliyor muydunuz? Sitemap (Site Haritası) adresinizi robots.txt dosyanıza eklemek, arama motoru botlarının sitenizin yapısını çok daha hızlı kavramasını sağlar. Botlar dosyayı okuduğunda, “Tamam, buraya bakmamalıyım ama şu adresteki haritayı takip ederek tüm önemli sayfaları bulabilirim” derler.

Sitemap eklemek için dosyanın en altına şu satırı eklemeniz yeterlidir:

Sitemap: https://www.siteadi.com/sitemap_index.xml

Bu basit satır, Googlebot’un sitenizi keşfetme sürecini hızlandırır. Özellikle yeni oluşturulan veya sık güncellenen içeriklerin dizine eklenme süresini kısaltmak için bu entegrasyonu mutlaka yapmalısınız. Unutmayın, iyi bir SEO stratejisi, botlara işlerini kolaylaştıracak tüm ipuçlarını sunmayı gerektirir.

Dosyayı Test Etme ve Hataları Giderme Yöntemleri

Dosyayı hazırlayıp yüklemek işin sadece yarısıdır. Asıl önemli olan, yazdığınız kuralların gerçekten çalışıp çalışmadığını doğrulamaktır. Yanlış bir karakter veya eksik bir eğik çizgi (/) tüm sitenizi arama motorlarından silebilir. Google Search Console içindeki “Robots.txt Test Aracı” (eski sürümde daha aktifti, yeni sürümlerde URL Denetimi ile kontrol edilebilir) bu konuda en büyük yardımcınızdır.

Hata giderme sürecinde şu adımları izleyin:

1. URL Denetimi Yapın: Kritik bir sayfanın URL’sini Search Console’a yapıştırın ve “Engellendi mi?” diye kontrol edin.
2. Sözdizimi Kontrolü: Dosyada gereksiz boşluklar veya yanlış karakterler (örneğin Türkçe karakterler) olup olmadığını kontrol edin.
3. Tarama Raporlarını İnceleyin: Search Console’daki “Tarama İstatistikleri” raporuna bakarak botların hangi yollara takıldığını görün.

Eğer bir hata fark ederseniz, panik yapmayın. Dosyayı güncelleyip tekrar yükleyin. Arama motorlarının bu değişikliği fark etmesi birkaç saat ile birkaç gün arasında sürebilir. Sabırlı olun ve değişikliğin ardından botların sitenizi tekrar ziyaret etmesini bekleyin.

Sıkça Sorulan Sorular (FAQ)

Teknik SEO, bir web sitesinin temel taşıdır ve robots.txt dosyası bu yapının en kritik parçalarından biridir. Doğru yapılandırılmış bir dosya, tarama bütçenizi korurken, arama motorlarının sitenize daha verimli odaklanmasını sağlar. Eğer sitenizde tarama hataları yaşıyorsanız veya içeriklerinizin dizine eklenmediğini fark ediyorsanız, hemen robots.txt dosyanızı gözden geçirmeye başlayın.

Profesyonel SEO desteği ve teknik analizler için web sitemizi takip etmeye devam edin. Sitenizin performansını artırmak için doğru yapılandırmalar hayati önem taşır!