Arama motorlarında, veritabanlarında olabildiğince fazla bilgiyi sınıflandırmak ve dizine eklemek için web’i tarayan makineler veya robotlar bulunur. Robots txt kullanımı, web içeriğini dizine eklemek için web’de yaygın olarak kullanılan bir makine sınıfıdır. Örneğin, spam gönderenler bunları e-posta adreslerini izlemek için kullanır. Ancak, site bulma veya kod dizinlerine ve dosyalara erişimi engelleme gibi XML’de başka birçok kullanımının da olduğunu unutmamak gerekir.
Robot TXT Dosyası Ne İşe Yarar?
Robots.txt dosyası nasıl çalışır? Bir robots.txt dosyasıyla çalışmak göründüğünden daha kolaydır. Bilmeniz gereken ilk şey, robots.txt dosyasının ne için olduğu ve web sitenizin hangi öğelerini indeksleyebileceğidir. Ayrıca robots.txt sınırlı işlevselliğe sahiptir ve web’de web adreslerinizi bulmak için başka sistemler de vardır. Lütfen robots.txt dosyasındaki talimatların yalnızca yönergeler olduğunu ve kesin olmadığını unutmayın.
Örneğin, Googlebot adlı Google botları robots.txt dosyasındaki komutları izleyebilir, ancak diğer arama motorları (Yandex, Alltheweb, ASK veya Altavista) için izlemeyebilirsiniz.
Örneğin Google robots ile engellediğiniz sayfaların içerik bilgilerini taramaz veya dizine eklemez. Bir robots.txt dosyası için önemli bir ipucu, web sayfanızda hassas bilgiler varsa ancak bunları paylaşmak istemiyorsanız, oluşturmamak en iyisidir.
Robots TXT Dosyası Nasıl Olmalıdır?
Robots.txt dosyasını nasıl olmalı ve robots dosyası oluşturma nasıl yapılır? Bir robots.txt dosyası oluşturmak çok basittir, yalnızca birkaç özel komutun bilgisini gerektirir. Bu dosya, bilgisayarınızın not defterinde veya seçtiğiniz herhangi bir başka metin düzenleyicide oluşturulabilir.
Bir robots.txt dosyası oluşturmak için, oluşturduğunuz dosyayı kaydedeceğiniz alan adınızın kök dizinine erişmeniz gerekir. Bundan sonra, robots.txt komutlarından ve sözdiziminden bazılarını bilmeniz gerekecektir.
Robots.txt komutları nelerdir? Robots.txt dosyasındaki komutlar, HTML ve piyasadaki çeşitli programlama dillerine benzer şekilde çalışır. Robotların sitenizde gezinmek ve sayfaları bulmak için izlemesi gereken komutları vardır. Robots.txt dosyasındaki ana komutlardan bazıları şunlardır:
Kullanıcı aracısı komutu ile robots txt oluşturma;
Hangi arama botundan bahsettiğinizi belirlemek için robots.txt dosyanızdaki User-agent komutunu kullanarak piyasadaki her arama botuna özel siparişler girebilirsiniz. Her bir kullanıcı aracısının adını öğrenmek için, piyasadaki ana arama motorlarının robotlarını listeleyen Web Robotları veritabanına başvurabilirsiniz.
Google’ın ana arama botu Googlebot’tur. Belirli komutlar vermek isterseniz robots.txt dosyanıza gireceğiniz komut şöyle olacaktır:
Kullanıcı aracısı: Googlebot
Bing arama botuna belirli komutlar koymak istiyorsanız, komut şöyle olacaktır:
Kullanıcı aracısı: Bingbot
Görüldüğü gibi, sadece kullanıcı aracısının adını değiştirmeniz gerekiyor.
Tüm arama botlarının izlemesi gereken genel yönü girmek istiyorsanız, kullanıcı aracısı adını bir yıldız işaretiyle değiştirmeniz yeterlidir.
Komuta izin ver; İzin Ver komutu, hangi dizin sayfalarının veya web sitelerinin arama sonuçlarına dahil edilmemesi gerektiğini açıklamakla sorumludur.
Tıpkı kullanıcı aracısı komutu gibi, komuttan sonra sayfa adresini girmeniz yeterlidir. Robotların sitenizin “beta.php” sayfasına erişmesini engellemek için komut şöyle olacaktır:
İzin verme: /beta.php
Yine de belirli klasörlere erişimi engelleyebilirsiniz.
“Dosyalar” klasörüne erişimi engellemeniz gerekirse, komut şöyle olacaktır:
İzin verme: /files/
Belirli bir harfle başlayan içeriğe erişimi de engelleyebilirsiniz.
“a” harfiyle başlayan tüm klasörlere ve dosyalara erişimi reddetmek için komut şöyle olacaktır:
İzin ver: /a
Robots TXT Nedir ve Nasıl Oluşturulur?
Robots.txt dosyası nedir ve txt dosyası nasıl oluşturulur? Yeni bir web sitesi oluşturduğunuzda, bilgilerinizi taramak için sayfanıza erişebilmek adına Google’a ihtiyacınız vardır. Bu görevi gerçekleştirmek için, arama motoruna web siteniz veya işiniz hakkında bilmek istediğiniz tüm bilgileri sağlamak için bir metin dosyası (txt uzantılı) oluşturmanız gerekir. Ayrıca bu .txt dosyası, botların veya robots.txt’nin Mountain View şirketi ile paylaşılmasını istemediğiniz veri ve bilgileri eklemesini önlemek için de kullanılır.
Robots.txt dosyası nasıl oluşturulur? Daha önce robots.txt dosyası ile çalışmanın çok kolay olduğunu duymuş olabilirsiniz. Örnek oluşturulabilmesi için etki alanının kök dizinine erişime izin verilmesi ve “robots.txt” adlı dosyanın metin formatında (txt) sunucunuzun ilk seviyesinin kök dizinine yüklenmesi gerekir.
Dosyayı oluşturmak için bir metin dosyası kullanmayı unutmayın, Windows ve Mac için düz metin dosyaları mevcuttur.
Son olarak, robots.txt dosyanızın çalışmasını test etmelisiniz, bunun için Google size Google Arama Konsolunda bir test aracı sağlar. Orada Googlebot’un dosyayı nasıl okuyacağını kontrol edebilir ve oluşabilecek olası hataları size bildirebilir.
Konuyla ilgili daha fazla bilgiye ihtiyaç duymanız durumunda, bir robots.txt dosyasının nasıl çalıştığı hakkında bilmeniz gereken her şeyi size anlatacakları Google destek sayfasına gitmeniz de ayrıca tavsiye edilir.
İlginizi Çekebilecek Diğer İçeriklerim:
Garantili Freelance SEO Uzmanı
