robots.txt dosyası, bildiğimiz gibi arama motorları ve diğer botlar için sitenin hangi dizinlerine erişim izni verip hangi dizinlerin ya da sayfaların taranmasını istemediğimizi bildirdiğimiz text dosyasıdır.
Bana sorarsanız, sitenizde erişilmesini istemediğiniz dosyalar ve klasörler varsa bu dosyaları robots.txt dosyasında engellemek zaten başlı başına bir güvenlik açığı anlamına geliyor. Arama motorları, internet sitenizde bulduğu linkler üzerinden indexleme yapar ve bir dosyanın linki yoksa zaten o dosyayı bulamaz. Bu yüzden admin ya da hangi ismi verdiyseniz o gibi dosya ve klasörler için robots.txt dosyasında disallow kuralı yazmak yerine site içerisinde bu klasörlere hiç link vermeyin ve mümkünse adını da kabak gibi admin koymayın daha iyi. Wordpress için de bilinen wp-admin gibi yolların değiştirilmesi iyi bir güvenlik uygulamasıdır.
robots.txt dosyasında, tüm arama motorlarının tüm dosyaları ve dizinleri tarayabilmesi için ise aşağıdaki kuralı yazmanız yeterlidir.
User-agent: *
Allow: /
Bu iki satırı içeren bir text dosyasını robots.txt adı ile kaydederek sitenizin ana dizinine kaydettiğinizde bütün sitelerin örümcekleri (bot), internet sitenizdeki buldukları tüm link'ler üzerinden sayfaları tarayacaktır. Satır satır yaptığımız işlem de şudur:
- Tüm user-agent'lar
- Tümüne izin ver
Editör editi: sitede yer alan benzer başlıklar için;
bkz: Googlebot, robots.txt dosyası tarafından engellendi hatası
bkz: robots.txt kullanmak güvenlik açıklarına yol açmaz mı?
bkz: robots.txt'te bir klasörü ve tüm içindekileri engellemek
bkz: Python ile yapılabilecek SEO görevleri
bkz: Alan adı süresinin SEO'ya bir etkisi var mı?
bkz: SEO uyumlu makale nedir ve nasıl yazılır?