Robots.txt nedir? Robot.txt kısaca özetlemem gerekirse botların sitenizi craw lamak
geldiğinde neleri indexlemeleri gerektiğini aynı zamanda neleride
indexlememeleri gerektiğini gösterir
Buna bir örnek: Botları turist olarak farzedin günü birlik olur sezonluk olur orasını ben bilemem
neyse konumuza dönelim sitenize yerleştireceğiniz robots.txt
dosyasınıda rehber sitenizide tarihi bir mekan farzedin olayın mantığı
budur.
Robots.txt nasıl oluşturulur? Robot.txt dosyasını oluşturmak için basit basit yazı editörlerinden
faydalanabiliriz ( Notpad Wordpad vb..) oluşturacağımız robots.txt
dosyasını sitemizin ana dizinine atmamız gerklidir (Genelde httpdocs
yada www klasörleridir) Eğer yanlış bir yere atarsanız siteniz
craw'lanamaz.
Robots.txt dosyanızın içerisindeki kodları küçük harflerler ile yazamanızı öneriyorum. Şimdi Robot.txt dosyamızı oluşturalım
PHP- Kodu:
User-Agent: *
Allow: /
Yukardaki bir örnektir kodların anlamlarını ve nasıl kullanılacağını anlatalım şimdi
User-Agent:İstediğiniz bir botu belirlemeniz için kullanılır yukarıdaki örnekte *
yaptım geneldede kullanılan bududur tüm botlar anlamına gelir ama siz
sadece Googlebot olsun diyorsanı User-agent: Googlebot kodunu
kullanabilirsiniz.
Allow: Botların hangi sayfaları
indexlemesini ve ya indexlemesi gerektiğini gösterir genelde Allow: /
şekilinde kullanılır örnektede yaptığım gibi tüm sayfalar anlamına gelir
Disallow:Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için
dizin adının sonuna bir düz eğik çizgi koyun. Disallow:
/engelenecek_klasor/
Not: Googlede arama yaparak diğer komutlarıda bulabilirsiniz bunlar
genelde kullanmanız gereken komutlardır diğerlerinin pek işinize
yarayacağını sanmıyorum ama istek olursa diğer kodlarıda yayınlarım
