Robots.TXT, not defteri gibi herangi bir metin editörüyle hazırlayabileceğiniz basit bir dosya..

Dosyanın içerisinde hangi robotun hangi kısımları indexlememesi gerektiğini aşağıdaki şekilde belirtiyorsunuz:

User-agent: Robot ismi
Disallow: klasör ya da dosya ismi

Yukarıda gördüğünüz girişi değişik robotlar ve değişik klasörler için tekrarlayabilirsiniz. Örneğin; kök dizininde “ozel” adında bir klasör olduğunu ve Google’ın bu klasörü indexlemesini istemediğinizi düşünelim. Bunun için aşağıdaki satırları eklemelisiniz

User-agent: Googlebot
Disallow: /ozel/

Koyduğunuz yasağın tüm robotlar için geçerli olmasını istiyorsanız yukarıdaki örnekte “Googlebot” yazdığımız yere *(yıldız işareti) koymalısınız. Tüm robotlar tüm siteyi indexlesin istiyorsanız. Robots.TXT dosyası şöyle olmalı

User-agent: *
Disallow:

Robots.TXT dosyasını hazırlamak bir kaç saniyenizi alacak kadar basit bir olsa da dikkati elden bırakmamalısınız. Zira yukarıdaki gibi bir dosyaya “Disallow” ifadesinin karşısına “/” işareti koyarsanız (Disallow:/) hiç bir robot sitenizin hiçbir yerini indexlemeyecektir…

Değerli okurlarımız “SEO’nun Temelleri” adı altınd yayınladığımız makaleler kısmen bitti geriye ipuçları ve bir kaç değişik blgi kaldı onları’da önümüzdeki günler paylaşacağız…

Bol Seo’lu Günler…