Seolay.Com

Robots.TXT, not defteri gibi herangi bir metin editörüyle hazırlayabileceğiniz basit bir dosya..

Dosyanın içerisinde hangi robotun hangi kısımları indexlememesi gerektiğini aşağıdaki şekilde belirtiyorsunuz:

User-agent: Robot ismi
Disallow: klasör ya da dosya ismi

Yukarıda gördüğünüz girişi değişik robotlar ve değişik klasörler için tekrarlayabilirsiniz. Örneğin; kök dizininde “ozel” adında bir klasör olduğunu ve Google’ın bu klasörü indexlemesini istemediğinizi düşünelim. Bunun için aşağıdaki satırları eklemelisiniz

User-agent: Googlebot
Disallow: /ozel/

Koyduğunuz yasağın tüm robotlar için geçerli olmasını istiyorsanız yukarıdaki örnekte “Googlebot” yazdığımız yere *(yıldız işareti) koymalısınız. Tüm robotlar tüm siteyi indexlesin istiyorsanız. Robots.TXT dosyası şöyle olmalı

User-agent: *
Disallow:

Robots.TXT dosyasını hazırlamak bir kaç saniyenizi alacak kadar basit bir olsa da dikkati elden bırakmamalısınız. Zira yukarıdaki gibi bir dosyaya “Disallow” ifadesinin karşısına “/” işareti koyarsanız (Disallow:/) hiç bir robot sitenizin hiçbir yerini indexlemeyecektir…

Değerli okurlarımız “SEO’nun Temelleri” adı altınd yayınladığımız makaleler kısmen bitti geriye ipuçları ve bir kaç değişik blgi kaldı onları’da önümüzdeki günler paylaşacağız…

Bol Seo’lu Günler…

Arama Motoru Optimizasyonu adına yaptığınız tüm çalışmaların sonucunu görmenizi sağlayacak ilk yer Google.com ise bir ikincisi de www.google.com/webmasters adresindeki Google Webmaster Central. Google’ın ücretsiz olarak webmasterların kullanımına sunduğu bu merkezde sitenizin durumunu ayrıntılı olarak görebiliyorsunuz.

Webmaster Tools’dan faydalanabilmeniz için öncelikle site sahibi olduğunuzu sisteme kanıtlamanız gerekiyor. Sitenizin ana klasörüne ekleyeceğiniz bir html doysa doğrulama işini kolayca halledebiliyor.

Webaster Tools, Google’ın sitenizi indexlerken neler gördüğünü ve varsa karşılaştığı problemleri gözünüzün önüne seriyor. Ayrıca burada bulunann araçlar sayesinde kelimelerle hangi link aldığımızı, sitenizin indexlenme hızının ne durumda olduğunu ve daha birçok ilginç bilgiyi görebiliyorsunuz.

Sitemap:Google, web sitenizin tüm sayfalarını ona rahatça tanıtabilmeniz için Webaster Toolsiçinde Site Map(site Haritası) uygulamasını sunuyor. www.gsitecrawler.com adresinden indireceğiniz GSiteCrawler isimli programla web sitenizin sitemapini kolayca oluşturabilir ve webmaster Tools üzerinden Google’a tanıtabilirsiniz. Bu sayede arama motoru sitenizdeki her sayfadan haberdar olacak ve sayfalarınızın indexlenme hızı artacaktır.

Gelecek Yazı; Robots.TXT Nedir?