Bildiğiniz gibi, robots.txt
dosyası google sıralamasında öne çıkmanız için önemli kriterlerden
biridir.
Wordpress gibi hazır bir sistemde bu dosyanın default halinin
doğru olduğunu düşünebilirsiniz, ancak yapacağınız küçük değişiklikler Seo açısından sitenizin bir adım öne geçmesini sağlayabilir.
Aşağıdaki
robot.txt dosyasını kullanmanızı şiddetle
öneriyoruz :
sitemap: sitemap adresi
User-agent: * # disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/ disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile Allow: /
