Персональный SEO блог


Добавляем на Wordpress robots.txt

16.10.2009, обновлено: 22.01.2011 Опубликовано в разделе: Wordpress

Robots.txt необходим для сайтаСегодня полез в панель вебмастера на яндексе и увидел, что там куча ошибок. Поэтому я решил прописать файл robots.txt для запрета индексации некоторых разделов сайта.

Я считаю, что на каждом сайте должен быть файл robots.txt, который не только указывает что можно индексировать, а что нельзя, но также он устанавливает главное зеркало сайта и сообщает поисковому роботу где находится карта сайта sitemap.xml

Вот как выглядит robots.txt для моего блога. Поискав в интернете и выбрав самое необходимое я создал вот такой файл.

User-Agent: *
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Sitemap: http://zavrab.ru/sitemap.xml

User-Agent: Yandex
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Host: zavrab.ru
Sitemap: http://zavrab.ru/sitemap.xml


Теперь опишу некоторые нюансы. Инструкции в файле robots я прописал для всех поисковых систем и для Яндекса отдельно. Так как директиву Host: zavrab.ru понимает только яндекс.

Также многочисленные ошибки вызывают RSS фиды в записях, поэтому закрываем их Disallow: */feed. Закрываем теги от дублирования контента Disallow: /tag/.

Disallow: /jexr/ – это редиректные ссылки, которые добавляет одноименный плагин. Я им закрываю ссылки сайтов комментаторов.

Ну вот в принципе и все. Я понимаю, что это не идеальный Robots.txt, но он мне подойдет вполне. А вам решать, может добавите в него что-то еще.



Комментариев 12

12 комментариев к «Добавляем на Wordpress robots.txt»

  1. Дмитрий пишет:

    Ну, у меня, тоже, куча ошибок, только я не знаю, на что этот robots.txt влияет? Просто индексация сайта, вроде бы проходит в той же скорости, как обычно!

  2. Юрий пишет:

    То,что наличие robots.txt влияет на индексацию блога(можно решить проблему дублирования статей) – это понятно. Прошу подсказать,куда этот robots.txt лучше вставить.

  3. Дмитрий пишет:

    Спасибо, после того как десяток моих сателлитов попали под АГС 17, всегда вставляю этот файлик.

  4. Евгений пишет:

    Важная информация, обязательно восользуюсь при создании своего блога

  5. Евгений пишет:

    Спасибо за интересный материал, обязательно воспользуюсь вашим примером.

  6. Антон пишет:

    Где он находится в вордпрессе?

  7. @ Антон:
    в корне сайта, если его нет, создайте сами и поместите туда.

  8. михаил пишет:

    как создать корень?

  9. Не понял вопроса. Корень сайта – это корневая директория на хостинге, где располагаются основные файлы, в частности index.php или index.html

  10. Александр пишет:

    Спасибо за дельные советы , очень понятно.

  11. Root пишет:

    Мне помогла Ваша статья,сделал этот файл как у Вас!

  12. Google пишет:

    А зачем сайтмап запретил?

Авторский seo блог заводского трудяги, seo новости и полезная seo информация

Дизайн и создание шаблона