Добавляем на Wordpress robots.txt

Опубликовано в разделе: Wordpress

  

Сегодня полез в панель вебмастера на яндексе и увидел, что там куча ошибок. Поэтому я решил прописать файл robots.txt для запрета индексации некоторых разделов сайта.

Я считаю что на каждом сайте должен быть файл robots.txt, котрый не только указывает что можно индексировать, а что нельзя, но также он устанавливает главное зеркало сайта и сообщает поисковому роботу где находится карта сайта sitemap.xml

Вот как выглядит robots.txt для моего блога. Поискав в интернете и выбрав самое необходимое я создал вот такой файл.

User-Agent: *
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Sitemap: http://zavrab.ru/sitemap.xml

User-Agent: Yandex
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Host: zavrab.ru
Sitemap: http://zavrab.ru/sitemap.xml

Теперь опишу некоторые нюансы. Инструкции в файле robots я прописал для всех поисковых систем и для Яндекса отдельно. Так как директиву Host: zavrab.ru понимает только яндекс.

Также многочисленные ошибки вызывают RSS фиды в записях, поэтому закрываем их Disallow: */feed. Закрываем теги от дублирования контента Disallow: /tag/.

Disallow: /jexr/ – это редиректные ссылки, которые добавляет одноименный плагин. Я им закрываю ссылки сайтов комментаторов.

Ну вот в принципе и все. Я понимаю, что это не идеальный Robots.txt, но он мне подойдет вполне. А вам решать, может добавите в него что-то еще.

• Список блогов для комментирования (наращиваем тиц) и примеры robots.txt
• Склейка доменов: инструкция для яндекса и гугла
• Создание карты сайта для сайта
• Как правильно определить ТИЦ домена
• Создание и настройка нового блога
• Руководство “Как искать свободные домены с ТИЦ”

Комментариев 3