Здравствуйте, уважаемые посетители моего блога. Сегодняшнюю статью я хотел бы посвятить файлу Robots.txt .
И так, начнем.
В первую очередь хотелось бы сказать, что такое Robots.txt и для чего он предназначен.
Файл Robots.txt – это некая инструкция по индексации сайта, предназначенная для поисковых роботов. Перед тем, как приступить к индексации сайта, поисковые роботы обращаются к этому файлу, чтобы знать, какие разделы вашего сайта вы им запретили индексировать.
Файл robots.txt имеют все сайты. Его вы можете найти по следующему адресу: вашсайт.кз/robots.txt
Многие блого- и сайто-строители ищут универсальный, идеальный файл, а верней его настройки, robots.txt. Дак вот, запомните, идеального файла robots.txt не существует.
Если вы ищите хороший вариант файла robots.txt для WordPress, то вы можете взять в пример файл Robots.txt, находящийся на моем блоге.
Далее, я хотел бы рассмотреть различные плагины для WordPress, так или иначе связанные с Robots.txt.

PC Robots.txt
Главная функция данного плагина в том, что после его установки вы сможете редактировать файл Robots.txt прямо через консоль движка WordPress.

iRobots.txt SEO
Данный плагин похож по функционалу на предыдущий плагин, PC Robots.txt, но я бы, пожалуй, выбрал его. Чем-то он мне приглянулся.
Это, пожалуй, два основных плагина, предназначенных для работы с файлом Robots.txt в WordPress.
Вот, пожалуй и все, что я хотел вам рассказать о файле Robots.txt, а так же его свзяью с WordPress.
Позже, я опубликую статью, посвященную созданию карты сайта для WordPress. Подписывайтесь по RSS, и вы сможете прочитать эту статью первым!
Оптимизация блога. Карта сайта
Оптимизация блога. Постоянные ссылки