Не мало материала присутствует в интернете о написании файлов robots.txt но довольно часто у многих возникают вопросы о написании robots.txt. Я изложу коротко свое мнение по этому поводу, особенно на мой взгляд полезно будет тем, кто только столкнулся с подобным, на этапе создания блога и хочет создать себе свой robots для wordpress. Как я уже говорил есть много шаблонов, но я хочу предостеречь людей которые возможно только создали свой блог на “WP” от возможных ошибок. Не все шаблоны файлов роботс для wordpress могут быть вам полезны, вернее не все что там изложено. Так как очень многое зависит от ваших настроек постоянных ссылок ЧПУ. Об этом следует помнить и перед созданием обратить внимание, что вы там меняли или не меняли и какой они имеют вид. По сему, если вы уже взялись за написание robots.txt будьте любезны прочитать мануал по его написанию. Есть стандарт разумеется который можно отнести ко всем, я бы сказал основная шапка:
User-agent: *
Disallow: /xmlrpc.php
Disallow: /archives/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /search/
Disallow: /cgi-bin
Вот на мой взгляд шапка которая подходит всем роботс для wordpress, но подчеркиваю шапка. Все же стоит помнить, что блоги по большому у всех разные и ссылки ЧПУ тоже, так что далее думаю каждый должен сам решить, что он хотел бы закрыть, а что оставить. Кто то хочет закрыть индексирование тегов, архивов, у кого то есть календарь, у кого то нет, в общем дальше все индивидуально. По этому дабы не сделать себе же хуже, я бы не рекомендовал бездумно копировать robots.txt а все же стоит хотя бы ознакомиться с директивами написания robots.txt. Так же стоит отметить, что для Яндекса желательно указывать User-agent: Yandex
Просто как визуальный пример, подчеркиваю как пример, а не правило, robots.txt может иметь такой вид:
User-agent: *
Disallow: /archives/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /category
Disallow: /comments
Disallow: /search/
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /tag/
Disallow: /wp-admin
Host: myhost.com.ua
User-agent: Yandex
Disallow: /archives/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /category
Disallow: /comments
Disallow: /search/
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /tag/
Disallow: /wp-admin
Host: myhost.com.ua
Host – главное зеркало вашего сайта, по желанию в robots.txt можно указать где лежит файл сайтмап. Но все же окончательная версия файла роботс тхт должна быть у каждого своя.