И снова привет!

Сегодня пойдет речь о файлах robots. txt и sitemap.xml. Мне стоило рассказать об этом раньше, но что-то я погорячился)

Поехали!

robots.txt – файл, который регулирует отношения твоего блога и поисковиков. Найти в интернете информацию о правилах его построения достаточно просто. Моя же цель – показать тебе более или менее универсальный вариант для блогов на WordPress.  Штука получается следующая:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments

Host: http://tarser.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments

Sitemap: http://tarser.ru/sitemap.xml

Тебе остается только заменить параметры:

Host - указывает какой именно вариант написания адреса блога – с www или без считать главным. Иначе – Яндекс будет выводить два варианта каждой страницы. Что негативно скажется на позициях блога в поисковиках.

Sitemap – указывает адрес, где лежит карта сайта в формате xml.

Класть robots.txt нужно в корень сайта.

sitemap.xml - файл – каталог, который содержит в себе адреса всех страниц твоего блога, что позволяет улучшить индексацию блога. Проверяя, есть ли изменения в этом файле, поисковик решает прогуляться ли ему по твоему блогу или нет.

Поскольку карту сайта нужно обновлять каждый раз, когда на сайте появилось что-то новенькое – лучше воспользоваться специальным плагином  Google XML Sitemaps – подробнее почитать и скачать можешь тут .

Вот так. Все просто и доступно.

Ну и немного развлечения!