BLOGOMANIY.RU

Приветствую вас на своем блоге — Блогомания!!!

Сегодня у нас речь пойдет об очень важном файле, который называется wordpress robots.txt. так для чего же нам нужен этот файл?

wordpress robots.txt — ограничивает доступ к содержимому на вашем блоге, и не дает индексировать те файлы, папки, которые не нужно индексировать. Этот файл должен находиться в корневой папке вашего блога. Так как речь идет о движке wordpress, тогда и писать мы будем robots.txt именно для блога — для движка wordpress….

Вот более подробно о robots.txt wordpress из Википедия:

Стандарт исключений для роботов (robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.Использование файла добровольно.

Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами.

Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

Как я уже говорил выше — на нашем блоге есть куча папок, которые не нужно индексировать, и для этого собственно мы и ставим wordpress robots.txt. он просто будет запирать доступ к этим папкам, и не станет тратить время на их индексацию.
Составить wordpress robots.txt очень просто. Составьте у себя на рабочем столе текстовой файл с названием robots.txt и в нем пропишите следующее:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
 
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: blogomaniy.ru
 
Sitemap: http://blogomaniy.ru/sitemap.xml
Sitemap: http://blogomaniy.ru/sitemap.xml.gz

Не забудьте указать вместо моего сайта: http://blogomaniy.ru/ — свой, и будет вам счастье!!!
Теперь просто закидывайте wordpress robots.txt в корневую папку, и на этом все.

С уважением, Александр.

Блогостроение robots.txt, wordpress robots.txt