Главная > Блогостроение > Устанавливаем файл robots.txt для wordpress

Устанавливаем файл robots.txt для wordpress

robots.txtПриветствую вас на своем блоге — Блогомания!!!

Сегодня у нас речь пойдет об очень важном файле, который называется wordpress robots.txt. так для чего же нам нужен этот файл?

wordpress robots.txt — ограничивает доступ к содержимому на вашем блоге, и не дает индексировать те файлы, папки, которые не нужно индексировать. Этот файл должен находиться в корневой папке вашего блога. Так как речь идет о движке wordpress, тогда и писать мы будем robots.txt именно для блога — для движка wordpress….

 

Вот более подробно о robots.txt wordpress из Википедия:

Стандарт исключений для роботов (robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.Использование файла добровольно.

Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами.

Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

Устанавливаем файл robots.txt для wordpress

Как я уже говорил выше — на нашем блоге есть куча папок, которые не нужно индексировать, и для этого собственно мы и ставим wordpress robots.txt. он просто будет запирать доступ к этим папкам, и не станет тратить время на их индексацию.
Составить wordpress robots.txt очень просто. Составьте у себя на рабочем столе текстовой файл с названием robots.txt и в нем пропишите следующее:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
 
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: blogomaniy.ru
 
Sitemap: http://blogomaniy.ru/sitemap.xml
Sitemap: http://blogomaniy.ru/sitemap.xml.gz

Не забудьте указать вместо моего сайта: http://blogomaniy.ru/ — свой, и будет вам счастье!!!
Теперь просто закидывайте wordpress robots.txt в корневую папку, и на этом все.

С уважением, Александр.

Посмотрите еще интересные записи:

Блогостроение ,

  1. Анна

    Александр, прочитала. Всё понятно, кроме одного, как залить этот файл в корневую папку? Вот в этом моя проблема. Я думаю, что это не только моя проблема,она есть и у других новичков. Вы не могли бы написать статью на эту тему, где вы также подробно и пошагово объяснили бы, как это сделать? Спасибо вам. *ROSE*

  2. Алекс

    @Анна
    Анна, просто зайдите на свой хостинг, судя по рекламе на вашем блоге вы используете хостинг Джино, я так же его поклонник!! Просто зайдите туда, и закачайте в корневую папку файл robot.txt, там все понятно и очень просто!! Корневая папка это когда вы откроете папку с названием вашего домена.. и там вроде бы «Обзор» и загрузить с компа. А вообще научитесь пользоваться программой FileZilla *THUMBS UP*

  3. Анна

    Спасибо за быстрый ответ, Александр. Попробую разобраться.

  4. Алекс

    @Анна
    Не за что =)

  5. Игорь

    Алекс, привет.
    А для чего вот эту строку вносить
    Sitemap: http://blogomaniy.ru/sitemap.xml.gz ? Что она обозначает. Я почему роботом тхт заинтересовался? У меня ЯША из 750 загруженных, индексирует всего 50 страниц. Правильно ли это… Объясни, пжста, web невежеству))) *CRAZY*

  6. Алекс

    @Игорь
    Здравствуйте Игорь!!
    Да, из 750 всего 50 страниц — это не нормально. Но это не из за этой строчки http://blogomaniy.ru/sitemap.xml.gz на многих блогах в файле robots.txt этой строчки вообще нет. Причина в чем-то другом.… У меня, например все страницы в индексе, после публикации иногда сразу попадают, иногда через несколько часов. У меня робот каждый день бывает на блоге!!! А это карта сайта Sitemap xml
    =)

  7. smewhehacepay

    Хочу заказать рекламу у вас, куда писать?

    • Алекс

      smewhehacepay
      странный вопрос =)