Устанавливаем файл robots.txt для wordpress
Приветствую вас на своем блоге — Блогомания!!!
Сегодня у нас речь пойдет об очень важном файле, который называется wordpress robots.txt. так для чего же нам нужен этот файл?
wordpress robots.txt — ограничивает доступ к содержимому на вашем блоге, и не дает индексировать те файлы, папки, которые не нужно индексировать. Этот файл должен находиться в корневой папке вашего блога. Так как речь идет о движке wordpress, тогда и писать мы будем robots.txt именно для блога — для движка wordpress….
Вот более подробно о robots.txt wordpress из Википедия: