Файл robots.txt в WordPress часто пытаются использовать как универсальный способ «почистить» сайт для поисковиков. На практике он решает только одну задачу: подсказывает роботам, какие разделы не стоит обходить. Он не удаляет страницы из индекса сам по себе и не заменяет noindex, canonical или настройку приватности в WordPress. Если понимать это заранее, файл можно настроить аккуратно и без вреда для SEO.
Для большинства сайтов на WordPress достаточно короткого и понятного robots.txt: закрыть технические и служебные разделы, не трогать важные страницы и не пытаться запретить то, что должно индексироваться. Ниже — рабочая схема, которую можно применить без лишних экспериментов.
Что делает robots.txt и чего от него ждать не стоит
robots.txt — это файл в корне сайта, который читают поисковые роботы перед обходом страниц. В нём обычно используют директивы User-agent, Disallow и Sitemap. Самый важный момент: запрет на обход не равен запрету на индексацию. Если на страницу ведут внешние ссылки, поисковик может знать о ней даже без обхода содержимого.
Поэтому robots.txt подходит для:
- закрытия служебных URL, которые не нужны в обходе;
- снижения лишней нагрузки на сайт со стороны роботов;
- исключения технических разделов, где нет полезного контента для поиска.
Он не подходит для:
- скрытия уже проиндексированных страниц;
- удаления дублей из индекса, если они уже известны поисковику;
- защиты от доступа пользователей или ботов вообще — для этого нужны другие механизмы.
Какие разделы WordPress обычно можно закрыть
На типичном сайте есть несколько служебных адресов, которые не несут ценности для поиска и часто только создают лишний обход. Их можно закрывать, если вы понимаете, что именно делаете и не используете эти URL как часть публичной структуры сайта.
Служебные и технические страницы
Чаще всего закрывают:
/wp-admin/— административную часть сайта;/wp-login.php— страницу входа;/wp-includes/— системные файлы WordPress;/cgi-bin/— если такой каталог вообще есть на хостинге и не используется для сайта.
Для WordPress это нормальная практика: поисковику там нечего индексировать. Но не путайте закрытие в robots.txt с защитой доступа. Админку всё равно нужно защищать паролями, ограничением попыток входа и, при необходимости, дополнительными мерами на уровне сервера.
Параметры и служебные URL, которые создают мусор
Если на сайте появляются технические URL с параметрами сортировки, фильтрации или внутренними служебными хвостами, их иногда тоже закрывают. Но здесь важно не переборщить. Нельзя закрывать всё подряд только потому, что в адресе есть знак вопроса. Некоторые параметры нужны для нормальной работы сайта или аналитики, а поисковику они могут быть полезны, если формируют отдельные страницы с ценным содержимым.
Если вы не уверены, что параметр действительно бесполезен, сначала проверьте, есть ли у него отдельные страницы в индексе и нужен ли он пользователям. В robots.txt лучше закрывать только очевидный технический мусор.
Что закрывать нельзя, если сайт должен нормально ранжироваться
Самая частая ошибка — запретить в robots.txt то, что должно участвовать в поиске. После такой правки сайт может потерять видимость не сразу, а через несколько обходов, и причина будет неочевидной.
Не закрывайте:
- главную страницу;
- категории и рубрики, если они нужны для SEO;
- записи и страницы с полезным контентом;
- изображения, если они участвуют в поиске по картинкам и приносят трафик;
- CSS и JS-файлы, если они нужны для корректного рендеринга страниц поисковиком.
Особенно опасно закрывать ресурсы темы и плагинов, которые отвечают за отображение страницы. Если поисковый робот не сможет загрузить стили и скрипты, он может хуже оценить мобильную версию или структуру страницы. Для SEO это лишний риск, а не польза.
Практичный вариант robots.txt для WordPress
Если вам нужен базовый и безопасный вариант, начните с минимальной конфигурации. Она закрывает только то, что обычно не нужно в поиске, и не мешает обходу полезных страниц.
Перед изменением файла сделайте резервную копию текущего robots.txt, если он уже есть. Ошибка в этом файле не ломает сайт, но может быстро повлиять на обход и видимость в поиске.
User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap.xml
Что здесь важно:
User-agent: *— правило для всех роботов;Disallow: /wp-admin/— закрывает админку;Disallow: /wp-login.php— закрывает страницу входа от обхода;Allow: /wp-admin/admin-ajax.php— оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам;Sitemap— помогает роботам быстрее найти карту сайта.
Если у вас карта сайта генерируется SEO-плагином или самим WordPress, укажите именно её реальный адрес. Не копируйте путь вслепую: у разных сайтов он может отличаться.
Как добавить robots.txt в WordPress
Есть два основных сценария: файл уже существует или его нужно создать с нуля. В WordPress robots.txt обычно размещают в корне сайта, рядом с wp-config.php. Если сервер настроен нормально, файл будет доступен по адресу https://ваш-домен/robots.txt.
Если файл уже есть
Откройте его через FTP, файловый менеджер хостинга или панель управления сайтом. Внесите правки аккуратно: не удаляйте правила, если не понимаете, зачем они добавлены. Иногда в robots.txt уже прописаны важные исключения для карты сайта или для конкретных директорий.
Если файла нет
Создайте обычный текстовый файл с именем robots.txt и загрузите его в корень сайта. На большинстве хостингов этого достаточно. После загрузки проверьте, что файл открывается в браузере по прямой ссылке.
Если WordPress или плагин SEO уже генерирует виртуальный robots.txt, физический файл в корне обычно имеет приоритет. Это полезно, когда нужно задать свои правила, но важно не забыть, что вы фактически заменили автоматическую версию.
Как проверить, что настройка работает
После правки не ограничивайтесь просмотром файла в браузере. Проверьте, что он отдается именно в том виде, который вы ожидаете, и что в нём нет случайных лишних правил.
Минимальная проверка выглядит так:
- откройте
/robots.txtв браузере и убедитесь, что файл доступен без редиректов и ошибок; - проверьте, что в нём нет запрета на важные разделы сайта;
- посмотрите, указан ли корректный адрес sitemap;
- если используете Search Console, проверьте, не появились ли сообщения о недоступности важных страниц для обхода.
Если после изменения robots.txt страницы перестали обходиться, сначала ищите слишком широкое правило. Обычно проблема в строке вроде Disallow: / или в закрытии каталога, который используется сайтом для контента и ресурсов.
Типичные ошибки, которые вредят SEO
С robots.txt чаще всего ошибаются не из-за сложности файла, а из-за слишком агрессивного подхода. Вот что встречается на практике:
- закрывают весь сайт одной строкой
Disallow: /и забывают убрать её после тестов; - закрывают папки с темой, плагинами или медиафайлами, из-за чего поисковик хуже видит страницу;
- пытаются спрятать уже проиндексированные страницы, хотя для этого нужен другой инструмент;
- добавляют слишком много правил «на всякий случай» и потом сами не могут понять, что именно блокируется;
- не проверяют, какой robots.txt реально отдается сервером, если сайт работает через кэш, CDN или несколько окружений.
Отдельная проблема — копирование чужого robots.txt. У другого сайта может быть другая структура URL, другие плагины и другие служебные каталоги. То, что безопасно для одного проекта, на вашем сайте может закрыть важные страницы.
Когда robots.txt лучше не трогать без необходимости
Если сайт небольшой, структура простая, а в индексе нет мусорных технических страниц, иногда лучше оставить robots.txt минимальным. Чем меньше лишних правил, тем ниже риск случайно закрыть что-то важное. Для многих проектов достаточно стандартного файла с доступом к админке и ссылкой на sitemap.
Менять robots.txt имеет смысл, когда вы видите конкретную проблему: лишний обход служебных URL, технические дубли, ненужные параметры или ошибки в текущем файле. Если проблемы нет, не стоит усложнять конфигурацию ради ощущения «правильной SEO-настройки».
Если нужен аккуратный базовый подход, держите правило простым: закрывайте только то, что точно не должно обходиться, и не пытайтесь robots.txt решать задачи, для которых он не предназначен. Тогда файл будет помогать SEO, а не мешать ему.