Неправильный robots.txt в WordPress съедает до 30% краулингового бюджета, заставляя Googlebot индексировать тысячи бесполезных страниц пагинации и технических URL. Грамотная настройка этого файла — это не «рекомендация», а способ сократить время переобхода важных страниц с 14 дней до 2-3.
Базовая гигиена: что закрыть обязательно
Стандартная установка WordPress создает десятки технических страниц, которые не несут ценности для пользователя. Обязательно закрывайте /wp-admin/ и /wp-includes/. Ошибка новичков — закрытие /wp-content/plugins/, что может заблокировать CSS и JS файлы, приводя к ошибке «Страница не соответствует мобильным устройствам» в Search Console, что снижает CTR в выдаче на 10-15%.
Кейс: на сайте-каталоге с 5000 товаров индексация страниц входа и админки создавала 200+ дублей в индексе. После коррекции robots.txt и применения SEO оптимизация сайтов на WordPress общее число проиндексированных страниц сократилось на 4%, при этом позиции целевых запросов выросли за счет концентрации веса.
Вывод: Закрывайте только функциональные директории, оставляя открытыми ресурсы, необходимые для рендеринга страницы.
Проблема страниц поиска и тегов
Внутренний поиск WordPress генерирует URL вида /?s=запрос, которые являются «черной дырой» для краулингового бюджета. Если у вас более 100 статей, роботы могут тратить до 20% времени на обход бессмысленных комбинаций поисковых запросов. Аналогично с тегами: если тег не является полноценным разделом с уникальным контентом, его нужно закрыть через Disallow: /tag/.
Практика показывает, что избыток низкокачественных страниц тегов приводит к каннибализации запросов, когда Google не понимает, какую страницу ранжировать — категорию или тег. В моем опыте удаление из индекса 50+ пустых тегов поднимало основную категорию с 12-го на 5-е место в течение 3-4 недель.
Вывод: Любой URL, который генерирует дубль основного контента без добавленной ценности, должен быть в Disallow.
Оптимизация страниц пагинации
Спорный момент с /page/: полная блокировка пагинации в robots.txt может помешать роботу найти старые статьи в глубоком архиве. Рекомендую использовать схему: закрыть пагинацию от индексации через meta noindex, но оставить открытой для обхода в robots.txt. Это позволяет передавать вес (link juice) на старые посты, не создавая при этом «мусорных» страниц в выдаче.
Сравнение: при полном запрете Disallow: /page/ скорость индексации новых постов не меняется, но старые статьи (глубже 3-й страницы) теряют позиции из-за отсутствия внутренних ссылок. При схеме «открыто для обхода / закрыто для индекса» вес распределяется равномерно по всему хвосту контента.
Вывод: Не блокируйте пагинацию в robots.txt, если у вас более 50 статей; используйте noindex в заголовке страницы.
Sitemap и специфика разных поисковиков
Директива Sitemap: в конце файла — критический элемент. Без нее Google может найти карту сайта через Search Console, но Яндекс будет обходить её медленнее. Важно указывать прямой путь к XML-карте (например, от Yoast или RankMath). Ошибка в одном символе в этой строке делает её бесполезной, что замедляет обнаружение новых URL на 24-48 часов.
Нюанс: для Яндекса и Google можно создавать разные файлы через robots.txt (используя User-agent), но на практике разница в ранжировании при одинаковых правилах составляет менее 1-2%. Я рекомендую единый файл для упрощения поддержки, чтобы не запутаться в правках при обновлении структуры сайта.
Вывод: Всегда проверяйте валидность ссылки на Sitemap через сторонние чекеры или панель вебмастера сразу после правки.
Вывод
Идеальный robots.txt для WordPress — это минималистичный файл, который открывает всё визуальное (CSS, JS, изображения) и жестко режет технический мусор (/wp-admin, /?s=, /wp-json). Избегайте тотального закрытия пагинации и тегов, если они работают на внутреннюю перелинковку. Начните с базового запрета админки и поиска, затем проанализируйте отчет «Индексирование» в Google Search Console: если там более 10% страниц с пометкой «Исключено по robots.txt», но это полезные страницы — срочно пересматривайте директивы.
