Ошибки в robots.txt на WordPress могут привести к потере до 30-40% краулингового бюджета из-за индексации технических страниц, что замедляет обновление контента в выдаче на 2-3 недели. Правильный файл — это не просто запрет /wp-admin/, а инструмент управления приоритетами сканирования.
Базовая гигиена и критические ошибки WP
Стандартный robots.txt часто игнорирует директории /wp-includes/ и /wp-content/plugins/, что позволяет поисковикам индексировать JS-скрипты и CSS-файлы. В 2024 году закрывать их нельзя: Google и Яндекс оценивают рендеринг страницы; блокировка ресурсов снижает оценку Core Web Vitals, что может уронить позиции на 2-5 пунктов.
Кейс: при аудите интернет-магазина на WooCommerce обнаружили закрытый путь /wp-content/uploads/, из-за чего изображения не попадали в «Картинки», что снизило конверсионный трафик с визуальных запросов на 12% за месяц. Исправление одной строки вернуло охваты за 14 дней.
Вывод эксперта: Забудьте о тотальном Disallow для системных папок. Оставляйте доступ к статике, иначе вы получите ошибку рендеринга в Search Console.
Оптимизация краулингового бюджета: что резать
WordPress генерирует массу «мусорных» URL: страницы тегов, архивы авторов и страницы категорий с одним постом. На сайтах с объемом более 500 страниц это создает риск дублирования контента. Рекомендуется закрыть /wp-json/ (REST API), если вы не используете headless-режим, чтобы роботы не тратили лимиты на JSON-ответы.
- Disallow: /wp-login.php — предотвращает индексацию страницы входа.
- Disallow: /wp-content/plugins/ — закрываем только внутренние файлы плагинов, но не их статику.
- Disallow: /?s= и /search/ — блокировка страниц внутреннего поиска, которые создают бесконечное количество вариаций URL.
Вывод эксперта: Приоритет — удаление из индекса страниц поиска и системных логов. Это освобождает до 20% ресурсов робота для обхода новых коммерческих страниц.
Sitemap и специфика разных поисковиков
Указание ссылки на Sitemap в robots.txt сокращает время обнаружения новых страниц с 48 до 12 часов. Однако помните, что Яндекс и Google по-разному интерпретируют директивы. Например, Яндекс более чувствителен к Clean-param; если у вас много фильтров в магазине, используйте их для очистки URL от UTM-меток и сортировок.
Пример: для сайта с 10 000 товаров настройка Clean-param для параметров 'sort' и 'color' сокращает количество проиндексированных дублей с 50 000 до 11 000, что радикально чистит индекс.
Вывод эксперта: Всегда указывайте полный путь к XML-карте. Если используете Yoast или Rank Math, проверяйте, чтобы в robots.txt была ссылка на динамический sitemap.xml, а не на статическую заглушку.
Инструменты реализации: файл vs плагин
Есть два пути: правка файла через FTP/SSH или через плагины (SEO Press, Rank Math). Плагины удобны, но создают виртуальный robots.txt, который генерируется «на лету». В 0.1% случаев при сбое сервера или конфликте плагинов файл может отдавать 404 ошибку или пустой ответ, что приведет к деиндексации всего сайта за 3-5 дней.
Сравнение: физический файл дает 100% стабильность и скорость ответа (0 мс на генерацию), плагины — гибкость управления без доступа к серверу. Для крупных проектов (от 1000 URL) я всегда настаиваю на физическом файле в корне сайта.
Вывод эксперта: Для малых блогов достаточно плагинов, но для e-commerce и корпоративных порталов только физический файл robots.txt. Это страховка от технических сбоев.
Вывод
Идеальный robots.txt для WordPress сегодня — это минималистичный файл, который не блокирует CSS/JS, закрывает системный мусор (/wp-admin/, поиск, REST API) и четко указывает на Sitemap. Начните с проверки рендеринга в Google Search Console; если видите «Заблокировано в robots.txt» для важных ресурсов — немедленно открывайте доступ. Избегайте перегруженных файлов с сотнями строк Disallow — это только запутывает роботов и не дает реального профита в SEO оптимизация сайтов на WordPress.