В процессе работы с WordPress часто возникает задача убрать из индексации поисковых систем определённые страницы сайта. Это может быть актуально для страниц с конфиденциальной информацией, дублирующимся контентом, страниц авторизации, корзины или иных разделов, которые не должны попадать в результаты поиска. В этой статье мы подробно рассмотрим, как именно можно исключить страницы из индекса поисковиков, используя плагины и кодовые решения.
Почему важно исключать страницы из индексации поисковых систем
Исключение страниц из индексации помогает избежать проблем с SEO, таких как:
- Дублирование контента, снижающее позиции сайта.
- Появление в поиске страниц с устаревшей или нецелевой информацией.
- Защита конфиденциальных разделов, например, страницы входа, админки или личных кабинетов.
- Оптимизация бюджета обхода поисковыми роботами — чтобы они тратили время только на важные страницы.
Без правильной настройки можно потерять позиции в выдаче и ухудшить пользовательский опыт.
Методы исключения страниц из индексации в WordPress
1. Использование файла robots.txt
Файл robots.txt — главный инструмент для управления поведением поисковых роботов. Он позволяет запретить индексацию целых разделов сайта. Например, чтобы запретить индексацию каталога корзины, достаточно добавить:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /wp-login.php
Однако стоит учитывать, что robots.txt не гарантирует полное исключение страниц из поиска, а лишь ограничивает обход. Если на такие страницы есть внешние ссылки, они могут попадать в выдачу без описания.
2. Использование мета-тега noindex
Мета-тег noindex сообщает поисковым системам не индексировать конкретную страницу, даже если она доступна и проиндексирована ранее. Этот способ более надежный, чем robots.txt, так как позволяет точно управлять индексацией.
Добавить этот тег можно вручную в шаблон или с помощью плагинов.
3. Плагины для управления индексацией в WordPress
Самые популярные SEO-плагины, такие как Yoast SEO, All in One SEO Pack, позволяют быстро добавить мета-тег noindex к нужным страницам через админку, без правок кода.
Плагин Clearfy Pro также имеет инструменты для управления SEO-опциями, включая массовое выставление noindex для архивов, тегов, категорий и других страниц.
Практические примеры: как программно добавить noindex в WordPress
Если вы хотите гибко управлять индексацией без плагинов, можно добавить код в functions.php вашей темы или в функциональный плагин.
Пример 1. Добавление noindex для страниц определённого шаблона
function wpstock_noindex_for_custom_page() {
if (is_page_template('template-private.php')) {
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('wp_head', 'wpstock_noindex_for_custom_page');
В этом примере страницы с шаблоном template-private.php автоматически получат мета-тег noindex.
Пример 2. Исключение из индексации страниц по ID
function wpstock_noindex_by_page_id() {
$excluded_ids = array(12, 34, 56); // ID страниц для исключения
if (is_page($excluded_ids)) {
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('wp_head', 'wpstock_noindex_by_page_id');
Так можно исключить из индексации конкретные страницы по их идентификаторам.
Пример 3. Автоматическое добавление noindex для страниц авторизации
function wpstock_noindex_login_page() {
if (strpos($_SERVER['REQUEST_URI'], 'wp-login.php') !== false) {
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('login_head', 'wpstock_noindex_login_page');
Это предотвращает индексацию страницы входа в админку.
Как проверить, что страницы действительно исключены из индекса
После настройки noindex важно убедиться, что поисковые роботы видят правильные инструкции. Для этого:
- Откройте страницу в браузере и проверьте исходный код на наличие мета-тега
noindex. - Используйте Google Search Console — инструмент Просмотреть как Google покажет, как Google видит страницу.
- Отправьте карту сайта (sitemap) с обновлёнными данными, если вы меняли структуру.
- Следите за отчетами о покрытии в Google Search Console, чтобы убедиться, что страницы исключены из индекса.
Заключение: что выбрать для исключения страниц из поиска
Для большинства пользователей оптимальным будет использование SEO-плагинов с возможностью выставлять noindex. Это удобно, быстро и безопасно.
Если у вас специфические требования — например, автоматическое исключение страниц по шаблонам или ID, можно добавить код, приведённый выше. Не забывайте про robots.txt, но не полагайтесь только на него.
Для улучшения SEO и минимизации ошибок советую протестировать решения на тестовом сайте и постепенно внедрять на рабочем.