Как запретить роботам индексировать страницы со списками товаров WooCommerce

Что такое страницы со списками товаров в WooCommerce и почему их стоит исключать из индексации

В WooCommerce к страницам со списками товаров относятся архивы категорий, тегов, атрибутов, а также страницы пагинации каталога. По умолчанию WordPress и WooCommerce позволяют поисковым роботам индексировать все эти страницы, что часто приводит к проблемам с дублированием контента, снижением веса SEO и излишней нагрузкой на сервер.

Исключение таких страниц из индексации помогает сфокусировать поисковые системы на страницах товаров и важных информационных страницах, улучшая видимость сайта и снижая вероятность санкций за дубли.

Диагностика: как проверить текущий статус индексации страниц списков товаров WooCommerce

Для начала нужно определить, какие страницы WooCommerce индексируются поисковыми системами:

• Откройте исходный код страницы категории товара и найдите мета-тег <meta name="robots">. Если его нет, значит страница индексируется.
• Используйте Google Search Console: в разделе «Покрытие» посмотрите, какие URL из каталогов и пагинации попадают в индекс.
• Воспользуйтесь командой в поиске Google: site:example.com inurl:product-category или site:example.com inurl:page/2 для пагинации.

Пошаговое решение: запрет индексации страниц списков товаров через robots meta и robots.txt

1. Добавление мета-тега noindex на страницы архивов WooCommerce

Самый надежный метод — добавить мета-тег noindex, follow на страницы архивов категорий, тегов, атрибутов и пагинации WooCommerce. Это можно сделать через фильтр wp_head в functions.php вашей темы или в кастомном плагине:

add_action('wp_head', function() {
    if (is_post_type_archive('product') || is_product_category() || is_product_tag() || is_product_taxonomy() || (is_paged() && (is_shop() || is_product_category() || is_product_tag()))) {
        echo '<meta name="robots" content="noindex, follow">\n';
    }
});

Этот код добавит тег noindex на все архивы WooCommerce и их пагинацию.

2. Запрет сканирования через robots.txt

Чтобы дополнительно ограничить сканирование, можно добавить запрет в robots.txt. Например:

User-agent: *
Disallow: /product-category/
Disallow: /product-tag/
Disallow: /page/

Обратите внимание, что robots.txt запрещает сканирование, но не гарантирует, что страницы не будут индексироваться при наличии внешних ссылок. Поэтому мета-тег noindex важнее.

Проверка результата: как убедиться, что страницы списков товаров больше не индексируются

• Через Google Search Console: воспользуйтесь инструментом «Проверка URL» для нескольких страниц архива — они должны показывать статус «Исключено из индексации» с причиной «Тег noindex».
• Проверьте исходный код страниц — мета-тег <meta name="robots" content="noindex, follow"> должен присутствовать.
• В поиске Google подождите несколько дней и повторите запросы site:example.com inurl:product-category — соответствующие страницы должны исчезнуть из выдачи.

Частые ошибки при запрете индексации страниц WooCommerce и как их исправить

• Отсутствие мета-тега noindex на пагинации: многие добавляют запрет только на архивы, забывая про пагинацию. Это приводит к индексации страниц «page/2», «page/3» и т.д. Решение — добавить проверку is_paged().
• Конфликт с SEO-плагинами: если установлен Yoast SEO, Rank Math или другие, они могут управлять мета-тегами. В этом случае код может не сработать или конфликтовать. Проверьте настройки плагинов и используйте встроенные возможности для noindex.
• Запрет через robots.txt без noindex: это лишь рекомендация роботам, но внешние ссылки могут привести к индексации. Всегда используйте мета-тег noindex.
• Кеширование: если сайт использует кеш, изменения могут не отображаться сразу. Очистите кеш после внесения изменений.

Практические советы по безопасности и производительности

• Минимизируйте количество страниц, индексируемых ботами: это снизит нагрузку на сервер и ускорит сканирование важных страниц.
• Проверяйте работу noindex после обновлений WooCommerce и тем, так как обновления могут сбрасывать кастомные правки.
• Используйте Child Theme для внесения изменений в functions.php — это позволит сохранить правки при обновлении темы.
• Регулярно анализируйте индексацию через Google Search Console и корректируйте настройки при необходимости.

Сравнение способов запрета индексации страниц WooCommerce