Как закрыть от индексации страницы автора, архива и таксономий в WordPress

На небольшом сайте архивы автора, даты и часть таксономий часто не дают поисковому трафику, но создают дубли и размывают краулинговый бюджет. Типичный сценарий: в индексе оказываются страницы /author/, /date/, пустые рубрики, теги-«помойки» и архивы, которые дублируют основной контент. Если это не контролировать, в Search Console быстро появляются страницы без ценности для поиска.

Ниже — рабочий способ закрыть такие разделы от индексации, не ломая навигацию и не пряча нужные материалы от пользователей.

Когда проблема действительно есть

Сначала стоит проверить, что вы боретесь не с гипотезой, а с реальной индексацией. Не все архивы надо закрывать: иногда архивы рубрик дают трафик и должны оставаться открытыми. Но если у вас есть служебные страницы, которые не несут самостоятельной ценности, их лучше исключить из индексации.

Что проверить в первую очередь

• в site:ваш-домен видны страницы автора, даты, теги и пустые архивы;
• в Search Console есть отчёты по «Просканировано — не проиндексировано» или «Дубли, Google выбрал другой canonical»;
• в выдаче отображаются архивы с почти одинаковыми сниппетами;
• на сайте много таксономий, которые созданы автоматически и не используются как посадочные страницы;
• архивы пагинации индексируются, хотя не должны приносить отдельный трафик.

Если у вас уже есть осмысленные рубрики с трафиком, не закрывайте их без анализа. Для них чаще нужен корректный canonical, нормальные заголовки и уникальные описания, а не полное исключение из индекса.

Какие варианты решения есть

Есть три практических подхода: через SEO-плагин, через код темы или плагина, либо через комбинацию этих методов. Выбор зависит от того, насколько точно нужно управлять отдельными типами архивов.

Пошаговое решение через код

Если нужен точечный контроль, можно добавить noindex для архивов автора, даты и выбранных таксономий. Ниже пример для functions.php дочерней темы или собственного мини-плагина.

<?php
add_filter( 'wp_robots', function( array $robots ) {
	if ( is_author() || is_date() ) {
		$robots['noindex'] = true;
		$robots['follow']   = true;
	}

	if ( is_tax( array( 'post_tag', 'product_tag' ) ) ) {
		$robots['noindex'] = true;
		$robots['follow']   = true;
	}

	return $robots;
} );

Этот вариант работает на уровне robots meta и не мешает пользователю открывать страницу. Поисковик увидит сигнал noindex, follow и не будет держать такие страницы в выдаче, но сможет переходить по ссылкам внутри них.

Если нужно закрыть только отдельные рубрики, лучше проверять конкретные term ID или slug, а не весь тип таксономии целиком.

<?php
add_filter( 'wp_robots', function( array $robots ) {
	if ( is_category( array( 'news', 'misc' ) ) ) {
		$robots['noindex'] = true;
		$robots['follow']   = true;
	}

	return $robots;
} );

Когда лучше не использовать глобальный noindex

Если у вас есть рубрики, которые реально ранжируются, не закрывайте их только потому, что они «архивы». Для таких страниц лучше:

• убрать пустые или слабые подкатегории;
• добавить уникальный текст в верхнюю часть архива;
• настроить canonical, если есть дубли фильтров и пагинации;
• оставить индексируемыми только полезные посадочные страницы.

Как закрыть архивы через SEO-плагин

Если код трогать не хочется, удобнее использовать SEO-плагин с настройками для архивов. Важно не включать сразу несколько механизмов, которые делают одно и то же: например, не ставить noindex в плагине и одновременно не дублировать это в теме.

В интерфейсе обычно ищут настройки для архивов автора, дат и таксономий. Логика простая: отключаете индексацию там, где страница не должна быть посадочной, и проверяете, что плагин не меняет canonical на несуществующий адрес.

Если нужен более широкий набор инструментов для чистки дублей и технической оптимизации, можно посмотреть Clearfy Pro: https://wpshop.ru/plugins/clearfy. Но даже с плагином всё равно стоит понимать, какие архивы вы закрываете и зачем.

Проверка результата после внедрения

После настройки не ограничивайтесь визуальной проверкой страницы. Нужно убедиться, что поисковый робот получает именно тот сигнал, который вы ожидали.

Чек-лист проверки

• откройте архив в браузере и проверьте исходный код страницы;
• убедитесь, что в <meta name="robots"> или в заголовках есть noindex;
• проверьте, не остался ли старый canonical на другую страницу;
• посмотрите статус в Search Console после повторного обхода;
• сравните, не исчезли ли из индекса нужные рубрики или страницы авторов, если они были полезны;
• проверьте sitemap: туда не должны попадать закрытые архивы, если вы сознательно исключаете их из индекса.

Для быстрой локальной проверки можно открыть исходный код и найти robots meta. Если используете серверные заголовки или SEO-плагин, дополнительно проверьте ответ через curl:

curl -I https://example.com/author/admin/

Если в ответе нет явного X-Robots-Tag, это не всегда ошибка: многие сайты управляют индексацией через meta robots в HTML. Но если вы ожидали заголовок, а его нет, значит настройка не сработала на уровне сервера или плагина.

Частые ошибки и как их исправить

Закрыли рубрики, которые дают трафик

Такое случается, когда под одну настройку попадают все категории сразу. Исправление простое: верните индексирование полезным рубрикам и закройте только служебные или пустые термины.

Оставили архивы открытыми, но убрали их из sitemap

Это не всегда критично, но сигнал получается противоречивым. Если страница должна индексироваться, она должна быть доступна и в обходе, и в sitemap. Если не должна — лучше убрать её и из sitemap, и из индексации.

Дублируете noindex в нескольких местах

Когда noindex задаётся и в теме, и в SEO-плагине, и ещё в кастомном коде, потом трудно понять, что именно сработало. Оставьте один источник правды: либо плагин, либо код.

Путаете noindex и disallow

Disallow в robots.txt не гарантирует удаление страницы из индекса, если на неё уже есть ссылки. Для удаления дублей и служебных архивов чаще нужен именно noindex, а не только запрет обхода.

Что делать с безопасностью и производительностью

Сама настройка индексации почти не нагружает сайт, но ошибки в коде могут сломать вывод страниц. Поэтому:

• не вставляйте код в основной файл темы без резервной копии;
• используйте дочернюю тему или небольшой собственный плагин;
• проверяйте изменения на staging-окружении, если сайт рабочий;
• не закрывайте от индексации всё подряд, если архивы реально помогают навигации;
• после правок очистите кэш страницы и кэш CDN, если он есть.

Если на сайте много дублей, параметров и служебных страниц, иногда проще сначала навести порядок в технической базе, а уже потом настраивать индексацию. Иначе поисковик продолжит обходить лишние URL, даже если часть из них закрыта.

В итоге рабочая схема обычно выглядит так: определить, какие архивы не нужны в поиске, закрыть их через один понятный механизм, затем проверить robots meta, sitemap и статус в Search Console. Это занимает меньше времени, чем разбираться с последствиями после массовой индексации дублей.