Почему сайт плохо индексируется в Яндексе и Google

Самая неприятная ситуация: владелец видит сайт, разработчик видит сайт, реклама уже запущена, а поисковик страницу почти не индексирует. Браузер показывает только то, что доступно человеку. Поисковик дополнительно смотрит robots.txt, meta robots, canonical, ответы сервера и структуру ссылок.

Поэтому проверка индексации начинается не с текста, а с технических запретов. Один noindex или Disallow может сделать страницу невидимой для органического поиска.

Robots.txt может закрывать отдельные разделы или весь сайт. Иногда это делают на этапе разработки и забывают после релиза. Проверьте, нет ли Disallow: / для User-agent: *. Если есть, поисковик получает прямой сигнал не обходить сайт.

Meta robots noindex работает на уровне страницы. Он может появиться из CMS, SEO-плагина или шаблона. Если noindex стоит на важной странице, sitemap и ссылки не спасут: поисковик увидит запрет и не будет держать страницу в выдаче.

Sitemap помогает поисковику найти URL, но не гарантирует индексацию. Если страница есть в sitemap, но на нее нет внутренних ссылок, слабый контент, дубли или плохой статус ответа, она все равно может индексироваться плохо.

Проверьте, что sitemap содержит только публичные актуальные страницы. В нем не должно быть 404, редиректов, закрытых страниц, тестовых URL и дублей с UTM-метками.

Soft 404 — это когда несуществующая страница отвечает 200 OK. Для пользователя это может выглядеть как обычная пустая страница, а для поисковика — как мусорный URL. Большое количество soft 404 ухудшает качество обхода сайта.

Правильная 404 страница должна возвращать статус 404, иметь нормальный текст, ссылку на главную и навигацию. Это одновременно SEO и UX: пользователь понимает, что случилось, и может продолжить путь.

Одинаковая страница может открываться с www и без www, с http и https, со слэшем и без, с параметрами сортировки и UTM. Если canonical не настроен, поисковик сам выбирает главную версию. Иногда выбирает не ту.

Для каждой важной страницы canonical должен указывать на чистый основной URL. Это не магия, но хороший базовый сигнал, который снижает хаос в индексе.

Проверьте robots.txt, sitemap.xml, canonical, meta robots и 404. Затем посмотрите title, description, H1 и внутренние ссылки. Если эти пункты в порядке, можно переходить к контенту, скорости и поведенческим факторам.

АнтиШтраф считает поисковую готовность по SEO-проверкам. Это не замена Search Console и Яндекс.Вебмастера, но быстрый способ понять, где сайт может терять индексацию до ручной глубокой проверки.