Sitemap и robots.txt: как настроить правильно

Один неверный символ в robots.txt способен выкинуть весь сайт из поиска. Строчка Disallow: / закрывает всё разом, и трафик обнуляется за пару недель. При этом эти два файла умеют обратное: они прямо влияют на то, как быстро поисковик находит новые страницы и что вообще тащит в индекс. Разберём, как настроить sitemap и robots.txt так, чтобы они работали на вас, а не против.

Что делает каждый файл и чем они отличаются

Их постоянно путают, хотя задачи прямо противоположные.

robots.txt говорит поисковому роботу, куда ходить не надо. Это не замок, а знак. Робот его читает первым, до того как полезет по ссылкам. Файл лежит строго в корне: site.ru/robots.txt, не в подпапке.

sitemap.xml делает обратное. Это карта сайта: список URL, которые вы хотите видеть в индексе. Робот берёт её как подсказку, что обойти в первую очередь и что появилось нового.

Важный нюанс, который ломает половину сайтов. robots.txt управляет обходом (crawling), а не индексацией. Закрытая в robots странице всё равно может попасть в выдачу, если на неё ведут внешние ссылки. Робот не зайдёт внутрь, но URL проиндексирует пустым. Чтобы страница гарантированно не попала в поиск, нужен мета-тег noindex на самой странице, а не Disallow в robots. Это две разные механики, и их нельзя подменять одну другой.

Структура robots.txt: минимум, который работает

Хороший robots.txt короткий. Раздутые файлы на сто строк почти всегда содержат ошибки и противоречия. Базовый скелет выглядит так:

• User-agent: для какого робота правила. Звёздочка означает все роботы разом.
• Disallow: что закрыть от обхода.
• Allow: что открыть внутри закрытого раздела (исключение из Disallow).
• Sitemap: полный адрес карты сайта.

Логика простая. Сначала закрываете служебное, потом отдельной строкой открываете нужное внутри. Что стоит закрывать почти всегда: корзину, личный кабинет, страницы поиска по сайту, результаты фильтров с параметрами, дубли с UTM-метками, административные разделы. Всё это либо не нужно в поиске, либо плодит дубли и размывает бюджет обхода.

Чего делать не надо. Не закрывайте CSS и JS. Поисковик рендерит страницу как браузер и должен видеть стили и скрипты, иначе решит, что сайт сломан или неадаптивен. Не закрывайте картинки, если хотите трафик из поиска по изображениям. Не пытайтесь спрятать через robots страницу, которую уже проиндексировали: закрыв обход, вы лишите робота возможности увидеть noindex и снять её из выдачи. Сначала noindex, дождаться выпадения, потом при желании Disallow.

Отдельно про Яндекс и Google

Директивы в основе общие, но есть различия, на которых спотыкаются.

Директива Host (главное зеркало) в Яндексе больше не нужна: он давно определяет зеркало через редиректы. Оставлять её не критично, но толку ноль. Директива Clean-param, наоборот, полезна именно для Яндекса: она склеивает страницы с незначащими GET-параметрами и экономит бюджет обхода на интернет-магазинах с фильтрами. Google её игнорирует, для него параметры регулируют иначе.

Google относится к Disallow как к строгому запрету обхода, но, как сказано выше, не к запрету индексации. Проверять правила удобно в панелях вебмастеров: у Яндекс.Вебмастера и Google Search Console есть встроенные инструменты, где можно вбить URL и увидеть, разрешён он или заблокирован конкретной строкой. Это снимает 90 процентов споров о том, работает правило или нет.

Sitemap: что туда класть и чего избегать

Карта сайта нужна не всем одинаково. Маленькому сайту на десять страниц с внятной перелинковкой робот и так всё обойдёт. А вот большому каталогу, свежему сайту без внешних ссылок или проекту с глубокой вложенностью sitemap реально ускоряет попадание страниц в индекс.

Правила, которые нарушают чаще всего:

• В карту идут только те URL, которые вы хотите в индексе. Страница с noindex, закрытая в robots, редирект или битая ссылка в sitemap попадать не должны. Поисковик считает такие противоречия сигналом низкого качества карты.
• Один URL в одном каноническом виде. Без дублей http и https, без слэша и со слэшем, без www-разнобоя. Только тот вариант, что указан в canonical.
• Лимиты: один файл sitemap держит до 50 000 URL и весит до 50 МБ в распакованном виде. Больше — разбивайте на несколько карт и связывайте их через sitemap-индекс.
• Тег lastmod имеет смысл, только если он честный. Если проставлять текущую дату на всех страницах при каждой выгрузке, робот перестаёт ему верить. Обновляйте дату реально при изменении контента.

Для типовых CMS карта генерируется плагином или движком автоматически и сама обновляется при добавлении страниц. Это предпочтительный вариант: ручной sitemap устаревает в тот же день, когда вы про него забыли.

Связка двух файлов и типичные провалы

robots.txt и sitemap работают в паре. В конце robots обязательно указывают полный адрес карты: Sitemap: https://site.ru/sitemap.xml. Так робот находит её сразу, не дожидаясь, пока вы вручную добавите карту в панель вебмастера. Дополнительно карту всё равно стоит скормить в Яндекс.Вебмастер и Search Console: там видно, сколько URL из неё поисковик принял, а сколько отклонил и почему.

Классические провалы, которые встречаются в аудитах постоянно:

• Тестовый Disallow, забытый после переноса с dev-сервера на прод. Сайт закрыт целиком, владелец неделями не понимает, почему нет трафика.
• Sitemap ведёт на страницы, закрытые в robots. Робот получает противоречие: карта зовёт, robots запрещает.
• Адрес карты в robots указан с ошибкой в домене или протоколе, и поисковик её не находит.
• Карта отдаётся с кодом ответа не 200 или с неверным content-type, и робот её не читает.

Все четыре ловятся за десять минут проверкой в панели вебмастера. Это не та работа, где нужен дорогой инструмент: нужен порядок и привычка проверять после каждого деплоя.

Как это встроить в общую SEO-картину

Правильные robots.txt и sitemap — это гигиена, а не рычаг роста. Они не поднимут позиции сами по себе, но кривая настройка легко обнулит любую другую работу. Сначала вы наводите порядок в обходе и индексации, и только потом вложения в контент, семантическое ядро и поведенческие факторы начинают отрабатывать в полную силу. Логика простая: пока поисковик не видит нужные страницы или тащит в индекс мусор, любые тексты и ссылки бьют вхолостую.

На больших проектах эту рутину все чаще снимают инструментами. Скрипт следит за кодом ответа sitemap, ловит появление лишнего Disallow после релиза и сверяет карту с реальной структурой сайта. Такую проверку удобно повесить на ИИ-агента, который прогоняет технический чек-лист по расписанию и пишет, если что-то поехало. Ручной контроль на сайте в тысячи страниц не масштабируется, автоматический работает пока крутится сервер.

С чего начать

План на один вечер, без теории:

• Откройте site.ru/robots.txt в браузере. Убедитесь, что там нет Disallow: / и не закрыты CSS, JS и картинки.
• Проверьте, что последней строкой указан полный адрес sitemap.
• Откройте sitemap.xml. Он должен отдавать код 200 и содержать только нужные в индексе страницы в каноническом виде.
• Прогоните пару важных URL через инструмент проверки в Яндекс.Вебмастере и Search Console: разрешён обход или нет.
• Сравните число страниц в карте с числом принятых поисковиком. Большой разрыв — повод копать.

Если после проверки нашли расхождения и не хотите разбираться в директивах вручную, это ровно тот случай, где технический аудит и настройка индексации закрываются в рамках работ по SEO-продвижению. А если нужен не разовый фикс, а система, которая сама следит за индексацией и десятками других SEO-сигналов, приходите в наш клуб: там разбираем автоматизацию таких задач на реальных проектах. Начните с robots и sitemap. Это фундамент, на котором держится всё остальное.