Как найти все страницы сайта: 7 рабочих способов

Вы уверены, что знаете все страницы своего сайта. А потом открываете логи сервера и видите десятки URL, о которых забыли: старые лендинги, тестовые версии, страницы пагинации, дубли с параметрами. Каждая из них влияет на индексацию, краулинговый бюджет и позиции. Полный список страниц это не прихоть перфекциониста. Это база для любого аудита, миграции, чистки дублей и работы с семантикой.

Проблема в том, что единого волшебного места, где лежат все URL, не существует. Разные методы находят разные группы страниц. Поэтому правильный ответ на вопрос как найти все страницы сайта звучит так: собрать данные из нескольких источников и свести их вместе. Разберём семь способов, от самых быстрых до самых полных.

Начните с карты сайта sitemap.xml

Первое, что нужно проверить: файл sitemap.xml. Обычно он лежит по адресу site.ru/sitemap.xml. Иногда там прямой список URL, иногда индексный файл, который ссылается на несколько вложенных карт по типам контента: страницы, товары, статьи, категории.

Карта сайта показывает те страницы, которые вы сами считаете важными для индексации. Это её сила и её ограничение. Хорошо настроенный sitemap.xml даёт чистый список канонических URL. Но он не покажет страницы, которые выпали из карты по ошибке, старые URL и мусорные адреса с параметрами. Поэтому карта это старт, а не финиш.

Если сайт на популярной CMS, карта чаще всего генерируется автоматически плагином. Проверьте, что в неё попадают все нужные разделы и что она обновляется. Пустая или неполная карта первый признак проблем с индексацией.

Оператор site в поиске покажет проиндексированное

Введите в Яндексе или Google запрос вида site:ваш-сайт.ру. Поисковик вернёт страницы, которые он проиндексировал. Это быстрый способ понять, что реально видит поиск, а не что вы туда положили.

Тут вылезают неприятные сюрпризы. Дубли с utm-метками, страницы фильтров, поддомены, забытые PDF, тестовые версии, которые случайно попали в индекс. Если оператор site показывает в разы больше страниц, чем в вашем sitemap, значит поиск индексирует мусор. Если меньше, значит часть важных страниц не индексируется.

Ограничение метода: поисковик показывает не всё и не сразу, а цифра общего количества всегда приблизительная. Для точечной проверки годится, для полной инвентаризации нет.

Search Console и Вебмастер дают взгляд глазами поиска

Панели для вебмастеров это самый честный источник данных об индексации. В Google Search Console раздел Страницы показывает, какие URL проиндексированы, какие исключены и почему. В Яндекс Вебмастере аналогичные отчёты по страницам в поиске и по исключённым.

Ценность в том, что вы видите причины. Страница исключена как дубль. Закрыта в robots. Помечена noindex. Отдаёт редирект. Это уже не просто список, а диагностика. Именно с этих отчётов начинается любой серьёзный технический аудит, который мы проводим в рамках SEO-услуг.

Выгрузите список проиндексированных и исключённых URL. Сравните с картой сайта. Расхождения покажут, где теряется трафик и где растёт мусор в индексе.

Краулеры пройдут по сайту как робот

Самый полный способ собрать внутренние страницы это запустить краулер. Программа стартует с главной, идёт по всем внутренним ссылкам и составляет карту сайта такой, какой её видит поисковый робот. Есть десктопные краулеры и облачные сервисы, механика у всех одна.

Краулер находит то, что не покажут ни sitemap, ни оператор site: страницы в глубине структуры, битые ссылки, цепочки редиректов, страницы-сироты, до которых ведёт всего одна ссылка. Он же соберёт коды ответов, заголовки, метатеги. Это уже не просто инвентаризация, а полноценная картина здоровья сайта.

Важное ограничение: краулер видит только те страницы, на которые есть внутренние ссылки. Если на URL не ведёт ни одна ссылка, робот до него не дойдёт. Такие страницы называют сиротами, и ловят их именно сравнением краулинга с другими источниками.

Логи сервера покажут абсолютно всё

Файлы логов веб-сервера это запись каждого обращения к сайту. Каждый заход робота, каждый запрос пользователя, каждый URL, который кто-то открывал. Здесь всплывают страницы, о которых вы давно забыли, потому что на них никто не ссылается, но роботы их всё ещё запрашивают.

Анализ логов отвечает на два вопроса. Первый: какие страницы реально существуют и отдают контент. Второй: как поисковые роботы тратят краулинговый бюджет, куда они ходят чаще всего, а какие важные разделы обходят стороной. Для крупных сайтов это критично. Робот не бесконечен, и если он тратит время на мусорные URL, важные страницы индексируются медленнее.

Метод требует доступа к серверу и умения парсить логи, зато даёт самую полную картину. Ни один другой источник не покажет столько же реальных адресов.

CMS и база данных знают о черновиках

Ваша система управления сайтом хранит список всех материалов, включая те, что не опубликованы: черновики, запланированные посты, скрытые товары, архивные страницы. Выгрузка из админки или прямой запрос к базе данных покажет полный реестр контента, который физически существует.

Это полезно перед миграцией или редизайном. Вы сверяете, что все опубликованные материалы попали в новую структуру, а лишнее закрыли или удалили. Особенно важно на больших контентных проектах, где счёт идёт на тысячи страниц. Кстати, при промышленном производстве контента такой реестр ведётся с самого начала: как мы строим этот процесс, описано в материале про контент-фабрики.

Сведите источники вместе и найдите расхождения

Ни один способ по отдельности не даёт полной картины. Настоящая ценность появляется, когда вы соединяете данные. Возьмите список из sitemap, выгрузку из Search Console, результат краулинга и логи. Загрузите всё в таблицу и сравните.

Расхождения это и есть точки роста. URL есть в логах, но нет в краулинге: страница-сирота, добавьте на неё ссылки. Есть в sitemap, но исключён из индекса: разберитесь с причиной. Индексируется, но нет в карте: либо добавьте, либо закройте, если это мусор. Такой свод превращает сухой список в план работ.

Собранный список страниц напрямую связан со структурой семантики. Каждая посадочная страница должна отвечать на конкретный кластер запросов, а не дублировать соседнюю. Если вы ещё не разбирали свои URL под этим углом, начните с материала о том, как собрать семантическое ядро. А поведенческие сигналы на этих страницах разбираются в статье про поведенческий фактор в SEO.

С чего начать

Не пытайтесь охватить всё сразу. Возьмите три источника, которые доступны за пять минут: откройте sitemap.xml, проверьте оператор site в поиске, зайдите в Search Console или Вебмастер. Уже это расхождение покажет, всё ли в порядке с индексацией. Если цифры сильно расходятся, значит на сайте копится мусор или теряются важные страницы.

Следующий шаг для полной картины: запустить краулер и, если есть доступ, посмотреть логи. На больших проектах этот процесс имеет смысл автоматизировать, а рутину по сверке и мониторингу переложить на алгоритмы. Как это устроено, мы разбираем в материалах про нейросети для бизнеса и ИИ-агентов для бизнеса.

Если хотите, чтобы полный аудит страниц, чистку дублей и настройку индексации сделала команда, а вы получили готовый план и результат, напишите нам в Telegram-бот Neurounit. Разберём ваш сайт и покажем, где вы теряете трафик прямо сейчас.