GEO оптимизация под AI-поиск: разбор по площадкам

GEO оптимизация начинается не с текста, а с вопроса, какой именно робот пришёл на вашу страницу и с какой задачей. У OpenAI таких роботов четыре, у Perplexity два, у Google нет ни одного отдельного, а Яндекс управляет показом в Нейро через агента, который вообще не делает запросов к сайту. Одинаковая строка в robots.txt даёт в этих системах четыре разных результата, и чаще всего не тот, которого ждали.

Почему GEO распадается по площадкам, а не сводится к одному чек-листу

Базовая методика (чем генеративная оптимизация отличается от поисковой, как модель отбирает источник, что писать в разметке и по какому чек-листу готовить страницу) разобрана отдельно: GEO оптимизация сайта. Здесь только то, что у площадок устроено по-разному и потому не переносится с одной на другую.

Различия проходят по трём линиям. Первая: у кого есть выделенный агент для показа в ответах. У OpenAI за это отвечает OAI-SearchBot, а обучение моделей это отдельный GPTBot; у Google выделенного агента нет вообще, доступ регулируется правилами для Googlebot. Вторая: чем управляют. Google, OpenAI и Яндекс читают robots.txt, Bing смотрит мета-теги на самой странице. Третья: соблюдается ли запрет, потому что агенты, ходящие по прямому запросу живого пользователя, документированы как исключение.

Отсюда главная ошибка настройки: строка, закрывающая обучение моделей, и строка, закрывающая показ в ответах, это разные строки для разных токенов. Их путают, и сайт выпадает из выдачи ассистента, продолжая отдавать контент в обучение.

Четыре агента OpenAI: как попасть в ответы ChatGPT и чего не закрывать

OpenAI публикует четырёх ботов с разными задачами и отдельными списками адресов. Токены и назначение приведены в документации для разработчиков.

Частая ошибка: владелец не хочет отдавать тексты на обучение и закрывает всё, что связано с OpenAI, одной секцией. Вместе с GPTBot под запрет попадает OAI-SearchBot, и сайт исчезает из ответов ChatGPT.

Списки адресов позволяют не гадать по строке user-agent. На 22 августа 2026 года в них опубликовано 35 диапазонов у OAI-SearchBot, 21 у GPTBot, 204 у ChatGPT-User и всего 2 у OAI-AdsBot. Разница объясняется характером трафика: пользовательские переходы идут из гораздо более широкой инфраструктуры, чем плановый обход. Значения меняются, сверять их надо по JSON, а не по копии из чужой статьи.

Perplexity: два агента и разная логика запрета

У Perplexity агентов два, и мотив блокировать их слабее, чем у OpenAI. PerplexityBot/1.0 обходит сайты для показа и цитирования в результатах и, по документации сервиса, не используется для обучения моделей. Perplexity-User/1.0 обслуживает действия пользователя: заходит на страницу, когда конкретный человек задал вопрос. Второй агент обычно игнорирует robots.txt именно потому, что запрос исходит от пользователя.

Отсюда различие с OpenAI: запрет PerplexityBot стоит цитирования, а взамен не даёт того, ради чего закрывают GPTBot, потому что обучения здесь и так нет. Списки адресов у Perplexity компактнее: на 22 августа 2026 года 8 диапазонов у PerplexityBot и 4 у Perplexity-User. Оба файла отдаются с домена perplexity.ai, запрос к perplexity.com уходит в редирект, так что скрипт проверки надо писать с обработкой 302.

Google: AI Overviews и AI Mode работают на обычном Googlebot

Отдельного краулера под ответы ИИ у Google нет: доступ к этим функциям регулируется правилами robots.txt для Googlebot. Там же снят частый вопрос: чтобы попасть в AI Overviews и AI Mode, не нужно создавать новые машиночитаемые файлы, специальные текстовые файлы для ИИ или отдельную разметку, и специальной структуры schema.org для этого не предусмотрено.

Условие попадания сформулировано через сниппет: страница должна быть проиндексирована и иметь право показываться со сниппетом. Отсюда три директивы, которые выключают сайт из ответов ИИ, хотя ставились ради другого:

• nosnippet запрещает показ текстового фрагмента и одновременно закрывает использование контента как прямого входа для AI Overviews и AI Mode;
• max-snippet с числом ограничивает не только длину фрагмента в выдаче, но и объём контента, который может быть использован в ответах ИИ;
• data-nosnippet действует точечно на элементы span, div и section, и им часто закрывают именно тот абзац с цифрой, ради которого страницу и процитировали бы.

В Search Console данные по AI Overviews и AI Mode входят в общий поисковый трафик в составе типа «Веб»: отдельного типа поиска для них нет, разложить показы штатными средствами нельзя.

Google-Extended, Google-CloudVertexBot и GoogleOther

Эти три токена регулярно принимают за рычаг влияния на выдачу. Ни один им не является. Google-Extended управляет обходом для обучения будущих моделей Gemini, обслуживающих приложения Gemini и Vertex AI API, а также для grounding в приложениях Gemini и Grounding with Google Search в Vertex AI; в документации оговорено, что он не влияет на включение сайта в Google Поиск и не используется как сигнал ранжирования. Google-CloudVertexBot обходит сайты по запросу самих владельцев при сборке агентов Vertex AI и на Поиск не влияет. Предпочтения для GoogleOther по формулировке справки не затрагивают ни один конкретный продукт.

Вывод: закрытие Google-Extended это решение про обучение моделей, а не про видимость. Видимость в ответах ИИ Google регулируется только правилами для Googlebot и сниппет-директивами.

Яндекс: Нейро и Алиса управляются агентом, который не ходит на сайт

Нейро собирает ответ в три шага: алгоритмы отбирают релевантные материалы, генеративная модель анализирует поисковую выдачу в реальном времени, результат сводится в ответ со ссылками на источники. Отдельного индексирующего робота у механизма нет.

Управление вынесено в два служебных токена: YandexAdditionalBot/1.0 и YandexAdditional/1.0. По справке Вебмастера они учитываются при обработке robots.txt для ограничения показа содержимого страницы в быстрых ответах с YandexGPT и в ответах Поиска с Алисой. Сами они запросов на индексирование не выполняют и работают с данными, которые основной YandexBot уже получил при обычном обходе.

Отсюда два следствия. Попасть в Нейро отдельным техническим способом нельзя: вход только через обычную индексацию YandexBot, поэтому всё, что мешает индексации, закрывает и Нейро. И наоборот, если убрать страницу из быстрых ответов надо, закрывать следует YandexAdditional, а не YandexBot, иначе пропадёт и обычная выдача.

Требования к самому файлу: размер не более 500 КБ, сервер отвечает кодом 200 OK. Если файл требованиям не соответствует, сайт считается открытым для индексирования, то есть неудачная правка снимает запреты, а не ужесточает их.

Bing, Claude и Meta: мета-теги вместо robots.txt и три забытых агента

У Microsoft управление показом в ответах ассистента вынесено не в robots.txt, а в мета-теги страницы. Контент с меткой NOCACHE может попадать в ответы, но показывается только как URL, заголовок и сниппет. Контент с меткой NOARCHIVE в ответы не попадает и ссылки в них не получает. При обеих метках применяется NOCACHE. На обычную выдачу Bing ни одна не влияет.

Anthropic публикует три токена: ClaudeBot (данные для улучшения полезности и безопасности моделей), Claude-User (веб-поиск по запросу пользователя Claude), Claude-SearchBot (анализ контента для релевантности поисковых ответов). У Meta тоже три: meta-externalagent обходит веб для обучения базовых моделей и индексации контента, meta-externalfetcher подтягивает ссылки по запросу пользователя и robots.txt может игнорировать, facebookexternalhit забирает содержимое расшаренных ссылок и способен обходить robots.txt при проверках безопасности. Разделение то же, что у OpenAI, и ошибка та же: одна строка закрывает не то, что имелось в виду.

GEO оптимизация сайта ломается на выборе секции: почему звёздочка не спасает

Частая причина неудач с доступом ИИ-агентов сидит не в тексте правил, а в том, какую секцию файла робот прочитал. Правило Google однозначно: краулер находит группу с наиболее специфичным user-agent, совпадающим с его собственным, а если подходящих групп несколько, их правила объединяются в одну.

Следствия, которые ломают настройку чаще всего:

1. Как только появилась секция для конкретного токена, общая секция со звёздочкой к нему не применяется: прописанные в ней запреты для этого агента исчезают.
2. Регистр не имеет значения: и имя поля user-agent, и его значение обрабатываются без учёта регистра, так что GPTBot и gptbot это одно и то же.
3. Номер версии в токене игнорируется: googlebot/1.2 и googlebot* эквивалентны googlebot. Писать в robots.txt строку OAI-SearchBot/1.4 избыточно, достаточно OAI-SearchBot.
4. Ограничение на размер файла у Google составляет 500 кибибайт, у Яндекса 500 КБ, и файл, распухший от секций под каждого ИИ-агента, рискует упереться в лимит.
5. Google кэширует robots.txt обычно до 24 часов, а при невозможности обновить копию и дольше, так что проверять результат правки в тот же час бессмысленно.

Проверка по логам: reverse DNS и сверка со списками адресов

Строку user-agent подделывает кто угодно, запись в логе сама по себе ничего не доказывает. Официальных способов проверки два.

Первый, обратный DNS. Для Google: выполнить обратный просмотр по адресу командой host, убедиться, что имя домена относится к googlebot.com, google.com или googleusercontent.com, затем выполнить прямой просмотр по полученному имени и сверить результат с исходным адресом из логов.

Второй, сверка со списком. Google публикует наборы common-crawlers.json, special-crawlers.json и файлы для агентов, инициированных пользователем. OpenAI и Perplexity публикуют по одному JSON на агента, адреса файлов указаны в таблице выше.

Порядок на практике: раз в неделю грепнуть журнал доступа по семи токенам (OAI-SearchBot, GPTBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, meta-externalagent), посчитать визиты и посмотреть коды ответов. Массовые 403 у одного агента означают, что его режет не robots.txt, а WAF или облачная защита, и правка текстовых правил не поможет.

Продвижение в нейросетях измеряется упоминаниями, а не позициями

Позиции в ответе ассистента не существует: источников несколько, явного порядка нет, а на один вопрос модель отвечает по-разному в разные дни. Измерять надо долю ответов с упоминанием бренда и долю с кликабельной ссылкой на домен.

Рабочая схема замера:

• зафиксировать список из 30 до 50 вопросов так, как их формулирует клиент, а не как звучит ключ в семантике;
• прогонять каждый вопрос не менее трёх раз за замер, чтобы снять разброс генерации;
• вести замер отдельно по каждой площадке: ChatGPT, Perplexity, Google AI Mode, Нейро, потому что источники у них разные и совпадают редко;
• фиксировать в таблице три поля: упомянут ли бренд, стоит ли ссылка на домен, какие домены процитированы вместо вас;
• сопоставлять с логами: визиты ChatGPT-User и Perplexity-User это следы живых пользователей, дошедших через диалог, а не плановый обход.

Косвенный признак попадания в ответ ИИ по данным Search Console: показы по запросу растут, а клики стоят на месте или падают.

GEO продвижение в нейросетях, когда модель цитирует конкурента

Ответ ассистента почти всегда показывает источники, и разбор начинается с них, а не с переписывания собственной страницы.

Шаг первый: посмотреть, чьи домены процитированы. Если это агрегаторы, каталоги и обзорные подборки, а не сайты вендоров, задача не в вашей странице, а в присутствии в этих подборках: модель на ваш сайт не заходила, и переписывание текста ничего не изменит.

Шаг второй: проверить доступ отдельно для OAI-SearchBot, PerplexityBot и Claude-SearchBot. Секция для конкретного токена перекрывает общую, строку надо искать глазами.

Шаг третий: для Google проверить сниппет-директивы. Если стоит nosnippet или короткий max-snippet, страница выключена из AI Overviews и AI Mode по определению, независимо от качества текста. Отдельно посмотреть, не закрыт ли ключевой абзац атрибутом data-nosnippet.

Шаг четвёртый: для Яндекса проверять не Нейро, а обычную индексацию. Раз YandexAdditional работает по данным, уже собранным YandexBot, отсутствие страницы в быстром ответе почти всегда означает проблему с индексацией, а не с генерацией. И сверить свежесть: Нейро по описанию Яндекса понимает, когда данные требуют обновления, поэтому страница с цифрами двухлетней давности проигрывает по дате, а не по структуре.

Частые вопросы

Нужен ли файл llms.txt, чтобы попасть в ответы ИИ Google

Нет. В справке Google по функциям ИИ сказано, что для появления в AI Overviews и AI Mode не нужно создавать новые машиночитаемые файлы, текстовые файлы для ИИ или дополнительную разметку, и отдельной структуры schema.org не предусмотрено. Достаточно индексации и права показываться со сниппетом.

Если закрыть GPTBot, сайт пропадёт из ChatGPT

Нет, если OAI-SearchBot остался разрешён: за показ в поиске внутри ChatGPT отвечает он, а GPTBot собирает контент для возможного обучения моделей. Это разные токены с разными списками адресов: 35 диапазонов у первого и 21 у второго на 22 августа 2026 года.

Влияет ли блокировка Google-Extended на позиции в Google

Нет. В документации сказано, что Google-Extended не влияет на включение сайта в Google Поиск и не используется как сигнал ранжирования. Токен управляет только обходом для обучения будущих моделей Gemini и для grounding в приложениях Gemini и Vertex AI.

Как запретить показ страницы в Нейро, не выпав из выдачи Яндекса

Закрыть в robots.txt токены YandexAdditionalBot и YandexAdditional. Они учитываются только при ограничении показа содержимого в быстрых ответах с YandexGPT и в ответах Поиска с Алисой, запросов на индексирование не делают и обычную выдачу не затрагивают.

Почему запрет для Perplexity-User не работает

Он обслуживает действие живого пользователя и по документации Perplexity обычно правила robots.txt игнорирует. Тот же принцип у ChatGPT-User, meta-externalfetcher и facebookexternalhit. Ограничивать такой трафик можно только на уровне сервера, сверяя адреса со списком: у Perplexity-User в нём 4 диапазона на 22 августа 2026 года.