Наблюдение: трафик из ChatGPT и Perplexity растёт, но сайты «не видны». Кто уже тестировал оптимизацию под AI-поиск?

Привет! Тема горячая, удивлён что ещё никто не ответил. Видимо все заняты оптимизацией под AI-поиск и некогда писать на каме

Недавно пришлось очень плотно в это погрузиться - провели GEO-аудит (Generative Engine Optimization) по пачке коммерческих сайтов разной тематики. Использовали вот этот open-source тулкит https://github.com/zubair-trabzada/geo-seo-claude - работает как скилл для Claude Code, на выходе JSON + PDF отчёт с баллами и планом действий. Делюсь именно практикой, а не теорией из статей

Первое открытие - сайты сами себя блокируют

Проверь свой robots.txt прямо сейчас. Большинство сайтов блокируют AI-краулеров по умолчанию через наследование Disallow. GPTBot, ClaudeBot, PerplexityBot приходят, видят закрытую дверь, грустно разворачиваются и уходят

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

В Rank Math, наверняка и в других SEO плагинах это делается через редактирование robots.txt средствами настроек плагина. Но внимание, если у тебя nginx и robots.txt отдаёт 404, проверь что в конфиге есть try_files $uri /index.php?$args для location = /robots.txt. Без этого nginx не пропускает запрос в WordPress и Rank Math не может отдать виртуальный файл. Мы на этом потеряли время - сайт выглядел настроенным в админке, а боты получали 404

llms.txt - новый robots.txt

В корень сайта кладёшь файл llms.txt - описание структуры сайта, ключевые страницы, продукты, экспертиза. Формат - Markdown. AI-краулеры его читают и лучше понимают что к чему. Ни на одном из проверенных сайтов его не было. Ноль. Вот тебе и low-hanging fruit

Но мы используем Rank Math и в нем уже есть модуль LLMS Txt (включается в Modules), в Yoast и SEOPress тоже появляется поддержка или уже есть. Но по умолчанию они генерируют сухой список постов - никакой пользы. Мы перехватываем вывод через и подставляем свой курированный контент: услуги, продукты с внешними ссылками, отрасли, контакты и динамическую секцию с последними новостями через WP_Query. На выходе - полноценный путеводитель по сайту для AI, а не автогенерированная статичная простыня

Schema.org - не для галочки, а как граф сущностей

По твоим результатам - 6 из 10 запросов за три недели это отличный результат, значит подход правильный. aggregateRating работает - AI любит конкретные цифры рейтингов. А вот keywords в JSON-LD почти не влияет на AI-цитируемость, не трать на это время. Что реально парсится:

sameAs в Organization - без этого AI не связывает твой сайт с профилями на LinkedIn, GitHub, отраслевых каталогах. Видел кейс где sameAs содержал ссылку... на самого себя. Типа "я знаю себя, этого достаточно". Полезно для самооценки, но для AI-графа бесполезно

knowsAbout - массив экспертиз компании. AI использует это для matching по запросам типа "лучшая компания для X". Если этого поля нет, AI гадает по контенту страницы

contactPoint с contactType - для E-E-A-T сигналов

BreadcrumbList даже без визуальных хлебных крошек. Вот это было откровение. На страницах где дизайн не предусматривает крошки - всё равно добавляй их в JSON-LD. AI использует BreadcrumbList для понимания иерархии. Влияет на контекст цитирования

SoftwareApplication / Service для продуктовых страниц. Базового WebPage мало. Нужен конкретный тип с featureList, applicationCategory, audience. Когда кто-то спрашивает AI "лучший инструмент для X" - именно эти поля матчатся.

FAQPage - ты упоминал FAQ-секции с вопросным форматированием. Это работает, но важно чтобы FAQ был именно в Schema (FAQPage + Question + acceptedAnswer), а не просто визуальный аккордеон на странице. AI парсит структурированные FAQ напрямую и часто цитирует ответы дословно. Rank Math умеет генерировать FAQPage Schema из Gutenberg-блока FAQ.

Самый неожиданный вывод - внешнее присутствие важнее внутренней оптимизации

Можно вылизать Schema до идеала, но если бренда нет на внешних платформах - AI тебя не процитирует. Мы проверяли через прямые запросы: LinkedIn Company Page, G2, Capterra, Clutch, GitHub Organization. У большинства проверенных сайтов внешнее присутствие было нулевым. Буквально: ни одного профиля на внешней платформе. AI смотрит на это и думает "а ты чьих халоп будешь?"

Отдельный привет LinkedIn: он возвращает HTTP 999 на любой запрос без авторизации. 999 - это даже не в спецификации HTTP, LinkedIn просто решил что стандартных кодов мало и изобрёл свой. Сначала думаешь "профиля нет", а потом выясняется что 999 = "страница существует, но я тебе не покажу, иди логинься". Приходится учитывать такие нюансы при автоматической проверке

E-E-A-T - реальные авторы

Если в Schema автор "admin" или какой-нибудь загадочный псевдоним - это минус. Реальное имя, должность, ссылка на соцсеть. AI-системы это проверяют при оценке авторитетности контента. На WordPress подмена делается через тот же rank_math/json_ld фильтр + rank_math/opengraph/slack_enhanced_data (чтобы и в Open Graph метаданных было правильно). На статических страницах (главная, о компании) автора лучше убрать совсем - там он не нужен и только путает AI, а плагины поумолчанию проставляют эту фигню

Чего делать не стоит

• Парсить Google/Bing/DuckDuckGo для проверки позиций - всё заблокировано CAPTCHA и rate-limiting. DuckDuckGo вообще возвращает HTTP 202 и пустую страницу, типа "я подумаю и перезвоню". Не перезвонит. Используй API или специализированные инструменты
• Отмечать галочки в чеклисте СЕО плагинах без проверки на продакшне. Был кейс в задаче написано "Schema добавлена", галочка стоит, все довольны, а на продакшне JSON-LD отсутствует полностью. Классика жанра. Всегда проверяй через validator.schema.org
• Забывать про staging URL. Разные SEO плагины на dev/staging-окружении записывают локальные URL (типа mysite.test) в sameAs, Person, @id. После деплоя эти URL остаются в Schema на продакшне. AI видит ссылку на .test домен и делает выводы. Мы написали рекурсивную чистку staging URL из всего графа Schema - и внезапно нашли их на нескольких продакшн-сайтах. Неприятный сюрприз и эпик фейл

Как мы это делали

Средний GEO Score до оптимизации - около 20/100. Критические точки, которые вылезли на большинстве сайтов: Schema на нуле, Brand Authority нулевое (нет внешних профилей), llms.txt не было нигде

WordPress: Rank Math + mu-plugins

Повторюсь мы используем Rank Math и его фильтры без дополнительных плагинов. Но Yoast SEO и другие крупные SEO-плагины тоже генерируют JSON-LD Schema и имеют аналогичные фильтры для обогащения данных (wpseo_json_ld_output у Yoast, например). Принцип один и тот же - плагин генерирует базу (Organization, WebSite, WebPage, Article), а ты через фильтр обогащаешь:

add_filter( 'rank_math/json_ld', function( $data ) {
	foreach ( $data as $key => $entity ) {
		$types = (array) ( $entity['@type'] ?? [] );
		if ( ! in_array( 'Organization', $types, true ) ) {
			continue;
		}
		$data[ $key ]['sameAs']     = [ /* ваши профили */ ];
		$data[ $key ]['knowsAbout'] = [ /* ваши экспертизы */ ];
		// и т.д.
	}
	return $data;
}, 150, 1 );

Один PHP-файл в mu-plugins на 100-150 строк закрывает Organization enrichment + очистку staging URL из Schema.

Отдельный нюанс - BreadcrumbList. В Rank Math (и в большинстве SEO-плагинов) хлебные крошки уже генерируются из коробки. Но есть подвох в Rank Math, он конвертирует position из integer в строку при прохождении через фильтр (пишет "1" вместо 1). Google Schema Validator не ругается, но формально спецификация требует integer. Мы вывели BreadcrumbList отдельным wp_head хуком с wp_json_encode() напрямую - тогда типы сохраняются. Перфекционизм? Может быть. Но когда Google Rich Results Test показывает ноль ошибок - приятно.

Про исследования

Ты спрашивал про данные о связи structured data и AI-рекомендаций. Формальных академических исследований пока мало, но практика показывает прямую корреляцию. Наш аудит подтвердил, что сайты с Schema Score выше 30 попадают в AI-ответы заметно чаще чем сайты с нулевой разметкой. Логика простая - AI-системам проще цитировать контент который уже структурирован, чем парсить простыню текста и гадать что есть что

Из того что стоит почитать - поищи "Generative Engine Optimization" (GEO), есть несколько хороших материалов от Princeton и Georgia Tech. Термин вроде новый, но методология уже сформирована