Анализ Graphite от 16 октября сравнил ответы ChatGPT без авторизации на промпты-сравнения с поиском и без него. Основной результат: бренды, которые ChatGPT редко называл без использования результатов поиска, как правило, редко назывались и при поиске — даже если эти бренды были на многих страницах, на которые ChatGPT ссылался.
Среди брендов, существенно упомянутых как минимум на 15% процитированных страниц, медианная видимость с поиском составила 11%, когда ChatGPT называл их менее чем в четверти ответов без поиска. Graphite — агентство роста, продающее услуги AEO, — утверждает, что брендам следует работать над тем, что AI-модели усваивают при обучении, а также над цитированием, и называет это оптимизацией параметрических знаний (PKO).
Сравнение использует промпты сравнения сущностей из статьи Graphite от 20 августа о трекинге промптов: 3 115 пар вопросов о сущностях по 57 вопросам, собранным в августе из ChatGPT без авторизации. Видимость — доля ответов, упоминающих бренд или продукт. Для ответов с поиском Graphite также измерил долю процитированных страниц, существенно упоминающих каждый бренд, и разделил бренды на три группы по этой доле. Во всех трёх группах бренды, которые ChatGPT называл чаще без поиска, назывались чаще и с поиском. Наблюдался рост видимости через поиск вместе с ростом доли процитированных страниц, упоминающих бренд; по словам Graphite, это говорит о том, что важны оба фактора. Graphite заявляет, что такая же связь сопоставимой силы есть в двух репликациях: первая использовала 100 промптов через API с явно включённым и отключённым поиском, вторая — 200 промптов, отслеживаемых инструментом Graphite в течение другого трёхнедельного периода.
В статье от 20 августа Graphite определял, использовался ли поиск, если в ответе присутствовал fan-out запрос или результат поиска. В материале от 16 октября не объясняется, как Graphite отделил ответы без использования поиска для сравнения; Graphite описывал только репликацию со 100 промптами через API как проведённую с явным отключением поиска. По словам Graphite, есть ранние свидетельства того, что усвоенное моделью при обучении влияет на то, как модель использует результаты поиска. В материале нет описания контрольных переменных для степени узнаваемости каждого бренда, а данные показывают, что видимость каждого бренда с поиском и без него росла вместе.
Graphite также подсчитал названия брендов примерно в 957 000 fan-out запросов ChatGPT — фоновых поисковых запросах, выполняемых перед ответом. Запросы получены из 22 953 небрендовых промптов сравнения сущностей, собранных с августа по начало октября. Из этих запросов 59,6% содержали бренд по разметке модели Claude Haiku 4.5 от Anthropic, а 22,7% использовали оператор site:. Ни один из промптов не называл бренд. Graphite говорит, что бренд в fan-out запросе повышает вероятность извлечения страниц с этим брендом. Suganthan Mohanadasan обнаружил похожую закономерность в меньшем тесте, о котором он написал для SEJ в августе: в 21 из 27 диалогов на одном аккаунте с авторизацией первый поисковый запрос ChatGPT включал названия брендов, которые он не вводил.
За две недели промптов сравнения сущностей в инструменте трекинга Graphite с фиксированным набором промптов доля ответов ChatGPT без авторизации с цитированием выросла с 56,6% (неделя 3 августа) до 88,5% (неделя 28 сентября). За те же недели для Gemini без авторизации доля составила 79,0%, затем 81,2%. Graphite говорит, что этот рост предполагает увеличение частоты использования поиска, и заявляет, что эти проценты менялись со временем и могут снизиться. Само по себе цитирование не обязательно указывает на то, что поиск имел место: в более ранней статье Graphite о трекинге промптов отмечалось, что по состоянию на май ChatGPT мог добавлять встроенные ссылки без отображения каких-либо признаков поиска.
В октябрьском отчёте о fan-out, который автор осветил 12 октября, Ahrefs сообщил, что 14,4% из 66,6 млн бесплатных ответов ChatGPT без авторизации в августе и сентябре включали fan-out запросы. Эти статистики не соотносятся напрямую: Ahrefs считал ответы с fan-out запросами по общим промптам на основе поискового объёма по всем темам и странам; Graphite считал ответы с цитированием для промптов сравнения.
Источник: https://www.searchenginejournal.com/chatgpt-brand-mentions-cited-pages-graphite/594379