Ранд Фишкин: Почему бессмысленно отслеживать бренды в ответах AI по единичным промптам
Ключевые факты
- 1 Видимость бренда в ответах AI сильно зависит от персонализации и стохастичности модели.
- 2 Шанс получить две одинаковые выдачи брендов из 100 запросов составляет менее 1%.
- 3 Для достоверного анализа видимости бренда требуется использовать минимум 100 промптов по теме или подтемам.
Ранд Фишкин привлек 600 добровольцев, которые задали 12 различных запросов в ведущие AI-модели (ChatGPT, Claude, Google AI Overview и AI Mode). Целью было проанализировать, как часто и в каком порядке упоминаются бренды в ответах. Анализ показал, что ранжирование брендов в списках ответов почти никогда не совпадает. Шанс получить две одинаковые выдачи из 100 запросов составляет менее 1%. Эта нестабильность связана с проблемой персонализации и тем, что пользователь получает ответ от чата, а не от API, что приводит к стохастичности результатов. Чтобы получить достоверные данные о видимости бренда, необходимо задать один и тот же промпт не менее 100 раз или использовать 100 различных подтем, связанных с брендом. Только усредненный результат по такому объему данных может дать представление о реальной видимости бренда в AI-среде.