Критика дашбордов видимости бренда в LLM
Ключевые факты
- 1 Дашборды отслеживания упоминаний бренда в LLM не отражают реальное ранжирование.
- 2 Автор считает эти инструменты "чушью" и "лотерейным билетом".
- 3 Инженеры LLM не могут полностью объяснить логику генерации ответов.
- 4 Покупка таких инструментов обусловлена нежеланием признать отсутствие прозрачности в работе LLM.
В своем посте Педро Диас выражает скептицизм относительно новой категории поставщиков, предлагающих инструменты для отслеживания видимости бренда в ответах, генерируемых большими языковыми моделями (LLM). Он сравнивает эти дашборды с "Search Console для эпохи чат-ботов", но утверждает, что они продают "чушь". По его мнению, когда такой инструмент сообщает о появлении бренда в 73% релевантных ответов ИИ, это лишь подсчет упоминаний в выборке запросов к API, а не реальное ранжирование. Диас подчеркивает, что инженеры, создавшие эти модели, сами не могут полностью объяснить, почему генерируется тот или иной результат, что делает заявления SaaS-инструментов о "понимании" работы LLM сомнительными. Он считает, что индустрия продолжает покупать эти инструменты, чтобы избежать признания того, что она действует вслепую, и чтобы поддерживать видимость "направленных" графиков для клиентов, даже если цифры не коррелируют с доходом.