Педро Диас критикует инструменты отслеживания видимости бренда в LLM
Ключевые факты
- 1 Инструменты отслеживания видимости бренда в LLM появились менее чем за 18 месяцев.
- 2 Эти инструменты предлагают метрики, такие как доля упоминаний бренда в ответах ИИ.
- 3 Педро Диас считает эти метрики "чушью" и "лотерейным билетом", а не ранжированием.
- 4 Даже создатели LLM не могут полностью объяснить, почему модель выдает конкретные результаты.
- 5 Индустрия продолжает покупать эти инструменты, чтобы избежать признания неопределенности в работе с LLM.
Педро Диас выражает скептицизм относительно новой категории инструментов, которые предлагают отслеживать видимость бренда и долю упоминаний в ответах, генерируемых большими языковыми моделями (LLM). Он сравнивает их с "Search Console для эпохи чат-ботов", отмечая, что эти дашборды создают иллюзию контроля и успеха, если показатели растут. Диас прямо заявляет, что эти инструменты продают "чушь", поскольку их метрики, такие как "бренд появился в 73% релевантных ответов ИИ", основаны лишь на подсчете упоминаний после отправки нескольких запросов к API. Он подчеркивает, что это не является ранжированием, а скорее "лотерейным билетом", поскольку даже инженеры, создавшие LLM, не могут полностью объяснить, почему модель выдала тот или иной результат. По его мнению, индустрия продолжает покупать эти инструменты, чтобы избежать признания того, что она действует вслепую в отношении влияния LLM. Это позволяет маркетологам представлять клиентам "направленные" графики, которые на самом деле являются шумом, замаскированным под ценную информацию, поддерживая подписки на сервисы, чьи цифры не обязательно коррелируют с доходом.