Индекс Googlebot в 3.2 раза глубже, чем у GPTBot, по данным Cloudflare
Ключевые факты
- 1 Googlebot индексирует в 3.2 раза больше уникальных страниц, чем GPTBot.
- 2 Данные о глубине индексации были опубликованы Cloudflare в ноябре 2023 года.
- 3 Объем данных, доступных AI-ботам, значительно меньше, чем у традиционных поисковых систем.
Генеративные модели, такие как GPT, Bing и Claude, обучаются на огромных массивах данных, собранных их собственными веб-краулерами (GPTBot, Bingbot, Claudebot). Однако их доступ к полному объему интернета ограничен по сравнению с Google. CEO Cloudflare Мэттью Принс в ноябре 2023 года представил статистику, показывающую, что на каждую страницу, которую видит GPTBot, Googlebot индексирует 3.2 страницы. Это различие подчеркивает, что, несмотря на усилия OpenAI, их обучающие данные охватывают лишь часть всего интернета, доступного Google. Этот разрыв критичен для создания максимально полных и актуальных языковых моделей, поскольку недостаток данных может влиять на качество ответов LLM. Хотя данные в «хвосте» индекса могут быть менее качественными или менее плотными по информации, Google сохраняет доминирующее положение в плане охвата всего интернета.