Джон Мюллер: Директивы Content-Signal в robots.txt бесполезны для AI
Ключевые факты
- 1 Google не поддерживает директивы llms.txt или llms-author.txt.
- 2 Директивы Content-Signal от Cloudflare неэффективны для поисковиков и LLM.
- 3 Добавление Content-Signal в robots.txt не вредит, но и не помогает.
- 4 Не стоит тратить время на внедрение этих директив.
Джон Мюллер, аналитик по поисковой выдаче Google, прокомментировал использование новых директив в файле robots.txt, предназначенных для управления доступом искусственного интеллекта к контенту. Он подчеркнул, что Google не использует и не поддерживает директивы типа llms.txt или llms-author.txt. Особое внимание было уделено директивам Content-Signal, которые продвигались CDN-провайдером Cloudflare (например, ai-train=no, search=yes, ai-input=yes) как способ контроля над использованием контента для обучения AI. Мюллер категорически заявил, что эти директивы являются вымыслом и не оказывают никакого эффекта ни на один краулер, включая Googlebot, ни на какие-либо большие языковые модели (LLM). Он заключил, что добавление такого кода в robots.txt является излишним и не приносит пользы. Тем, кто уже добавил эти директивы, не стоит беспокоиться, так как они не вредят, но и не помогают. Тем, кто планировал их внедрение, рекомендуется не тратить на это время.