Механизм Fan-Out запросов в ChatGPT: управление весами векторов через синонимы
Ключевые факты
- 1 Семантический поиск страдает от доминирования основного ключевого слова в коротких запросах.
- 2 ChatGPT, предположительно, использует расширение запроса (Fan-Out) до 15 слов.
- 3 Расширение происходит за счет добавления 'облаков синонимов' для конкретного интента.
- 4 Это позволяет размыть вес основного слова и сфокусировать вектор на специфической потребности пользователя, улучшая RAG.
Пост описывает метод, который, предположительно, используется в ChatGPT для решения фундаментальной проблемы семантического поиска: доминирования основного ключевого слова в коротких запросах. При коротком запросе, например, 'lawyer credentials', векторное представление делится поровну, и общий термин ('lawyer') перетягивает внимание, что приводит к выдаче общих страниц типа 'About Us'. Решение заключается в расширении исходного запроса до 15 слов за счет добавления кластера синонимов, описывающих конкретный интент (например, 'qualifications, licensing, certifications'). Это позволяет размыть вес основного слова (снизив его до 20%) и сконцентрировать вектор на специфическом интенте (до 80%). Этот процесс, названный 'прецизионной развесовкой', позволяет специализированному контенту побеждать общие страницы, где просто упомянуто все подряд. В результате повышается разнообразие и полезность Retrieval-Augmented Generation (RAG).