Оптимизация промтов для дешевых моделей с помощью алгоритма GEPA
Ключевые факты
- 1 GEPA — это автоматизированный эволюционный алгоритм для оптимизации промтов.
- 2 Цикл GEPA включает генерацию, тестирование, отбор и повторение.
- 3 Использует эталонные примеры от дорогих моделей (например, Claude Opus) для оценки качества.
- 4 Мутации промтов, улучшающие метрики, сохраняются.
- 5 Применяется для снижения затрат при массовой генерации контента дешевыми моделями.
- 6 Для предотвращения переобучения используется отдельная валидационная выборка.
- 7 Стоимость цикла обучения GEPA может варьироваться от 5 до 1000 долларов.
GEPA (Generative Evolutionary Prompt Augmentation) представляет собой автоматизированный эволюционный цикл для улучшения промтов. Вместо ручной корректировки, промты автоматически мутируют и отбираются на основе заданных метрик качества. Цикл GEPA включает этапы генерации, тестирования, отбора и повторения до достижения оптимального промта. Процесс начинается с создания эталонного примера (например, классификации фраз) с использованием дорогой модели, такой как Claude Opus. Затем задается промт для оптимизации под конкретную задачу. Дешевая модель генерирует несколько ответов по этому промту, после чего рассчитывается метрика качества классификации на эталонном примере. После фиксации стартового результата в промт вносятся «мутации». Мутация, которая приводит к улучшению метрики, сохраняется. Весь этот цикл выполняется автоматически. Для предотвращения переобучения промта на тестовых данных используется отдельная валидационная выборка с аналогичной задачей, но с другими данными. Прикладная ценность GEPA высока, например, при необходимости описания большого количества товаров (1 миллион карточек). Дешевые модели дают слабый результат, а дорогие, хоть и качественные, обходятся дорого. GEPA позволяет запустить автоматический цикл оптимизации промтов с заданными критериями качества. Метрики могут рассчитываться, в том числе, другой нейросетью, сравнивающей результаты с эталонным текстом. Опыт показывает, что для каждой категории товаров лучше создавать свой цикл обучения для достижения максимального качества от дешевой модели. Стоимость цикла обучения может варьироваться от 5 до 1000 долларов, в зависимости от сложности задачи, при этом один цикл может работать до 40 часов и стоить около 100 долларов.