OpenAI запускает соревнование Parameter Golf по оптимизации языковых моделей
Ключевые факты
- 1 OpenAI запустила соревнование Parameter Golf.
- 2 Задача — создать лучшую языковую модель до 16 МБ, обучающуюся за 10 минут на 8 H100.
- 3 Оценка моделей производится по сжатию FineWeb.
- 4 Участникам доступно до 1 миллиона долларов в GPU-кредитах.
- 5 Соревнование завершится 30 апреля, лучшие участники могут быть наняты в июне.
OpenAI анонсировала серию исследовательских соревнований, первым из которых стал Parameter Golf. Цель челленджа — разработать наиболее эффективную языковую модель, которая должна соответствовать двум ключевым ограничениям: размер не более 16 мегабайт и время обучения менее 10 минут на восьми графических процессорах H100. Оценка моделей будет производиться на основе их способности к сжатию отложенной части датасета FineWeb, что отражает качество предсказания текста. Соревнование поощряет инновации в различных областях, включая создание уникальных архитектур, схем сжатия (например, низкая точность, квантование, битовые сети) и других креативных подходов, таких как обучение во время тестирования или работа с длинным контекстом. Участникам предоставляется до 1 миллиона долларов в виде GPU-кредитов для облачных вычислений. Можно запросить 25 долларов для старта, 500 долларов для тестирования идей и 1000 долларов для продвижения в топ. Соревнование завершится 30 апреля, а в июне OpenAI планирует нанять часть наиболее успешных участников.