Andrej Karpathy представил autoresearch для автоматизации экспериментов ИИ
Ключевые факты
- 1 Андрей Карпати выпустил autoresearch.py на GitHub 7 марта 2024 года.
- 2 Инструмент позволяет ИИ-агенту автоматически проводить сотни экспериментов за ночь, изменяя и оптимизируя код.
- 3 CEO Shopify Тоби Лютке сообщил о 19% приросте производительности после использования autoresearch.
- 4 Принцип работы autoresearch применим к любой задаче с чёткой метрикой успеха, от оптимизации маркетинга до финансов.
- 5 Проект быстро набрал популярность, получив 8 000 звёзд на GitHub за три дня.
7 марта Андрей Карпати выложил на GitHub проект под названием autoresearch. Это Python-скрипт из 630 строк кода, который работает на одной видеокарте, используя один файл с инструкциями и одну метрику для оптимизации. Основная идея заключается в том, что ИИ-агент самостоятельно проводит эксперименты, изменяя параметры кода, такие как архитектура модели, скорость обучения или её размер. После каждого изменения агент запускает тренировку на короткое время (например, 5 минут), оценивает результат по заданной метрике и, если модель улучшилась, сохраняет изменения, в противном случае — откатывает их и начинает новый эксперимент. Такой подход позволяет проводить около ста экспериментов за ночь. Карпати отметил, что агент смог обнаружить ошибки, которые он сам пропускал на протяжении двадцати лет. Вскоре после релиза CEO Shopify Тоби Лютке запустил агента на своей модели и сообщил о приросте производительности на 19%. За первые три дня проект набрал 8 000 звёзд на GitHub. Хотя autoresearch изначально разработан для обучения языковых моделей, его базовый принцип — предоставление агенту метрики, кода и разрешения на его изменение — универсален и применим к любой задаче с измеримым результатом. Среди потенциальных направлений использования: оптимизация листингов на маркетплейсах, тюнинг цепочек писем, подбор цен, исследование конкурентов, A/B-тестирование посадочных страниц, квалификация лидов, оптимизация клиентской поддержки, финансовая операционка и тестирование рекламных креативов.