ИИ-модели провалились в ставках на футбол
Ключевые факты
- 1 ИИ-модели от Google, OpenAI, Anthropic и xAI тестировались на ставках на АПЛ.
- 2 Почти все ИИ-модели проиграли деньги за сезон.
- 3 Claude показал наилучший результат среди ИИ, потеряв около 11% капитала.
- 4 Gemini и Grok демонстрировали нестабильные результаты, включая полное банкротство.
- 5 ИИ-системы выступили системно хуже людей в этой задаче.
- 6 Сложность задачи обусловлена динамичностью и непредсказуемостью футбола.
Недавнее исследование, проведенное изданием The Register, выявило значительные ограничения современных больших языковых моделей (LLM) в задачах, требующих анализа динамических и хаотичных данных, таких как футбольные ставки. В рамках эксперимента, ИИ-системы от Google (Gemini), OpenAI (GPT-4), Anthropic (Claude) и xAI (Grok) получили данные по сезону Английской Премьер-лиги с задачей заработать на ставках. Результаты показали, что почти все модели систематически проигрывали деньги. Лучший результат продемонстрировал Claude, потеряв около 11% от начального капитала за сезон. Gemini 1.5 Pro смог показать прибыль в одном из тестовых прогонов, но в другом полностью обанкротился. Grok 1.5 также однажды потерял весь свой капитал. В целом, производительность ИИ оказалась хуже, чем у человека-эксперта по ставкам. Это подчеркивает, что, несмотря на успехи ИИ в кодировании, генерации текста и анализе структурированных данных, он пока не способен эффективно справляться с задачами, где присутствует высокая степень непредсказуемости, влияние множества нечисловых факторов (форма игроков, травмы, мотивация, случайности) и постоянные изменения.