Репост из: Сиолошная
OpenAI запускают серию соревнований, подготовленных членами их исследовательской команды
Сейчас открыли первый челлендж: https://openai.com/index/parameter-golf/
Задача — обучить наилучшую языковую модель, которая помещается в 16 МБ и обучается менее чем за 10 минут на 8 H100. Оценка "наилучшести" — по сжатию отложенной части FineWeb, чем лучше модель предсказывает текст, тем лучше.
Это очень похоже на NanoGPT спидран от Andrej Karpathy, только там нет ограничения на размер модели, и время не задано, а нужно оптимизировать.
Во время соревнования OpenAI ожидает работу по большому количеству направлений — созданию уникальных архитектур (вычисления во время тестирования, агрессивная связка пар параметров, рекуррентность в глубину, обучение с низким рангом и т. д.), схем сжатия (низкая точность, QAT, битовые сети, новые токенизаторы и т. д.) и других креативных решений (обучение во время тестирования, длинный контекст и т. д.).
И... участникам дают $1M кредитов на GPU! Можно попросить $25 — чтобы начать, $500 — чтобы протестировать набор идей, и $1000 — чтобы выбиться в топ. Просить кредиты можно несколько раз (в том числе и большие гранты).
Соревнование закончится 30-го апреля, а в июне компания планирует нанять часть участников.
Сейчас открыли первый челлендж: https://openai.com/index/parameter-golf/
Задача — обучить наилучшую языковую модель, которая помещается в 16 МБ и обучается менее чем за 10 минут на 8 H100. Оценка "наилучшести" — по сжатию отложенной части FineWeb, чем лучше модель предсказывает текст, тем лучше.
Это очень похоже на NanoGPT спидран от Andrej Karpathy, только там нет ограничения на размер модели, и время не задано, а нужно оптимизировать.
Во время соревнования OpenAI ожидает работу по большому количеству направлений — созданию уникальных архитектур (вычисления во время тестирования, агрессивная связка пар параметров, рекуррентность в глубину, обучение с низким рангом и т. д.), схем сжатия (низкая точность, QAT, битовые сети, новые токенизаторы и т. д.) и других креативных решений (обучение во время тестирования, длинный контекст и т. д.).
И... участникам дают $1M кредитов на GPU! Можно попросить $25 — чтобы начать, $500 — чтобы протестировать набор идей, и $1000 — чтобы выбиться в топ. Просить кредиты можно несколько раз (в том числе и большие гранты).
Соревнование закончится 30-го апреля, а в июне компания планирует нанять часть участников.