Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100
Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила
небольшая лаборатория Hyperstition.
Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут. Потом сообщество десятки раз ускоряло обучение, а сейчас дошли до 39.9 секунды.
В блоге Hyperstition пишут, что такой скачок дали новые методы обучения, а не новые данные и новые чипы.
Если посмотреть блог этой лабы, то там есть и другие любопытные работы.
Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила
небольшая лаборатория Hyperstition.
Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут. Потом сообщество десятки раз ускоряло обучение, а сейчас дошли до 39.9 секунды.
В блоге Hyperstition пишут, что такой скачок дали новые методы обучения, а не новые данные и новые чипы.
Если посмотреть блог этой лабы, то там есть и другие любопытные работы.