У китайской Z.ai вышла GLM-5.3. В программировании и агентных задачах она снова оказывается рядом с сильнейшими американскими моделями.
При этом GLM-5.3 построена на той же базовой модели, что и GLM-5.2. Самый дорогой этап обучения заново не проводили: рост качества получили за счёт последующего обучения — большего числа задач и сред, длинных последовательностей действий и масштабирования обучения с подкреплением.
На Terminal Bench 3.0 результат вырос примерно с 4,6 до 28,3, на DeepSWE — с 46,2 до 66,9.
Этот пример хорошо показывает, как меняется гонка больших языковых моделей. Несколько лет назад преимущество почти напрямую связывали с масштабом предварительного обучения: больше данных и вычислений — сильнее модель. Сегодня всё больше результата создаётся после него: в учебных средах, системах проверки, обучении с подкреплением и скорости экспериментов.
Это частично объясняет, почему китайские лаборатории продолжают держаться рядом с фронтиром, несмотря на ограничения в доступе к передовым ускорителям. Вычислительное преимущество США остаётся огромным, но оно уже не обязательно превращается в такое же преимущество в качестве доступных моделей.
Есть и второй фактор — скорость. Китайские лаборатории зачастую выпускают модели почти сразу после завершения обучения, тогда как американские компании тратят больше времени на тестирование, безопасность и продуктовую интеграцию. Поэтому публичный фронтир и реальный исследовательский фронтир — не совсем одно и то же.
Китайские лаборатории всё меньше выглядят как игроки, которые просто пытаются воспроизвести американские модели с задержкой в несколько месяцев. У них появляются собственные исследовательские школы, инфраструктура обучения с подкреплением, семейства моделей и высокая скорость экспериментов. А ограничения на вычисления, возможно, заставляют их особенно активно искать способы получать больше качества из уже обученной модели.
В статье Interconnects Натан Ламберт разбирает GLM-5.3 именно как часть более широкого вопроса: как китайские лаборатории продолжают сокращать разрыв с американским фронтиром и почему объяснение «они просто дистиллируют западные модели» уже выглядит слишком простым.
При этом GLM-5.3 построена на той же базовой модели, что и GLM-5.2. Самый дорогой этап обучения заново не проводили: рост качества получили за счёт последующего обучения — большего числа задач и сред, длинных последовательностей действий и масштабирования обучения с подкреплением.
На Terminal Bench 3.0 результат вырос примерно с 4,6 до 28,3, на DeepSWE — с 46,2 до 66,9.
Этот пример хорошо показывает, как меняется гонка больших языковых моделей. Несколько лет назад преимущество почти напрямую связывали с масштабом предварительного обучения: больше данных и вычислений — сильнее модель. Сегодня всё больше результата создаётся после него: в учебных средах, системах проверки, обучении с подкреплением и скорости экспериментов.
Это частично объясняет, почему китайские лаборатории продолжают держаться рядом с фронтиром, несмотря на ограничения в доступе к передовым ускорителям. Вычислительное преимущество США остаётся огромным, но оно уже не обязательно превращается в такое же преимущество в качестве доступных моделей.
Есть и второй фактор — скорость. Китайские лаборатории зачастую выпускают модели почти сразу после завершения обучения, тогда как американские компании тратят больше времени на тестирование, безопасность и продуктовую интеграцию. Поэтому публичный фронтир и реальный исследовательский фронтир — не совсем одно и то же.
Китайские лаборатории всё меньше выглядят как игроки, которые просто пытаются воспроизвести американские модели с задержкой в несколько месяцев. У них появляются собственные исследовательские школы, инфраструктура обучения с подкреплением, семейства моделей и высокая скорость экспериментов. А ограничения на вычисления, возможно, заставляют их особенно активно искать способы получать больше качества из уже обученной модели.
В статье Interconnects Натан Ламберт разбирает GLM-5.3 именно как часть более широкого вопроса: как китайские лаборатории продолжают сокращать разрыв с американским фронтиром и почему объяснение «они просто дистиллируют западные модели» уже выглядит слишком простым.