Data Secrets dan repost
Очень показательный график из свежей статьи Bloomberg
Оранжевые точки – китайские модели, синие – США. По оси Y – взвешенное среднее по бенчмаркам GDPval-AA v2, τ³-Banking, Terminal-Bench v2.1, Humanity’s Last Exam, GPQA Diamond, CritPt, SciCode, AA-Omniscience и AA-LCR.
Ломаной соединены фронтирные модели. Видно, насколько за пару лет сократился разрыв в способностях (и это еще на графике нет GLM-5.3). Многие американские лидеры до сих пор утверждают, что китайские модели отстают на 6-9 месяцев, но, очевидно, эта информация устарела. И это уже не говоря про цены.
Оранжевые точки – китайские модели, синие – США. По оси Y – взвешенное среднее по бенчмаркам GDPval-AA v2, τ³-Banking, Terminal-Bench v2.1, Humanity’s Last Exam, GPQA Diamond, CritPt, SciCode, AA-Omniscience и AA-LCR.
Ломаной соединены фронтирные модели. Видно, насколько за пару лет сократился разрыв в способностях (и это еще на графике нет GLM-5.3). Многие американские лидеры до сих пор утверждают, что китайские модели отстают на 6-9 месяцев, но, очевидно, эта информация устарела. И это уже не говоря про цены.