Мир близок к дефициту вычислительных мощностей для ИИ, если уже не наступил - Epoch AI
Признаком уже наступающего дефицита является то, что Anthropic ввёл ограничения квот в часы пиковой нагрузки и предложил удвоенные лимиты в непиковое время.
О том, как токен экономика стала бомбой замедленного действия и что с этим делать, мы подробнее пишем здесь.
Исследователи из Epoch AI оценили глобальную инференс мощность и пришли к выводу, что спрос на токены растёт намного быстрее предложения.
В качестве базовой модели они взяли Kimi K2.6 - мощную открытую модель по индексу ECI на сегодня и смоделировали, сколько токенов в секунду могут генерировать все существующие чипы Nvidia Blackwell (GB200 + GB300) в мире.
По расчётам, все чипы Blackwell в мире способны генерить от 500 млн до 20 млрд токенов в секунду в зависимости от длины контекста запросов.
Глобальная инференс-мощность при этом более чем утраивается каждый год.
Длина контекста имеет большое значение, так как чем длиннее контекст, тем меньше токенов в секунду можно выдать с тех же чипов.
Google недавно заявил, что обрабатывает 1,2 млрд токенов в секунду по всем своим платформам.
А Exponential View оценивает суммарные токены по всем провайдерам в 40 квадриллионов в квартал, то есть ~5 млрд токенов в секунду.
У Apple некоторым инженерам разрешено тратить до $300 в токенах в день; у Meta(запрещена в РФ) 85 000 сотрудников потратили 60 триллионов токенов за месяц.
Если эти тренды сохранятся, дефицит мощностей вероятен в ближайшее время, что приведёт к росту цен на доступ к фронтир моделям для тех, кто готов платить, а рядовые пользователи будут переходить на более дешёвые и компактные модели.
Признаком уже наступающего дефицита является то, что Anthropic ввёл ограничения квот в часы пиковой нагрузки и предложил удвоенные лимиты в непиковое время.
О том, как токен экономика стала бомбой замедленного действия и что с этим делать, мы подробнее пишем здесь.
Исследователи из Epoch AI оценили глобальную инференс мощность и пришли к выводу, что спрос на токены растёт намного быстрее предложения.
В качестве базовой модели они взяли Kimi K2.6 - мощную открытую модель по индексу ECI на сегодня и смоделировали, сколько токенов в секунду могут генерировать все существующие чипы Nvidia Blackwell (GB200 + GB300) в мире.
По расчётам, все чипы Blackwell в мире способны генерить от 500 млн до 20 млрд токенов в секунду в зависимости от длины контекста запросов.
Глобальная инференс-мощность при этом более чем утраивается каждый год.
Длина контекста имеет большое значение, так как чем длиннее контекст, тем меньше токенов в секунду можно выдать с тех же чипов.
Google недавно заявил, что обрабатывает 1,2 млрд токенов в секунду по всем своим платформам.
А Exponential View оценивает суммарные токены по всем провайдерам в 40 квадриллионов в квартал, то есть ~5 млрд токенов в секунду.
У Apple некоторым инженерам разрешено тратить до $300 в токенах в день; у Meta(запрещена в РФ) 85 000 сотрудников потратили 60 триллионов токенов за месяц.
Если эти тренды сохранятся, дефицит мощностей вероятен в ближайшее время, что приведёт к росту цен на доступ к фронтир моделям для тех, кто готов платить, а рядовые пользователи будут переходить на более дешёвые и компактные модели.