ЦОД переезжает на твое устройство. Perplexity представили 1-й гибридный оркестратор инференса - систему, которая в реальном времени решает, какую часть задачи обработать локально на устройстве, а какую отправить в облако.
Мы на пути к росту потребления токенов в 100x ежегодно, и уже сейчас спрос опережает предложение.
Дата-центры останутся для самых сложных задач, а рутина уйдёт к роутерам и малым моделям, развёрнутым прямо на устройствах.
Но тот, кто контролирует оркестратор, контролирует всё. Об этом уже и Google, Notion, Anthropic, Sakana говорят и делают.
Оркестратор - это слой, который стоит между пользователем и ИИ-моделями.
Он решает, что обработать локально, а что в облаке, какую модель вызвать, сколько это стоит, какие данные куда идут.
Тот, кто занимает эту позицию, получает контроль над всем агентным стеком независимо от того, чьи модели внутри.
Именно за этот слой сейчас идёт настоящая борьба.
Гибридный инференс - это новый контрольный слой в архитектуре ИИ.
Мы на пути к росту потребления токенов в 100x ежегодно, и уже сейчас спрос опережает предложение.
Дата-центры останутся для самых сложных задач, а рутина уйдёт к роутерам и малым моделям, развёрнутым прямо на устройствах.
Но тот, кто контролирует оркестратор, контролирует всё. Об этом уже и Google, Notion, Anthropic, Sakana говорят и делают.
Оркестратор - это слой, который стоит между пользователем и ИИ-моделями.
Он решает, что обработать локально, а что в облаке, какую модель вызвать, сколько это стоит, какие данные куда идут.
Тот, кто занимает эту позицию, получает контроль над всем агентным стеком независимо от того, чьи модели внутри.
Именно за этот слой сейчас идёт настоящая борьба.
Гибридный инференс - это новый контрольный слой в архитектуре ИИ.