Да кто это такие, ваши background agents 🤔
Недавно ходил в гости к ребятам из AI4Dev и рассказал о background agents - фоновых агентах, которые могут решить одну проблему неэффективности датацентров
Видеозапись доступна здесь:
🔵 YouTube
🔵 VK
Коротко про что лекция:
Есть две проблемы, которые повышают цену токенов
1️⃣ Неэффективность фазы декодирования. Выходные токены (output tokens) стоят кратно дороже входных (input tokens). Это происходит из-за того, что фаза Decode (генерация ответа) работает последовательно, токен за токеном. В этой фазе GPU простаивает сильно больше времени, чем фаза prefill, и стоимость этого простоя закладывается в высокую цену токенов
2️⃣ Закупка ресурсов впрок. Взрывной рост числа пользователей (Open AI достигла 1 млн за 5 дней) и динамика суточной нагрузки заставляют компании закупать дорогостоящие видеокарты впрок. Этот ресурс не используется на полную мощность и простаивает
В видео я разбираю потенциальное решение проблемы: background agents 📈
Это прерываемые, некритичные к задержкам агенты, которые встраиваются в простаивающие окна GPU. Они выполняют полезную фоновую работу: проверку кода, аналитику данных или обработку неструктурированных данных.
Повышая утилизацию видеокарты, компании смогут снизить цену токенов, что даст им сильное конкурентное преимущество на рынке
Недавно ходил в гости к ребятам из AI4Dev и рассказал о background agents - фоновых агентах, которые могут решить одну проблему неэффективности датацентров
Видеозапись доступна здесь:
🔵 YouTube
🔵 VK
Коротко про что лекция:
Есть две проблемы, которые повышают цену токенов
1️⃣ Неэффективность фазы декодирования. Выходные токены (output tokens) стоят кратно дороже входных (input tokens). Это происходит из-за того, что фаза Decode (генерация ответа) работает последовательно, токен за токеном. В этой фазе GPU простаивает сильно больше времени, чем фаза prefill, и стоимость этого простоя закладывается в высокую цену токенов
2️⃣ Закупка ресурсов впрок. Взрывной рост числа пользователей (Open AI достигла 1 млн за 5 дней) и динамика суточной нагрузки заставляют компании закупать дорогостоящие видеокарты впрок. Этот ресурс не используется на полную мощность и простаивает
В видео я разбираю потенциальное решение проблемы: background agents 📈
Это прерываемые, некритичные к задержкам агенты, которые встраиваются в простаивающие окна GPU. Они выполняют полезную фоновую работу: проверку кода, аналитику данных или обработку неструктурированных данных.
Повышая утилизацию видеокарты, компании смогут снизить цену токенов, что даст им сильное конкурентное преимущество на рынке