OpenAI ускорила агентов: новый режим Ultrafast сокращает время отклика до 8 раз
• GPT-6 Astra Ultrafast доступен в OpenAI API и части пользователей ChatGPT Work и Codex
• Работает на GPU NVIDIA Blackwell, ускорение генерации токенов до 8 раз против Astra Standard
• Создан для агентных циклов: кодинг-агенты, вызовы инструментов, интерактивные приложения
• OpenAI использовала собственные модели для оптимизации ПО инференса на GPU NVIDIA
Для агентных процессов в поддержке, продажах и операциях скорость генерации токенов перестаёт быть метрикой для демо и становится статьёй расходов на задержку, которую стоит сверить с собственными циклами вызова инструментов.
Читать на inite.ai
• GPT-6 Astra Ultrafast доступен в OpenAI API и части пользователей ChatGPT Work и Codex
• Работает на GPU NVIDIA Blackwell, ускорение генерации токенов до 8 раз против Astra Standard
• Создан для агентных циклов: кодинг-агенты, вызовы инструментов, интерактивные приложения
• OpenAI использовала собственные модели для оптимизации ПО инференса на GPU NVIDIA
Для агентных процессов в поддержке, продажах и операциях скорость генерации токенов перестаёт быть метрикой для демо и становится статьёй расходов на задержку, которую стоит сверить с собственными циклами вызова инструментов.
Читать на inite.ai