⚡️ Бывший разработчик ChatGPT представил модель для быстрых решений AI-агентов
Когда LLM работает с Blender, JetBrains IDE, DaVinci Resolve (или даже играет в Minecraft!) ей постоянно приходится выбирать следующий инструмент или действие. Для такого выбора часто достаточно одного значения, но обычная LLM всё равно генерирует ответ токен за токеном. Отсюда часть пауз между командами.
Диого Алмейда, соавтор InstructGPT, и команда TypeSafe представили Jev. Модель, которой передаёшь контекст и допустимые варианты, а в ответ получаешь её выбор и вероятности. Дальше она обрабатывает вопросы параллельно, без генерации текста.
Стоит работа такой модели $0,042 за миллион входных токенов и $0 за выход. Практически бесплатно)
Зацените демки с Doom и Wikipedia: примерно так всё и должно было работать, прежде чем мы привыкли смотреть на "Thinking…" 🙂
@ai_for_devs
Когда LLM работает с Blender, JetBrains IDE, DaVinci Resolve (или даже играет в Minecraft!) ей постоянно приходится выбирать следующий инструмент или действие. Для такого выбора часто достаточно одного значения, но обычная LLM всё равно генерирует ответ токен за токеном. Отсюда часть пауз между командами.
Диого Алмейда, соавтор InstructGPT, и команда TypeSafe представили Jev. Модель, которой передаёшь контекст и допустимые варианты, а в ответ получаешь её выбор и вероятности. Дальше она обрабатывает вопросы параллельно, без генерации текста.
Jev можно поручить выбор из готовых действий, а написание кода и сложное планирование оставить "основной" LLM. По собственным тестам TypeSafe, качество таких решений близко к привычным нам моделям, зато среднее время в десятки раз меньше.
Стоит работа такой модели $0,042 за миллион входных токенов и $0 за выход. Практически бесплатно)
Зацените демки с Doom и Wikipedia: примерно так всё и должно было работать, прежде чем мы привыкли смотреть на "Thinking…" 🙂
@ai_for_devs