Репост из: Data Secrets
Видео недоступно для предпросмотра
Смотреть в Telegram
Бывший разработчик ChatGPT представил новый класс моделей System One Models, которые не генерируют текст
Диого Алмейда – соавтор RLHF и один из авторов статьи про InstructGPT (именно эта техника легла в основу для ChatGPT в 2022).
В 2024 он основал TypeSafe AI. Два года они работали в стелсе, и только что официально представили свою первую модель Jev.
Идея в том, что для огромного количества задач текст вообще не нужен. Если модель должна определить категорию запроса, оценить риск или выбрать следующий шаг агента, обычная LLM все равно генерирует ответ токен за токеном, после чего его еще нужно распарсить.
Jev вместо этого сразу возвращает структурированный ответ и вероятность каждого варианта. Например, не пишет текстом, куда отправить запрос пользователя, а сразу возвращает нужную категорию.
За счет этого Jev работает в 20–200 раз быстрее обычных LLM на таких задачах (70-500 мс). Цена тоже необычная: $0.042 за 1М входных токенов, выходные бесплатно. Модель сейчас доступна в early access.
https://typesafe.ai/blog/introducing-system-one-models-and-jev
Диого Алмейда – соавтор RLHF и один из авторов статьи про InstructGPT (именно эта техника легла в основу для ChatGPT в 2022).
В 2024 он основал TypeSafe AI. Два года они работали в стелсе, и только что официально представили свою первую модель Jev.
Идея в том, что для огромного количества задач текст вообще не нужен. Если модель должна определить категорию запроса, оценить риск или выбрать следующий шаг агента, обычная LLM все равно генерирует ответ токен за токеном, после чего его еще нужно распарсить.
Jev вместо этого сразу возвращает структурированный ответ и вероятность каждого варианта. Например, не пишет текстом, куда отправить запрос пользователя, а сразу возвращает нужную категорию.
За счет этого Jev работает в 20–200 раз быстрее обычных LLM на таких задачах (70-500 мс). Цена тоже необычная: $0.042 за 1М входных токенов, выходные бесплатно. Модель сейчас доступна в early access.
https://typesafe.ai/blog/introducing-system-one-models-and-jev