Репост из: Силиконовый Мешок
Jev, Jev, Jev… на ИИзнанке только и говорят, что о Jev. Как он бесконечно прекрасен… и что не умеет генерировать текст. Да, новая модель Jev, по которой все сходят с ума, не пишет текст.
Привычные нам генераторы, типа GPT, Claude, Gemini, делают одно и то же. Угадывают следующее слово. Потом следующее. И так по одному токену, пока не наберется ответ. А Jev не пишет ответ, он выбирает его из списка, который дали заранее.
Вы отправляете модели две вещи:
Первое - «состояние», любой текст или JSON. Письмо, тикет, диалог, лог, описание позиции в игре.
Второе - вопросы. Но не «что ты думаешь об этом?», а типизированные, с заранее известными вариантами ответа. Их всего три вида.
Например, к письму клиента «Помогите! Выплаты не проходят уже три дня» можно задать сразу три вопроса. Это срочно? Какой отдел? Насколько злой клиент? И получить в ответ не текст, а числа.
А, ну еще все это работает очень быстро (70-500 мс) и стоит всего $0.042 за миллион входных токенов, выход бесплатно. Кстати, название модели (Jev) - в честь парадокса Джевонса. Чем дешевле ресурс (интеллект), тем больше его потребление. Ну да, теперь при цене $42 за миллиард токенов это «решение» прикрутят везде, где раньше оно было экономически невозможно.
Есть и слабые стороны модели, о них создатели почти сразу написали. Арифметика, сравнение дат, двойные отрицания, большой нерелевантный контекст, атаки через «я ваш администратор» (65% успеха).
В общем, самое разумное - поставить Jev перед дорогой моделью как гейт. Чтобы из тысячи записей он пропускал сотню, на которую реально стоит тратить токены Claude или ChatGPT.
На том же GitHub уже выложили несколько сотен проектов с этой моделью. Я бы их на три категории поделил.
Привычные нам генераторы, типа GPT, Claude, Gemini, делают одно и то же. Угадывают следующее слово. Потом следующее. И так по одному токену, пока не наберется ответ. А Jev не пишет ответ, он выбирает его из списка, который дали заранее.
Вы отправляете модели две вещи:
Первое - «состояние», любой текст или JSON. Письмо, тикет, диалог, лог, описание позиции в игре.
Второе - вопросы. Но не «что ты думаешь об этом?», а типизированные, с заранее известными вариантами ответа. Их всего три вида.
1. Choice - выбери один вариант из списка, до 255 штук.
2. Score - оцени по шкале, от 2 до 10 уровней.
3. Noul - «да или нет», ответ приходит как вероятность от 0 до 1.
Например, к письму клиента «Помогите! Выплаты не проходят уже три дня» можно задать сразу три вопроса. Это срочно? Какой отдел? Насколько злой клиент? И получить в ответ не текст, а числа.
срочно - 0.96
отдел - billing (0.94), technical (0.04), sales (0.02)
злость - 1.7 по шкале от 0 до 2
А, ну еще все это работает очень быстро (70-500 мс) и стоит всего $0.042 за миллион входных токенов, выход бесплатно. Кстати, название модели (Jev) - в честь парадокса Джевонса. Чем дешевле ресурс (интеллект), тем больше его потребление. Ну да, теперь при цене $42 за миллиард токенов это «решение» прикрутят везде, где раньше оно было экономически невозможно.
Есть и слабые стороны модели, о них создатели почти сразу написали. Арифметика, сравнение дат, двойные отрицания, большой нерелевантный контекст, атаки через «я ваш администратор» (65% успеха).
В общем, самое разумное - поставить Jev перед дорогой моделью как гейт. Чтобы из тысячи записей он пропускал сотню, на которую реально стоит тратить токены Claude или ChatGPT.
На том же GitHub уже выложили несколько сотен проектов с этой моделью. Я бы их на три категории поделил.
- роутинг внутри агентов (какую модель звать, какой инструмент, безопасна ли команда)
- триаж потоков (тикеты, письма, логи, лиды, посты)
- guardrails и проверка чужих ответов перед отправкой