Самое время написать про Jev!
На связи Данила Бочарников, DS-инженер команды поискового ранжирования в Авито. Сегодня разбираем модель от TypeSafe AI для быстрых решений внутри кода.
➡️ Что умеет Jev. Во многих задачах от модели нужно определить категорию запроса, оценить релевантность документа или выбрать следующий шаг агента.
Под такие сценарии TypeSafe разработала Jev. На вход модель получает контекст и вопросы, на выходе возвращает ответы и вероятности.
В API доступно три варианта:
— Choice позволяет выбрать вариант из заданного списка.
— Score позволяет поставить оценку по заданной шкале.
— Noul позволяет оценить вероятность того, что утверждение верно.
Несколько вопросов можно отправить одним запросом. Они обрабатываются параллельно и независимо на общем контексте. Подробнее в документации →
➡️ Технические нюансы. Для обучения используется RLCD (Reinforcement Learning for Calibrated Decisions). Модель учат выдавать решения с калиброванными вероятностями.
Идея знакома по классическому ML. Среди событий с предсказанной вероятностью 0.8 примерно 80% должны происходить.
Это позволяет задавать в коде пороги для автоматического действия или передачи задачи на проверку. При этом калибровка не гарантирует правильность отдельного ответа.
Как устроен RLCD →
➡️ Результаты и стоимость. В собственных тестах TypeSafe на четырёх сценариях автоматизации среднее время выполнения составило около 0.4 секунды у Jev против 78.1 секунды у Claude Sonnet 5. Разница примерно в 200 раз.
Полное совпадение итоговых наборов действий с эталоном у обеих моделей составило 67.8%. К результатам →
Текущая цена Jev составляет $0.042 за миллион входных токенов, выход бесплатный. К тарифам →
Когда прочитал про Jev, захотелось в свободное время поиграться с ней на одной из наших рабочих задач. Просто ради интереса попробовать новый подход, но руки пока не дошли)
Захотелось попробовать Jev у себя?
🔥 Да, уже есть идеи
🤔 Пока не вижу подходящих задач
Кстати, коллеги уже недавно рассказали о результатах на реальной задаче в другом посте. Если тоже есть опыт, можно поделиться в комментариях ↓
На связи Данила Бочарников, DS-инженер команды поискового ранжирования в Авито. Сегодня разбираем модель от TypeSafe AI для быстрых решений внутри кода.
➡️ Что умеет Jev. Во многих задачах от модели нужно определить категорию запроса, оценить релевантность документа или выбрать следующий шаг агента.
Под такие сценарии TypeSafe разработала Jev. На вход модель получает контекст и вопросы, на выходе возвращает ответы и вероятности.
В API доступно три варианта:
— Choice позволяет выбрать вариант из заданного списка.
— Score позволяет поставить оценку по заданной шкале.
— Noul позволяет оценить вероятность того, что утверждение верно.
Несколько вопросов можно отправить одним запросом. Они обрабатываются параллельно и независимо на общем контексте. Подробнее в документации →
➡️ Технические нюансы. Для обучения используется RLCD (Reinforcement Learning for Calibrated Decisions). Модель учат выдавать решения с калиброванными вероятностями.
Идея знакома по классическому ML. Среди событий с предсказанной вероятностью 0.8 примерно 80% должны происходить.
Это позволяет задавать в коде пороги для автоматического действия или передачи задачи на проверку. При этом калибровка не гарантирует правильность отдельного ответа.
Как устроен RLCD →
➡️ Результаты и стоимость. В собственных тестах TypeSafe на четырёх сценариях автоматизации среднее время выполнения составило около 0.4 секунды у Jev против 78.1 секунды у Claude Sonnet 5. Разница примерно в 200 раз.
Полное совпадение итоговых наборов действий с эталоном у обеих моделей составило 67.8%. К результатам →
Текущая цена Jev составляет $0.042 за миллион входных токенов, выход бесплатный. К тарифам →
Когда прочитал про Jev, захотелось в свободное время поиграться с ней на одной из наших рабочих задач. Просто ради интереса попробовать новый подход, но руки пока не дошли)
Захотелось попробовать Jev у себя?
🔥 Да, уже есть идеи
🤔 Пока не вижу подходящих задач
Кстати, коллеги уже недавно рассказали о результатах на реальной задаче в другом посте. Если тоже есть опыт, можно поделиться в комментариях ↓