Репост из: Что-то стартаперское
Вышел новый класс AI-моделей и они почти ничего не умеют: ни писать, ни рассуждать, ни разговаривать. Зато одну вещь делают дешево и быстро, и могут автоматизировать половину вашей рутины и существенно сократить затраты на токены.
15 сентября появилась Jev — модель нового класса, которая умеет очень быстро и очень дешево принимать решения: выбрать один вариант из нескольких, поставить оценку или ответить «да/нет».
И работа с ней стоит ужасно дешево: миллион входных токенов обходится примерно в 4 цента.
За несколько дней Jev захотели попробовать 140 тысяч человек, а уже через несколько дней вышел ее open-source конкурент Laya.
👉 Как это работает
У таких моделей есть всего лишь три способа ответить:
Все три типа можно смешивать в одном запросе и каждый раз модель показывает степень уверенности в своем выборе.
Проще объяснить на примере. Представьте, что вам в поддержку приходит письмо:
«Три дня не могу подключить Stripe, интеграция падает, я теряю продажи. Помогите срочно!»
Чтобы разбирать такие обращения, вы заранее задаете варианты ответа:
— Кому передать: бухгалтерия / техподдержка / продажи?
— Клиент спокоен / раздражен / в ярости?
— Это срочно: да / нет?
Через 0.1 секунды модель сообщает вам:
— техподдержка (уверенность 85%)
— раздражен (92%)
— срочно (97%)
👉Зачем это нужно, если есть дешевые LLM
До сих пор для таких задач часто брали небольшую модель вроде Haiku. Но это костыль: модель этого класса все равно генерирует ответ токен за токеном, иногда нарушает формат, а на миллионах решений разница в цене становится существенной. Да и старые модели чаще ошибаются, а новые модели — дорогие.
В тесте на 300 письмах Jev и Claude Sonnet почти не отличались по качеству, зато Jev обработал все за 11 секунд и $0,014, Sonnet — за 140 секунд и $1,14.
То есть Jev — в 12 раз быстрее и в 82 раза дешевле (!).
👉 В чем новизна Decision models
Модели, которые принимают решения, были и раньше: спам-фильтры, банковский скоринг, антифрод. Но каждую такую модель нужно было специально обучать под конкретную задачу на большом количестве примеров.
LLM впервые позволили просто написать словами: «Определи, это спам или нет». Но для простого «да/нет» они слишком сложные, медленные и дорогие.
Decision models взяли удобство LLM и скорость старых классификаторов: вы обычным языком описываете, какое решение нужно принять и какие ответы возможны — и модель сразу работает, без отдельного обучения под вашу задачу.
❤️ — если уже знаете, где применить
👍 — если ничего непонятно, но очень интересно)
15 сентября появилась Jev — модель нового класса, которая умеет очень быстро и очень дешево принимать решения: выбрать один вариант из нескольких, поставить оценку или ответить «да/нет».
И работа с ней стоит ужасно дешево: миллион входных токенов обходится примерно в 4 цента.
За несколько дней Jev захотели попробовать 140 тысяч человек, а уже через несколько дней вышел ее open-source конкурент Laya.
👉 Как это работает
У таких моделей есть всего лишь три способа ответить:
1. Выбор из списка
Например: клиент / партнер / инвестор / спам. Модель выберет один вариант.
2. Оценка/шкала.
Модель выбирает подходящую ступень/оценку.
3. Да / нет.
Все три типа можно смешивать в одном запросе и каждый раз модель показывает степень уверенности в своем выборе.
Проще объяснить на примере. Представьте, что вам в поддержку приходит письмо:
«Три дня не могу подключить Stripe, интеграция падает, я теряю продажи. Помогите срочно!»
Чтобы разбирать такие обращения, вы заранее задаете варианты ответа:
— Кому передать: бухгалтерия / техподдержка / продажи?
— Клиент спокоен / раздражен / в ярости?
— Это срочно: да / нет?
Через 0.1 секунды модель сообщает вам:
— техподдержка (уверенность 85%)
— раздражен (92%)
— срочно (97%)
Вот пара видосов на русском с конкретными кейсами.
Видео
Матвея
и видео
пользователя hinkok
👉Зачем это нужно, если есть дешевые LLM
До сих пор для таких задач часто брали небольшую модель вроде Haiku. Но это костыль: модель этого класса все равно генерирует ответ токен за токеном, иногда нарушает формат, а на миллионах решений разница в цене становится существенной. Да и старые модели чаще ошибаются, а новые модели — дорогие.
В тесте на 300 письмах Jev и Claude Sonnet почти не отличались по качеству, зато Jev обработал все за 11 секунд и $0,014, Sonnet — за 140 секунд и $1,14.
То есть Jev — в 12 раз быстрее и в 82 раза дешевле (!).
👉 В чем новизна Decision models
Модели, которые принимают решения, были и раньше: спам-фильтры, банковский скоринг, антифрод. Но каждую такую модель нужно было специально обучать под конкретную задачу на большом количестве примеров.
LLM впервые позволили просто написать словами: «Определи, это спам или нет». Но для простого «да/нет» они слишком сложные, медленные и дорогие.
Decision models взяли удобство LLM и скорость старых классификаторов: вы обычным языком описываете, какое решение нужно принять и какие ответы возможны — и модель сразу работает, без отдельного обучения под вашу задачу.
❤️ — если уже знаете, где применить
👍 — если ничего непонятно, но очень интересно)