LIDERS AI

Вышел новый класс AI-моделей и они почти ничего не умеют: ни писать, ни рассуждать, ни разговаривать. Зато одну вещь делают дешево и быстро, и могут автоматизировать половину вашей рутины и существенно сократить затраты на токены.

15 сентября появилась Jev — модель нового класса, которая умеет очень быстро и очень дешево принимать решения: выбрать один вариант из нескольких, поставить оценку или ответить «да/нет».

И работа с ней стоит ужасно дешево: миллион входных токенов обходится примерно в 4 цента.

За несколько дней Jev захотели попробовать 140 тысяч человек, а уже через несколько дней вышел ее open-source конкурент Laya.

👉 Как это работает
У таких моделей есть всего лишь три способа ответить:

1. Выбор из списка
Например: клиент / партнер / инвестор / спам. Модель выберет один вариант.

2. Оценка/шкала.
Модель выбирает подходящую ступень/оценку.

3. Да / нет.

Все три типа можно смешивать в одном запросе и каждый раз модель показывает степень уверенности в своем выборе.

Проще объяснить на примере. Представьте, что вам в поддержку приходит письмо:

«Три дня не могу подключить Stripe, интеграция падает, я теряю продажи. Помогите срочно!»

Чтобы разбирать такие обращения, вы заранее задаете варианты ответа:

— Кому передать: бухгалтерия / техподдержка / продажи?
— Клиент спокоен / раздражен / в ярости?
— Это срочно: да / нет?

Через 0.1 секунды модель сообщает вам:

— техподдержка (уверенность 85%)
— раздражен (92%)
— срочно (97%)

Вот пара видосов на русском с конкретными кейсами.
Видео

Матвея

и видео

пользователя hinkok

👉Зачем это нужно, если есть дешевые LLM
До сих пор для таких задач часто брали небольшую модель вроде Haiku. Но это костыль: модель этого класса все равно генерирует ответ токен за токеном, иногда нарушает формат, а на миллионах решений разница в цене становится существенной. Да и старые модели чаще ошибаются, а новые модели — дорогие.

В тесте на 300 письмах Jev и Claude Sonnet почти не отличались по качеству, зато Jev обработал все за 11 секунд и $0,014, Sonnet — за 140 секунд и $1,14.

То есть Jev — в 12 раз быстрее и в 82 раза дешевле (!).

👉 В чем новизна Decision models
Модели, которые принимают решения, были и раньше: спам-фильтры, банковский скоринг, антифрод. Но каждую такую модель нужно было специально обучать под конкретную задачу на большом количестве примеров.

LLM впервые позволили просто написать словами: «Определи, это спам или нет». Но для простого «да/нет» они слишком сложные, медленные и дорогие.

Decision models взяли удобство LLM и скорость старых классификаторов: вы обычным языком описываете, какое решение нужно принять и какие ответы возможны — и модель сразу работает, без отдельного обучения под вашу задачу.

❤️ — если уже знаете, где применить
👍 — если ничего непонятно, но очень интересно)

⚠️ Apple усилит защиту Mac из-за ИИ-агентов

Компания заявила, что с ростом автономности ИИ-агентов всё опаснее становится функция полного доступа к диску.

Сейчас с таким разрешением программы могут добираться до файлов, почты, сообщений и даже истории браузера.

Что изменится:

↖️ https://kod.ru/apple-uzhestochit-full-disk-access