Эстонские новостные паблики написали о скором выходе Jev — революционной LLM!
Шутка…
Итак, балуемся с классификатором под названием Jev. Поначалу показалось, что общественность настолько изголодалась по революциям, что новость о его появлении тут же растащили и невероятно раздули без исключения все.
Но оно и хорошо, потому что штука невероятно полезная.
Прагматично про Jev.
1. Это не LLM в классическом понимании. Jev не генерирует произвольный текст, просто выбирает из предложенных вариантов и оценивает их. Авторы называет моделть System One, по аналогии с быстрым, интуитивным мышлением, описанным Канеманом в книге «Думай медленно, решай быстро». Рекомендую прочитать, люблю её.
2. Полная схема сети публично не раскрыта, но уже появились открытые альтернативы: Kev, Laya, Nimble. Насколько они похожи на оригинал — не знаем.
3. В продукте три примитива. Choice: какой из заданных вариантов подходит? Noul: какова вероятность, что конкретное утверждение верно? Score: оценка по заранее описанной шкале.
4. Цены на облачное использование копеечные. По тарифу TypeSafe — $0.042 за 1M входных токенов. Выход вообще не тарифицируется.
5. Объём запроса — 64K tok. Есть ещё лимит: исходные данные + самый длинный вопрос должны поместиться в 32K. Это ограничения TypeSafe. Возможно, у кого-то есть бОльшие лимиты.
6. Подключить можно несколькими вариантами: есть API TypeSafe, OpenRouter, Vercel AI Gateway. Начинать нужно с понятной задачи и своих примеров.
Как применять в проектах:
1. Работа с почтой, обращениями, сообщениями. Определяем спам, тип обращения, срочность, тон и всё остальное из этой серии. После классификации код зовёт человека / запускает подходящий процесс.
2. Фильтрация документов в RAG. Нашли фрагменты, проверили, какие помогают ответить на вопрос.
3. Маршрутизация между моделями. Определяем, «кому» отдать запрос: тупой модели, умной модели или позвать человека.
4. Выбор инструмента или навыка агента. Даём список доступных действий и понятные условия их применения. Jev выбирает подходящее.
5. Проверка результатов другой модели. Есть извлечённое поле, утверждение или цитата отвечает на вопрос, пускаем дальше. Если проверка не пройдена, отправляем на повторную обработку или человеку.
Из самого ценного:
1. Работает быстро. Важно там, где «небольшое» решение нужно принимать после каждого шага агента.
2. Несколько независимых вопросов можно задать за один запрос. Сразу определить тему письма, срочность, наличие запроса. Исходные данные общие, ответы вычисляются параллельно.
3. Можно менять категории и критерии прямо в запросе. Для каждого нового набора вариантов не нужно отдельно специально дообучать модель.
4. Вместе с решением получаем вероятности. Дальше сами определяем, при каких значениях продолжать, когда нужна проверка.
5. Результаты Jev сразу удобно использовать в коде. Заранее известно, какие варианты вообще допустимы и под них можно написать обычные проверки.
При этом, сложные процессы никто не запрещал. Циклы, каскады и переход к более сильной модели реализуются вокруг Jev обычным кодом. У TypeSafe даже есть пример на этот счёт: небольшая LLMка извлекает данные, Jev проверяет поля, подозрительное уходит на обработку умной модели.
Но сильнее всего меня будоражат кейсы, над которыми я работаю прямо сейчас:
1. Появились проекты, которые позволяют очень быстро управлять браузером на базе концепций, заложенных в Jev. Это позволит перенести тестирование интерфейсов из медленных браузерных автоматизаций в лайтнинг-фэст.
2. Распределение задач личным ассистентом между субагентами и различными агентными средами. Ставим фильтр на вход мозгового потока человека, классифицируем, отправляем задачу в нужную дыру. Например: «закажи сливки и кофе во ВкусВилл» → A, «исследуй концепцию каскадной памяти» → B, C.
3. Самое интересное сейчас — это работа с видео. У меня есть сломанный гироскутер, который почему-то не заряжается. Я хочу при помощи классификации видеопотока с Raspberry на Jev и мозгами от GPT-6 его починить, не обладая специальными навыками схемотехники.
Такие дела. Хорошей среды, @aiwizards
Шутка…
Итак, балуемся с классификатором под названием Jev. Поначалу показалось, что общественность настолько изголодалась по революциям, что новость о его появлении тут же растащили и невероятно раздули без исключения все.
Но оно и хорошо, потому что штука невероятно полезная.
Прагматично про Jev.
1. Это не LLM в классическом понимании. Jev не генерирует произвольный текст, просто выбирает из предложенных вариантов и оценивает их. Авторы называет моделть System One, по аналогии с быстрым, интуитивным мышлением, описанным Канеманом в книге «Думай медленно, решай быстро». Рекомендую прочитать, люблю её.
2. Полная схема сети публично не раскрыта, но уже появились открытые альтернативы: Kev, Laya, Nimble. Насколько они похожи на оригинал — не знаем.
3. В продукте три примитива. Choice: какой из заданных вариантов подходит? Noul: какова вероятность, что конкретное утверждение верно? Score: оценка по заранее описанной шкале.
4. Цены на облачное использование копеечные. По тарифу TypeSafe — $0.042 за 1M входных токенов. Выход вообще не тарифицируется.
5. Объём запроса — 64K tok. Есть ещё лимит: исходные данные + самый длинный вопрос должны поместиться в 32K. Это ограничения TypeSafe. Возможно, у кого-то есть бОльшие лимиты.
6. Подключить можно несколькими вариантами: есть API TypeSafe, OpenRouter, Vercel AI Gateway. Начинать нужно с понятной задачи и своих примеров.
Как применять в проектах:
1. Работа с почтой, обращениями, сообщениями. Определяем спам, тип обращения, срочность, тон и всё остальное из этой серии. После классификации код зовёт человека / запускает подходящий процесс.
2. Фильтрация документов в RAG. Нашли фрагменты, проверили, какие помогают ответить на вопрос.
3. Маршрутизация между моделями. Определяем, «кому» отдать запрос: тупой модели, умной модели или позвать человека.
4. Выбор инструмента или навыка агента. Даём список доступных действий и понятные условия их применения. Jev выбирает подходящее.
5. Проверка результатов другой модели. Есть извлечённое поле, утверждение или цитата отвечает на вопрос, пускаем дальше. Если проверка не пройдена, отправляем на повторную обработку или человеку.
Из самого ценного:
1. Работает быстро. Важно там, где «небольшое» решение нужно принимать после каждого шага агента.
2. Несколько независимых вопросов можно задать за один запрос. Сразу определить тему письма, срочность, наличие запроса. Исходные данные общие, ответы вычисляются параллельно.
3. Можно менять категории и критерии прямо в запросе. Для каждого нового набора вариантов не нужно отдельно специально дообучать модель.
4. Вместе с решением получаем вероятности. Дальше сами определяем, при каких значениях продолжать, когда нужна проверка.
5. Результаты Jev сразу удобно использовать в коде. Заранее известно, какие варианты вообще допустимы и под них можно написать обычные проверки.
При этом, сложные процессы никто не запрещал. Циклы, каскады и переход к более сильной модели реализуются вокруг Jev обычным кодом. У TypeSafe даже есть пример на этот счёт: небольшая LLMка извлекает данные, Jev проверяет поля, подозрительное уходит на обработку умной модели.
Но сильнее всего меня будоражат кейсы, над которыми я работаю прямо сейчас:
1. Появились проекты, которые позволяют очень быстро управлять браузером на базе концепций, заложенных в Jev. Это позволит перенести тестирование интерфейсов из медленных браузерных автоматизаций в лайтнинг-фэст.
2. Распределение задач личным ассистентом между субагентами и различными агентными средами. Ставим фильтр на вход мозгового потока человека, классифицируем, отправляем задачу в нужную дыру. Например: «закажи сливки и кофе во ВкусВилл» → A, «исследуй концепцию каскадной памяти» → B, C.
3. Самое интересное сейчас — это работа с видео. У меня есть сломанный гироскутер, который почему-то не заряжается. Я хочу при помощи классификации видеопотока с Raspberry на Jev и мозгами от GPT-6 его починить, не обладая специальными навыками схемотехники.
Такие дела. Хорошей среды, @aiwizards