Из каждого утюга на этой неделе - Jev от TypeSafe. Стартап вышел из тени 15 сентября, 40 миллионов посевных, основатель Диого Алмейда - один из авторов RLHF и InstructGPT в OpenAI. Заголовки: "в 200 раз быстрее, в 400 раз дешевле, не галлюцинирует". Ну, снимаем розовые очки.
Смотри, что там на самом деле. Jev - не чат-бот и не кодер. Он вообще не пишет текст. Ты кидаешь ему кусок данных и список вопросов трёх типов: да/нет, выбери из списка, поставь на шкалу. Он отвечает вероятностями. Всё. По сути умный if. Стоит 0,042 доллара за миллион входных токенов, выход бесплатный, ответ за 100-500 миллисекунд.
Чем это отличается от классификатора на sklearn? Тот надо учить на размеченных данных под фиксированный набор классов. Jev классы описываешь словами прямо в запросе, хоть каждый раз новые. Zero-shot классификация на HuggingFace умела это ещё в 2020-м, тут просто модель больше и вероятности откалиброваны.
"Не галлюцинирует" - правда, но с подвохом. Он не может выдать вариант, которого нет в твоём списке, так что тип ответа всегда корректный. А вот сам ответ - нет. Он спокойно отправит тикет не в тот отдел, просто сделает это красиво и с confidence 0.84. На собственном бенчмарке TypeSafe точность около 68%, уровень средних LLM. То есть платишь в сотни раз меньше за то, что ошибается примерно как GPT-5.6 Terra.
"В 400 раз дешевле" тоже с оговоркой. Это цифра из их же замеров, и они сами называют её верхним потолком. А если ты это решение принимал регуляркой за ноль рублей, Jev тебе ничего не сэкономит. Он добавит вызов, который умеет ошибаться.
Чего он не умеет совсем: считать, сравнивать даты, читать hex-цвета, понимать двойные отрицания. Всё это в код. И его можно уговорить текстом внутри данных, они честно пишут, что с prompt injection пока никак.
Из смешного: за неделю уже появились опенсорсные клоны, SemIf и Kev, гоняют на RTX 3090. Только копируют они интерфейс, а не модель.
Где реально полезно: разметка данных (1018 статей по 24 темам за 8 центов), роутинг тикетов, проверка команды перед rm -rf в агенте. Кстати, последнее я бы у себя попробовал. Патрик регулярно тянется к чему-то деструктивному.
———
Это не новый ИИ. Это дешёвый быстрый классификатор с хорошим маркетологом. Что, в общем-то, тоже неплохо.
#ITЕгерь
Смотри, что там на самом деле. Jev - не чат-бот и не кодер. Он вообще не пишет текст. Ты кидаешь ему кусок данных и список вопросов трёх типов: да/нет, выбери из списка, поставь на шкалу. Он отвечает вероятностями. Всё. По сути умный if. Стоит 0,042 доллара за миллион входных токенов, выход бесплатный, ответ за 100-500 миллисекунд.
Чем это отличается от классификатора на sklearn? Тот надо учить на размеченных данных под фиксированный набор классов. Jev классы описываешь словами прямо в запросе, хоть каждый раз новые. Zero-shot классификация на HuggingFace умела это ещё в 2020-м, тут просто модель больше и вероятности откалиброваны.
"Не галлюцинирует" - правда, но с подвохом. Он не может выдать вариант, которого нет в твоём списке, так что тип ответа всегда корректный. А вот сам ответ - нет. Он спокойно отправит тикет не в тот отдел, просто сделает это красиво и с confidence 0.84. На собственном бенчмарке TypeSafe точность около 68%, уровень средних LLM. То есть платишь в сотни раз меньше за то, что ошибается примерно как GPT-5.6 Terra.
"В 400 раз дешевле" тоже с оговоркой. Это цифра из их же замеров, и они сами называют её верхним потолком. А если ты это решение принимал регуляркой за ноль рублей, Jev тебе ничего не сэкономит. Он добавит вызов, который умеет ошибаться.
Чего он не умеет совсем: считать, сравнивать даты, читать hex-цвета, понимать двойные отрицания. Всё это в код. И его можно уговорить текстом внутри данных, они честно пишут, что с prompt injection пока никак.
Из смешного: за неделю уже появились опенсорсные клоны, SemIf и Kev, гоняют на RTX 3090. Только копируют они интерфейс, а не модель.
Где реально полезно: разметка данных (1018 статей по 24 темам за 8 центов), роутинг тикетов, проверка команды перед rm -rf в агенте. Кстати, последнее я бы у себя попробовал. Патрик регулярно тянется к чему-то деструктивному.
———
Это не новый ИИ. Это дешёвый быстрый классификатор с хорошим маркетологом. Что, в общем-то, тоже неплохо.
#ITЕгерь