Мамкины GenAI-гуру, кажется, открыли для себя ML)))
Смотрю, как обсуждают Jev. «О боги, модель отдаёт класс, который не надо парсить! Не надо умолять её выдать JSON! Как же такое возможно?!»
Так это возможно уж как минимум пару десятилетий. Softmax по фиксированному списку классов физически не может выдать метку вне списка. Это просто работа классификатора. Любой BERT, логрег поверх эмбеддингов, любой бустинг — все отдают тип без галлюцинаций (не всегда верно, но все же). Мы просто на три года забыли, что AI — это не только чат.
Теперь по делу.
Jev от TypeSafe AI — $40M seed от DCVC по оценке около $200M, основатель Diogo Almeida из OpenAI, соавтор RLHF. Модель не генерирует текст вообще: на вход неструктурированные данные, на выход категория, оценка по шкале или да/нет с вероятностью. Один прямой проход вместо токен-за-токеном, 70–500 мс, $0,042 за миллион входных токенов, выход бесплатный.
Из ноовго здесь - RLCD, Reinforcement Learning for Calibrated Decisions. Вот это реально интересно, но так как математику они не раскрывают (ну или мои агентики не нашли), то проверить как это работает и какие нужны датасеты и какого размера - непонятно.
И еще прикольно, что эталоном в их бенчмарке служат не реальные размеченные данные, а усреднённые предсказания GPT-6 Astra и Fable 5.1. То есть «точность» здесь означает совпадение с ответом большой модели. А значит, если Jev где-то окажется умнее ее, бенчмарк засчитает это как ошибку)
Но тренд правильный: специализированные модели как часть каскада в корпоративном контуре: роутеры, классификаторы, гейты, скоринг релевантности. Чтобы не гонять триллионную модель по каждой задачке и не раздувать бюджет на инференс.
Илья Филиппов
Смотрю, как обсуждают Jev. «О боги, модель отдаёт класс, который не надо парсить! Не надо умолять её выдать JSON! Как же такое возможно?!»
Так это возможно уж как минимум пару десятилетий. Softmax по фиксированному списку классов физически не может выдать метку вне списка. Это просто работа классификатора. Любой BERT, логрег поверх эмбеддингов, любой бустинг — все отдают тип без галлюцинаций (не всегда верно, но все же). Мы просто на три года забыли, что AI — это не только чат.
Теперь по делу.
Jev от TypeSafe AI — $40M seed от DCVC по оценке около $200M, основатель Diogo Almeida из OpenAI, соавтор RLHF. Модель не генерирует текст вообще: на вход неструктурированные данные, на выход категория, оценка по шкале или да/нет с вероятностью. Один прямой проход вместо токен-за-токеном, 70–500 мс, $0,042 за миллион входных токенов, выход бесплатный.
Из ноовго здесь - RLCD, Reinforcement Learning for Calibrated Decisions. Вот это реально интересно, но так как математику они не раскрывают (ну или мои агентики не нашли), то проверить как это работает и какие нужны датасеты и какого размера - непонятно.
И еще прикольно, что эталоном в их бенчмарке служат не реальные размеченные данные, а усреднённые предсказания GPT-6 Astra и Fable 5.1. То есть «точность» здесь означает совпадение с ответом большой модели. А значит, если Jev где-то окажется умнее ее, бенчмарк засчитает это как ошибку)
Но тренд правильный: специализированные модели как часть каскада в корпоративном контуре: роутеры, классификаторы, гейты, скоринг релевантности. Чтобы не гонять триллионную модель по каждой задачке и не раздувать бюджет на инференс.
Илья Филиппов