ВАМ LLM ИЛИ ЧТО-НИБУДЬ ПОМОЩНЕЕ? 🔫
Команда ML-инженера Sber AI Артёма Снегирева выпустила FRIDA-Decisions — быстрый энкодер, который берёт на себя простые решения, пока LLM занимается сложными. Энкодер может использоваться для роутинга, guardrails, классификации и отбора документов для RAG.
Вот всё, что нужно знать о FRIDA:
Модель не прогоняет текст заново для каждого варианта, а читает его один раз, поэтому разбирает каталог из 243 интентов за 0,44 вместо 4,65 секунды. На бенчмарке razvilka из 735 задач на русском FRIDA-Decisions набрала 0,893 — почти на уровне коммерческого API TypeSafe Jev (0,897).
Веса, код и демодоступны открыты по лицензии MIT:
✔️ Подписывайтесь на Sber AI в МАКС
Команда ML-инженера Sber AI Артёма Снегирева выпустила FRIDA-Decisions — быстрый энкодер, который берёт на себя простые решения, пока LLM занимается сложными. Энкодер может использоваться для роутинга, guardrails, классификации и отбора документов для RAG.
Вот всё, что нужно знать о FRIDA:
🤩 примерно в 10 раз быстрее API по независимым замерам — 28–34 мс на запрос на RTX 5060 Ti
🤩 просит всего 1,8 ГБ видеопамяти
🤩 запускается на CPU через int8 ONNX
🤩 новая задача не требует дообучения — достаточно передать новые варианты в JSON
Модель не прогоняет текст заново для каждого варианта, а читает его один раз, поэтому разбирает каталог из 243 интентов за 0,44 вместо 4,65 секунды. На бенчмарке razvilka из 735 задач на русском FRIDA-Decisions набрала 0,893 — почти на уровне коммерческого API TypeSafe Jev (0,897).
Веса, код и демодоступны открыты по лицензии MIT:
🤖 Демо
🤖 Модель
🤖 Бенчмарк
🤖 Код
🤖 Примеры
✔️ Подписывайтесь на Sber AI в МАКС