🌟 Liquid AI выпустила компактную MoE-модель для запуска на потребительских устройствах
LFM2.5-8B-A1B - языковая MoE-модель на 8 млрд общих и 1млрд активных параметров, с целевым инференсом на ноутбуках, смартфонах и ризонингом по умолчанию.
Релиз продолжает линейку LFM2 и развивает вышедшую в октябре 2025 года LFM2-8B-A1B. Окно контекста расширено с 32 до 128 тысяч токенов, объём предобучения увеличен с 12 до 38 трлн токенов, а поверх добавлено крупномасштабное RL.
Словарь токенизатора удвоен (с 65,5 до 128 тыс. единиц). Liquid AI говорит, что это повышает эффективность обработки нелатинских письменностей (для русского - примерно на 6%, для тайского и хинди - кратно).
Отдельный акцент Liquid AI делает на скорости и работе с вызовом инструментов.
Согласно проведенным измерениям, на Apple M5 Max модель выдаёт до 253 токенов в секунду, укладываясь в 6 ГБ памяти, и около 30 токенов в секунду на смартфоне.
По бенчмаркам, в тестах на следование инструкциям и в агентных сценариях LFM2.5-8B-A1B сопоставима с заметно более крупными моделями (Gemma-4-26B) при значительно меньшем числе активных параметров.
Заявлена поддержка llama.cpp, MLX, vLLM, SGLang и ONNX Runtime.
📌Лицензирование: LFM Open License
🟡Блогпост
🟡Документация
🟡Веса
🟡Демо
@ai_machinelearning_big_data
#AI #ML #LLM #LFM #LiquidAI
LFM2.5-8B-A1B - языковая MoE-модель на 8 млрд общих и 1млрд активных параметров, с целевым инференсом на ноутбуках, смартфонах и ризонингом по умолчанию.
Релиз продолжает линейку LFM2 и развивает вышедшую в октябре 2025 года LFM2-8B-A1B. Окно контекста расширено с 32 до 128 тысяч токенов, объём предобучения увеличен с 12 до 38 трлн токенов, а поверх добавлено крупномасштабное RL.
Словарь токенизатора удвоен (с 65,5 до 128 тыс. единиц). Liquid AI говорит, что это повышает эффективность обработки нелатинских письменностей (для русского - примерно на 6%, для тайского и хинди - кратно).
Отдельный акцент Liquid AI делает на скорости и работе с вызовом инструментов.
Согласно проведенным измерениям, на Apple M5 Max модель выдаёт до 253 токенов в секунду, укладываясь в 6 ГБ памяти, и около 30 токенов в секунду на смартфоне.
По бенчмаркам, в тестах на следование инструкциям и в агентных сценариях LFM2.5-8B-A1B сопоставима с заметно более крупными моделями (Gemma-4-26B) при значительно меньшем числе активных параметров.
Заявлена поддержка llama.cpp, MLX, vLLM, SGLang и ONNX Runtime.
📌Лицензирование: LFM Open License
🟡Блогпост
🟡Документация
🟡Веса
🟡Демо
@ai_machinelearning_big_data
#AI #ML #LLM #LFM #LiquidAI