🖥 Holo4: цена в разы ниже, но результат — тоже
H company выпустила Holo4 — две агентные модели для работы с компьютером: 27B (плотная) и 35B-A3B (MoE, с активными частями поменьше). Обе доступны через API вендора, веса моделей лежат на Hugging Face.
В блоге заявлено:
По цифрам самого вендора на тесте OSWorld 2.0 (десктопные многошаговые задачи) картина другая: Holo4 27B набирает 61.7% против 81.8% у Opus 5.5 — отставание в 20 процентных пунктов. Это не «конкурирует», это заметно слабее на самом сложном из тестов.
Ещё показательнее вторая модель: 35B-A3B, у которой формально больше параметров за счёт MoE-архитектуры, выдаёт только 30.9% — вдвое хуже своей же младшей 27B. Больше «мозгов» не помогло.
Дешевизна при этом реальная: модели в разы компактнее закрытых конкурентов, и цена запроса через API вендора действительно ниже. Но экономия здесь — плата за качество на сложных сценариях, а не бесплатный бонус.
Для простых задач — заполнить форму, кликнуть по интерфейсу, вызвать готовый API — разрыв в 20 пунктов может не так критичен. Для полноценной автоматизации десктопных workflow вендор сам показывает, что до топовых закрытых моделей Holo4 не дотягивает почти в 1,5 раза.
Источник
💬 Telegram | 💬 MAX
#разбор #агенты #автоматизация
H company выпустила Holo4 — две агентные модели для работы с компьютером: 27B (плотная) и 35B-A3B (MoE, с активными частями поменьше). Обе доступны через API вендора, веса моделей лежат на Hugging Face.
В блоге заявлено:
Competitive with the frontier, at a fraction of the cost
По цифрам самого вендора на тесте OSWorld 2.0 (десктопные многошаговые задачи) картина другая: Holo4 27B набирает 61.7% против 81.8% у Opus 5.5 — отставание в 20 процентных пунктов. Это не «конкурирует», это заметно слабее на самом сложном из тестов.
Ещё показательнее вторая модель: 35B-A3B, у которой формально больше параметров за счёт MoE-архитектуры, выдаёт только 30.9% — вдвое хуже своей же младшей 27B. Больше «мозгов» не помогло.
Дешевизна при этом реальная: модели в разы компактнее закрытых конкурентов, и цена запроса через API вендора действительно ниже. Но экономия здесь — плата за качество на сложных сценариях, а не бесплатный бонус.
Для простых задач — заполнить форму, кликнуть по интерфейсу, вызвать готовый API — разрыв в 20 пунктов может не так критичен. Для полноценной автоматизации десктопных workflow вендор сам показывает, что до топовых закрытых моделей Holo4 не дотягивает почти в 1,5 раза.
Источник
💬 Telegram | 💬 MAX
#разбор #агенты #автоматизация