Один в поле воин или когда "команда агентов" делает только хуже

К какому совету прислушаться: "ставь роутер", "запускай субагентов", "сильную модель - архитектором, дешёвую - исполнителем", "параллель"?

На практике часто, пока над проектом работает одна сильная модель, всё движется более-менее, подключаешь команду - падает качество, время уходит на передачу контекста и согласование решений

Исследование на эту тему в Nature Machine Intelligence приходит к закономерному выводу:
Выбирать схему нужно основываясь на структуре задачи

- Независимые направления хорошо отдавать параллельным субагентам
- Связанную цепочку действий лучше вести одному исполнителю
- Чем сильнее одиночный агент, тем меньше дополнительной пользы приносит команда
- Сильный оркестратор не всегда компенсирует слабое исполнение
- Новые связи между агентами нужны, только когда понятно, какую ошибку они должны предотвращать

теперь по порядку...
Сравнивали схемы работы:

▫️ Независимые агенты - решают задачу параллельно, ответы объединяются в конце
▫️ Оркестратор с исполнителями - главный агент делит работу и собирает итог
▫️ Децентрализованная дискуссия - равноправные агенты обсуждают решение и голосуют
▫️ Смешанная схема - есть оркестратор и прямое общение между исполнителями

Все четыре схемы сравнили с одиночным агентом: девять моделей семейств GPT, Gemini и Claude, шесть типов задач от веб-поиска и финансового анализа до кода и последовательного планирования

*Всего авторы проверили 260 сочетаний модели, задачи и устройства команды. Запросы, инструменты и предел вычислительного бюджета уравняли.

📈Результат:

В финансовом анализе команда с оркестратором дала относительный прирост 80,8% (одиночный агент: 34,9% успешных решений, централизованная команда с оркестратором: 63,1%)

В последовательном планировании независимые агенты, напротив, обрушили результат на 71% (одиночный агент: 56,8% успешных решений; независимые агенты: 17,0%)

*Если объединить все задачи и схемы, средний эффект от добавления агентов составил 0%. Улучшения на одних задачах полностью погасили провалы на других


❕Сильный оркестратор не спас слабое исполнение

На BrowseComp-Plus смешанные команды с дорогим оркестратором и дешёвыми исполнителями уступили однородной сильной команде в среднем на 12,6 процентного пункта. Сравнение не идеально, но вывод полезный - хороший план не компенсирует слабый поиск и проверку фактов

Cognition (Devin) увидела похожее в программировании: слабый исполнитель не всегда понимал, когда обращаться к сильному советнику и мог неверно применить его ответ. Заметная польза появилась, когда обе модели были сильными и дополняли друг друга

Какая схема лучше подходит для разных задач

❕Поиск по независимым направлениям = параллельные субагенты

Финансовый анализ тому пример. Один агент изучает отчётность, другой - новости, третий - положение компании на рынке. Когда части независимы, а итог можно проверить и собрать, параллельный запуск имеет смысл

❕Последовательное планирование = один сильный исполнитель

Когда каждый шаг зависит от предыдущего, команда порождает дополнительную работу: синхронизацию состояния. Похожий риск возникает в большом программном проекте: решения о структуре, зависимостях и обработке особых случаев живут в контексте агента и теряются при передаче работы.

❕Проверка результата = отдельный проверяющий

Централизованная проверка лучше сдерживает распространение ошибок. Cognition получила хороший результат с проверяющим, который открывал готовое изменение с чистым контекстом: в среднем он находил две ошибки, около 58% из них были серьёзными

———