Почти невозможно найти рабочие примеры архитектур мультиагентных систем. Обычно, пишут что-то вроде: "ну сделайте ИИ-бухгалтера, ИИ-программиста и объедините их в ИИ-семью". Брр.
Случайно нашел публикацию Anthropic, как они сделали мультиагентую систему, которая делает подробные исследования сложных тем. Устраивайтесь поудобнее, сейчас будет мясо.
Зачем тут мультиагенты?
Например, задача: "найти 100 конкурентов, выписать их выручку и позиционирование" (McKinsey на этом моменте напряглись, их хлеб). Человек пойдет задавать 200 тысяч запросов, переваривать тонну информацию, а потом долго писать отчет. Очень дорогая задача.
Важный аспект этой задачи: она может решаться параллельно. Мы можем разбить сложную тему на подтемы, а дальше агенты исследуют все независимо. Тогда мы не потратим кучу сил на кординацию агентов друг с другом, как я писал в посте.
Дизайн архитектуры
Мы делаем систему с супер простой координацией агентов:
1) Есть агент-лидер, который бьет задачу на части и раздает подзадачи субагентам.
2) Каждый субагент решает свою задачу. Итеративно ходит поиск, анализирует выдачу, делает новый запрос, пока не докопается до истины.
3) После завершения своих задач, субагенты отправляют результаты лиду. Лид всех ждет. Потом, если он считает, что тема разобрана, готовит финальный отчет. Иначе делает новые подзадачи и по новой.
4) Когда отчет готов, отдельный агент расставляет, из какого источника, что было взято.
Оценка качества
Ровно так, как рассказывал старина Сева.
1) LLM-as-a-judge на различные свойства: достоверность ответа, точность цитат полнота, качество источников.
2) LLM-ки ловили не все кейсы, так что частично оценивали людьми.
Коллеги выложили промпты всех 3-х агентов лид, субагент, цитирование.
Очень наглядная статья, просто бери и делай по аналогии.
Изучайте только лучшие практики, делитесь ими в комментариях.
#ai_cases
Случайно нашел публикацию Anthropic, как они сделали мультиагентую систему, которая делает подробные исследования сложных тем. Устраивайтесь поудобнее, сейчас будет мясо.
Зачем тут мультиагенты?
Например, задача: "найти 100 конкурентов, выписать их выручку и позиционирование" (McKinsey на этом моменте напряглись, их хлеб). Человек пойдет задавать 200 тысяч запросов, переваривать тонну информацию, а потом долго писать отчет. Очень дорогая задача.
Важный аспект этой задачи: она может решаться параллельно. Мы можем разбить сложную тему на подтемы, а дальше агенты исследуют все независимо. Тогда мы не потратим кучу сил на кординацию агентов друг с другом, как я писал в посте.
Дизайн архитектуры
Мы делаем систему с супер простой координацией агентов:
1) Есть агент-лидер, который бьет задачу на части и раздает подзадачи субагентам.
2) Каждый субагент решает свою задачу. Итеративно ходит поиск, анализирует выдачу, делает новый запрос, пока не докопается до истины.
3) После завершения своих задач, субагенты отправляют результаты лиду. Лид всех ждет. Потом, если он считает, что тема разобрана, готовит финальный отчет. Иначе делает новые подзадачи и по новой.
4) Когда отчет готов, отдельный агент расставляет, из какого источника, что было взято.
Оценка качества
Ровно так, как рассказывал старина Сева.
1) LLM-as-a-judge на различные свойства: достоверность ответа, точность цитат полнота, качество источников.
2) LLM-ки ловили не все кейсы, так что частично оценивали людьми.
Коллеги выложили промпты всех 3-х агентов лид, субагент, цитирование.
Очень наглядная статья, просто бери и делай по аналогии.
Изучайте только лучшие практики, делитесь ими в комментариях.
#ai_cases