2 лучших скилла для проектирования агентов и инфраструктуры ИИ

Так совпало, что 2 самых крутых (причем в открытом доступе) книги по агентам и по инфре для нейронок - написал один и тот же человек (совместно с сообществом) и этот человек - Ли Боцзе (Bojie Li). То ли гений, то ли вундеркинд, его чуть ли не со школьной парты забрали в Huawei и сейчас его штурмуют офферами все крупнейшие компании.

1 книга (кстати, в прошлом посте тоже она была)
AI Agents in Depth: Design Principles and Engineering Practice
https://github.com/bojieli/ai-agent-book/

2 книга
AI Infra in Depth: Quantitative Analysis and System Design
https://github.com/bojieli/ai-infra-book

Эти книги оказались настолько хороши, что мимо пройти было просто нельзя, но и читать целиком столько материала возможности нет 😄 да и зачем, когда эту часть в современных реалиях лучше делегировать агенту.

А что мы делаем с подобными ценными знаниями? Конечно пакуем в Skills. Без актуальных знаний что проектирование инфры, что создание агентов - это буквально одни из слабых сторон текущих моделей, в весах у них либо поверхностная информация, либо полное отсутствие понимания современных подходов.

Итак, первый скилл "Developing AI Agents"
https://github.com/ilkruglov/developing-ai-agents-skill

Плагин для Claude Code и Codex с одним скиллом, который помогает проектировать, чинить и оценивать AI-агентов. Скилл опирается на книгу Bojie Li «AI-агенты изнутри: принципы проектирования и инженерная практика» (вторая редакция) — её русский текст входит в плагин.

Скилл пригодится, если вы:

- решаете, нужен ли здесь агент или хватит одного вызова модели либо обычного workflow;
- проектируете агента и хотите заранее понять, где он сломается и как это проверить;
- разбираете, почему агент зацикливается, теряет контекст или повторяет вызовы инструментов;
- выбираете между одним агентом и несколькими;
- хотите проверить, улучшили ли результат новый промпт, модель или инструмент.

Для обычного приложения без агентного цикла он не нужен.

Теперь это мой дефолтный скилл при разработке агентов, запустится сам, когда это будет необходимо.

На 32 задачах по проектированию, разбору сбоев, оценке и заполнению документов ответы со скиллом выполнили 96 % критериев против 84 % у той же модели без скилла. В 13 задачах ответ со скиллом набрал больше критериев, в 19 — столько же, меньше — ни в одной. Без скилла модель пропускала, например, проверку фактического состояния после таймаута и сравнение с одиночным агентом при равном бюджете.

Второй скилл "Designing AI Infra"
https://github.com/ilkruglov/designing-ai-infra-skill

Скилл пригодится, если нужно:

- посчитать, сколько GPU нужно под модель, нагрузку и требования к задержке;
- понять, почему время до первого токена или между токенами хуже ожидаемого;
- сравнить модели по памяти и цене: варианты внимания (GQA, MLA), модели с экспертами (MoE);
- спроектировать распределённый инференс или кластер для обучения;
- выбрать ускорители, топологию и сеть;
- оценить стоимость токена и задачи агента — на своих GPU или через API;
- спланировать пул ресурсов под агентов и RL;
- решить, где запускать модель: на устройстве, на периферии или в облаке.

Для сети, базы данных или веб-приложения без моделей он не нужен.

Кстати, паковать такое количество информации в рамках скилла - та еще задачка, это не выжимка из книги, там всё интереснее и красивее, чем может показаться на первый взгляд, советую ознакомиться с методикой разработки подобных скиллов.

Автор годноты, эксперт в мире ИИ и мой коллега на работе: @ilya_kruglov