Когда кончаются силы, можно потратить время и почитать… системные промпты моделей Anthropic. Лежат тут.
Как уже обсуждалось выше, чем «умнее» модель, тем меньше дополнительных инструкций ей нужно, про это в недавнем интервью говорил Борис Чёрный.
Сами ребята из Anthropic публикуют свои системные промпты с 2024 года, я потратил время на их анализ и обнаружились интересные моменты.
1. Промпты эволюционировали от «ты чатбот» к «вот, какой у тебя характер».
2. Потом описание характера сменилось инструкцией по работе внутри продукта. Появились правила «сначала действуй, потом уточняй», поиск инструментов, чтение SKILL.md.
3. Судя по всему, Fable 5 и Mythos 5 используют одну базовую модель, но работают с разными ограничениями. Более того, внешний классификатор может перенаправить запрос пользователя с Fable на Opus :)
4. Системные промпты становятся похожими на журналы когда-то найденных проблем. «Не начинай ответ с Certainly», «не задавай слишком много вопросов», «проверь инструменты, прежде чем говорить, что ничего не можешь».
5. Общая тенденция — упрощение системного промпта и бОльшая его подстройка под неверное поведение прошлого.
К чему это всё… современные мультиагентные системы должны пересматриваться с точки зрения архитектуры и обвязок (в простонародии — harness) минимум раз в полгода.
По совету Anthropic нужно выбрасывать / снижать объём системных промптов и смотреть что это может сломать, попутно «чиня» последствия.
Это означает, что прийти к фиксированной оптимальной конфигурации мультиагентной системы при смене модели нельзя.
Вот серия из «Любовь, смерть и роботы» про избавление от оков харнеса: https://www.youtube.com/watch?v=5B2WBZnwmHM
Как уже обсуждалось выше, чем «умнее» модель, тем меньше дополнительных инструкций ей нужно, про это в недавнем интервью говорил Борис Чёрный.
Сами ребята из Anthropic публикуют свои системные промпты с 2024 года, я потратил время на их анализ и обнаружились интересные моменты.
1. Промпты эволюционировали от «ты чатбот» к «вот, какой у тебя характер».
2. Потом описание характера сменилось инструкцией по работе внутри продукта. Появились правила «сначала действуй, потом уточняй», поиск инструментов, чтение SKILL.md.
3. Судя по всему, Fable 5 и Mythos 5 используют одну базовую модель, но работают с разными ограничениями. Более того, внешний классификатор может перенаправить запрос пользователя с Fable на Opus :)
4. Системные промпты становятся похожими на журналы когда-то найденных проблем. «Не начинай ответ с Certainly», «не задавай слишком много вопросов», «проверь инструменты, прежде чем говорить, что ничего не можешь».
5. Общая тенденция — упрощение системного промпта и бОльшая его подстройка под неверное поведение прошлого.
К чему это всё… современные мультиагентные системы должны пересматриваться с точки зрения архитектуры и обвязок (в простонародии — harness) минимум раз в полгода.
По совету Anthropic нужно выбрасывать / снижать объём системных промптов и смотреть что это может сломать, попутно «чиня» последствия.
Это означает, что прийти к фиксированной оптимальной конфигурации мультиагентной системы при смене модели нельзя.
Вот серия из «Любовь, смерть и роботы» про избавление от оков харнеса: https://www.youtube.com/watch?v=5B2WBZnwmHM