😐 JetBrains продолжают развеивать мифы о популярных скиллах для coding-агентов
Сначала они разобрали Caveman: обещанные 65% экономии токенов превратились в 8.5%, но без экономии $ и изменений в качестве кода.
Потом под удар попал rtk, который сжимает вывод команд вроде git status и pytest. Вместо обещанных 60–90% экономии он не сэкономил ничего: на low reasoning задачи стали на 7.6% дороже, на high разница исчезла. Качество при этом не изменилось.
И вот наконец первый скилл, который хотя бы приблизился к заявлениям создателей, — Ponytail.
Ponytail борется с оверинжинирингом. Перед написанием кода агент проверяет: нужна ли реализация вообще, нет ли решения в проекте, можно ли использовать стандартную библиотеку, возможности платформы или готовую зависимость.
Правда, просто положить SKILL.md в папку недостаточно: Claude Code самостоятельно не активировал его ни разу за десять сессий. Нужен плагин, который автоматически добавляет правила в контекст.
Не обещанные 54%, но первый скилл в серии JetBrains, который реально сократил и код, и расход $ без заметной потери качества.
@ai_for_devs
Сначала они разобрали Caveman: обещанные 65% экономии токенов превратились в 8.5%, но без экономии $ и изменений в качестве кода.
Потом под удар попал rtk, который сжимает вывод команд вроде git status и pytest. Вместо обещанных 60–90% экономии он не сэкономил ничего: на low reasoning задачи стали на 7.6% дороже, на high разница исчезла. Качество при этом не изменилось.
И вот наконец первый скилл, который хотя бы приблизился к заявлениям создателей, — Ponytail.
Ponytail борется с оверинжинирингом. Перед написанием кода агент проверяет: нужна ли реализация вообще, нет ли решения в проекте, можно ли использовать стандартную библиотеку, возможности платформы или готовую зависимость.
JetBrains прогнали 80 парных задач на Claude Sonnet 5. Результаты:
1. Кода стало меньше на 15% вместо обещанных 54%. На крупных задачах экономия доходила до 31%, а на уже компактных решениях почти исчезала.
2. Расходы снизились примерно на 10%, время выполнения на 11%.
3. Качество не изменилось: в 65 задачах результаты совпали, в 6 Ponytail оказался лучше, в 9 — хуже.
Правда, просто положить SKILL.md в папку недостаточно: Claude Code самостоятельно не активировал его ни разу за десять сессий. Нужен плагин, который автоматически добавляет правила в контекст.
Не обещанные 54%, но первый скилл в серии JetBrains, который реально сократил и код, и расход $ без заметной потери качества.
@ai_for_devs