(Не)видимая цена интеллекта: почему экономия на LLM убивает ваши агентные системы

Разработчики агентных систем оказались в странной ситуации. Модели становятся дешевле, но задачи решают хуже. Провайдеры соревнуются в снижении цены за токен, а команды радостно переходят на облегчённые версии, экономя на вычислениях. Экономия очевидна — до первого столкновения с реальной задачей.

Только потом выясняется, что агент на дешёвой модели делает в три раза больше вызовов инструментов, чем на дорогой. Он теряет способность планировать, начинает галлюцинировать и ходить по кругу, переспрашивать и исправлять ошибки новыми ошибками. Счёт за токены незаметно растёт, время выполнения задачи увеличивается, а многие начинают нервничать.

Это история не про жадность разработчиков как таковую, а про то, как — и главное, почему так — устроен рынок ИИ, и почему ваша следующая экономия на модели может оказаться самой дорогой инвестицией в жизни проекта.

https://habr.com/ru/companies/bothub/articles/1073292/
https://habr.com/ru/companies/bothub/articles/1073292/
https://habr.com/ru/companies/bothub/articles/1073292/