Агент Ануфрий v.1.0.0
Последний апдейт конструктора для создания собственных ассистентов на Python включил в себя оптимизацию токенов и скорости. Агент стал в 3 раза экономичнее.
Добавлена ленивая загрузка инструментов.
Вместо отправки всех 24 встроенных инструментов сразу, агент получает 6 базовых, включая tool_use, через который доступны остальные 20.
Инструменты разбиты на категории.
Каждая категория — одно определение в системной промпте, вместо отдельной схемы для каждого действия.
Системный промпт стал компактнее в 3 раза.
Кэширование cистемного промпта и определния инструментов в OpenAI/OpenRouter (90% скидка):
- добавлены заголовки для идентификации проекта в OpenRouter
- в OpenAI кэширование работает автоматически за счет стабильного системного промпта
Добавлено клиентское кэширование для локальных LLM (экономим немного времени CPU на пересоздании промпта).
Добавлено логирование токенов на каждой итерации для наглядности.
Результат оптимизации: экономия около 75% токенов на каждом запросе. Работать с API стало значительно дешевле, а на локальных LLM заметно комфортнее.
При этом архитектура проекта сохранила свою простоту и читаемость.
Репозиторий: github/AgentAnufry
Последний апдейт конструктора для создания собственных ассистентов на Python включил в себя оптимизацию токенов и скорости. Агент стал в 3 раза экономичнее.
Добавлена ленивая загрузка инструментов.
Вместо отправки всех 24 встроенных инструментов сразу, агент получает 6 базовых, включая tool_use, через который доступны остальные 20.
Инструменты разбиты на категории.
Каждая категория — одно определение в системной промпте, вместо отдельной схемы для каждого действия.
Системный промпт стал компактнее в 3 раза.
Кэширование cистемного промпта и определния инструментов в OpenAI/OpenRouter (90% скидка):
- добавлены заголовки для идентификации проекта в OpenRouter
- в OpenAI кэширование работает автоматически за счет стабильного системного промпта
Добавлено клиентское кэширование для локальных LLM (экономим немного времени CPU на пересоздании промпта).
Добавлено логирование токенов на каждой итерации для наглядности.
Результат оптимизации: экономия около 75% токенов на каждом запросе. Работать с API стало значительно дешевле, а на локальных LLM заметно комфортнее.
При этом архитектура проекта сохранила свою простоту и читаемость.
Репозиторий: github/AgentAnufry