🔥 Как ИИ-агент работает под капотом: новое видео с Марком Кудрицким уже на канале
Делимся записью открытого практикума. На нём подняли автономного агента Hermes, подключили LangFuse и посмотрели, что на самом деле уходит в LLM на каждый запрос. Краткий конспект👇🏼
🟢Агент = обёртка над моделью
LLM сама ничего не запускает на компьютере. Она возвращает JSON с вызовом инструмента. Локальный Python-код (harness) разбирает этот JSON, выполняет команду или читает файл и отправляет результат обратно модели. Так повторяется, пока модели не хватит данных для ответа.
🟢15 000 символов на «Кто ты?»
Трейсы в LangFuse показали, что даже на простой вопрос агент отправляет огромный системный промпт. Он собирается из soul.md (характер и правила агента), memories/user.md (профиль пользователя) и списка скиллов. Поэтому частые мелкие запросы к коммерческому API стоят дороже, чем кажется.
🟢Скиллы и память
Когда Hermes решает сложную задачу, он может сам написать скилл: инструкцию в Markdown с YAML-преамбулой. В промпт попадают только названия и описания скиллов, полный текст модель подгружает по запросу. Диалоги хранятся в SQLite (state.db), заметки в папке memories/.
🟢Cron без лишних токенов
Gateway раз в минуту проверяет cron-jobs.json. Задача может собрать данные скриптом и отдать их LLM, чтобы та оформила отчёт в Telegram. Если модель там не нужна, хватит обычного Bash-скрипта.
🟢Безопасность
Агент в песочнице без сети и файлов безопасен, но бесполезен. Агент с Bash, сетью и sudo полезен, но уязвим к prompt injection и может снести базу. Что можно сделать уже сейчас: завести агенту отдельную сервисную учётку с урезанными правами, как новому сотруднику.
Основные элементы стенда
🟢hermes setup: мастер настройки провайдера, модели, инструментов и Telegram-бота
🟢ghermes dashboard --host 0.0.0.0: веб-интерфейс для управления конфигом
🟢docker-compose up -d: локальный LangFuse, в который пишутся трейсы всех запросов к LLM
🟢~/.hermes: изолированный Python 3.11, venv и Node-модули, около 1 ГБ
🟢soul.md и memories/: что агент знает о себе и о пользователе
Больше подробностей про трейсы, цикл вызова инструментов и защиту агентов в полной записи вебинара! 👇🏼
↘️ Смотреть в YouTube
↘️ Смотреть в ВК
Если хочешь собрать своего агента и встроить LLM в рабочие инструменты, начни бесплатно с демодоступа к практикуму:
↘️ Начать бесплатно практикум «Прикладной LLM для инженеров»
Делимся записью открытого практикума. На нём подняли автономного агента Hermes, подключили LangFuse и посмотрели, что на самом деле уходит в LLM на каждый запрос. Краткий конспект👇🏼
🟢Агент = обёртка над моделью
LLM сама ничего не запускает на компьютере. Она возвращает JSON с вызовом инструмента. Локальный Python-код (harness) разбирает этот JSON, выполняет команду или читает файл и отправляет результат обратно модели. Так повторяется, пока модели не хватит данных для ответа.
🟢15 000 символов на «Кто ты?»
Трейсы в LangFuse показали, что даже на простой вопрос агент отправляет огромный системный промпт. Он собирается из soul.md (характер и правила агента), memories/user.md (профиль пользователя) и списка скиллов. Поэтому частые мелкие запросы к коммерческому API стоят дороже, чем кажется.
🟢Скиллы и память
Когда Hermes решает сложную задачу, он может сам написать скилл: инструкцию в Markdown с YAML-преамбулой. В промпт попадают только названия и описания скиллов, полный текст модель подгружает по запросу. Диалоги хранятся в SQLite (state.db), заметки в папке memories/.
🟢Cron без лишних токенов
Gateway раз в минуту проверяет cron-jobs.json. Задача может собрать данные скриптом и отдать их LLM, чтобы та оформила отчёт в Telegram. Если модель там не нужна, хватит обычного Bash-скрипта.
🟢Безопасность
Агент в песочнице без сети и файлов безопасен, но бесполезен. Агент с Bash, сетью и sudo полезен, но уязвим к prompt injection и может снести базу. Что можно сделать уже сейчас: завести агенту отдельную сервисную учётку с урезанными правами, как новому сотруднику.
Основные элементы стенда
🟢hermes setup: мастер настройки провайдера, модели, инструментов и Telegram-бота
🟢ghermes dashboard --host 0.0.0.0: веб-интерфейс для управления конфигом
🟢docker-compose up -d: локальный LangFuse, в который пишутся трейсы всех запросов к LLM
🟢~/.hermes: изолированный Python 3.11, venv и Node-модули, около 1 ГБ
🟢soul.md и memories/: что агент знает о себе и о пользователе
Больше подробностей про трейсы, цикл вызова инструментов и защиту агентов в полной записи вебинара! 👇🏼
↘️ Смотреть в YouTube
↘️ Смотреть в ВК
Если хочешь собрать своего агента и встроить LLM в рабочие инструменты, начни бесплатно с демодоступа к практикуму:
↘️ Начать бесплатно практикум «Прикладной LLM для инженеров»