Похоже зря я критиковал облачные модельки от Сбера, так как после экспериментов с gpt2giga и litellm мне удалось заставить модели GigaChat-2 доступные по API работать в качестве сердца агентной системы.

В качестве harness взял Hermes, так как при всех её "особенностях" в виде экстравагантного UI, странностей в подключения скилов и провайдеров, она настраивается и ощущается в разы приятнее чем OpenClaw и аналоги.

И так, что надо сделать чтобы пощупать флагманские сберовские модельки в режим agentic loop:

1️⃣ регаемся тут https://developers.sber.ru/studio/login (если у вас уже есть сберовская карта, то можно через приложение зайти)

2️⃣ создаём проект, в модалке выбираем GigaChat API

3️⃣ там будет Настроить API, следуем инструкции, сохраняем все полученные ключи, позже пригодятся

4️⃣ теперь запустим апишку gpt2giga, я всё через docker делаю, так что ловите docker-compose.yaml
services:
gpt2giga:
image: ghcr.io/ai-forever/gpt2giga:latest
ports:
- "8091:8091"
environment:
GPT2GIGA_MODE: DEV
GPT2GIGA_HOST: 0.0.0.0
GPT2GIGA_PORT: 8091
GPT2GIGA_ENABLE_API_KEY_AUTH: False
GIGACHAT_CREDENTIALS:
ACCESS_TOKEN:
GIGACHAT_SCOPE: GIGACHAT_API_PERS
GIGACHAT_VERIFY_SSL_CERTS: False
GPT2GIGA_USE_HTTPS: False
GPT2GIGA_PASS_MODEL: True
запускаем через docker-compose up -d, после чего на 8091 становится доступно API с моделями, запросим список доступных моделей командой:
curl http://127.0.0.1:8091/v1/models
если в ответе пачка моделей, включая GigaChat-2, GigaChat-2-Pro, Embeddings и так далее (кстати где Frida и sbert?) то всё сделали правильно.

5️⃣ теперь клонируем исходники Hermes:
git clone https://github.com/NousResearch/hermes-agent.git
и перейдём в корень папки hermes-agent.

6️⃣ придётся чуть прокачать docker-compose.yml, приведём его к следующему виду:
services:
gateway:
build: .
image: hermes-agent
container_name: hermes
restart: unless-stopped
network_mode: host
volumes:
- ~/.hermes:/opt/data
environment:
- HERMES_UID=${HERMES_UID:-10000}
- HERMES_GID=${HERMES_GID:-10000}
- API_SERVER_HOST=${API_SERVER_HOST:-0.0.0.0}
- API_SERVER_KEY=${API_SERVER_KEY}
command:
- "gateway"
- "run"

dashboard:
image: hermes-agent
container_name: hermes-dashboard
restart: unless-stopped
network_mode: host
depends_on:
- gateway
volumes:
- ~/.hermes:/opt/data
environment:
- HERMES_UID=${HERMES_UID:-10000}
- HERMES_GID=${HERMES_GID:-10000}
command:
- "dashboard"
- "--host"
- "0.0.0.0"
- "--no-open"
- "--insecure"
плюс создадим в папке .env файл следующего содержания:
HERMES_UID=1000
HERMES_GID=1000
API_SERVER_HOST=0.0.0.0
API_SERVER_KEY=
запускаем композицию через docker-compose up -d, если всё ок, то в хомяке пользователя появится папка .hermes, она нам и нужна.

7️⃣ теперь надо подправить конфиг, находится он тут: ~/.hermes/config.yaml, вверху, в поле модель заменим блок models, на строки вида:
model:
provider: custom
default: GigaChat-2-Pro
base_url: http://127.0.0.1:8091/v1
api_key: ~
api_mode: chat_completions

Кстати, помимо двушки Pro, есть двушка Max, просто двушка и модели первого поколения.

Настройки системы тут http://127.0.0.1:9119

———

После рестарта при помощи docker compose restart эта конфигурация станет активной и вы сможете работать с Hermes через OpenAI-совместимое API, например:
curl -sS --max-time 120 -N -X POST "http://127.0.0.1:8642/v1/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer " \
-d '{
"model": "hermes-agent",
"messages": [
{"role": "user", "content": "Кто ты?"}
],
"stream": false
}'
А ещё эту апишку можно использовать через Open WebUI, LibreChat или в качестве модели агента OpenCode.

Если у вас возникнут какие-то сложности, то не стесняйтесь задавать вопросы, постараюсь подсказать.