Инициативность Sonnet 3.7 и MCP
В продолжение предыдущего поста.
Но самое интересное происходит с подключенными MCP и вообще с работой с внешними инструментами.
Вот такие 3 случая были за последние дни:
Случай с Redis MCP
Модель при помощи него ловила багу в работе с системой очередей (BullMQ), которую я использую в одном из проектов.
Написала отдельный скрипт, где создала временную очередь, воркер и слала джобы в эту очередь, а через Redis MCP смотрела, все ли правильно попадает в Redis, сравнивая с логами скрипта, который запускала.
А в какой-то момент столкнулась с тем, что в этом Redis MCP ей не хватило возможностей, и такая - о, у тебя ж redis-cli на машине есть, и переключилась на него :)
Случай с PostgreSQL MCP
Модель дебажила API-запрос, в котором возвращалось не то, что надо.
Для начала она сама получила ответ от API по тому URL, который я ей выдал, а потом полезла в БД и начала данные оттуда с тем, что возвращает API.
И дальше было несколько итерацией переписывания SQL-запросов в приложении, снова обращения к API-endpoint и дальнейшие раскопки в базе.
Случай с Kubernetes Helm Charts
Проблема была в зависающих исходящих http(s)-запросах от моего приложения через прокси, которая была в том же поде.
Модель правила код Helm Charts, запускала деплои, ждала, пока они закончатся - прям вот буквально делала Sleep в Powershell.
Потом читала логи контейнеров, думала, запускала в контейнерах консольные команды, чтобы проверить сетевые соединения, ставила там пакеты для сетевой диагностики и т.п.
То есть модель теперь и девопсам может норм помогать, в отличие от Sonnet 3.5, который в целом чурался прямой работы с OS, да и IaaC-код писал куда хуже.
—
Увы, ни в одном из этих случаев модель не смогла найти окончательное решение, хотя очень старалась :)
Но:
● это по итогу были не джуновские проблемы, скорее уже middle+, на границах между разными системами, да и пару мыслей модель мне все-таки подкинула;
● она сняла с меня рутину по проверке простых, но неработающих подходов;
● размер контекста является большой проблемой - видно, как модель постепенно забывает те неверные решения, которые уже пробовала, и начинает пытаться их снова использовать.
А вообще за этими сессиями дебага реально интересно наблюдать :)
Иногда приходится прерывать модель, чтобы подкинуть ей новую информацию или указать другое направление, в котором нужно копать.
Лимит в 25 запусков тулов на запрос тоже нередко теперь достигается.
И порой это начинает напоминать полноценную работу в паре с неглупым ассистентом, так и до спунинга парного программирования недалеко :)
#ai #development
В продолжение предыдущего поста.
Но самое интересное происходит с подключенными MCP и вообще с работой с внешними инструментами.
Вот такие 3 случая были за последние дни:
Случай с Redis MCP
Модель при помощи него ловила багу в работе с системой очередей (BullMQ), которую я использую в одном из проектов.
Написала отдельный скрипт, где создала временную очередь, воркер и слала джобы в эту очередь, а через Redis MCP смотрела, все ли правильно попадает в Redis, сравнивая с логами скрипта, который запускала.
А в какой-то момент столкнулась с тем, что в этом Redis MCP ей не хватило возможностей, и такая - о, у тебя ж redis-cli на машине есть, и переключилась на него :)
Случай с PostgreSQL MCP
Модель дебажила API-запрос, в котором возвращалось не то, что надо.
Для начала она сама получила ответ от API по тому URL, который я ей выдал, а потом полезла в БД и начала данные оттуда с тем, что возвращает API.
И дальше было несколько итерацией переписывания SQL-запросов в приложении, снова обращения к API-endpoint и дальнейшие раскопки в базе.
Случай с Kubernetes Helm Charts
Проблема была в зависающих исходящих http(s)-запросах от моего приложения через прокси, которая была в том же поде.
Модель правила код Helm Charts, запускала деплои, ждала, пока они закончатся - прям вот буквально делала Sleep в Powershell.
Потом читала логи контейнеров, думала, запускала в контейнерах консольные команды, чтобы проверить сетевые соединения, ставила там пакеты для сетевой диагностики и т.п.
То есть модель теперь и девопсам может норм помогать, в отличие от Sonnet 3.5, который в целом чурался прямой работы с OS, да и IaaC-код писал куда хуже.
—
Увы, ни в одном из этих случаев модель не смогла найти окончательное решение, хотя очень старалась :)
Но:
● это по итогу были не джуновские проблемы, скорее уже middle+, на границах между разными системами, да и пару мыслей модель мне все-таки подкинула;
● она сняла с меня рутину по проверке простых, но неработающих подходов;
● размер контекста является большой проблемой - видно, как модель постепенно забывает те неверные решения, которые уже пробовала, и начинает пытаться их снова использовать.
А вообще за этими сессиями дебага реально интересно наблюдать :)
Иногда приходится прерывать модель, чтобы подкинуть ей новую информацию или указать другое направление, в котором нужно копать.
Лимит в 25 запусков тулов на запрос тоже нередко теперь достигается.
И порой это начинает напоминать полноценную работу в паре с неглупым ассистентом, так и до спунинга парного программирования недалеко :)
#ai #development