AgenticOps, часть №1 - мотивация
(и КДПВ)
Я давно уже пишу и рассказываю про то, что полноценно AI-driven SDLC невозможно выстроить поверх слабой инфраструктуры и процессов.
Некоторые крайне полезные сценарии применения агентов в принципе не могут быть реализованы, если нет соответствующей инженерной базы, которая, в свою очередь, может потребовать перестройки процессов
(к слову, оно и с людьми так же - плохо устроенная организация устанавливает потолок раскрытия способностей сотрудников, насколько хорошими бы они ни были и как бы ни старались).
Так, в случае с инфраструктурой агенту недостаточно "дать доступ к терминалу" - ему нужны стабильные интерфейсы, обнаруживаемые сервисы, понятные контракты, логи, статусы и прописанные траектории работы.
Попробую рассказать, как решил для себя задачу построения Ops-платформы для своих агентов в пределах homelab.
Надо понимать, что это в основном инфраструктурный слой, но поверх него становится куда проще и надёжнее строить более высокоуровневые агентные сценарии и пайплайны.
Назовём это AgenticOps - ну просто потому, что AgentOps уже зарезервирован под задачи деплоя и сопровождения самих агентов :)
Стандартный дисклеймер: конкретная реализация очень opinionated и заточена под мои задачи, выкладывать код нет смысла, а вот общие принципы я расскажу.
Содержание серии
● мотивация и с чего все началось (этот пост)
● базовая инфраструктура
● собственно AgenticOps-платформа и её возможности
● сценарии работы агентов поверх платформы
● как всё это можно развить дальше
● инсайты и сложившиеся практики и подходы
С чего всё началось
Некоторое время назад критическая масса домашних, пет- и прочих ad hoc-проектов, железа и методов управления этим всем превысила какой-то разумный порог количества и сложности, ну буквально damn-bitch-you-live-like-this.jpg.
Да, новые проекты строились уже по-правильному, а вот старые несли наследие многих исторических и эволюционных решений.
Чтобы была примерно понятна глубина этого падения, вот несколько археологических находок:
● рабочая инфра и собственные файнтюны поверх Llama2-based файнтюнов Hermes поверх квантизаций от легендарного TheBloke 🫡
Эх, а когда-то они меня грели долгими зимними вечерами :)
● старая и страшная oobabooga с не менее страшными кастомными gradio-приложениями сбоку
● всё ещё живые пайплайны для создания лор Stable Diffusion + ComfyUI
● торчащий наружу JupyterHub с какими-то древними соревами и кернелами с каггла (как молоды мы были!)
● гордая и независимая от кластера k3s-нода, которая больше года прожила, не общаясь с control plane
И всё это на нескольких физических машинах разных поколений, разных конфигураций, в разных местах, и с россыпью разнообразных GPU-шек.
Но больше всего меня напрягало то, что не всё было зафиксировано в IaC/CaC, было трудно обнаружимо и не было легко доступно для управления программно.
Я-то ладно, но когда агенты путаются и не могут куда-то подключиться - это уж прям совсем ни в какие ворота в наше время.
В общем, так дальше жить было нельзя и, благо, что Codex довольно неплохо уже способен DevOps'ить, я решил, что время пришло - пора строить нормальный AgenticOps :)
(Картинка к посту обзорная, для демонстрации общего принципа, а детали будут дальше)
#ai #agentic_ops #devops
(и КДПВ)
Я давно уже пишу и рассказываю про то, что полноценно AI-driven SDLC невозможно выстроить поверх слабой инфраструктуры и процессов.
Некоторые крайне полезные сценарии применения агентов в принципе не могут быть реализованы, если нет соответствующей инженерной базы, которая, в свою очередь, может потребовать перестройки процессов
(к слову, оно и с людьми так же - плохо устроенная организация устанавливает потолок раскрытия способностей сотрудников, насколько хорошими бы они ни были и как бы ни старались).
Так, в случае с инфраструктурой агенту недостаточно "дать доступ к терминалу" - ему нужны стабильные интерфейсы, обнаруживаемые сервисы, понятные контракты, логи, статусы и прописанные траектории работы.
Попробую рассказать, как решил для себя задачу построения Ops-платформы для своих агентов в пределах homelab.
Надо понимать, что это в основном инфраструктурный слой, но поверх него становится куда проще и надёжнее строить более высокоуровневые агентные сценарии и пайплайны.
Назовём это AgenticOps - ну просто потому, что AgentOps уже зарезервирован под задачи деплоя и сопровождения самих агентов :)
Стандартный дисклеймер: конкретная реализация очень opinionated и заточена под мои задачи, выкладывать код нет смысла, а вот общие принципы я расскажу.
Содержание серии
● мотивация и с чего все началось (этот пост)
● базовая инфраструктура
● собственно AgenticOps-платформа и её возможности
● сценарии работы агентов поверх платформы
● как всё это можно развить дальше
● инсайты и сложившиеся практики и подходы
С чего всё началось
Некоторое время назад критическая масса домашних, пет- и прочих ad hoc-проектов, железа и методов управления этим всем превысила какой-то разумный порог количества и сложности, ну буквально damn-bitch-you-live-like-this.jpg.
Да, новые проекты строились уже по-правильному, а вот старые несли наследие многих исторических и эволюционных решений.
Чтобы была примерно понятна глубина этого падения, вот несколько археологических находок:
● рабочая инфра и собственные файнтюны поверх Llama2-based файнтюнов Hermes поверх квантизаций от легендарного TheBloke 🫡
Эх, а когда-то они меня грели долгими зимними вечерами :)
● старая и страшная oobabooga с не менее страшными кастомными gradio-приложениями сбоку
● всё ещё живые пайплайны для создания лор Stable Diffusion + ComfyUI
● торчащий наружу JupyterHub с какими-то древними соревами и кернелами с каггла (как молоды мы были!)
● гордая и независимая от кластера k3s-нода, которая больше года прожила, не общаясь с control plane
И всё это на нескольких физических машинах разных поколений, разных конфигураций, в разных местах, и с россыпью разнообразных GPU-шек.
Но больше всего меня напрягало то, что не всё было зафиксировано в IaC/CaC, было трудно обнаружимо и не было легко доступно для управления программно.
Я-то ладно, но когда агенты путаются и не могут куда-то подключиться - это уж прям совсем ни в какие ворота в наше время.
В общем, так дальше жить было нельзя и, благо, что Codex довольно неплохо уже способен DevOps'ить, я решил, что время пришло - пора строить нормальный AgenticOps :)
(Картинка к посту обзорная, для демонстрации общего принципа, а детали будут дальше)
#ai #agentic_ops #devops