Про MLOps и митап в Питере
Вчера был в Питере - сходил на митап, в ИТМО. Тема — MLOps с красивым названием «Сознание внутри контура».
Шёл с простым интересом. Ищу экспертов в MLSecOps, потому что присматриваюсь к этому направлению как к возможному чтобы сделать в нем продукт.
Первое, что неожиданно зашло, — само пространство ИТМО. Интерьер, свет, дизайн. Не «вуз с кафедрами», а ощущение, что ты попал в офис какой-нибудь бодрой IT-компании, с переговорками, зонами отдых и люди обсуждают не зачёты, а релизы. Я фотки приложил — реально приятно.
Теперь к сути. И если очень коротко, MLOps — это DevOps для ML.
Задачи там такие:
- Сокращение тайм ту маркет моделей в продакшене
- Экономия железо (видеокарты нынче как крыло от самолёта),
- Создавать понятный все ML-щикам процесс CI/CD
Меня особенно зацепила тема конфликта ML-щиков и безопасников. Прямая цитата со сцены: «Если безопасник пришёл к ML Ops — его уже нет. Он убежал».
Почему? Потому что ML-команды хотят доступ ко всем данным и желательно ещё root-права для своих агентов и LLM. Согласись, для безопасника это звучит небезопасно сразу.
Самая банальная и при этом реальная боль — prompt-инъекции. Был даже кейс, где банковский бот желтого банка советовал пользователю… отрезать пальцы. Не из злобы. Просто «додумал» ответ, когда не хватило данных. Чёрный юмор, но в проде от такого не смешно.
Отдельно говорили про open source. Он есть, он мощный, но часто:
-глючит,
-требует перестроить процессы под себя,
-и легко утонуть в бесконечном «допилим ещё чуть-чуть».
Мой главный вывод простой: направление перспективное. Буду копать дальше.
Вчера был в Питере - сходил на митап, в ИТМО. Тема — MLOps с красивым названием «Сознание внутри контура».
Шёл с простым интересом. Ищу экспертов в MLSecOps, потому что присматриваюсь к этому направлению как к возможному чтобы сделать в нем продукт.
Первое, что неожиданно зашло, — само пространство ИТМО. Интерьер, свет, дизайн. Не «вуз с кафедрами», а ощущение, что ты попал в офис какой-нибудь бодрой IT-компании, с переговорками, зонами отдых и люди обсуждают не зачёты, а релизы. Я фотки приложил — реально приятно.
Теперь к сути. И если очень коротко, MLOps — это DevOps для ML.
Задачи там такие:
- Сокращение тайм ту маркет моделей в продакшене
- Экономия железо (видеокарты нынче как крыло от самолёта),
- Создавать понятный все ML-щикам процесс CI/CD
Меня особенно зацепила тема конфликта ML-щиков и безопасников. Прямая цитата со сцены: «Если безопасник пришёл к ML Ops — его уже нет. Он убежал».
Почему? Потому что ML-команды хотят доступ ко всем данным и желательно ещё root-права для своих агентов и LLM. Согласись, для безопасника это звучит небезопасно сразу.
Самая банальная и при этом реальная боль — prompt-инъекции. Был даже кейс, где банковский бот желтого банка советовал пользователю… отрезать пальцы. Не из злобы. Просто «додумал» ответ, когда не хватило данных. Чёрный юмор, но в проде от такого не смешно.
Отдельно говорили про open source. Он есть, он мощный, но часто:
-глючит,
-требует перестроить процессы под себя,
-и легко утонуть в бесконечном «допилим ещё чуть-чуть».
Мой главный вывод простой: направление перспективное. Буду копать дальше.