Вчера приключился первый инцидент на сервере ИИ-ассистентов
Каждый день я отслеживаю потребляемые ресурсы, периодически перезагружаю сервер. Но до сих пор пристально смотрел на ОЗУ и добавлял при необходимости - на нижнем графике изменение RAM за июнь
Но тут неожиданно порвалось в другом месте - в физической памяти.
Дело в том, что на текущий момент 175 пользователей запустили 87 AI-ассистентов (динамика на верхнем графике) - это именно активные работающие сейчас запуски.
Каждый ассистент - это отдельный контейнер докера, который генерит кучу логов. Ну и вот эти логи привели к тому, что место на ВМ просто закончилось.
И конечно, все это обнаружилось в субботу вечером прямо во время семейного ужина. Пришлось экстренно идти расширять место под ассистентов и устранять последствия.
Вспомнились даже факапы в бытность работы в Яндексе. (Особенно, если кто-нибудь нарушит святое правило не катить релизы в пятницу вечером)
Сейчас все работает штатно. Хотя впереди еще оптимизация ротации логов, чтобы избежать повторения.
Глядя на график роста запусков, ресурсов и расход ИИ-токенов понимаю, что пора бы уже выделить неделю и подключить платные тарифы 🤔
А глядя на произошедшее думаю, хорошо, что этих тарифов еще не было... С другой стороны, не так давно читал, что подобные события и являются признаками роста.
Напомню, речь про этот сервис, который запускал на Радаре - https://bot.qubs.dev
Тем временем, основная работа сейчас у меня - это разработка платформы-конструктора автоматизаций qubs.dev. Там двигаюсь по плану, который показывал выше в канале.
Каждый день я отслеживаю потребляемые ресурсы, периодически перезагружаю сервер. Но до сих пор пристально смотрел на ОЗУ и добавлял при необходимости - на нижнем графике изменение RAM за июнь
Но тут неожиданно порвалось в другом месте - в физической памяти.
Дело в том, что на текущий момент 175 пользователей запустили 87 AI-ассистентов (динамика на верхнем графике) - это именно активные работающие сейчас запуски.
Каждый ассистент - это отдельный контейнер докера, который генерит кучу логов. Ну и вот эти логи привели к тому, что место на ВМ просто закончилось.
И конечно, все это обнаружилось в субботу вечером прямо во время семейного ужина. Пришлось экстренно идти расширять место под ассистентов и устранять последствия.
Вспомнились даже факапы в бытность работы в Яндексе. (Особенно, если кто-нибудь нарушит святое правило не катить релизы в пятницу вечером)
Сейчас все работает штатно. Хотя впереди еще оптимизация ротации логов, чтобы избежать повторения.
Глядя на график роста запусков, ресурсов и расход ИИ-токенов понимаю, что пора бы уже выделить неделю и подключить платные тарифы 🤔
А глядя на произошедшее думаю, хорошо, что этих тарифов еще не было... С другой стороны, не так давно читал, что подобные события и являются признаками роста.
Напомню, речь про этот сервис, который запускал на Радаре - https://bot.qubs.dev
Тем временем, основная работа сейчас у меня - это разработка платформы-конструктора автоматизаций qubs.dev. Там двигаюсь по плану, который показывал выше в канале.