Обновление k8s 1.33⇒1.34
Коллеги, всем привет! =)
По старой доброй традиции раз в квартал мы с коллегами обновляем наши k8s-кластеры.
Третий квартал не стал исключением. Обновлялись мы с версии 1.33 до 1.34.1.
Проверили совместимость при помощи Pluto, проблем не обнаружили.
К слову, обновление прошло гладко.
Правда, через небольшое количество времени заметили, что метрики PV испарились.
Оооочень неприятная история, так как у нас есть некоторое количество stateful-сервисов.
Пошли разбираться и нашли вот такое issue на GitHub
Если вкратце — ну пропало и пропало, метрики в альфа-версии =)
Метрики вернули в версии 1.34.2.
НО, когда мы обратились в саппорт с вопросом: «Как бы нам обновиться до 1.34.2, потому что метрики PV нам важны?»
Ответ был в духе: «Обновляйтесь до 1.35, там всё работает».
Решили не рисковать и перед обновлением проверили issues для 1.35.
И нашли очередной прикол, связанный с exec-пробами.
Проблема в том, что когда pod завершается, его пробы с типом exec перестают работать, и это напрямую влияет на graceful shutdown.
Мы решили перестраховаться и накидали простенький bash-скрипт для поиска сервисов с exec-пробами.
По итогу получили список, который почти полностью состоял из вспомогательных сервисов, напрямую не оказывающих влияния на бизнес.
Решили обновиться, так как метрики PV нам важнее.
Обновились также без проблем.
И за месяц на 1.35 проблем не обнаружили =)
Мораль сей басни — перед обновлением уточняйте, на какую конкретно версию вы обновляетесь, в том числе патч-версию.
Глазами или при помощи ИИ-агента проверьте открытые issues для этой версии — это определённо будет не лишним =)
Enjoy =)
PS — Ииии нас уже более 500, чему я очень рад! Пора придумать какую-нибудь активность =)
Коллеги, всем привет! =)
По старой доброй традиции раз в квартал мы с коллегами обновляем наши k8s-кластеры.
Третий квартал не стал исключением. Обновлялись мы с версии 1.33 до 1.34.1.
Проверили совместимость при помощи Pluto, проблем не обнаружили.
К слову, обновление прошло гладко.
Правда, через небольшое количество времени заметили, что метрики PV испарились.
Оооочень неприятная история, так как у нас есть некоторое количество stateful-сервисов.
Пошли разбираться и нашли вот такое issue на GitHub
Если вкратце — ну пропало и пропало, метрики в альфа-версии =)
Метрики вернули в версии 1.34.2.
НО, когда мы обратились в саппорт с вопросом: «Как бы нам обновиться до 1.34.2, потому что метрики PV нам важны?»
Ответ был в духе: «Обновляйтесь до 1.35, там всё работает».
Решили не рисковать и перед обновлением проверили issues для 1.35.
И нашли очередной прикол, связанный с exec-пробами.
Проблема в том, что когда pod завершается, его пробы с типом exec перестают работать, и это напрямую влияет на graceful shutdown.
Мы решили перестраховаться и накидали простенький bash-скрипт для поиска сервисов с exec-пробами.
По итогу получили список, который почти полностью состоял из вспомогательных сервисов, напрямую не оказывающих влияния на бизнес.
Решили обновиться, так как метрики PV нам важнее.
Обновились также без проблем.
И за месяц на 1.35 проблем не обнаружили =)
Мораль сей басни — перед обновлением уточняйте, на какую конкретно версию вы обновляетесь, в том числе патч-версию.
Глазами или при помощи ИИ-агента проверьте открытые issues для этой версии — это определённо будет не лишним =)
Enjoy =)
PS — Ииии нас уже более 500, чему я очень рад! Пора придумать какую-нибудь активность =)