ДевОпс Инженер

И под вечер апдейт AWS: теперь можно использовать свои блоки IPv4 адресов 😱

Самый оптимальный юз кейс:
If your applications are using trusted IP addresses that your partners and customers have whitelisted in their firewalls, you can now move these applications to AWS without requiring your partners and customers to change their IP address whitelists

Новость: https://aws.amazon.com/about-aws/whats-new/2018/10/announcing-the-general-availability-of-bring-your-own-ip-for-amazon-virtual-private-cloud/

Дока: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-byoip.html

Хороших выходных, ребят 😁

Классная тема подъехала в Linkerd 2.1:
https://twitter.com/linkerd/status/1060693123959930885

Обновляемся, зарелизился Prometheus 2.5.0:
https://github.com/prometheus/prometheus/releases/tag/v2.5.0

Release notes:
https://github.com/prometheus/prometheus/blob/master/CHANGELOG.md#250--2018-11-06

По быстрому:
- починили мемори лики в Remote Read
- добавили кучу метрик
- научились работать с Marathon 1.5+
- добавили в UI корректировку синтаксиса
- и еще метрик добавили 😂

Вот он, легендарный Пол Стек с прошлой конференции:
https://www.youtube.com/watch?v=I3g_BfbGeHg

👆 рекомендую послушать на фоне, и обязательно вопросы в конце - очень классные и вопросы, и ответы)

И прийти офлайн на XPdays 2018, для того чтобы задать вопросы лично:
https://xpdays.com.ua/speaker/paul-stack-4/

Конференция будет 7-8 декабря в Киеве, и я договорился c @xpinjection разыграть билет на конфу среди наших подписчиков. О формате мы еще думаем 🙂

👆варианты от подписчиков:

🔹 если нельзя отказаться, лучше уже systemd cron: https://medium.com/horrible-hacks/using-systemd-as-a-better-cron-a4023eea996d
🔹 для рестарта бажных сервисов можно попробовать очень олдскульный монит: https://mmonit.com/
🔹 если нельзя даже systemd cron, то лучше накрутить сверху мониторинг: https://github.com/jamesrwhite/minicron и хоть как-то можно жить
🔹 и еще можно супервизор, он тоже в почете: http://supervisord.org/

Спасибо, ребят! ❤️

Если так сложилось исторически, что есть cron для чего либо, и его нужно менеджить, то лучше уже костылить полностью:

http://kray.me/2018/10/cron_monitoring_in_slack/

- для тех, кто рестартить сервис в кроне, который с memory leak
- для тех, кто стартует сервис в кроне, потому что тот постоянно падает
- для тех, кто запускает какие-то джобы приложения из крона

Накидайте плиз в личку (@mukolaich) как ризолвить такие штуки, а вечером расшарим инфу 🙂

Моя версия:
👉 https://aws.amazon.com/lambda - если AWS
👉https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs/ - если кубер
👉https://github.com/mcuadros/ofelia - если докер

В прошлый раз на XPdays Пол Стек приехал подрихтованным: фингал под глазом, нет переднего зуба, и распухшее лицо.

Оказывается, что это его начистили в Киевском баре: сказал, что Nomad лучше. 😂

В этом году он тоже будет защищать честь Hashicorp (он там работал), и я буду 100% - просто обязан это увидеть 🙂

Про XPdays можно сказать много хорошего: топовые спикеры, среди которых сам Mikalai Alimenkou (организатор), там будут выступать ребята из моей компании (привет Ярик и Женя), отработанные организационные моменты и много чего еще.

Я ограничусь вот чем: если я за день не узнал ничего нового, то день прошел зря. XPdays дает фору на пару недель вперед. Обожаю такие штуки, когда можно качнуться за короткий период времени 🔥

Билеты: https://xpdays.com.ua/registration/
Промо на 10%: DEVOPSENG_SYDPX_18

Это фиаско, братан: IBM покупает Red Hat за $34 млрд

И вероятно, это не очень хорошая новость: куча опенсорса также переходит под управление IBM. Судя по всему, команда разработки тоже переходит в IBM.

Интересно понаблюдать за Ansible - это будет показательное выступлене. Что в результате сделает IBM и как это повлияет на нас с вами.

Нажамкайте плиз пальцев вверх, если нравится эта новость, и краба - если нет.

https://techcrunch.com/2018/10/28/ibm-to-buy-red-hat-for-34b-in-cash-and-debt-taking-a-bigger-leap-into-hybrid-cloud/

Learn HashiCorp: how to provision, secure, connect, and run any infrastructure for any application.

Пока только Vault, но скоро будут и остальные сервисы.

https://learn.hashicorp.com/

Long-term datastore for Prometheus:
(starting points)

▶️ https://github.com/improbable-eng/thanos
- additional storage implementation: AWS S3, Google Cloud Storage

▶️ https://github.com/cortexproject/cortex
- patched Prometheus setup with new storage features

FYI: в AWS NLB можно прицепить Elastic IP (для меня было неожиданно):

Support for static IP addresses for the load balancer. You can also assign one Elastic IP address per subnet enabled for the load balancer.

https://docs.aws.amazon.com/elasticloadbalancing/latest/network/introduction.html

Гитхаб прилег (всю ночь восстанавливают сторедж):

https://status.github.com/messages

Дедушка

Нетехнический пост, но очень важный: позвоните своим родным. Скажите как вы их любите.

Дедушкам, бабушкам, маме и папе.

Кажется, что они будут с нами всегда. Но это не так.

Сделайте то, что хотели сделать. И не откладывайте.

У меня очень неожиданно умер Дедушка.

На этой неделе здесь не будет постов. Извините.

Смотрите, что меня попросили вам показать:

https://hackit.ua/

Достаточно неплохие докладчики (СЕО, Founders, CTO) и конкурсы интересные 😂

И промокод на -55%: DOORKEYS

За инфу и промо спасибо Алексею Барабашу, DevOps Team Lead в NDA 👆👆👆

Нашел очень интересный топик на Stackoverflow, там есть сравнение основных решений по генерации Kubernetes манифестов: Helm vs Draft vs Ksonnet

https://stackoverflow.com/a/48896587/5004288

Что интересно, в SRE Workbook написано: для простых апок и инфраструктур делайте YAML (как удобно, helm etc - не важно), а для средне-сложных смотрите на jsonnet/ksonnet. (Это не точная цитата). Я задался вопросом, почему так - и нашел ответ по ссылке.

Решения на основе json предоставляют более гибкий интерфейс для шаблонизации и использования, это больше как конструктор. Он позволяет извращаться в любых формах, в то время как Helm - уже готовое решение.

Если кто-то выпал на месяц и очень об этом сожалеет: актуальный девопс-дайджест:
https://dou.ua/lenta/digests/devops-digest-22/

Еще недавно проскакивала статейка, как стать девопсом (формулировка 😂):
https://dou.ua/lenta/articles/senior-devops/

И еще по версии DOU в разделе DevOps в среднем всего 1,6 отклика на вакансию: это отлично. Есть спрос, но маловато предложения. 😎

​​Знакомьтесь: это Volodymyr Tsap, у него своя девопс-контора и он зарабатывает явно больше 6.9к 💵💵💵

Как? Что нужно учить? Что нужно знать?

Обычно о таких вещах не рассказывают. Он уже провел миллион собеседований, и готов поделится что нужно качнуть для 6.9к 🔥🔥🔥

Думаю, такая инфа стоит явно дороже билета на конфу:

https://devopsstage.com/

P.S. Вова, будешь должен!

Давайте поменяем Bamboo на Concource CI

Если у кого-то проблемы проблемы с Jenkins/Travic/Circle/otherCI/etc, то скорее всего причина не в туле: причина в подходе

There’s no perfect CI. They all have different features

https://cintia.me/blog/post/ci-tool/

Импорт/экспорт Grafana dashboards

Пришла мне таска - взять все существующие дашборды для графаны, немного их подкрутить, и пушнуть туда же как новые. Темплейтинг заюзать нельзя - оно там все супер-динамическое с завязкой на свой датасорс для каждого конкретного хоста. Короче - гемор.

И этих дашбордов более нескольких десятков.

Сразу дока, API - и погнали. Есть на импорт/экспорт, а значит кто-то уже писал автоматизацию.

Полез я в интернет, и сразу наткнулся на github gists, где разные ребята в коментах писали свои версии скриптов. Но вроде же дожно быть что-то более продакшн реди? И да, есть либа:
💥 https://github.com/hagen1778/grafana-import-export

Она заэкспортила дашборды, и пришла очередь фиксить json.

Для этого есть тулза jq, не самая удобная, но работает. Пример, где в slug меняется поле:
jq '(.meta.slug |= "aws-" + .)' $filename - на поиск синтаксиса ушло 2 чашки чая 🙁

Датасорсы в графиках лучше менять с помощью sed:
sed 's/"datasource": "influxdb"/"datasource": "new-datasource"/g' - через jq тяжело обойти все вложенные ключи, и не сломать лишнего

Обязательно нужно поменять title - иначе ничего работать не будет (упадет с ошибкой):
jq '(.dashboard.title |= "AWS | " + .)' $filename - тут добавляется 'AWS | ' и существующее имя дашборда

Это все очевидные вещи, но в конце ждал сюрприз. Ошибка The dashboard has been changed by someone else. Хм, что же это значит? Сразу мысль подсказала посмотреть на ключи version и id. Ключа с версией небыло, а вот id был. Где-то на гитхабе советовали засетить его как null, или вообще удалить. Ну я и удалил:
jq 'del(.dashboard.id)' $filename

После этого дашборды заэкспортились и все взлетело.

Надеюсь, сохранил вам несколько часов гугления и набивания шишек 😄