ДевОпс Инженер

@devopsengineer Нравится 0
Это ваш канал? Подтвердите владение для дополнительных возможностей

ДепОпс, какой он есть - авторский канал @mukolaich - DevOps Engineer в MacPaw.
Я рассматриваю самые топовые технологии и решения, рассказываю о реальных архитектурных проблемах.
Контейнеры, оркестраторы, скейлинг, мониторинг, etc ...
Гео и язык канала
Россия, Русский
Категория
Технологии


Гео канала
Россия
Язык канала
Русский
Категория
Технологии
Добавлен в индекс
05.03.2018 18:11
Последнее обновление
23.02.2019 22:51
Telegram Analytics
Самые свежие новости сервиса TGStat. Подписаться →
Alexandr Sergeevich
О деньгах в Telegram со щепоткой мотивации. Открыть канал →
@TGStat_Bot
Бот для получения статистики каналов не выходя из Telegram
1 901
подписчиков
~2.4k
охват 1 публикации
~490
дневной охват
~2
постов / нед.
126.5%
ERR %
0.78
индекс цитирования
Репосты и упоминания канала
3 упоминаний канала
0 упоминаний публикаций
17 репостов
rxd_txd
CatOps
Интересное в IT
Новые каналы
2pizza Delivery
noTieinIT
CatOps
2pizza Delivery
Каналы, которые цитирует @devopsengineer
Упоминаний и репостов не обнаружено
Последние публикации
Удалённые
С упоминаниями
Репосты
DevOps learning roadmap

Для тех, кто только присоединился или еще в начале пути:
https://raw.githubusercontent.com/kamranahmedse/developer-roadmap/master/images/devops.png

Схема поможет эффективно построить ваше обучение 🙂
👍 107
👎 3
Terraform MySQL provider

Хотел поделиться с вами методикой работы с (forced new resource), (new resource required) и прочего.

Вот, например, самая банальная штука - это динамически вытягивать последнюю AMI из AWS для создания EC2. И сразу же получаем: при обновлении AMI (почти каждый день)- (forced new resource) - потому что AMI изменился, и нужно (нет) пересоздать.

Что делать:
lifecycle {
ignore_changes = ["ami"]
}

Тут как бы все понятно - если меняется переменная ami - все ок, ничего делать не нужно. Подобная штука будет прокатывать с большинством ресурсов.

Недавно обновился MySQL Terraform provider - и появились нужные нам штуки. Но вот, проблема - при апгрейде Terraform маркает большинство ресурсов на пересоздание.
Я пробовал сюда вставить пример кода - но Telegram ломает форматирование.

Опишу словами: tls_option - была пустая строка, а теперь - будет NONE. Это произошло потому, что раньше эта опция не была реализована в модуле, а сейчас появилась. Окей, как сохранить обратную совместимость?

Втулить ему то, что было раньше: tls_option = ""

Более подробно с кусками кода я описал тут:
https://github.com/terraform-providers/terraform-provider-mysql/issues/55#issuecomment-461610419

Вроде банальные вещи, но часто вижу, что много кто не знает.

Good luck!
Hashicorp Vault pricing: OMG

Периодически всплывают вопросы: сколько стоит Hashicorp Vault? Тот который с HA, MFA, auto unseal, Disaster recovery, Replication, etc.

Пару лет назад (средина 2017) я у них спрашивал: ответ был краток - меньше $10 000/per year не подходи, и это еще самый базовый план.

Где-то пол года назад подобную инфу риквестил Игорь Бородин: ценник был чуть поболее, но плюс-минус такой же.

А теперь посмотрите, что ответили Ярославу Молочко 😂
http://i68.tinypic.com/10qw9y1.png

P.S. Проверьте бекапы вашего, надеюсь не стенделон Vault, попробуйте отресториться с бекапа, и на вскидку прикиньте что будет, если тупо дропнуть все секреты.
🥐 4
🌶 37
Envoy hot restart: обидно

В доке у Envoy описано кучу классных юзабельных техник, к примеру hot restart. Это значит, что можно релоадить Envoy без оборванных соединений, применять новую конфигурацию на лету, и быть счастливым.
Вот тут описано, как должно работать: https://www.envoyproxy.io/docs/envoy/latest/intro/arch_overview/hot_restart.html

Давайте проверим, как оно бывает в реальном мире 😱

Как читаю я, и что понимаю: docker kill --signal=SIGHUP envoy - и применилась новая конфигурация
Как пишут доку, и что в нее вкладывают: сделаем скрипт на Python, который будет запускать Envoy, ловить сигналы и делать магию

Обидно! CNCF, Lyft, кто там еще замешан 🙁

Вот, прям в доке описано:
https://www.envoyproxy.io/docs/envoy/latest/operations/hot_restarter
🔥 1
😥 9
🤢 5
AWS Lambda: 15 minutes of execution

Новость старая, но я не знал. Оказывается, теперь таймаут на выполнение не 5 минут, как было раньше, а целых 15.
Теперь это чуть более useful, спасибо, AWS! 👍

https://aws.amazon.com/ru/about-aws/whats-new/2018/10/aws-lambda-supports-functions-that-can-run-up-to-15-minutes/
👍 17
👎 1
Ребят, кто хочет в Вену на релокейт 🔽
https://jobs.lever.co/tourradar/963f1e14-a4af-4fcc-91fb-26932ea6577d
Пишите сразу @denys_popov - работали вместе 🔥
TourRadar - DevOps Engineer
At TourRadar, we are a bunch of techy travel experts on a mission to enrich people’s lives through touring. We have built a marketplace platform that brings travellers together with a large number of global and local tour operators and we are committed to providing simple but awesome user experiences to them. By putting a bunch of cutting-edge technologies to good use, we are building an environment where engineers can grow and thrive while helping the company on its global mission. We are looking for DevOps engineers who enjoy solving hard problems, who think on their feet and are obsessed with helping accomplish important missions while growing themselves in the process. At TourRadar, we take pride in building an environment of mutual trust and respect, where we have a ton of fun building a world-class tech platform.
GitHub: Announcing unlimited free private repos

До 3 коллабораторов, но все равно - очень классно!

https://blog.github.com/2019-01-07-new-year-new-github/
👍 53
👎
Ребят, и еще тема: скоро выходит девопс дайджест на DOU, а у меня еще ничего не готово 😱

Подкиньте-ка , ̶м̶е̶л̶о̶ч̶и̶ классных новостей или статей за последний месяц в личку: @mukolaich ⬅️
Envoy proxy: отличная тема, даже без кубера 🔥

Envoy - это L4/L7 proxy, раньше был в Lyft, а теперь - CNCF.
https://github.com/envoyproxy/envoy

Он позволяет легко и быстро построить service-to-service, front proxy или double proxy (или даже все в месте). Вот, например, так:
https://www.envoyproxy.io/docs/envoy/latest/intro/deployment_types/double_proxy

Конфигурация кажется немного запутанной, но через пару часов все ясно и понятно - намного проще и быстрее чем HAproxy/nginx, etc.

Пример double proxy конфигурации:
https://github.com/envoyproxy/envoy/blob/master/configs/envoy_double_proxy_v2.template.yaml

Он очень классно интегрируется с Consul (в том числе как communication bus для Consul Connect), и может динамически слушать порты, строить роуты, делать всякую магию, которую в случае с HAproxy/nginx нужно было решать всякими ужасными темплейтами и генерацией конфигурации.

Все вы знаете реализацию Envoy внутри Istio, но кто хочет попроще или не в k8s - можно брать просто Envoy.

Из сомнительных моментов могу упомянуть:
▶️ Если хотите запустить несколько Envoy контейнеров на одной ноде, нужно передавать дополнительный параметр - иначе не будет работать:
https://www.envoyproxy.io/docs/envoy/latest/operations/cli#cmdoption-base-id
▶️ Prometheus exporter встроен прямо в Envoy, но с оговорками. Путь - /stats/prometheus (what?, почему не /metrics, или почему даже редиректа нету?), и второй момент - метрики отдаются через админский интерфейс, а он не защищен. Вот issue:
https://github.com/envoyproxy/envoy/issues/2763 - должны сделать.

Мы сейчас как раз в процессе внедрения, пока что впечатления крайне положительные, могу рекомендовать 🙂

И еще расшарю для вас gist с relabel_configs для prometheus, который берет таргеты из Consul:
https://gist.github.com/Mykolaichenko/9ab505876237999466a6e3b506ef598a
Буду краток: с Новым Годом!
Consul Connect: TLS + сайдкар прокси из коробки

Ребята, смотрите какая крутая тема для service-to-service коннектов:
- забирает инфу из Consul
- делает sidecar proxy
- умеет TLS из коробки

Что это значит: можно ходить внутри сети, или через интернет, секурно (mTLS). Из коробки.

Выпиливайте мануальные туннели на haproxy/nginx 🔥

https://www.consul.io/docs/connect/index.html
👍 35
👎
Нативный Docker Compose on Kubernetes

Как-то пролетела новость, и никто не заметил. Раньше делали как: генерили кубер манифесты из компоуз файлов, с помощью, например, Kompose.

Наконец Docker расчехлились, и уже практически официально этим решением депрекейтнули Docker Swarm. Они напилили нативный контроллер, который позволяет применять compose манифесты в кубер.

Вот, смотрите:
https://blog.docker.com/2018/12/simplifying-kubernetes-with-docker-compose-and-friends/

Репа на гитхабе:
https://github.com/docker/compose-on-kubernetes

В общем, у кого compose (омг) или Swarm в проде - можно безболезненно пересесть в k8s как первый шаг в процессе миграции.

Это будет очень полезно ребятам, у которых мало инженерных ресурсов, но есть огромное желание в k8s.

Как новость?)
Simplifying Kubernetes with Docker Compose and Friends
Today we’re happy to announce we’re open sourcing our support for using Docker Compose on Kubernetes. We’ve had this capability in Docker Enterprise for a little while but as of today you will be able to use this on any Kubernetes cluster you choose. Why do I need Compose if I already have Kubernetes? The Kubernetes API is really quite large. There are more than 50 first-class objects in the latest release, from Pods and Deployments to ValidatingWebhookConfiguration and ResourceQuota. This can lead to a verbosity in configuration, which then needs to be managed by you, the developer. Let’s look at a concrete example of that. The Sock Shop is the canonical example of a microservices application. It consists of multiple services using different technologies and backends, all packaged up as Docker images. It also provides example configurations using different tools, including both…
👍 75
👎 4
Ребят, кто на XPdays - сходите на этот доклад (рекомендую)🔥:

SLA, SLO, SLI, Error budgets, or how to keep calm and do your job - Yaroslav Molochko

https://xpdays.com.ua/programs/sla-slo-sli-error-budgets-or-how-to-keep-calm-and-do-your-job/
От подписчика:

https://hackernoon.com/8-devops-trends-to-be-aware-of-in-2019-b4232ac8f351
Все супер, подростаем 👍 Kubernetes, DevSecOps, etc

https://blog.gruntwork.io/5-lessons-learned-from-writing-over-300-000-lines-of-infrastructure-code-36ba7fadeac1
Какие тулзы выбирать в 2k19, тестировать обязательно и деплой процесс инфраструктуры 😎
Совет дня: проверьте защиту на кубер кластерах

Обратите внимание на etcd: если он сконфигурен без TLS и смотрит в мир (вдруг, случайно), то там будет много критически важных данных, и с write правами можно сделать практически все 😱

⬇️ Гайд, который поможет сделать правильно и ничего не пропустить:
https://kubernetes.io/blog/2018/07/18/11-ways-not-to-get-hacked/
Пару лет назад, на собеседовании, СТО одной компании категорически парировал: чувак, там не так и прикольно, у нас есть все то же самое! Мы общались о Силиконовой долине, стартапах, трендах и развитии.

Конечно, я не понял.

Много лет для меня California, отдельно San Francisco и сама Долина была чем-то параллельным: вроде существует, но я к этому отношения не имею. Но ощущение не покидало: там реально лучше технологии, быстрее развитие, более передовые решения и вообще, о чем мы! Это же самое технологическое место в мире! Kubernetes там с хорошей документацией, Docker не залипает и AWS не падает. И вообще, если что-то делать в долине, то это сразу аптайм 100% и пачки бабла в лицо ...

Посмотрите, это доклад LUN.UA: https://www.youtube.com/watch?v=FtDDxvdNKjs

И вот теперь я понял.

Посмотрите, это митап по Kubernetes от AnchorFree: https://www.meetup.com/Kubernetes-Kyiv/events/255943460/

Ярослав Молочко делает их лучше, чем те, на которых я был в Калифорнии.

Хорошего вечера, ребят 🙈


(Тим Урбан доказал, что преуспевают те, кто выкладывается больше - смотрите доклад от LUN прямо сейчас, а не с понедельника)
The State of the Octoverse: top programming languages of 2018

Аналитика от Github: кто регистрируется, на чем пишут, какие репозы растут и т.д.

Быстрый обзор:
- больше всего новых юзеров приходит с US, China, India
- больше всего из новых юзеров контрибьютят чуваки из Hong Kong, Singapore, Egypt, Nigeria (хмммм)
- самый популярный реп 2018 это Microsoft/vscode - 19к контрибьюторов
- из больших компаний по контрибьюшнам в open source: Google на втором месте
- если появляется новый реп, то скорее всего ему прилепят тег react
- количество людей которые пишут на Go увеличилось в 1,5х, а PowerShell - 1.7x 😂

https://blog.github.com/2018-11-15-state-of-the-octoverse-top-programming-languages/
И под вечер апдейт AWS: теперь можно использовать свои блоки IPv4 адресов 😱

Самый оптимальный юз кейс:
If your applications are using trusted IP addresses that your partners and customers have whitelisted in their firewalls, you can now move these applications to AWS without requiring your partners and customers to change their IP address whitelists

Новость: https://aws.amazon.com/about-aws/whats-new/2018/10/announcing-the-general-availability-of-bring-your-own-ip-for-amazon-virtual-private-cloud/

Дока: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-byoip.html

Хороших выходных, ребят 😁