DevOps News


Гео и язык канала: Россия, Русский
Категория: Технологии


Реклама, вакансии и анонсы - НЕ РАЗМЕЩАЮТСЯ.
Новостной канал группы @devops_ru. Всё про DevOps, high availability, мониторинг, CI/CD, Docker и инфраструктуру
Есть чем поделиться? Пишите: @Civiloid


Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


Что-о давно я не писал про очередные плей-листы с докладами от USENIX. А за все это время их вышло и не мало.

Во первых самый свежак - SREcon22 Americas: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5leMkjJdKIOI-vOxMVr7U5w_ (программа: https://www.usenix.org/conference/srecon22americas/program)

Во вторых конференция по фаловым хранилищам FAST 22: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcWTahpQ_IfjIHZ_ndfw6Id (программа: https://www.usenix.org/conference/fast22/technical-sessions)

И то, что я как-то упустил за 2021 год:
SREcon21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcjhxsp-V3-xJnHQpWLllRS (программа: https://www.usenix.org/conference/srecon21/program)
LISA 21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5ldSSIG3jSo23EyMMSV67qcW (программа: https://www.usenix.org/conference/lisa21/program)
FAST 21: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lckayzBszGg_Pq6O1nq5EdV (программа: https://www.usenix.org/conference/fast21/technical-sessions)

#srecon #lisa #fast #talks

P.S. заодно включил реакции и добавил чат для комментариев, если вдруг кому-то он нужен)


Если кто-то не знает что посмотреть на праздниках, буквально недавно выложили много видео докладов с SREcon20 Americas: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lfLXUjFjS0mP1XzNzNZMhYN

И программа: https://www.usenix.org/conference/srecon20americas/program

#srecon #talks


Свежая и достаточно объемная статья от Google о их текущей TSDB "Monarch".

12 страниц текста. 2 страницы "Related work". Много информации о языке запросов, схеме записей, храненнии, модели данных и т.п. Инетересно в первую очередь тем, кто строит с нуля свои системы хранения метрик.

http://www.vldb.org/pvldb/vol13/p3181-adams.pdf

#tsdb #google #monitoring #metrics


Пересказ исследования о том, почему использовать файловую систему как backend для распределенного хранилища - не очень хорошая идея (на примере ceph).

В целом после SOSP'19 колличество интересных статей значительно увеличилось.

https://blog.acolyer.org/2019/11/06/ceph-evolution/

#research #ceph #performance


Dropbox опубликовал доклад о том, как они меряли пропускную способность Кафки. В статье описывается подход к автоматическому тестированию, к построению модели эксперимента и т.п.

https://blogs.dropbox.com/tech/2019/01/finding-kafkas-throughput-limit-in-dropbox-infrastructure/

#Dropbox #kafka #performance


GitHub опубликовал postmortem про недавний (21 октября) инцидент из-за которогой pull request'ы и issues были фактически недоступны более 24-х часов. Очень поучительная история про консесус, mysql и репликацию.

Ссылка: https://blog.github.com/2018-10-30-oct21-post-incident-analysis/

#github #postmortem


Uber анонсировал свою time-series базу данных m3db, а также выложил в opensource read/write адаптер для Prometheus. Впрочем сам m3db лежал на гитхабе больше года, но с полным отсутствием документации (сейчас это исправлено).

Кластер m3db в убере содержит миллиарды уникальных серий и пишет десятки миллионов уникальных точек в секунду.

Подробности: https://eng.uber.com/m3/

#m3db #timeseries #tsdb #uber


Для тех, кто считает что от всевозможных Spectre и Meltdown не нужно защищаться - исследователи из Graz University of Technology опубликовали пару страниц счастья с Proof Of Concept *remote* атакой на уязвимые к Spectre системы. Атака позволяет читать произвольные участки памяти, но к счастью, скорость чтения памяти очень низкая (единицы байт в час).

Подробности: https://misc0110.net/web/files/netspectre.pdf

#spectre #security #brokenbydesign


Slack и Atlassian заключили "партнерское" соглашение. По его условиям Atlassian закроет Hipchat и Stride и предоставит способы миграции в Slack. Также Slack'у достается (конечно за деньги) вся интеллектуальная собственность касающаяся Hipchat'а и Strdie'а. А в самом Slack'е улучшится интеграция с Jira (Hosted и Cloud), Trello, Bitbucket и появится с Confluence.

Подробнее: https://slackhq.com/atlassian-and-slack-partnership

#slack #atlassian #hipchat




В блоге Dropbox'а опубликована статья про текущую архитектуру их хранилища (Magic Pocket). В процессе перехода от стандартных PMR[1] дисков к SMR[2] часть кода была переписана с Go на Rust, что позволило увеличить плотность сохранив потребление CPU и памяти на том же уровне.

Подробности по ссылке: https://blogs.dropbox.com/tech/2018/06/extending-magic-pocket-innovation-with-the-first-petabyte-scale-smr-drive-deployment/

#dropbox #storage #architecture

[1] https://en.wikipedia.org/wiki/Perpendicular_recording
[2] https://en.wikipedia.org/wiki/Shingled_magnetic_recording - например 10-14ТБ HGST


В рамках USENIX Symposium on Networked Systems Design and Implementation 2018, проходившей в середине апреля, опубликованы некоторые подробности об устройстве сети в Google Cloud Platform. Может будет интересно просто посмотреть на подход к разработке изолированных высокопроизводительных сетей для облаков.

https://www.usenix.org/node/211244

Остальные доклады (без видео) также можно найти на сайте конференции: https://www.usenix.org/conference/nsdi18/glance

#usenix #network #cloud #andromeda




Тем временем, amazon добавил возможность делать производные от уже имеющихся CloudWatch метрики. Функционал называется CloudWatch Metric Math и позволяет в том числе считать агрегаты от множества метрик.

https://aws.amazon.com/about-aws/whats-new/2018/04/amazon-cloudwatch-adds-metric-math-to-enable-custom-operations-on-metrics/

#aws #cloudwatch


Хорошая статья о применимости разных алгоритмов хэширования в задаче балансировки нагрузки. Полезно будет понимать всем, кто пишет свои распределенные сервисы или балансировщики.

https://medium.com/@dgryski/consistent-hashing-algorithmic-tradeoffs-ef6b8e2fcae8

#hashing #balancing #distributes #highload


У небезызвестного Brendan Gregg'а очередная статья про низкоуровневый дебаг в Linux'е. В этот раз про новую фичу Kernel 4.15 (которая расширилась в 4.16) - TCP Tracepoints. Они позволяют делать всякие разные интересные штуки - например следить за изменением состояния соединения, получать эвенты в момент ретрансмитов и так далее.

Подробнее по ссылке: http://www.brendangregg.com/blog/2018-03-22/tcp-tracepoints.html

#brendangregg #performance #tcp #linux #tracepoints


Тихо и незаметно вышла ScyllaDB 2.1. Она позиционируется как drop in замена Cassandra 2.2 с избранными фичами из 3.x

Из главных изменений - поддержка time window compaction strategy. Одна из главных вещей которой не хватало большинству time series баз, использующих Кассандру.

Подробнее: https://www.scylladb.com/2018/02/22/scylla-release-2-1/

#scylladb #cassandra #release


Сегодня начинается GrafanaCon EU.

Программа конференции: http://grafanacon.org
Официальная видео трансляция тоже в наличии: https://youtu.be/kHx8no2q3-Y

При этом я постараюсь делать заметки в свой телеграмм канал: @connotes

#grafanacon #grafana #talks #livestream


После долгой разработки, выпущена Grafana 5.0.0

Главные изменения релиза:
- намного более гибкие дашборды.
- появление концепции команд и разделения прав доступа
- поддержка группировки дашбордов
- поддержка тэгов в графите и возможность автоматического получения списка доступных функций (поддерживается в graphite-web 1.1.0+ и carbonapi 0.9.2+)

Пакеты будут в ближайшее время. Официальный анонс ожидается завтра на GrafanaCon EU 2018.

Подробнее:
http://docs.grafana.org/guides/whats-new-in-v5/
https://github.com/grafana/grafana/releases/tag/v5.0.0

#grafana #monitoring


DataDog померяли влияние заплаток от Spectre и Meltdown на своем Redis кластере (в нем миллионы ядер) и опубликовали по этому поводу небольшую статью с графиками: https://www.datadoghq.com/blog/meltdown-spectre-cpu/

#datadog #meltdown #spectre #performance #impact #security

Показано 20 последних публикаций.

1 832

подписчиков
Статистика канала