Репост из: 📍Олег Козырев - IT и жизнь ️
Видео недоступно для предпросмотра
Смотреть в Telegram
РАСПРЕДЕЛЕННАЯ СБОРКА ЛОГОВ (Разгоны #4)
Новый разгон! На сей раз по запросам в комментах. Расскажу про то как устроена распределенная сборка логов и нафига она нужна. Поглащать этот разгон можно и чисто в аудиоформате, словно короткий подкаст.
А в комментах можете накинуть темы для новых разгонов и необязательно технические)))
Для тех, кто не хочет смотреть:
1) Логи из контейнера летят в файлик на ноде и хранятся там пока не удалишь
2) Агенты (например, fluentd) собирают с разных нод логи из файлов и засылают их по сети в инструмент для отработки логов (logstash)
3) Обработчик логов их фильтрует, преобразует и куда-то сохраняет для использования в долгую
4) Хранилка логов (elasticsearch) сохраняет и индексирует логи, делая их доступными для поиска, фильтрации и т.п.
5) И дальше уже мы можем в красивом UI эти логи поглядеть (Kibana)
Прошлые разгоны:
* ПОЧЕМУ ТЫ ПЕРЕРАБАТЫВАЕШЬ?
* ЗАЧЕМ МЫ ГОНИМСЯ ЗА УСПЕХОМ?
* ЗАЧЕМ ПИСАТЬ ЧИСТЫЙ КОД?
Новый разгон! На сей раз по запросам в комментах. Расскажу про то как устроена распределенная сборка логов и нафига она нужна. Поглащать этот разгон можно и чисто в аудиоформате, словно короткий подкаст.
А в комментах можете накинуть темы для новых разгонов и необязательно технические)))
Для тех, кто не хочет смотреть:
1) Логи из контейнера летят в файлик на ноде и хранятся там пока не удалишь
2) Агенты (например, fluentd) собирают с разных нод логи из файлов и засылают их по сети в инструмент для отработки логов (logstash)
3) Обработчик логов их фильтрует, преобразует и куда-то сохраняет для использования в долгую
4) Хранилка логов (elasticsearch) сохраняет и индексирует логи, делая их доступными для поиска, фильтрации и т.п.
5) И дальше уже мы можем в красивом UI эти логи поглядеть (Kibana)
Прошлые разгоны:
* ПОЧЕМУ ТЫ ПЕРЕРАБАТЫВАЕШЬ?
* ЗАЧЕМ МЫ ГОНИМСЯ ЗА УСПЕХОМ?
* ЗАЧЕМ ПИСАТЬ ЧИСТЫЙ КОД?