👋Airflow на правильном питании: как мы научили задачи не переедать ресурсы
Airflow-задачи не любят, когда им не хватает памяти. Кластер не любит, когда у него заранее забирают ресурсы «на всякий случай». Разработчики не любят вручную подбирать requests под каждую задачу.
В общем, все немного страдали, поэтому мы сделали AutoResourceScaler.
В карточках разработчик Эльдар Хабибулин разбирает, как он работает, какие метрики использует и почему автоскейлинг CPU и RAM в итоге пришлось разделить.
Airflow-задачи не любят, когда им не хватает памяти. Кластер не любит, когда у него заранее забирают ресурсы «на всякий случай». Разработчики не любят вручную подбирать requests под каждую задачу.
В общем, все немного страдали, поэтому мы сделали AutoResourceScaler.
В карточках разработчик Эльдар Хабибулин разбирает, как он работает, какие метрики использует и почему автоскейлинг CPU и RAM в итоге пришлось разделить.