Случайно замедлили все загрузки

Небольшая история о том, как можно ухудшить состояние кластера, не добавив и строчки кода😁

Предыстория

У нас в airflow есть много дагов, которые качают данные из бд. Чтобы не положить базу, мы используем пулы, которые ограничивают количество подключений

Как-то мы реализовали новый тип загрузки и, как порядочные разрабы, про пулы тоже не забыли. Долгое время данные грузились, все работало — с этой стороны не было проблем. Но однажды к нам пришел аналитик и спросил, почему таски висят в статусе scheduled по несколько часов. И вот тогда мы поняли 😁

Проблема

Таска-загрузчик находилась в одной таск-группе вместе с другими легковесными тасочками. И они все наследовали одни и те же значения! Получается, что таске передавалось 100500 слотов, даже если она вообще не ходила в базу😱 И когда загрузчик требовал много слотов, абсолютно все простаивало, потому что больше ничего не помещалось😱😱

Решение

Тут все просто: выпилить параметр из тех тасок, где он не нужен

Мораль

Можем подытожить так: даже если все зеленое и все считается, это не значит, что все хорошо🤨

@data_engineerette