Код теперь за нас пишет нейронка. А дебажить кто будет?
Честно говоря, я уже не помню, когда последний раз писал даг с нуля своими руками… Теперь пользуюсь нашими друзьями ChatGPT( Claude и др) 🐶 Они набросают скелет и расставит операторы за вас за секунды!
Но в этом и ловушка. ИИ не несет ответственности за ваш прод 💻 Он не знает про лимиты ресурсов, не понимает логику logical_date и не видит, как два процесса в фоне убивают друг друга
Умение писать код сейчас базовый навык 🤍 Но именно умение видеть архитектурные ошибки и понимать, как всё работает под капотом делает вас дата инженером 👊
Подготовил 3 кейса на дебаг и отладку Airflow из реальной практики ❤️⚠️
1) Про даты: почему datetime.now() - это мина замедленного действия
2) Про backfill: как одной кнопкой запустить 500 дагов и положить планировщик
3) Про конкурентность: почему данные дублируются при параллельных запусках
🎁Забирайте файл, пробуйте разобраться сами: ССЫЛКА
Как вам такой формат? Делать еще вам такие файлики с заданиями👇
Честно говоря, я уже не помню, когда последний раз писал даг с нуля своими руками… Теперь пользуюсь нашими друзьями ChatGPT( Claude и др) 🐶 Они набросают скелет и расставит операторы за вас за секунды!
Но в этом и ловушка. ИИ не несет ответственности за ваш прод 💻 Он не знает про лимиты ресурсов, не понимает логику logical_date и не видит, как два процесса в фоне убивают друг друга
Умение писать код сейчас базовый навык 🤍 Но именно умение видеть архитектурные ошибки и понимать, как всё работает под капотом делает вас дата инженером 👊
Подготовил 3 кейса на дебаг и отладку Airflow из реальной практики ❤️⚠️
1) Про даты: почему datetime.now() - это мина замедленного действия
2) Про backfill: как одной кнопкой запустить 500 дагов и положить планировщик
3) Про конкурентность: почему данные дублируются при параллельных запусках
🎁Забирайте файл, пробуйте разобраться сами: ССЫЛКА
Как вам такой формат? Делать еще вам такие файлики с заданиями👇