Репост из: Я – Дата Инженер | Евгений Виндюков
🔥 ПЕТ-ПРОЕКТ ДАТА ИНЖЕНЕРА
В эту СРЕДУ 17 ИЮНЯ в 20:00 МСК у нас будет довольно интересный стрим. Причём проводить его будет не только команда BootCamp, но и один из наших выпускников.
К нам придёт Артем — участник 6-го потока BootCamp. За время обучения он собрал полноценный пет-проект и теперь покажет его нам от начала до конца.
➡️ ссылка на стрим
Что вообще будет в проекте?
Берём данные из API New York Times, складываем их в S3, грузим через Spark в Greenplum, строим витрины через dbt и публикуем результат в ClickHouse. Плюс логирование Airflow-задач в Postgres.
Ну т.е. это буквально пример рабочего пайплайна для Дата Инженера. Причем довольно внушительного по кол-ву используемых технологий.
На стриме Артём покажет:
— как устроен проект
— как принимались архитектурные решения
— почему были выбраны именно эти инструменты
— какие сложности возникли во время разработки
— что можно улучшить дальше
Будет полезно всем, кто сейчас думает над своим первым серьёзным проектом или хочет посмотреть, как выглядит нормальный DE pet-project в 2026 году.
🎙 Спикеры:
— @halltape
— @shustDE
— Артём (выпускник 6-го потока BootCamp)
📅 Среда 17 ИЮНЯ
⏰ 20:00 МСК
➡️ ссылка на стрим
Приходите, послушаем лекцию, посмотрим код и разберём проект по косточкам.
Запись будет!
Будет интересно 🚀
В эту СРЕДУ 17 ИЮНЯ в 20:00 МСК у нас будет довольно интересный стрим. Причём проводить его будет не только команда BootCamp, но и один из наших выпускников.
К нам придёт Артем — участник 6-го потока BootCamp. За время обучения он собрал полноценный пет-проект и теперь покажет его нам от начала до конца.
➡️ ссылка на стрим
Что вообще будет в проекте?
Берём данные из API New York Times, складываем их в S3, грузим через Spark в Greenplum, строим витрины через dbt и публикуем результат в ClickHouse. Плюс логирование Airflow-задач в Postgres.
Ну т.е. это буквально пример рабочего пайплайна для Дата Инженера. Причем довольно внушительного по кол-ву используемых технологий.
На стриме Артём покажет:
— как устроен проект
— как принимались архитектурные решения
— почему были выбраны именно эти инструменты
— какие сложности возникли во время разработки
— что можно улучшить дальше
Будет полезно всем, кто сейчас думает над своим первым серьёзным проектом или хочет посмотреть, как выглядит нормальный DE pet-project в 2026 году.
🎙 Спикеры:
— @halltape
— @shustDE
— Артём (выпускник 6-го потока BootCamp)
📅 Среда 17 ИЮНЯ
⏰ 20:00 МСК
➡️ ссылка на стрим
Приходите, послушаем лекцию, посмотрим код и разберём проект по косточкам.
Запись будет!
Будет интересно 🚀