Сегодня собираем ETL-пайплайн на данных GitHub — от источника до дашборда
Сегодня в 19:00 покажем, как данные проходят путь от внешнего сервиса до базы и готового дашборда на реальном источнике, GitHub.
Валерия Елпатьевская, инженер данных в Альфа-Банке, разберёт:
➖ Extract — как получить данные о репозиториях, коммитах и языках программирования;
➖ Transform — как их очистить и преобразовать;
➖ Load — как загрузить результат в локальную базу DuckDB;
➖ Как собрать из этого дашборд и какие выводы можно сделать по данным GitHub.
Пройдём весь пайплайн не в виде схемы на слайде, а через работающий код и конкретный результат — заодно разберём, чем рабочий пайплайн отличается от кода в одном Jupyter Notebook.
📆 Сегодня, 25 сентября, в 19:00 МСК
➡️ Не пропустить вебинар
📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS
Сегодня в 19:00 покажем, как данные проходят путь от внешнего сервиса до базы и готового дашборда на реальном источнике, GitHub.
Валерия Елпатьевская, инженер данных в Альфа-Банке, разберёт:
➖ Extract — как получить данные о репозиториях, коммитах и языках программирования;
➖ Transform — как их очистить и преобразовать;
➖ Load — как загрузить результат в локальную базу DuckDB;
➖ Как собрать из этого дашборд и какие выводы можно сделать по данным GitHub.
Пройдём весь пайплайн не в виде схемы на слайде, а через работающий код и конкретный результат — заодно разберём, чем рабочий пайплайн отличается от кода в одном Jupyter Notebook.
Эфир подойдёт тем, кто хочет познакомиться с Data Engineering, и аналитикам, которым интересно научиться самостоятельно собирать данные для анализа!
📆 Сегодня, 25 сентября, в 19:00 МСК
➡️ Не пропустить вебинар
📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS