Ребят, сори, что редко пишу посты. Хочу кратенько рассказать, что у меня сейчас происходит.
На работе сейчас идет миграция с Greenplum+dbt -> Lakehouse (S3, iceberg, trino).
Пока что Lakehouse мне не очень нравится) Наверное, в основном потому, что у нас теперь нет dbt и вместо тысячи dbt-моделек мы создаем сотни дагов в аирфлоу. С этим работать неудобно и непривычно.
Сам процесс миграции очень рутинный. Прям много думать не надо. Переписываем скрипты, делаем даги. В последние дни занимаюсь оптимизацией парсинга json-ов на трино. Немного коряво он это делает.
Кстати, сами даги тоже теперь не пишем. Пишем yaml-спецификацию для генерации дагов. Я теперь тот самый yaml-разработчик 👋
Но на самом деле это даже удобно. Пару строчек в ямлике меняешь и все норм работает.
Помимо миграции есть и куча задач в старом хранилище. Поэтому делаю несколько задач параллельно.
Запустил новый поток с миграцией - пока он грузится, делаешь другую таску. Постоянная смена контекста.
Все время пишут разные манагеры, аналитики в личку, что-то спрашивают про данные, про сроки..
Полностью пересел на mac, немного непривычно.
Стал активно использовать ИИ-агенты (пока что корпоративные). Немного меняется рабочий процесс, тоже нужно привыкнуть.
Менти. В апреле вышли на работу 5 менти. Все довольны, все круто. В июне еще один менти выходит в топовое место. И летом еще несколько выйдут на рынок. Надо будет как-нибудь отдельно поделиться успехами - куда устроились ребята, что по стеку, по зп. Мне даже несколько менти говорят, что нужно про это написать)
Новых ребят сейчас редко беру, даже стал отказывать 💅
А еще ремонт в новой квартире подходит к концу. На него тоже много энергии уходит, но это хотя бы интересно)
Работа очень выматывает, ничем заниматься не хочется. Нет времени на свои проекты.
В целом в тг редко захожу.
Может, это и есть то самое выгорание, я хз.
А у вас как дела?🦦
На работе сейчас идет миграция с Greenplum+dbt -> Lakehouse (S3, iceberg, trino).
Пока что Lakehouse мне не очень нравится) Наверное, в основном потому, что у нас теперь нет dbt и вместо тысячи dbt-моделек мы создаем сотни дагов в аирфлоу. С этим работать неудобно и непривычно.
Сам процесс миграции очень рутинный. Прям много думать не надо. Переписываем скрипты, делаем даги. В последние дни занимаюсь оптимизацией парсинга json-ов на трино. Немного коряво он это делает.
Кстати, сами даги тоже теперь не пишем. Пишем yaml-спецификацию для генерации дагов. Я теперь тот самый yaml-разработчик 👋
Но на самом деле это даже удобно. Пару строчек в ямлике меняешь и все норм работает.
Помимо миграции есть и куча задач в старом хранилище. Поэтому делаю несколько задач параллельно.
Запустил новый поток с миграцией - пока он грузится, делаешь другую таску. Постоянная смена контекста.
Все время пишут разные манагеры, аналитики в личку, что-то спрашивают про данные, про сроки..
Полностью пересел на mac, немного непривычно.
Стал активно использовать ИИ-агенты (пока что корпоративные). Немного меняется рабочий процесс, тоже нужно привыкнуть.
Менти. В апреле вышли на работу 5 менти. Все довольны, все круто. В июне еще один менти выходит в топовое место. И летом еще несколько выйдут на рынок. Надо будет как-нибудь отдельно поделиться успехами - куда устроились ребята, что по стеку, по зп. Мне даже несколько менти говорят, что нужно про это написать)
Новых ребят сейчас редко беру, даже стал отказывать 💅
А еще ремонт в новой квартире подходит к концу. На него тоже много энергии уходит, но это хотя бы интересно)
Работа очень выматывает, ничем заниматься не хочется. Нет времени на свои проекты.
В целом в тг редко захожу.
Может, это и есть то самое выгорание, я хз.
А у вас как дела?🦦