Интервью С DE из Пятерочки (Х5)
Мне очень понравилось быть айти журналистом, и вашему вниманию представляю первое интервью.
Коротко о госте:
Шустиков Владимир, инженер данных X5Tech, а также автор канала «Инженерообязанный».
DBT в проде: какая грабля была самой дорогой?
В последнее время DBT стал обширно использоваться в большинстве компаний, в особенности тех, которые используют одно из последних новшеств современного дата‑стека — Trino + IcebergS3.
В целом я работаю с небольшим объёмом данных, и в своей работе мне приходилось внедрять DBT в Postgres, чтобы отказаться от материализованных представлений (МП). Связана эта работа была с тем, что при необходимости изменения структуры МП зависимые МП и обычные представления нужно было каскадно удалять, а потом всё заново собирать. Мне хватило один раз так помучиться, чтобы понять, что это не дело, — и тут реально подходил DBT как никогда.
Каких‑то явных проблем у меня с ним не было, так как я в своей работе использую его исключительно для построения моделей, ну иногда могу написать парочку макросов — и всё.
А в стеке с Trino его начали использовать потому, что из коробки сам DBT не может использоваться как полноценный ETL‑инструмент, так как он работает в рамках одной БД. А Trino — это, по своей сути, единая SQL‑оболочка над различными базами данных, и вот через неё DBT спокойно может перекачивать данные из одной БД в другую.
Можно сказать, тут я немного архитектурную лекцию прочитал. 😁
ClickHouse: почему он ломает мозг?
Ой‑ой‑ой… С одной стороны, это прям боль Клика, но с другой стороны, люди, которые шарят за его тонкости, получают неплохие деньги.
Наверное, это связано с тем, что он реально по своей архитектуре не похож на другие БД. Очень много кустарных решений, которые либо ты знаешь, либо нет.
AI‑генератор задач: польза или казино?
Я буду относить его больше к казино. В целом ИИ может составить очень неплохой пет‑проект, но он его также может очень тяжело заувалировать, из‑за чего человек просто‑напросто откажется его делать.
Вот даже если взять обычное приложение для изучения языков Duolingo. Совсем недавно прогремела новость, что компания отказалась использовать ИИ в заданиях, так как нет нормальной креативности, которая есть у людей, — и вот языковые курсы не чувствовались живыми.
Как ты защищаешь фокус от шортсов и хаоса?
Я отключил шортсы, но могу сказать честно — это мой бич. К сожалению, я не могу оторваться от телефона: уже много чего пробовал, но если не телефон, то компьютер стал полноценным продолжением меня самого.
Для себя я вижу только один радикальный выход — это просто уехать в глушь и просто отдохнуть от всего этого
-=PS=-
ну как вам?)
Мне очень понравилось быть айти журналистом, и вашему вниманию представляю первое интервью.
Коротко о госте:
Шустиков Владимир, инженер данных X5Tech, а также автор канала «Инженерообязанный».
Почему я задал эти вопросы:
DBT в проде все про него говорят.Хотел реальных шишек, а не рекламного буклета.
ClickHouse если ты работаешь в РФ, рано или поздно с ним столкнёшься, а клик местами очень контр интуитивен.
AI-генератор задач звучит хайпово, но пахнет прогревом на покупку токенов.
Фокус на задачах - я все еще борюсь с коротким форматом который стал почему то для меня синонимом отдыха.
DBT в проде: какая грабля была самой дорогой?
В последнее время DBT стал обширно использоваться в большинстве компаний, в особенности тех, которые используют одно из последних новшеств современного дата‑стека — Trino + IcebergS3.
В целом я работаю с небольшим объёмом данных, и в своей работе мне приходилось внедрять DBT в Postgres, чтобы отказаться от материализованных представлений (МП). Связана эта работа была с тем, что при необходимости изменения структуры МП зависимые МП и обычные представления нужно было каскадно удалять, а потом всё заново собирать. Мне хватило один раз так помучиться, чтобы понять, что это не дело, — и тут реально подходил DBT как никогда.
Каких‑то явных проблем у меня с ним не было, так как я в своей работе использую его исключительно для построения моделей, ну иногда могу написать парочку макросов — и всё.
А в стеке с Trino его начали использовать потому, что из коробки сам DBT не может использоваться как полноценный ETL‑инструмент, так как он работает в рамках одной БД. А Trino — это, по своей сути, единая SQL‑оболочка над различными базами данных, и вот через неё DBT спокойно может перекачивать данные из одной БД в другую.
Можно сказать, тут я немного архитектурную лекцию прочитал. 😁
ClickHouse: почему он ломает мозг?
Ой‑ой‑ой… С одной стороны, это прям боль Клика, но с другой стороны, люди, которые шарят за его тонкости, получают неплохие деньги.
Наверное, это связано с тем, что он реально по своей архитектуре не похож на другие БД. Очень много кустарных решений, которые либо ты знаешь, либо нет.
AI‑генератор задач: польза или казино?
Я буду относить его больше к казино. В целом ИИ может составить очень неплохой пет‑проект, но он его также может очень тяжело заувалировать, из‑за чего человек просто‑напросто откажется его делать.
Вот даже если взять обычное приложение для изучения языков Duolingo. Совсем недавно прогремела новость, что компания отказалась использовать ИИ в заданиях, так как нет нормальной креативности, которая есть у людей, — и вот языковые курсы не чувствовались живыми.
Как ты защищаешь фокус от шортсов и хаоса?
Я отключил шортсы, но могу сказать честно — это мой бич. К сожалению, я не могу оторваться от телефона: уже много чего пробовал, но если не телефон, то компьютер стал полноценным продолжением меня самого.
Для себя я вижу только один радикальный выход — это просто уехать в глушь и просто отдохнуть от всего этого
-=PS=-
ну как вам?)