Data Brew

ДОРОЖНАЯ КАРТА ВКАТА

Сами дорожные карты:
Мой вариант на лето 2026 буду обновлять раз в квартал

https://roadmap.sh/data-analyst - американсикий сайт чуть перегруженный, но в нем есть все что нужно.

гугл дока - может не сильно удобно для восприятия, но без лишнего

https://zasqlpython.ru - ну это вышка!

Чаты:
https://t.me/karpovcourseschat
https://t.me/hihikvadrat

Каналы:
[nan] - все каналы плюс минус бесполезны если вкатываетесь, лишняя инфа будет мешать. Когда станете смешариком они сами у вас появятся.

Менторы:
Сейчас менторы действуют так:
0. ДАЙ денег
1. Накрути опыт
2. Запомни что спрашивают на собесах.
3. Подгони резюме под вакансию
4. Оставь отзыв.

Вот бесплатный гайд вместо тысячи менторов:
Учись навыкам >Откликайся всеми способами > Записывай собесы > Пересматривай и корректируй ответы >После офера попробуй увеличить сумму на 15%

Инструменты:
Claude
ChatGPT


купите подписку на LLM для базовых и уже не очень базовых моментов НЕЗАМЕНИМО!!!!

я тут сделал универсальный бот
https://t.me/data_brew_download_bot

все популярные видеохостинги
качает аудио / видео/ субтитры если есть

Можно выбрать качество аудио и видео.

буду рад фидбеку

Сегодня очень необычный гость, девушка DE.

Из интервью вы узнаете:
-Страхи и боли инженера данных.
- Сексизм в DE
- Деньги vs Интерес

О госте:
Ведущий канала «дата инженеретта»

Ты бы наняла себя в начале карьеры?
В начале де карьеры я вообще не знала теоретических основ. А за моими плечами касаемо биг даты была лишь магистерская работа, где я немножко потыкалась в Hadoop, Airflow и узнала, что такое Data Lake, Parquet и партицирование. В то же время проходила de-zoomcamp. А ради тестового выучила синтаксис Spark за пару дней. Я бы сказала, что вообще норм🙂

Первый инцидент: когда стало реально страшно?
Я помню этот вечер — 20:00, я дежурю, вдруг прилетает алерт по стримингу и я вижу, что данные уже несколько часов не приходят. Я смотрю в Kafka UI и понимаю, что пропущенных данных уже нет, а сообщения продолжают исчезать десятками каждую секунду

Iceberg база будущего или пункт для вакансий?
Мне раньше казалось, что компании только-только переходят на Lakehouse. Но если посмотреть — уже практически все сидят на нем. А значит, они начали его строить уже год-два назад

AI для DE ускоритель или угроза зарплате?
И то, и то. Для тех, кто работает — ускоритель, но на вас будут навешивать еще больше задач. Для тех, кто будет менять работу — угроза зарплате, потому что дорогой сеньор будет компенсироваться мидлом с иишкой. Как думаете, мы дойдем до найма исключительно джунов?🙂

Какой карьерный выбор дался больнее всего?
Больше всего я раздумывала над менее интересной вакансией DA, но с удаленкой и x2 в зп и сильно желаемой позицией DE с классными перспективами дальнейшего роста, но спонтанным переездом в Москву, где я никогда не была

Много ли коллег DE девушек?
Мне как-то в бэклог подбросили тему написать про сексизм в DE) Но писать было не о чем, лично я с таким не сталкивалась. А вот девушек встречала, но я бы сказала, что они больше в продуктовой истории — построить витринку, написать даг, отрефакторить код аналитиков. А вот в задачах, близких к разработке/датаопс/девопс, больше парней — написать с нуля фреймворк, протестировать новый инструмент, интегрировать несколько сервисов. В моих командах я всегда была единственной и неповторимой🥰

Кому в айти жить хорошо?
Кто вступил на этот путь раньше, набрался опыта и сейчас сидит на менеджерских ролях, параллельно делая side-проекты

И финальное в чем деньги, брат?
В чужой зарплате

Интервью с senior DE

Я постоянно пропускаю посты через фильтр полезности, и стараюсь давать вам информацию которую вы потом понесете в народ)

Этот пост про человека который, без шуток, может сильно повысить качество вашей жизни. Он сделал БЕСПЛАТНЫЙ гайд по выкату в de, который давно высоко оценило комьюнити.

Коротко об авторе:
Data Engineer 🗺 Автор Roadmap для Дата Инженеров → roadmapde.roadmappers.ru 🚀 Автор roadmappers.ru — твой старт в IT
Человек при жизни ставший легендой

Почему эти вопросы
Про джуна без опыта это главный страх новичков.
Про бесплатный Roadmap самый главный вопрос.
Про AI на собесах тема актуальная и набирает обороты.
Про самый полезный пост дарю пользу с двух ног.
Про инженерный стыд хотелось добавить личных историй.
Про переход из DA в DE это частый, но не всегда очевидный путь.

Ты сам сейчас взял бы джуна без опыта?

Да, я бы взял джуна без опыта, но, скорее всего, с нашего буткэмпа. И взял бы самого подходящего, самого сильного кандидата.

Если на работе вилка просто не тянет на более опытного специалиста, то есть нет бюджета на мидла или сеньора, я бы спокойно рассматривал джуна. Но для меня важно понимать, что это за человек.

В буткэмпе у нас есть домашки, созвоны, собеседования, код-ревью. Мы видим код человека, видим, как он задает вопросы, как двигается по задачам, как реагирует на обратную связь. Это уже некоторый гарант. Не нужно лишний раз проверять человека с нуля, потому что к нему уже есть доверие.

Сколько стоит держать бесплатный Roadmap бесплатным?

В целом это почти ничего не стоит. Основная статья расходов — это сервер, и там речь про пару тысяч рублей в месяц, а может, даже меньше. Мне кажется, около тысячи рублей максимум.

Поэтому держать Roadmap бесплатным — не проблема. Особенно если он реально помогает людям.

AI на собесах — костыль или новая норма?

AI на собеседованиях — это просто еще один способ списывания. Как на экзаменах: оно всегда было, есть и будет.

Пока на собеседованиях не начнут спрашивать за реальные кейсы, за сделанную работу, за конкретные задачи и решения, люди будут использовать AI. Если собеседование идет по методичке: “назови неизменяемые типы данных”, “перечисли топ-5 оптимизаций” и так далее, то AI будет отлично спасать.

На тупые вопросы из методички всегда будут использовать AI. А вот если спросить человека про реальный опыт: какую задачу он делал, почему выбрал такое решение, какие были проблемы, какие были альтернативы, что бы он сейчас сделал иначе, то очень быстро становится понятно, он реально это делал или нет.

Какой свой пост ты назовешь самым полезным?

Это пост, который сейчас в закрепе, про Roadmap.

Roadmap — это точка, с которой вообще всё началось: Roadmappers, буткэмпы, сообщество и так далее. Это реально та штука, которая была нужна людям и которая до сих пор пользуется популярностью.

И это, честно говоря, потрясающе.

За что тебе самому стыдно как инженеру?

На самом деле мне ни за что не стыдно. У меня нет какого-то инженерного стыда.

Если я где-то накосячил или был неправ, я извинился перед людьми. Если что-то сломал или сделал плохо — исправил. Мне кажется, я уже достаточно взрослый человек, чтобы не носить с собой стыд за ошибки, которые я признал и поправил.

Поэтому нет, мне не стыдно. Я довольно спокойно к этому отношусь.

Советуешь перекатываться в DE из DA?

Я не очень люблю советовать людям “перекатываться” из одной профессии в другую. Я скорее рекомендую идти в IT в целом и особенно смотреть в сторону data engineering.

Но именно переходить из DA в DE я не буду советовать всем подряд, потому что непонятно, будет ли человеку это интересно. Data engineering — это всё-таки другая работа: больше инженерии, пайплайнов, инфраструктуры, дебага, ответственности за данные.

Я могу сказать, что в data engineering хорошо, что здесь есть деньги, развитие и интересные задачи. А вот откуда человек туда приходит — из DA, из другой IT-роли или вообще не из IT — мне, честно говоря, не так важно.

Интервью С DE из Пятерочки (Х5)

Мне очень понравилось быть айти журналистом, и вашему вниманию представляю первое интервью.

Коротко о госте:
Шустиков Владимир, инженер данных X5Tech, а также автор канала «Инженерообязанный».

Почему я задал эти вопросы:
DBT в проде все про него говорят.Хотел реальных шишек, а не рекламного буклета.
ClickHouse если ты работаешь в РФ, рано или поздно с ним столкнёшься, а клик местами очень контр интуитивен.
AI-генератор задач звучит хайпово, но пахнет прогревом на покупку токенов.
Фокус на задачах - я все еще борюсь с коротким форматом который стал почему то для меня синонимом отдыха.

DBT в проде: какая грабля была самой дорогой?

В последнее время DBT стал обширно использоваться в большинстве компаний, в особенности тех, которые используют одно из последних новшеств современного дата‑стека — Trino + IcebergS3.

В целом я работаю с небольшим объёмом данных, и в своей работе мне приходилось внедрять DBT в Postgres, чтобы отказаться от материализованных представлений (МП). Связана эта работа была с тем, что при необходимости изменения структуры МП зависимые МП и обычные представления нужно было каскадно удалять, а потом всё заново собирать. Мне хватило один раз так помучиться, чтобы понять, что это не дело, — и тут реально подходил DBT как никогда.

Каких‑то явных проблем у меня с ним не было, так как я в своей работе использую его исключительно для построения моделей, ну иногда могу написать парочку макросов — и всё.

А в стеке с Trino его начали использовать потому, что из коробки сам DBT не может использоваться как полноценный ETL‑инструмент, так как он работает в рамках одной БД. А Trino — это, по своей сути, единая SQL‑оболочка над различными базами данных, и вот через неё DBT спокойно может перекачивать данные из одной БД в другую.

Можно сказать, тут я немного архитектурную лекцию прочитал. 😁

ClickHouse: почему он ломает мозг?

Ой‑ой‑ой… С одной стороны, это прям боль Клика, но с другой стороны, люди, которые шарят за его тонкости, получают неплохие деньги.

Наверное, это связано с тем, что он реально по своей архитектуре не похож на другие БД. Очень много кустарных решений, которые либо ты знаешь, либо нет.

AI‑генератор задач: польза или казино?

Я буду относить его больше к казино. В целом ИИ может составить очень неплохой пет‑проект, но он его также может очень тяжело заувалировать, из‑за чего человек просто‑напросто откажется его делать.

Вот даже если взять обычное приложение для изучения языков Duolingo. Совсем недавно прогремела новость, что компания отказалась использовать ИИ в заданиях, так как нет нормальной креативности, которая есть у людей, — и вот языковые курсы не чувствовались живыми.

Как ты защищаешь фокус от шортсов и хаоса?

Я отключил шортсы, но могу сказать честно — это мой бич. К сожалению, я не могу оторваться от телефона: уже много чего пробовал, но если не телефон, то компьютер стал полноценным продолжением меня самого.

Для себя я вижу только один радикальный выход — это просто уехать в глушь и просто отдохнуть от всего этого

-=PS=-
ну как вам?)