Я – Дата Инженер | Евгений Виндюков

У нас украли Буткемп. Но есть один нюанс — походу, люди сами не поняли, что именно они украли💩

Сегодня нашли наш Roadmappers BootCamp на одном сайте со слитыми курсами.

Стоит 500 рублей.

Ну думаем, ладно. Дожили. Буткемп слили!

Захожу посмотреть описание.

И тут выясняется, что мы, оказывается, всё это время преподавали...

СИСТЕМНОЕ АДМИНИСТРИРОВАНИЕ 😂

Цитирую описание нашего Буткемпа:

«Востребованный курс по администрированию. Осваивайте системное администрирование, сетевые технологии и управление серверами».

Блять! 7 потоков. Больше года:

Spark. Kafka. Airflow. ClickHouse. PostgreSQL. GreenPlum. Iceberg. Trino.

Строили ETL-пайплайны. Поднимали инфраструктуру. Работали с хранилищами. Разбирали архитектуру.

А оказывается, готовили – сисадминов.

Спасибо пиратам, хоть объяснили, чем мы занимаемся 😂

Но если серьёзно, эта ситуация очень хорошо показывает одну вещь.

Слить Буткемп невозможно!

Можно слить видеозаписи лекций. И если вам нужны именно они — ребят, ну вот они, оказывается, стоят 500 рублей.(покупка на свой страх и риск, мы не знаем чем на самом делел они там торгуют)

Только сам Буткемп никогда не был набором видео. Ты можешь посмотреть 50 часов про Spark, GreenPlum и ClickHouse и остаться ровно на том же месте.

Потому что самое важное начинается после лекции. Когда тебе нужно самому:

1. Написать пайплайн.
2. Сломать его.
3. Получить ошибку.
4. Не понять, почему оно не работает.
5. Разобраться.
6. Прийти к нам с вопросом.
7. Переделать.
8. Сделать домашку.
9. Собрать pet-проект.

А потом соединить всё это в одну из работающих систем:

📍 API → S3 → ClickHouse

📍API → S3 → GreenPlum → DBT → ClickHouse

📍API → Spark → Iceberg → Trino → ClickHouse

Вот это уже Буткемп!💪

Плюс менторы, обратная связь, разборы, инфраструктура, дополнительные блокноты, комьюнити, проекты и работа над тем, как потом весь полученный опыт нормально упаковать и выйти с ним на рынок.

Этого в папку на торренте не положишь!

Так что если хотите купить «курс системного администратора»(за ваш переход по сторонним ссылкам администраторы каналов, где находится пост отвественности не несут) за 500 рублей — велком ⚪️

А мы пока продолжим работать в направлении Data Engineer.

Видео можно скачать.
Опыт придётся получить самому.
__________
И, кстати, раз уж пираты бесплатно подогнали нам рекламную интеграцию 😂

1 сентября стартует 8-й поток Буткемпа.
Осталось — 7 мест.
Записаться можно через нашего бота Буткемпыч.

На 8-й поток Буткемпа осталось 10 мест.

Уже через неделю — 1 сентября. И вместе с новым учебным годом стартует новый поток Буткемпа 🚀

За время 7-го потока мы успели очень сильно докрутить программу.

Доработали материал по Iceberg и Trino и выстроили полноценный рабочий пайплайн:

API → Spark → Iceberg → Trino → ClickHouse

Плюс мы подготовили систему для формирования легенды и описания опыта в резюме.

Причём сделали её так, что она подойдёт даже охраннику, который вчера сидел на шлагбауме, а сегодня решил залететь в IT.💪

Кому вообще нужен Буткемп?

Если ты уже знаешь SQL и Python, но дальше смотришь на Spark, Airflow, ClickHouse, Trino, Iceberg и думаешь:

«Так... а как всё это изучать и как вообще между собой связано?»

— тебе к нам.

Если ты уже работающий Data Engineer / Data Analyst или на смежных IT вакансиях и хочешь расширить стек, закрыть пробелы и структурировать знания — тебе тоже к нам!

На онлайн-занятиях мы подробно разбираем технологии, механизмы их работы и, самое главное, учимся структурно мыслить и понимать, зачем мы вообще используем тот или иной инструмент.

А материала уже стало настолько много, что физически запихнуть всё в лекции невозможно. Поэтому по технологиям мы дополнительно подготовили отдельные блокноты: можно открыть нужную тему, пройти её самостоятельно, посмотреть примеры и разобраться глубже.

Короче.

1 сентября — старт 8-го потока.
Осталось 10 мест.

Для записи переходи в бот Буткемпыч 👈

Ребят, чек лист для общения с HR

Я понимаю, что не все доходят в Roadmap до Резюме и Работа
Там если что есть удобный чек лист. Когда общаетесь с рекрутером, задавайте пожалуйста, тоже вопросы. Это во первых показывает вашу реальную заинтересованность в позиции, а во вторых не надо вспоминать, какие условия в компании.

Ниже пример заполнения чек листа:

roadmappers.ru

1млн на руки

География: удаленка мир
Направления работы:
Ставки на кликстрима, проектирование ДАТА контура ОКОЛОРеайлтайм (в Clickhouse).
Собирают команду. Платформенная команда.
Команда: Состав команды: 14 DE (1 руководитель)
Заказчики: Аналитики и Млщики
Источники данных: Cыряк из Кафки, PG, Оракл
Технологии: Hudi на HDFS, Kafka, CH, PG, Oracle
Техника: мак или винда выдают
Рабочий процесс: Agile, спринты
Задачи: Переезд на новую платформу. Есть база AeroSpike. Переезжают на Redis.
Этапы: Тех скрининг - лайвкодинг (Spark + SQL) -> Софт собес
Оформление: ТК РФ

Все совпадения случайны. Все компании вымышлены.
Ссылка на roadmap

Легенда для Дата Инженера за 1 промпт! Составляем Резюме

Буквально 1 промпт, который из любой твоей истории сделает готовую легенду для Дата Инженера. Это не кликбейт. Я реально на вайбкодил готовый сервис для сборки вашего рассказа на собесе и резюме. А также показал, как его составить, чтобы вас не скипали.

Смотрите на Youtube
▶️ https://youtu.be/okvu18S7h2U

Кстати, мы уже набираем поток на BootCamp. Старт 1 сентбяря
@bootcampych_bot

Ты не достоин Валютной Удаленки!

Короче это не так. Конечно, сложнее точно, но не ставьте на себе крест. Я потихоньку начинаю разбираться в этом вопросе. Мне на ютубе попался видос (да сто процентов и вам тоже) от айти красавчика, который на GO пишет.

Весь видос я не смотрел, потому что я скинул видос в ChatGPT и попросил вывести суммаризацию.
Из ключевых моментов, которые мне откликнулись:

- Надо точно отрепетировать свою само-презентацию на английском вплоть до мелочей
- Язык должен быть уровня B1 - B2
- Акцент не важен
- Если есть вариант субтитров на созвонах, надо использовать их
- Набрать 300-500 контактов в Линкедин (желательно не индусов)
- Не всегда есть work life balance (будьте готовы к любой ерунде)
- Забудьте про свои ДМС
- Постоянно общаться на English сильно утомляет

Что я сам думаю?
Я проходил год назад собесы на английском языке, но правда в русскоязычные команды. Т.е. там, где люди умеют ПО РУССКИ говорить.
В целом идея в том, чтобы застолбить свою самопрезентацию — это прям БАЗА точно. А кстати еще чуваки в видосе сказали, что если будете учить Английский с репетитором, не надо брать с уклоном в IT, так как мы с вами уже знаем айтишный английский. Нам нужно больше описательных и разговорных оборотов. Вот этого может как раз не хватать в работе.

А если вам тоже интересно двигаться в эту сторону, то пройдите опрос
https://forms.gle/KWcWJFwtiZbosugR7

У нас много ребят, кто живет в разных странах и есть те, кто уже работает в таких компаниях. Поэтому предлагаю понять, какой у нас у всех уровень, потом созвонимся и обсудим: ЧТО НАМ С ЭТИМ ВСЕМ ДЕЛАТЬ!

Ну английский это ладно. На самом деле меня больше всего интересует стек, а именно AWS, GCP, Azure, Databricks и дальше по списку. Это мне более непонятно пока. Но разве у нас есть преграды? Пффф.. хорошо, что чат гпт есть)) ахахах

P.S. В комменты закину TXT файлик с более подробным описанием

Валютная удаленка СЮДА!

Есть идея прочекать этот рынок и понять, какие есть трудности и боли, а самое главное требования на рынке для ДЕ. Например знаете ли вы, как оформить линкедин, а ИП в какой-то стране? Или может не знаете, что учить из облачных технологий. А английский нужен? А он у вас точно нормальный или на уровне, когда вы все еще путаете has и have?

Что я хочу?
Пройдите плиз мой опрос. Я соберу ваши ответы и начну собирать инфу. Актуальную и объективную.

https://forms.gle/KWcWJFwtiZbosugR7

Потом сделаем с вами, кому интересно, общий созвон и поговорим на эту тему. Анонс сделаю в этом канале!

Сразу скажу, идея в голове в том, чтобы стать условным HR у компаний, чтобы сразу поднатаскать под позицию и устроить. Именно под западный стек.

Старт 8 потока BootCamp!

Для тех, кто пропустил стрим, я сделал специально отдельный ролик про наш мощнейший BootCamp для Дата Инженера.

Кто не знает, что такое BootCamp DE. Мы сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.

Смотрите на Youtube!
▶️ https://youtu.be/O4GD-zSkgcE
▶️ https://youtu.be/O4GD-zSkgcE
▶️ https://youtu.be/O4GD-zSkgcE

Ближайший старт потока — 1 сентября
Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp

Кол-во мест ограничено!

Lakehouse для аналитиков и инженеров данных

Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino. 

В программе курса:
• Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino. 
• Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой. 
• Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов.
• Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем. 
• Построение пайплайнов, инструменты  для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия. 

Кто мы: R&D-центр Devhands, наш канал.

Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B),
ex: VK Tech, М.Видео, Эльдорадо

🗓 Старт курса: 27 августа

Изучить программу и записаться можно здесь.

Ждём вас!

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8

Набор на BootCamp Сентябрь ОТКРЫТ!

ВОСЬМОЙ ПОТОК стартует уже 1 сентября!
Успей записаться через @bootcampych_bot и жми Хочу на BootCamp

Для тех, кто не знает, что такое BootCamp DE. Мы сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.

Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.

Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.

Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"

🔴 Уже в это воскресенье 2 августа 14:00 МСК делаем СТРИМ, где покажем, как сейчас выглядит BootCamp и что нового мы туда внесли!

А пока можете посмотреть ▶️ видео с прошлого потока

ссылка на СТРИМ - https://telemost.yandex.ru/live/afa760a8b2b349369d0290a40cb0c984

Ближайший старт потока — 1 сентября
Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp

Кол-во мест ограничено!

▶️ Не становись Дата Инженером, пока не посмотришь это видео!

https://youtu.be/H2afgcadVHg
https://youtu.be/H2afgcadVHg
https://youtu.be/H2afgcadVHg

Рассказываю, ЗАЧЕМ ТАК МНОГО ИНСТРУМЕНТОВ для этого Дата Инженера! АСТАНАВИТЕСЬ!
По факту раскидывал вам примеры использования на завайбкоженом сервисе — ссылка в описании к видосу.

Кстати если будут вопросы или пожелания — пишите в лс. Или если есть вопросы и хочется видео на определенную тему, тоже пишите!

Типичные вопросы с собесов на Дата Инженера Часть 2

Hadoop | Spark | DWH

https://youtu.be/BWSXh1Ussms
https://youtu.be/BWSXh1Ussms
https://youtu.be/BWSXh1Ussms

Кстати, мы уже набираем поток на BootCamp сентябрь
Запись на поток

Базовый минимум для VS CODE

Если у тебя нет этих расширений, то нам не о чем с тобой разговаривать. Это так на Патриках мне сказали, однажды, когда я убирал улицу от мусора. Еще и пять тысяч кинули в лицо из гелика.. Это был самый неоднозначный день в моей жизни.

Ближе к делу. Есть VSCode. Программа, где программисты-душнилы пишут свой никому ненужный код. Либо вайбокодят и делают вид, что работают.
Хочу поделиться самыми основными плагинами для этой програмы, которые помогают мне ПО СЕЙ ДЕНЬ БЫТЬ почти программистом.

Сразу скажу: я не собирал сюда 150 расширений, которые показывают погоду, настроение разработчика и фазу Луны во время деплоя. Только то, чем реально пользуюсь.

Black Formatter
Чтобы код не выглядел как будто его писали во время высадки в Камбодже.
Автоматически делает аккуратным. Пишете код ногами, сохраняете файл — Black его форматирует.

Можно включить форматирование при каждом сохранении:

"[python]": {
"editor.defaultFormatter": "ms-python.black-formatter",
"editor.formatOnSave": true
}


Flake8
Если Black молча исправляет форматирование, то Flake8 ходит за вами и говорит:

«Вообще-то здесь импорт не используется».
«Вообще-то переменная не определена».
«Вообще-то строка слишком длинная».
«Вообще-то ваш код нарушает правила».

То есть Flake8 — это линтер. Он анализирует код и показывает потенциальные ошибки, подозрительные места и нарушения стиля.
Открываете Python-файл — расширение автоматически запускает проверку.

DBCode
Чтобы не переключаться постоянно на DBeaver или DataGrip

DBCode превращает VS Code практически в программу для баз данных.
Можно подключиться к PostgreSQL, ClickHouse, MySQL, SQLite, MongoDB и ещё огромному количеству баз, открыть таблицы, посмотреть колонки, написать SQL-запрос и сразу увидеть результат.

По ощущениям — DBeaver встроили прямо в редактор. Очень удобно, когда одновременно пишете Python, SQL и смотрите данные.

Parquet-viewer
Чтобы посмотреть файл формата Parquet. Если что, паркет нельзя открыть и посмотреть содержимое.
Это вам не CSV или TXT. Там внутри из коробки будет нечеловекочитаемая ерунда.

Dracula Theme
Это просто тёмная тема. Там есть розовый цвет, поэтому если вы мощный мужик — это для вас.

Codex
Это coding agent от OpenAI, встроенный в VS Code.

Главное отличие от обычного ЧатаГПТ: ему не нужно вручную отправлять каждый файл по отдельности. Он может работать с репозиторием, находить нужные файлы, разбираться в связях между модулями, объяснять незнакомый код и вносить изменения.

Например, можно попросить:

- рассказать, как устроен новый репозиторий;
- найти, откуда запускается конкретный процесс;
- объяснить непонятный файл;
- добавить проверку;
- исправить ошибку;
- написать тесты;
- поменять логику сразу в нескольких связанных файлах;
- проверить изменения.

Особенно полезно, когда открываете чужой проект, видите 300 папок и понимаете, что сегодня можно было просто не просыпаться.
Но есть нюанс. Работает только, если вы не в РФ. А как быть не в РФ, но при этом в РФ — думаю все понимают.

Но кодекс правда у меня платный. Я плачу по 20 долларов в месяц на подписку GPT Plus. И я в восторге.

Если есть какие-то ваши находки, делитесь, че еще удобное можно использовать?

Подтверди скилл в Yandex Cloud со скидкой 50% 🚀

Коллеги, у нас всего пара недель, чтобы закрыть вопрос с сертификацией на льготных условиях.

До 25 сентября включительно действует скидка полцены на два экзамена от Yandex Cloud. Для дата-инженеров — самое то, чтобы официально зафиксировать свой уровень и получить весомый плюс к резюме.

Что предлагают:

1️⃣ Yandex Cloud Certified Data Engineer
База для тех, кто уже плотно работает с облачной платформой. Экзамен покрывает всё основное: загрузка и приём данных, ETL/ELT-процессы, оркестрация, мониторинг и безопасность. Хороший способ систематизировать знания и подтвердить их на практике.

2️⃣ Yandex Cloud Certified Lakehouse Data Engineer
Для тех, кто ушёл глубже и работает с архитектурой Lakehouse. Тут уже спрашивают про проектирование решений, трансформацию данных и построение пайплайнов в этой парадигме. Продвинутый уровень для серьёзных проектов.

Как проходит экзамен?
Онлайн-тестирование с прокторингом — запись на камеру, контроль нарушений. Всё прозрачно и без вариантов "списать".

📌 Успей зарегистрироваться до 25 сентября 2026:
Ссылка

Ссылка

Потом цена вернётся к обычной, так что не тяните. Удачи на экзамене! 💪

Типичные вопросы на собесе на Дата Инженера

Выпустил ролик про вопросы на собесах. Далеко не весь пулл, но постарался объяснить свои ответы.
Вопросы брал из нашего Roadmap.

Внутри вопросы по SQL, Python, Spark и Airflow

▶️ Смотреть на Youtube

Кстати, у нас открыта запись на следующий поток BootCamp (Сентябрь 2026)
@bootcampych_bot