Инженерообязанный🫡 | Владимир Шустиков | Инженер Данных | Аналитик Данных

У нас украли Буткемп. Но есть один нюанс — походу, люди сами не поняли, что именно они украли💩

Сегодня нашли наш Roadmappers BootCamp на одном сайте со слитыми курсами.

Стоит 500 рублей.

Ну думаем, ладно. Дожили. Буткемп слили!

Захожу посмотреть описание.

И тут выясняется, что мы, оказывается, всё это время преподавали...

СИСТЕМНОЕ АДМИНИСТРИРОВАНИЕ 😂

Цитирую описание нашего Буткемпа:

«Востребованный курс по администрированию. Осваивайте системное администрирование, сетевые технологии и управление серверами».

Блять! 7 потоков. Больше года:

Spark. Kafka. Airflow. ClickHouse. PostgreSQL. GreenPlum. Iceberg. Trino.

Строили ETL-пайплайны. Поднимали инфраструктуру. Работали с хранилищами. Разбирали архитектуру.

А оказывается, готовили – сисадминов.

Спасибо пиратам, хоть объяснили, чем мы занимаемся 😂

Но если серьёзно, эта ситуация очень хорошо показывает одну вещь.

Слить Буткемп невозможно!

Можно слить видеозаписи лекций. И если вам нужны именно они — ребят, ну вот они, оказывается, стоят 500 рублей.(покупка на свой страх и риск, мы не знаем чем на самом делел они там торгуют)

Только сам Буткемп никогда не был набором видео. Ты можешь посмотреть 50 часов про Spark, GreenPlum и ClickHouse и остаться ровно на том же месте.

Потому что самое важное начинается после лекции. Когда тебе нужно самому:

1. Написать пайплайн.
2. Сломать его.
3. Получить ошибку.
4. Не понять, почему оно не работает.
5. Разобраться.
6. Прийти к нам с вопросом.
7. Переделать.
8. Сделать домашку.
9. Собрать pet-проект.

А потом соединить всё это в одну из работающих систем:

📍 API → S3 → ClickHouse

📍API → S3 → GreenPlum → DBT → ClickHouse

📍API → Spark → Iceberg → Trino → ClickHouse

Вот это уже Буткемп!💪

Плюс менторы, обратная связь, разборы, инфраструктура, дополнительные блокноты, комьюнити, проекты и работа над тем, как потом весь полученный опыт нормально упаковать и выйти с ним на рынок.

Этого в папку на торренте не положишь!

Так что если хотите купить «курс системного администратора»(за ваш переход по сторонним ссылкам администраторы каналов, где находится пост отвественности не несут) за 500 рублей — велком ⚪️

А мы пока продолжим работать в направлении Data Engineer.

Видео можно скачать.
Опыт придётся получить самому.
__________
И, кстати, раз уж пираты бесплатно подогнали нам рекламную интеграцию 😂

1 сентября стартует 8-й поток Буткемпа.
Осталось — 7 мест.
Записаться можно через нашего бота Буткемпыч.

На 8-й поток Буткемпа осталось 10 мест.

Уже через неделю — 1 сентября. И вместе с новым учебным годом стартует новый поток Буткемпа 🚀

За время 7-го потока мы успели очень сильно докрутить программу.

Доработали материал по Iceberg и Trino и выстроили полноценный рабочий пайплайн:

API → Spark → Iceberg → Trino → ClickHouse

Плюс мы подготовили систему для формирования легенды и описания опыта в резюме.

Причём сделали её так, что она подойдёт даже охраннику, который вчера сидел на шлагбауме, а сегодня решил залететь в IT.💪

Кому вообще нужен Буткемп?

Если ты уже знаешь SQL и Python, но дальше смотришь на Spark, Airflow, ClickHouse, Trino, Iceberg и думаешь:

«Так... а как всё это изучать и как вообще между собой связано?»

— тебе к нам.

Если ты уже работающий Data Engineer / Data Analyst или на смежных IT вакансиях и хочешь расширить стек, закрыть пробелы и структурировать знания — тебе тоже к нам!

На онлайн-занятиях мы подробно разбираем технологии, механизмы их работы и, самое главное, учимся структурно мыслить и понимать, зачем мы вообще используем тот или иной инструмент.

А материала уже стало настолько много, что физически запихнуть всё в лекции невозможно. Поэтому по технологиям мы дополнительно подготовили отдельные блокноты: можно открыть нужную тему, пройти её самостоятельно, посмотреть примеры и разобраться глубже.

Короче.

1 сентября — старт 8-го потока.
Осталось 10 мест.

Для записи переходи в бот Буткемпыч 👈

😱Буткемпик – ВСЁ!😱

Читейший Кликбейт, только без клика!😂

У нас сейчас идёт Буткемпик, и там проводится просто огромная работа над ошибками, как в лекциях, так и в материалах. По факту продукт по обучению SQL и Python с нуля получается — супербомбический!

Но, к сожалению, у меня сейчас физически не хватает времени на дополнительные созвоны и занятия с ребятами, которые не входят в рамки обязательной программы, но они нужны для дополнитеьльного объяснения и т.д. Для таких созвонов я реально ищу хотя бы час свободного времени и иногда предупреждаю ребят о них буквально за пару часов.

Нехватка времени связана с рядом объективных причин.

В первую очередь, у меня сейчас идёт ремонт в квартире, и я каждый день с утра до вечера езжу по магазинам, выбираю товары, ищу рабочих, что-то делаю сам. И в целом — ремонт это ещё та морока. 😂 Если есть желание, могу прям рассказать, поскидывать видосы с квартиры: как и что мы там делаем и в какую копейку мне всё это обходится!

А через неделю у меня заканчивается отпуск😢, и в это же время значительная часть команды пойдёт в свои отпуска. Задач на это полугодие было прям много, поэтому времени на раскачку особо не будет.👨‍💻

Опять же, параллельно будет идти Буткемп☺️. (Кстати, поторопитесь записываться: уже почти половина потока набрана, а количество мест ограничено!!!) Я готовлюсь к каждому занятию, плюс постоянная поддержка ребят, плюс постоянное улучшение контента.

Так же сейчас проживаю с семьёй в небольшом съёмном жилье, где не очень удобно проводить занятия из-за постоянных шумов на фоне во время лекций.

В общем и целом, это главные причины, почему я подзабил на Telegram-канал, не снимаю видосы на YouTube, не провожу стримы и т. д. Поверьте наслово – идей дофига и куча, а времени нет⚪️

Как только хоть немножко освобожусь, хотя бы относительно ремонта квартиры, ибо именно он сжирает большую часть времени, — сразу начну снова делать контент.

На данный момент Буткемпик (не путать с Буткемпом) ставим на паузу!

Уже сейчас мы убрали возможность записаться на Буткемпик в нашем боте. В октябре запись будет возобновлена.

Ну а пока, если есть желание, могу рассказывать, как продвигается ремонт, показывать дизайн, сколько всё это стоит, какие решения принимаем и сколько косяков встречается по дороге 😂

Ибо сейчас голова забита в основном только этим.

Набор на BootCamp Сентябрь ОТКРЫТ!

ВОСЬМОЙ ПОТОК стартует уже 1 сентября!
Успей записаться через @bootcampych_bot и жми Хочу на BootCamp

Для тех, кто не знает, что такое BootCamp DE. Мы сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.

Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.

Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.

Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"

🔴 Уже в это воскресенье 2 августа делаем СТРИМ, где покажем, как сейчас выглядит BootCamp и что нового мы туда внесли!

А пока можете посмотреть ▶️ видео с прошлого потока

Ссылку на стрим скину ближе к 2 августа!!!

Ближайший старт потока — 1 сентября
Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp

Кол-во мест ограничено!

Самое сложное в получении премии – это не работа

А написать самому про себя. 😂

Сейчас у меня в компании проходит мероприятие, так называетмое "Оценка 360 – Review". И когда приходит время, начитается: А что ты делал? Чем занимался? Каких успехов достиг?

Нууу... работу делал.

Потом открываешь список своих задач за полгода:

🤢Миграция
🤢Стриминг
🤢ClickHouse
🤢Flink
🤢Iceberg

И вроде понимаешь, что работы было дохрена, но писать про себя всё равно максимально неловко и не знаешь от чего оттолкнуться.

И в конце концов еще нужно описать коллег и коллеги пишут о тебе.

Я думал, что люди будут писать что-то вроде:

— Володя сделал миграцию.
— Володя шарит в ClickHouse.
— Володя настроил стриминг.

Но если почитать отзывы они в целом вообще были не про технологии.

Они про то, что:

• всегда можно прийти спросить
• объясняю сложные вещи простыми словами
• провожу митапы
• помогаю быстрее разобраться в новых технологиях
• и т.д. (можете почитать сами)

И в этот момент я поймал себя на мысли. Еще пол года назад думал, что премия зависит от количества закрытых карточек и от быстры выполнения задач.

На самом деле — нет!

Во многих компаниях оценивают не только что ты сделал, но и какое влияние оказал на команду.

Код рано или поздно перепишут. А вот то, что благодаря тебе люди стали работать быстрее и сильнее, — обычно запоминают надолго.

Мне кажется, это вообще одна из самых недооценённых тем в IT. Многие думают, что главное — закрывать тикеты. А потом удивляются, почему человек, который сделал меньше задач, получает выше оценку и большую премию. Очень часто разница именно в софт-скиллах и в том, какое влияние ты оказываешь на команду.

Софты решают!

Ну всё, ухожу из IT на стройку. 👷

На самом деле просто давно не выходил на связь. Каюсь! Но, кажется, у меня есть уважительные причины. 😄

1️⃣ Работа

В последнее время на работе образовался настоящий завал. Новые задачи, новые направления, пришлось во всё это активно погружаться и разбираться.

2️⃣ Буткемпик

У нас сейчас идёт первый поток, и оказалось, что создать программу — это только половина дела. После каждой лекции собираем обратную связь и спрашиваем: что улучшить, где-то перестроить объяснение, добавить реальные кейсы, но при этом сохранить формат обучения с полного нуля. Приходится находить время и повторно читать лекции.

Короче говоря, курс для начинающий постоянно становится лучше!

3️⃣ И самое приятное...

🎉 Я ПОЛУЧИЛ КЛЮЧИ ОТ СВОЕЙ КВАРТИРЫ!🎉

А дальше всё как положено: приёмка, документы, замеры, дизайнер, бесконечные поездки в квартиру и ощущение, что ремонт — это ещё одна полноценная работа.

Теперь после основной работы, Буткемпа, менторства и созвонов начинается вторая смена — ремонт. 🔨

Так что если вдруг в канале начнут появляться стены, электрика, мешки с клеем и прочие радости взрослой жизни — не удивляйтесь. 😂

Если честно, тема ремонта меня уже начинает затягивать. Вчера, например, несколько часов с дизайнером бегали с рулеткой, размечали стены, окна и будущую мебель. И оказалось, что там тоже куча интересных нюансов.

Так что, если вам интересна тема ремонта или у вас есть опыт, которым готовы поделиться, — с удовольствием пообщаюсь. Думаю, ошибок я ещё успею наделать достаточно. 😄

И, кстати...

Нас уже больше 4000 человек! ❤️
Честно, до сих пор не верится. Хотя если бы каждый скинулся всего по 2000 рублей, я бы уже ипотеку закрыл... 😂

Ладно-ладно, это была шутка. (Ну почти.)

#кейсы

Как мы сократили время OPTIMIZE в ClickHouse почти в 2 раза

Есть таблица на ReplacingMergeTree, для которой регулярно выполнялся:


OPTIMIZE TABLE schema.table FINAL
SETTINGS optimize_throw_if_noop = 1;


Поначалу всё работало отлично. Но со временем таблица выросла примерно до 200 ГБ (в сжатом виде).

В какой-то момент начались инциденты.

📌Что произошло

Таблица была непартиционированной, поэтому OPTIMIZE FINAL каждый раз фактически проходил по всей таблице. Когда объем данных вырос, оптимизация перестала укладываться в таймаут драйвера с ClickHouse. На графике это видно как серию падений DAG (оранжевая область).

Чтобы восстановить работу, пришлось просто увеличить timeout драйвера. Выполнение стабилизировалось, но появилась другая проблема – каждая оптимизация стала занимать 3–4 часа. По итогу Time to Market у нас пошел по одному месту.

📌Решение

Так как нужно было удалять дубли в рамках ключа, применили хеш-партиционирование по ключу сортировки разбив её на 16 частей:


PARTITION BY cityHash64(id) % 16


После этого:
1) пересобрали таблицу;
2) выполнили EXCHANGE TABLE;
3) оптимизация стала выполняться параллельно по каждой партиции отдельно, а не по всей таблице сразу.

📌Итог

📊 На графике хорошо видно три этапа:

🟠 Инциденты – OPTIMIZE перестал укладываться в таймаут и начал падать.
🔵 Временное решение – Увеличили timeout соединения. Проблема исчезла, но время выполнения выросло до 3–4 часов.
🔴 Я тут как раз пересобирал таблицу
🟢 Окончательное решение – Перешли на хеш-партиционирование.

В результате время выполнения OPTIMIZE FINAL сократилось примерно в 1.5 раза, а сама операция стала значительно стабильнее.

Понятное дело, что мы можем еще поработать над параллельностью, над кодеками самих колонок, разложить не на 16 частей, а например на 32 и т.д., но важно понимать это инцидент, а не полноценная задача. Соответсвенно нужно сделать быстро и чтобы работало исправно! Как только и тут зайдём за SLA в 2 часа, то начнём думать, что делать дальше, вплоть до того, чтобы оставлять только нужные данные, а остальные отправлять в архив.

_____________________

Хочешь изучить Python и SQL записывайся на 1й поток "Буткемпик" через @bootcampych_bot, старт через 2 дня – 1 июля!

🎉 У меня сегодня день рождения — исполнилось 29 лет!

Если бы можно было дать совет себе из прошлого, я бы сказал всего одну фразу:

Красавчик. Ты и так всё делаешь правильно и добьёшься всего чего хочешь!

За последние несколько лет произошло столько всего, что вернувшись назад я(из прошлого) бы в это просто не поверил.

Так что погнали дальше. Инсульт в 40 сам себя не получит🤣

🔥ЗАПУСКАЕМ НОВЫЙ ПРОЕКТ🔥

Друзья, команда Roadmappers.ru официально запускает новый продукт "Буткемпик"!

Мы запускаем первый поток, где за 18 занятий вы не просто изучите SQL и Python, а пройдёте путь от базовых запросов до решения настоящих рабочих кейсов Инженера Данных, Аналитика Данных и т.д.

📅 Продолжительность программы — 2 месяца.

Формат обучения:

Формат обуения будет ОДИН в ОДИН, как на Буткемпе, а это значнит:
🔥Живые лекци. Не заканчиваем лекцию пока не закроем все вопросы!
🔥Чуть ли не круглосуточная поддержка с живым чатом
🔥Домашние задания и конечная проектная работа
🔥Доступная инфраструктура, нужен только браузер
🔥Обучение проходит на реальных кейсах
🔥Каждая лекция записывается, так что если даже пропустил занятие не парься

SQL-блок:

1. Первый SELECT и фильтрация → SELECT, типы данных, простые функции, WHERE, AND/OR, IN, BETWEEN, LIKE, ILIKE, CAST.
2. Трёхсостоятельная логика, NULL, CASE, сортировка, уникальность → NULL, NULLIF, COALESCE, CASE, ORDER BY, DISTINCT. NULL, ломающий NOT IN.
3. Соединение таблиц → INNER JOIN, LEFT/RIGHT JOIN, FULL JOIN, CROSS JOIN.
4. Агрегация данных → GROUP BY, агрегатные функции, HAVING, типы (DATE, TIMESTAMP, INTERVAL), функции (date_trunc, extract)
5. DDL (структура базы) + DML (манипуляция данными) → CREATE, ALTER, DROP, ограничения. INSERT, UPDATE, DELETE, UPSERT, кейсы загрузки данных.
6. Операции над выборками → UNION, UNION ALL, EXCEPT, INTERSECT, подзапросы, CTE.
7. Оконные функции → ранжирование, агрегации, смещения (LAG/LEAD).
8. Сложные аналитические кейсы → «последнее действие пользователя», «перевод хранения срез → интервалы», «скользящее окно»,«сравнение таблиц до и после преобразований».
9. Оптимизация запросов → порядок выполнения, EXPLAIN, планы запросов, виды JOIN, VACUUM, ANALYZE. Индексы и партиции → B-tree, кластерные индексы, партиционирование.

Python-блок:

1. Почему именно Python и наша первая строчка кода → пеhвый print, переменные, типы данных, операции над данными, условия if/elif/else, ввод данных input()
2. Структуры данных → списки, словари, кортежи, множества. (list, dict, tuple, set). Основные их методы.
3. Циклы и обработка данных → for для различных структур данных, while и бесконечные циклы.
4. Функции и структурирование кода → функции def, генераторы, передача аргументов (*args, **kwargs)
5. Работа с файлами → как считывать файлы, как их обрабатывать. Pandas – наше всё! Ехууууу.... Строим первый ETL-процесс.
6. Ошибки, исключения и логирование → try/except/finaly наше всё! Правильное логирование ошибок, залог успешного разработчика!
7. Работа с API и загрузка данных в БД → Библиотека requests, ну и познакомимся с загрузкой данных через psycopg и pandas
8. Рабочий кейс → по выгрузке, трансформации и загрузки данных. Посмотрим на реальную рабочую задачу Инженера Данных/Аналитика Данных.

Стоимость.

Вся эта красота стоит всего 12_000 рублей за весь поток. Также доступны беспроцентные рассрочки на 2 месяца.

Подытожим, за эти деньги вы получаете:
✅ 18 полноценных занятий с преподавателями.
✅ Проверку домашних заданий.
✅ Поддержку в чате.
✅ Итоговый проект.
✅ Практические навыки, которые можно применять в работе уже во время обучения.

И всё это в десятки раз дешевле, чем индивидуальная работа с ментором или с репетитором. Всего 650 рублей за занятие.

🚀 Если давно хотели начать путь в IT, подтянуть SQL и Python или сделать первый шаг в сторону Data Engineering и Data Analytics — сейчас самое время.

Старт 1го июля!!. Приобретай и залетай на первый поток через бота @bootcampych_bot и выбирай "Хочу на БуткепИК"!

P.S.
Первый поток будет обкатываемый(где-то материал добавим, где то уберём), поэтому стоимость составляет всего 12_000 ₽. В следующих потоках цена может быть пересмотрена. Кол-во мест ограничено!

🟠ВОТ ЧТО БЫЛО И ВОТ ЧТО СТАЛО🟠

На первом скрине — наш Буткемп год назад. На втором — то, во что он превратился сегодня.

Если честно, когда мы с Женей только начинали, всё было намного проще. Тогда мы работали со Spark, ClickHouse и Airflow, показывали ребятам реальные процессы из своей работы и вели всех через один небольшой и простой пет-проект. Для этого двух месяцев было более чем достаточно.

Мы сами ещё многого не знали. Учились, набивали шишки, меняли работу, попадали на новые проекты и каждый раз приносили этот опыт обратно в Буткемп.

За этот год программа сильно изменилась.

Появились:
🌟 GreenPlum
🌟 DBT
🌟 Trino
🌟 Iceberg + S3
🌟 дополнительные проекты
🌟 больше практики
🌟 больше домашних заданий

И это ещё не конец! Уже сейчас мы активно работаем со стримингом и практически уверены, что в будущих потоках появятся Kafka, Flink, NiFi и другие инструменты потоковой обработки данных.😈

Но вместе с этим появилась и другая проблема.🤢

Когда-то мы говорили, что для комфортного обучения понадобится 7–10 часов в неделю. Сегодня реальность такая, что многим требуется уже 10–15 часов.😠

Материала стало настолько много, что два месяца перестали быть идеальным форматом. Нам даже пришлось сократить количество мок-собеседований, чтобы успевать проходить всю техническую программу.

Поэтому после завершения 7 потока(июль-август) мы планируем взять паузу и подумать над дальнейшим развитием проекта.

🤔Возможно, Буткемп станет длиннее.
🤔Возможно, обучение инструментам и подготовка к собеседованиям станут отдельными продуктами.
🤔Возможно, появятся совершенно новые форматы.
😭А возможно его больше вообще не будет!

Но одно можем сказать точно.

За этот год Буткемп перестал быть просто набором лекций. Сегодня это уже полноценный путь от SQL и Python до современного Data Engineering стека.

И всё это благодаря Вам — людям, которые доверили нам своё обучение и свое будущее ❤️


Попасть на 7 поток можно здесь: @bootcampych_bot

Большой подкаст про дата-инжиниринг и аналитику!

Обсудили, чем на практике отличаются дата-инженеры, дата-аналитики и продуктовые аналитики, какие задачи у каждой роли, какие инструменты нужно знать и почему между аналитиками и инженерами иногда возникают конфликты.

▶️ https://youtu.be/rNkFGDsvCog
▶️ https://youtu.be/rNkFGDsvCog
▶️ https://youtu.be/rNkFGDsvCog

О чем:
— зарплаты Data Engineer и Data Analyst
— SQL, Python, Airflow, Spark и другие инструменты
— собеседования, резюме и карьерный рост
— AI в Data-сфере
— обучение, курсы и переход в IT после 30+

Про деньги, вход в профессию, накрутку опыта, возраст, курсы, софт-скиллы, ответственность и реальную работу с данными.
Если думаете, куда идти — в аналитику или дата-инжиниринг — этот выпуск поможет лучше понять обе профессии изнутри.

ссылки на авторов:
Я — Дата Инженер
Инженерообязанный
Аналитический джаз

Всем ёуууу!😎✌️

Давно не писал ничего нормального и душевного. А знаете почему?

Я обленился до нельзя. Вот прям максимально.

Работа ещё как-то держит меня на плаву — и всё.

Сейчас мой день выглядит примерно так:

Проснуться -> открыть комп -> сходить на встречки -> поделать задачки -> лечь спать.

И самое забавное — когда-то я о таком графике мечтал. Но, как оказалось, когда у тебя пропадает какая-либо движуха, ты начинаешь потихоньку превращаться в овоща. Я перестал развиваться как физически, так и умственно. Из-за этого начинаешь сам себя загонять в какой-то депресняк: тяжело вставать по утрам, ничего не хочется делать, энергия на нуле и так далее.

Но хватит это терпеть!

Если с физической частью всё понятно — пойду куплю абонементик в зал, и на вас это никак не повлияет, то вот с МОЗГАМИ ситуация интереснее.⚪️

Хотя кого я обманываю… Я просто купил такой же “абонемент”, только для мозга — записался на курс Глеба Михайлова по алгосам.

Почему именно туда:

1. Глебушка — один из первых IT-блогеров, которого я начал смотреть ещё когда хотел стать “Аналитиком Данных”. У него какая-то уникальная харизма, он как родной человечик. Чего только стоит объяснение матстата на примере “Виноградного дня”(Кто помнит — тот сейчас пустил скупую слезу. И это я про напиток).

2. Да, я мог просто открыть LeetCode и решать задачки сам. Но мне захотелось именно какого-то группового и дружеского вайба.

3. Это ещё и повод снова писать вам про обучение. А то блог про учёбу\работу\продукты – есть, а когда я сам в последний раз рассказывал, что чему-то учусь — уже и не помню.

4. Ну и как говорил один дед: “Алгосы для того учить надо – потому что они ум в порядок приводят”.

Я уже пообщался с Глебом лично, и мы оба пришли к выводу, что я сутулая псина🐶🐶, которой срочно нужно трансформироваться в леопарда 🐆

Так что с 1 июня стартует процесс – ЭЭЭВВВООООООЛЛЛЛЮЮЮЮЦЦЦИИИИИИИИИ.(тут типо замеднение)

А ещё у меня в планах начать подрубить стримы на YouTube и Twitch с процессом моего обучения. Начну как раз с прохождения этого курса, а дальше буду разбавлять всё интересным и весёлым контентом.

Идей уже накопилось прилично. А исполнять их лень. Вон вторую часть про движки клика уже 2 месяца сделать не могу!
Но об этом чуть позже!