Data Human

Отзыв по модулю отслеживания движения МКС.
Стек: Airflow, ClickHouse.
В модуле определяем, на основе живых данных, над какими странами движется МКС, сколько над сушей, водой и т. д.
Участница курса ещё креативно сверила, под какими созвездиями летит МКС. ✨
Радуют идейность и инициативность. 💯

#review

Неделя тишины на канале - отвлёкся на другой проект по данным, в сфере дошкольного образования.
Подбирал разные лого и вот смотрите что я придумал! Мне кажется, лучше не может быть! Лого одновременно:

- Детская музыкальная игрушка ксилофон.
- Столбики диаграммы (данных).
- Деревянное ограждение садика - забор.

#backstage

Это просто новая функция телеграмм: позволяет объединить чаты в одно пространство, сообщество.
Я объединил свои чаты и каналы.

Приятный отзыв от участника курса.

Осталось 4 места по $40. Дальше $50.

@storm_de

Программу можно посмотреть на datahuman.net, есть демо модуль.

#review

Манящая эстетика данных

У работы с данными есть своя притягательная, даже манящая эстетика:

1. Data Engineer работает на интеллектуальные процессы: принятие решений на основе данных, подготовка данных для Machine Learning - строишь то, на чём думают компании и ИИ.

2. Навыки DE - универсальный фундамент: весь IT так или иначе занимается обработкой, хранением и передачей данных. Из DE можно перекатиться почти в любую IT-профессию.

3. Если ты разобрался в Data-тулзах и умеешь строить Data-системы - твой мозг способен освоить почти всё что угодно. +1000 к уверенности.

4. Работа с данными вырабатывает привычку опираться на факты, а не на ощущения - это переносится и на решения в жизни.

5. Данные - это способ удовлетворить наше детское стремление узнавать скрытое.

6. Данные везде, не только в ИТ системах. Нейроны в мозге передают сигналы, ДНК хранит код жизни и некоторые физики идут дальше и говорят, что и материя в своей основе - это информация.

Данные - это двигатель мира и то, из чего мир состоит. It from bit - гипотеза физика Джона Уилера: всё сущее ("it") в своей основе рождается из информации ("bit"). Вселенная в этой картине - не материя, внутри которой есть данные, а данные, из которых складывается материя.

—
На фото: инсталляция Рюдзи Икеды data.flux [LED version], 2021

#blog

@data_human

Представь, ты - junior DE в нейротех-стартапе Sign System. Продукт DataVision - носимый датчик, который ловит момент, когда человек начинает засыпать, и будит его до микросна.

Клиент - Kingsroad, автоперевозчик с 12000 фур. Боль клиента: дальнобойщик засыпает за рулём, и это стоит жизней. Разбудить - не твоя задача, это делает само устройство мгновенно. Твоя задача начинается дальше: данные с каждого датчика улетают в облако, и клиент хочет знать, где риск выше, у кого чаще эпизоды и в какие смены. Это уже аналитика на потоке, и строишь её ты.

Этот кейс ты проходишь руками на этом курсе.

Стек модуля:
Приём данных: настраиваем поток сигналов с датчика в реальном времени.
Пайплайн: ловим поток через Kafka, сохраняем в ClickHouse и собираем витрину в Metabase.

13 уроков: от ознакомления с данными до продакшн-пайплайна с контролем качества и надёжностью потока. На выходе - DE-скилл.
Это один из модулей курса - есть ещё трекер МКС (Airflow, ClickHouse) и другие модули.

Курс сейчас стоит 40 долларов - платишь один раз и получаешь все модули, включая будущие.

Сайт курса: datahuman.net
Вопросы и оплата: @storm_de

Лучшего примера для демонстрации Kafka не найти.

🧠 Модуль Data Brain: разгоняемся

Существуют реальные устройства, которые в реальном времени считывают сигналы мозга и отправляют их на сервер. Для работы с таким динамичным кейсом идеально подходит технология потоковых данных - Apache Kafka.

Определил финальный стек модуля:
- Сбор данных: настраиваем прием сигналов с нейроинтерфейса в режиме real-time.
- Пайплайн: ловим этот поток через Kafka, надежно сохраняем в ClickHouse и собираем наглядную витрину в Metabase.

По-моему, звучит довольно вкусно.

🎬 Скоро во всех кинотеатрах страны!

Анонс модуля

Представь: ты DE в нейротех-стартапе, который делает девайс против микросна за рулём и на опасных производствах.

Когда человек проваливается в дремоту, он закрывает глаза - и в мозге нарастает характерная волна. Устройство должно поймать этот момент и разбудить, пока не случился микросон.

Скоро новый модуль Data Brain: Data Engineer и нейроинтерфейсы 🧠 - ты анализируешь реальные данные мозга и учишься отлавливать момент закрытия глаз.

Область непростая, но топовая.
Про стек расскажу позже.

Модуль будет после Трекера позиции МКС. Скоро доступен участникам курса.

#announce

#backstage

Помимо курса я веду DE-сообщества на 3600+ человек и нейротех-джоб-канал. Тема работы с данными в нейротехе всплывает регулярно - решил собрать ресурсы в одном месте.

Запилил на сайте страницу-базу: курсы, книги, инструменты (MNE, MOABB, YASA), датасеты, события - всё для тех, кто хочет работать с данными в нейротехе (нейроинтерфейсы, обработка ЭЭГ, анализ данных мозга).

К основному курсу по DE не относится, но вдруг среди вас есть те, кому тема близка - залетайте: datahuman.net/neuro

Обновлениями по курсу попозже будут 🙂

«SQL я знаю» - думает почти каждый новичок. SELECT, JOIN, GROUP BY - база освоена.

Но для дата-инженера это только начало. На реальной работе с большими данными важнее другое: партиционирование, шардирование, колоночное хранение, коллокация данных. Это то, чего обычно не показывают в курсах "SQL с нуля", а на DE-вакансиях спрашивают.

В курсе я собрал карту навыков, где видно эту разницу - что нужно знать именно как дата-инженеру, а не просто аналитику. По SQL, и по всему остальному стеку: ClickHouse, dbt, Airflow, DWH, ETL, Spark.

Вот кусок по SQL 👆 (скрин)

Карта доступна участникам курса - @data_human
Вопросы: @storm_de

Обожаю автоматизировать рутину 🤖

Сделал бота для регистрации новых участников курса. Раньше приходилось заходить на сайт и вручную заполнять форму - создать аккаунт, сгенерировать пароль, собрать сообщение. Теперь делаю всё прямо из Telegram: пишу боту почту и сумму оплаты, а он сам:

- отправляет данные на сервер
- запускает скрипт регистрации
- возвращает мне готовые данные для входа участника

Меньше рутины - больше времени на контент курса.

Это то, чему учу на курсе: автоматизация, скрипты, работа с сервером. Сам живу по этим принципам 🙂

#backstage