Data engineering events


Гео и язык канала: Россия, Русский
Категория: не указана


Data engineering events 👷‍♂️👷
Made in @data_events 🔨
See also @AI_meetups @BI_events @data_career
#tgstat: https://tgstat.ru/channel/@DE_events/stat
contacts: @black_titmouse
defaults:
- time MSK (UTC+3)
- online
- free

Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
не указана
Статистика
Фильтр публикаций




Новый поток Designing Data-Intensive Applications, второе издание со следующей недели!

Звонки будут по четвергам в 18:00 по Берлину (неважно, летнее или зимнее время в Берлине), первая встреча 27 августа

Обсуждение в топике t.me/lenka_ne_club/18033.

Успейте записаться на поток в боте: /courses -> "Хочу читать кабанчика" -> "Хочу участвовать"




Lakehouse для аналитиков и инженеров данных

Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino. 

В программе курса:
• Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino
• Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой. 
• Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов.
• Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем. 
• Построение пайплайнов, инструменты  для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия. 

Кто мы: R&D-центр Devhands, наш канал.

Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо

🗓 Старт курса: 27 августа

Изучить программу и записаться можно здесь.

Ждём вас!

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8














Репост из: Analytics Engineer в мире данных
Возвращаюсь в онлайн вебинары 🙂

Залечу на вебинар на следующей неделе во вторник в легендарный DataTalksClub к поговорить (угадайте про что 😘) про Agentic для дата инженеров.

📚Описание

The Agentic Shift in Data Engineering: From Pipeline Builders to Architects of Controlled Chaos

​AI agents are changing data engineering on two fronts at once.

​In development, they compress the engineering loop: helping write SQL, generate transformations, debug pipelines, create tests, document systems, and reason about legacy codebases.

​In production, they become active participants in the data ecosystem: consuming context, calling tools, triggering workflows, creating side effects, and introducing new forms of operational chaos.

​This changes the role of the data engineer. It is no longer enough to build pipelines that move data from A to B. Data engineers now need to design the control layer for agentic systems: trusted context, data contracts, permissions, observability, audit trails, and closed feedback loops.

​🔮The future data engineer is not just a pipeline builder. They are the architect of controlled autonomy.


🔗 Если интересно, инвайт в Luma - https://luma.com/hpuirqjd


#ClickHouse — тот самый инструмент, про который все говорят: “очень быстрый”, “тащит миллиарды строк”, “почти бесплатный DWH”.

А потом ты строишь на нём DWH целиком — и знакомишься с OOM, JOIN’ами, партициями, MergeTree, мутациями и прочей взрослой жизнью 😅

Сам использую ClickHouse как основу DWH, поэтому знаю не только про “вау, он быстрый”, но и про места, где он внезапно начинает кусаться. Если вы прошли этот путь или только планируете — приходите сегодня на открытую встречу.

Поэтому особенно интересен честный разбор:
— так ли ClickHouse хорош, как его хайпят?
— можно ли на нём нормально строить DWH?
— что стало или скоро станет лучше с JOIN’ами, OOM и оптимизацией?
— как у него сейчас с Iceberg и Lakehouse?
— держит ли он удар против наступающего StarRocks?

Сегодня DevHands проводят открытую встречу по ClickHouse с Алексеем Белозерским — CDO inSales / СБЕР 2B, ex VK Tech, М.Видео, Эльдорадо.

Будет полезно аналитикам, дата-инженерам, backend-разработчикам, инфраструктурным инженерам, тимлидам и CTO — всем, кто уже использует ClickHouse или думает, можно ли на нём строить серьёзную аналитическую платформу.

В программе:
🤩 демо кейсов
⚡ потоковая загрузка и фоновые агрегации
🛠 инструменты оптимизации
🧠 хитрые вопросы: потеря данных, TTL, движки, мутации, point-запросы
💬 открытая Q&A-сессия

📅 Когда: 4 июня 2026, 18:00 MSK (да-да, через 10 минут 😁)
🎙 Ведущий: Алексей Белозерский, Chief Data Officer в inSales
🏢 Организатор: R&D-центр DevHands

Как попасть: Регистрируйтесь через бота

Если ClickHouse у вас уже в проде — я бы сходил хотя бы ради Q&A (да и сходил бы, но только на волейбол уже записался 😅 Надеюсь запись будет))


А eщё у DevHands стартует курс по ClickHouse для аналитиков и инженеров данных. Судя по программе, там не просто “пишем SELECT”, а мясо: архитектура, MergeTree, S3, Kafka, dbt/Airflow, кластеры, оптимизация, troubleshooting, Iceberg/Lakehouse и свежие релизы.

Короче, выглядит как хороший повод системно разобраться: ClickHouse — это уже DWH-платформа или всё ещё очень быстрый OLAP-движок с нюансами?

Старт 11 июня.
Программа тут




Репост из: Yandex Cloud: Data Platform
📅 Четверг с Yandex Cloud: изучаем Managed PostgreSQL и Data Lakehouse

Уже завтра, 2 апреля, вас ждёт два события от команды Yandex Cloud:

1️⃣ В 14:00 мск встречаемся онлайн с командой продукта — Михаил Савин и Степан Фомичев расскажут, как малому и среднему бизнесу настроить стабильную работу PostgreSQL в 1С без команды администраторов.
Регистрация⏪️
Ветка с вопросами и ответами в сообществе⏪️
— разберём миграцию и работу 1С в облаке
— посмотрим, чем сборка PostgreSQL для «1С:Предприятия» от Yandex Cloud отличается от стандартной (спойлер: оптимизация на уровне ядра и специальные расширения)
— покажем, как построить отказоустойчивую архитектуру
— увидим, как развернуть отказоустойчивый кластер для 1С и обеспечить надёжность данных
— изучим кейсы пользователей: как выглядят реальные архитектуры клиентов, уже работающих с 1С в облаке.


2️⃣ В 15:30 мск приглашаем вас на митап в Москве (и на прямой эфир). Наша продуктовая команда покажет вам, как развернуть и собрать Lakehouse‑архитектуру на базе сервисов Yandex Cloud — с минимальной ручной интеграцией и быстрым стартом.
Регистрация⏪️
Ветка с вопросами и ответами в сообществе⏪️

Вы узнаете, как построить современную аналитику от данных до BI:
— как хранить сырые данные в Object Storage (S3)
— организовать табличный слой на Iceberg
— обрабатывать данные в Trino и Spark
— строить быстрые витрины в ClickHouse и доводить результат до дашбордов в DataLens.

В финальном докладе поделимся видением: собственный Iceberg REST Catalog для управляемости и контроля доступа, а также AI‑агенты для ускорения работы с кодом и пайплайнами.


Спикеры события — команда продуктовых архитекторов Yandex Cloud во главе с лидером продуктовой архитектуры Леонидом Савченковым. На митапе соберём лист ожидания для раннего доступа к новым возможностям!













Показано 20 последних публикаций.