Репост из: что-то на инженерном
В продолжение вчерашней темы делюсь серией статей - Mastering Trino and Apache Iceberg: The Modern Data Stack Explained.
Коротко: серия объясняет, как Trino и Iceberg вместе решают проблемы масштабирования, производительности и управления данными, заменяя устаревшие подходы (вроде Hive) и открывая путь к modern data stack 💅🏼
Будет очень полезно тем, кто планировал основательно разобраться с Trino и Iceberg, но откладывал это. На мой взгляд, в этой серии лучшая выжимка базы по этим инструментам.
Статьи серии:
1️⃣ Parquet и Iceberg: Фундамент Data-Архитектур
→ Зачем нужны колоночные форматы (Parquet) и табличные (Iceberg).
2️⃣ Apache Iceberg: Будущее управления данными
→ ACID, версионирование, time travel — как Iceberg решает большие проблемы data lakes.
3️⃣ Архитектура Trino и интеграция Trino и Iceberg
→ Как Trino взаимодействует с Iceberg-таблицами на уровне метаданных и данных.
4️⃣ Распределенная обработка запросов в Trino
→ Из чего состоит Trino Workflow и конфигурация источников данных
5️⃣ Мульти-источники данных в Trino
→ Как Trino обрабатывает запросы к разным БД и файловым системам одновременно.
6️⃣ Trino vs Файловые системы
→ Особенности работы со структурированными данными (PostgreSQL, Oracle) и файлами (Parquet в MinIO).
7️⃣ Практика: Запросы к Iceberg через Trino
→ Примеры создания таблиц
8️⃣ Партиционирование в Iceberg
→ Виды партиций и польза от их использования
9️⃣ Джойны и агрегации на Iceberg-таблицах
→ Оптимизация сложных запросов: как избежать «узких мест» в Trino.
1️⃣0️⃣ Iceberg vs Hive: Что лучше?
→ Чем метаданные Iceberg лучше Hive, и как это влияет на производительность.
1️⃣1️⃣ Разбор мифа «Создание таблиц Iceberg дублирует данные?»
→ Как Iceberg управляет данными через метаданные без копирования.
Коротко: серия объясняет, как Trino и Iceberg вместе решают проблемы масштабирования, производительности и управления данными, заменяя устаревшие подходы (вроде Hive) и открывая путь к modern data stack 💅🏼
Будет очень полезно тем, кто планировал основательно разобраться с Trino и Iceberg, но откладывал это. На мой взгляд, в этой серии лучшая выжимка базы по этим инструментам.
Статьи серии:
1️⃣ Parquet и Iceberg: Фундамент Data-Архитектур
→ Зачем нужны колоночные форматы (Parquet) и табличные (Iceberg).
2️⃣ Apache Iceberg: Будущее управления данными
→ ACID, версионирование, time travel — как Iceberg решает большие проблемы data lakes.
3️⃣ Архитектура Trino и интеграция Trino и Iceberg
→ Как Trino взаимодействует с Iceberg-таблицами на уровне метаданных и данных.
4️⃣ Распределенная обработка запросов в Trino
→ Из чего состоит Trino Workflow и конфигурация источников данных
5️⃣ Мульти-источники данных в Trino
→ Как Trino обрабатывает запросы к разным БД и файловым системам одновременно.
6️⃣ Trino vs Файловые системы
→ Особенности работы со структурированными данными (PostgreSQL, Oracle) и файлами (Parquet в MinIO).
7️⃣ Практика: Запросы к Iceberg через Trino
→ Примеры создания таблиц
8️⃣ Партиционирование в Iceberg
→ Виды партиций и польза от их использования
9️⃣ Джойны и агрегации на Iceberg-таблицах
→ Оптимизация сложных запросов: как избежать «узких мест» в Trino.
1️⃣0️⃣ Iceberg vs Hive: Что лучше?
→ Чем метаданные Iceberg лучше Hive, и как это влияет на производительность.
1️⃣1️⃣ Разбор мифа «Создание таблиц Iceberg дублирует данные?»
→ Как Iceberg управляет данными через метаданные без копирования.