Data Lake, Delta Lake, Lakehouse — в чём разница?
Три термина, которые вечно путают. Разбираемся 👇
🌊 Data Lake Хранилище, куда данные складываются как есть — без обработки. Таблицы, JSON, логи, видео — всё вперемешку. Структуру данным придают только в момент анализа.
Плюс: дёшево, гибко, вся история под рукой. Минус: без дисциплины превращается в Data Swamp — свалку без гарантий качества и версионирования.
⚡️ Delta Lake Формат, который чинит главную боль Data Lake. Транзакционный слой поверх облачного хранилища (S3 и т.п.).
Даёт: ACID-транзакции, Time Travel (откат к любой версии таблицы), контроль схемы, единый пайплайн для батчей и стриминга, встроенные проверки качества.
Механика: в папке таблицы лежит _delta_log — журнал коммитов. Перед запросом Delta Lake сверяется с логом, чтобы понять актуальную версию, и только потом идёт за файлами.
Придумали в Databricks, с 2019 — open-source под Linux Foundation.
🏠 Lakehouse Архитектура, которая берёт лучшее от Data Lake и Data Warehouse: данные в исходном виде, но управляются так же надёжно, как в классическом хранилище.
На чём стоит: открытые форматы + табличный слой, storage и compute раздельно, единый каталог метаданных, medallion-подход (Bronze → Silver → Gold).
Итог
Не конкуренты, а лестница: Data Lake — фундамент. Delta Lake — надёжность поверх фундамента. Lakehouse — архитектура, которая собирает всё вместе.
Три термина, которые вечно путают. Разбираемся 👇
🌊 Data Lake Хранилище, куда данные складываются как есть — без обработки. Таблицы, JSON, логи, видео — всё вперемешку. Структуру данным придают только в момент анализа.
Плюс: дёшево, гибко, вся история под рукой. Минус: без дисциплины превращается в Data Swamp — свалку без гарантий качества и версионирования.
⚡️ Delta Lake Формат, который чинит главную боль Data Lake. Транзакционный слой поверх облачного хранилища (S3 и т.п.).
Даёт: ACID-транзакции, Time Travel (откат к любой версии таблицы), контроль схемы, единый пайплайн для батчей и стриминга, встроенные проверки качества.
Механика: в папке таблицы лежит _delta_log — журнал коммитов. Перед запросом Delta Lake сверяется с логом, чтобы понять актуальную версию, и только потом идёт за файлами.
Придумали в Databricks, с 2019 — open-source под Linux Foundation.
🏠 Lakehouse Архитектура, которая берёт лучшее от Data Lake и Data Warehouse: данные в исходном виде, но управляются так же надёжно, как в классическом хранилище.
На чём стоит: открытые форматы + табличный слой, storage и compute раздельно, единый каталог метаданных, medallion-подход (Bronze → Silver → Gold).
Итог
Не конкуренты, а лестница: Data Lake — фундамент. Delta Lake — надёжность поверх фундамента. Lakehouse — архитектура, которая собирает всё вместе.