5 minutes of data


Гео и язык канала: Россия, Русский
Категория: Образование


I’m making my life less dull by spending time learning and researching “how it works“ in the data engineering field.
Интерактивный учебник SQL
https://querynomic.one/#/
по всем вопросам @just_vanich

Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Образование
Статистика
Фильтр публикаций


Ну опять тема про курсы

В прошлый раз обсуждали вкатунов и менторов.

В этот раз, про серьёзных ребят, которые свой старый опыт выдают за новое движение.

Что у нас есть?

Канал Архитектор данных, который учит строить Modern Data Stack.

Я когда читал его пост, волосы вставил дыбом.
Он точно понимает как работать с данными?

Ну давайте разбираться.

Архитектор работает в VK.
В VK я не видел публичных кейсов с Apache Iceberg.

И даже если он там есть, архитектор в большой корпорации - это чаще всего не человек, который руками что-то внедрял.

Максимум, прочитал пару постов, посмотрел доклады, упаковал в презентацию и пошёл продавать.

Почему ещё я ему не доверяю?

Потому что это классический gatekeeper, белая кость айти.

Он считает себя настоящим айтишником, потому что закончил МФТИ.

Он сам пишет, что его взяли по знакомству, дальше он, по сути, всё время был лидом.

То есть человек не проходил рынок, не менял компании, не работал в разных культурах, не строил систему с нуля.

Он не понимает, как живут обычные инженеры. И, похоже, не особо понимает, как реально работает дата вне одной корпоративной песочницы.

(Он удалил старые посты про устройство по знакомству.)

Последний кейс, который он рекомендовал, он просто форкнул публичный репозиторий и выставляет его за свой.
(Типичная тема для ВК)

Как по мне, это верх некомпетентности.
Если уж воруешь, воруй красиво.

И что получаем на выходе?

Он сейчас рекламирует и продает курс по modern data stack.

Канал под красивым названием рассказывает про красивые концепции, которые сам до конца не понимает.

А собственно, почему у меня подгорает?

Есть крутые ребята, которые делают офигенный контент в теме даты и причем бесплатно.

Например:
Иван Шамаев
Стас про StarRocks
Артемий про реал ный Modern Dats Stack

Что хотел сказать своим постом?

Мне не нравится, когда хотят обмануть, вдвойне не нравится, когда обманывают коллег по цеху.

@five_minutes_of_data


Вслед за DBT Airflow тоже выложили agent skills

Astronomer выложили 18 open-source скиллов, которые превращают Claude Code (и других агентов) в Airflow-инженера, а не в генератор кривых DAG’ов.

Вот список скиллов:

authoring-dags
Создание и тестирование DAG’ов - пишет DAG’и, запускает тесты и итеративно чинит, пока всё не проходит

debugging-dag
Дебаг падающих пайплайнов - тянет логи, находит root cause и предлагает исправление

annotating-task-lineage
Трассировка data lineage - строит зависимости upstream и downstream между тасками

migrating-airflow-2-to-3
Миграция с Airflow 2 на 3 - находит breaking changes и переписывает DAG’и

cosmos-dbt-core
dbt + Cosmos - превращает проекты dbt Core в Airflow DAG’и

airflow-hitl
Human-in-the-loop - добавляет approval gates в Airflow 3.1

managing-astro-local-env
Управление локальным окружением — запуск, остановка и дебаг Airflow через Astro CLI

♾️Github repo♾️

@five_minutes_of_data


Make your AI better at data work with dbt's agent skills

Вот и dbt Labs выложили в open source набор agent skills для AI-кодинг-агентов.
Скиллы покрывают полный цикл работы с dbt: от построения и изменения моделей, написания тестов и исследования источников данных, до управления semantic layer через MetricFlow, операционных задач (дебаг джобов, настройка dbt MCP server) и миграций с dbt Core на движок dbt Fusion.

Важно, что скиллы разного масштаба: один описывает весь workflow аналитической инженерии целиком, другие решают узкие, контекстные задачи.
Репозиторий будут постепенно расширять и дорабатывать, а недостающие сценарии предлагают приносить через issues.
Теперь у вас в команде есть junior analytics engineers 😅

♾️Post♾️

♾️Github repo♾️

@five_minutes_of_data


AI Engineer Role Event Series

В 2026 году AI Engineer стал одним из самых популярных тайтлов, но что за ним реально стоит, до сих пор неочевидно.
В разных компаниях под этим названием скрываются совершенно разные роли, ожидания и требования.

Алексей(тот самый, легендарный автор Zoomcamp) решил разобраться системно: проанализировал более 1 500 вакансий, десятки публичных репозиториев и дополнительно собирает обратную связь от кандидатов и действующих AI-инженеров.
Цель - понять, как сегодня на самом деле определяют эту роль, как проходят интервью и по каким критериям оценивают тестовые задания.

Результаты он разберёт в серии из трёх live-сессий в Zoom:
— что сегодня называют ролью AI Engineer
— как выглядят интервью
— какие take-home задания дают и как их проверяют

Если работаете с LLM, ML или думаете о переходе в AI-инженерию, будет полезно.

@five_minutes_of_data


Новый кейс от команды СберЗдоровья: как мы построили собственную платформу Data Vault на dbt-core

В новой статье на Хабре команда делится опытом решения сложной задачи интеграции десятков источников и существующей аналитической логики в единую DWH-архитектуру через Data Vault.
Когда классический переход на DV «на ходу» оказался ресурсоёмким, команда выбрала свой путь с самописным приложением, Datahub и dbt + Automate-DV на базе Trino/S3/Iceberg.

В статье рассказывают:
• почему отказались от прямого перехода на Data Vault и выбрали гибридный approach;
• как через CDC (Debezium + Kafka-Connect) получают near-real-time данные с минимальной нагрузкой на источники;
• как dbt + шаблоны Automate-DV автоматизируют построение raw DV слоёв (stage, hubs, links, satellites и др.);
• и как Transform App с UI-канвасом заменяет ручное моделирование сотен таблиц, ускоряя работу от часов до минут.

Полезная статья для всех, кто строит масштабируемые DWH на основе Data Vault с dbt-фокусом.

@five_minutes_of_data

891 0 32 1 13

A Modern Python Stack for Data Projects

Автор собрал шаблон репозитория для data-проектов на Python и решил объяснить, почему именно такой набор инструментов.

Базовый цикл, который теперь используется почти везде, простой:
окружение и зависимости через uv, автоматическое качество кода через ruff, типы через ty, исследование данных в Marimo и локальная аналитика в Polars, когда важна производительность.
Этого достаточно, чтобы стартовать проект без костылей.

Исторически Python рос быстрее, чем его инструменты. Он стал стандартом в науке и индустрии, но менеджмент зависимостей, виртуальные окружения и версии Python годами оставались источником фрустрации.

Переломный момент - инструменты от Astral.
Это команда, которая методично пересобирает Python-тулчейн с упором на скорость и UX. uv, ruff и ty закрывают большую часть того, что раньше требовало десятка разрозненных утилит.

uv - ключевой элемент.
Это быстрый менеджер зависимостей и проектов на Rust, который по факту заменяет pip, virtualenv, pip-tools и часто Poetry.
Он автоматически управляет .venv, работает и с requirements.txt, и с pyproject.toml, пишет lockfile для воспроизводимости и делает это на порядки быстрее pip. Плюс встроенное управление версиями Python: можно зафиксировать нужную версию, и uv сам её скачает.

ruff делает то же самое с качеством кода.
Это линтер и форматтер в одном лице, который покрывает flake8, isort и black, но работает в разы быстрее.

ty - логичное продолжение.
Это современный type checker, который ставит скорость и мгновенную обратную связь во главу угла. Он ещё молодой, но уже сейчас даёт более понятные ошибки и лучше вписывается в редактор.

Помимо Astral, есть и другие важные игроки.
Marimo - первый ноутбук, который позволяет отказаться от Jupyter. Он реактивный и детерминированный: порядок выполнения определяется зависимостями, а не кликами мыши. Никакого скрытого состояния. При этом ноутбук - это обычный Python-файл, который нормально живёт в Git, запускается как скрипт и может использоваться как модуль. Для исследований и прототипов это огромный шаг вперёд.

Для локальной работы с данными - Polars.
Это DataFrame-библиотека с Rust-движком и ленивой моделью выполнения. Ты описываешь, что хочешь получить, а Polars оптимизирует план сам: pushdown, параллелизм, стриминг, работа с Parquet и Arrow без лишних копий. Производительность высокая по умолчанию, без перехода к распределённым системам. Плюс отличная интеграция с DuckDB, если хочется смешать DataFrame-подход и SQL.

В довесок - стандартный, но проверенный набор: Docker для воспроизводимости, MkDocs для документации и Commitizen для нормальной истории коммитов и автоматических релизов.

♾️Post♾️

♾️Github repo♾️

@five_minutes_of_data


Postgres как точка контроля для Iceberg

Всю аналитику он просто отдает DuckDB.
На выходе транзакционные апдейты в lakehouse и быстрые аналитические запросы в одном SQL, так работает pg_lake.

pg_lake - это набор расширений, который позволяет читать и изменять Iceberg-таблицы напрямую из Postgres. Для тяжелой аналитики используется DuckDB, запущенный в отдельном сайдкар-процессе pgduck_server, который подключается к выполнению запроса во время исполнения.

Приложение отправляет в Postgres запрос, например посчитать нереализованный PnL по тикеру Disney. Postgres парсит запрос и выделяет часть, где нужно посчитать среднюю цену по историческим данным из lakehouse.
Этот фрагмент он передает в pgduck_server. Там DuckDB читает Iceberg, при необходимости используя кэш, считает среднюю цену и возвращает результат обратно.
После этого Postgres джойнит его с локальными данными портфеля, считает PnL и отдает итог приложению.

Снаружи это выглядит как обычный SQL-запрос. Внутри Postgres занимается транзакциями и логикой, а DuckDB сканами и агрегациями по lakehouse.

@five_minutes_of_data


Why Text-to-SQL so hard?

Text-to-SQL выглядит очень простой идеей: пользователь пишет вопрос обычным языком, система превращает его в SQL и возвращает ответ. С ростом чат-интерфейсов стало очевидно, что формулировать вопросы текстом людям проще и привычнее, чем кликать поля в BI или писать запросы вручную. Поэтому почти все современные BI-инструменты пытаются встроить такой интерфейс.

Проблема в том, что естественный язык изначально неточный. Люди постоянно опускают контекст, используют расплывчатые формулировки и подразумевают вещи, которые понятны им самим, но не формальной системе. «Продажи», «последний месяц» или «праздник» могут означать разные вещи в зависимости от компании, страны или даже команды. Человек в такой ситуации задаст уточняющий вопрос, а модель вынуждена интерпретировать запрос в одиночку и часто делает это неверно.

Вторая проблема - реальные корпоративные базы данных. Они редко бывают аккуратно смоделированными. В них несколько версий одной и той же метрики, неочевидные связи между таблицами, исторические костыли и бизнес-логика, которая существует только в головах людей. Даже опытные дата-инженеры тратят месяцы, чтобы разобраться, какие таблицы и расчёты «правильные». Ожидать, что модель, не знающая контекста компании, сможет стабильно писать корректные запросы, довольно наивно.

Наконец, text-to-SQL - это не просто перевод из одного языка в другой. Один и тот же текстовый вопрос может быть корректно выражен десятками разных SQL-запросов. При этом SQL строгий, чувствителен к диалекту, плохо прощает ошибки и легко превращается в нечитаемый и неоптимальный код. В результате модели либо галлюцинируют поля и таблицы, либо генерируют рабочие, но неправильные или неэффективные запросы.

Заметно улучшить ситуацию помогает семантический слой. Он фиксирует бизнес-понятия, определения метрик и связи между сущностями, скрывая сложность физической схемы данных. В таком подходе модель больше не пытается понять устройство базы данных и не гадает, как именно считается тот или иной показатель. Она оперирует заранее определёнными бизнес-концепциями, а это резко снижает неоднозначность.

Хороший пример - подход Holistics. Вместо того чтобы генерировать SQL напрямую, они используют промежуточный аналитический язык AQL, построенный поверх семантического слоя. Модель переводит текстовый запрос в AQL, а уже система конвертирует его в SQL. Это означает, что модель описывает намерение на уровне бизнеса, а не работает с низкоуровневым языком запросов. Такой результат проще проверить человеку, сложнее «сломать» и легче контролировать с точки зрения бизнес-логики и доступов.

Главный вывод здесь в том, что проблемы text-to-SQL связаны не столько с качеством моделей, сколько с тем, что мы пытаемся заставить их работать на слишком низком уровне абстракции. Без семантического слоя и явных бизнес-определений любой прямой перевод текста в SQL будет хрупким. Более правильное решение - сначала зафиксировать смысл и намерение, а уже потом превращать их в исполняемый запрос.

Оригинальный текст с подробным разбором и примерами.

@five_minutes_of_data


Arrow + ADBC + dlt — новый speed limit для ingestion

DLT недавно сделал бенчмарк, и результат получился интересный:

EL-пайплайны ускоряются примерно в 3.7 раза, если просто перестать ломать Arrow по дороге.

Проблема в том, как обычно устроен ingestion.
Даже если источник уже отдаёт данные в Arrow, дальше они почти всегда проходят через Python.

Arrow-таблица превращается в миллионы dict’ов, потом это всё скармливается ORM или SQLAlchemy, а уже оттуда летит в базу.

Формально пайплайн работает, но по факту мы берём columnar-данные и насильно запихиваем их в row-based мир.

В этот момент Arrow раздувается в Python-объекты, и всё, ради чего он вообще существует, исчезает:
векторизация, zero-copy, нормальная работа с кэшем.

CPU начинает тратиться не на данные, а на сериализацию и сборку мусора.
Поэтому стадия нормализации, которая по идее должна занимать миллисекунды, внезапно занимает минуты и выглядит это как ну, данные большие, ничего не поделаешь.

Решение оказалось банально простым: вообще не выходить из columnar-пути.
Arrow остаётся Arrow от источника до приёмника, ADBC даёт columnar-доступ к базе, а dlt просто оркестрирует этот процесс.

На выходе те самые ~3.7× ускорения, заметно меньшая нагрузка на CPU и ощущение, что пайплайн наконец-то делает работу, а не борется сам с собой.

А если делать ingest с ConnectorX, то вообще будет пушка.

Про то, как arrow захватывает мир данных, был пост в канале.

♾️benchmark ♾️

@five_minutes_of_data


Text2SQirreL 🐿️ : Query your data in plain English

Дообученная модель Text2SQL преобразует вопросы на естественном языке в исполняемые SQL-запросы и работает полностью локально, без облачных зависимостей. Это обеспечивает максимальную приватность и контроль над данными.

Модель на 4B параметров демонстрирует качество на уровне учителя с 685B параметров по метрике LLM-as-a-Judge и превосходит его по exact match. Облегчённая версия на 0.6B параметров достигает 74% точности и подходит для edge-развёртываний.

@five_minutes_of_data


Dash

Dash - это самообучающийся data-агент, который опирается на шесть уровней контекста и непрерывно улучшает качество ответов по мере использования.

Он решает ключевые проблемы сырых LLM при генерации SQL:
отсутствие бизнес-контекста, нехватку tribal knowledge и неспособность учиться на прошлых ошибках, из-за чего запросы часто оказываются некорректными или вводящими в заблуждение.

Dash достигает этого за счёт интеграции нескольких слоёв контекста и уникального самообучающегося цикла. Система сохраняет как курируемые Knowledge, так и автоматически выявленные Learnings из предыдущих взаимодействий, что позволяет со временем генерировать более точный и контекстно-осмысленный SQL.

@five_minutes_of_data


prek

pre-commit - это фреймворк для запуска хуков, написанных на разных языках.
Он управляет языковыми toolchain’ами и зависимостями, необходимыми для выполнения этих хуков.

prek - это переосмысленная версия pre-commit, написанная на Rust.
Он спроектирован как более быстрый, не требующий зависимостей и drop-in-совместимый альтернативный вариант, а также включает ряд давно запрашиваемых возможностей.

Несмотря на то что prek довольно новый инструмент, он уже используется в реальных продакшн-проектах, таких как CPython, Apache Airflow, FastAPI и других.


Возможности

• Один бинарный файл без зависимостей - не требует Python или какого-либо другого рантайма.
• Быстрее pre-commit и более эффективен по использованию дискового пространства.
• Полностью совместим с оригинальными конфигурациями и хуками pre-commit.
• Встроенная поддержка монорепозиториев (workspace mode).
• Интеграция с uv для управления Python-виртуальными окружениями и зависимостями.
• Улучшенная установка toolchain’ов для Python, Node.js, Bun, Go, Rust и Ruby, общих между хуками.
• Встроенные нативные реализации некоторых популярных хуков на Rust.

@five_minutes_of_data


FOMO fear of missing out.

Ощущение, что вокруг что-то происходит, а ты остаёшься в стороне.
У разработчиков это чувство знакомо давно.

Работаешь с DWH на Greenplum - открываешь Twitter, там обсуждают Trino.
Заходишь в Telegram - читаешь кейсы миграции на новый стек.

Возникает ощущение, что индустрия движется быстрее, чем ты.

Во фронтенде это давно стало мемом: фреймворки выходят быстрее, чем их успевают выучить.
Только разобрался с инструментом - он уже считается устаревшим.

Месяц назад на русском вышла книга про prompt engineering для LLM.
Оригинал опубликовали два года назад.

За это время подходы к промптам менялись несколько раз.
То, что работало в GPT-3, не работает в GPT-4.
Best practices полугодичной давности сегодня выглядят как antipattern.

В «Алисе в стране чудес» была фраза:

Чтобы оставаться на месте, нужно бежать изо всех сил.


Раньше это звучало как метафора, сейчас - как описание работы в tech.

С появлением AI это ощущение усилилось.

LinkedIn заполнен постами про AI-агентов в продакшене.
На Reddit обсуждают новые возможности Claude.
В статьях пишут про AI-native IDE, которые пишут код лучше разработчиков.

Пока настраиваешь cursor rules - выходят skills.
Пока разбираешься со skills - появляется MCP.
Пока читаешь про MCP - обсуждают следующую технологию.

В какой-то момент приходит усталость от постоянной гонки.

Гнаться за каждым трендом не стоит: рискуете выгоранием без пользы для проектов.
Новый AI-tool еженедельно тестировать бессмысленно: настройте 2–3 (Claude, Cursor).

AI полезнее применять в текущей работе.

Всегда есть работа, есть проекты, есть код который нужно писать.
Попробуй использовать AI именно там.

 • настроить IDE под свои сценарии,
 • попробовать несколько моделей,
 • выбрать подходящую,
 • поюзай Claude Code в терминале для рутинных скриптов.

Не становитесь экспертом за месяц, начните использовать инструменты спокойно и без давления.

Если хочется разобраться получше, пройдите курс AI Dev Tools Zoomcamp, от настройки до деплоя.

А если накрывает FOMO и кажется что ты безнадёжно отстал, посмотрите подкаст Как не сойти с ума от FOMO из-за AI.
Помогает отрефлексировать и понять что ты не один такой.

Хороших выходных.
Индустрия не убежит за два дня.

@five_minutes_of_data


SQLFluff 4.0 Released

SQLFluff 4.0 представляет опциональный парсер и лексер на Rust, который обеспечивает значительное ускорение обработки на больших проектах.
В версии 5.0 планируется сделать его основным компонентом.
Релиз включает обновление поддержки dbt, исправление багов и расширение покрытия SQL-диалектов для таких СУБД, как Postgres, BigQuery, DuckDB и T-SQL.

Интересно, что у SQLFluff уже есть прямой конкурент написаный на Rust - SQRuff

Пользуетесь линтерами в своих DBT проектах?

@five_minutes_of_data


The Missing Semester of Your CS Education

Другие курсы затрагивают продвинутые темы в рамках компьютерных наук (CS):
от операционных систем до машинного обучения.
Но есть один важный вопрос, который редко освещается – изучение необходимых утилит.
Его обычно оставляют студентам для самостоятельного изучения.
Но на этом курсе вы научитесь работать с командной строкой, использовать мощный текстовый редактор, необычные функции систем контроля версий и многое другое!

Студенты тратят сотни часов на работу с утилитами в процессе обучения (и тысячи часов в течение всей карьеры), поэтому имеет смысл сделать курс максимально плавным и комфортным.
Его освоение позволит не только тратить меньше времени на настройку в соответствии с вашими потребностями и задачами, но также даст возможность решать проблемы, которые до этого казались невероятно сложными.

Бесплатный курс от MIT

♾️YouTube♾️

♾️Course Page♾️

@five_minutes_of_data


Redpanda Labs

Набор практических воркшопов, где Redpanda используется как центральный элемент стриминговой архитектуры.
Там показано как собирать пайплайны из знакомых инструментов и как они стыкуются между собой.

Воркшопы, которые точно буду полезны:

Batch to Stream
Показывает переход от batch-пайплайнов к стримингу: Spark, ScyllaDB, PostgreSQL, Redpanda, Debezium и Benthos в одном пайплайне. Полезно если вы живёте на батчах, но начинаете думать о real-time.

Building a Streaming ETL Pipeline
Как переделать обычный batch ETL в стриминговый с Redpanda и Flink.
Просто показано что именно меняется в архитектуре.

Iceberg Streaming on Kubernetes
Локальный Kubernetes-кластер с Redpanda, MinIO и Spark, чтобы посмотреть как стриминговые данные пишутся в Apache Iceberg и что это значит на практике.

Хороший формат чтобы познакомиться не только с Redpanda, но и с различными подходами для построения архитектуры.

♾️GitHub repo♾️

@five_minutes_of_data


И на сегодня последнее про Postgres 😅

Посмотрел интервью с автором книги Just Use Postgres Denis Magda про то, как он начал работать с Postgres и написание книги.

Postgres стал его первой реляционной базой после университета, хотя в 2009 году все использовали MySQL из LAMP стека.
Он попал в компанию, которая строила высоконагруженную соцсеть, и DBA настояли на Postgres — уже тогда они крутили его в шардированной конфигурации с multi-writer setup через application-level sharding.

Потом он работал в Yugabyte, где большую часть времени исследовал и говорил про vanilla Postgres.
Когда начал копать глубже, понял, что почти не знает эту базу — только реляционную часть с joins и транзакциями.
Оказалось, что Postgres эволюционировал в general purpose database с расширениями, современным SQL, window functions, CTEs, JSON и кучей других возможностей.
На конференциях люди удивлялись, когда он рассказывал, что умеет Postgres.
Не было единого ресурса, где это всё было бы собрано.

Книгу писал полтора года, с июля 2024 по ноябрь 2025.
Идея созрела в 2023 году — сначала думал про YouTube туториал, но решил, что книга лучше подойдёт.
В каждой главе практические примеры, которые можно воспроизводить локально.

В интервью разобрали, когда Postgres может заменить Kafka.
Denis с коллегой Hubert Lubaczewski сделали бенчмарк — simple queue на одной ноде C7i.xlarge выдавал 5000 сообщений в секунду на запись. Для fan-out очереди, где каждое сообщение читается несколько раз разными консьюмерами, получили 5000 msg/s на запись и 25000 msg/s на чтение с 5x read rate. Всё на чистом SQL, 40-100 строк кода с блокировками через отдельную таблицу для сохранения порядка.

Отдельно обсудили аналитику в Postgres.
Denis выделил три подхода для работы с аналитическими workload'ами.
Первый — Postgres как columnar store через расширения типа TimescaleDB, когда можно загрузить данные, использовать компрессию и колоночное хранилище прямо в Postgres.
Второй — Postgres как query engine с расширениями вроде pg_duckdb или pg_lakehouse, которые позволяют запрашивать данные из lake house напрямую через Postgres, не выходя из привычного окружения.
Третий — Postgres просто как ETL провайдер, как делает Superbase ETL или Neon с Databricks, когда данные стримятся в lake house типа S3 в формате Parquet, а дальше используешь инструменты, созданные для этого storage.

Интересный момент про покупки — Databricks купили Neon, Snowflake взяли Crunchy, ClickHouse запустили свой Postgres offering.
Все они хотят владеть транзакционным слоем данных, потому что каждый lake house нуждается в транзакционных данных.
Если ты владеешь клиентами, которые используют Postgres для transactional workloads, то легко можешь переместить их данные в свой lake house и продать им аналитические решения.
Это становится твоей экосистемой от начала до конца.

@five_minutes_of_data


Fast, scalable, enterprise-grade Postgres natively integrated with ClickHouse

ClickHouse анонсировали managed Postgres с нативной интеграцией в ClickHouse.
Теперь можно объединить транзакционные и аналитические нагрузки без обычной возни с отдельными системами.
Postgres для транзакций, ClickHouse для аналитики, всё на open-source основе.

Сервис работает на локальном NVMe storage и обещает до 10X прирост производительности для disk-bound нагрузок.
В несколько кликов можно настроить CDC из Postgres в ClickHouse через нативные возможности - данные синхронизируются в реальном времени и становятся готовыми для аналитики.
Говорят про 100X ускорение аналитических запросов по сравнению с чистым Postgres.

Репликация работает через Postgres CDC коннектор в ClickPipes, который уже обкатан сотнями энтерпрайзных клиентов, которые прогоняют через него сотни терабайт в месяц.
Поддерживается initial load для миграции существующих данных и CDC для инкрементальных синков.
Планируют добавить sub-second latency репликации и репликацию ongoing транзакций через logical replication v2 для надёжного slot flushing - это будет эксклюзивно для их Postgres сервиса.

Каждый Postgres сервис идёт с расширением pg_clickhouse, которое позволяет запрашивать ClickHouse напрямую из Postgres. Postgres становится единым query layer и для транзакций, и для аналитики.
Расширение делает comprehensive query pushdown в ClickHouse, включая FILTERs, JOINs, SEMI-JOINs, агрегации, функции.
Сейчас 14 из 22 TPC-H запросов полностью пушатся вниз, и это даёт больше 60X прирост производительности по сравнению со стандартным Postgres.

Дальше планируют расширить pushdown на более сложные запросы - CTEs, window functions и дальше.
Можно создавать foreign tables в Postgres, которые под капотом указывают на таблицы ClickHouse, и запускать аналитику через эти foreign tables.
В планах сделать UX попроще, автоматическое создание foreign tables для реплицированных данных, автороутинг транзакций и аналитики на нужный движок, Postgres или ClickHouse.

@five_minutes_of_data

756 0 26 6 15

Spark Pipeline Visualizer (DAG, YAML, SQL)

Расширение для VSCode, которое визуализирует граф выполнения в Apache Spark.

✔ Instantly understand complex Spark pipeline dependencies
✔ Navigate tables, views, and transformations visually
✔ Jump from DAG nodes to source code with one click

@five_minutes_of_data


По следам Postgres в OpenAI

706 0 19 1 18
Показано 20 последних публикаций.

1 952

подписчиков
Статистика канала