Fast, scalable, enterprise-grade Postgres natively integrated with ClickHouse
ClickHouse анонсировали managed Postgres с нативной интеграцией в ClickHouse.
Теперь можно объединить транзакционные и аналитические нагрузки без обычной возни с отдельными системами.
Postgres для транзакций, ClickHouse для аналитики, всё на open-source основе.
Сервис работает на локальном NVMe storage и обещает до 10X прирост производительности для disk-bound нагрузок.
В несколько кликов можно настроить CDC из Postgres в ClickHouse через нативные возможности - данные синхронизируются в реальном времени и становятся готовыми для аналитики.
Говорят про 100X ускорение аналитических запросов по сравнению с чистым Postgres.
Репликация работает через Postgres CDC коннектор в ClickPipes, который уже обкатан сотнями энтерпрайзных клиентов, которые прогоняют через него сотни терабайт в месяц.
Поддерживается initial load для миграции существующих данных и CDC для инкрементальных синков.
Планируют добавить sub-second latency репликации и репликацию ongoing транзакций через logical replication v2 для надёжного slot flushing - это будет эксклюзивно для их Postgres сервиса.
Каждый Postgres сервис идёт с расширением pg_clickhouse, которое позволяет запрашивать ClickHouse напрямую из Postgres. Postgres становится единым query layer и для транзакций, и для аналитики.
Расширение делает comprehensive query pushdown в ClickHouse, включая FILTERs, JOINs, SEMI-JOINs, агрегации, функции.
Сейчас 14 из 22 TPC-H запросов полностью пушатся вниз, и это даёт больше 60X прирост производительности по сравнению со стандартным Postgres.
Дальше планируют расширить pushdown на более сложные запросы - CTEs, window functions и дальше.
Можно создавать foreign tables в Postgres, которые под капотом указывают на таблицы ClickHouse, и запускать аналитику через эти foreign tables.
В планах сделать UX попроще, автоматическое создание foreign tables для реплицированных данных, автороутинг транзакций и аналитики на нужный движок, Postgres или ClickHouse.
@five_minutes_of_data
ClickHouse анонсировали managed Postgres с нативной интеграцией в ClickHouse.
Теперь можно объединить транзакционные и аналитические нагрузки без обычной возни с отдельными системами.
Postgres для транзакций, ClickHouse для аналитики, всё на open-source основе.
Сервис работает на локальном NVMe storage и обещает до 10X прирост производительности для disk-bound нагрузок.
В несколько кликов можно настроить CDC из Postgres в ClickHouse через нативные возможности - данные синхронизируются в реальном времени и становятся готовыми для аналитики.
Говорят про 100X ускорение аналитических запросов по сравнению с чистым Postgres.
Репликация работает через Postgres CDC коннектор в ClickPipes, который уже обкатан сотнями энтерпрайзных клиентов, которые прогоняют через него сотни терабайт в месяц.
Поддерживается initial load для миграции существующих данных и CDC для инкрементальных синков.
Планируют добавить sub-second latency репликации и репликацию ongoing транзакций через logical replication v2 для надёжного slot flushing - это будет эксклюзивно для их Postgres сервиса.
Каждый Postgres сервис идёт с расширением pg_clickhouse, которое позволяет запрашивать ClickHouse напрямую из Postgres. Postgres становится единым query layer и для транзакций, и для аналитики.
Расширение делает comprehensive query pushdown в ClickHouse, включая FILTERs, JOINs, SEMI-JOINs, агрегации, функции.
Сейчас 14 из 22 TPC-H запросов полностью пушатся вниз, и это даёт больше 60X прирост производительности по сравнению со стандартным Postgres.
Дальше планируют расширить pushdown на более сложные запросы - CTEs, window functions и дальше.
Можно создавать foreign tables в Postgres, которые под капотом указывают на таблицы ClickHouse, и запускать аналитику через эти foreign tables.
В планах сделать UX попроще, автоматическое создание foreign tables для реплицированных данных, автороутинг транзакций и аналитики на нужный движок, Postgres или ClickHouse.
@five_minutes_of_data