Краткий обзор инструментов для загрузки и подготовки данных (ETL/ELT/DataPrep) в экосистеме Yandex Cloud (см. иллюстрацию следующим постом):
Сервисы Yandex Cloud:
- Data Transfer - репликация данных "как есть", минимум трансформации, пост, обзор сценариев
- Datasphere - Jupyter Notebook в Yandex Cloud для задач ML. Можно использовать для задач предварительной обработки данных. Примеры: для метрики, AppMetrica
- Data Proc - Готовые кластера для экономичной обработки массивов данных различной природы с использованием Apache Spark, Hadoop и нативной интеграцией со стороны Apache Airflow. Воркшоп.
- Cloud Functions - Serverless запуск ваших скриптов. Пример1, Пример2
- Message Queue - Очереди сообщений, интегрированные с Cloud Functions. Пример1, Пример2
- Managed Service for Apache Kafka - готовые кластера для распределённой доставки, хранения и обработки данных в реальном времени.
Сервисы в Yandex Cloud Marketplace:
- Loginom - Low-code платформа для интеграции данных и машинного обучения. Можно грузить в CH и другие БД.
- Apache Airflow - планирование, создание, исполнение и мониторинг пайплайнов загрузки и обработки данных "как код" на основе направленных ациклических графов
- Datagram - Разработка процессов трансформации данных в графическом виде
Внешние cервисы интеграции SaaS:
- Albato - Коннекторы к 400+ облачных приложений. Есть загрузка в CH, PG. Пример CH
- MyBIConnect - Поддержка многих облачных приложений. Есть загрузка в PG. Обзор на Habr.
Также в Yandex Cloud вы можете использовать собственные инструменты или самописные скрипты, например:
- AirByte - пример использования в Yandex Cloud для данных Яндекс Метрики
Сервисы Yandex Cloud:
- Data Transfer - репликация данных "как есть", минимум трансформации, пост, обзор сценариев
- Datasphere - Jupyter Notebook в Yandex Cloud для задач ML. Можно использовать для задач предварительной обработки данных. Примеры: для метрики, AppMetrica
- Data Proc - Готовые кластера для экономичной обработки массивов данных различной природы с использованием Apache Spark, Hadoop и нативной интеграцией со стороны Apache Airflow. Воркшоп.
- Cloud Functions - Serverless запуск ваших скриптов. Пример1, Пример2
- Message Queue - Очереди сообщений, интегрированные с Cloud Functions. Пример1, Пример2
- Managed Service for Apache Kafka - готовые кластера для распределённой доставки, хранения и обработки данных в реальном времени.
Сервисы в Yandex Cloud Marketplace:
- Loginom - Low-code платформа для интеграции данных и машинного обучения. Можно грузить в CH и другие БД.
- Apache Airflow - планирование, создание, исполнение и мониторинг пайплайнов загрузки и обработки данных "как код" на основе направленных ациклических графов
- Datagram - Разработка процессов трансформации данных в графическом виде
Внешние cервисы интеграции SaaS:
- Albato - Коннекторы к 400+ облачных приложений. Есть загрузка в CH, PG. Пример CH
- MyBIConnect - Поддержка многих облачных приложений. Есть загрузка в PG. Обзор на Habr.
Также в Yandex Cloud вы можете использовать собственные инструменты или самописные скрипты, например:
- AirByte - пример использования в Yandex Cloud для данных Яндекс Метрики