Компания: DBS Должность: Senior Data Engineer Вилка: 250 - 300к рублей на руки Локация: удаленка(любая локация) Занятость: full time Контакты: @w_winner
Проект: разработка решения, которое соединяет онлайн-продавцов и многомиллионную аудиторию покупателей.
Город и адрес офиса: удаленка(любая локация)
Занятость и формат работы: full-time
Цель проекта: предоставить качественные бизнес-инсайты и данные для команд и компаний, в проектах с которыми мы участвуем. Для этого нужна устойчивая и легко расширяемая платформа для обработки и хранения данных
Мы ищем специалиста, который имеет необходимый опыт и готов развиваться в этой роли.
Ключевые задачи:
Написание и поддержка коннекторов для Kafka Connect и Debezium.
Разработка DAGов на Airflow.
Написание процедур обработки данных + Data Quality Control.
Развитие системы мониторинга данных и процессов Участие во внедрении систем Data Governance и DQC.
Что мы от ожидаем от кандидата:
SQL - на уровне аналитических функций.
Python - на уровне написания дагов для Airflow, если лучше то как преимущество.
Airflow - человек должен понимать что это за инструмент и уметь использовать его.
Опыт работы с одной из MPP DB(в порядке приоритета): Greenplum, Teradata.
Опыт работы с PostgreSQL.
Kafka - понимание работы, базовые навыки работы: создать/удалить, партиционировать топик, сбросить офсеты у топика.
Опыт работы с Hadoop стеком приветствуется, особенно понимание форматов хранения данных.
Kafka Connect опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
Debezium опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
Знание/понимание Inmon, Kimball, DataVault, Anchor modeling и других моделей данных - преимущество, но не обязательно.
Что мы предлагаем взамен:
Трудоустройство в соответствии с ТК РФ.
ДМС с первого рабочего дня.
Страхование от несчастного случая.
Удаленная работа.
Отличная корпоративная культура
Проект: разработка решения, которое соединяет онлайн-продавцов и многомиллионную аудиторию покупателей.
Город и адрес офиса: удаленка(любая локация)
Занятость и формат работы: full-time
Цель проекта: предоставить качественные бизнес-инсайты и данные для команд и компаний, в проектах с которыми мы участвуем. Для этого нужна устойчивая и легко расширяемая платформа для обработки и хранения данных
Мы ищем специалиста, который имеет необходимый опыт и готов развиваться в этой роли.
Ключевые задачи:
Написание и поддержка коннекторов для Kafka Connect и Debezium.
Разработка DAGов на Airflow.
Написание процедур обработки данных + Data Quality Control.
Развитие системы мониторинга данных и процессов Участие во внедрении систем Data Governance и DQC.
Что мы от ожидаем от кандидата:
SQL - на уровне аналитических функций.
Python - на уровне написания дагов для Airflow, если лучше то как преимущество.
Airflow - человек должен понимать что это за инструмент и уметь использовать его.
Опыт работы с одной из MPP DB(в порядке приоритета): Greenplum, Teradata.
Опыт работы с PostgreSQL.
Kafka - понимание работы, базовые навыки работы: создать/удалить, партиционировать топик, сбросить офсеты у топика.
Опыт работы с Hadoop стеком приветствуется, особенно понимание форматов хранения данных.
Kafka Connect опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
Debezium опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
Знание/понимание Inmon, Kimball, DataVault, Anchor modeling и других моделей данных - преимущество, но не обязательно.
Что мы предлагаем взамен:
Трудоустройство в соответствии с ТК РФ.
ДМС с первого рабочего дня.
Страхование от несчастного случая.
Удаленная работа.
Отличная корпоративная культура