Обзор собеседования
Должность: Data Engineer
Компания: СБЕР в команду GigaData
Тип собеса: #тех_собес
Грейд: #middle
Этапы: Тех интервью -> системный дизайн -> интервью с Тим лидом
Вилка: 250+ на руки
Итог собеса: Не прошел 1 этап
Python:
1. почему только неизменяемые типы данных могут быть ключом словаря?
2. Какой алгоритм используется для поиска по словарю? Какая сложность?
2.5. от каких типов данных можно посчитать hash?
3. Чем отличается по сложности вставка через insert и через append в список? Какая сложность у каждого?
4. Что такое GIL?
5. Итераторы, генераторы? Как каждый из них взаимодействует с памятью?
Spark:
1. Какие методы оптимизации использовал?
2. Что такое parquet?
3. Как понять, сколько будет тасок после считывания parquet в спарк(число row group в паркете)?
4. Когда мы выделяем память на каждый экзекьютор, какая память на что распределяется и как на это повлиять?
5. Типы джоинов в spark? Как оптимизатор решает, когда какой выбрать?
6. Coalesce и repartition, когда при coalesce будет shuffle?
Airflow:
1. Какие операторы использовал?
2. Что такое сенсоры?
3. Что такое xcom?
Кубер:
1. просто скипнул вопросы
➖➖➖➖➖➖➖➖
Как вам собес?🤔
it пингвин | data engineer 🐧
#собеседование #подписчик
Должность: Data Engineer
Компания: СБЕР в команду GigaData
Тип собеса: #тех_собес
Грейд: #middle
Этапы: Тех интервью -> системный дизайн -> интервью с Тим лидом
Вилка: 250+ на руки
Итог собеса: Не прошел 1 этап
Python:
1. почему только неизменяемые типы данных могут быть ключом словаря?
2. Какой алгоритм используется для поиска по словарю? Какая сложность?
2.5. от каких типов данных можно посчитать hash?
3. Чем отличается по сложности вставка через insert и через append в список? Какая сложность у каждого?
4. Что такое GIL?
5. Итераторы, генераторы? Как каждый из них взаимодействует с памятью?
Spark:
1. Какие методы оптимизации использовал?
2. Что такое parquet?
3. Как понять, сколько будет тасок после считывания parquet в спарк(число row group в паркете)?
4. Когда мы выделяем память на каждый экзекьютор, какая память на что распределяется и как на это повлиять?
5. Типы джоинов в spark? Как оптимизатор решает, когда какой выбрать?
6. Coalesce и repartition, когда при coalesce будет shuffle?
Airflow:
1. Какие операторы использовал?
2. Что такое сенсоры?
3. Что такое xcom?
Кубер:
1. просто скипнул вопросы
➖➖➖➖➖➖➖➖
Как вам собес?🤔
it пингвин | data engineer 🐧
#собеседование #подписчик