🌟 APACHE SPARK ПРОСТЫМИ СЛОВАМИ 🌟

Когда вы работаете с сырыми данными, где каждое действие - отдельная строка, приходится обрабатывать огромные объёмы данных😭 Обычно для таких преобразований используются распределённые системы, например Apache Spark.

Преобразования в Spark чем-то похожи на Power Query, например неиспользуемые шаги там тоже не выполняются. Правда Spark вообще ничего не будет выполнять пока не поступит команда-действие, например "загрузить итоговые данные в файл".

Как это устроено изнутри рассказал в небольшом видео🔥

Видео тут: ссылка