Классная статья про использование .cache()
Вы знали , что cache() на самом деле нас обманывает? Большинство вызовов функции cache() в PySpark лишь оболочка, и зачастую Spark заново пересчитывает эти данные.
Что еще более интересно, с помощью .persist() можно с этим бороться, как именно? Почитать тут.
Вы знали , что cache() на самом деле нас обманывает? Большинство вызовов функции cache() в PySpark лишь оболочка, и зачастую Spark заново пересчитывает эти данные.
Что еще более интересно, с помощью .persist() можно с этим бороться, как именно? Почитать тут.