Обработка десятков миллионов строк за секунды или Как я заменила Pandas и не пожалела 🐻‍❄️

*Pandas - библиотека для анализа данных на Python

Я уже рассказывала в одном из предыдущих постов, для чего использую Python. Вот и вчера мне понадобилось выгрузить десятки миллионов строк из одной СУБД, потом сметчить с десятками миллионов строк из другой, пофильтровать и посчитать агрегаты. Так как рабочий компьютер у меня слабоват, к сожалению (Air на 8 Гб), Pandas мне бы его положил 🥺Уже сталкивалась с таким

Сразу поняла, что тут он мне не помощник, и стала искать замену. В закладках у меня была статья про Polars🐻‍❄️ https://nuancesprog.ru/p/18192/

Попросила ChatGPT переписать мой код с Pandas. Синтаксис, кстати, очень похож, но различия есть.

В общем, это песня! 🥰Polars выполнил все преобразования и выплюнул мне результат просто за секунду. Он как-то под капотом круто оптимизирует, распараллеливает операции, делает обработку частями и творит прочую магию

А я в результате быстро закрыла задачу и не тратила свои нервы 😎

Документация:
https://docs.pola.rs/user-guide/getting-started/

#python_анна_в_данных