Итак, следующая часть по репозиторию данных: на этот раз в поле нашего внимания попал
ЦИАН. Так или иначе, мы знаем про способ выгрузки данных через сам функционал сайта (экселевские таблички с 200 объявлениями), однако, если я не ошибаюсь, есть ограничение - выгрузка 3 экселевских файлов, т.е. 600 запросов.
Для сравнения: в Москве всего 65469 объявлений по 1- и 2-комнатным квартирам, 600 объектов - чуть меньше 1% от общего количества. Такое себе.Что делать? Для этих целей
есть парсер, созданный пользователем гитхаба "lenarsaitov". Он позволяет выгрузить сразу 1512 объявлений!
Уже лучше.Что нужно? Базовые знания Python (которыми автор только и обладает)
Изюминка: можно делать более подробные запросы (например, кол-во комнат, прочие доп. параметры (стоимость, этаж, тд)). Таким образом, можно раздробить, например, эти 65 тыс. объявлений на 40 категорий в зависимости от прайса, этажа и т.д. Процесс немножко муторный, но всяко лучше выгрузок с ограничениями с самого сайта.
Что получаем на выходе? Экселевская табличка с данными по этажу квартиры, этажности дома, количеству квартир, общая площадь, стоимость (в т.ч. за кв. м), адрес.
К сожалению, координат нет, но: имея адрес, мы можем получить координаты объектов с помощью прямого геокодирования.
Красота!Ну и по классике,
пример данных лежит на облаке, а в качестве плохой, но картосхемы - точки объявлений в Серпухове, размер которых зависит от стоимости за кв. м.