УСЫ (urban science)

💻 Как спарсить любой сайт? (ч.2)

В первой части поста мы разбирали что такое API, как с ним работать и примеры сервисов, использующих данную технологию. В этом посте мы познакомимся с таким понятием как веб-скрапинг.

Веб-скрапинг, или парсинг, представляет собой процесс автоматизированного извлечения данных с веб-страниц. Данный метод позволяет извлекать информацию с различных веб-сайтов для анализа рынка, мониторинга конкурентов и других целей. Кроме того, веб-скрапинг автоматизирует процесс сбора данных, что экономит время и усилия, а также автоматизирует рутинную работу.

Как вы уже могли заметить, здесь используется два термина, но какой из них «правильнее»? Чаще всего в русскоязычном сообществе используется термин парсинг (от англ. parsing - проведение грамматического разбора слова). В англоязычном же сообществе используются термин скрапинг (от англ. scraping - соскабливание/выскабливание).

Давайте рассмотрим несколько популярных инструментов для веб-скрапинга на Python:

🌐 Beautiful Soup (bs4)
Это мощная библиотека Python, предназначенная для парсинга HTML и XML документов. С её помощью можно легко и удобно извлекать данные из HTML-страниц, что делает её идеальным выбором для многих задач по анализу данных и мониторингу веб-ресурсов.

🌐 Requests
Хотя Requests широко известна как библиотека для работы с API, она также может быть использована для загрузки веб-страниц и извлечения данных из них. Она особенно удобна для работы с сайтами, не предоставляющих API, и позволяет быстро и эффективно получать необходимую информацию.

🌐 Selenium
Эта библиотека предназначена для автоматизации веб-браузера и управления им из кода Python. С помощью Selenium можно выполнять различные действия на веб-страницах, такие как нажатие на кнопки, заполнение форм и многое другое. Это особенно полезно, когда требуется взаимодействие с веб-сайтами, которые используют динамическую загрузку контента или требуют ввода пользовательских данных для доступа к информации.

🔒 Некоторые веб-сайты могут применять различные методы для блокировки веб-скрапинга, такие как CAPTCHA, ограничение доступа для незарегистрированных пользователей или динамическая генерация контента. Для обхода таких блокировок существуют различные методы, включая изменение заголовков запросов, использование прокси-серверов или обращение к специализированным сервисам для обхода CAPTCHA. Также инструменты, такие как Selenium, предоставляют возможность эмулировать работу пользователя с сайтом, что позволяет обойти многие виды блокировок.

⚖️ Возникает вопрос о законности использования веб-скрапинга. Фактически, этот метод не противоречит законодательству, и за него не предусмотрена юридическая ответственность. Однако существуют ограничения, установленные законодательством. Например, запрет на сбор данных из личных кабинетов пользователей и на DDOS-атаки. Также копирование контента, включая изображения и тексты, без разрешения владельца может быть признано нарушением авторских прав. Важно помнить, что сам процесс парсинга не является незаконным, когда данные собираются из открытого доступа, и парсеры лишь ускоряют этот процесс и уменьшают вероятность ошибок человеческого фактора.

Как спарсить любой сайт?

​​Шестой поток программы Архитекторы.рф

Продолжается прием заявок на участие в бесплатной лидерской офлайн-программе Архитекторы.рф.

❗️ Успейте заполнить анкету и отправить портфолио до 4 марта включительно.

В этом году к конкурсному отбору будут допущены не только кандидаты с дипломами архитекторов и градостроителей, но и социологи, культурологи, антропологи, и специалисты в сфере туризма и коммуникаций. 

Финалистов отбора ждет полугодовая образовательная программа, состоящая из 4 очных модулей. Она включает в себя различные форматы обучения, в том числе исследовательские поездки по России и за рубеж, лекции, встречи с экспертами и работу в проектных группах.

Слушатели программы получат удостоверение о повышении квалификации и станут частью междисциплинарного сообщества выпускников. Программа реализуется ДОМ.РФ.

Подать заявку:
https://a.archrf.ru/pXM2Tg

Воркшоп по основам анализа геоданных в Python

Видео от Data Scientist’а в команде Гео BigData Мегафона. Обсуждают проблемы, с которыми можно столкнуться при работе с геоданными, обсуждают кейсы. По плану воркшопа: базовые операции с геопространственными данными в Python, работа с координатами, базы данных, разбор кейса с предсказанием цены на такси в Нью-Йорке и многое другое.

Анализ геоданных мобильного оператора

Как эффективно размещать баннеры и открывать торговые точки? Где необходимо провести стройку новой сети? Восстановим траекторию движения пользователей с помощью регистраций на базовых станциях для лучшего понимания клиента. С помощью математики и геометрии описываем логику движения и визуализируем потоки. Расскажет об этом Николай Калуженков, Data Scientist в Tele2

Геопространственный анализ

Загребин Глеб Игоревич, декан картографического факультета МИИГАиК, рассказывает про функции геопространственного анализа, применение теории графов в геоинформационных системах, в картографии, агрегировании данных и генерализации.