Forward from: Точки над ИИ
Чем вытащить данные с любого сайта и как парсить с агентами
Часто звучит вопрос про парсинг. Нужно это чаще, чем кажется, собрать цены конкурентов, сложить статьи в свою базу знаний, скормить что-то агенту. В общем вот список, сохраняйте, пригодится.
Готовые сервисы, работают из коробки
Открытые библиотеки, их ставит агент
Когда сайт сопротивляется
Что стоит добавить в список?
Часто звучит вопрос про парсинг. Нужно это чаще, чем кажется, собрать цены конкурентов, сложить статьи в свою базу знаний, скормить что-то агенту. В общем вот список, сохраняйте, пригодится.
Готовые сервисы, работают из коробки
Firecrawl
Превращает любую страницу, включая JS-сайты и PDF, в чистый markdown для модели.
Jina AI Reader
Добавляете r.jina.ai перед ссылкой и получаете чистый текст страницы, бесплатный тариф щедрый.
Apify
Маркетплейс из 28 тысяч готовых скраперов почти под любой популярный сайт.
Thunderbit
Расширение для Chrome, вытаскивает данные со страницы в два клика и отправляет их в Sheets или Notion.
RSS.app
Превращает сайты и соцсети в RSS-ленту с фильтрами и автопостингом в телеграм.
Открытые библиотеки, их ставит агент
Crawl4AI
Популярный открытый скрапер, отдает сайт сразу в markdown для модели.
Browser Use
Агент водит браузер как человек, логинится, кликает и забирает данные.
Crawlee
Фреймворк с ротацией прокси, ретраями и очередями, когда страниц реально много.
Scrapy
Промышленная классика на питоне для обхода миллионов страниц.
Scrapling
Сам подстраивается под изменения верстки, поэтому ломается заметно реже.
AutoScraper
Показываете пример нужных данных, он сам находит шаблон и вытаскивает остальное.
Defuddle
Чистит страницу от рекламы, меню и сайдбаров, это движок Obsidian Web Clipper.
Когда сайт сопротивляется
curl_cffi
Запросы с отпечатком настоящего браузера, самый простой способ не выглядеть ботом.
curl-impersonate
Тот же трюк на уровне curl, работает движком под curl_cffi.
CloakBrowser
Замена Playwright на патченом Chromium, проходит антибот и капчу.
invisible_playwright
То же самое, только на Firefox.
Что стоит добавить в список?