Tools 🛠

Чем вытащить данные с любого сайта и как парсить с агентами

Часто звучит вопрос про парсинг. Нужно это чаще, чем кажется, собрать цены конкурентов, сложить статьи в свою базу знаний, скормить что-то агенту. В общем вот список, сохраняйте, пригодится.

Готовые сервисы, работают из коробки

Firecrawl
Превращает любую страницу, включая JS-сайты и PDF, в чистый markdown для модели.

Jina AI Reader
Добавляете r.jina.ai перед ссылкой и получаете чистый текст страницы, бесплатный тариф щедрый.

Apify
Маркетплейс из 28 тысяч готовых скраперов почти под любой популярный сайт.

Thunderbit
Расширение для Chrome, вытаскивает данные со страницы в два клика и отправляет их в Sheets или Notion.

RSS.app
Превращает сайты и соцсети в RSS-ленту с фильтрами и автопостингом в телеграм.

Открытые библиотеки, их ставит агент

Crawl4AI
Популярный открытый скрапер, отдает сайт сразу в markdown для модели.

Browser Use
Агент водит браузер как человек, логинится, кликает и забирает данные.

Crawlee
Фреймворк с ротацией прокси, ретраями и очередями, когда страниц реально много.

Scrapy
Промышленная классика на питоне для обхода миллионов страниц.

Scrapling
Сам подстраивается под изменения верстки, поэтому ломается заметно реже.

AutoScraper
Показываете пример нужных данных, он сам находит шаблон и вытаскивает остальное.

Defuddle
Чистит страницу от рекламы, меню и сайдбаров, это движок Obsidian Web Clipper.

Когда сайт сопротивляется

curl_cffi
Запросы с отпечатком настоящего браузера, самый простой способ не выглядеть ботом.

curl-impersonate
Тот же трюк на уровне curl, работает движком под curl_cffi.

CloakBrowser
Замена Playwright на патченом Chromium, проходит антибот и капчу.

invisible_playwright
То же самое, только на Firefox.

Что стоит добавить в список?

Мой ИИ врач
(и как сделать себе такого же)

В мае я сдал обычную плановую кровь и из одного бланка вылезло аж пять вопросов, каждый развернулся в отдельную ветку, и вся эта история тянется до сих пор.

Раньше все это было бы размазано по почте, лк больницы или на бумаге, и через месяц я бы половину не нашел. Сейчас у меня в Second Brain есть папка Health, где каждый анализ расшифрован в .md-формате, каждое обследование лежит отдельным файлом, и сверху еще таблица статусов по всем открытым вопросам.

С этой папкой работает агент в роли доктора.
Он разбирает бланки и кладет цифры в динамику, чтобы каждый показатель читался и бережно хранился.

Еще он отлично держит хвосты, напоминает что еще нужно сдать, что рекомендовали врачи год назад, что актуально и что уже нет, и главное как это все между собой линкуется.

В общем-то он ищет связки между разными ветками. Каждый врач до этого смотрел свой кусок, а общая картина есть только у меня в папке. Таким образом он готовит меня к приему, так что я прихожу со сводкой на страницу и списком вопросов вместо пересказа анамнеза по памяти.

Живу я в Аргентине, поэтому он еще выдает точные названия анализов по-испански и готовую фразу, которой это просить у врача.

Правила у него при этом жесткие. Диагнозов он не ставит, каждую цифру дает со ссылкой на файл, откуда она взята, а если данных не хватает, прямо пишет об этом и версий не выдумывает. Все это остается вторым мнением и подготовкой к разговору, лечит уже человек с дипломом (хотя было бы классно, если бы он еще и лечил и таблетки печатал).

Расписал подробно в этом гайде свой опыт: https://tochkicamp.ru/guides/ai-agent-kak-lichnyy-doktor/

Может быть будет и вам полезно!

Qwen 3.8 27B релизнулся

На этой неделе у любителей локальных моделей праздник. Сначала Muse Glimmer, сейчас Qwen 3.8 27B, плюс релизы моделей побольше.

Веса

@ai_newz

Как идут продажи игры первые 30 дней? И как растут продажи первого месяца за 3, 6, 9 и 12 месяцев.

Взял за основы все наши продажи. Есть некоторые повторяющиеся паттерны.

Возможно, поможет вам лучше прогнозировать продажи по году.