Tools 🛠

Чем вытащить данные с любого сайта и как парсить с агентами

Часто звучит вопрос про парсинг. Нужно это чаще, чем кажется, собрать цены конкурентов, сложить статьи в свою базу знаний, скормить что-то агенту. В общем вот список, сохраняйте, пригодится.

Готовые сервисы, работают из коробки

Firecrawl
Превращает любую страницу, включая JS-сайты и PDF, в чистый markdown для модели.

Jina AI Reader
Добавляете r.jina.ai перед ссылкой и получаете чистый текст страницы, бесплатный тариф щедрый.

Apify
Маркетплейс из 28 тысяч готовых скраперов почти под любой популярный сайт.

Thunderbit
Расширение для Chrome, вытаскивает данные со страницы в два клика и отправляет их в Sheets или Notion.

RSS.app
Превращает сайты и соцсети в RSS-ленту с фильтрами и автопостингом в телеграм.

Открытые библиотеки, их ставит агент

Crawl4AI
Популярный открытый скрапер, отдает сайт сразу в markdown для модели.

Browser Use
Агент водит браузер как человек, логинится, кликает и забирает данные.

Crawlee
Фреймворк с ротацией прокси, ретраями и очередями, когда страниц реально много.

Scrapy
Промышленная классика на питоне для обхода миллионов страниц.

Scrapling
Сам подстраивается под изменения верстки, поэтому ломается заметно реже.

AutoScraper
Показываете пример нужных данных, он сам находит шаблон и вытаскивает остальное.

Defuddle
Чистит страницу от рекламы, меню и сайдбаров, это движок Obsidian Web Clipper.

Когда сайт сопротивляется

curl_cffi
Запросы с отпечатком настоящего браузера, самый простой способ не выглядеть ботом.

curl-impersonate
Тот же трюк на уровне curl, работает движком под curl_cffi.

CloakBrowser
Замена Playwright на патченом Chromium, проходит антибот и капчу.

invisible_playwright
То же самое, только на Firefox.

Что стоит добавить в список?

Мой ИИ врач
(и как сделать себе такого же)

В мае я сдал обычную плановую кровь и из одного бланка вылезло аж пять вопросов, каждый развернулся в отдельную ветку, и вся эта история тянется до сих пор.

Раньше все это было бы размазано по почте, лк больницы или на бумаге, и через месяц я бы половину не нашел. Сейчас у меня в Second Brain есть папка Health, где каждый анализ расшифрован в .md-формате, каждое обследование лежит отдельным файлом, и сверху еще таблица статусов по всем открытым вопросам.

С этой папкой работает агент в роли доктора.
Он разбирает бланки и кладет цифры в динамику, чтобы каждый показатель читался и бережно хранился.

Еще он отлично держит хвосты, напоминает что еще нужно сдать, что рекомендовали врачи год назад, что актуально и что уже нет, и главное как это все между собой линкуется.

В общем-то он ищет связки между разными ветками. Каждый врач до этого смотрел свой кусок, а общая картина есть только у меня в папке. Таким образом он готовит меня к приему, так что я прихожу со сводкой на страницу и списком вопросов вместо пересказа анамнеза по памяти.

Живу я в Аргентине, поэтому он еще выдает точные названия анализов по-испански и готовую фразу, которой это просить у врача.

Правила у него при этом жесткие. Диагнозов он не ставит, каждую цифру дает со ссылкой на файл, откуда она взята, а если данных не хватает, прямо пишет об этом и версий не выдумывает. Все это остается вторым мнением и подготовкой к разговору, лечит уже человек с дипломом (хотя было бы классно, если бы он еще и лечил и таблетки печатал).

Расписал подробно в этом гайде свой опыт: https://tochkicamp.ru/guides/ai-agent-kak-lichnyy-doktor/

Может быть будет и вам полезно!

Qwen 3.8 27B релизнулся

На этой неделе у любителей локальных моделей праздник. Сначала Muse Glimmer, сейчас Qwen 3.8 27B, плюс релизы моделей побольше.

Веса

@ai_newz

Как идут продажи игры первые 30 дней? И как растут продажи первого месяца за 3, 6, 9 и 12 месяцев.

Взял за основы все наши продажи. Есть некоторые повторяющиеся паттерны.

Возможно, поможет вам лучше прогнозировать продажи по году.

Ну и еще один полезный скилл вдогонку.

Он про скраппинг, парсинг и вообще про возможности агента в интернете.

Называется Agent Reach – дает вашим агентам "глаза" для интернета:

Twitter/X, Reddit, YouTube, GitHub, обычные сайты и другие площадки, причем без платных API.

Вы просто просите модель установить Agent Reach и прочитать / найти нужное, а он сам ставит нужные CLI‑инструменты и тащит контент, чтобы агент мог нормально искать, анализировать и отвечать на основе реальных данных из сети.

Открываем Китай. Потихонечку.

С Азией мы начали работать еще где-то год назад, но не сами. Нашли несколько агентств, и пробовали с ними. Плюс много обсуждали ко-паблиш разных игр в том числе на Китай, и пытались разобраться, что кто там вообще делает.

Но сами мы долгое время вообще ничего на Азию не делали. И если с Японией и Кореей вроде шло гуд и партнеры там стабильно давали результат. То с Китаем было не совсем ясно. Вроде что-то и делается, но эффект не грандиозный. А хочется, конечно, грандиозного ;)

Поэтому копать Китай поглубже хотелось, но все не доходили руки. Но внезапно они дошли у руководителя отдела локализации Серафимы. Она говорит по-китайски, и решила заняться нашим Heybox. Многие китайские игроки следят за играми на этой платформе. Там они читают новости от разработчиков и издателей. И там же они вишлистят игру и становятся ее фолловером.

Если у вас прокачанный аккаунт на Heybox, то вишлисты оттуда конвертируются в вишлисты на Стиме. И плюс все фолловеры игры на Heybox во время релиза получат уведомление.

Тема показалась интересной. Начали развивать. И как раз вскоре после старта работы с Heybox у нас случился анонс Night Shift Hospital, мы запостили контент по игре. И - о чудо - потекли китайские вишлисты.

Анонс, видимо, зашел. Игроки начали лайкать, вишлистить и фолловить. И так хорошо всё пошло, что в итоге теперь Китай - топ-1 по вишам страна для Госпиталя :)

Госпиталь вообще достаточно бодро до сих пор идет. Уже 120к вишей, и там немалая заслуга Китая.

Первые успехи, конечно, очень сильно вдохновили. Поэтому Китай сейчас будет уже в большем фокусе издательства. В конце месяца в том числе выдвигаемся на ChinaJoy. Будем искать партнеров, с кем можно лучше работать в Китае и в Азии в целом.

На вопросы по Heybox и Китаю я пока отвечать не готов. Это не то, чем я лично операционно занимаюсь. Это коллеги затащили, а я только радуюсь и подбадриваю их :)

Периодически прилетают вопросы про локальный запуск моделей

Я в этом не силен, так как такой потребности и опыта не было, но видел хорошие отзывы про вот этот гайд.

Тут не только про сам запуск, это большоооооое практическое руководство о том, как выжать максимум производительности из локально запущенных ЛЛМ на потребительском железе.

Забирайте по ссылке для себя и своих агентов.

Подготовил бесплатную книжечку на 40 страниц для тех, кто только начинает касаться AI

Это емкий материал с базовой информацией о том, что сегодня можно называть входом в базовый уровень владения AI-инструментами с заявкой на уверенный уровень.

Сохраняйте, чтобы была под рукой, внутри:

🤩 Инструменты
🤩 Правила и рекомендации по работе с агентами
🤩 Как оплачивать подписки из России, чтобы вас не банили
🤩 Немного про Second Brain
🤩 Работа с контекстом
🤩 Идеи проектов и многое другое

❣️Ссылка на плейбук.

Это верхушка айсберга. Как все это глубоко освоить, внедрить, и встать на AI-рельсы – разбираем в Кэмпе. Старт 27 июля, приходите, это уже 5й поток Кэмпа.