Пайплайн для системы аналитики креативов
Началок тут КостыОдин полный прогон по новой нише обходится в $5-
20!:• Поиск страниц и контактов через exa api: $0.10-0.40;
• Извлечение данных через firecrawl: $0.05-0.30;
• Парсинг рекламной библиотеки через apify: $1.00-5.00;
• Работа соннета и опуса суммарно: $3.00-8.00;
• Локальный запуск playwright для скриншотов: $0.
Готовится анализ 10-20 минут.Безотказность Так как сайты защищаются от скрапинга, прокси отваливаются, а у сервисов вроде firecrawl могут закончиться лимиты на аккаунте, в моей системе предусмотрена система отказоустойчивости.
Это автоматическая цепочка резервных источников. Если основной инструмент выдает ошибку, оркестратор мгновенно переключается на следующий шаг:
Шаг 1, основной: firecrawl - пытается забрать чистый структурированный markdown страницы.
Шаг 2, резервный: exa /contents api запрашивает текстовое содержимое по URL напрямую через базу Exa.
Шаг 3, еще резервнее😂: playwright поднимает локальный браузер хромиум и пытается вытащить данные напрямую из SPA-приложений, обходя базовые блокировки.
Изоляция запусков и сохранение прогрессаКаждый запрос на анализ - это изолированная папка внутри reports/ с уникальным именем.
Внутри этой папки постоянно обновляется файл state.json.
Если во время работы у меня отвалится интернет или заглючит апи Клода, мне не придется жечь дополнительные токены за весь анализ заново. Оркестратор отсканирует статус, поймет, на каком шаге произошел сбой, и предложит продолжить прогон с места остановки.
Режимы работыНу это кто работает с клодом уже знает, но на всякий случай поясню: в предыдущем посте я упоминал, что система спрашивает меня, переходить ли к следующему шагу. Это режим работы по умолчанию - интерактивный. Тут можно в моменте поправлять-направлять если что-то не так.
Чтобы его отключить, я просто говорю “делай все автономно”, и оркестратор сам будет давать себе автоапрув😁 на гейтах и присылать уже только финальную ссылку на готовые гугл докс и таблицы.
В целом вроде все объяснил. Но если будет много реакций и в комментах дадите знать что надо, могу сделать подробный пошаговый мануал, чтобы уже вообще все разжевать,
со скринами пояснениями где надо и тд.Ставь 🔥 если хочешь мануал!Обнял❤️
1x Личный блог Тимлида
канал по FacebookGoogle 1x ТимЛид
канал по GoogleROI-Craft Agency -
FB/Moloco агентские аккаунты для мастштаба , без танцев с бубномWhite.expert - приватный генератор вайтов
(регистрация только при наличии инвайта)