Репост из: Миша, давай по новой
🤪 Лучшие парсеры для сбора инфы
Решил тут пособирать для вас разные полезные инструменты, а то часто в комментах спрашивают. Начнем с парсеров — это такие штуки, которые помогают нейронкам ходить по сайтам и выписывать оттуда всю нужную инфу.
Почему нельзя просто просить это у нейронок? Потому что нейронка сможет разом обойти 10-50-100 сайтов. Плюс иногда нейронки тупо не могут спарсить сайт, а эти инструменты могут.
Как этими инструментами пользоваться? Просто скормите ссылку Кодексу или Клод Коду, дальше они сами разберутся. Мой совет — скормить сразу все и спросить, что лучше использовать под ваши задачи.
1️⃣ Firecrawl — обходит целые сайты и превращает страницы в чистый Markdown или структурированные данные. Можно собрать документацию, каталог товаров или материалы конкурентов, а затем загрузить всё в нейронку.
2️⃣ Crawl4AI — бесплатный парсер, созданный специально для работы с нейронками и ИИ-агентами. Умеет проходить по множеству страниц, убирать лишнюю разметку и сохранять результат в удобном для модели виде.
3️⃣ Jina Reader — самый простой вариант, если нужно быстро забрать содержимое одной страницы. Превращает статью, документацию или лендинг в чистый текст без меню, баннеров и прочего мусора. Полноценный обход сайта не делает, зато для отдельных ссылок подходит отлично.
4️⃣ ScrapeGraphAI — может находить нужную инфу на любых страницах. Инструмент сам найдёт нужные данные и отдаст их нейронке в аккуратном виде.
5️⃣ Trafilatura — очищает страницы от меню, рекламы и другого мусора, оставляя только полезный текст. Также может достать заголовок, автора и дату публикации. Удобно, когда нужно собрать много статей, а потом отдать их нейронке на анализ или пересказ.
6️⃣ Crawlee — подходит для задач посложнее: например, когда нужно регулярно обходить большой сайт или собирать данные с сотен страниц. Сам по себе он требует настройки, но Кодекс или Клод Код смогут написать на нем нужный парсер под вашу задачу.
7️⃣ AgentQL — помогает нейронке работать со сложными сайтами: находить нужные кнопки, таблицы, товары и формы. Вместо точных технических команд можно просто объяснить, что нужно сделать: например, «найди все товары дешевле 5000 рублей и собери ссылки».
Миша, давай по новой
Решил тут пособирать для вас разные полезные инструменты, а то часто в комментах спрашивают. Начнем с парсеров — это такие штуки, которые помогают нейронкам ходить по сайтам и выписывать оттуда всю нужную инфу.
Почему нельзя просто просить это у нейронок? Потому что нейронка сможет разом обойти 10-50-100 сайтов. Плюс иногда нейронки тупо не могут спарсить сайт, а эти инструменты могут.
Как этими инструментами пользоваться? Просто скормите ссылку Кодексу или Клод Коду, дальше они сами разберутся. Мой совет — скормить сразу все и спросить, что лучше использовать под ваши задачи.
1️⃣ Firecrawl — обходит целые сайты и превращает страницы в чистый Markdown или структурированные данные. Можно собрать документацию, каталог товаров или материалы конкурентов, а затем загрузить всё в нейронку.
2️⃣ Crawl4AI — бесплатный парсер, созданный специально для работы с нейронками и ИИ-агентами. Умеет проходить по множеству страниц, убирать лишнюю разметку и сохранять результат в удобном для модели виде.
3️⃣ Jina Reader — самый простой вариант, если нужно быстро забрать содержимое одной страницы. Превращает статью, документацию или лендинг в чистый текст без меню, баннеров и прочего мусора. Полноценный обход сайта не делает, зато для отдельных ссылок подходит отлично.
4️⃣ ScrapeGraphAI — может находить нужную инфу на любых страницах. Инструмент сам найдёт нужные данные и отдаст их нейронке в аккуратном виде.
5️⃣ Trafilatura — очищает страницы от меню, рекламы и другого мусора, оставляя только полезный текст. Также может достать заголовок, автора и дату публикации. Удобно, когда нужно собрать много статей, а потом отдать их нейронке на анализ или пересказ.
6️⃣ Crawlee — подходит для задач посложнее: например, когда нужно регулярно обходить большой сайт или собирать данные с сотен страниц. Сам по себе он требует настройки, но Кодекс или Клод Код смогут написать на нем нужный парсер под вашу задачу.
7️⃣ AgentQL — помогает нейронке работать со сложными сайтами: находить нужные кнопки, таблицы, товары и формы. Вместо точных технических команд можно просто объяснить, что нужно сделать: например, «найди все товары дешевле 5000 рублей и собери ссылки».
Миша, давай по новой