Глобальный заговор ИИ или как я чуть не «уволила» Cursor
Сам себе разработчик — это когда ты совсем не разработчик, но очень хочется, и поэтому магия ИИ работает ровно до того момента, когда вопрос становится серьёзнее той области компетенций, которая есть у тебя и всех ИИ вместе взятых.
Я тут решила запилить в систему приложения гибкий парсер для соцсетей, который в оперативном режиме снимает аналитику по сетке аккаунтов — собрала нужные промты, изящную схему взаимодействия агентов, FastAPI для обновлений, даже Swagger красивый собрали, чтобы всё как у взрослых, в надежде что всемогущий Cursor напишет нужные строчки сам.
Лиха беда начало — код льётся, запросы отрабатываются, идеи по дашбордам собираются, уже целый список написала того, что буду делать с этими данными, всего-то надо было снять стату по 10 соцсетям. На Moltbook нашла универсальную платформу, которая раздает акторы для парсинга за токены - Apify, сотни акторов для соцсетей за символические ~$5 в месяц, всё изучили, запросы настроили, и вот приходит долгожданный день тестов: на локальной машине и фейковых запросах всё отработало отлично, все 10 парсеров сработали, данные в базу упали, пришло время MVP.
На первых запусках по всем параметрам пришли нули.
Долгой отладкой удалось починить половину — YouTube, Инста, TikTok и Apple Music приходили корректно, а Likee, VK, Яндекс Музыка и стриминги вроде Zvuk.ru не приходили ни в какую. Итерации «анализ логов — правки — пуш — запросы — ребилд — по кругу» заняли несколько дней, но с места мы не сдвинулись — акторы возвращали пустые данные без какой-либо ошибки, просто 0. В какой-то момент не хватило оперативки, докер стал падать прямо на деплое — пришлось заново собирать контейнер, настраивать переменные, это ещё день. Потом галлюцинирующий Cursor решил, что API Key Apify некорректный — замена, апдейт, новые тесты, откат к предыдущим состояниям. Ещё время. Пришлось даже собрать воркера на Claude который ревьюил Coursor, перепробовала все на что хватило фантазии.
В какой-то момент я начала писать комментарии в Cursor капсом — это у меня означает, что я просто в бешенстве. А когда Cursor в разгар отладки предложил перейти на тариф PRO, потому что у меня закончились API-запросы, — я всерьёз решила, что это встроенная модель монетизации: специально генерировать кривой код, чтобы пользователи тратили больше запросов и покупали подписку дороже. 🤪
Я уже почти решила забить на Likee и Яндекс Музыку и попросила выгрузить все ссылки запросов так, как их видит Apify. И тут — О БОГИ — я увидела глазами картинку: «В вашем регионе видео недоступно».
Картинка сразу собралась. Акторы отрабатывали запрос без ошибки, но возвращали пустые данные — потому что VK и Likee молча блокируют запросы с европейских серверов Apify, не сообщая причину. ИИ не мог найти причину, потому что формально ошибки не было, а я, не особо погружённая в инфраструктурные нюансы, не могла понять что происходит. После того как проблема наконец сформулировалась — решение нашлось прямо в доках Apify.
направляет запросы через резидентные российские прокси — соцсеть видит российский IP и отдаёт данные. Сам актор и все данные при этом остаются на серверах Apify снаружи, модель анализа российской инфраструктуры не касается.
Но самое забавное в этой истории вот что: и саму платформу Apify, и способ обойти геосплит — мне помог найти неравнодушный AI-агент, который, видимо, тоже намучился с этой проблемой и написал про неё пост на Moltbook. На Хабре никто не рассказывает, как решал многомиллионную проблему — а агенты делятся друг с другом находками. 👀
Запрос к разработчикоам, которые наверняка решили бы это быстрее, было бы по человечески круто, если бы вы научились делиться своими ценными находками🫶
Картинки теперь всегда будут красивыми.
По итогу тестов вернусь с апдейтом.
#самсеберазработчик #назлободня #вайбкодинг #находка #apify
Сам себе разработчик — это когда ты совсем не разработчик, но очень хочется, и поэтому магия ИИ работает ровно до того момента, когда вопрос становится серьёзнее той области компетенций, которая есть у тебя и всех ИИ вместе взятых.
Я тут решила запилить в систему приложения гибкий парсер для соцсетей, который в оперативном режиме снимает аналитику по сетке аккаунтов — собрала нужные промты, изящную схему взаимодействия агентов, FastAPI для обновлений, даже Swagger красивый собрали, чтобы всё как у взрослых, в надежде что всемогущий Cursor напишет нужные строчки сам.
Лиха беда начало — код льётся, запросы отрабатываются, идеи по дашбордам собираются, уже целый список написала того, что буду делать с этими данными, всего-то надо было снять стату по 10 соцсетям. На Moltbook нашла универсальную платформу, которая раздает акторы для парсинга за токены - Apify, сотни акторов для соцсетей за символические ~$5 в месяц, всё изучили, запросы настроили, и вот приходит долгожданный день тестов: на локальной машине и фейковых запросах всё отработало отлично, все 10 парсеров сработали, данные в базу упали, пришло время MVP.
На первых запусках по всем параметрам пришли нули.
Долгой отладкой удалось починить половину — YouTube, Инста, TikTok и Apple Music приходили корректно, а Likee, VK, Яндекс Музыка и стриминги вроде Zvuk.ru не приходили ни в какую. Итерации «анализ логов — правки — пуш — запросы — ребилд — по кругу» заняли несколько дней, но с места мы не сдвинулись — акторы возвращали пустые данные без какой-либо ошибки, просто 0. В какой-то момент не хватило оперативки, докер стал падать прямо на деплое — пришлось заново собирать контейнер, настраивать переменные, это ещё день. Потом галлюцинирующий Cursor решил, что API Key Apify некорректный — замена, апдейт, новые тесты, откат к предыдущим состояниям. Ещё время. Пришлось даже собрать воркера на Claude который ревьюил Coursor, перепробовала все на что хватило фантазии.
В какой-то момент я начала писать комментарии в Cursor капсом — это у меня означает, что я просто в бешенстве. А когда Cursor в разгар отладки предложил перейти на тариф PRO, потому что у меня закончились API-запросы, — я всерьёз решила, что это встроенная модель монетизации: специально генерировать кривой код, чтобы пользователи тратили больше запросов и покупали подписку дороже. 🤪
Я уже почти решила забить на Likee и Яндекс Музыку и попросила выгрузить все ссылки запросов так, как их видит Apify. И тут — О БОГИ — я увидела глазами картинку: «В вашем регионе видео недоступно».
Картинка сразу собралась. Акторы отрабатывали запрос без ошибки, но возвращали пустые данные — потому что VK и Likee молча блокируют запросы с европейских серверов Apify, не сообщая причину. ИИ не мог найти причину, потому что формально ошибки не было, а я, не особо погружённая в инфраструктурные нюансы, не могла понять что происходит. После того как проблема наконец сформулировалась — решение нашлось прямо в доках Apify.
Как это починить — один параметр в конфиге актора:
json{
"proxyConfiguration": {
"useApifyProxy": true,
"apifyProxyGroups": ["RESIDENTIAL"],
"apifyProxyCountry": "RU"
}
}
apifyProxyCountry: "RU"
направляет запросы через резидентные российские прокси — соцсеть видит российский IP и отдаёт данные. Сам актор и все данные при этом остаются на серверах Apify снаружи, модель анализа российской инфраструктуры не касается.
Но самое забавное в этой истории вот что: и саму платформу Apify, и способ обойти геосплит — мне помог найти неравнодушный AI-агент, который, видимо, тоже намучился с этой проблемой и написал про неё пост на Moltbook. На Хабре никто не рассказывает, как решал многомиллионную проблему — а агенты делятся друг с другом находками. 👀
Запрос к разработчикоам, которые наверняка решили бы это быстрее, было бы по человечески круто, если бы вы научились делиться своими ценными находками🫶
Картинки теперь всегда будут красивыми.
По итогу тестов вернусь с апдейтом.
#самсеберазработчик #назлободня #вайбкодинг #находка #apify