Я хотела перестать сообщать о #RAG_expansion в боте и поисковике, но тут произошло закрытие ну очень давнего пунктика в бэклоге, да ещё и в солидных масштабах.
История такая: УФАСы в базе ФАС преимущественно выкладывают решения прямо текстом на странице с карточкой документа, его легко подобрать простым извлечением из HTML каждой страницы при рутинном скрапинге. Но я сразу заметила, что есть какой-то немаленький процент дел, в которых решения прикладываются отдельными файлами офисных форматов, а текстовое поле — пустое или с какими-то рандомными 1-2 словами. Это даже приводило к вайбкодерским приколам типа того, что нейросеть на этапе суммаризации полностью выдумывала рекламное дело из пустого текста, и пришлось делать отсечку по размеру отправляемого на разметку файла.
В доагентную свою вайбкодерскую бытность я выстроила процесс так, чтобы все ссылки, по которым скрапер ходил, но текст не получил, сохранялись в надежде когда-то что-то с этим сделать. И вот настала удивительная эра агентов, и в пятницу вечером я отправила Claude Code CLI через прокси-сервер бродить по этим ссылкам в поисках закономерностей.
Оказалось, что практически в 15% случаев УФАСы выкладывают решения файликами, и здесь полный зоопарк: форматы вплоть до .odt, pdf бывают без текстового слоя, Орловское и Приморское УФАСы обожают .doc.
Свердловское постит только и исключительно .pdf, 100% всех появлений Свердловского УФАСа по моим фильтрам только с файлами — то есть за всё время жизни бота в нём не было ни одного дела из моего самого любимого региона. Ни легендарной девочки со средним пальцем от застройщика Брусника, ни целой панамки рекламы «мужских массажных салонов», ни ломбарда внутри объявления о светильнике на Авито.
А теперь всё есть! Добра набралось на почти полторы тысячи дел, около 250 осели для бота. В пайплайне добора кейсов появилось несколько новых компонентов.
Осталось ещё несколько невзятых вершин — практика Центрального аппарата и дела, которые заныканы по другим поисковым фильтрам, иной раз очень экзотичными.
Кроме бота всё это доступно через поисковик или коннектор. Ссылки на все мои рекламные проекты здесь — https://delay-rag.ru/ads/ 😎
История такая: УФАСы в базе ФАС преимущественно выкладывают решения прямо текстом на странице с карточкой документа, его легко подобрать простым извлечением из HTML каждой страницы при рутинном скрапинге. Но я сразу заметила, что есть какой-то немаленький процент дел, в которых решения прикладываются отдельными файлами офисных форматов, а текстовое поле — пустое или с какими-то рандомными 1-2 словами. Это даже приводило к вайбкодерским приколам типа того, что нейросеть на этапе суммаризации полностью выдумывала рекламное дело из пустого текста, и пришлось делать отсечку по размеру отправляемого на разметку файла.
В доагентную свою вайбкодерскую бытность я выстроила процесс так, чтобы все ссылки, по которым скрапер ходил, но текст не получил, сохранялись в надежде когда-то что-то с этим сделать. И вот настала удивительная эра агентов, и в пятницу вечером я отправила Claude Code CLI через прокси-сервер бродить по этим ссылкам в поисках закономерностей.
Оказалось, что практически в 15% случаев УФАСы выкладывают решения файликами, и здесь полный зоопарк: форматы вплоть до .odt, pdf бывают без текстового слоя, Орловское и Приморское УФАСы обожают .doc.
Свердловское постит только и исключительно .pdf, 100% всех появлений Свердловского УФАСа по моим фильтрам только с файлами — то есть за всё время жизни бота в нём не было ни одного дела из моего самого любимого региона. Ни легендарной девочки со средним пальцем от застройщика Брусника, ни целой панамки рекламы «мужских массажных салонов», ни ломбарда внутри объявления о светильнике на Авито.
А теперь всё есть! Добра набралось на почти полторы тысячи дел, около 250 осели для бота. В пайплайне добора кейсов появилось несколько новых компонентов.
Осталось ещё несколько невзятых вершин — практика Центрального аппарата и дела, которые заныканы по другим поисковым фильтрам, иной раз очень экзотичными.
Кроме бота всё это доступно через поисковик или коннектор. Ссылки на все мои рекламные проекты здесь — https://delay-rag.ru/ads/ 😎