Semantic Outlier Removal with Embedding Models and LLMs

Наткнулся на интересную статью с практичным подходом к очистке веб-страниц

Проблема знакома многим: при парсинге сайтов приходится отделять основной контент от навигации, футеров, рекламных блоков и прочих элементов интерфейса

Обычно это решается написанием специфичных правил для каждого сайта — трудозатратно и неуниверсально

Автор предлагает элегантное решение через эмбеддинги:
1. Извлекаем все HTML-теги с текстом и фиксируем уровень их вложенности
2. Передаем эти данные в модель эмбеддингов
3. Отдельно подаем заголовок страницы и основную тему
4. Фильтруем элементы по семантическому расстоянию

Подход работает универсально — модель понимает смысловую связь между элементами и основной темой страницы, автоматически отсекая нерелевантный контент

Выглядит перспективно, особенно для проектов, где нужно обрабатывать контент с разнородных сайтов

Кто-то уже применял подобные методы? Буду благодарен за опыт использования и ссылки на реализации (мб уже знаете либы для очистки через LLM)