MetadataParser — это модуль Python для извлечения метаданных из веб-документов.

Для парсинга требуется BeautifulSoup. Для получения удалённых документов требуется Requests. Для анализа доменов используется tldextract, но его можно отключить, установив переменную среды.

Этот проект используется в производственных целях уже много лет и успешно обработал миллиарды документов.

🐱 GitHub