🗞️ Если обычному человеку дать в руки советскую газету, он без проблем её прочитает, а вот VLM запутается и не сможет с точностью распознать, что написано на выцветших страницах
За решение этой проблемы взялись участники студкемпа Яндекс Образования вместе с экспертами Центра технологий для общества Yandex Cloud. Работали над реальными задачами Библиотеки имени Н. А. Некрасова* и проекта «Электронекрасовка».
↪️ «Электронекрасовка» — это электронная библиотека и культурно-просветительское медиа, основу которого составляет системная оцифровка библиотечных фондов.
💿 Поэтому распознать только буквы было недостаточно. Нейросети необходимо понять семантику страниц и определить точный порядок чтения блоков, чтобы восстановить смысл публикации.
Так появился PereStruct — модульный пайплайн для восстановления логической структуры старинных газет.
🟣 PereStruct объединяет детектор вёрстки на базе YOLO, Yandex Vision OCR для распознавания текста, модели коррекции ошибок Yandex AI Studio и отдельную модель семантической сборки, которая «склеивает» фрагменты в единое целое.
Это не первое наше сотрудничество с Библиотекой им. Н. А. Некрасова. Ранее Центр технологий для общества Yandex Cloud помог автоматизировать базовую оцифровку: благодаря облачным сервисам обработка сканов сократилась с 11 минут до 25 секунд. Рассказывали об этом здесь.
*С 2024 года технологическим партнёром библиотеки является Центр технологий для общества Yandex Cloud. Мы предоставляем вычислительные ресурсы и помогаем перенести отдельные этапы обработки сканов в облако.
⚪️ Подписывайтесь: @ycsocialtech
За решение этой проблемы взялись участники студкемпа Яндекс Образования вместе с экспертами Центра технологий для общества Yandex Cloud. Работали над реальными задачами Библиотеки имени Н. А. Некрасова* и проекта «Электронекрасовка».
↪️ «Электронекрасовка» — это электронная библиотека и культурно-просветительское медиа, основу которого составляет системная оцифровка библиотечных фондов.
По мере роста цифровой коллекции появлялись сложные задачи. Например, как собрать разрозненные текстовые блоки на газетной полосе в цельные статьи.
Правила вёрстки отличались не только в разных изданиях, но даже на соседних страницах одной газеты. Заголовок мог растянуться на несколько колонок, а текст — обрываться и переноситься на другую часть полосы.
💿 Поэтому распознать только буквы было недостаточно. Нейросети необходимо понять семантику страниц и определить точный порядок чтения блоков, чтобы восстановить смысл публикации.
Так появился PereStruct — модульный пайплайн для восстановления логической структуры старинных газет.
🟣 PereStruct объединяет детектор вёрстки на базе YOLO, Yandex Vision OCR для распознавания текста, модели коррекции ошибок Yandex AI Studio и отдельную модель семантической сборки, которая «склеивает» фрагменты в единое целое.
Подробнее о том, как устроен пайплайн PereStruct и другие технические детали проекта, читайте в статье на Хабре.
Это не первое наше сотрудничество с Библиотекой им. Н. А. Некрасова. Ранее Центр технологий для общества Yandex Cloud помог автоматизировать базовую оцифровку: благодаря облачным сервисам обработка сканов сократилась с 11 минут до 25 секунд. Рассказывали об этом здесь.
*С 2024 года технологическим партнёром библиотеки является Центр технологий для общества Yandex Cloud. Мы предоставляем вычислительные ресурсы и помогаем перенести отдельные этапы обработки сканов в облако.
⚪️ Подписывайтесь: @ycsocialtech