Исследователи AI VK Research представили большой датасет VK-LSVD на The Web Conference 2026 — одной из ключевых международных конференций в сфере web science. О датасете можно почитать подробнее в нашем канале и на Хабре.
Мы подготовили обзор нескольких интересных статей, отмеченных программным комитетом конференции.
🏆 Best paper award
From Retrieval to Generation: Unifying External and Parametric Knowledge for Medical Question Answering
Работа посвящена медицинским вопросно-ответным системам на базе LLM.
В стандартном Retrieval-Augmented Generation (RAG) ответ строится с опорой на найденные в корпусе документы, тогда как Generation-Augmented Generation (GAG) использует сгенерированные LLM контекстные документы. Авторы предлагают многостадийный метод MedRGAG, который объединяет внешние и сгенерированные знания: после информационного поиска сжать его результат, определить недостающие знания, заполнить пробелы — сгенерировать соответствующие документы, выбрать из найденных и сгенерированных документов мини-корпус для контекста LLM для генерации ответа.
Авторы продемонстрировали преимущество подхода в медицинском домене, но метод очень дорогой и при замене вспомогательной языковой модели GPT-4o-mini на меньшие качество падает.
🏆 Best Short Paper Award
DualGR: Generative Retrieval with Long and Short-Term Interests Modeling
Авторы усовершенствовали генеративный retrieval для рекомендаций коротких видео и предложили три модификации стандартного генеративного пайплайна.
🟣Dual Branch Router. История пользователя делится на два окна: длинное хранит устойчивые интересы, короткое окно ловит новые. При обучении модель выбирает окно, которое точнее совпадает с coarse semantic ID целевого видео. При инференсе кандидаты генерируются сразу по обеим ветвям и объединяются в список.
🟣Search based SID Decoding. После генерации первого (грубого) semantic ID модель фильтрует историю: оставляет только действия с таким же первым ID. Например, чтобы рекомендовать видео о спорте, анализируется история просмотров только спортивных роликов, и остальная история не мешает.
🟣Exposure aware NTP Loss. Модель штрафуется за высокую вероятность первого semantic ID у показанных, но непрокликнутых видео. Штраф вводится только на первом грубом уровне: неактуальные интересы затухают быстрее, а точные semantic ID не перекрываются лишними отрицательными метками.
🏆 Seoul Test of Time Award
LINE: Large-scale information network embedding
В этой работе исследователи предложили строить embedding для вершин больших графов по методу LINE. Метод хорошо масштабируется и учитывает два типа близости: первого порядка (по рёбрам графа) и второго порядка (по схожести соседей). Оба представления обучаются отдельно и конкатенируются. Есть инженерные приёмы реализации negative sampling и edge sampling — ребро выбирается с вероятностью, пропорциональной его весу, после чего обрабатывается как бинарное.
Награда Seoul Test of Time Award особенная: её вручают за статьи, значимость которых со временем подтвердилась.
Обзор подготовил руководитель AI VK Research Александр Дьяконов.
#aivkhub #обзор #конференция
Мы подготовили обзор нескольких интересных статей, отмеченных программным комитетом конференции.
🏆 Best paper award
From Retrieval to Generation: Unifying External and Parametric Knowledge for Medical Question Answering
Работа посвящена медицинским вопросно-ответным системам на базе LLM.
В стандартном Retrieval-Augmented Generation (RAG) ответ строится с опорой на найденные в корпусе документы, тогда как Generation-Augmented Generation (GAG) использует сгенерированные LLM контекстные документы. Авторы предлагают многостадийный метод MedRGAG, который объединяет внешние и сгенерированные знания: после информационного поиска сжать его результат, определить недостающие знания, заполнить пробелы — сгенерировать соответствующие документы, выбрать из найденных и сгенерированных документов мини-корпус для контекста LLM для генерации ответа.
Авторы продемонстрировали преимущество подхода в медицинском домене, но метод очень дорогой и при замене вспомогательной языковой модели GPT-4o-mini на меньшие качество падает.
🏆 Best Short Paper Award
DualGR: Generative Retrieval with Long and Short-Term Interests Modeling
Авторы усовершенствовали генеративный retrieval для рекомендаций коротких видео и предложили три модификации стандартного генеративного пайплайна.
🟣Dual Branch Router. История пользователя делится на два окна: длинное хранит устойчивые интересы, короткое окно ловит новые. При обучении модель выбирает окно, которое точнее совпадает с coarse semantic ID целевого видео. При инференсе кандидаты генерируются сразу по обеим ветвям и объединяются в список.
🟣Search based SID Decoding. После генерации первого (грубого) semantic ID модель фильтрует историю: оставляет только действия с таким же первым ID. Например, чтобы рекомендовать видео о спорте, анализируется история просмотров только спортивных роликов, и остальная история не мешает.
🟣Exposure aware NTP Loss. Модель штрафуется за высокую вероятность первого semantic ID у показанных, но непрокликнутых видео. Штраф вводится только на первом грубом уровне: неактуальные интересы затухают быстрее, а точные semantic ID не перекрываются лишними отрицательными метками.
🏆 Seoul Test of Time Award
LINE: Large-scale information network embedding
В этой работе исследователи предложили строить embedding для вершин больших графов по методу LINE. Метод хорошо масштабируется и учитывает два типа близости: первого порядка (по рёбрам графа) и второго порядка (по схожести соседей). Оба представления обучаются отдельно и конкатенируются. Есть инженерные приёмы реализации negative sampling и edge sampling — ребро выбирается с вероятностью, пропорциональной его весу, после чего обрабатывается как бинарное.
Награда Seoul Test of Time Award особенная: её вручают за статьи, значимость которых со временем подтвердилась.
Обзор подготовил руководитель AI VK Research Александр Дьяконов.
#aivkhub #обзор #конференция