📎 Рекомендательная [RecSys Channel]
WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
Сегодня разбираем статью от Meta*. Это практическая работа о том, как в большом сервисе коротких видео повысить качество модели на этапе финального ранжирования. О жёстких ограничениях латенси тоже не забываем.
Главный вопрос — куда направить дополнительный вычислительный бюджет в рантайме. Варианты такие:
- на моделирование взаимодействий признаков,
- на моделирование последовательности действий пользователя,
- на то и другое.
Авторы выбрали третий вариант и предложили WHALE — архитектуру из двух параллельных веток с модулем фьюзинга:
1) Wukong-модуль работает со стандартными числовыми фичами: счётчиками и предиктами нижестоящих моделей.
2) HSTU-модуль обрабатывает исходную пользовательскую историю до 15 тысяч событий.
WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
Сегодня разбираем статью от Meta*. Это практическая работа о том, как в большом сервисе коротких видео повысить качество модели на этапе финального ранжирования. О жёстких ограничениях латенси тоже не забываем.
Главный вопрос — куда направить дополнительный вычислительный бюджет в рантайме. Варианты такие:
- на моделирование взаимодействий признаков,
- на моделирование последовательности действий пользователя,
- на то и другое.
Авторы выбрали третий вариант и предложили WHALE — архитектуру из двух параллельных веток с модулем фьюзинга:
1) Wukong-модуль работает со стандартными числовыми фичами: счётчиками и предиктами нижестоящих моделей.
2) HSTU-модуль обрабатывает исходную пользовательскую историю до 15 тысяч событий.