Лекция про нейросетевую генерацию кандидатов в ШАД.
Сегодня будет уже вторая лекция в ШАД’е про нейросети в рекомендательных системах — на этот раз про нейросетевой кандген. На эту лекцию ушло где-то в три раза больше времени, чем на прошлую:
1. Введение (идеальная рексистема, многостадийность, минусы классических кандгенов)
2. Двухбашенные модели (позднее связывание, семантическое пространство, информационный ботлнек и низкоранговое разложение матрицы релевантностей)
3. На что учить нейросетевой кандген (recap ранжирования, folding, softmax model, проблема полного софтмакса, сэмплированный софтмакс, равномерные негативы, in-batch негативы, logq-коррекция, альтернативные лоссы)
4. Функции похожести (скалярное произведение и почему оно выучивает популярности, косинус, температура)
5. Согласованность с ранжированием (рекомендации как RL, взгляд на многостадийность через RL)
6. Айтемные башни (обучаемые эмбеддинги и их минусы, мешок слов, inductive bias, контентное кодирование, тяжелые хвосты)
7. Пользовательские башни (почему не подходят обучаемые эмбеддинги, average pooling, трансформеры, next item prediction)
И к лекции идет семинар, на котором ребята обучат трансформер над историей пользователя (и даже сделают logQ-коррекцию!).
Прикладываю кусочек лекции про logQ-коррекцию :)
P.S: слайды лекции, как и в прошлый раз, вечером скину.
Сегодня будет уже вторая лекция в ШАД’е про нейросети в рекомендательных системах — на этот раз про нейросетевой кандген. На эту лекцию ушло где-то в три раза больше времени, чем на прошлую:
1. Введение (идеальная рексистема, многостадийность, минусы классических кандгенов)
2. Двухбашенные модели (позднее связывание, семантическое пространство, информационный ботлнек и низкоранговое разложение матрицы релевантностей)
3. На что учить нейросетевой кандген (recap ранжирования, folding, softmax model, проблема полного софтмакса, сэмплированный софтмакс, равномерные негативы, in-batch негативы, logq-коррекция, альтернативные лоссы)
4. Функции похожести (скалярное произведение и почему оно выучивает популярности, косинус, температура)
5. Согласованность с ранжированием (рекомендации как RL, взгляд на многостадийность через RL)
6. Айтемные башни (обучаемые эмбеддинги и их минусы, мешок слов, inductive bias, контентное кодирование, тяжелые хвосты)
7. Пользовательские башни (почему не подходят обучаемые эмбеддинги, average pooling, трансформеры, next item prediction)
И к лекции идет семинар, на котором ребята обучат трансформер над историей пользователя (и даже сделают logQ-коррекцию!).
Прикладываю кусочек лекции про logQ-коррекцию :)
P.S: слайды лекции, как и в прошлый раз, вечером скину.