ACM RecSys’25, день третий.
1. Утром был keynote от Jure Lescovec, известного специалиста по графовым моделям и одного из авторов GraphSAGE / PinSAGE. Рассказывал про свой стартап kumo.ai; про модель, которую делают — RFM (Relational Foundation Model). Эта модель позволяет взять произвольный набор табличек бизнеса (по сути реляционную бд), построить на их основе граф, затем предсказать какие-то новые ребра в этом графе, либо что-то классифицировать по вершинам. Причём делается это in-context learning’ом, без дообучения модели на графе. Вроде говорят, что прожевывают “billions of records”, но при этом используют pandas, чтобы манипулировать таблицами в оперативной памяти (что в 2025-м году уже нелегально). Под капотом то ли просто многоголовый аттеншн, то ли полноценный трансформер. Графовые данные и in-context примеры как-то преобразуются, “токенизируются”, чтобы можно было подать в трансформер. Еще, из интересного — есть целый предиктивный язык, похожий на SQL, в стиле “PREDICT NEXT(order) FOR users IN (1, 2, 3)”.
Что не понравилось — так это бенчмарки. Они выглядели как попытка продать что-то инвесторам. Рекомендательный бенчмарк, например, выглядел супер невнятно — взяли для сравнения LightGBM, GraphSAGE, NFBNet. Датасеты тоже непонятные (но зато был датасет от avito :) ). Ах да, потом еще выясняется что их RFM модельку файнтюнить все-таки можно, и от этого качество существенно растет. В общем, чувства от доклада немного смешанные =) Еще в related work был небольшой омаж Tabular Foundation Models.
2. Это был день индустриальных статей, на котором было много интересных постеров. Все мои знакомые, павшие духом после первых двух дней конференций, воспряли :) Мне, правда, и от ресерч работ, и от индустрии сильно не хватило фундаментальности. Почти все, что делается (за исключением части RL работ) — выглядит не слишком значительным.
Так как я в прошлом году больше всего активничал именно на индустриальных работах, у меня осталось много знакомых из индустрии. Сегодня кучу из них встретил. Знаете, есть такое ощущение, когда давно не видел человека и хорошо его помнишь, но не уверен, помнит ли он тебя :) Так вот — все помнят!
3. После просмотра постеров я заметил, что их меньше, чем слотов. И решил повесить свой еще раз =) В итоге я еще часа 3-4 простоял с постером сегодня, удалось где-то 10-15 человек посвятить в наши наработки :) Еще один человек, прочитавший нашу статью до конференции, сослался на мой пост на реддите. Он не выглядит популярным, но тем не менее тоже сработал. Если хотите, чтобы ваша работа получила максимальный охват, нужно пользоваться всеми доступными социальными сетями — это совсем не бесполезный труд, даже если на первый взгляд может так показаться.
4. На RecSys традиционно есть social dinner, после которого ночью люди обычно самоорганизуются и идут на караоке. В прошлом году я про караоке не знал и ушел рано, а в этом до него таки добрался. В результате были спеты Creep (Radiohead), Yesterday (Beatles), Do I Wanna Know (Arctic Monkeys), Where Is My Mind (Pixies). Еще кто-то Viva la Vida (Coldplay) заказал, а петь не стал, пришлось помогать… В общем, домой я добрался где-то в 3:30 =)
P.S: напоследок немного инсайдов — следующий RecSys будет в Миннесоте, город Миннеаполис. Будет трудно туда попасть :( И про RecSys, который будет через два года, у меня есть похожая инфа, что он будет в Штатах (если интересно где — ищите сериал White Lotus).
А еще, вроде как ребята из Дипмайнда через пару недель должны дропнуть новую статью про семантические айдишники!
Кстати, на прошлом RecSys их коллеги из соседней команды тизерили DCN-v3 и даже DCN-v4, а статей про них что-то нет — подозрительно?)
1. Утром был keynote от Jure Lescovec, известного специалиста по графовым моделям и одного из авторов GraphSAGE / PinSAGE. Рассказывал про свой стартап kumo.ai; про модель, которую делают — RFM (Relational Foundation Model). Эта модель позволяет взять произвольный набор табличек бизнеса (по сути реляционную бд), построить на их основе граф, затем предсказать какие-то новые ребра в этом графе, либо что-то классифицировать по вершинам. Причём делается это in-context learning’ом, без дообучения модели на графе. Вроде говорят, что прожевывают “billions of records”, но при этом используют pandas, чтобы манипулировать таблицами в оперативной памяти (что в 2025-м году уже нелегально). Под капотом то ли просто многоголовый аттеншн, то ли полноценный трансформер. Графовые данные и in-context примеры как-то преобразуются, “токенизируются”, чтобы можно было подать в трансформер. Еще, из интересного — есть целый предиктивный язык, похожий на SQL, в стиле “PREDICT NEXT(order) FOR users IN (1, 2, 3)”.
Что не понравилось — так это бенчмарки. Они выглядели как попытка продать что-то инвесторам. Рекомендательный бенчмарк, например, выглядел супер невнятно — взяли для сравнения LightGBM, GraphSAGE, NFBNet. Датасеты тоже непонятные (но зато был датасет от avito :) ). Ах да, потом еще выясняется что их RFM модельку файнтюнить все-таки можно, и от этого качество существенно растет. В общем, чувства от доклада немного смешанные =) Еще в related work был небольшой омаж Tabular Foundation Models.
2. Это был день индустриальных статей, на котором было много интересных постеров. Все мои знакомые, павшие духом после первых двух дней конференций, воспряли :) Мне, правда, и от ресерч работ, и от индустрии сильно не хватило фундаментальности. Почти все, что делается (за исключением части RL работ) — выглядит не слишком значительным.
Так как я в прошлом году больше всего активничал именно на индустриальных работах, у меня осталось много знакомых из индустрии. Сегодня кучу из них встретил. Знаете, есть такое ощущение, когда давно не видел человека и хорошо его помнишь, но не уверен, помнит ли он тебя :) Так вот — все помнят!
3. После просмотра постеров я заметил, что их меньше, чем слотов. И решил повесить свой еще раз =) В итоге я еще часа 3-4 простоял с постером сегодня, удалось где-то 10-15 человек посвятить в наши наработки :) Еще один человек, прочитавший нашу статью до конференции, сослался на мой пост на реддите. Он не выглядит популярным, но тем не менее тоже сработал. Если хотите, чтобы ваша работа получила максимальный охват, нужно пользоваться всеми доступными социальными сетями — это совсем не бесполезный труд, даже если на первый взгляд может так показаться.
4. На RecSys традиционно есть social dinner, после которого ночью люди обычно самоорганизуются и идут на караоке. В прошлом году я про караоке не знал и ушел рано, а в этом до него таки добрался. В результате были спеты Creep (Radiohead), Yesterday (Beatles), Do I Wanna Know (Arctic Monkeys), Where Is My Mind (Pixies). Еще кто-то Viva la Vida (Coldplay) заказал, а петь не стал, пришлось помогать… В общем, домой я добрался где-то в 3:30 =)
P.S: напоследок немного инсайдов — следующий RecSys будет в Миннесоте, город Миннеаполис. Будет трудно туда попасть :( И про RecSys, который будет через два года, у меня есть похожая инфа, что он будет в Штатах (если интересно где — ищите сериал White Lotus).
А еще, вроде как ребята из Дипмайнда через пару недель должны дропнуть новую статью про семантические айдишники!
Кстати, на прошлом RecSys их коллеги из соседней команды тизерили DCN-v3 и даже DCN-v4, а статей про них что-то нет — подозрительно?)