Б/У ml

Всем привет) меня зовут Камила, и я тоже приглашаю в свою DS команду в Авито

🔎 Data Scientist в команду поиска Авито
Москва / гибрид / возможна удалёнка или офисы Авито в РФ и Армении
Уровень: крепкий Middle+ / Senior
💰 Middle: 300–450 000 ₽/мес на руки
💰 Senior: 450–550 000+ ₽/мес на руки

Ищу DSа в поиск — туда, где ML напрямую влияет на то, что человек увидит после запроса, насколько быстро найдёт нужное и вернётся ли потом ещё раз.
Ты подходишь нам, если тебя драйвит не только момент ресерча, а продукт и то, как ты сам на него влияешь, потому что наша команда находится в самом сердце поиска — L1, и мы напрямую определяем, какие айтемы попадут на выдачу по конкретному запросу

🧑‍💻 Что за задачи
Улучшать векторный поиск на L1-стадии. Нужно учить эмбеддинги запросов и объявлений, чтобы поиск быстрее и точнее доставал релевантные айтемы из огромного объёма данных (более 200кк активных айтемов в индексе).

Что предстоит делать:
— обучать модели эмбеддингов для запросов и айтемов (в тч multimodal)
— экспериментировать с архитектурами и адаптировать SOTA под реальные задачи Авито
— развивать пайплайны для быстрого тестирования моделей векторного поиска
— генерить продуктовые гипотезы и проверять их
— самостоятельно запускать и разбирать A/B-тесты
— ставить задачи бэкенду по интеграции и инфраструктуре
— плотно работать с аналитиками и инженерами

✅ Что важно уметь
— опыт в Deep Learning
— уверенный Python
— умение работать с параллельными и распределёнными вычислениями
— базовая продуктовая и статистическая аналитика
— самостоятельный дизайн и анализ A/B-тестов
— навык формулировать гипотезу и доводить её до измеримого результата
— опыт в поиске / рекомендациях будет плюсом

🚀 Почему может быть интересно
— огромный масштаб: поиск Авито — это десятки миллионов пользователей и сотни миллионов объявлений
— прямое влияние на продукт
— любая сота, лишь бы прод держал (у нас уже есть rt VLM)
— никакой работы в стол
— сильная DS культура
— мощное железо для экспериментов
— бюджет на обучение и конфы
— ДМС со стоматологией с первого дня
— можно работать удалённо или из офисов Авито (в России и Ереване)

📩 Как откликнуться
Пишите в Telegram: @camalibi
В сообщении можно сразу кинуть:
— резюме / LinkedIn
— пару строк про опыт в DL, поиске, рекомендациях
— GitHub / Kaggle / статьи / проекты, если есть что показать
Отсмотрю сама и передам дальше, если метчимся

Вместо итогов года, хочу поделиться моим списком лучших — самых значимых или просто понравившихся — статей, которые я прочитал за последние два года (про 2024 раньше не писал). В порядке прочтения.

Unified Embedding
Статья DeepMind о том, что можно использовать одну универснальную таблицу эмбеддингов для многих sparse фичей. Полезная практическая статья.
Обзоры в Рекомендательной и у Дани.

Actions Speak Louder than Words
Громкая статья от Meta. Первая показала, что можно обучать огромные модели для рекомендаций. Ввела HSTU и новое представление истории. Лично для меня это был первый намёк на то, что когда-нибудь мы сможем отказаться от всех ручных фичей.
Обзоры в Рекомендательной и у Даши.

Revisiting Neural Retrieval on Accelerators
Meta показала, что retrieval можно делать на GPU без индекса. Также вводят для второй стадии модель mixture-of-logits (MoL), которая является более выразительной, но всё ещё относительно дешевой в вычислениях функцией. Для меня это была первая статья, показавшая, что retrieval можно делать лучше, чем всем привычным HNSW. И я сам потом работал над этим подходом. Обзоры у меня и у Саши.
А в последующей статье показали, что можно всё-таки и с индексами и без GPU напрямую искать топ по MoL. Обзор в Рекомендательной.

Серия Semantic IDs от DeepMind
- Generative Retrieval (обзоры у Саши и в Рекомендательной)
- Better Generalization (обзор у Дани)
- PLUM (обзоры у Кирилла и в Рекомендательной)
Номер 1 по значимости, самый существенный сдвиг парадигмы последнего времени. Токенизатор рекомендательного мира, представляющий контентную информацию об объектах в виде кодов из конечного словаря, полученного из иерархической кластеризации (RQ-VAE). Использование этой токенизации для нового метода retrieval, для более эффективных эмбеддингов в ранжировании и для связи с LLM. Уже повлияло на всю индустрию. Must read.

Streaming Vector Quantization Retriever
Одна вещь, которая меня больше всего смущала в Semantic IDs, — что RQ-VAE обучается отдельно, не end-to-end совместно с рекомендательной задачей. В этой статье ByteDance как раз исправили это. Правда, тут не иерархический RQ-VAE, а одноуровневый VQ-VAE. Зато real-time.
Обзор в Рекомендательной.

Stop Regressing
Единственная статья не про рекомендации, хотя и в рекомендациях тоже может быть полезной. DeepMind о том, как в задачах регресии (на примере value function в RL) моделирование распределения таргета (вместо точечной оценки) с помощью Histogram Loss улучшает масштабируемость. Про сам Histogram Loss можно прочитать и в оригинальной статье. Для меня это теперь достаточно близкая тема.
Про статью я узнал из выступления Дмитрия Бабаева на ICML Recap (а также в ML Underhood).

Серия OneRec от Kuaishou
- OneRec
- OneRec Technical Report
- OneRec-V2 Technical Report
- OneRec-Think
(и ещё какое-то количество статей, но я, признаюсь, даже последние две ещё только собираюсь прочитать)
Не называю это номером 1 по значимости только лишь потому, что оно во многом является продолжением Semantic IDs. Но всё же доводит их до того, что многие уже называют революцией — первая индустриальная end-to-end рекомендательная система, без нескольких стадий ранжирования. Вот примерно так будут выглядеть системы нового поколения. Must read.
Обзоры у Саши, в Рекомендательной и у Коли (1, 2, 3).

Correcting the LogQ Correction
Приз моей личной симпатии, потому что
1) улучшили знаменитую технику Гугла LogQ-коррекции,
2) я сам какое-то время думал на эту тему,
3) я рад за Кирилла и команду 😉
Обзор у автора.


На этом всё. Надеюсь, это будет кому-нибудь полезно. Мне самому было бы очень полезно, если бы авторы дружественных каналов позаимствовали такой формат! (только не «лучшие посты года»...)