Почти 40% ручных проверок в модерации Авито приходились на дубли. И некоторые из них — настоящая головоломка даже для опытного модератора.
Привет! Я Баяр Пак, DS-инженер в Автоматической модерации. Расскажу, как и зачем мы учим LLM находить дубли и как с нашей задачей справился хайповый Jev.
➡️ Условный пример. Две вакансии мерчандайзера, в которых всё идентично, кроме одного: во второй за +4 000 ₽/мес нужно ещё разгружать грузовики с товаром. Будем ли считать эти вакансии дублями? А если вместо уточнения про грузовики будет дополнительная обязанность «красиво раскладывать товар», и зарплата будет та же?
Интуитивно кажется, что в одном случае нужна объективно крепкая спина, а в другом — очень субъективное чувство прекрасного.
Обученный модератор считывает такую разницу за секунды, но попробуйте записать это правилом так, чтобы оно работало и для вакансий, и для товаров, и для квартир. А таких нюансов на Авито десятки тысяч, и все их не перечислишь. Правила задают рамку, но решать часто приходится, опираясь на знания о мире. Для этого у нас работает целый каскад моделей, в конце которого стоят LLM.
➡️ Как пробовали решать: ручной и автоматический промптинг и обучение адаптеров к LLM.
В отличие от многих других нарушений, с дублями промптинг, ни ручной, ни автоматический, нужного качества не дал: слишком специфичная и сложная проверка.
А вот SFT с LoRA-адаптером даёт заметный прирост. Для небольшой Qwen3-VL-8B это +11–20% к качеству и выход на уровень ручных модераторов, а для более крупной Qwen3.5-35B до +30%.
➡️ А что Jev? Уже вторую неделю весь интернет трубит о Jev и его невероятной крутости, и мы не смогли остаться в стороне. Взяли небольшую тестовую выборку и сравнили Jev с нашими продовыми подходами.
Что получилось:
🔍 Jev оказался лучше ванильной Qwen3-VL-8B примерно на 14% по качеству.
🔍 С ванильной Qwen3.5-35B-A3B он шёл фактически вровень, разница меньше процента.
🔍 А вот наша 8B с адаптером оказалась лучше Jev почти на 30%.
Небольшая модель, дообученная под конкретную задачу, пока уверенно бьёт хайповую новинку из коробки. Что, в целом, вполне естественно. А вот само качество Jev по сравнению с ванильными LLM приятно удивило. Ждём хороший опенсорс!