#кейсы #ML
Поехали прямо с кейсов
Как в массе своей (модельный ширпотреб) строят модели антифрод (antifraud — детекция нежелательного поведения)?
Берут какую-то имеющуюся разметку (или покупают с рынка) и учат supervised модель классификации.
Как она работает на инференсе? Всем запросам назначает чиселку, выше этой чиселки отсекает (даже если модель калибрована - а в задаче рода еще поди скалибруй).
Что делать если вы фродстер и заметили что часть самого вкусного траффика отсекается такой модельной? А напрягаться не сильно хочется?
Ну можно налить очень много плохого траффика — вас либо сосем заблокируют, либо дадут по рукам DS чтоб он отключил модель, которая так много блочит. Если хочется поизощреннее, чтобы наверняка — сильно меняйте долю фродового траффика от недели к неделе - тогда уж наверняка «модель будет нестабильна», а если еще и примешивать фрод, сгенеренный чуть по-другому — так еще и все метрики качества будут весело скакать (f1 и roc_auc) — по рукам DS будут получать до посинения, а вам — мир и спокойствие.
PS: конечно, этот пост — ни в коем случае не советы фродстерам как ухудшить людям жизнь, а призыв к антифрод-командам активнее думать над стратегиями противной стороны, использовать агентские системы и симуляции при тестировании моделей, правильно выстраивать модельную архитектуру — и, главное, учиться коммуницировать со своими менеджерами )
Поехали прямо с кейсов
Как в массе своей (модельный ширпотреб) строят модели антифрод (antifraud — детекция нежелательного поведения)?
Берут какую-то имеющуюся разметку (или покупают с рынка) и учат supervised модель классификации.
Как она работает на инференсе? Всем запросам назначает чиселку, выше этой чиселки отсекает (даже если модель калибрована - а в задаче рода еще поди скалибруй).
Что делать если вы фродстер и заметили что часть самого вкусного траффика отсекается такой модельной? А напрягаться не сильно хочется?
Ну можно налить очень много плохого траффика — вас либо сосем заблокируют, либо дадут по рукам DS чтоб он отключил модель, которая так много блочит. Если хочется поизощреннее, чтобы наверняка — сильно меняйте долю фродового траффика от недели к неделе - тогда уж наверняка «модель будет нестабильна», а если еще и примешивать фрод, сгенеренный чуть по-другому — так еще и все метрики качества будут весело скакать (f1 и roc_auc) — по рукам DS будут получать до посинения, а вам — мир и спокойствие.
PS: конечно, этот пост — ни в коем случае не советы фродстерам как ухудшить людям жизнь, а призыв к антифрод-командам активнее думать над стратегиями противной стороны, использовать агентские системы и симуляции при тестировании моделей, правильно выстраивать модельную архитектуру — и, главное, учиться коммуницировать со своими менеджерами )