Canary vs Shadow Deployment vs A/B Testing
Когда мы деплоим модель в production, для неё применяются те же стратегии деплоя, которые обычно используются и для обычных приложений.
Разберём три распространённые стратегии деплоя моделей.
1. Canary Traffic Splitting
Небольшой процент реального трафика, например 10%, направляется на новую модель, после чего отслеживается её работа.
Если с предсказаниями всё в порядке, долю трафика постепенно увеличивают, пока она не достигнет 100%.
2. A/B Testing
Одну группу пользователей направляют на модель A, другую — на модель B с помощью sticky routing, после чего сравнивают бизнес-метрики: CTR, conversion rate, revenue и т. д.
3. Shadow Deployment
Каждый реальный запрос, как обычно, обрабатывается старой моделью, и пользователь получает именно её ответ.
При этом копия того же запроса в фоне также отправляется на новую модель.
После этого можно сравнить залогированные предсказания обеих моделей на одном и том же реальном трафике.
👉 DevOps Portal
Когда мы деплоим модель в production, для неё применяются те же стратегии деплоя, которые обычно используются и для обычных приложений.
Разберём три распространённые стратегии деплоя моделей.
1. Canary Traffic Splitting
Небольшой процент реального трафика, например 10%, направляется на новую модель, после чего отслеживается её работа.
Если с предсказаниями всё в порядке, долю трафика постепенно увеличивают, пока она не достигнет 100%.
2. A/B Testing
Одну группу пользователей направляют на модель A, другую — на модель B с помощью sticky routing, после чего сравнивают бизнес-метрики: CTR, conversion rate, revenue и т. д.
3. Shadow Deployment
Каждый реальный запрос, как обычно, обрабатывается старой моделью, и пользователь получает именно её ответ.
При этом копия того же запроса в фоне также отправляется на новую модель.
После этого можно сравнить залогированные предсказания обеих моделей на одном и том же реальном трафике.
👉 DevOps Portal