Антикейс: 50 креативов в тесте и дробление бюджета убили статистику быстрее, чем модерация

Команда запускает пачку из 50 креативов сразу, потом режет бюджет на микродоли, чтобы «всем дать шанс». На бумаге это выглядит как широкий тест. На практике — шум, где ни один сигнал не успевает накопиться.

Что ломается:
— бюджет на креатив не набирает достаточный объём показов;
— алгоритм не понимает, что масштабировать, а что стопать;
— победители выглядят случайными, потому что выборка слишком мелкая;
— менеджер видит десятки «слабых» объявлений и начинает резать ещё сильнее.

Второй провал — смешивание этапов. Тестирование, отбор, масштабирование и чистка идут одновременно. В итоге команда не знает, кто виноват: оффер, угол, аудитория или просто недокрученное обучение системы.

Нормальная схема проще: сначала ограничить число гипотез, потом дать каждой дойти до сопоставимого объёма, и только после этого сравнивать. Если на тесте нет минимальной дисциплины по бюджету и времени, данные превращаются в мусор.

Вывод: не тестируйте 50 идей одновременно, если не можете прокормить ни одну. Сначала порядок в сплите, потом выводы.