Как сделать AI-фокус-группу, которая отвечает на 90% так же, как живые люди (рисерч с панелью из 9300 человек).
☠️ АЛЕРТ: этот пост местами очень душный, 10/10. При этом потенциальная польза тоже на 10/10. В любом случае, откройте форточку..
Ссылка на рисерч (фул пдф в первом комменте)
✍️ TLDR
Консенсус в индустрии: если с помощью AI имитировать интервью с целью выявить purchase intent - точность будет никакой. Однако, если использовать правильную технику опроса - AI отвечает на 90% так же, как живые люди.
🔍 Подробнее об исследовании
GPT-4o и Gemini-2.0-flash тестировали на 57 концептах продуктов личной гигиены (зубные пасты, гели для душа, уход за кожей) с 9300 реальными участниками (150-400 человек на концепт).
Результаты:
➢ Если задавать дефолтный вопрос "оцени по шкале от 1 до 5..." (метод Direct Likert Rating) → результат так себе. Модели застревают на "безопасном" ответе "3", почти никогда не выбирают крайние значения 1 и 5 (корреляция 81%, сходство распределений 0.26).
➢ Если просить AI дать текстовое описание, а потом перевести его в цифру (один AI пишет текст, потом другой AI переводит в 1-5) → результат лучше (но распределение всё ещё слишком узкое, корреляция 85%, сходство 0.72)
➢ Но если использовать метод Semantic Similarity Rating (SSR) → получается очень хорошо (корреляция 90%, сходство 0.88)
Де-факто, SSR достигает 90% от повторяемости ответов людей — это предел точности, выше которого подняться невозможно из-за шума в человеческих ответах.
🧠 Почему так и как работает SSR
Когда AI просят "оцени по шкале от 1 до X", модель работает в режиме "пытаюсь угадать правильный ответ" и скатывается к центру шкалы. Это не баг,а фича того, как работают LLM.
Метод SSR обходит проблему через 3 шага:
➢ AI пишет естественный текст: "Цена кажется справедливой, продукт удобный, возможно куплю если будут хорошие отзывы"
➢ Смысл текста кодируется в набор чисел - тексты с похожим смыслом получают близкие "координаты"
➢ Эти координаты сравниваются с координатами 5 эталонных фраз ("точно нет" → "точно да"). Чем ближе по смыслу к "точно да" — тем выше вероятность оценки 5
‼️ Критическое условие работоспособности
➢ Обязательно нужна инфа о демографии юзеров. Без возраста, дохода, локации точность воспроизведения падает с 92% до 50%.
➢ Работает только для доменов с богатыми обучающими данными (B2C, B2B SaaS). Для ультра-нишевого B2B метод не валиден (AI не знает специфику рынка).
🤸♂️ Как это все использовать
Строим цифровых двойников наших идеальных клиентов, чтобы тестить лендинги, письма, ценообразование, позиционирование и т.д. Слабые варики отсеиваем через AI-панели, выживших все таки стоит показать обычным людям..
Для реализации нужны скилы вайб кодинга маркетинга. Я бы делал все в курсоре / claude code:
➢ Собираем в папочку как можно больше данных о наших юзерах / клиентах: интервью, касдевы, записи звонков, отзывы, все что есть в CRM и т.д.
➢ Извлекаем поведенческие паттерны. Промптируем, чтобы выжать из данных: что мотивирует клиентов, что триггерит покупку, что останавливает, какие возражения типичны, какой эмоциональный контекст и т.д.
➢ Создаем AI-панель. Для каждого представителя нашей аудитории создаём AI-двойника с точной демографией + поведенческими паттернами ("Ты женщина 42 года, доход выше среднего, живёшь в крупном городе, вот твои поведенческие паттерны")
➢ Задаём вопрос про наш продукт, получаем текстовый ответ.
➢ Дальше, нужно написать Python скрипт, который проведет SSR-оценку ответов AI-двойников. Исследователи выложили свой код на Github, вы легко адаптируете его под свой кейс.
Ну или всегда можно попросить более технически подготовленных коллег помочь.
Ставьте 🌚 если просите совет только у AI и 🫡 если пока еще верите живым людям..
☠️ АЛЕРТ: этот пост местами очень душный, 10/10. При этом потенциальная польза тоже на 10/10. В любом случае, откройте форточку..
Ссылка на рисерч (фул пдф в первом комменте)
✍️ TLDR
Консенсус в индустрии: если с помощью AI имитировать интервью с целью выявить purchase intent - точность будет никакой. Однако, если использовать правильную технику опроса - AI отвечает на 90% так же, как живые люди.
🔍 Подробнее об исследовании
GPT-4o и Gemini-2.0-flash тестировали на 57 концептах продуктов личной гигиены (зубные пасты, гели для душа, уход за кожей) с 9300 реальными участниками (150-400 человек на концепт).
Результаты:
➢ Если задавать дефолтный вопрос "оцени по шкале от 1 до 5..." (метод Direct Likert Rating) → результат так себе. Модели застревают на "безопасном" ответе "3", почти никогда не выбирают крайние значения 1 и 5 (корреляция 81%, сходство распределений 0.26).
➢ Если просить AI дать текстовое описание, а потом перевести его в цифру (один AI пишет текст, потом другой AI переводит в 1-5) → результат лучше (но распределение всё ещё слишком узкое, корреляция 85%, сходство 0.72)
➢ Но если использовать метод Semantic Similarity Rating (SSR) → получается очень хорошо (корреляция 90%, сходство 0.88)
Де-факто, SSR достигает 90% от повторяемости ответов людей — это предел точности, выше которого подняться невозможно из-за шума в человеческих ответах.
🧠 Почему так и как работает SSR
Когда AI просят "оцени по шкале от 1 до X", модель работает в режиме "пытаюсь угадать правильный ответ" и скатывается к центру шкалы. Это не баг,а фича того, как работают LLM.
Метод SSR обходит проблему через 3 шага:
➢ AI пишет естественный текст: "Цена кажется справедливой, продукт удобный, возможно куплю если будут хорошие отзывы"
➢ Смысл текста кодируется в набор чисел - тексты с похожим смыслом получают близкие "координаты"
➢ Эти координаты сравниваются с координатами 5 эталонных фраз ("точно нет" → "точно да"). Чем ближе по смыслу к "точно да" — тем выше вероятность оценки 5
‼️ Критическое условие работоспособности
➢ Обязательно нужна инфа о демографии юзеров. Без возраста, дохода, локации точность воспроизведения падает с 92% до 50%.
➢ Работает только для доменов с богатыми обучающими данными (B2C, B2B SaaS). Для ультра-нишевого B2B метод не валиден (AI не знает специфику рынка).
🤸♂️ Как это все использовать
Строим цифровых двойников наших идеальных клиентов, чтобы тестить лендинги, письма, ценообразование, позиционирование и т.д. Слабые варики отсеиваем через AI-панели, выживших все таки стоит показать обычным людям..
Для реализации нужны скилы вайб кодинга маркетинга. Я бы делал все в курсоре / claude code:
➢ Собираем в папочку как можно больше данных о наших юзерах / клиентах: интервью, касдевы, записи звонков, отзывы, все что есть в CRM и т.д.
➢ Извлекаем поведенческие паттерны. Промптируем, чтобы выжать из данных: что мотивирует клиентов, что триггерит покупку, что останавливает, какие возражения типичны, какой эмоциональный контекст и т.д.
➢ Создаем AI-панель. Для каждого представителя нашей аудитории создаём AI-двойника с точной демографией + поведенческими паттернами ("Ты женщина 42 года, доход выше среднего, живёшь в крупном городе, вот твои поведенческие паттерны")
➢ Задаём вопрос про наш продукт, получаем текстовый ответ.
➢ Дальше, нужно написать Python скрипт, который проведет SSR-оценку ответов AI-двойников. Исследователи выложили свой код на Github, вы легко адаптируете его под свой кейс.
Ну или всегда можно попросить более технически подготовленных коллег помочь.
Ставьте 🌚 если просите совет только у AI и 🫡 если пока еще верите живым людям..