Samally ML / AI / LLM Notes

умеют ли ллм слушать аудиодорожки? 🎧

я, конечно, не просто распознавание речи в текст, но и про то как разбирать интонации и разные акустические события

С видео все давно понятно - почти любая модель режет его на кадры с требуемой частотой кадров и разбирает как картинки. Со звуком - большинство агентов запускают скил на распознавание речи, но есть и исключения, где анализ более объемный


классический пайплайн выглядит так: перевести в текст - ллм анализирует вход и выдает текст - текст генерируется в речь, то есть модель получает расшифровку, а не звук, так работает например voice mode у клода. Быстро и дешево, но по дороге теряется тон, ирония, эмоции, кто говорит, неречевые события 😳


Впрочем есть и нативные аудио-модели, у которых звук подается прямо в контекст как токены, наравне с текстом. Технически это делается двумя способами: либо аудио-энкодер переводит сырой звук или спектрограмму в эмбеддинги, либо нейрокодек сжимает звук в дискретные токены - и во втором случае модель умеет не только слушать, но и говорить сама, без стороннего синтеза речи. Проще говоря, для одних ллмок для работы со звуком нужны внешние тулы (будь то простое распознавание речи или комплексный анализ эмоций и тональностей), а другие при обучении видели не только картинки и текст, но и аудио (а точнее все вместе), а это значит, что умеют с ним работать 🤑

вот пара примеров таких моделей:

• Gemini - самый универсальный вариант, разбирает музыку и не-речевые звуки (жанр, эмоция трека, шумы на фоне), различает спикеров, понимает таймстемпы. Правда, пока не настолько хорошо, чтобы стабильно разобрать любой трек на аккорды

• OpenAI - в июле выкатили апдейт, где модель слушает и говорит одновременно, поддакивает «mhmm» и перебивается как живой человек и умеет понимать простые речевые события и интонации

• Qwen3-Omni - лучший опенсорс по результатам замеров на бенчмарках - анализ музыки по стилю и ритму, 19 языков. И единственная модель, которую я все еще не попробовала в контексте музыки и звука 🤨


Предполагаю, что это активно используется в ai кол-центрах (например анализ эмоций клиента), вся работа с генерацией музыки, разметка звуковых событий, и из менее очевидного что мне запомнилось - мониторинг различных инструментов на предмет поломок на заводе (например станков) или даже подсчет птиц в лесу.


"Зачем я прочитал этот пост, если я не работаю в аудио стартапе" - могли подумать вы 😑 Мое личное предположение - использовать для поиска и генерации трендовой музыки в маркетинге, как сейчас многие уже делают с видео креативами. Ну и просто потому что 7 лет моего опыта в аудио процессинге никуда не делись и мне все равно интересно поглядывать, что там происходит 🐵

@neural_prosecco

да кто такой этот ваш LTV/ CAC > 3?? 🤔

в прошлом посте мы порассуждали про топ воронки - а именно метрики в ads manager и из чего складывается покупочный CPA. Но CPA это только "сколько стоило привести", дальше начинается самое недооцененное - что происходит ПОСЛЕ пейвола, потому что именно там живет ретеншен, а из него складывается ваш LTV. Кейсы лютого скама где вся экономика живет только на топе фунела мы тут не обсуждаем 😅

немного цифр - в 2026м году больше половины новых подписочных приложений зарабатывают в год меньше $1000, в то время как топ-10% забирают почти всю выручку категории - и этот разрыв за пару лет только вырос. Так что LTV/CAC > 3 в 2026 это не норма, а скорее привилегия, которой мало кто может похвастаться, в то время как большинство не выходит даже в единицу, то есть просто сжигают деньги в надежде когда-нибудь окупиться продлениями

давайте шаг за шагом спускаться вглубь воронки после пейвола. Я буду приводить рекомендации из индустрии и того, что мы сами пробовали, но это не отменяет факта, что конкретно для вас все может быть иначе - экспериментировать нужно в любом случае

1. первая сессия - активация 💃
цель: чтобы человек не заскучал, понял, какую проблему решает приложение

Многие советуют ставить пейвол после того как вы показали ключевое велью и аха-момент, но на мой взгляд надо экспериментировать, как и с хард/софт пейволом. Например у нас главный когортный предиктор (наиболее важный признак попадания в хорошую когорту) отменит ли человек или продолжить платить и пользоваться - 15+ загруженных вещей и примерка на себя хотя бы одного образа, поэтому мы делаем так, чтобы онбординг и первая сессия подталкивали человека именно к такому поведению. Половина всех отмен происходит в первый день, часто это те, кто взял самую дешевую подписку и отменил, то есть поведение "я просто попробовать"

2. первая неделя - привычка 🤝
цель: сделать так, чтобы человек вернулся в приложение

тут формируется (или нет) личинка привычки. Если человек вернулся во 2-ю, 3-ю сессию и снова получил ценность - скорее всего останется еще на какое-то время, но если не открыл апп после оплаты - почти точно вы его уже потеряли, просто он еще не отменил. И здесь мы смотрим на частоту повторных сессий в первую неделю, добивать можно пушами, имейлами, стриками. Отмен всегда много на седьмой день (повторное списание у недельных)

3. продление и возврат 😎
цель: добиться регулярности сессий

те, кто отменил годовую - почти не возвращается (в то время как недельные и месячные реактивируются в ~4 раза чаще, но и там немного) зато кто пережил 2–3 продления, становятся кандидатами в суперюзеров - а ретеншен растет с каждым циклом. Получается, что задача подвести человека к осознанному второму и третьему продлению. Конечно, будут и те, кто просто забывает отменить и будет платить годами - но я бы на это сильно не надеялась 😭

что я делаю, чтобы растить наш ретеншен:
1) смотрю, кто дошел до велью момента в первой сессии и что такое велью момент и как подвести других к такой сессии
2) разбираюсь, сколько раз те кто продолжает платить и пользоваться вернулись в первую неделю и какие действия способствуют возвращению
3) стараюсь чаще тестировать пейвол, подсвечивать на нем те фичи и результаты, которые влияют на ретеншен
4) в креативах показываю результат, а не фичи - но исходя из тех велью, которые видят для себя наши супер юзеры, с некоторыми я общаюсь еженедельно

первая сессия решает вопрос активации, первая неделя - зачатка привычки, а продления влияют на LTV. Я думаю, что ключ к ретеншену - экспериментировать, изучать сессии ваших супер юзеров, а еще лучше - познакомиться и разговаривать с ними и стараться делать так, чтобы флоу в приложении подводил людей к нужным действиям для того, чтобы они тоже стали супер юзерами


@neural_prosecco