Нескучный Data Science

💩 Как улучшить F1-micro и насрать рекламодателю — в прямом смысле

Вас тоже бесит, когда вы ищете один товар, а рекламный алгоритм настойчиво подсовывает совсем другой? Обычно мы видим эту проблему со стороны пользователя. А сейчас покажу, как она выглядит со стороны рекламодателя, которому алгоритм привёл совсем не тех пользователей.

В @mirabistro нет-нет да заходят люди исключительно ради туалета. Мы находимся в центре, пешеходный трафик огромный. Я думал, что это неизбежные издержки локации. Туалет у нас — комплиментарная услуга для гостей.

👀 Неделю назад сижу в бистро и наблюдаю: заходит человек и сразу направляется в туалет.

У этого сегмента, кстати, есть устойчивый поведенческий паттерн. Они закрывают не только дверь туалета, но и дверь в зону с раковиной. Как будто пришли не руки помыть, а помыться целиком.

Через минуту заходит второй.

Два одинаковых события подряд меня уже насторожили.

💡 И тут меня осенило: дело в таргетинге.

📈 Недавно я купил продвижение в одном картографическом сервисе. Как аналитик, первым делом полез смотреть, как люди находят бистро и по каким запросам переходят в карточку.

Среди запросов был «туалет», хотя мы вообще-то кафе.

Давайте разберёмся, что пошло не так при обучении поискового алгоритма. Достоверно я этого не знаю, но с большой вероятностью — всё было именно так.

1️⃣ Поставили цель на квартал выбить XX% по F1-micro.
2️⃣ В датасет поискового движка долили запросы про туалеты.
3️⃣ Кафе, в которых есть туалет, разметили как релевантные ответы — то есть на уровне таргета фактически приравняли кафе к туалету.
4️⃣ При micro-усреднении все true positive складываются в общую копилку, поэтому новая категория помогла вытянуть итоговый F1

Классический случай: офлайн-метрику оптимизировали, заборы успешно покрасили, менеджеры получили бонусы, а на рекламодателей оказалось насрать — в прямом смысле слова, но хотя бы чужими силами.

😆 Публиковать статистику сервиса я не хотел, но 8% туалетного трафика это уже не смешно.

Конференция, на которой точно не соскучишься🎙️

26 сентября Яндекс празднует 10-летие Data Driven, и празднует с размахом: доклады про AI-first-аналитику, стенды с экспертами, Random Coffee с топовыми аналитиками, а вечером — афтерпати с музыкой, закусками и IT stand-up от аналитиков про наболевшее.

Из докладов особенно ждём: Роман Халкечев расскажет о том, как AI переписывает правила игры при работе с данными, Артём Солоухин покажет MARS — первую мультиагентную рабочую среду Яндекса, а Максим Стаценко поделится, как собрать агента-аналитика, которому можно доверять, — с конкретными шагами.

Москва + онлайн💻, 26 сентября.

Мест офлайн немного — регистрируйтесь по ссылке

Новости конференции

🎙 Мини-интервью с руководителем ML-департамента рисков в Яндекс Финтехе

Владимир Ершов — ex. Visa, Сбер и Alfa-Bank, выпускник МГИМО и IE Business School.

Четыре интересных факта про героя интервью:

1️⃣ Пришёл в ML из экономики: после МГИМО выбрал магистрату по Big Data в испанской IE Business School.
2️⃣ Успел поработать во всех ML-направлениях бизнес-группы Персональных сервисов Яндекса.
3️⃣ Сейчас его команда отвечает за порядка 50 моделей для Сплита, кредитной карты, кредита наличными и B2B-кредитования.
4️⃣ Практически не пишет код уже четыре года, но иногда сам ревьюит самые важные куски.

👉 Подробнее — на карточках.

Ставьте 🔥, если хотите больше интервью с ML-руководителями. Вопросы Владимиру оставляйте в комментариях 👇

#мини_интервью

✈️ Альфа оплатит до 20 000 рублей на обеды состоятельным сотрудникам Сбера

🍽 У премиальных клиентов Альфа-Банка есть привилегия: банк компенсирует еду в ресторанах российских аэропортов.

Чтобы не заключать договор с каждым заведением вручную, Альфа подключила дата-сайентистов 👨‍💻 Как рассказали в статье на РБК, алгоритм анализирует карточные операции, сопоставляет их с координатами терминалов и определяет, прошла ли покупка на территории аэропорта.

📱 Подходящие операции автоматически появляются в приложении. Загружать чек обычно не нужно, хотя банк оставляет за собой право запросить билет или подтверждение покупки. Запомним этот момент)

Но недавно у алгоритма обнаружился интересный побочный эффект 😅

Ресторан в офисе Сбера на одном из верхних этажей определяется как ресторан в аэропорту. Возможно, терминалу присвоили неправильные координаты. Возможно, подвели исходные данные. А может быть, ресторан просто оказался слишком близко к небу ☁️

В итоге премиальные клиенты Альфы могут компенсировать там обычные рабочие обеды — как будто едят перед вылетом 🛫

💸 За один чек можно вернуть до 5 000 рублей. При остатках свыше 12 млн рублей количество визитов не ограничено, но действует общий лимит компенсации ресторанов — 20 000 рублей в месяц.

Работаешь в Сбере, держишь деньги в Альфе, а обеды в Сбере оплачивает Альфа. Получается не просто выгодно, а Альфа-Выгодно ❤️

😅😅😅 Если вы работаете в Сбере и соответствуете условиям премиального обслуживания, оформляйте карту Альфа-Банка, пока дата сайентисты в Альфе не исправили баг

А теперь два вопроса:

1️⃣ Технический: какую метрику или алерт вы бы поставили на мониторинг, чтобы быстро выявлять случаи неправильной геопривязки терминалов?

2️⃣ Бизнесовый: как бы вы поступили на месте Альфы — закрыли бы лазейку и исключили ошибочно привязанные терминалы или превратили бы баг в PR-ход для привлечения клиентов с крупными остатками?

👇 Пишите свои варианты в комментариях.

🤣 Яндекс сам себя забанил

Помните, я писал, как Тинькофф защитил меня от собственного спама?

Похоже, тг-боты Яндекса это прочитали, решили повторить успех и применили тот же подход к рекламе.

🍽 Хотел купить рекламу для @mirabistro на Яндекс Картах. Написал в чат-бот поддержки. Бот объяснил, что нужно отправить письмо на указанный им адрес, добавить номер телефона и логин — всё сделал по инструкции.

✉️ Причём для надёжности отправлял письмо из Яндекс Почты на аккаунт Яндекса. Текст — практически тот же, который предложил бот.

🛡 Но письмо не ушло: Яндекс решил, что оно похоже на спам, и временно заблокировал отправку.

Итого: бот Яндекса написал инструкцию, я ей последовал, а другой бот Яндекса защитил Яндекс от покупки рекламы в Яндексе.

Вот она — настоящая сквозная автоматизация бизнес-процессов 😅

P.S. @yandex свяжитесь со мной)

🧠 10 бит в секунду, или Почему люди тупые

Когда я учился в университете, мой сосед любил повторять:

— Люди тупые. В том числе и я.

Вторая часть фразы нравилась мне гораздо больше первой. В ней была полезная мысль: свои когнитивные ограничения лучше учитывать заранее, а не обнаруживать постфактум.

💾 Позже я попал к научному руководителю, у которого одновременно со мной было ещё несколько десятков студентов. Он честно предупреждал:

— Женя, я обещаю, что забуду всё, о чём мы сегодня говорили.

Он просто хорошо понимал ограничения собственной памяти и не делал вид, что способен удержать в голове всё.

🔬 Ещё в 1952 году психолог Уильям Хик оценил скорость обработки информации в задачах выбора примерно в 5 бит в секунду. Спустя семь десятилетий исследователи из Caltech проанализировали самые разные виды человеческой деятельности — от чтения и печати до игр и запоминания — и получили величину того же порядка: около 10 бит в секунду, или 1,25 байта.

⚠️ Это не скорость всего мозга. Сенсорные и двигательные системы работают значительно быстрее. Скорее, речь об узком канале, через который информация превращается в осознанный выбор и контролируемое действие.


🤔 Отсюда простой вывод.

Если вы задали человеку сложный вопрос, а через секунду получили уверенный ответ, возможны три варианта:

1. Перед вами гений.
2. Человек уже долго думал об этом раньше.
3. Он озвучил первое, что пришло в голову.

Чаще, чем нам хотелось бы, срабатывает третий вариант.

🤖 Для GPT мы специально включаем thinking mode и соглашаемся немного подождать. А от человека почему-то ожидаем качественного решения немедленно — желательно прямо на созвоне, между двумя уведомлениями и вопросом «ну что тут вообще думать?».

Но человеку тоже можно включить thinking mode.

📝 Поэтому сложные вопросы лучше задавать заранее, а важные договорённости — записывать. И не стоит путать скорость ответа с качеством мышления.

🗂 Кажется, единственный выход с учётом наших ограничений — учиться структурировать знания и сохранять их так, чтобы потом быстро находить. Такая внешняя память медленнее оперативной, но гораздо быстрее, чем каждый раз вспоминать или придумывать всё заново.

🛡 И тут начинается самое интересное: если мы понимаем ограничения естественного интеллекта, становится понятнее, как работают некоторые виды атак на него — и как от них защищаться.

Возможно, об этом поговорим в следующих постах.

Конференция Ozon Tech, уже успевшая заслужить высокоранговую славу, обещает и в этом году собрать много интересного для тех, кто работает с ML&DS. Программа E-CODE 2026 еще пополняется, но трек уже выглядит вполне серьезно: сложный индустриальный ML, генеративные подсказки, уровни дообучения и агентский Cotype.

Такое нам определенно надо. Еще и участие бесплатное - осталось только зарегистрироваться: https://ecode.ozon.tech/

Ну и в рамках соблюдения work-life balance вечерком прям там же можно и под «Хлеб» с «Нейромонахом Феофаном» отжечь 😅

ИИ крадёт у нас или учится у нас? 🧠

Недавно сидел на панельной дискуссии. Во время вопросов из зала прозвучало примерно следующее:

— Как быть с тем, что ИИ будет обучаться на наших данных? Как защитить то уникальное, на создание чего человек потратил столько времени?

Но тут возникает неудобный вопрос: а в чём именно заключается эта уникальность?

Я люблю сравнивать работу ИИ с ЕИ — естественным интеллектом. Такое сравнение помогает лучше замечать некоторые паттерны человеческого мышления и обучения.

Так вот: ЕИ тоже учится на чужих данных 📚

Человек читает книги, слушает преподавателей, разбирает чужие работы, наблюдает за другими людьми и запоминает удачные решения.

В творческих профессиях это называют насмотренностью и начитанностью. А затем человек комбинирует знания и приёмы, придуманные до него, — и создаёт нечто, что мы считаем уникальным.

Даже гены в некотором смысле можно рассматривать как накопленный поколениями опыт 🧬

Это, конечно, не обучение в обычном смысле, а результат эволюционного отбора. Но принцип сохранения успешных решений здесь тоже просматривается.

Поэтому мне немного странно слышать от ЕИ, что ИИ обязательно что-то у него «украдёт». Ведь ИИ обучается на созданном людьми примерно так же, как сам человек когда-то учился на наследии предыдущих поколений.

Возможно, главное, чему ИИ пока не научился, — это вкус 🎨

Не просто способность скомбинировать знакомые элементы, а умение почувствовать: что действительно стоит создавать, зачем и для кого.

Хотя и вкус, если честно, тоже формируется не в вакууме.

На фото мы с Радославом @girafe_ai — довольные тем, что обсудили эту тему и поняли друг друга с полуслова 🤝

💬 Как думаете, что на этом изображении создано с ИИ?

❓ Научитесь отвечать на вопрос «зачем?», прежде чем ставить задачу ИИ

Моё знакомство с Codex началось, когда появилась вполне конкретная задача: собрать сайт для @mirabistro.

Сайты я делал и раньше — первый написал на PHP ещё в восьмом классе. Но никогда не вайбкодил и относился к этому довольно скептически. Несмотря на десять лет работы в анализе данных, мне казалось, что нормальный рабочий продукт всё равно придётся долго собирать руками. А тратить время на проект без понятной цели я не хотел.

🌐 Здесь наконец появилась конкретная цель. К тому же все «эксперты по ИИ» в соцсетях уже рассказывали, что теперь такие вещи можно собрать чуть ли не за один вечер. Я решил проверить — и сайт действительно получился. Напишите в комментариях, как он вам 👇

После этого я начал вайбкодить почти каждый день. 😁

Но именно тогда я понял главное: когда ИИ позволяет очень быстро собрать практически любой MVP, становится особенно важным ещё до начала работы ответить на вопрос: «зачем?»

🏠 Недавно у меня появилась новая «задача».

Дома стоит старый видеодомофон Tantos. У него есть приложение vhOme, которое работает довольно медленно, не присылало уведомления о звонках на iPhone и просто не нравилось мне визуально.

Приложения под Android я тоже писал — как вы помните. Правда, это было ещё в 2014 году. И самое смешное, что vhOme выглядело примерно так же, как мои приложения того времени. Но у меня хотя бы не было дизайнера. Точнее, дизайнер был — я сам 😅

Я такой:

— Сейчас сделаю своё приложение.

📱 Закинул в Codex APK Android-приложения. Он разобрал его, вытащил используемые методы, нашёл механизмы подключения к домофону и получения видеопотока. Ещё немного — и можно было начинать писать полноценное приложение под iOS.

Можно было упороться окончательно: сделать системный экран входящего звонка, после ответа сразу открывать видео, добавить две кнопки — «Открыть» и «Не открывать», оформить аккаунт разработчика и попробовать выложить всё это в App Store.

В целом многие приложения теперь действительно можно допиливать и переделывать под себя. Если есть работающий клиент, ИИ способен исследовать его поведение, разобраться с протоколами и собрать свое решение.
В итоге я потратил несколько часов на исследование vhOme.

🤔 Но перед тем, как переходить к полноценной разработке и публикации в App Store, я всё-таки остановился и задумался: а точно ли эту задачу нужно решать таким сложным способом? Нет ли чего-то проще?

И главное: зачем мне вообще собственное приложение?

Мне было нужно не приложение само по себе. Мне было нужно не пропустить звонок в дверь.

🔔 А потом выяснилось, что проблема была не в домофоне: пришлось поиграться с режимами «Фокусирование» на iPhone и правильно настроить допуск уведомлений.

После этого они начали приходить.

Собственное приложение с быстрым переходом к видео и двумя кнопками всё ещё было бы удобнее. Но когда пуш уже работает, потенциальный аплифт от разработки резко снижается.

🎓 Если, конечно, перед вами не стоит образовательная цель. Тогда ответ на вопрос «зачем?» тоже есть: разобраться в чужом приложении, исследовать протоколы и научиться собирать собственные продукты под iOS. В этом случае само исследование уже становится результатом.

🤔 Но изменилось ли что-то с появлением вайбкодинга?

В вопросе целеполагания — ничего. Ведь и раньше существовало огромное количество бесполезных стартапов, научных статей и корпоративных проектов, которые пятый год подряд делают одно и то же второй раз.

ИИ не решает проблему целеполагания. Он помогает быстрее написать код и дешевле проверить гипотезу, но не способен решить за вас, какой результат действительно нужен и стоит ли вообще браться за проект.

🎯 Поэтому главный навык сейчас — умение отвечать на вопрос «зачем?».

Так было всегда: на вопрос «зачем?» должен уметь отвечать заказчик и любой руководитель, который несёт ответственность за результат. Но теперь, когда вы ставите задачу ИИ и с его помощью пишете код, вы тоже становитесь руководителем — как минимум собственного проекта.

А значит, теперь и вам нужно уметь отвечать на главный вопрос:

«зачем?»

🎉 Мы запустили МИРА бистро — это очень дорогой pet-проект 😅

👀 Внимательные читатели уже могли что-то заподозрить: последние бранчи ODS Moscow × Нескучный Data Science проходили именно там.

Пора признаться — это было не случайное совпадение и не очень нативная рекламная интеграция.

🏦 Четыре с половиной года назад, когда мой банковский стаж уже перевалил за пять лет, в самом первом посте я признался, что никогда не собирался работать в крупных компаниях, тем более в банках.

К настоящему моменту стаж приблизился к десяти годам, а я прошёл путь от джуна до управляющего директора с командой из 150 человек. Прогноз оказался неточным, зато обучающая выборка получилась отличной.

🤖 Все эти годы главной темой канала было практическое применение ИИ в бизнесе — ровно то, чем я занимался в финтехе: находил точки применения ИИ, оценивал потенциальный эффект и встраивал решения в бизнес-процессы.

Теперь похожую задачу мы уже решаем в собственном бизнесе.

🏪 Главное отличие — в начальной точке: в бигтехе и финтехе данные обычно собираются и логируются, хотя используются далеко не всегда, а в небольшом офлайн-бизнесе их обычно не собирают системно.

📊 Но в главном небольшой бизнес ничем не отличается от крупного: путь к AI-native компании начинается с data-driven фундамента.

Сначала мы описываем и оцифровываем процессы, организуем сбор данных и выстраиваем систему метрик, а затем внедряем ИИ.

🔬 Основные принципы при этом остаются прежними: начать с изучения бизнес-процесса — подобно тому, как физик изучает природу, понять, как его можно улучшить и где ИИ принесёт измеримый эффект, а затем довести решение до внедрения.

👨‍🏫 Этим же принципам я учил руководителей на курсе «Принятие решений на основе данных», а теперь применяю их уже в роли владельца компании.

В МИРА мой опыт в данных, ИИ и построении процессов соединился с ресторанной операционкой — на том самом стыке ортогональных областей, о котором я писал в посте про настоящий аплифт от ИИ.

🚀 Для подписчиков это будет кейс о том, как перенести опыт из ИИ и крупного бизнеса в собственную компанию.

В предыдущем посте я писал, что работодатель больше платит тем, кто помогает ему больше зарабатывать. Но эта сделка работает в обе стороны: когда вы относитесь к чужой компании как к своей и выбираете сложный путь, который приносит ей дополнительный результат, вы одновременно накапливаете опыт и инструменты.

Теперь проверим, насколько хорошо этот опыт переиспользуется уже в собственном бизнесе.

🎁 Но прежде чем рассказывать о применении ИИ, нужно понять сам продукт и изучить его процессы. Только после этого станет ясно, где и зачем нужен ИИ.

Поэтому в следующем посте будет первая коллаборация с каналом @mirabistro и акция для подписчиков. Сначала познакомлю вас с продуктом, а уже потом перейдём к данным, метрикам и применению ИИ.