Слезы продакта

🤖 Смотря какие models, смотря какой harness

Тестирую метод написания постов диктовкой + агент, тк лицом я пока похожа на Сильвестра Сталлоне и еще не восстановилась🫠 Сегодня разбираемся что такое харнесс и зачем оно мне знать как продакту

Итак, вот мы знаем, что есть чат-боты, которые эдакий умный собеседник: ты спросил, он ответил, пообщались - разошлись.
И есть агенты, которые могут много больше, чем чат бот

Например, чат бот от выдаст тебе рецепт пасты, а агент может сам заказать продукты, проконтролирует доставку, проверит умещается ли паста в твой дневной калораж итд.
Сильно упрощая: бот - это про некий контент, агент - это про результат. Но и там, и там под капотом модели, что отличает их друг от друга?

Харнесс - твой выход
Короче, это обвязка над моделькой, когда модель (типа GPT-5, Claude 4, Llama 3) это мозг, а харнесс это там тело, руки, память и нервная система, которая помогает не просто думать, а действовать

Сори за антропоморфные сравнения, просто так легче понять😬

Что входит в харнесс обвязку
✅Планирование
Умение модели разбивать сложную задачу на мелкие шаги. Харнесс заставляет модель не просто поболтать, а строить роадмап действий и логику его исполнения

✅Память
Если у вас при общении с чат ботом не было ситуевин, когда он напрочь терял контекст, то вы еще не вели с ним по-настоящему длинные диалоги)) Это боль, это бесит и тратит кучу нашего времени, чтобы добиться норм результата. Но наша харнесс обвязка над LLM дает долгосрочную память (те же RAG, базы данных), чтобы она помнила, что пользователь просил хоть неделю назад. Это помогает держать контекст задачи, повышает точность и напрямую аффектит на качество результата

✅Тулы и инструменты
Доступы к API, браузеру, почте итд, которые помогают выйти модели за пределы окна диалога. Именно харнесс позволяет модели нажать нужную кнопку, чтобы за вас выполнить целевое действие. Например, пишем поставь встречу, агент сам идет в календарь и бронирует слот

✅Guardrails или предохранители
Это все про контроль бюджета на токены, чтобы агент не сжег $1000 на один промпт и про политики безопасности. Я бы сказала, что в свете последних новостей про убегание ИИ за пределы контура тестов, самая важная часть. Это балансир между автономностью агента и потенциальными рисками, что он что-то нахороводит сам по себе, а вам разгребать

Мы понимаем, что сами модели это в некотором смысле коммодити, то есть это уже общедоступный товар. Нет проблемы получить доступ к LLM, причем даже бесплатно. И когда в условном завтра выйдет новая модель, которая будет мощнее предыдущей - это уже никого не удивляет

Обратили внимание как часто стали выходить новые модели?
Если в 2020-м мы ждали новую GPT годами, то к 2026-му цикл сократился до неприличия. В 2022-м мажорные, значимые модельки выходили раз в 12–18 месяцев, в 2023-м уже каждые полгода, а сейчас мы получаем новую фронтир модель или крупный апдейт в среднем каждые 2–3 месяца!
Рынок перешел в режим вечного релиза, где вчерашний топ превращается в тыкву за какие-то месяцы и надо постоянно мониторить какая моделька сейчас в топе и апдейтить в наших продуктах модели до самой крутейшей, чтобы не отстать от конкурентов

Не достаточно просто сделать обертку над API какого-нибудь OpenAI, тебе нужен твой уникальный харнесс, заточенный под твою конкретную нишу и задачи. Ну и хороший харнесс это не просто техгигиена, он позволяет использовать дешевые модели для простых задач и дорогие только для критических, то есть база нашей юнит-экономики. А еще харнесс превращает хаотичную выдачу нейронки в предсказуемый бизнес-процесс, а оно нам собственно и надо

Ну и пошерь пост с коллегой, спроси с него за его харнесс😎


Ciao! 💚

@alice_product
#ИИ #этобаза

Друзья, так вышло, что мне пришлось тестировать услуги итальянской медицины, так что вернуться к публикациям я смогу не раньше следующей недели

Исследую на себе такую штуку как паралич Белла, что в общем-то, комично, потому что bella по-итальянски - прекрасная. Получается в Италии даже параличи прекрасны😅

Оказалось, что точные причины почему возникает эта штука науке
до конца не известны, но судя по тому что оно же называется идиопатический паралич лицевого нерва, похоже это полностью моя вина))

Берегите себя, старайтесь меньше стрессовать, не перерабатывайте, высыпайтесь и живите свое прекрасное лето. Постараюсь вернуться к публикациям как можно скорее и не отписывайтесь плиз, я скоро вернусь🙏

До связи и ciao💚

🤖Месть гуманитариев или зачем ИИ-лабораториям философы

Если вы тоже думали, что диплом философа это прямой путь в баристы, то 2026 год приготовил для нас сюрприз. Тут короче вовсю нанимают хранителей смыслов, чтобы это не значило - разбираемся😎

Итак, наткнулась я тут на кейс Аманды Аскелл, это шотландский философ, которая с 2021 года воспитывает Claude в Anthropic.
Что? Да!

Оказывается, что это не просто PR-ход и философы в ИИ-лабораториях реально занимаются Alignment ну или выравниванием. Их задача сделать так, чтобы модель не просто выдавала текст, а обладала эдаким моральным компасом

Парочка примеров
📌Аманда Аскелл из Anthropic учит Claude любознательности и честности. Её диссертация была про бесконечную этику и это идеальная база для работы с AGI
📌Генри Шевлин из Google DeepMind помогает компании готовиться к вопросам сознания у ИИ
📌А в OpenAI консультируются с сотнями моральных философов, чтобы понять, какие ценности зашивать в модель

И что получается, что продакту на ИИ продукте тоже нужно понимать не только как это работает, но и какие ценности мы транслируем пользователю! Может переквалифицироваться по-быстрому?)
Потому что код в теории ИИ может написать, а вот решить, что этично, а что нет для человеков всё еще задача для кожаного с глубоким бэкграундом в гуманитарных науках. А помните все эти страшные кейсы, когда после общения с чат-ботами люди делали всякую дичь, что же
получается философы не доглядели?
Понятно, что большие модели с миллиардами параметров способны к некоторой самокоррекции, но только если им дать правильные этические инструкции

И самая востребованная специализация у философов в ИИ- эпистемология или наука о познании, его границах, источниках и пределах

Получается, что мой гуманитарный бэкграунд становится в каком-то смысле преимуществом!😎
И вы ведь знаете, что при написании сценария к культовой «Матрице» братья, тьфу, сестры, короче Вачевски вдохновлялись трактатом Жана Бодрийяра
«Симулякры и симуляция», а еще классическими трудами Платона, Рене Декарта и концепцией гностицизма, так что в этом точно что-то есть)

Ciao!💚

@alice_product
#ИИ

🐶 Все мы немного бот-ситтер

Как обычно по пятницам делюсь словечками и понятиями, которые встретила на неделе. Сегодня разбираемся с термином, который в 2026 году стал официальным диагнозом нашей продуктивности😬 Итак, бот-ситтинг

Откуда это взялось
Понятие начало мелькать в отчетах еще в 2024-м, но официально закрепилось в 2026 году после публикации Work AI Index от компании Glean. Если 4 года назад все качали скиллы, чтобы стать промпт-инженерами, то сегодня мы получили неожиданную роль - няня для бота🧃

Кто такой бот-ситтер
Это чел, который тратит значительную часть времени на то, чтобы сделать вывод ИИ пригодным для использования:
📌Feeding context
Короче, докармливание модели данными, которые она упустила, чтобы повысить точность
📌Факт чекинг
Всякая проверка галлюцинаций и выдуманных цифр, несуществующих ссылок и кривых выводов
📌Дебаг
Это про исправление логических ошибок в сгенерированном коде или планах, кривых файлах и таблицах, борьба с форматированием
📌Rerun
Бесконечные круги ада перезапуска агентов, которые застряли в цикле

В среднем работник, который работаем с чат-ботами по данным Glean тратит 6.4 часа в неделю на бот-ситтинг и это невидимый труд, который не учитывается в метриках продуктивности, но съедает почти целый рабочий день

Что делаем с этим знанием
Когда вы считаем ROI от внедрения ИИ-агента, имеем ввиду, что полностью автономных агентов не бывает и за ним должен стоять человек, который его страхует. Если стоимость часа этого человека выше, чем профит от автоматизации вы масштабируете убытки и фиг вам, а не импакт. Держим в голове, что надо заложить дельту на такой саппорт и чем сложнее задача, тем выше налог на бот-ситтинг.

Возможно, это временная тема и автоматизируя саму проверку и улучшая контекст роль бот-ситтера будет уходить. Наслаждаемся моментом, пока мы всё еще нужны этим железкам, а то вдруг потом Скайнет и мы им будем больше не нужны🥲

Ciao!💚

@alice_product
#ИИ #отсебятина

🤡 Как сжечь 73 триллиона токенов и ничему не научиться

Ребята, это просто эталонный пример того, как не надо делать ИИ-трансформацию. Если вы думали, что в бигтехе сидят только гении, то история про опыт Meta* поможет понять что все ошибаются

Что произошло
Руководство Meta* решило, что ИИ это наше всё, и ввело «AI-driven impact» как обязательный критерий в перформанс-ревью для сотрудников. Сотрудникам буквально сказали: чем больше пользуйтесь ИИ, тем выше будет ваша зарплата

Результат предсказуем
Естественно, все ломанулись использовать ИИ даже там, где не надо и сотрудники элегантно сожгли 73,7 триллиона токенов за месяц. Это чертовы миллиарды долларов! Но не потому, что они стали работать в 100 раз лучше, а потому что они просто крутили ИИ вхолостую, чтобы занять место в лидерборде и получить выше оценку на перфоманс ревью😬

Почему это было тупо
❌Кривой KPI убивал смысл
Когда вы делаете использование инструмента самоцелью и выбираете метрику тщеславия, люди начинают оптимизировать не пользу, а цифру в дашборде. В Meta* инженеры оставляли агентов работать часами просто ради «Token Legend» статуса.
Поэтому мы никогда так не делаем не привязываем KPI к просто использованию технологии, мы привязываем к результату

❌Трансформация сверху вниз
Руководство подталкивало людей встраивать ИИ везде, даже там, где он не нужен. В итоге гигантские счета и нулевой выхлоп, но мы то с вами знаем, что ИИ это инструмент, а не самоцель и, если он не решает проблему юзера, он не нужен! Да и классическую автоматизацию никто не отменял, для каждой задачи должно быть свое обоснованное тех решение за минимум денег, безопасное и приносящее пользу

❌Позднее зажигание
Окей, ну ошиблись, с кем не бывает, но что с мониторингом то? Только когда счета стали угрожать годовой прибыли, компания начала строить лимиты. Поэтому если вы даете команде доступ к безлимитным API, сначала настройте алерты и квоты, а потом раздавайте ключи, это база вне зависимости от того, влияет это на перфоманс или нет

Но в целом теперь ситуация выглядит совсем странно, вот вы поставили нам КРI, от которых зависит мой рост в карьере, но ввели лимиты, которые уравнивают примерно всех внутри грейда. И что? Какой результат мы ожидаем увидеть на выходе?

Однозначно, что те, кто использует в работе копайлотов и агентов работают быстрее, у них появляется конкурентное преимущество, но KPI должен быть не на количество потраченных токенов, а на пользу, которую вы с ИИ создали

Тут можно было и в строках кода посчитать хотя бы, посмотреть реальный импакт на бизнес в деньгах, хотя бы глянуть сколько сэкономлено трудочасов или ПШЕ, влияние на реальные бизнес-метрики типа рост конверсии

Короче, ИИ-трансформация это про изменение процессов и поиск новых ценностей, а не про соревнование кто больше нагрузил агента и попал в топ лидерборда. И внедрять нужно было не саму технологию, а решение проблем. Только представьте что реально полезного можно было сделать на все эти токены🫢

Я прям вижу как ребята в курилке делились какие еще небанальные способы сжечь токены каждый из них придумал😅

Ciao! 💚

@alice_product
#практика

* Meta признана экстремистской и запрещена в РФ

🤖 Почему я не бегу на курсы по вайбкодингу, теряя тапки

Итак, если вам тоже надоело, что сейчас из каждого утюга кричат:

ИИ стер границы! Продакт теперь может сам собрать приложение за вечер! Разрабочики больше не нужны и потеряют работу через 3,2,1…

Многие продакты побежали учиться вайбкодить, делятся историями успешного успеха, как навайбкодили свое первое приложение и сделали чек на 100509 млн, я вот лох сижу и спокойно углубляю свои знания в AI Product Sense. Почему?

Потому что это база, подкрепленная свежим отчетом от DORA 2026! DORA это ребята из DevOps Research and Assessment, аналитическое подразделение Google Cloud, которое изучает эффективность разработки программного обеспечения и создает метрики для оценки IT-команд

Разбираемся, почему продакт-кодер вам не нужон
❗️Код это пассив, а не актив
DORA 2026 черным по белому пишет, что ИИ драматически увеличил объем генерируемого кода, но код это же и затраты тоже, а не только ценность.
Когда продакт навайбкодил фичу, он радуется скорости, но команда потом годами будет платить налог на поддержку этого кода. Операционные расходы на запуск и поддержку сервисов в разы превышают стоимость их написания и нормальной поддержки. А документация?
А ее актуализация?
Мой тейк таков, что нам платят за то, чтобы кода в продукте было как можно меньше, а пользы и выручки как можно больше

❗️Налог на верификацию
Я лично знаю только одного продакта, кому бы я доверила вайбкодить) и это не я 😎
Отчет подтверждает, что разрабы тратят всё больше времени на проверку галлюцинаций.
Если я, как продакт, принесу в прод навайбкоженный кусок, я просто создам дополнительную нагрузку на команду.
Кто будет это ревьюить?
Кто будет отвечать, если всё упадет? А бэкдоры, утечки, перс данные?
Без глубоких инженерных знаний наш вайбкодинг это просто генерация техдолга с ускорением x10, потому что люди блин годами учились кодить не зря и, если нужно ускорить разработку, надобно с ИИ их ускорять, а не заставлять продакта писать код

❗️ИИ усилитель хаоса
В отчете DORA есть мысль, что ИИ усиливает сильные стороны и масштабирует дисфункции.
Если у вас проблемы с дискавери, пониманием рынка или юнит-экономикой, то умение кодить вам не поможет. Вы просто быстрее соберете продукт, который никому не нужен! Продакт, который вместо стратегии сидит и вайбдебажит это продакт, который потерял фокус, принял побочное за основное

❗️Идея vs Реализация
Моя зона ответственности это работать с идеями. Если говорить на примере ИИ-продукта, моя задача понимать, какую проблему мы решаем, сколько это стоит в токенах и как это окупится. Реализация на стороне разработки, тчк.
Ну да, я и сама верю, что ИИ-агенты скоро будут кодить лучше многих разработчиков, но пока не верю что заменят их полностью.
Но наша то работа определять куда идти, для этого нужно уметь другое

Что делаю вместо курсов
✅ Изучаю архитектуру ИИ-решений (RAG, Fine-tuning, Agents), чтобы говорить с инженерами на одном языке
✅Считаю фин эффект, ROI и экономику токенов, чтобы продукт не ушел в минус
✅Проектирую UX неопределенности, чтобы юзеры не страдали от ошибок моделей
✅Умею в промтинг
✅Могу напромтить драфт дизайна в какой-нибудь фигме
✅Слежу за трендами рынка, читаю отчеты авторитетные, бест практисы - насматриваюсь

Короче, инвестируйте в то, за что вам реально платят то есть в продуктовую ценность и то как ее добыть. И да, можете накидать мне в шапку, но нанимают продакта, чтобы он был продактом. У него и так дофига работы!

И финальное, как думаете при поиске работы что станет решающим: ваши сеньорские знания о том как делать успешные продукты или умение вайбкодить?
Давайте не будем вместе смещать эту рамку и заставлять работодателя нас еще и кодить учиться.
Мы то можем, мы то научимся, а кому-то потом с этим кодом жить😅

По теме читаем сам отчет DORA 2026: The ROI of AI-assisted Development
Или терпим до завтра и я выложу саммари отчета тут на русском

Ciao! 💚

@alice_product
#ИИ #этобаза #вайбкодинг

🤡 Эпичный кейс с ИИ-глюками

Решила я для вас подготовить обзор на не совсем свежий, но все еще актуальный отчет «Total Experience: Redefining Excellence in the Age of Agentic AI» или по-русски «Комплексный опыт: переосмысление совершенства в эпоху агентного ИИ» от KPMG🫢

И, если вы думали, что ИИ-галлюцинации это проблема только джунов, которые ленятся проводить факт чек, то читаем ниже) Консалтинговые гиганты, которые за огромные деньги продают компаниям «ответственное внедрение ИИ» и «защиту от рисков», сами попались на самом детском факапе!

Что произошло
Входящий в ту самую Четверку крупнейших консалт агентств мира KPMG отозвала свой свежий отчет об агентном ИИ. Почему?

Потому что исследовательская группа GPTZero и Financial Times выяснили что содержащиеся в нем ссылки на успешные кейсы про внедрение ИИ в банке UBS, британской NHS и транспортных системах Швейцарии это просто выдумка нейросети!

Представители UBS и NHS вышли с официальным: «Эээ, ребят, мы этого не делали, это вранье»😬

В чем ирония
Эти фирмы активно продвигают услуги по аудиту ИИ-систем, то есть они говорят: мы проверим ваш ИИ на галлюцинации и научим вас ответственно использовать этот инструмент, в то время как их собственные отчеты пишутся нейронкой без минимального фактчекинга🤬 Звуки горящих пятых точек в студию!

Понятно, что ИИ это не замена мозгу, тем более если основная ваша экспертиза это консалт.
Если вы используете LLM для аналитики или отчетов, фактчекинг и точность это буквально ваша религия. Даже если вы партнер в KPMG). Репутация стоит дороже токенов и буквально один такой факап перечеркивает годы работы над брендом экспертов по ИИ.
Причем неважно вы топовое консалт агенство или маленький стартап, какой-то аналитик поленился проверить данные и вы по уши сидите в луже

Критическое мышление маст-хэв! Кажется, в Большой Четверке решили, что «Fake it till you make it» теперь работает и для ИИ-кейсов. Но нет!

Ciao💚

#ИИ

💪🏼В чем сила, брат?
В доступе к проверенной информации!

Кто устал от инфошума, тот я. Найти норм профильный канал на продуктовую тему все сложнее, мы тут мы с коллегами обьединились и создаем большой каталог продуктовых каналов😎

Будем честны: у нас в нише много сильных авторов, которые отменно пишут про продукт, исследования, управление командами и далее по списку. Но найти их бывает непросто, потому что хорошие каналы разбросаны по всей телеге, а большой % аудитории тг читает только крупных.

В таких условиях интересные авторы, но с небольшой аудиторией, часто остаются незамеченными, а там часто лежит та самая крутая реальная экспертиза!

Короче, эдакий постоянно доступный каталог продуктовых авторов и каналов, куда любой человек сможет зайти и найти для себя новых экспертов, идеи, решение кейсов и полезный контент: от новеньких до самых матерых

Кто внутри каталога

✌️ Продуктовые менеджеры

🍑 CPO и Head of Product

🐕 Продуктовые аналитики

👠 Авторы, пишущие про продукт, исследования, метрики, UX, карьеру и управление командами

Вместо долгих поисков – готовая подборка каналов, которые помогают развиваться в профессии, следить за трендами и находить единомышленников.

Поэтому обязательно забирайте каталог себе, пользуйтесь и делитесь ссылкой! ▶️ https://t.me/addlist/sWN8T6vsA1pkOGJi

Если считаете, что ваш канал будет полезен сообществу, напишите @LuneaPR и она расскажет подробнее о каталоге и условиях участия

Ciao💚