Закиев Василь. (AI)ron manager

NerfBench: бенчмарк, который проверяет, не «понерфили» ли модель

Стал ли Opus 5.5 тупее после релиза?

Я писал, что жалобы типа «ChatGPT отупел» — миф: проходит восторг неофита, и начинаешь замечать проблемы. Но жалобы типа «модель понерфили» никуда не делись, поэтому в BridgeMind сделали бенчмарк, который контролирует качество модели после релиза.

Как устроено:
— когда модель начинают отслеживать, её первый прогон замораживают как 100%;
— дальше те же 50 задач гоняют минимум три раза в неделю, а когда про модель активно пишут, что её понерфили, чаще. Задачи — починка багов, разбор и написание кода, алгоритмы, SQL, безопасность. Каждую по три раза, 150 попыток. Код запускают на тестах, ответы сверяют точно, другая модель ничего не оценивает;
— итог называют «мощностью»: 60% правильность, 20% выходные токены, 20% стоимость. Если модель решает так же, но тратит больше токенов или денег, мощность падает. Изменение цены тоже видно;
— 90–110% считается шумом. Выход за коридор публикуют, только если он держится два прогона подряд.

Меряют модель такой, какой её отдают пользователю: роутинг, системные инструкции, настройки рассуждений и лимиты ответа тоже считаются. Так что падение не обязательно значит, что подменили веса.

На картинке доска на 2 октября. Opus 5.5 за день упал со 103,8% до 94,2%, и BridgeMind в тот же день написали, что это пока обычный разброс и говорить о нерфе рано. 4 октября — 96,5%. Проценты считают от собственного старта каждой модели, поэтому сравнивать модели по доске нельзя: 106,7% у GPT-6.1 Sol не значит, что она сильнее Opus 5.5.

Чего бенчмарк не покажет? Каждая задача — один ответ без инструментов и репозитория: это проверка самой модели, а харнеса — не агентной работы с файлами. А ежедневные обновления мы видим именно в качестве харнеса, поэтому ИМХО — бенчмарк устарел.

Задания и ответы закрыты, чтобы на них не обучали модели, поэтому перепроверить снаружи нельзя; остальная методика опубликована. Отслеживают пока всего четыре модели. Осталось больше — дорого)

bridgebench.ai/nerf-bench
bridgebench.ai/blog/the-methodology-of-nerfbench

#ИИ #LLM #Claude

Удивительно!

Пломбир — это французское glace plombières, мороженое по имени городка Пломбьер-ле-Бен в Вогезах. Примерно как шампанское по Шампани.

А эскимо — укороченный «эскимо-пай», американский Eskimo Pie. Его придумал в 1920 году Кристиан Кент Нельсон, хозяин кондитерской лавки в Онаве, штат Айова: мальчик у прилавка никак не мог выбрать между мороженым и шоколадкой.

В СССР название взяли вместе с технологией и оборудованием. На фото киоск «Эскимо-пай» в Москве, 1935 год. Потом «пай» отвалился.

У советского пломбира, кстати, тоже американские корни: первый выпустили в Москве в ноябре 1937-го на американском оборудовании и по американской технологии, после командировки Микояна в США.

Бренд в 2021-м переименовали в Edy's Pie: слово «эскимос» теперь считается обидным 🤷

ru.wikipedia.org/wiki/Пломбир
en.wikipedia.org/wiki/Eskimo_Pie

Надбавка за ИИ-навыки растёт, но сильных специалистов не удерживает.

Год назад это звучало как прогноз: сеньоры, открытые к ИИ, и есть новая нефть. Доплата за ИИ-навыки теперь видна прямо в платёжках зарубежных компаний: от 28% по медиане вакансий (Lightcast) до 62% в среднем по 27 странам (PwC, барометр рынка труда, июнь 2026).

К нам это тоже докатится, кстати.

По опросу компании WRITER такие сотрудники минимум в пять раз продуктивнее тех, кто осваивает ИИ медленно, и втрое чаще получают повышение и прибавку. Логично доплатить и удержать.

Но удерживать стало труднее ровно потому, что уйти стало дешевле. Раньше уход означал новую работу по найму, теперь — своё дело на подписках или быстрое трудоустройство в новую компанию. А если новая команда AI-native, то и онбординг становится короче (видим на себе).

90% руководителей сами признают, что систему оценки и вознаграждения из-за этого придётся пересматривать целиком. Как? Не знаю, может просто больше платить?

#стартапы #бизнес #мышление

Упаковывать задания для ИИ научились.
На доставать знания из людей — по-прежнему трудно

За пару лет индустрия прошла путь: сначала учились писать промпты, потом собирать контекст, потом паковать всё в навыки-скиллы.

А узкое место осталось: агент спотыкается о незнание контекста, того самого, что внутри компании никто не оцифровал. Самое ценное знание, суждение опытных людей, «почему мы делаем так, а не иначе», доступно хуже всего. Им самим оно кажется очевидным, поэтому они его и не проговаривают.

Появилось и то, чего раньше почти не было: люди начали осознанно придерживать своё знание. Это не «сотрудники тупят». Так реагируют, когда внедрение ИИ спускают сверху, под давлением и с угрозами увольнений. Отдавать то, что делает тебя незаменимым, в систему, которую купили для твоей замены, никто не торопится.

Около 7 из 10 топ-менеджеров уверены, что внятно объяснили команде, как ИИ повлияет на их работу. Среди линейных сотрудников с этим согласен примерно каждый восьмой. В итоге знание так и осталось в головах, а агенты продолжают тупить.

#ИИ #обучение #бизнес

Workslop: слово для чужой ИИ-работы, которую вам переслали

Появилось слово workslop: work + slop, как уже называют низкосортный сгенерированный контент. Так называют текст от ИИ, который выглядит как готовая работа, но задачу не решает: коллега прислал длинный ответ модели, сам его не прочитав, и разбираться, что там на самом деле предлагается, приходится получателю.

Статья про новое слово вышла в Harvard Business Review. Четверо из десяти американских сотрудников получали workslop за последний месяц. Чаще всего workslop отправляется между коллегами одного уровня, реже — наверх руководителю и вниз от него. 42% стали меньше доверять отправителю, около половины стали считать его менее способным, чем раньше.

Как же защищаться от слопа?

1) прямо попросить так больше не делать, если отношения позволяют.
2) Если коллега просто передаёт ваши сообщения нейросети и возвращает результат, ставить ему задачи как агенту и использовать как посредника.
3) Подключить свой ИИ, чтобы сделать выжимку
4) Предложить созвон, тогда время тратит и отправитель.
5) Иногда не отвечать вовсе: если дело важное, человек объяснит его своими словами.

hbr.org/2025/09/ai-generated-workslop-is-destroying-productivity
betterup.com/blog/hidden-costs-workslop
seangoedecke.com/how-to-protect-yourself-from-workslop

#ИИ #продуктивность

Пять пунктов из гайда HRD Яндекса про внедрение ИИ в команду

Дарья Золотухина, HRD Яндекса, выложила «AI Adoption: практический гайд для руководителей», 47 страниц о том, как встроить ИИ в ежедневную работу команды. 82% разработчиков Яндекса уже регулярно используют ИИ, среди неразработчиков — 47%.

1. Первый совет.
Выписать 10–15 рутинных задач команды, разложить по частоте и цене внедрения, начать с частых и дешёвых. Результат проверяет человек, цена ошибки приемлема.

2. До запуска выяснить, что придётся объяснить агенту: где описание продукта, шаблоны, договорённости, по каким признакам задача считается готовой. Если всё это живёт в головах, агент додумает сам. Подготовка контекста заодно приводит в порядок сам процесс.

3. Человеку, который помогает коллегам с ИИ (в гайде — AI-champion, мы их называем ИИ-энтузиасты), нужно выделить время. Знать о моделях больше всех не обязательно, важнее разбирать реальные задачи и делиться приёмами. Интерес к ИИ — ещё не согласие на нагрузку поверх основной работы.

4. Учиться на своей задаче. Записанные курсы в Яндексе не сработали: 80% сотрудников после обучения не смогли встроить навыки в работу. Поэтому там ИИ-спринты: неделя, три встречи по 90 минут, больше 60% времени — практика на собственных задачах, на выходе план, как встроить сценарий в работу.

5. Неудачные попытки разбирать вместе. Еженедельно собирать: что попробовали, что сработало, что нет. Если один уже упёрся в ограничение агента, остальным незачем повторять.

Ровно то же самое мы преподаём на наших интенсивах. Только я не HRD Яндекса, поэтому меня можно не слушать (и такой классной фотки у меня нет). Но когда HRD Яндекса почти буквально учит тому, что я преподаю уже год, получается, что мои мысли не так уж и плохи?)

Если вам нужно обучение по внедрению ИИ в вашу команду, пишите мне в личку или в нашу 2030ai.ru

Гайд: t.me/technohumanist/737

#ИИ #обучение

Купить всем подписки на Claude Code — это ещё не внедрение ИИ

Компании часто планируют внедрение ИИ так: закупим всем Claude Code или Codex, и готово. Для разработчиков это +/- работает вначале, инструмент сделан под них.

А) Но сотрудники — это в основном бухгалтеры, юристы, менеджеры и аналитики.
Чтобы работать в Claude Code, им придётся выучить Git, папки, память агента и устройство навыков. Это не их работа, и они её не выучат.

Б) Тяжёлое локальное окружение запустится не на каждом рабочем компьютере. Навыки и настройки на 3000 машин никто централизованно не раздаст и не обновит: получится 3000 личных конфигураций и ноль контроля над доступами и качеством.

Claude Code и Codex
1) родом из кодинга,
2) сделаны под личный пайплайн одного человека. Профессионала

И это проблемы, которые решает Искра, которая заточена под командную работу всей компании и под решение обычных офисных бизнес-задач. Сотрудник заходит с любого девайса через обычный web-интерфейс. Навыки, правила и доступы администратор раздаёт централизованно. Работает в нашем облаке или разворачивается в контуре клиента, стартовать можно с использования наших LLM, а потом перейти на свою видеокарту B300 или пару B200.

По сути каждый сотрудник получает Claude Code Desktop/Cowork для всех своих офисных сотрудников, но полностью прозрачный и управляемый. Для программирования Искра неплоха, а для бизнес-задач и командной работы — отличная.

Пишите мне в личку – организуем для вас демо. Неважно 3 человека у вас в команде или 30 000
Обучим всех, проконсултируем, внедрим.

iskrabot.ru/enterprise

#iskra #бизнес #ИИ

Uber десять лет назад «сжигал миллиарды», теперь это дойная корова.
С ИИ будет так же

Александр Горный напомнил, как лет десять назад все ужасались деньгам, которые венчур сливал на такси. Uber сжигал миллиарды, комментаторы писали про мошенников, дураков-инвесторов и «покажите чистую прибыль». Прибыли действительно не было, потому что она была не нужна: задача была расти и захватывать рынок, инвесторы давали деньги именно под это.

Сейчас Uber зарабатывает: за 2025 год 8,7 млрд долларов скорректированной EBITDA и 10 млрд свободного денежного потока. На бирже компания стоит около 145 млрд.

С AI будет так же. Про OpenAI и Anthropic сегодня пишут те же комментарии: пузырь, экономика не сходится, покажите прибыль. Суммы, правда, другого порядка: только план большой четвёрки техногигантов на дата-центры в 2026 году вырос за полгода с 600 до 760 млрд долларов.

Прибыль лабораториям сейчас так же не нужна. Нужна сходимость юнит-экономики или потенцильная сходимость юнит-экономики. Если вы стартапер, то эта логика вам должна быть понятна.
Задача та же: захватить рынок, пока он не поделён, и инвесторы платят именно за это. Лет через десять индустрия станет обычной, и те, кто останется, будут печатать деньги, как Uber сейчас.

t.me/startupoftheday/5263
investor.uber.com

#ИИ #венчур #стартапы

Практика такова, что беспилотное такси вытесняет с рынка пилотируемое там, где они работают вместе.

#мемы про ИИ

а вот так стало бы с моими правками:

Старые скиллы можно РЕЗКО упрощать

В марте я писал, что у каждого моего канала своя AI-редакция из 7+ агентов. Скаут ищет темы, редактор правит, авторы пишут, фактчекеры проверяют, корректоры исправляют ошибки, у каждого свой контракт, бэкстори и даже дневник (t.me/zvasilchannel/2275).

На один черновик поста уходило 12 фаз, 12–14 отдельных сессий и 26–50 минут.

По сути мы имитировали работу целой редакции, но качество скорее падало с улучшением моделей.

Моя идея проходила через скаута, бриф и других участников, становят всё тупее и скучнее.

Я решил, что модели стали достаточно хороши, чтобы писать в один проход. Один агент читает идею, источник целиком, мой стиль и последние посты канала. Вторая копия той же модели, которая не видела, как писался текст, только перепроверяет факты по цитатам из источника и говорит, что я, скорее всего, допишу или вырежу. Всё.

Полгода назад без этой инженерии вокруг модели было не обойтись. Сейчас модели стали достаточно хороши, чтобы просто сказать им, что делать. Хотя справедливости ради, лучше стали не только модели, но и харнесс, то есть Claude Code, в котором написан этот пост.

Я специально публикую его без правок, чтобы вы могли оценить, насколько хорошо ИИ сейчас пишет в моём стиле в один проход. Думаю, шероховатости есть, но в целом не отличить.

#агенты #ClaudeCode #ИИ

Как моя AI-редакция из десятка агентов превратилась в одну модель

В марте я писал, что у каждого моего канала своя AI-редакция из 7+ агентов. Скаут только ищет темы и не может ничего отправить, редактор правит и не может публиковать, у каждого свой контракт (t.me/zvasilchannel/2275). К сентябрю в редакции были скаут, исследователь, три автора с разными ракурсами, редактор, фактчекер, внешний фактчекер, «читатель», который проверял, понятно ли написано, и отдельные судьи, которые сверяли текст с моим голосом. На один пост уходило 12 фаз, 12–14 отдельных сессий и 26–50 минут.

По сути мы имитировали работу целой редакции. Только теряли по дороге главное. Моя просьба проходила через скаута и бриф и доезжала до автора пересказом, а тип поста и длину назначал скаут. А проверки умели только вычитать: у каждой было право вето, число раундов ограничено, и текст сходился к минимальному. В первой половине сентября посты выходили по 585–837 знаков вместо 1100–1500, ссылка на источник была в 2 черновиках из 22, и при публикации я дописывал их вдвое.

С 19 сентября пост целиком пишет одна модель. Она читает мою просьбу дословно, источник целиком, мой стиль и последние посты канала. Вторая копия той же модели, которая не видела, как писался текст, проверяет факты по цитатам из источника и говорит, что я, скорее всего, допишу или вырежу. Перед отправкой в рабочий чат скрипт проверяет, что проверка пройдена и текст после неё не менялся. Всё.

Полгода назад без этой инженерии вокруг модели было не обойтись. Сейчас модели стали достаточно хороши, чтобы просто сказать им, что делать. Хотя справедливости ради, лучше стали не только модели, но и харнесс, то есть Claude Code, в котором написан этот пост.

Я специально публикую его без правок, чтобы вы могли оценить, насколько хорошо ИИ сейчас пишет в моём стиле в один проход. Думаю, шероховатости есть, но в целом не отличить.

#агенты #ClaudeCode #ИИ

YC: Возвращение Опытного основателя

Партнёры Y Combinator в свежем выпуске подкаста The Lightcone говорят о возвращении опытного основателя: одни из самых сильных фаундеров, которых они видят в последнее время, — под 40, за 40 и даже за 50.

Объяснений у них два.

Первое: главное сейчас — знать, что строить. Тот, кто уже не раз прошёл этот путь, знает, где подводные камни, и у него есть вкус. А классические фильтры вроде «нужен сооснователь» и «нужны правильные инвесторы» значат всё меньше. Открывайте агента и делайте.

Второе: управлять агентами для кода не так уж отличается от управления людьми. Те, кто всю карьеру руководил командами инженеров, поднимают большие команды агентов и управляют ими, возможно, лучше, чем очень умный 19-летний без такого опыта.

Канонический пример у главы YC Гарри Тана — Питер Штайнбергер (на фото): был dev-менеджером, до этого делал стартапы (основатель PSPDFKit). Про себя пишет, что вернулся с пенсии, чтобы повозиться с ИИ, и сделал OpenClaw — открытого ИИ-агента, у которого почти 400 тысяч звёзд на GitHub.

На себе я чувствую, что большинство решений на опыте принимаю легко и быстро, когда менее опытные долго возятся с ресерчем вопроса. Поэтому мои агенты быстрее и мощнее)

youtube.com/watch?v=yslXlV2BP_Y
t.me/book_cube/4974

#стартапы #агенты #ИИ

20 ОКТЯБРЯ.
AI Native Conf в Москве. Рекомендую – я в программном комитете.

И буду там.

Онтико (те, кто делает HighLoad++ и TeamLead Conf) проводит конференцию о внедрении ИИ и построении AI Native компании. Один день, четыре параллельных потока, кластер «Ломоносов» в Москве и онлайн-трансляция всех потоков.

Секций три: агентный инжиниринг, агенты в продуктовой работе, бизнес и управление. Плюс воркшопы и C-level клуб. Логика программы такая: агенты уже ускорили разработку, дальше узким местом становится продуктовая работа, а за ней бизнес-процессы и стратегическое управление компанией.

Что уже есть в сетке:
— опыт внедрения AI First разработки в Avito;
— эволюция агентной разработки в Сбере;
— как освободить себе два дня в неделю с помощью ИИ, если ты менеджер (Циан);
— почему сотрудники не используют AI (Umbrella IT) и почему буксует AI-трансформация (Altenar);
— экономика ИИ: как отличить эффект от самообмана (ОТП Банк).

Сейчас в сетке 16 докладов, ещё 5 слотов в разработке.

Днём раньше, 19 октября, на той же площадке пройдёт AI Cases Conf — про кейсы внедрения AI в не-IT бизнесе: aicasesconf.ru
Там тоже буду.

Билет — 20 000 ₽ для физлиц и 50 000 ₽ для юрлиц, цена одинаковая для зала и онлайна. Мой промокод: AISHIFT10

Приходите)

ainativeconf.ru/schedule
Билеты: conf.ontico.ru/conference/join/ain2026.html

#ИИ #агенты #бизнес

Продолжаю разбирать
https://stateofopensource.ai/

Смотрю на этот список и понимаю, что через три месяца все эти модели безнадёжно устареют.

Также вижу, что наибольший вклад в opensource модели вносят:
1) Nvidia (раскрывают всё, кроме обучающих данных)
2) Xiaomi и Deepseek.

Последние вообще молодцы, потому что шарят действительно важные прорывные схемы.

Если бы меня спросили, какая лаборатория вносит наибольший вклад в ликвидацию ИИ-неравенства, то это DeepSeek.

Сама таблица про то, что открытая модель НЕ РАВНО опенсорсная. И у всех открытых моделей есть закрытые секреты и ноу-хау.

#ИИ #stateofopensourceai