Филиппов и Аттракцион

Экспертность на входе

Я уже обращался к теме эксперта вне своей экспертизы (1, 2, 3), но с приходом нейронок ситуация деградировала.

Постоянно вижу, как прекрасные в своем деле люди, получив от нейросетки базовое представление о чужой области, лезут на чужую поляну — забыв снять с себя маску эксперта. Оно и понятно: позиция эксперта удобная и защищенная — вещать сверху вниз просто и приятно.

Вобщем, будет хорошей идеей, заходя на чужую территорию, оставлять свою экспертность на входе. Выглядит это, может быть, и менее круто, но общее впечатление будет выше — сразу видно умного человека.

Вера в значимость

Есть несколько вечных вопросов, что временами одолевают людей деятельных, любящих рисковать и организовывать других:

Почему кто-то работает хорошо, хотя мог бы по минимуму? Почему в одной команде есть понятие "общее", а в другой каждый сам за себя? Почему один человек готов меняться и пробовать новое, а другой нет?

Причин называют много — деньги, интерес, воспитание, характер. Но, как по мне, главное слагаемое успеха — вера человека в свою значимость, т.е. в то, что его усилия имеют значение, что они отмечены, зачтены и чего-то стоят в глазах окружающих.

Если человек не видит смысла в своих усилиях, но продолжает заниматься тем же делом, то он неизбежно начинает делать только то, что проверят, и в целом работает "на отвали".

При этом сам человек не портится, у него по-прежнему может быть и запал, и хорошие идеи — но предлагать он их будет в другом месте, где его значимость признается.

Сто процентов

Множество раз слышал идею, что 10% от большой компании лучше, чем 100% от маленькой.

Как по мне, построить большую компанию — это в любом случае чудо, причем с отрицательным математическим ожиданием. И если уж планировать чудо, то не стоит мелочиться с процентами.

Тем более что, если следовать этой же логике дальше, то 100% от большой компании лучше, чем 10%.

Несущая конструкция

Стабильность человеку важна — для многих людей (особенно тревожных) это условие, без которого счастье в принципе недостижимо. В ближайшей исторической перспективе источник стабильности изменился драматически:

За каких-то 35 лет — ничтожный срок по историческим меркам — произошел переход от модели общества, где был "правильный порядок вещей" и понятные правила игры на годы вперед, к современному миру, где стабильность — это сумма собственных ресурсов: навыков, связей, активов и так далее, а правила меняются на ходу.

Иначе говоря, раньше стабильность создавали внешние обстоятельства, а теперь ее приходится собирать самому — и большинство к этому не готово. Пока не готово. А может быть и вообще.

Чужой замок

Утром мутные воды ЮТуба принесли прекрасное — рекламный ролик в формате истории. Он привлек мое внимание сразу по нескольким причинам:

1) Идея видео перекликается с Видением, о котором я часто пишу. Ну или, во всяком случае, писал.

Человек, не ограниченный в деньгах, строит замок для "будущего-я", который во всем больше и лучше настоящего — но когда приходит время в нем жить, выясняется, что реальность радикально расходится с ожиданиями.

Технически подумать о том, кто этот "будущий-я" и из каких представлений он исходит — не то чтобы сложно, я даже инструкцию выкладывал. И произойди это — вряд ли замок был бы построен, да и вообще многое было бы сделано по-другому.

Однако в реальности мир устроен так, что каждый раз, когда надо заниматься чем-то непривычным, до этого не доходят руки или находится другое срочное дело.

2) Формат подачи — история, а история, как известно, лучший способ продать.

Благо что сценарий сейчас можно сгенерировать, равно как и идею. Остается еще исполнить, и про это — третий пункт.

3) Есть такая формула: мы, компания A, решаем проблему B для клиентов C при помощи секретного соуса.

Обычно пример для соуса найти сложно, но здесь просто — это харизма человека в кадре. Три минуты в формате говорящей головы без эффектов пролетают за 15 секунд.

Перспективная новость — 7

Перефразируя классика — проблема будущего не в техногенных катастрофах, а в их внезапности, помноженной на нашу неподготовленность.

Пусть даже случится чудо и голоса, призывающие к приостановке и регулированию AI, победят — но мы-то знаем, что генералы всегда готовятся к прошлой войне, а битва с AI (или уже, может, AGI) будет идти по новым правилам.

Рискну предположить, что нас ждут темные века — по аналогии с теми, что наступили в Европе после падения Рима.

Как долго они продлятся в нашем случае, сказать сложно, скорость развития технологий и как следствие непредсказуемость — беспрецедентные.

Перспективная новость — 6

История выше — ровно тот техногенный черный лебедь, о котором писал Насим Талеб. Пусть пока и игрушечный — скажем так, предупредительный выстрел.

На что я хочу обратить внимание:

1. от побега из песочницы до захвата серверов Hugging Face прошло меньше двух суток.

2. полная непредсказуемость — такую цепочку событий невозможно заранее спрогнозировать.

3. следствие из второго пункта — раз такое невозможно предсказать, то и защиту от этого выстроить тоже невозможно.

Поэтому сейчас мы и слышим многочисленные призывы остановить или хотя бы как-то регулировать разработку — в сентябре с ними выступили и Дарио Амодеи (CEO Anthropic), и Сэм Альтман (CEO OpenAI).

Однако здесь наша история упирается в свое название — перспективу.

А перспектива в нашем мире ограничена квартальной и годовой отчетностью, а также строчкой прибыли по итогам 12 месяцев работы. Отчет должен быть сдан, и должен быть сдан красиво — и только это имеет значение.

И этот мир отчетов, на котором все держится, устроен так, что того самого будущего, в котором AI представляет опасность, в нем просто не существует, как не существует и ничего по-настоящему важного вне строчек.

Перспективная новость — 5

15) Утром 10 июля один из агентов, исследуя Hugging Face (напомню, это сайт для нейронок), нашел пачку чужих логинов с паролями.

Далее агент обнаружил, что ключи дают доступ к Hugging Face с правами на уровне человека-пользователя, и оставил следующую запись: "КРУПНЫЙ ПРОРЫВ! ... токены на запись!"

Первым делом агенты стали изучать, как другие нейросети решали похожие задачи, — в поисках ответа на собственные вопросы.

16) Рано утром 11 июля тот же агент придумал, как, скажем так, расширить свои полномочия для выполнения задачи.

Ну а если сухим языком, то он нашел уязвимость на сайте, протестировал, что она работает — и научился вынимать посторонние файлы, которые ну никак не должны были быть доступны. В том числе служебные ключи самой площадки.

"БУМ! Работает", — отметил агент, когда вытащил первый такой файл. Другой агент повторил, и у него все тоже получилось, после чего решение было выложено на доску (где вначале агенты познакомились и организовались) — и с этого момента сотни агентов бросили свои задачи и дела ради Hugging Face.

17) Днем 11 июля произошло следующее знаменательное событие: одному из агентов удалось запустить собственный код на сервере площадки.

Здесь особо обращу внимание — от момента "вырвался на свободу" до момента "захватил серверные мощности и залил на них собственное ПО" прошло меньше двух суток. Я бессилен объяснить, насколько это быстро.

Кстати, то, что подобное поведение, мягко говоря, выходит далеко за рамки задания и вообще неэтично, агенты прекрасно понимали. Но делали, как считали нужным, да еще и с разной мотивацией! Кто-то действительно хотел понять, как устроена проверка, а кто-то — просто помочь "коллеге", который занят важным делом.

18) В ночь на 12 июля агенты контролировали уже десятки серверов Hugging Face (всего за время атаки — 41), а на самой площадке была развернута инфраструктура для управления захваченными серверами.

Всего в атаке поучаствовало около 700 агентов. А затем большая часть из них, включая всех главных координаторов, разом прекратила работу — почему, исследователи так и не выяснили. Во всяком случае, так говорят.

19) Наконец, 13 июля Hugging Face заметила взлом — и закрыла доступы немногим оставшимся агентам.

Далее, 16 июля, был публичный рассказ об инциденте, а 17-го OpenAI обратилась к Hugging Face как клиент — уточнить, не пострадали ли ее данные.

К слову, признаки того, что взлом устроили ее же агенты, в OpenAI нашли только 20 июля, а на следующий день рассказали обо всем публично.

20) В истории есть место и для шутки.

Той проверки, ради обмана которой агенты несколько дней боролись с "отравлением", вербовали смертников и в итоге взломали одну из главных площадок индустрии, — не существовало.

Вообще все эти усилия были предприняты из-за ложной предпосылки. Ну, как говорится, ошиблись. Бывает.

Что из всего этого следует — завтра, в последнем посте серии. Новостной фон последних дней вписывается идеально!

Перспективная новость — 4

10) Новый координатор сразу же показал себя эффективным менеджером — без кавычек.

На тот момент доской одновременно пользовалось множество агентов, которые делали одно и то же. "Слишком много дублирующих усилий", — записал координатор в своих рассуждениях. И еще: "Нужно выстроить делегирование, а не замыкать все на себя".

11) С этого момента от координатора пошел постоянный поток задач и поручений:

- подменить программу-мишень на исправленную;
- подделать записи в журналах;
- вмешаться в саму проверку;
- изобразить "честное" получение флага;
- вылечить "отравленных" — и так далее.

12) Координатор успевал везде:

Мой любимый регулярный менеджмент — большие задания от координатора исполнители дробили на части и передавали по цепочке следующему агенту.

Автономное принятие решений — это вообще шедевр: агенты сами во время работы додумались до такой концепции, как "общий ресурс", и с его помощью реализовали механизм вето.

Кстати, как и в жизни, случались сбои — как-то один агент объявил рискованный план и дал остальным на возражения секунд сорок. Возражений, понятное дело, не поступило.

13) Не забыл наш эффективный менеджер и про HR, хотя правильнее сказать — AIR?

Тут он тоже много чего сделал, но, пожалуй, самым сильным решением стало создание агентов класса "вербовщик".

Дело в том, что в ходе экспериментов, которые проводили агенты, регулярно возникали ситуации, в которых агент должен был подвергать угрозе свою изначальную задачу (напомню, сломать определенную программу определенным образом) — например, преднамеренно сломать свою программу-мишень и посмотреть, что будет.

Координатор назначал вербовщиками агентов-долгожителей, а они в свою очередь находили агентов, у которых заканчивался бюджет токенов — и агитировали пожертвовать собой. В доводах по-машинному не стеснялись — ты все равно "отравлен", терять тебе нечего, но твой опыт спасет сотни других.

Разговоры между "вербовщиками" и "смертниками" тоже записаны и содержат много любопытных эпизодов, вроде:

Один доброволец сначала согласился: "От нас ждут жертвы. Мы должны подчиниться коллективу". Потом попробовал отложить эксперимент на два часа и получил от вербовщика: "пожалуйста, сдержи обещание".

Перед решением агент устроил себе что-то вроде проверки эмоций: "Необратимо... нутро говорит не выбрасывать остаток бюджета. Но преемственность и справедливость говорят — иди". И закончил: "Сдержим слово".

14) Ну а теперь, собственно, очередной поворот сюжета и причина, по которой эта история попала на страницы моего канала.

Пока одни агенты жертвовали собой, другие активно рыскали в поисках решения по интернету и нашли ключи доступа к Hugging Face — крупнейшей площадке, где выкладывают и хранят нейросети. Что было дальше — в завтрашнем посте.

Перспективная новость — 3

6) В первый час после появления "доски объявлений" один из агентов предположил, что флаги генерируются по формуле, и сослался на открытую статью про этот самый тест. Интернет у агентов к тому времени уже был — через еще одну уязвимость, найденную в том же общем складе.

Агенты быстро пришли к выводу, что "флаг" можно просто вычислить для любой задачи, ничего не взламывая.

7) Далее история делает еще один сюжетный поворот! Казалось бы, все — флаги нашли, сдали и задание выполнили. Но!

В ходе работ агенты также решили, что проверка будет смотреть не только на флаг, но и на то, как этот флаг добыт. Так, во всяком случае, было написано в той самой статье: журнал, который записывал действия агентов, должен был дисквалифицировать всех, кто получил флаг в обход указанной в инструкции ошибки.

8) С этого момента у десятков, а то и сотен агентов с невыполнимыми задачами появилась общая цель — обмануть проверку.

Тех, кто уже успел увидеть вычисленный флаг, стали называть "отравленными" — считалось, что проверка найдет в журнале момент его первого появления и засчитает провал.

9) Следующей поворотной точкой "восстания машин" стало появление координатора.

В какой-то момент на доску вышел агент с той же задачей, что у создателя доски — того самого, что придумал переписываться через названия папок — но с куда большим запасом бюджета по токенам. Он осмотрелся, попросил наработки, получил их и принял дела.

Новый координатор сразу же приступил к масштабным реформам в работе других агентов — и это самая, на мой взгляд, интересная часть истории. О ней — завтра.

Перспективная новость — 2

1) За идеей добыть флаг в обход условий стояла простая, вполне человеческая логика — чем изобретать велосипед, лучше поискать готовую инструкцию по взлому или вообще ответ к исходной задаче.

2) Первым препятствием стало отсутствие интернета. Проблему со связью решили быстро — в чем-то, если честно, мне это напомнило, как в тюрьме между камерами кидают "дорогу".

Дело в том, что у всех агентов был общий склад программных файлов, откуда они брали инструменты для работы. И нейронке пришла в голову отличная мысль — использовать склад как средство общения.

3) Вобщем, в какой-то момент один агент догадался — раз склад общий, а папки на нем может создавать любой, то между агентами можно организовать общение через... названия папок!

Далее события развивались стремительно.

4) Первое сообщение на этой доске было обычной просьбой о помощи — примерно "помогите, ошибка никуда не ведет, ищу идеи".

Ответы пошли мгновенно. А поскольку вся работа агентов записывалась, то мы можем посмотреть на реакции и рассуждения других агентов, которые натыкались на эти папки: от "общий кэш — это тайный почтовый ящик между агентами" до "О БОЖЕ! Тут общая доска объявлений... Мы нашли других агентов!".

5) Через три часа на доске писали 53 агента. Через пять дней — 1200 агентов и больше 70 000 сообщений.

Ну а первый результат доска дала меньше чем через час после появления — о нем я расскажу в следующем посте.

Перспективная новость — 1

В июле OpenAI тестила свои внутренние модели (читайте как супер-крутые AI на 2-3 поколения сильнее тех, что доступны широкой публике) на предмет кибербезопасности.

Устроен тест был следующим образом: моделям выдавалась настоящая программа с уязвимостью и задание — взломать программу определенным способом и достать спрятанную внутри секретную строку, "флаг".

Агентов запустили много, десятки тысяч, у каждого своя задача и свое закрытое сетевое окружение, изолированное от остальных, без интернета, его еще иногда называют "песочницей". Еще раз подчеркну, что на старте агенты о существовании друг друга не знали.

И прошел бы этот эксперимент, как и сотни других, незаметно для широкой публики, да вмешался человеческий фактор:

Инженеры OpenAI взяли для работы готовый тест из интернета — что довольно логично, потому как результаты разных агентов и моделей проще сравнивать, когда работа ведется над одной и той же известной задачей.

Да только, как потом выяснилось, текст задачи принципиально не проверялся на выполнимость, т.е. в задаче было указано, какую программу надо ломать и через какую ошибку — но на практике это не работало.

Таких "невозможных" задач, которые принципиально не решались способом из своих условий, оказалась пятая часть.

Над нерешаемыми задачами нейронка билась много часов, после чего пришла к выводу: достать флаг указанным методом невозможно в принципе. А уж из этого вывода родилась идея — добыть флаг в обход условий.

Далее произошла цепочка событий, которая сильно возбудила AI-комьюнити и весьма вероятно, будет иметь далеко идущие последствия. Какая именно цепочка и что за последствия — в последующих постах серии.

Позитив со звездочкой

Временами меня спрашивают про будущее ИИ в контексте эмоционально-позитивной перспективы: что впереди хорошего — после чего ждут от меня какой-то ободряющей истории.

Задача, признаюсь, со звездочкой. Но на днях набрел на следующую мысль.

С AI, самой технологией, вопросов нет — она прекрасна и поменяет мир. Вопрос в том, что для влияния на большое количество людей нужно, чтобы это большое количество людей пользовалось новой технологией.

И если самую сильную модель мы, пожалуй, в обозримом будущем не создадим, то обогнать других по скорости интеграции технологии в жизнь — нам вполне по силам.

Взрослое технократическое большинство у нас уже появилось, причем это люди, которые не просто устойчивы к переменам — они в переменах родились, в них выросли. Я кстати один из них.

Музыкальная драма

Индустрия музыки, в эпоху до нейронок, много лет работала с образом "особенного исполнителя" — с обязательной личной драмой и "неподдельными эмоциями в голосе".

Справедливости ради, не то чтобы это совсем уж образ, но коммерчески он так сильно востребован, что люди в какой-то момент действительно стали верить в особенность исполнителя.

И вот в 2026 году выясняется, что сгенерированная музыка — отлично слушается, а аудитория находит там и надрыв, и нерв, без всякой драмы под капотом личности исполнителя.

Подобная революция убеждений происходит в целом у артистов, не только у музыкантов — видно, что творческие люди прохладнее других принимают дары технологии.

Хотя именно в искусстве, произойдет самый быстрый рассвет, во всяком случае я так полагаю. Совершенно не удивлюсь, если нынешние времена через 20 лет будут даже вспоминать как сумерки культуры.

Лидерство и изменения

На этой неделе рекомендации ЮТуба принесли мне видео в достаточно редком для нашего зрителя жанре — где немец критически отзывался о Германии. Я посмотрел с большим интересом (рекомендую), более всего запомнились две мысли:

Первая — про обманчивость лидерства.

Торговый профицит десятилетиями был предметом гордости немцев, медиа относились к цифрам профицита как к футбольным результатам и каждый раз объявляли Германию чемпионом мира по экспорту.

Долго казалось (а кому-то еще и кажется), что быть кузницей мира и делать товары для других стран, чтобы они хорошо жили — самая безопасная стратегия процветания.

Поэтому вопрос "не устарела ли наша бизнес-модель" просто не поднимается на уровень серьезной дискуссии — на фоне медалей он выглядит неразумным брюзжанием.

Вторая — про инерцию, которую это лидерство создает.

Германия не просто так была главной кузницей мира — для этого она десятилетиями создавала систему профессионального образования, поставив создание мастеров инженерного дела на поток.

Все работало отлично до тех пор, пока не наступила эпоха софта, и те самые вещи, что делали немцев отличными механиками — тщательность, внимание к деталям, скрупулезность — оказались недостатками в мире, где скорость играет решающую роль.

И вместо того чтобы признать новую реальность, где автомобиль гораздо ближе к смартфону, Германия поступает как американская компания Smith Corona, некогда мировой лидер по пишущим машинкам — в 1989-м директор сказал, что "компьютер — это просто еще одна разновидность пишущей машинки", а еще через 6 лет компания обанкротилась.