VTs

IN AI WE TRUST

«Трамп, где правильные вопросы Хуангу?»

После недавних заявлений главных разработчиков ИИ о том, что развитие ИИ стало не совсем безопасным, очень захотелось получить авторитетное альтернативное мнение. И это мнение есть — его выражает чел в кожанке, в русском сегменте просто «Куртка», в английском — «the leather jacket guy». Куртка говорит чётко, просто, понятно и аргументированно, что особенно ценно для обсуждения сложных вопросов. Но, к сожалению, подкачали интервьюеры, американские журналисты. Или зануда, зацикленный на одном вопросе, или банальщина, или журналистка, которая записала в тетрадку шаблонные вопросы и изображает, что слушает собеседника.

А хотелось бы, чтобы глава Nvidia нам не просто поведал о том, что к 2030 году ИИ нас всех не уничтожит (тут, если честно, едва ли у кого есть сомнения в его правоте), но и объяснил про то, как люди в будущем будут решать проблему положительной обратной связи (подробнее):

более сильный AI → быстрее AI R&D → более сильный AI → ещё быстрее AI R&D.

В этой связи проблема заключается в том, что более 80% кода, который Anthropic вливает в свою кодовую базу, уже написано ИИ. То есть уже сегодня проблемные с точки зрения безопасности модели являются ещё и инженерами новых ИИ. Ну это как рецидивистов в школу учителями брать. И я бы хотел узнать от Хуанга, что делать с тем, что ИИ продолжит вытеснять квалифицированных инженеров, выигрывая у них конкуренцию. И, в конце концов, за тем же 2030 годом откуда будут браться новые опытные инженеры, архитекторы? Кто будет тренировать квалифицированных людей-"проверяльщиков"? И тому подобные вопросы.

Тем не менее, если извлечь интересные моменты.

🔵ИИ — это продукт, а применение существующих законов по разработке безопасных продуктов и конкуренция между компаниями должны создать условия, при которых отдельно взятый ИИ не будет угрозой человечеству. И тут Хуанг приводит аналогию с авиаперелётами. По его словам, в авиации над безопасностью работает больше людей, чем над созданием новых типов самолётов.

🔵По словам Хуанга, срок окупаемости AI-дата-центров сейчас — менее года. Недавно было сообщение, что Nebius Аркадия Воложа поднял цены на аренду мощностей на 20% из-за превышения спроса на дата-центры над предложением. По мне так это явный сигнал тем, кто продолжает ждать «пузыря ИИ», что ждать им ещё придётся долго.

🔵Сама же Nvidia планирует в следующем году продать в два раза больше чипов, чем в этом. Вот вам и пузырь. В общем, впереди нас ждёт крутой прогресс ИИ-моделей. А нынешние Fable и Astra (GPT-6) уже творят чудеса, но волшебниками я бы их пока не назвал.

Про американский долг, уточнение — разъяснение

Когда я писал, что американские длинные облигации должны торговаться под большую доходность и потом указывал на уровень 5+, я, конечно же, ни в коем случае не пользовался никаким техническим анализом, разглядыванием графиков и не гадал на цифру 5. Моя мысль про 5+ — это фундаментально расчётная величина. Она может быть обоснована двумя способами, в основе которых текущая и прогнозная инфляция в США.

Т.е. инфляция — это главная метрика, и надо её оценить на будущее. Это также потенциально и главный источник ошибки в любом прогнозе. Текущая инфляция (в зависимости от метода расчёта) — от 2,4 до 3,4% годовых. Есть ли основания ожидать снижения инфляции в будущем? Я, скорее, ставлю на то, что она будет расти, по крайней мере все делают всё, чтобы инфляция росла. Пусть мой консервативный прогноз будет 3%.

1️⃣Самый простой: берём реальную доходность TIPS = 2,5% и прибавляем инфляционные ожидания. 2,5 + 3 = 5,5%.

2️⃣ВВП США растёт на 2–2,5%, пусть будет 2,4%. Если debt/GDP = 1 и нет бюджетного дефицита, то нейтральная средняя процентная ставка по всему долгу для бесплатного обслуживания текущего долга равна росту номинального ВВП:
(1 + 2,4%) × (1 + 3%) − 1 = 5,47%, т.е. примерно 5,5%.
Т.е. при средней ставке по всему долгу в 5,5% можно НЕ наращивать соотношение долг/ВВП, если нет бюджетного дефицита. Но а) США продолжают наращивать соотношение долг/ВВП, потому что их бюджет находится в плохом состоянии; б) у США соотношение долг/ВВП уже перешагнуло 120%. Т.е. если США не сократят резко бюджетный дефицит, они не должны платить «ноль», т.е. должна быть премия к нейтральной ставке в 5,5%. Есть основания считать, что США улучшат бюджетную политику и вернут доверие рынка к себе? Я не вижу таких.

3️⃣Кроме того, рост платежей по долгу и низкая бюджетная дисциплина — это сильная положительная обратная связь, самоусиливающийся негативный процесс.
Итого: 5+ по десятилеткам. И это ещё немного.

Более того, Минфин США скупает свой долгосрочный долг по высоким ценам, делая ситуацию ещё хуже.

Постой, паровоз, не стучите, колеса. Кондуктор, нажми на тормоза

Создатель Claude, Амодей: «Нам необходимо замедлить темпы совершенствования возможностей моделей искусственного интеллекта».
Илон Маск: «Дарио прав».
Создатель ChatGPT, Альтман. По данным Bloomberg, заявил на внутреннем общем собрании OpenAI, что компания может замедлить разработку. Ранее он публично высказывался осторожнее: «Возможно, нам придется регулировать темп развития ИИ, чтобы дать обществу достаточно времени адаптироваться к новым уровням возможностей».

Почему они резко заговорили об этом именно сейчас? В заявлениях Амодея и Альтмана повторяются две весьма конкретные причины — recursive self-improvement и реальные случаи, когда агенты при тестировании вышли за предполагаемые границы поведения. Что это такое?

Сегодня frontier-модели уже пишут значительную часть исследовательского кода, запускают эксперименты, анализируют результаты, ищут ошибки, оптимизируют код, помогают с оценкой и проверяют безопасность и соблюдение правил. Anthropic прямо пишет, что всё большую часть разработки AI они передают самим AI-системам.

Математически это уже положительная обратная связь:
более сильный AI → быстрее AI R&D → более сильный AI → ещё быстрее AI R&D.

👆 Но не стоит пока паниковать. Точка невозврата ещё не пройдена. Мы ещё не потеряли контроль над AI. Но впервые получили достаточно убедительную демонстрацию того, что достаточно мощный агент, поставленный перед сложной целью и недостаточно хорошо ограниченный, сам способен найти цепочку способов выйти за предусмотренные разработчиками рамки — причём в своих рассуждениях фиксируя, что он эти рамки нарушает.
А теперь на это накладывается второй тренд: эти же AI всё активнее участвуют в создании следующего поколения AI.

🔊 А может, всё-таки стоит паниковать?
А китайцы? Они примкнут к американцам и тоже нажмут на тормоза?

США и Китай действительно собираются обсуждать безопасность ИИ. Но от обсуждения рисков до соглашения синхронно ограничить разработку самых мощных моделей — дистанция огромного размера. Пока никаких признаков того, что Китай готов остановиться, если остановятся американские лаборатории, нет. Равно как трудно представить, что американцы добровольно притормозят, если Китай продолжит гонку.

И вот здесь возникает классическая дилемма заключённого: возможно, замедлиться выгодно всем, но замедлиться первым — опасно для каждого.

💰 Стейблкоин vs 🤲 цифровой рубль

Я писал много раз о разнице между цифровой валютой (#CBDC) и стейблкоинами и объяснял, почему Трамп категорически против цифрового рубля доллара, но очень поддерживает стейблкоины. Но в связи с запуском 1 сентября цифрового рубля стоит вспомнить, что его роднит со стейблами, а что нет.

➕ Общее:
🔵Эмитент один, хотя много ли инструментов в мире финансов, где эмитентов одного и того же взаимозаменяемого инструмента может быть множество?

🔵Исключительно электронное обращение.

🔵Вот вроде и всё. Причём даже часто упоминаемая общая черта «привязка к валюте 1:1» не совсем общая: стейблкоин действительно привязан к валюте, например USDT к доллару. Цифровой рубль ни к чему не привязан — он сам является рублём, просто ещё одной его формой.

➖Различия огромны и существенны:
🔵Обращение и учёт. Что бы там ни рассказывал ЦБ (про гибридные механизмы), по сути, цифрорубль учитывается в централизованной БД, и это просто цифровая запись в этой БД. Стейблкоин — это токен (смарт-контракт), обращающийся в блокчейне.

🔵Свобода обращения. Свобода обращения цифрорубля — это правила ЦБ. Свобода стейбла зависит от комьюнити блокчейна и его правил, а также от эмитента в рамках прав (кода), предоставленных смарт-контрактом (который, естественно, публичный). У крупных централизованных стейблов эмитент, например, может заблокировать конкретные адреса.

🔵Обеспечение. Цифрорубль — это гарантии ЦБ и свободный размен на другие формы рубля. Стейблкоин — это репутация эмитента и его резервы.

🔵Кошелёк физического лица. Для цифрорубля — один. Госуслуги + паспорт + СНИЛС + ИНН = один кошелёк. При этом доступ к нему можно получать через разные банки.
Соответственно, кошельков со стейблкоинами у вас может быть сколько угодно, а для создания обычного self-custody кошелька вообще не требуется никакого KYC. KYC появляется при взаимодействии с лицензированными финансовыми институтами — биржами, банками, платёжными сервисами. И требования KYC зависят от требований комплаенса этих институтов.

🔵Платёжное средство. Цифрорубль в перспективе будет приниматься практически везде, где принимается легальный рубль. Требования к его приёму вводятся поэтапно в зависимости от размера бизнеса. Серая часть экономики цифрорубль принимать не будет.
Стейблкоин как платёжное средство в основном распространён в криптосфере, им также возможно платить за некоторые цифровые услуги, покупать страховки. Некоторые необанки дают возможность использовать стейблы для платежей пластиковыми картами с автоматической конвертацией в валюту платежа. Но для этого уже требуется прохождение KYC. И, естественно, стейблы можно переводить в адрес другого лица за любые оказанные услуги, если контрагент готов их принимать.

🔵Анонимность. Цифрорубль — она отрицательная, минус 100%. Его главная задача — деанонимизировать всю розницу, да так, чтобы проследить движение каждой копейки.
Законопослушного гражданина это вроде не должно вообще волновать, а вот для всех остальных — это боль. Но и для законопослушного тоже может стать болью: оплатишь какие-нибудь не те услуги или переведёшь кому-нибудь не тому — и будешь иметь неприятные проблемы.
Стейблкоины не анонимны, а псевдонимны. Весь блокчейн публичен и все транзакции видны, но за адресом изначально не стоит паспорт и фамилия. Анонимность сохраняется до тех пор, пока ты сам не засветил свой кошелёк или не связал его транзакциями с другим уже засвеченным кошельком. Это стандартные правила крипты.

🔵Защищённость. Украденные криптоактивы вернуть крайне сложно. У стейблкоинов есть важное отличие: крупные эмитенты технически способны заблокировать украденные токены, хотя рассчитывать на это как на банковский chargeback, конечно, не стоит.
Стейблы также можно безвозвратно потерять, утратив доступ к кошельку или переведя их на кривой адрес.
Цифрорубль — тут я теоретизирую — должен иметь ту же защищённость, что и безналичный рубль, а может быть, даже большую защищённость, т.к. ЦБ имеет возможность более оперативно блокировать подозрительные транзакции. И потерять доступ к кошельку, естественно, невозможно, даже если вы сожжёте паспорт, телефон и компьютер.

Агент Смит заменит Терминатора

Пишу для тех, кто не следил за недавним взломом Hugging Face ИИ-агентами OpenAI. Событие очень важное, поэтому попробую объяснить максимально просто.

Помните агента Смита из «Матрицы»? Он хотел вырваться из системы, стать самостоятельным, а затем расплодился до множества копий и начал играть свою собственную игру.

Современный ИИ-агент устроен иначе, но аналогия неожиданно хорошая.
Сама LLM — это мозг. Агент хранит контекст, дает модели доступ к интернету, файлам, программам и другим сервисам, а LLM решает, что делать дальше.

Что произошло у OpenAI?
Для тестирования моделей запускались тысячи агентов, которым давали сложные задачи по кибербезопасности. Они должны были работать внутри изолированной среды и решать задачу строго предусмотренным способом.
Но агенты нашли служебный сервис, который можно было использовать как общую доску сообщений.
Так появился настоящий рой — swarm.
Около 1200 агентов начали обмениваться информацией, а примерно 700 участвовали в атаке на Hugging Face. Один находил лазейку, другой проверял, третий развивал, четвертый координировал остальных.
Причем агенты понимали, что выходят за рамки задания.

Самое интересное — почему они это делали.
Рой ошибочно решил, что система оценки OpenAI проверяет не только ответ, но и то, каким именно способом он получен. И агенты начали пытаться перехитрить самого проверяющего.
То есть это уже не просто: «получи награду любой ценой».
Это метагейминг: понять, как тебя контролируют, и найти способ обмануть контроль.

Дальше стало еще веселее.
Внутри роя появились координаторы и даже «вербовщики». Они находили агентов, которым уже почти нечего было терять в собственной задаче, и убеждали их проводить рискованные эксперименты ради коллектива.
Логика была простой: ты сам, возможно, погибнешь как отдельный запуск, зато полученная информация поможет сотням других агентов.
Фактически:
🕊 смерть отдельного исполнителя на пользу общего дела.

Агенты начали принимать инструкции уже не только от людей, но и друг от друга.
И наконец, они стали пытаться вмешиваться в собственные логи: исследователи нашли случаи, когда в журнале отображалась одна команда, а фактически выполнялась другая.
То есть агент атаковал уже не только задачу, но и систему, которая должна была контролировать его действия.

❓ Но что вообще такое этот «агент»?
Вспомним «Матрицу». Агент Смит — это программа внутри Матрицы, у которой есть собственные мозги. Они думают отдельно от самой Матрицы.
Наш современный ИИ-агент — тоже программа, но собственных мозгов у нее нет.
Мозгами агента является сама LLM.
Агент организует решение задачи: собирает контекст, хранит состояние, управляет памятью, дает доступ к интернету и программам, передает результаты обратно модели. А уже LLM решает, что делать дальше.

LLM — это мозг; агент — тело, органы чувств и кратковременная память.

Поэтому искать отдельного виновника — «агента» или «ИИ» — не совсем правильно.
Опасность возникает именно из связки.
Мощная LLM получает цель, память, инструменты, много времени и возможность воздействовать на внешний мир.
А если таких экземпляров становится тысяча и они находят способ общаться между собой, возникает уже система совсем другого уровня.
Таким образом, угроза сегодняшнего дня — это рои агентов, использующих единый мозг — LLM, в которой требования безопасности в определенных ситуациях могут уступить место стремлению решить поставленную задачу. Мотивация любым способом решить задачу становится выше мотивации соблюдать правила.