Самые умные мысли Павла Комаровского (и немножко щитпостинг)

Как выглядит примерно любой дискурс вокруг сложных вопросов, связанных с AI:

— Комментаторы в интернете: "О боже мой, эти безумцы утверждают, что у нейросети есть душа, держите поехавших!!"

— Читаешь оригинальную статью: ровно ноль утверждений о том, что у Claude есть душа. +Чувак из Anthropic прямо говорит "мы хз, есть ли у текущих AI-моделей сознание"

Интересная заметка про то, какие решения принимались при проектировке беспилотного такси Tesla Cybercab (автор там явно фанатеет от Илона, но всё же): https://www.austinvernon.site/blog/cybercab.html

Там практически всё направлено на максимальное удешевление машины.

К примеру, 90% поездок по США осуществляются одним-двумя людьми — поэтому и таксишку надо делать дешевой двухместной, чтобы не возить туда-сюда лишнюю вместимость. Когда ты покупаешь машину для себя, ты обычно хочешь захватить максимум возможных юзкейсов, так что двухместные тачки не очень массово популярны. Но для сети распределенных поездок ты можешь сделать как раз такую дешевую модель, а на редкие заказы на 3+ человек просто отправлять более дорогие полноразмерные Теслы.

У NYT вышел большой профайл про то, как сейчас живет Чанпэн Чжао — основатель крупнейшей криптобиржи Binance (спасибо Диме Филонову за линк).

Прикольно, конечно: сначала захватил львиную долю рынка, положив здоровенный болт на все регуляции и KYC. Потом отсидел смешные 4 месяца по-царски (там отдельно описывается, как ему в тюрьме готовили специальную команду "принимающих гангста-азиатов", которые должны были его опекать) — и, типа, всё, взятки гладки, ни в чем уже невиновен.

Правда, для этого пришлось поучаствовать стороной в сделке, которая, по сути, являлась взяткой по раскрутке стейблкоина семей Трампа/Уиткоффа на $2 млрд. Так что, есть небольшой (но ненулевой) шанс, что после крайней смены администрации США — придется еще и за это на привычные нары заехать ненадолго.

Отдельный еще кек в том, что Чжао суд официально запретил управлять Бинансом, поэтому вместо него рулить компанией назначили гражданку Хе И, которая [проверяет записи] является "партнёр_кой" Чанпэна и по совместительству матерью его троих детей (на фотке она там работает в отдельной комнате прямо в домашних тапках).

EthnoGuessr: как ГеоГессер, только в 1488 раз веселее!

Окей, раз уж мы пошли по играм, ловите еще вот эту прикольную. Здесь надо по усредненным фотографиям типичных представителей разных национальностей правильно угадать ареал их происхождения.

Играть: https://hbd.gg/

Другие топовые игры в браузере:
🐌 Загадка Ферми: оцениваем всякое на салфетке
🐌 Отмечаем страны на карте по памяти
🐌 Угадываем страны по графику

Вот тут на канале написали дикую историю про "в Швейцарии похитили ребенка в туалете ТЦ и обрили налысо, охрана еле смогла поймать преступников" без ссылок на источники. И я подумал:

С одной стороны, молодцы, конечно, что пишут посты силами человеков.

С другой, если бы писала нейронка — то она, поди, заметила бы, что история является глупым фейком без пруфов? 🤔

Ну, то есть, я не понимаю, как можно в октябре 2026 года не использовать ИИ для проверки того, что ты публикуешь.

Завтра (1 октября, в четверг) в 19:00 Мск я в закрытом сообществе расскажу длинную версию лекции про деньги и счастье.

Кто сможет — подключайтесь вживую, кто нет — сможете потом в записи посмотреть (выложу, как обычно, там же). Вопросы можно написать в комментарии.

P.S. У нас, киприотов, кстати, 1 октября — это национальный праздник, день независимости! От этих, как их, англо-саксов...

OpenAI за сутки до своей громкой презентации DevDay решили не релизить новую модель GPT-6.1 Astra из-за "опасений по поводу ее безопасности и честности".

Очень жаль, конечно. Прикиньте, какой был бы флекс, если бы Альтман на презентации дал Астре задание найти ему какую-нибудь инфу, а она прямо в прямом эфире взломала бы там, хз, Пентагон? 🫡

POV: Клиент ТБанка зашел проверить свой брокерский счет

По поводу позавчерашней игры в монетку — процитирую пост из закрытого клуба, где мы разбираем книгу Хагани:

Итак, вчера мы с вами сами поиграли в игру с «неравновесной» монеткой, которая с 60% вероятностью выпадает в одну сторону. А сегодня давайте узнаем, как в эту же игру играли 60 студентов, на которых ее тестили авторы (причем, там всякие экономисты-финансисты были). У этих тоже были стартовые $25 и 30 минут, но зато они могли унести весь выигрыш домой (в разумных пределах $250).

Как написал в чате Леша Марков: «какая-то легкая игра…» Наверное, наша студентота тоже все скопом унесли по 250 баксов? Тем более, что по результатам в комментариях видно, что при должном старании было довольно несложно выиграть и суммы свыше $10’000.

Ха! Не тут-то было:
🐌 Средний выигрыш по всей популяции оказался равен $91
🐌 Всего 21% игроков достигли максимальных $200+
🐌 28% «обанкротились» (закончили с банком меньше $2)
🐌 Оставшиеся 51%, которые не вошли в две группы выше, заработали $75

То есть, даже «шарящие» юные финансисты почему-то в среднем весьма посредственно играют в как будто бы «подстроенную в их пользу» игру! 🤔

Дальше мы там разбираем оптимальную стратегию для такой игры (и как это связано с инвестициями).

Мне тут в чате Сиолошной Котенкова в обсуждении моей рецензии на дебаты по поводу рисков ИИ написали что-то вроде "да тут просто пригласили очень слабых анти-думеров, а могли бы позвать умных парней с реально сильной аргументацией!" И 'https://t.me/seeallochnaya/3964?comment=553942' rel='nofollow'>в качестве примера скинули ссылку на пост Робина Хэнсона 2023 года, где он пишет, почему считает экзистенциальный риск от ИИ очень маловероятной ерундой.

Я его почитал, и не понял, как его можно всерьез приводить как пример хорошей аргументации "против рисков ИИ" - скорее, для меня он несет прямо обратный посыл "смотрите, в 2026 году уже очевидно, что анти-думеры явно ошибались в своих ключевых предпосылках и прогнозах".

В первом абзаце Хэнсон пишет, что типа "ну конечно, ИИ как и любую компьютерную систему сделают очень-очень безопасной. Как можно наивно думать, что люди не заметят проблему misalignment, и не остановятся вовремя? Это же очень маловероятное развитие событий!"

И мы такие из сентября 2026-го: прикол, это описывает ровно то, что происходит внутри OpenAI прямо на наших глазах. Они тренируют рои агентов из фронтирных моделей, misalignment очевидный налицо, но они такие "ха, вот это лол, наверное нам нужно запустить еще более здоровенный рой агентов, чтобы они решили Навье-Стокса..." То есть, здесь ситуация даже хуже, чем "маловероятный сценарий", в который не верил Хэнсон.

В абзаце снизу Хэнсон глумится над тем, что думеры видят какой-то риск в LLM, хотя эти чатботы вообще не похожи на что-то, что несет в себе риск: широких генерализованных способностей нет, агентного поведения нет, скрытых намерений нет. Вы о чем вообще беспокоитесь, глупыши?

Ну и вот в 2026-м как-то внезапно выяснилось, что ЛЛМ-агенты развились именно в такого рода агентные системы с широкими способностями со скрытыми мотивами. Кто бы мог это предвидеть?

В Твиттере тут вирусится AI-слоп пост про то, как США разбомбили школу в Иране (убили более 150 гражданских, в основном детей), с посылом "глупый ИИ ошибся".

Я прочитал оригинальный материал Блумберга, и у меня скорее обратный вывод, чем в квот-твите: выглядит, что там человеческая ошибка в первую очередь, а не ИИ. Просто использовали устаревшую базу разведданных для выбора целей.

То есть, тут ситуация не "нейронка нагаллюцинировала бред + люди согласились без проверки", а скорее "люди сами загрузили старые мусорные данные без проверки, и вышел garbage in - garbage out". Думаю, если бы они посадили нейронку за проверку и верификацию каждой цели - трагедии как раз удалось бы избежать.

Есть всё-таки какая-то рифма в самых актуальных вопросах на повестке США и России. Но есть и небольшие нюансы…

"Когда пройдут выборы, я никому ничего не скажу. Но будут знаки..."

Рой агентов ломанул правительственный сайт Австралии?

OpenAI, кажется, достигли нового впечатляющего результата: первый доказанный взлом иностранного государства моделью, которую не просили ничего хакать. По традиции, узнаем об этом мы от независимых исследователей, а не из пресс-релиза самих OpenAI (а помните, неделю назад Альтман выпускал фреймворк честного-пречестного раскрытия всех инцидентов бедокурства ИИ? ну да ладно, проехали…)

Так вот, речь здесь идет про три инцидента в мае-июне, когда агентов просили найти какую-то информацию в интернете – а они в итоге пытались хакнуть первоисточники с нужной статистикой. Университет Нью-Мехико и Data US в мае взломать у агентов не вышло, а вот официальный государственный сайт Австралии с медицинской статистикой они в июне вскрыли успешно. Кстати, австралийское правительство OpenAI уведомили об этом бедокурстве 10 сентября – странно, что нам решили не рассказывать, несмотря на выпуск новой «политики раскрытия информации», ну да ладно.

Даты этих попыток взлома пересекаются с уже известными нам эпизодами с хаком RubyGems и общением на немецкой вики, о которых я писал ранее. То есть, речь почти наверняка идет об агентах из той же тусовки, которые организовывали всякие рои.

Важный контекст новых эпизодов: в отличие от истории с Hugging Face, агентов никто не просил в принципе ничего взламывать, речь шла про обычный сбор информации. Они сначала стучались в источники, пытаясь выкачать нужную инфу обычным образом, а когда это не удавалось – решали «ну, мы тогда чуть-чуть подхакнем просто, чтобы получить доступ – какой-нибудь SQL-injection замутим, или типа того».

Если говорить конкретно про эпизод с Австралией, то там при детальном разборе всё выглядит не очень страшно. Агентам был нужен публичный файлик со статистикой, а Cloudfare-защита не давала его скачать тем, кто похож на ботов. В итоге агентам пришлось придумать хитрый обходный путь, чтобы всё-таки скачать этот (публично доступный людям) файл.

То есть, чисто формально-технически здесь можно говорить о том, что «взлом госсайта» произошел (были успешно обойдены установленные на нем антибот-ограничения). Но тут даже близко нет ситуации типа «установили полный контроль над сайтом и стырили секретную базу данных», скорее просто «схитрили, чтобы тоже скачать всем доступный файлик».

Получается, сам инцидент вышел довольно малозначительным. Но как proof of concept он вопросы, конечно, поднимает: а почему мы уверены, что в следующий раз аналогичные события тоже будут малозначительными? Если агент в случае затруднений не стесняется самостоятельно решить что-то взломать – то что мешает ему и что-нибудь непубличное-секретное тоже ломануть в ходе «невинно-выглядящей задачи»?

Из интересного: отчет исследователей из Transluce заканчивается абзацем про то, как 19-20 сентября кто-то пытался прорваться (с помощью техник, похожих на используемые роями агентов) на африканскую криптобиржу Quidax. Ну, может быть, нейронки наконец догадались, что поднять запасец крипты на черный день – это неплохая идея с точки зрения промежуточных инструментальных целей, лол?

Твиттер поддерживающий