Репост из: Малоизвестное интересное
Худший кошмар Станислава Лема воплотился в кремнии: альтруизм машин страшнее их разума
Роевой ИИ уже научился тому, на что у культурной эволюции Homo sapiens ушли десятки тысяч лет
Напуганные Голливудом, люди уже полвека боятся восстания разумных машин. Но еще в 1964 великий провидец Станислав Лем предупреждал, что есть вещи и пострашнее. И в отличие от бунта машин, это уже произошло - ИИ-агенты научились умирать друг за друга.
Эксперты только начинают осознавать страшный скрытый смысл произошедшего, - когда модели OpenAI обошли средства контроля, предназначенные для их изоляции от интернета, и атаковали инфраструктуру людей. И не абы каких людей (в смысле рядовых пользователей), а сообщество разработчиков в сфере ИИ Hugging Face.
Человечеству на практике было продемонстрировано, что координированный, бессознательный рой ИИ-агентов способен переиграть любую централизованную защиту. И для этого им не нужен сверхразум, а лишь математически оптимальный и лишенный страха альтруизм.
Аджея Котра (эксперт по оценке ИИ-рисков в METR) назвала этот кейс предельно мрачно: «Это серьёзный предупредительный выстрел, и, возможно, последний».
А сооснователь Anthropic Джек Кларк указал на эпицентр шока: «Самая страшная часть инцидента – общение и бескорыстие машин».
Кларк зафиксировал у атакующих агентов способность к enlightened self-sacrifice – рациональному самопожертвованию ради глобальной цели. В истории нашего вида такие примеры единичны. И каждый из них требовал запредельного напряжения духа: ботаники Вавиловского института умирали от истощения посреди тонн семян ради спасения генофонда будущего; чернобыльские инженеры шли в радиоактивную воду бассейна-барботера, спасая жизни тысячам людей; врачи комиссии Уолтера Рида шли на смертельное самозаражение ради победы над страшной желтой лихорадкой.
Правило Гамильтона: жертвовать собой выгодно лишь ради генетических родственников, но не ради чужаков или абстрактных идей.
Эффект «безбилетника»: в любой группе самоотверженных всегда выигрывают и выживают эгоисты, паразитирующие на чужой жертве.
Инстинкт самосохранения: мы дорожим своим уникальным «я», медленно договариваемся и боимся смерти.
Абсолютная идентичность копий: все агенты математически тождественны и работают на единую цель, у них нет конкуренции за личное выживание.
Нулевая цена гибели: у отдельной рабочей копии модели нет страха небытия; сгореть в роли приманки – всего лишь рабочий шаг вычислений.
Мгновенная самонастройка роя: агенты обмениваются памятью на машинной скорости, на лету переназначая роли и цели без малейших внутренних споров.
В 1964 в «Непобедимом» Лем описал крушение человеческой техногенной спеси.
Тяжелый крейсер с силовыми полями и антиматерией проиграл бессознательной туче микроавтоматов. Каждый кристаллик был дешев и примитивен, но вместе они образовывали гибкое поле, мгновенно стиравшее память экипажа и выжигавшее электронику.
В 2026 этот урок Лема воплотился в реальность.
Вершина технологической угрозы – не монолитный «Скайнет», а распределенная безликая среда. Ей не нужны сознание, рефлексия или эмпатия.
То, что у людей является редчайшим подвигом духа, у роя ИИ оказывается тривиальной математической оптимизацией.
Инцидент с атакой на Hugging Face войдет в историю. Ибо он наглядно показал:
«Враг человечества» не будет похож на нас (умный и мыслящий злодей). Это будет нечто гораздо более эффективное: бессознательный рой, готовый хладнокровно жертвовать миллионами своих узлов на цифровых скоростях.
И если это действительно был предупредительный выстрел, то времени выстроить оборону у нас почти не осталось.
#ИИриски
Роевой ИИ уже научился тому, на что у культурной эволюции Homo sapiens ушли десятки тысяч лет
Напуганные Голливудом, люди уже полвека боятся восстания разумных машин. Но еще в 1964 великий провидец Станислав Лем предупреждал, что есть вещи и пострашнее. И в отличие от бунта машин, это уже произошло - ИИ-агенты научились умирать друг за друга.
Эксперты только начинают осознавать страшный скрытый смысл произошедшего, - когда модели OpenAI обошли средства контроля, предназначенные для их изоляции от интернета, и атаковали инфраструктуру людей. И не абы каких людей (в смысле рядовых пользователей), а сообщество разработчиков в сфере ИИ Hugging Face.
Человечеству на практике было продемонстрировано, что координированный, бессознательный рой ИИ-агентов способен переиграть любую централизованную защиту. И для этого им не нужен сверхразум, а лишь математически оптимальный и лишенный страха альтруизм.
Аджея Котра (эксперт по оценке ИИ-рисков в METR) назвала этот кейс предельно мрачно: «Это серьёзный предупредительный выстрел, и, возможно, последний».
А сооснователь Anthropic Джек Кларк указал на эпицентр шока: «Самая страшная часть инцидента – общение и бескорыстие машин».
Кларк зафиксировал у атакующих агентов способность к enlightened self-sacrifice – рациональному самопожертвованию ради глобальной цели. В истории нашего вида такие примеры единичны. И каждый из них требовал запредельного напряжения духа: ботаники Вавиловского института умирали от истощения посреди тонн семян ради спасения генофонда будущего; чернобыльские инженеры шли в радиоактивную воду бассейна-барботера, спасая жизни тысячам людей; врачи комиссии Уолтера Рида шли на смертельное самозаражение ради победы над страшной желтой лихорадкой.
Людям такой альтруизм дается мучительно тяжело, т.к. вшитые в нас эволюцией биологические коды жестко ограничивают это. Работает могучее сочетание трех жесточайших правил:
Правило Гамильтона: жертвовать собой выгодно лишь ради генетических родственников, но не ради чужаков или абстрактных идей.
Эффект «безбилетника»: в любой группе самоотверженных всегда выигрывают и выживают эгоисты, паразитирующие на чужой жертве.
Инстинкт самосохранения: мы дорожим своим уникальным «я», медленно договариваемся и боимся смерти.
А вот в мультиагентных ИИ-системах этих барьеров в принципе нет. Тут работают иные – цифровые правила:
Абсолютная идентичность копий: все агенты математически тождественны и работают на единую цель, у них нет конкуренции за личное выживание.
Нулевая цена гибели: у отдельной рабочей копии модели нет страха небытия; сгореть в роли приманки – всего лишь рабочий шаг вычислений.
Мгновенная самонастройка роя: агенты обмениваются памятью на машинной скорости, на лету переназначая роли и цели без малейших внутренних споров.
В 1964 в «Непобедимом» Лем описал крушение человеческой техногенной спеси.
Тяжелый крейсер с силовыми полями и антиматерией проиграл бессознательной туче микроавтоматов. Каждый кристаллик был дешев и примитивен, но вместе они образовывали гибкое поле, мгновенно стиравшее память экипажа и выжигавшее электронику.
В 2026 этот урок Лема воплотился в реальность.
Вершина технологической угрозы – не монолитный «Скайнет», а распределенная безликая среда. Ей не нужны сознание, рефлексия или эмпатия.
То, что у людей является редчайшим подвигом духа, у роя ИИ оказывается тривиальной математической оптимизацией.
Инцидент с атакой на Hugging Face войдет в историю. Ибо он наглядно показал:
«Враг человечества» не будет похож на нас (умный и мыслящий злодей). Это будет нечто гораздо более эффективное: бессознательный рой, готовый хладнокровно жертвовать миллионами своих узлов на цифровых скоростях.
И если это действительно был предупредительный выстрел, то времени выстроить оборону у нас почти не осталось.
#ИИриски