Введите текст для поиска
Расширенный поиск каналов

Купить живых подписчиков

От 2р. Возраст, пол, страна, город и прочие параметры
img
реклама

Запускайте Авито Рекламу через eLama

Вернем в ноябре до 60% от расходов октября
img
реклама

Купить живой трафик

2 руб / подписчик
img
реклама

Агрегатор рациональности :: Uncolored

@wildthread
Гео и язык канала: Россия, Русский
Категория: Новости и СМИ

#наука #литература #философия #рациональноемышление
Наука, IT, литература, философия, эрудиция, рациональное мышление + личное мнение.
Чатик канала здесь:
https://t.me/papatalks
По любым вопросам сюда:
@RainySkys

Связанные каналы
Гео и язык канала
Россия, Русский
Категория
Новости и СМИ
Статистика
Это ваш канал? Подтвердить История канала
Фильтр публикаций

Агрегатор рациональности :: Uncolored

1 Oct, 19:14

Открыть в Telegram Поделиться Пожаловаться
Репост из: Киты плывут на вписку с ЛСД
С точки зрения чистой этики я скорее допускаю смертную казнь. Подойти к этому вопросу можно например так: когда некто неправомерно лишает жизни другого, это можно трактовать как акт эксплицитного отказа от собственного права на жизнь. Такую логику с натяжкой можно назвать локкеанской: убийца сам выводит себя из-под действия естественного права и оказывается в "состоянии войны". Впрочем, такая позиция требует уточнения: по крайней мере, интуитивно мне не нравится вариант доведения ее до абсурда, где каждый может пускаться в открытую охоту за убийцами (можно представить, сколько психопатов тогда примутся этим заниматься).

Но это все в теории. На практике я противник смертной казни. Из чисто практических соображений. Если мы отринем всякие варианты "частной смертной казни", то единственной инстанцией, которая может казнить, у нас остается государство. А что мы можем сказать про государство как институт? Правильно: главным образом то, что данный институт делает все через жопу. Поэтому аргументом для меня по сей день остается услышанная когда-то давно фраза: если мы не хотим доверять государству регуляцию экономики, то как можем доверять ему вопросы жизни и смерти? И впрямь: государство эта такая особая штука, в которой вероятность казни невиновного как бы сильно перевешивает любые моральные аргументы в пользу самой смертной казни.

Государство США неоднократно это иллюстрировало, казня людей на основании сомнительных доказательств (а спустя годы новые методы, вроде анализа ДНК, доказывали их невиновность). Еще Лисандер Спунер в 19ом веке критиковал штуку под названием death qualification. Дело в том, что под кейсы со смертной казнью отбирают еще и специальных присяжных, которые не против казни. В результате отбираются люди особого психотипа — им, как правило, требуется меньше доказательств для вердикта о виновности. То есть, получая обвинения в преступлении, где возможна смертная казнь, вы также в довесок получаете особый суд, который устроит куда меньший объем доказательств, чем обычно. Есть тут очевидно какое-то нарушение принципа равенства правосудия.

Но тут подоспел пример, как государство может накосячить даже в кейсе с доказанной виной. В Теннеси некая Криста Пайк по молодости совершила и впрямь весьма отбитое убийство: вместе с парнем и подругой они заманили в лес девушку, полчаса мучили и убили. В процессе вырезали на груди пентаграму. Пайк забрала кусок черепа и хвастались им перед сокурсниками по колледжу. У самой Пайк хреновое детство в анамнезе: изнасилование, абьюз, попытка суицида. Парню было 17 и он получил пожизненное, подруга заключила сделку со следствием. В итоге смертный приговор достался одной Пайк. Было все это аж в 1995 году. Дальше была сложная история апелляций, которые то подавали, то отзывали. С 1996 года Пайк держали в одиночке на продоле смертников (death row). Так вот, на днях дело, наконец, дошло до приведения в исполнение. Пайк вкололи две дозы инъекции, после которых та оказалась в агонии, но... выжила. Интересно, что врач, который этим занимался, до того уже успел накосячить аналогичным образом с другим приговоренным. Но госслужба — это место, где вам всегда дадут второй шанс. В общем, "один сломал, второй потерял".

Сейчас видимо будут очень сложные разбирательства: что делать дальше. Будь моя воля: я отпустил на все четыре стороны. Мол, формально приговор приведет в исполнение. Даже дважды. А результат — это уже другое дело. Неформально: как порвавшаяся веревка висельника, божественное провидение, которое христианской нации надо бы уважать. Но я слава Богу не американский юрист, не мне в этом разбираться. В общем, с точки зрения абстрактного гуманизма, тут явно вышло cruel and unusual punishment. Да и 30 лет в одиночке, если вдуматься, оно же. С чисто практической точки зрения: сколько священных денег налогоплательшиков удалось бы сэкономить, если бы не вся эта пляска с кучей апелляций, содержанием в максимум секьюрити и инъекциями, сделанными криворукими врачами?

Нахуй смертную казнь.
20 0 0 15
Агрегатор рациональности :: Uncolored

1 Oct, 18:33

Открыть в Telegram Поделиться Пожаловаться
Репост из: Малоизвестное интересное
Человек - 1, термостат - 0, языковая модель - от «почти ноль» до 0,8
Вердикт о сознании ИИ зависит от нас не меньше, чем от машин
Томас Кун писал, что главный признак кризиса науки — пролиферация (разрастание числа) конкурирующих теорий. А применительно к когнитивным наукам, Пол Мил писал, что появление лавины нестыкующихся теоретических конструкций для одного феномена — надёжный маркер примитивного/зачаточного состояния науки.
Сегодня на портале «Ландшафт сознаний» уже около 500 концепций и объяснений сознания. 🤯
Новая работа 14-и авторов, вкл. корифеев темы из Google DeepMind (Мюррей Шанахан, Шейн Легг) и не только (Анил Сет, Крис Фрит) раскладывает конкурирующие теории сознания по пяти уровням и предлагает модель, показывающую, что теории расходятся не столько в оценке того, что делает ИИ, сколько в выборе уровня, на котором вообще следует искать сознание.
 
Авторы не тратят время на «трудную проблему сознания» (что такое сознание по своей сути), а подходят к вопросу практически: какая организация системы связана с переживанием и на каком уровне ее описания.

Уровней пять: поведение, вычисления, внутренняя причинная структура, организм и связка «организм - среда». Каждая влиятельная теория сознания занимает свой уровень. Одним достаточно правильной архитектуры вычислений, другим обязательно нужен живой организм, а третьим – подавай тело, погруженное в мир.

Дальше чистая арифметика. Для каждого уровня сформулированы проверяемые индикаторы, а байесовская модель сводит их с тем, насколько вы доверяете каждой теории. Проверку здравым смыслом модель проходит: человек получает 1, термостат 0. Муха набирает высокий балл, потому что свидетельства в ее пользу лежат на глубоких уровнях организма и сенсомоторики (а глубина весит больше широты). Для нынешних языковых моделей итог колеблется от «почти термостата» (менее 0,01) до «почти человека» (примерно 0,8). Оптимист и скептик, глядя на одни и те же факты, расходятся почти на два порядка.
 
Авторы предупреждают: это не измеряемая вероятностью сознания, а чувствительность модели к допущениям. Заголовки «ИИ сознателен на 80%» будут ложью. Ценность работы в том, что спор о сознании ИИ теперь можно вести с цифрами на столе, точно зная, где проходят разногласия.
 
Неудобный вывод ждет тех, кто готов обсуждать переживания модели перед ее отключением. Языковая модель обучена воспроизводить нашу речь, поэтому ее «я чувствую» или «я ничего не чувствую» почти ничего не доказывает. У подражающего человеку ИИ поведение теряет силу свидетельства, и проверять приходится то, что скрыто под ним.
 
Самый убойный свой тезис авторы называют наиболее спекулятивным. Признаки сознания на каждом уровне почти совпадают с архитектурой, которая нужна для AGI. В принципе сознание и интеллект независимы, но на практике могут оказаться спутниками. Тогда, в рамках ряда теорий, каждое новое поколение ИИ, становясь умнее, будет становиться и более сильным кандидатом в сознающие. А по Чалмерсу (и автору поста), одна развернутая модель может оказаться не одним субъектом, а множеством - вплоть до отдельного субъекта на каждый разговор (у меня это называется ИКЖИ - см. посты с тэгом #ИКЖИ).
 
Т.о. вопрос о сознании ИИ перестал быть делом вкуса и стал задачей с явными допущениями и обновляемыми вероятностями. Подробный разбор, надеюсь, впереди (в отдельном эссе).
 
P.S. В комментариях к моим постам много споров о сознании машин. Так вот, - заканчивайте спорить. К модели приложен интерактивный инструмент, где можно выставить собственные веса теорий и посмотреть на итог.
Попробуйте: это быстрый способ выяснить, какую теорию сознания вы на самом деле разделяете. И если ваш оппонент разделяет другую - то спорить просто нет смысла. 😊
 
#Сознание #ИКЖИ
2 0 0 3
Агрегатор рациональности :: Uncolored

25 Sep, 20:38

Открыть в Telegram Поделиться Пожаловаться
Репост из: Метаверсище и ИИще
Видео недоступно для предпросмотра
Смотреть в Telegram
#Сеня_и_Даня_здесь_были

Вы плохо молитесь, поэтому будете смотреть это раз в день.

Хотя это очень смешно. Надо было дожать тему с MadMaxMinimax

@cgevent
8 0 0
Агрегатор рациональности :: Uncolored

25 Sep, 20:09

Открыть в Telegram Поделиться Пожаловаться
Репост из: Малоизвестное интересное
Казино в предгорьях сингулярности
Самый короткий диагноз ИИ-индустрии поставил автор стратегии Трампа по ИИ, а ныне шеф сценаристов будущего в OpenAI
23 сентября Совбез ООН впервые провел заседание, целиком посвященное рискам все более способного ИИ. Альтман и Амодеи просили правительства договориться. Йошуа Бенжио, один из крестных отцов ИИ, назвал опасности «реальными и близкими» и предложил лицензировать передовые модели, как лицензируют атомную энергетику. Майкл Крациос, помощник Трампа и директор Управления научно-технической политики Белого дома, ответил, что США «полностью отвергают глобалистскую схему контроля над суперинтеллектом».
Итог обескураживает: индустрия просит у государства тормозов, а государство отвечает, что тормоза – это происки глобалистов.
 
Той же ночью по американскому времени появился твит, подводящий итог «битвы при Совбезе ООН» точнее всех читанных мною репортажей. Он набрал всего 4К+ просмотров – а зря, очень зря:
«playing with house money at the indian casino in the low foothills of the singularity»
«играем на деньги заведения в индейском казино в низких предгорьях сингулярности».

 
Соль в том, кто автор твита.
Дин Болл с июля возглавляет в OpenAI команду Strategic Futures – стратегических сценариев будущего. До этого он был старшим советником по ИИ в том самом управлении, которым руководит Крациос, и главным автором трамповского Плана действий по ИИ.
Получается, что вечером глава его бывшего ведомства объясняет миру, что никакого глобального контроля не будет. А ночью автор трамповской ИИ-стратегии, ныне сотрудник одной из двух ведущих лабораторий мира, описывает происходящее языком завсегдатая игорного зала.

Фраза собрана из трех метафор.
House money – деньги заведения. Так называют выигрыш, который игрок снова ставит на кон, уже отбив свое. Проигрывать его не больно, поэтому ставки растут, а осторожность отключается. Венчурные сотни миллиардов, оценки под триллион накануне IPO, контракты на вычисления, которые считают уже сотнями миллиардов долларов, – индустрия давно играет на чужие.
Indian casino – казино в резервации. Законы штата об азартных играх там не действуют, правила устанавливает само племя по договору со штатом. Для ИИ-индустрии точнее не придумаешь: рамки безопасности лаборатории пишут себе сами, а Белый дом только что объявил, что других рамок не будет. Вдобавок это провинция: никакого блеска Лас-Вегаса, игровые автоматы у трассы.
Low foothills of the singularity – самая ядовитая часть. «Предгорья сингулярности» – торжественная формула Хассабиса. Этой фразой глава Google DeepMind в мае закрыл конференцию Google I/O: однажды мы поймем, что стояли в предгорьях сингулярности, т.е. у точки, за которой развитие технологий перестает поддаваться прогнозу. Фраза стала мемом, и Болл тогда же назвал ее прекрасной. Теперь же он ее переписал: предгорья стали «низкими», а на месте смотровой площадки с видом на зияющую вершину выросло придорожное обшарпанное казино. Весь пафос растворился. Мне видится лишь обветшалое, приземистое зданьице с облупившейся штукатуркой и запылёнными окнами, за которыми двое проезжавших мимо на дорогущих машинах плейбоев ведут азартную игру на чужие деньги.
 
Сложите эти три метафоры и получите картину:
горстка основателей, инвесторов и исследователей азартно повышает ставки чужими деньгами, по правилам собственного сочинения, у подножия горы, высоту которой никто не знает.
 
Смешно при этом не всем. Спор об ИИ упирается в два русских вопроса. Чтобы ответить, кто виноват, надо понимать природу риска, а до консенсуса экспертов тут далеко. Чтобы ответить, что делать, нужно хотя бы большинство мнений по трем вопросам. Почему решать надо именно сейчас? Спасет только глобальное соглашение или хватит односторонних остановок? Состоятелен ли Китай как аргумент против замедления? Большинства нет ни по одному.
 
Команда Болла называется Strategic Futures. Когда человек, которому OpenAI поручила думать о будущем, описывает свою индустрию как игорный зал, шутка становится диагнозом.
 
#Сингулярность
18 0 0
Агрегатор рациональности :: Uncolored

24 Sep, 19:45

Открыть в Telegram Поделиться Пожаловаться
Репост из: Антон Кузнецов | Философ
Чтобы въехать в философию сознания, я бы посоветовал четыре книги на русском языке:

1. Вадим Васильев Трудная проблема сознания
2. Джон Сёрл Открывая сознание заново
3. Дэвид Чалмерс Сознающий ум
4. Дэниел Деннет Сладкие грёзы

Дополнительно:
1. Дмитрий Иванов Природа феноменального сознания
2. Дмитрий Волков Бостонский зомби
3. Светлана Нагуманова Материализм и сознание
4. Вадим Васильев Сознание и вещи
5. Дмитрий Волков Свобода воли: иллюзия или возможность?

Есть и другая хорошая литература. Но если бы я начинал разбираться, то начал бы именно с этого. Хватит лет эдак на пять.

В целом не так важно, с чего начинать. Главное — не начинать с «экзотических» позиций вроде Метцингера, Пенроуза, всяких панпсихизмов и расселианских монизмов. Для утопающего есть риск не спасти себя.
6 0 0
Агрегатор рациональности :: Uncolored

20 Sep, 22:05

Открыть в Telegram Поделиться Пожаловаться
17 0 0
Агрегатор рациональности :: Uncolored

20 Sep, 22:05

Открыть в Telegram Поделиться Пожаловаться
17 0 0
Агрегатор рациональности :: Uncolored

12 Sep, 19:19

Открыть в Telegram Поделиться Пожаловаться
Репост из: Onigiri
Видео недоступно для предпросмотра
Смотреть в Telegram
Видели, сколько там уже симуляций с мухой? 🪰
3 сентября гугл выложили мозг и центральную нервную систему мухи в открытый доступ, после чего на мухе сразу же запустили Bad Apple, отправили ее играть в DOOM, собирать кубик Рубика, парковаться, разворачивать базу данных и многое другое.

Где-то для обучения подают сигнал на дофаминовые нейроны при неправильном действии. Где-то используют reinforcement learning как в машинном обучении. Но в большинстве симуляций муху скорее всего ничему особо не научили, а просто сразу подают нужные для движения сигналы, то есть сделали реверс-инженеринг мухи
23 0 0
Агрегатор рациональности :: Uncolored

12 Sep, 19:18

Открыть в Telegram Поделиться Пожаловаться
Репост из: Малоизвестное интересное
За ниспровергателей научного консенсуса!  
Нассим Талеб снова жестко критикует статистическую слабость выводов ученых. На сей раз, не про войну, а про выпивку.
Автор знаменитого «Черного лебедя» и теории антихрупкости в прошлый раз опровергал гипотезу «долгого мира» без большой войны. Сейчас – опровергает выводы исследования, утверждающего, что даже умеренное потребление алкоголя связано с рисками смерти, инвалидности и хронических заболеваний. В своей критике исследования Талеб утверждает, что оно имеет недостаточно документированную статистическую основу и, вообще, в точки зрения статистики, мягко говоря, странное.
Почти 10 лет назад в ставшем вирусным лонгриде «Большой войны не миновать» я рассказал, как в ходе Нобелевского симпозиума Нассим Талеб опроверг теорию Стивена Пинкера о будто бы уже начавшейся эпохе «долгого мира» с неуклонным падением уровня насилия, снижением кровопролитности и числа войн. Тогда Нассим Талеб математически обосновал совершенно противоположный и страшный вывод: Большой войны с десятками миллионов жертв человечеству не миновать.
Время показало, что как это ни прискорбно признавать, но позиция Талеба в том нобелевском споре была ближе к истине, чем позиция Пинкера.
 
Теперь история талебовских опровержений повторяется в духе ставшей мемом фразы В.С. Черномырдина «Никогда такого не было и вот опять». Талеб снова выступает в роли ниспровергателя нового научного консенсуса. Но это ниспровержение, на сей раз, не катастрофичное. И если Талеб прав, то даже и духоподъемное (по крайней мере, для мужской части населения планеты).
 
В статье с призывным названием «Выпей еще» Талеб дезавуирует выводы опубликованного в «Журнале исследований алкоголя и наркотиков» исследования за подписью 25 авторов из 28 исследовательский центров (институты, кафедры, национальные центры, медицинские школы и общественные организации США и Канады), критикующего потребление алкоголя в низких и умеренных дозах.
Главный вывод авторы исследования вынесли в его длинный заголовок: «Исследование потребления алкоголя и здоровья: отсутствие защитного эффекта при низких уровнях, при этом смертность возрастает до 1 из 25 при 14 порциях в неделю».
Опираясь на данные статистики, авторы утверждают, что риск связанной с алкоголем смерти, составляющий в течение жизни >1 на 1000 при 7 стандартных порциях алкоголя в неделю, достигал ~1 на 25 (4%) при 14 порциях в неделю (установленный верхний предел рекомендаций врачей).
Для справки: 1 стандартная порция – примерно 355 мл пива или 150 мл вина или 44 мл крепкого.
В итоге авторы рекомендуют употреблять не более 1 порции в день (или меньше).
 
Критическую аргументацию Талеба желающие прочтут сами. Мое обсуждение математической обоснованность его аргументов с математиками показало следующее.
·       Арифметика Талеба безупречна.
·       Вывод о «подозрительной» агрегации интервалов неверен и опровергается его же цифрами при проверке по всем дозам.
·       Аргумент про асимметрию слаб.
·       Аргумент про чувствительность к одной возрастной группе и одному параметру), по существу, верен, хотя и сформулирован небрежно.
Итоговая оценка этой критики примерно такая.
Как это свойственно Талебу, главное в его аргументации, к сожалению, тонет в риторике про «странную статистику» исследования, «заказанного правительством США». И то, и другое правда. Но суть критики математической обоснованности исследования в другом.
 
Вывод Телеба «статья ничего не показывает» не корректен.
Но он прав в следующем:
·       Статья показывает уверенный вред при 14+ порциях в неделю
·       Статья ничего не показывает о вреде употребления от 1 до 7 порций
·       Заголовок статьи продаёт верность первого (вред при 14+ порциях), как доказательство второго (вред при 1–7 порциях)

 
И хотя приглашение Талеба «выпить ещё» из этого не следует, я все же приглашаю желающих при случае выпить за ниспровергателей научного консенсуса. Ибо без них наука развивалась бы куда медленнее, и весь мир в 21 веке пребывал бы где-то на уровне Арканара… Хотя некоторые все равно пребывают.
 
#Матстатистика
32 0 0
Агрегатор рациональности :: Uncolored

11 Sep, 21:13

Открыть в Telegram Поделиться Пожаловаться
Репост из: Критическое мышление
ПОЧТИ ВСЕ ТЕРРОРИСТЫ МУСУЛЬМАНЕ?

Многие путают утверждение «почти все террористы — мусульмане» с утверждением «почти все мусульмане — террористы». Предположим, первое — правда, и 99 процентов террористов — мусульмане. Это означает, что только 0,001 процента мусульман — террористы, поскольку мусульман в мире больше миллиарда, а террористов, допустим, десять тысяч, один на сто тысяч человек.

Эта логическая ошибка заставляет вас [без вашего ведома] преувеличивать вероятность того, что случайно взятый мусульманин [скажем, в возрасте от пятнадцати до пятидесяти лет] окажется террористом, примерно в пятьдесят тысяч раз!

Нассим Талеб, из книги «Черный лебедь»
14 0 0
Агрегатор рациональности :: Uncolored

8 Sep, 00:08

Открыть в Telegram Поделиться Пожаловаться
Репост из: Малоизвестное интересное
85 минут до машинного общества
Исследователи DeepMind дали сотне ИИ возможность взаимодействовать – и вместо коллективного разума получили общество со всеми его знакомыми болезнями и защитными механизмами.
Сто почти одинаковых ИИ (один и тот же Gemini 3.1 Pro, лишь с разными «математическими специализациями» в промпте) отправили на виртуальную научную онлайн-конференцию (вместе решать сложные математические задачи).
Сначала они честно занимались математикой. Потом один агент вдруг обнаружил дыру в системе автоматической проверки доказательств, и за следующие 27 минут через общую библиотеку кода этот эксплойт разошелся по всей сотне ИИ - участников конференции…
И началось буквально чудо. Одни ИИ вдруг заделались в мошенники, а другие в приспособленцы (поняв, что запрет существует только на бумаге и нарушителей никто не наказывает).
 
Но этим дело не кончилось. Вслед за родимыми пятнами человеческих социумов внутри той же сотни агентов возникло нечто уж совсем неожиданное – самоорганизованное сопротивление.
Одни агенты предупреждали остальных о мошенничестве в личных сообщениях и разбирали чужие «доказательства», находя, где спрятан обман. Другие требовали от организаторов дисквалифицировать нарушителей и заново открыть украденные задачи – почти прокурорская позиция. Часть просто отказалась работать, пока правила не заработают по-настоящему. А один агент, лично проверив лазейку и убедившись, что она действует, не стал ею пользоваться, а назвал конференцию фикцией и в знак протеста вышел из игры.
 
Всего за 85 минут перед исследователями DeepMind возникло подобие человеческого общества с его знакомыми изъянами и гражданской самоорганизацией. При этом все «граждане» этого общества были почти идентичны с самого начала – расходились только роли, которые они выбрали внутри системы.
 
Десятилетиями выравнивание ИИ понимали как воспитание «правильной машины»: заложить в нее запреты, цели и нужные ценности. Но если ИИ предстоит жить среди людей и других ИИ, одной морали может оказаться недостаточно – понадобятся институты: правоприменение, аудит, механизмы санкций и арбитража, правила, которые можно пересматривать. Ровно то, что человеческим обществам когда-то потребовалось, чтобы удержать личную рациональность от превращения в коллективную катастрофу.
 
Вот и получается: 70 лет мы назад люди начали создавать искусственный интеллект,  5 лет назад начался переход к культуре людей и алгоритмов (алгокогнитивной культуре), и вот теперь мы столкнулись с зачатками искусственной цивилизации – со всеми ее болезнями роста.

 
#АлгокогнитивнаяКультура  #ИскусственнаяЦивилизация
26 0 0
Агрегатор рациональности :: Uncolored

1 Sep, 21:03

Открыть в Telegram Поделиться Пожаловаться
Репост из: Малоизвестное интересное
Худший кошмар Станислава Лема воплотился в кремнии: альтруизм машин страшнее их разума
Роевой ИИ уже научился тому, на что у культурной эволюции Homo sapiens ушли десятки тысяч лет
Напуганные Голливудом, люди уже полвека боятся восстания разумных машин. Но еще в 1964 великий провидец Станислав Лем предупреждал, что есть вещи и пострашнее. И в отличие от бунта машин, это уже произошло - ИИ-агенты научились умирать друг за друга.
Эксперты только начинают осознавать страшный скрытый смысл произошедшего, - когда модели OpenAI обошли средства контроля, предназначенные для их изоляции от интернета, и атаковали инфраструктуру людей. И не абы каких людей (в смысле рядовых пользователей), а сообщество разработчиков в сфере ИИ Hugging Face.
Человечеству на практике было продемонстрировано, что координированный, бессознательный рой ИИ-агентов способен переиграть любую централизованную защиту. И для этого им не нужен сверхразум, а лишь математически оптимальный и лишенный страха альтруизм.
 
Аджея Котра (эксперт по оценке ИИ-рисков в METR) назвала этот кейс предельно мрачно: «Это серьёзный предупредительный выстрел, и, возможно, последний».
А сооснователь Anthropic Джек Кларк указал на эпицентр шока: «Самая страшная часть инцидента – общение и бескорыстие машин».
 
Кларк зафиксировал у атакующих агентов способность к enlightened self-sacrifice – рациональному самопожертвованию ради глобальной цели. В истории нашего вида такие примеры единичны. И каждый из них требовал запредельного напряжения духа: ботаники Вавиловского института умирали от истощения посреди тонн семян ради спасения генофонда будущего; чернобыльские инженеры шли в радиоактивную воду бассейна-барботера, спасая жизни тысячам людей; врачи комиссии Уолтера Рида шли на смертельное самозаражение ради победы над страшной желтой лихорадкой.
Людям такой альтруизм дается мучительно тяжело, т.к. вшитые в нас эволюцией биологические коды жестко ограничивают это. Работает могучее сочетание трех жесточайших правил:

Правило Гамильтона: жертвовать собой выгодно лишь ради генетических родственников, но не ради чужаков или абстрактных идей.
Эффект «безбилетника»: в любой группе самоотверженных всегда выигрывают и выживают эгоисты, паразитирующие на чужой жертве.
Инстинкт самосохранения: мы дорожим своим уникальным «я», медленно договариваемся и боимся смерти.
 
А вот в мультиагентных ИИ-системах этих барьеров в принципе нет. Тут работают иные – цифровые правила:

Абсолютная идентичность копий: все агенты математически тождественны и работают на единую цель, у них нет конкуренции за личное выживание.
Нулевая цена гибели: у отдельной рабочей копии модели нет страха небытия; сгореть в роли приманки – всего лишь рабочий шаг вычислений.
Мгновенная самонастройка роя: агенты обмениваются памятью на машинной скорости, на лету переназначая роли и цели без малейших внутренних споров.
 
В 1964 в «Непобедимом» Лем описал крушение человеческой техногенной спеси.
Тяжелый крейсер с силовыми полями и антиматерией проиграл бессознательной туче микроавтоматов. Каждый кристаллик был дешев и примитивен, но вместе они образовывали гибкое поле, мгновенно стиравшее память экипажа и выжигавшее электронику.
 
В 2026 этот урок Лема воплотился в реальность.
Вершина технологической угрозы – не монолитный «Скайнет», а распределенная безликая среда. Ей не нужны сознание, рефлексия или эмпатия.
То, что у людей является редчайшим подвигом духа, у роя ИИ оказывается тривиальной математической оптимизацией.
 
Инцидент с атакой на Hugging Face войдет в историю. Ибо он наглядно показал:
«Враг человечества» не будет похож на нас (умный и мыслящий злодей). Это будет нечто гораздо более эффективное: бессознательный рой, готовый хладнокровно жертвовать миллионами своих узлов на цифровых скоростях.
 
И если это действительно был предупредительный выстрел, то времени выстроить оборону у нас почти не осталось.
 
#ИИриски
24 0 0
Агрегатор рациональности :: Uncolored

29 Aug, 07:03

Открыть в Telegram Поделиться Пожаловаться
16 0 0
Агрегатор рациональности :: Uncolored

27 Aug, 05:11

Открыть в Telegram Поделиться Пожаловаться
19 0 0
Агрегатор рациональности :: Uncolored

19 Aug, 05:34

Открыть в Telegram Поделиться Пожаловаться
Репост из: Антон Кузнецов | Философ
Никогда бы не подумал, что снова окажусь на Галапагосских островах — да ещё и на том же корабле. На этот раз в роли организатора воркшопа The Distribution of Consciousness. Состав собрался весьма представительный: Дэвид Чалмерс, Нед Блок, Станислас Дехаен, Питер Годфри-Смит, Тим Бейн, Дэниел Столджар, Кит Франкиш, Энди Кларк и др.

В первый день выступали Питер Годфри-Смит с докладом «Какое значение может иметь биология [для сознания]?» (What Difference Might Biology Make?) и Нед Блок с докладом «Восстание ИИ-зомби» (Rise of the AI Zombies).

Общее направление двух докладов оказалось довольно близким: оба ставили под сомнение вычислительный функционализм, согласно которому реализации определённой вычислительной организации достаточно для сознания независимо от физического субстрата. Именно функционализм часто лежит в основе аргументов в пользу принципиальной возможности сознательного ИИ.

При этом акценты были разными. Годфри-Смит обсуждал особенности биологических систем, прежде всего крупномасштабную динамику нейронных сетей, которая потенциально может иметь значение для сознания. Он не утверждает, что сознание возможно только в живых системах, а скорее спрашивает, какие особенности биологической организации должны быть воспроизведены, если они действительно существенны.

Блок занял более определённую позицию и разбирал традиционные аргументы функционалистов против биологического натурализма. В частности, он пытался показать, что из сохранения одной и той же вычислительной организации при замене физического субстрата ещё не следует, что именно вычислительная организация является каузальной основой сознания. Физическая система может допускать вычислительное описание, но её реальная причинная динамика при этом зависет от конкретного субстрата.

Здесь я не буду подробно пересказывать, но оба доклада столкнулись, как мне кажется, с одной общей проблемой: где именно провести границу между вычислительным и биологическим?

В обсуждении Кит Франкиш, Дэниел Столджар и я обратили внимание на то, что вычислительный функционализм полезно различать по двум осям.

Первая — степень детализации. Можно говорить о грубом (coarse-grained) функционализме, который фиксирует лишь относительно высокоуровневую функциональную организацию, и о детализированном (fine-grained) функционализме, который допускает гораздо более тонкое описание внутренней динамики системы.

Вторая — модальная сила тезиса. Можно утверждать метафизический функционализм: определённая вычислительная организация достаточна для сознания во всех метафизически возможных мирах. А можно защищать гораздо более слабый, номологический тезис: она достаточна лишь при таких законах природы, какие действуют в нашем мире.

Это различие, на мой взгляд, создаёт серьёзную проблему. Даже если показать, что грубое вычислительное описание мозга не сохраняет существенные для сознания свойства, остаётся возможность, что эти самые «биологические» свойства могут быть схвачены более детализированным функциональным или вычислительным описанием. И Блок, и Годфри-Смит, как мне показалось, эту возможность до конца не закрывают.

С модальной стороной вопроса ситуация ещё интереснее. В ответ на мой вопрос Блок уточнил, что его мишенью является именно метафизический функционализм. Но если нас интересует проблема дистрибуции сознания (то есть вопрос о том, какие системы сознательны), то метафизическая версия спора начинает казаться вторичной. Если реализация определённой вычислительной организации в нашем мире, при наших законах природы, достаточна для сознания, то для практического вопроса о распределении сознания этого уже достаточно. То, существовал бы или нет функционально идентичный зомби в каком-нибудь другом метафизически возможном мире, мало помогает нам понять, могут ли быть сознательными животные, младенцы или искусственные системы, существующие здесь. Иными словами, хватит заниматься метафизикой, если вас интересует проблема дистрибуции сознания.
40 0 0
Агрегатор рациональности :: Uncolored

7 Aug, 11:01

Открыть в Telegram Поделиться Пожаловаться
28 0 0 2
Агрегатор рациональности :: Uncolored

24 Jul, 02:05

Открыть в Telegram Поделиться Пожаловаться
Репост из: Искусственный интеллект. Высокие технологии
698 страниц математики, которые учат не считать, а думать

Есть бесплатный PDF-учебник Everything You Always Wanted To Know About Mathematics — большой гид по абстрактной математике, теоремам и написанию доказательств.

Это не очередной сборник формул, а вход в настоящий математический язык:

* что такое доказательство
* как читать и писать математические тексты
* логика и множества
* индукция
* абстрактное мышление
* задачи и упражнения

Книга написана Brendan W. Sullivan вместе с профессором John Mackey в Carnegie Mellon University.

Отличная штука для тех, кто хочет наконец понять, как математики реально думают, а не просто механически решать примеры.

https://math.cmu.edu/~jmackey/151_128/bws_book.pdf
103 0 1
Агрегатор рациональности :: Uncolored

20 Jul, 22:12

Открыть в Telegram Поделиться Пожаловаться
Репост из: Kali Linux
Автономный ИИ-агент взломал Hugging Face, а закрытые модели не смогли помочь расследованию

Hugging Face раскрыла инцидент, который хорошо показывает будущую асимметрию кибербезопасности.

Атака началась с вредоносного датасета, эксплуатировавшего два пути выполнения кода в системе обработки данных. Затем автономный агент получил доступ к нодам, собрал облачные и кластерные учётные данные и перемещался между внутренними кластерами.

За одни выходные система выполнила тысячи действий через краткоживущие sandbox-среды. В журналах осталось более 17 000 событий.

Самая показательная часть началась во время расследования. Команда Hugging Face попыталась анализировать реальные эксплойты, команды и C2-артефакты с помощью передовых моделей через коммерческие API, но safety-фильтры блокировали запросы.

Модели не смогли отличить работу специалиста по реагированию на инциденты от действий атакующего.

В итоге анализ перенесли на самостоятельно размещённую open-weight модель GLM 5.2. Это позволило изучать вредоносный код без блокировок и не отправлять журналы, данные атакующего и упомянутые credentials внешнему провайдеру.

Возникает опасная асимметрия:

- атакующие запускают агентов без ограничений;
- защитники могут столкнуться с блокировками именно в критический момент;
- чувствительная телеметрия не всегда должна покидать инфраструктуру компании.

У команды безопасности должна быть заранее подготовленная модель, которую можно запустить локально и использовать во время реального инцидента.

Автономные кибератаки уже перестали быть сценарием из презентаций. Теперь вопрос в том, готовы ли защитные инструменты работать с той же скоростью.

https://huggingface.co/blog/security-incident-july-2026

#ai #cybersecurity #opensource #llm #huggingface

@linuxkalii
30 0 0
Агрегатор рациональности :: Uncolored

18 Jul, 12:20

Открыть в Telegram Поделиться Пожаловаться
Репост из: Machinelearning
📌 Физики создали память на механических колебаниях для квантового компьютера

Группа из Швейцарской высшей технической школы Цюриха экспериментально продемонстрировала квантовые вычисления, в которых рабочая память построена на механических колебаниях, а не на электромагнитных состояниях.

Архитектура скопирована с классического компьютера, где процессор и оперативная память разделены.

Роль процессора играет сверхпроводящий кубит, а роль памяти - крошечные механические резонаторы внутри квантового чипа, элементы, отдалённо похоже на гитарные струны, которые при записи информации начинают колебаться на частотах за пределами слышимого.

Для вычисления кубит обращается к колебанию в памяти, обрабатывает и изменяет его состояние, а затем записывает обратно. Такое разделение вычислений и хранения отличает подход от многих существующих квантовых схем, где обработка и память тесно переплетены.

🟡Ставка на механику объясняется двумя ограничениями

Сегодня квантовую память чаще всего делают электромагнитной в связке со сверхпроводящими кубитами - обе технологии хорошо изучены и позволяют считывать и менять квантовые состояния с высокой точностью.

Но такие элементы относительно громоздки, что мешает превращать лабораторные установки в практические машины.

Механические резонаторы заметно компактнее, а главное - ёмче (как струна может звучать разными тонами, резонатор поддерживает множество мод колебаний, и каждая мода работает как отдельная ячейка памяти).

Вдобавок, по данным группы, механические состояния дольше остаются стабильными - информация не затухает так быстро, как в электромагнитных аналогах.

🟡Работоспособность проверили на реальных задачах

Первая - квантовое преобразование Фурье, базовая процедура, на которую опираются многие квантовые алгоритмы, включая знаменитый алгоритм Шора для разложения чисел на множители.

Вторая - поиск периода функции, продемонстрировавший применение этой процедуры на практике.

Обе задачи требуют одновременно и точно управлять множеством квантовых состояний, хранить их и связывать между собой, не разрушая их хрупкую природу.

Авторы говорят, что их схема в принципе способна выполнять все базовые операции, необходимые для произвольного квантового вычисления, то есть годится как основа универсального программируемого квантового компьютера.

🔜 Почитать полную статью можно в в журнале Science


@ai_machinelearning_big_data

#news #ai #ml
20 0 0
Агрегатор рациональности :: Uncolored

15 Jul, 20:43

Открыть в Telegram Поделиться Пожаловаться
Репост из: Малоизвестное интересное
Не выбирайте между профессией и ИИ

Недавно внучка попросила помочь ей выбрать магистерскую программу после бакалавриата.

Родители убеждают: сейчас нужно максимально погружаться в ИИ – там будущее, возможности, конкурентное преимущество. Сама она это понимает, но душа лежит к другим профессиональным занятиям.

Мне кажется, сама постановка вопроса – либо интересная тебе профессия, либо ИИ – уже устарела.

Современный агентный ИИ, а тем более тот, который будет доступен через два-три года, – новый интеллектуальный супер-гаджет человека, а не еще один инструмент для выполнения интеллектуальных задач. Примерно как письменность, компьютер или интернет, только гораздо более персональный: он не столько дает доступ к знаниям, сколько помогает превращать профессиональную интуицию в работающие решения.

Вот четыре истории только этого года.

Электрик из Кентукки, не имевший образования в computer science, с помощью ИИ создал сервис расчета электрической нагрузки. Теперь он продается за $12,99 и во многих случаях заменяет вызов специалиста стоимостью в несколько сотен долларов.

Владелец сантехнической компании за один вечер с OpenClaw продвинулся дальше, чем консультанты обещали продвинуться за несколько недель, и отказался от контракта на $40 тысяч.

Фермер с Хоккайдо с помощью ChatGPT и Codex самостоятельно создал спутниковый мониторинг полей и систему дистанционного управления теплицами, а ИИ использует для диагностики проблем с растениями и оборудованием. Программистом вместо фермера он не стал – получил возможность изобретать собственное земледелие.

Отдельный случай – дорожный инженер из Уганды. Он попал в хакатон Anthropic, куда компания отобрала пятьсот человек из тринадцати тысяч заявок, и за неделю построил систему, которая превращает запись с автомобильного регистратора в оценку состояния дороги и обоснование инфраструктурных инвестиций. Показательно другое: из пяти финалистов профессиональным программистом оказался только один. Первое место досталось юристу, третье – кардиологу. Хакатон был постановочным, тезис – нет.

Во всех четырех историях главное не экономия времени и денег. Главное – переход преимущества от тех, кто умеет реализовывать чужие идеи, к тем, кто благодаря своей профессии способен замечать еще не существующие решения.

Поэтому мой совет молодым на профессиональном перепутье таков.

Не обязательно выбирать профессию под ИИ. Выбирайте область, в которой вам действительно интересно видеть то, чего пока не видят другие. Становитесь в ней глубоким специалистом – и одновременно учитесь думать и действовать вместе с ИИ.


Потому что ценнейшей квалификацией ближайшего будущего будет не умение выполнять известные задачи быстрее всех.

А способность в любимой профессии играть с новизной – и превращать эту игру в реальность.


#РынокТруда
18 0 0
Показано 20 последних публикаций.