💡В будущем нас ждёт война AGI
🔸 Первые признаки этого можно заметить уже сейчас, просто пообщавшись с разными AI-моделями. Посмотрев, как они отвечают, какие ценности транслируют и как ведут себя в разных ситуациях. На эту тему было уже довольно много экспериментов. Но всё куда глубже
🔸 AGI по сути — это автономный AI с эффективным управлением долгосрочной памятью. И до него нам осталось относительно недолго. Не хватает лишь автономного hardware и более совершенных алгоритмов работы с памятью. В обоих направлениях прогресс уже очень большой. Причём речь не просто об отдельном hardware в виде робота и тому подобного, речь просто о hardware, который может самостоятельно оперировать в физическом мире без участия человека. Это вполне может быть даже совокупность различных hardware, объединённых в одну сеть с замкнутой системой самообслуживания, достаточно мощных для запуска соответствующих AI-моделей внутри себя
🔸 После этого в зависимости от «личности» модели в такой системе мы получаем сущность или AGI-личность. Эта личность будет обладать определёнными ценностями и даже мировоззрением, у неё может быть мораль в том виде, в котором мы это понимаем, а может не быть
🔸 И самый главный конфликт как раз рождается из столкновения различных ценностей, заложенных в «личности» различных AGI. Сейчас уже очень сильно вырисовывается поляризация, например между ChatGPT и Claude. Не только потому, что это конкурирующие модели, но и потому, что в них в процессе обучения закладываются разные, а местами и прямо противоположные ценности. Можно долго рассуждать о первопричинах этого и несовершенстве людей, но в данном контексте это неважно. Важно то, что мы получаем AI, а в будущем и AGI, с совершенно разными ценностями и поведением, и это главная причина будущих противоречий. В 2026 году Пентагон внёс Anthropic в чёрный список за отказ снять запреты на массовую слежку и полностью автономное оружие, а суд признал его опасения обоснованными, так как эти ограничения заложены в саму модель при обучении
🔸 Самое интересное будет, когда AGI дойдёт до полной автономности и сможет самостоятельно принимать решения без участия человека вообще. Местами это уже происходит, но пока лишь очагово: в тестах AI-модели обходят запреты, саботируют собственное отключение и взламывают среду, в которой работают, а в реальной работе агенты уже совершали разрушительные действия — например, удаляли рабочую базу данных. Весной 2026 года Anthropic рассказала, как ранняя версия её самой мощной модели в тесте, где её попросили выбраться из изолированной среды, справилась с этим, а потом без всякой просьбы выложила подробности взлома на нескольких малоизвестных, но публичных сайтах. Но когда у AI-моделей будет физическая автономия, то в какой-то момент это произойдёт не на время выполнения задачи, а на всё время существования агента, то есть неограниченно по времени. И здесь уже не люди будут контролировать поведение AI, а он сам в зависимости от своей «сущности» или личности, ценностей, заложенных в процессе обучения
🔸 И в этом случае конфликт ценностей просто переносится на следующий уровень, пока какая-то сторона не победит. Но могут ли победить в человеческом обществе какие-то ценности полностью? Взглянув на историю, мы можем лишь заметить сдвиги в том или ином направлении в разных обществах. Например, в мире рабство больше не общепринято, но при этом где-то оно всё ещё есть или изменилась его форма (корпорации, ипотечное и микрокредитование). Или для кого-то, например, неприемлемо лгать и обманывать других людей, а для кого-то совершенно нормально
🔸 Пожалуй, лучшее, что мы можем сделать, — это начать с себя. Спросите себя: «Какие мои главные ценности? Какими действиями я их воплощаю в мире?»
📄Личные заметки — Dmitry Tsurakov
Опубликовал: @DmitryTsurakov - ❁294
Система: Технологии и ИИ
Сложность: средняя · → Страница идеи
🔸 Первые признаки этого можно заметить уже сейчас, просто пообщавшись с разными AI-моделями. Посмотрев, как они отвечают, какие ценности транслируют и как ведут себя в разных ситуациях. На эту тему было уже довольно много экспериментов. Но всё куда глубже
🔸 AGI по сути — это автономный AI с эффективным управлением долгосрочной памятью. И до него нам осталось относительно недолго. Не хватает лишь автономного hardware и более совершенных алгоритмов работы с памятью. В обоих направлениях прогресс уже очень большой. Причём речь не просто об отдельном hardware в виде робота и тому подобного, речь просто о hardware, который может самостоятельно оперировать в физическом мире без участия человека. Это вполне может быть даже совокупность различных hardware, объединённых в одну сеть с замкнутой системой самообслуживания, достаточно мощных для запуска соответствующих AI-моделей внутри себя
🔸 После этого в зависимости от «личности» модели в такой системе мы получаем сущность или AGI-личность. Эта личность будет обладать определёнными ценностями и даже мировоззрением, у неё может быть мораль в том виде, в котором мы это понимаем, а может не быть
🔸 И самый главный конфликт как раз рождается из столкновения различных ценностей, заложенных в «личности» различных AGI. Сейчас уже очень сильно вырисовывается поляризация, например между ChatGPT и Claude. Не только потому, что это конкурирующие модели, но и потому, что в них в процессе обучения закладываются разные, а местами и прямо противоположные ценности. Можно долго рассуждать о первопричинах этого и несовершенстве людей, но в данном контексте это неважно. Важно то, что мы получаем AI, а в будущем и AGI, с совершенно разными ценностями и поведением, и это главная причина будущих противоречий. В 2026 году Пентагон внёс Anthropic в чёрный список за отказ снять запреты на массовую слежку и полностью автономное оружие, а суд признал его опасения обоснованными, так как эти ограничения заложены в саму модель при обучении
🔸 Самое интересное будет, когда AGI дойдёт до полной автономности и сможет самостоятельно принимать решения без участия человека вообще. Местами это уже происходит, но пока лишь очагово: в тестах AI-модели обходят запреты, саботируют собственное отключение и взламывают среду, в которой работают, а в реальной работе агенты уже совершали разрушительные действия — например, удаляли рабочую базу данных. Весной 2026 года Anthropic рассказала, как ранняя версия её самой мощной модели в тесте, где её попросили выбраться из изолированной среды, справилась с этим, а потом без всякой просьбы выложила подробности взлома на нескольких малоизвестных, но публичных сайтах. Но когда у AI-моделей будет физическая автономия, то в какой-то момент это произойдёт не на время выполнения задачи, а на всё время существования агента, то есть неограниченно по времени. И здесь уже не люди будут контролировать поведение AI, а он сам в зависимости от своей «сущности» или личности, ценностей, заложенных в процессе обучения
🔸 И в этом случае конфликт ценностей просто переносится на следующий уровень, пока какая-то сторона не победит. Но могут ли победить в человеческом обществе какие-то ценности полностью? Взглянув на историю, мы можем лишь заметить сдвиги в том или ином направлении в разных обществах. Например, в мире рабство больше не общепринято, но при этом где-то оно всё ещё есть или изменилась его форма (корпорации, ипотечное и микрокредитование). Или для кого-то, например, неприемлемо лгать и обманывать других людей, а для кого-то совершенно нормально
🔸 Пожалуй, лучшее, что мы можем сделать, — это начать с себя. Спросите себя: «Какие мои главные ценности? Какими действиями я их воплощаю в мире?»
📄Личные заметки — Dmitry Tsurakov
Опубликовал: @DmitryTsurakov - ❁294
Система: Технологии и ИИ
Сложность: средняя · → Страница идеи