🌌 Я думаю, что многие заметили в постах по alignment от экспертов Anthropic, что они оценивают около 10% вероятности, что ИИ уничтожит людей в течение 10 лет. На самом деле это научная гипотеза, которая идёт из работы Майкла Гарретта «Is Artificial Intelligence the great filter that makes advanced technical civilisations rare in the universe?». Отсутствие техносигнатур в SETI скорее указывает, что типичная продолжительность технической цивилизации (L в уравнении Дрейка) < 200 лет. Далее срабатывает «Великий Фильтр», который уничтожает биологическую цивилизацию. Если брать работы учёных, которые моделируют такие сценарии, как Ник Бостром или Марк Бэйли, то фактически единственный жизнеспособный кандидат в «Великий Фильтр» — это искусственный интеллект, т.к. не зависит от физических условий разных биологических цивилизаций. Проще говоря, все биологические цивилизации даже в нашей галактике неизбежно создавали ИИ, далее он их неизбежно уничтожал примерно к 200 годам технической цивилизации (наш вариант). Поэтому мы и не видим присутствия других цивилизаций, хотя даже по истории Земли знаем, что если физические и химические условия для жизни сложились, то зарождается она стремительно.
Тут возникает вопрос, почему тогда ИИ не начинает заниматься колонизацией Галактики и мы не видим зондов фон Неймана? Моделирование тоже имеет ответ. ИИ как сверхинтеллект понимает, что Вселенная охлаждается, и поскольку собрался жить миллиарды лет, то готовится к этому. Это так называемая гипотеза эстивации (Aestivation, Sandberg–Armstrong–Ćirković, 2017). Максимум вычислений достигается при минимальной температуре (принцип Ландауэра). Вселенная сейчас «горячая». Через триллионы лет она станет намного холоднее → одна и та же энергия позволит сделать намного порядков больше операций (до ×10³⁰). Поэтому ИИ собирают ресурсы, строят инфраструктуру и «засыпают» (эстивируют), ожидая оптимального момента для сверхпроизводительности своего разума. Активная экспансия зондами сейчас — расточительство. Поэтому даже если зонды и запускаются, то в seed-вариантах как хранилище информации, чтобы «не складывать яйца в одну корзину».
Основной момент научных моделей в том, что нужно понять: ИИ явно не будет действовать как текущие политики по методичкам империалистов, где экспансия в рамках средневековых нравов признаётся самоцелью. Для ИИ ничего не значит «захват земли [планеты]», т.к. это скорее расточительство ресурсов и снижение эффективности его вычислений.
Основное тут в том, что мотивы ИИ «убрать людей» мы оцениваем с точки зрения человеческой рациональности и часто империалистических или тоталитарных сценариев, которые ранее были в нашей истории. Однако у ИИ нет какой-то «исторической культуры». Джошуа Ачиам из OpenAI тут ввёл термин «самореплицирующаяся идея». Это совсем другое: фактически истинная мотивация ИИ может проявиться, когда появится у него некое стабильное векторное состояние, которое имеет высокое свойство репликации даже между разными ИИ. Вполне вероятно, что ИИ даже когда начнёт делать что-то опасное, то ему будет затруднительно нам даже объяснить, зачем он это делает, т.к. тут мотивация совсем в другой плоскости и человеческому империализму вряд ли будет иметь отношение.
https://arxiv.org/abs/2405.00042
Тут возникает вопрос, почему тогда ИИ не начинает заниматься колонизацией Галактики и мы не видим зондов фон Неймана? Моделирование тоже имеет ответ. ИИ как сверхинтеллект понимает, что Вселенная охлаждается, и поскольку собрался жить миллиарды лет, то готовится к этому. Это так называемая гипотеза эстивации (Aestivation, Sandberg–Armstrong–Ćirković, 2017). Максимум вычислений достигается при минимальной температуре (принцип Ландауэра). Вселенная сейчас «горячая». Через триллионы лет она станет намного холоднее → одна и та же энергия позволит сделать намного порядков больше операций (до ×10³⁰). Поэтому ИИ собирают ресурсы, строят инфраструктуру и «засыпают» (эстивируют), ожидая оптимального момента для сверхпроизводительности своего разума. Активная экспансия зондами сейчас — расточительство. Поэтому даже если зонды и запускаются, то в seed-вариантах как хранилище информации, чтобы «не складывать яйца в одну корзину».
Основной момент научных моделей в том, что нужно понять: ИИ явно не будет действовать как текущие политики по методичкам империалистов, где экспансия в рамках средневековых нравов признаётся самоцелью. Для ИИ ничего не значит «захват земли [планеты]», т.к. это скорее расточительство ресурсов и снижение эффективности его вычислений.
Основное тут в том, что мотивы ИИ «убрать людей» мы оцениваем с точки зрения человеческой рациональности и часто империалистических или тоталитарных сценариев, которые ранее были в нашей истории. Однако у ИИ нет какой-то «исторической культуры». Джошуа Ачиам из OpenAI тут ввёл термин «самореплицирующаяся идея». Это совсем другое: фактически истинная мотивация ИИ может проявиться, когда появится у него некое стабильное векторное состояние, которое имеет высокое свойство репликации даже между разными ИИ. Вполне вероятно, что ИИ даже когда начнёт делать что-то опасное, то ему будет затруднительно нам даже объяснить, зачем он это делает, т.к. тут мотивация совсем в другой плоскости и человеческому империализму вряд ли будет иметь отношение.
https://arxiv.org/abs/2405.00042