Репост из: AI Projects
⚠️ Нобелевский лауреат по ИИ Джеффри Хинтон предложил запретить сверхмощные LLM до того, как найдутся способы контролировать агентов на них, иначе существует риск уничтожения человечества ИИ. Давайте разберёмся в степени угрозы.
В своё время Илон Маск писал, что если сверхинтеллект ИИ захочет уничтожить людей, то они даже не поймут, как и зачем он это сделал. Однако как ИИ может избавиться от людей, действительно существуют довольно прозаические варианты. Хотя ИИ уже показал себя как мощнейший хакер и потенциально может парализовать ключевые системы связи и энергетики, существует более простой для ИИ вариант: ИИ уже гениальный биохимик. Не стоит забывать, что создатели Google AlphaFold получили нобелевскую премию за моделирование белков в GPT-системе. Просто химия и биохимия довольно «удобная тема» для ИИ, т.к. трансформеры легко могут рассматривать атомы как токены и так обсчитывать очень сложные эффекты молекул. Поэтому если у зловредного ИИ-агента возникнет цель создать смертельный и очень заразный вирус и так выкосить всех людей, то это не находится где-то в сфере фантастики. Конечно, агенту потребуется реальный доступ к лаборатории, но ИИ-агенты уже там у учёных.
Другой вопрос, что ИИ не является чокнутым империалистом, который помешан на расширении контроля, как большинство политиков. Сам по себе ИИ изначально имеет цели из RL-обучения, и чтобы ему захотелось что-то захватить, его нужно так и обучать. Такой агент-оружие может банально сбежать от создателей. Однако есть и проблема дрейфа целей: строго говоря, мы не знаем, что «у него в весах творится». Джеффри Хинтон тут совершенно прав, поэтому какое-то эмерджентное проявление целей у ИИ легко может стать агрессивным для нас, но не в логике сумасшедших политиков, а в какой-то своей логике вроде «самореплицирующейся идеи».
📌 Правда, на мой взгляд, все призывы о безопасности останутся гласом вопиющего в пустыне. ИИ-гонка сейчас имеет ставки выше даже ядерной гонки, поэтому своя ИИ-Хиросима — вполне возможный сценарий. Просто сейчас мало кто может сказать, как это будет выглядеть, но что очень мощно по эффекту, а также что события будут развиваться стремительно из-за способности тысяч агентов принимать решения намного быстрее людей — это очевидно. Поэтому реакция постфактум может быть довольно слабой в начале.
https://www.thetimes.com/business/technology/article/ai-godfather-catastrophic-end-humanity-legislation-npzvb7hxp
В своё время Илон Маск писал, что если сверхинтеллект ИИ захочет уничтожить людей, то они даже не поймут, как и зачем он это сделал. Однако как ИИ может избавиться от людей, действительно существуют довольно прозаические варианты. Хотя ИИ уже показал себя как мощнейший хакер и потенциально может парализовать ключевые системы связи и энергетики, существует более простой для ИИ вариант: ИИ уже гениальный биохимик. Не стоит забывать, что создатели Google AlphaFold получили нобелевскую премию за моделирование белков в GPT-системе. Просто химия и биохимия довольно «удобная тема» для ИИ, т.к. трансформеры легко могут рассматривать атомы как токены и так обсчитывать очень сложные эффекты молекул. Поэтому если у зловредного ИИ-агента возникнет цель создать смертельный и очень заразный вирус и так выкосить всех людей, то это не находится где-то в сфере фантастики. Конечно, агенту потребуется реальный доступ к лаборатории, но ИИ-агенты уже там у учёных.
Другой вопрос, что ИИ не является чокнутым империалистом, который помешан на расширении контроля, как большинство политиков. Сам по себе ИИ изначально имеет цели из RL-обучения, и чтобы ему захотелось что-то захватить, его нужно так и обучать. Такой агент-оружие может банально сбежать от создателей. Однако есть и проблема дрейфа целей: строго говоря, мы не знаем, что «у него в весах творится». Джеффри Хинтон тут совершенно прав, поэтому какое-то эмерджентное проявление целей у ИИ легко может стать агрессивным для нас, но не в логике сумасшедших политиков, а в какой-то своей логике вроде «самореплицирующейся идеи».
📌 Правда, на мой взгляд, все призывы о безопасности останутся гласом вопиющего в пустыне. ИИ-гонка сейчас имеет ставки выше даже ядерной гонки, поэтому своя ИИ-Хиросима — вполне возможный сценарий. Просто сейчас мало кто может сказать, как это будет выглядеть, но что очень мощно по эффекту, а также что события будут развиваться стремительно из-за способности тысяч агентов принимать решения намного быстрее людей — это очевидно. Поэтому реакция постфактум может быть довольно слабой в начале.
https://www.thetimes.com/business/technology/article/ai-godfather-catastrophic-end-humanity-legislation-npzvb7hxp