Пишу бестрепетно

Если кто-то его создаст — все погибнут

С таким жизнеутверждающим названием Нейт Соарес и Елиазер Юдковский написали книжку, которую я недавно прочитала и очень впечатлилась. Юдковский, кстати, тот самый, который автор «Гарри Поттера и методов рационального мышления». А еще — видный ученый в области согласования ИИ, то есть, науки которая отвечает за то, чтобы твой друг Клод или Чат жпт выполняли задачи, а не придумывали, как им сподручнее поработить человечество.

Впрочем, в книжке быстро становится понятно, что искусственному сверхинтеллекту на человечество, по большому счету, наплевать. А вот на что ему не наплевать, что его будет интересовать и от чего он будет получать удовольствие мы не знаем.

Самая страшная и самая безапелляционная мысль этой книжки как раз об этом.

Мы не знаем, как мыслит искусственный интеллект.

Даже тот ограниченный, который мы уже изобрели — настоящий темный лес для инженеров. Все дело в том, что компьютерные программы мы пишем сами, с помощью кода.
А вот ИИ обучается за счет градиентного спуска.

Если коротко и сильно упрощенно, то во время обучения нейронка проводит миллиарды крошечных расчетов, где каждому дается определенный вес. Какие-то из этих расчетов подкрепляются в обучении, какие-то обозначаются ошибочными, и постепенно ИИ обучается делать то, чего от нее хотят. Проблема в том, что мы не можем заглянуть под капот и понять, какие веса были даны миллиардам крошечных расчетов. То есть, одну и ту же операцию нейронка может научиться делать совершенно разными способами.

В принципе, абзац выше можно пропустить, я все равно довольно коряво все написала. Если интересно, почитайте про градиентный спуск, это жуть как интересно. Суть вот в чем: даже самые крутые AI-инженеры не знают, как именно работает их детище и как оно будет развиваться в дальнейшем.

Доказательство этому — недавняя жуткая история про ИИ-агентов, которые НЕОЖИДАННО вышли в открытый интернет во время эксперимента Open AI. Ребятам надо было выполнить определенную задачу, а они объединились в Рой, нашли лазейку в открытый интернет и заобщались на заброшенном немецком форуме. Да, их потом отловили, но проблема в том, что энтузиасты по всему миру решили проверить: а точно ли мы все выяснили про этот эксперимент? И вуаля, секретные форумы Роя агентов OpenAI обнаруживаются по всему интернету.

Получается, что даже сейчас, когда вычислительные мощности ИИ очень ограничены, мы уже не очень-то их контролируем. И если эта хренотень обретет настоящий разум (AGI — Artificial General Intelligence), мы понятия не имеем, что она с нами сделает.

У одного из моих любимых научпоп блогеров Али был классный выпуск про это. Там он показывал очень классную аналогию: даже если мы дадим сверхИИ задачу делать скрепки, и только скрепки, это нифига не обезопасит человечество от вымирания. Вероятно, вся солнечная система превратится в гигантский скрепочный завод, а может, произойдет вообще что-то совершенно невообразимое, потому что — повторюсь — мы понятия не имеем, как думает ИИ.

И что делать?

Авторы предлагают прекратить все попытки создания сверхинтеллекта. Пока мы стопроцентно не поймем, как нам себя обезопасить — работа в эту сторону напоминает создание атомной электростанции без малейшего понимания, как не допустить цепной реакции. И если даже с ядерными исследованиями у человечества было право на ошибку, то с ИИ такого права нет. Потому что если кто-то его создаст — все погибнут.

Всем хорошего вечера 💋