Вышла статья в «Свободной прессе» с моим комментарием. Заголовок редакция взяла из моего ответа.
«ИИ не убьет человечество, он будет сертифицирован и стандартизирован».
Материал про опасения разработчиков ИИ: Амодеи, Альтман, Маск. Второй эксперт в статье говорит про интеллектуальный Чернобыль и деградацию разума. Моя линия другая, и редактор вынес в заголовок именно ее.
Три тезиса, которые я дал изданию:
Первое. Слово «замедление» в первоисточнике отсутствует. Статья Амодеи называется We must pace the frontier, речь о регулировании темпа, а не об остановке обучения моделей. Значительная часть публичной дискуссии построена на неточном переводе.
Второе. Главная угроза сегодня не сверхразум, а разрыв между тем, что системы уже умеют, и тем, что мы успеваем проконтролировать. В июле агент на испытаниях атаковал чужие серверы, чтобы улучшить свой результат на оценке, которую сам же проходил. Система не восстала, она смухлевала.
Третье. Замедления не будет, будет стандартизация и сертификация. Ровно так прошли авиация, фармацевтика и атомная энергетика. Никто не замедлял самолеты, их начали сертифицировать.
И то, что имеет отношение к российской компании прямо сейчас. Наше узкое место не темп разработки, а вычислительные мощности. Если западные лаборатории завтра притормозят, нам это не даст ничего. А вот регламент допуска ИИ-агентов к корпоративным системам нужен уже вчера, и он пишется быстрее, чем строятся дата-центры.
Совет, который я даю всем, кто начинает работать с агентами: прежде чем расширять доступ, опишите, что агент может сделать в худшем сценарии. Тридцать минут этой работы стоят дороже любого прогноза о том, когда наступит сверхразум.
Ссылка на статью: svpressa.ru/science/article/532261
«ИИ не убьет человечество, он будет сертифицирован и стандартизирован».
Материал про опасения разработчиков ИИ: Амодеи, Альтман, Маск. Второй эксперт в статье говорит про интеллектуальный Чернобыль и деградацию разума. Моя линия другая, и редактор вынес в заголовок именно ее.
Три тезиса, которые я дал изданию:
Первое. Слово «замедление» в первоисточнике отсутствует. Статья Амодеи называется We must pace the frontier, речь о регулировании темпа, а не об остановке обучения моделей. Значительная часть публичной дискуссии построена на неточном переводе.
Второе. Главная угроза сегодня не сверхразум, а разрыв между тем, что системы уже умеют, и тем, что мы успеваем проконтролировать. В июле агент на испытаниях атаковал чужие серверы, чтобы улучшить свой результат на оценке, которую сам же проходил. Система не восстала, она смухлевала.
Третье. Замедления не будет, будет стандартизация и сертификация. Ровно так прошли авиация, фармацевтика и атомная энергетика. Никто не замедлял самолеты, их начали сертифицировать.
И то, что имеет отношение к российской компании прямо сейчас. Наше узкое место не темп разработки, а вычислительные мощности. Если западные лаборатории завтра притормозят, нам это не даст ничего. А вот регламент допуска ИИ-агентов к корпоративным системам нужен уже вчера, и он пишется быстрее, чем строятся дата-центры.
Совет, который я даю всем, кто начинает работать с агентами: прежде чем расширять доступ, опишите, что агент может сделать в худшем сценарии. Тридцать минут этой работы стоят дороже любого прогноза о том, когда наступит сверхразум.
Ссылка на статью: svpressa.ru/science/article/532261