Разработчик Anthropic ушёл из компании из-за опасений по поводу развития нейросетей и написал большой тред о рисках. По его словам, компании спешат первыми создать сверхразум, хотя до сих пор не знают, как его контролировать.

Последние три года он занимался обучением моделей в OpenAI и Anthropic и утверждает, что люди внутри индустрии всерьёз допускают сценарий гибели человечества.

На его слова ответил глава направления безопасности Anthropic. Он оценивает вероятность того, что нейросети уничтожат человечество в ближайшие десять лет, более чем в 10%. При этом признаёт, что готового плана по контролю суперинтеллекта у компании пока нет.

С нейросетями теперь лучше повежливее, мало ли.