Из Anthropic уволился чел, который три года делал предобучение больших моделей. И сразу после ухода выдал пару жутких инсайдов:

• Ни OpenAI, ни Anthropic не несут ответственность за действия ИИ. Они просто гонятся, кто первый слепит самосовершенствующийся сверхразум, и ставят на кон вообще всех
• Технология уже почти на подходе: скоро будут системы, которые взломают что угодно, сделают революцию в любой области за ночь и начнут собирать реальную власть
• Сами разрабы из Anthropic и OpenAI искренне верят, что это может прикончить человечество к концу десятилетия. А в публичке они все говорят, что «есть небольшие риски»
• В OpenAI многие до сих пор не догоняют масштаб. В Anthropic догоняют отлично, но считают: «если не мы, то кто-то ещё более безответственный», поэтому продолжают

Эти инсайды прокомментировал руководитель safety-исследований Anthropic Эван Хубингер:

«Да, мы реально верим, что ИИ может убить всё человечество. Лично я ставлю больше 10% на ближайшие десять лет. Плана, как согласовать сверхразум с людьми, у нас нет. И признаков, что мы к нему движемся — тоже».

Пойду скажу своему Клоду спасибо, что ли.

Пет-проект