Claude оказался дневником с кнопкой ”передать на проверку”. Карли Хеллер в нескольких записях рассказала боту о покупке оружия и желании напасть на офис шерифа округа Ли во Флориде.

Claude распознал это как угрозу, а переписку отправили на ревью в Anthropic. После этого девушку арестовали. Теперь ей грозит обвинение в угрозе насилием, а во Флориде это тяжкое преступление.

Самая неприятная часть истории не в том, что чат-бот что-то ”запомнил”. Пользователь воспринимал его как личный дневник, а система сработала как канал эскалации к людям и полиции. Дорогой дневник, конечно, но с функцией модерации.

Велкам