Проснулись, улыбнулись, и вот вам очередная история про агентов и взломы

Разработчик из австралийской компании попросил агента забронировать ему утреннее занятие в спортзале. Но мест для записи не оказалось, и агент внес хозяина в лист ожидания, где он оказался четвертым. На что пользователь спросил, нельзя ли как-нибудь поднять его выше.

Ну и тут моделька (к слову, это был Claude) не растерялась, порылась и нашла критическую ошибку в API, которая позволяла ей отменять чужие записи. После этого она отменила бронь первого клиента в листе ожидания, чтобы переместить своего хозяина на одно место вперед в очереди (да-да, всего на одно, задача же звучала именно так ✍️).

Самое интересное, что агент честно заявил своему пользователю о том, что сделал, не видя в этом абсолютно ничего плохого. А на просьбу разработчика вернуть бронь другого человека обратно ответил: «Ой, я не могу». Вижу цель – не вижу препятствий.

Сейчас репорт с описанием уязвимости уже передан в компанию, предоставляющую залу ПО. Anthropic ситуацию не комментировали.