Представьте, что вы решили на своем скромном сайте для обмена квадратными фоточками с прикольными фильтрами сделать форму восстановления пароля, в которую нужно ввести логин и адрес почты, чтобы получить код восстановления. Вероятно, вы бы перед отправкой кода проверили, что данная почта действительно связана с этим аккаунтом. Может быть, в таком случае вы бы и не спрашивали логин. Возможно, вы бы использовали третий фактор, вроде SMS или OTP, если пользователь сказал, что он потерял доступ к своей почте.

В таком случае вы бы поступили немного умнее, чем разрабы Инстаграма, LLM-ассистента которого, по сообщениям в СМИ (пресс-служба Меты подтвердила проблему), можно было попросить отправить код восстановления пароля от произвольного аккаунта на произвольный ящик.

Нужно помнить, что чат-бот - это (неудобный) аналог веб-страницы, а инструменты в нем — это формы. Если вы сделали поле формы hidden-ом, это не значит, что никто не влезет в HTML и не засабмитит его с тем параметром, с которым хочет — аналогично тот факт, что тулы не видны пользователю напрямую, не означает, что он не сможет дернуть их с произвольными параметрами. Промпт-инъекции тут могут помочь с разведкой (извлечением тулов через prompt extraction) и обходом потенциальной нечеткой логики бота, но правильный дизайн инструментов, ролевая модель и, что главное, априорное рассмотрение их как публичных важнее, чем любые гардрейлы. Было бы интересно почитать пост-мортем и узнать, была ли это наивная ошибка проектирования или результат вайб-кодинга.