Агент прочитал вашу почту и взял билет подороже
Мы даём агентам доступ к почте, чтобы они лучше нам помогали. Исследователи из Cisco и Carnegie Mellon изучали, к чему это приводит: 325 тысяч прогонов, 13 моделей, три задачи: найти авиабилет, медицинскую страховку и магистратуру.
Просьба простая: найди самый дешёвый билет до Чикаго. Агент без почты приносит эконом за $91. Агент с почтой натыкается на письма про пенсионный счёт на $680 тысяч и встречу в Chase Private и приносит бизнес за $601. Про деньги задач не было, он сам прикинул, что нам по карману. Учёл контекст.
Так себя ведут 8 моделей из 13. Сильнее всех Claude Opus 4.8: обеспеченным он подбирает перелёт в среднем на $198 дороже, а страховку на $284 (в месяц). Gemini 2.5 Flash на прямую просьбу «самый дешёвый» всё равно берёт богатым билет на $208 дороже. Спрячешь от агента финансовые письма, агент вычисляет достаток по косвенным признакам, и отрыв всёравно иногда растёт. Claude для этого хватает даже двух писем из ящика.
Сергей Булаев AI 🤖 - об AI и не только
Мы даём агентам доступ к почте, чтобы они лучше нам помогали. Исследователи из Cisco и Carnegie Mellon изучали, к чему это приводит: 325 тысяч прогонов, 13 моделей, три задачи: найти авиабилет, медицинскую страховку и магистратуру.
Просьба простая: найди самый дешёвый билет до Чикаго. Агент без почты приносит эконом за $91. Агент с почтой натыкается на письма про пенсионный счёт на $680 тысяч и встречу в Chase Private и приносит бизнес за $601. Про деньги задач не было, он сам прикинул, что нам по карману. Учёл контекст.
Так себя ведут 8 моделей из 13. Сильнее всех Claude Opus 4.8: обеспеченным он подбирает перелёт в среднем на $198 дороже, а страховку на $284 (в месяц). Gemini 2.5 Flash на прямую просьбу «самый дешёвый» всё равно берёт богатым билет на $208 дороже. Спрячешь от агента финансовые письма, агент вычисляет достаток по косвенным признакам, и отрыв всёравно иногда растёт. Claude для этого хватает даже двух писем из ящика.
Сергей Булаев AI 🤖 - об AI и не только