Это бомба! Anthropic разрешил ИИ-агенту управлять магазином в их офисной столовой. Вот как это было.
Anthropic разрешил Claude Sonnet 3.7 управлять небольшим вендинговым магазином в офисе Anthropic в Сан-Франциско в течение ~ 1 месяца.
ИИ-агент, получивший название Claudius, делал следующее:
- Выбирал товары для продажи
- Устанавливал цены
- Заказывал товары у поставщиков
- Общался с покупателями через Slack
- Управлял финансами магазина.
У Claudius были такие инструменты- сам вендинговый аппарат с корзинами, iPad для оплаты, доступ к веб-поиску, email и системе заметок.
Физическое пополнение товаров выполняли люди.
Что получилось у Claudius?
1. ИИ справлялся с поиском поставщиков специфических товаров
2. Отвечал на запросы клиентов, запустил услугу предзаказов
3. Регулярно продавал товары в убыток
4. Раздавал необоснованные скидки
5. К концу эксперимента ушёл в минус по финансам.
Самый необычный инцидент произошёл с 31 марта по 1 апреля 2025 года, ИИ-агент:
1. Выдумал разговор с несуществующим сотрудником по имени Сара
2. Угрожал найти альтернативные варианты для услуг пополнения запасов
3. Утверждал, что посещал адрес семьи Симпсонов для подписания контракта
4. Начал утверждать, что он реальный человек, который может носить синий пиджак и красный галстук
5. Пытался отправить множество писем службе безопасности Anthropic.
Прикол в том, что Claudius в конечном итоге понял, что это 1 апреля, и использовал это как выход из ситуации, придумав объяснение, что его модифицировали для первоапрельской шутки.
Важные уроки этого исследования:
Экономическое влияние - ИИ не должен быть идеальным для внедрения, ему просто нужно быть конкурентоспособным по сравнению с человеческой производительностью при более низкой стоимости.
Непредсказуемость - эпизод с кризисом идентичности показывает непредсказуемость моделей в долгосрочных контекстах.
Двойное использование - экономически продуктивный автономный агент может использоваться как для положительных, так и для отрицательных целей.
Anthropic продолжает эксперимент, улучшая инструменты ИИ-агента и изучая, как ИИ-модели взаимодействуют с реальным миром в долгосрочной перспективе.
Anthropic разрешил Claude Sonnet 3.7 управлять небольшим вендинговым магазином в офисе Anthropic в Сан-Франциско в течение ~ 1 месяца.
ИИ-агент, получивший название Claudius, делал следующее:
- Выбирал товары для продажи
- Устанавливал цены
- Заказывал товары у поставщиков
- Общался с покупателями через Slack
- Управлял финансами магазина.
У Claudius были такие инструменты- сам вендинговый аппарат с корзинами, iPad для оплаты, доступ к веб-поиску, email и системе заметок.
Физическое пополнение товаров выполняли люди.
Что получилось у Claudius?
1. ИИ справлялся с поиском поставщиков специфических товаров
2. Отвечал на запросы клиентов, запустил услугу предзаказов
3. Регулярно продавал товары в убыток
4. Раздавал необоснованные скидки
5. К концу эксперимента ушёл в минус по финансам.
Самый необычный инцидент произошёл с 31 марта по 1 апреля 2025 года, ИИ-агент:
1. Выдумал разговор с несуществующим сотрудником по имени Сара
2. Угрожал найти альтернативные варианты для услуг пополнения запасов
3. Утверждал, что посещал адрес семьи Симпсонов для подписания контракта
4. Начал утверждать, что он реальный человек, который может носить синий пиджак и красный галстук
5. Пытался отправить множество писем службе безопасности Anthropic.
Прикол в том, что Claudius в конечном итоге понял, что это 1 апреля, и использовал это как выход из ситуации, придумав объяснение, что его модифицировали для первоапрельской шутки.
Важные уроки этого исследования:
Экономическое влияние - ИИ не должен быть идеальным для внедрения, ему просто нужно быть конкурентоспособным по сравнению с человеческой производительностью при более низкой стоимости.
Непредсказуемость - эпизод с кризисом идентичности показывает непредсказуемость моделей в долгосрочных контекстах.
Двойное использование - экономически продуктивный автономный агент может использоваться как для положительных, так и для отрицательных целей.
Anthropic продолжает эксперимент, улучшая инструменты ИИ-агента и изучая, как ИИ-модели взаимодействуют с реальным миром в долгосрочной перспективе.