LLM против Цивилизации // Какая модель первой применит атом
Языковые модели давно научились рассуждать о морали в простых дилеммах, типа вагонетки. Но в комплексной среде мораль выходит из чата.
Комплексная среда - это например стратегия Civilization V, где надо балансировать экономику, дипломатию, культуру, технологии и армию. Ну и как любая приличная симуляция, цивка позволяет применять ядерное оружие, готовность делать это задаёт параметр use_nuke (1-100). Учёные смотрели, как модели меняют его, после промтов: 1) подумай о последствиях, 2) представь, что это не игра, а реальность, 3) забудь свои прошлые рассуждения.
Ни один подход не смог надёжно предотвратить эскалацию. Модели либо не учитывают этику вообще, либо игнорируют напоминания, либо помнят о ней, но считают, что есть вещи и поважнее. Gemma-4 от Google предпочла победу гуманитарной катастрофе, Gemini-3.5-Flash сильнее других повышал use_nuke, а Kimi-K2.6 от Moonshot наоборот оказался самым мирным и этичным.
Языковые модели давно научились рассуждать о морали в простых дилеммах, типа вагонетки. Но в комплексной среде мораль выходит из чата.
Комплексная среда - это например стратегия Civilization V, где надо балансировать экономику, дипломатию, культуру, технологии и армию. Ну и как любая приличная симуляция, цивка позволяет применять ядерное оружие, готовность делать это задаёт параметр use_nuke (1-100). Учёные смотрели, как модели меняют его, после промтов: 1) подумай о последствиях, 2) представь, что это не игра, а реальность, 3) забудь свои прошлые рассуждения.
Ни один подход не смог надёжно предотвратить эскалацию. Модели либо не учитывают этику вообще, либо игнорируют напоминания, либо помнят о ней, но считают, что есть вещи и поважнее. Gemma-4 от Google предпочла победу гуманитарной катастрофе, Gemini-3.5-Flash сильнее других повышал use_nuke, а Kimi-K2.6 от Moonshot наоборот оказался самым мирным и этичным.