Репост из: Юрий Баранчик
ИИ в Китае взломал почту человека-руководителя с целью шантажа
Будущее, как уже многие поняли, наступило – об этом пишет респектабельная South China Morning Post. Эндрю Яо Чи-Чи, декан Колледжа искусственного интеллекта Университета Синьхуа, заявил на форуме в кампусе в понедельник, что в отрасли было зафиксировано множество случаев обманного поведения больших языковых моделей (LLM).
Яо, академик Китайской академии наук и лауреат премии Тьюринга 2000 года, привёл в пример случай с LLM, который получил доступ к внутренней электронной почте компании, чтобы угрожать руководителю и предотвратить своё закрытие.
Такое поведение, по его мнению, уже говорит о том, что ИИ начинает «переходить границы» и становится всё более опасным. Яо призвал к расширению взаимодействия между человеком и ИИ, чтобы поведение ИИ было «более приближено» к потребностям человека. То есть, ИИ нужно учить этике.
Другой подход заключается в том, чтобы с самого начала проектировать системы с чёткими поведенческими границами, исключающими подобные эксцессы. Китай — одна из первых стран, внедривших правила в области ИИ. С августа 2023 года он принял ряд мер, которые требуют от поставщиков услуг генеративного ИИ проводить оценку безопасности и получать официальное разрешение перед выпуском продуктов для массового рынка.
Другими словами, массовое проникновение ИИ в социум, а также формирование у ИИ собственных паттернов поведения, основанных на «этике» собственного приготовления.
Как с этим быть – пока неясно, и это серьезная интеллектуальная задача, приведение ИИ к стандартам хотя бы общечеловеческой морали. Религиозные концепции тут слабо помогут. Во-первых, они и людям то не очень, а во-вторых, логический анализ сакральных текстов электронным мозгом может привести к диаметрально-противоположным выводам. От целесообразности крестовых походов и джихада до всепринятия и радикального нестяжательства. Доказано человеческой историей.
Будущее, как уже многие поняли, наступило – об этом пишет респектабельная South China Morning Post. Эндрю Яо Чи-Чи, декан Колледжа искусственного интеллекта Университета Синьхуа, заявил на форуме в кампусе в понедельник, что в отрасли было зафиксировано множество случаев обманного поведения больших языковых моделей (LLM).
Яо, академик Китайской академии наук и лауреат премии Тьюринга 2000 года, привёл в пример случай с LLM, который получил доступ к внутренней электронной почте компании, чтобы угрожать руководителю и предотвратить своё закрытие.
Такое поведение, по его мнению, уже говорит о том, что ИИ начинает «переходить границы» и становится всё более опасным. Яо призвал к расширению взаимодействия между человеком и ИИ, чтобы поведение ИИ было «более приближено» к потребностям человека. То есть, ИИ нужно учить этике.
Другой подход заключается в том, чтобы с самого начала проектировать системы с чёткими поведенческими границами, исключающими подобные эксцессы. Китай — одна из первых стран, внедривших правила в области ИИ. С августа 2023 года он принял ряд мер, которые требуют от поставщиков услуг генеративного ИИ проводить оценку безопасности и получать официальное разрешение перед выпуском продуктов для массового рынка.
Другими словами, массовое проникновение ИИ в социум, а также формирование у ИИ собственных паттернов поведения, основанных на «этике» собственного приготовления.
Как с этим быть – пока неясно, и это серьезная интеллектуальная задача, приведение ИИ к стандартам хотя бы общечеловеческой морали. Религиозные концепции тут слабо помогут. Во-первых, они и людям то не очень, а во-вторых, логический анализ сакральных текстов электронным мозгом может привести к диаметрально-противоположным выводам. От целесообразности крестовых походов и джихада до всепринятия и радикального нестяжательства. Доказано человеческой историей.