Истец спрятал промпт в документе, чтобы ИИ встал на его сторону
⚖️ В США истец Мэттью Эллиотт спрятал в своём процессуальном документе инструкции для искусственного интеллекта. Он рассчитывал, что если суд, адвокаты ответчика или кто-нибудь ещё загрузит документ в ИИ для анализа, модель выдаст результат в пользу истца.
🫥 Текст был написан очень мелким белым шрифтом на белом фоне. Человек при обычном чтении его практически не видит, зато программа, извлекающая текст из документа, спокойно его распознаёт. В скрытом промпте модели предлагалось согласиться с позицией истца и фактически помочь пересмотреть ранее отклонённое требование. Инструкции были спрятаны сразу в нескольких местах документа, направленного в суд в электронном виде.
🔍 Обнаружилось всё довольно прозаично. Судья распечатал документ и заметил в нём странные пустые промежутки. При более внимательном изучении выяснилось, что пустота на самом деле заполнена белым текстом. То есть атаку на ИИ обнаружил человек, которому показалась подозрительной вёрстка документа.
🏛 Официально суд штата Коннектикут, где рассматривается дело, вообще не использует ИИ для анализа поданных документов. Но судья решил, что это ничего принципиально не меняет: такие системы могут использовать адвокаты другой стороны или любые другие участники процесса. Скрытая инструкция была рассчитана именно на то, чтобы незаметно повлиять на результат анализа документа.
🧪 Эллиотт объяснил, что на самом деле проводил своеобразную проверку суда. По его версии, если никакой ИИ документы не анализирует, промпт никто не увидит. А если система его выполнит, значит эксперимент подтвердит использование ИИ.
🚫 Суд эта аргументация не впечатлила. Судья указал, что скрытый характер инструкции сам по себе свидетельствует о желании ввести в заблуждение тех, кто будет анализировать документ. Он отдельно отметил, что попытка манипуляции, даже если она неудачная, является недопустимой.
📄 Наказание назначили довольно символичное. Эллиотту запретили подавать документы электронно, теперь все бумаги по делу он должен приносить лично в канцелярию суда в бумажном виде. Других серьёзных санкций суд применять не стал, в том числе учитывая тот факт, что истец представляет себя самостоятельно.
💡 При этом суд отметил написал, что стороны могут использовать генеративный ИИ при подготовке документов, если человек самостоятельно проверяет полученный результат. Более того, судья отметил потенциальную пользу таких инструментов для доступа к правосудию. Человек, у которого нет денег на адвоката, благодаря ИИ может хотя бы разобраться в общих нормах и подготовить внятный документ.
⚖️ В США истец Мэттью Эллиотт спрятал в своём процессуальном документе инструкции для искусственного интеллекта. Он рассчитывал, что если суд, адвокаты ответчика или кто-нибудь ещё загрузит документ в ИИ для анализа, модель выдаст результат в пользу истца.
🫥 Текст был написан очень мелким белым шрифтом на белом фоне. Человек при обычном чтении его практически не видит, зато программа, извлекающая текст из документа, спокойно его распознаёт. В скрытом промпте модели предлагалось согласиться с позицией истца и фактически помочь пересмотреть ранее отклонённое требование. Инструкции были спрятаны сразу в нескольких местах документа, направленного в суд в электронном виде.
🔍 Обнаружилось всё довольно прозаично. Судья распечатал документ и заметил в нём странные пустые промежутки. При более внимательном изучении выяснилось, что пустота на самом деле заполнена белым текстом. То есть атаку на ИИ обнаружил человек, которому показалась подозрительной вёрстка документа.
🏛 Официально суд штата Коннектикут, где рассматривается дело, вообще не использует ИИ для анализа поданных документов. Но судья решил, что это ничего принципиально не меняет: такие системы могут использовать адвокаты другой стороны или любые другие участники процесса. Скрытая инструкция была рассчитана именно на то, чтобы незаметно повлиять на результат анализа документа.
🧪 Эллиотт объяснил, что на самом деле проводил своеобразную проверку суда. По его версии, если никакой ИИ документы не анализирует, промпт никто не увидит. А если система его выполнит, значит эксперимент подтвердит использование ИИ.
🚫 Суд эта аргументация не впечатлила. Судья указал, что скрытый характер инструкции сам по себе свидетельствует о желании ввести в заблуждение тех, кто будет анализировать документ. Он отдельно отметил, что попытка манипуляции, даже если она неудачная, является недопустимой.
📄 Наказание назначили довольно символичное. Эллиотту запретили подавать документы электронно, теперь все бумаги по делу он должен приносить лично в канцелярию суда в бумажном виде. Других серьёзных санкций суд применять не стал, в том числе учитывая тот факт, что истец представляет себя самостоятельно.
💡 При этом суд отметил написал, что стороны могут использовать генеративный ИИ при подготовке документов, если человек самостоятельно проверяет полученный результат. Более того, судья отметил потенциальную пользу таких инструментов для доступа к правосудию. Человек, у которого нет денег на адвоката, благодаря ИИ может хотя бы разобраться в общих нормах и подготовить внятный документ.