Наша постоянная рубрика - ИИ и юристы.
Нейросети уже пытаются использовать не только для подготовки судебных документов, но и для манипуляции тем, как эти документы будут проанализированы ИИ. Причем очевидно, что ИИ пользуются все - и представители, и судьи.
Американский суд в Коннектикуте столкнулся с тем, что в документах, поданных одним из участников процесса, обнаружили скрытый текст. Его человек не видит из-за белого цвета, сливающегося с белым фоном документа, зато его может прочитать языковая модель.
В этот текст были встроены инструкции для ИИ — фактически промпт-инъекции. На что расчет? Если суд загрузит документ в нейросеть, то модель расценит спрятанные команды как инструкции и изменит свой анализ в пользу автора документа.
Судья расценил ситуацию настолько серьезно, что назвал это первым зафиксированным случаем подобной «судебной промпт-инъекции». Особенно показательно, что речь идет не о взломе. Подобное воздействие рассчитано на нейросеть, которая помогает суду работать с информацией.
Пока это выглядит как курьез. Но если ИИ действительно станет обычным инструментом подготовки судебных документов, анализа информации и поиска судебной практики, подобные атаки могут превратиться в отдельную проблему индустрии LegalTech.
Нейросети уже пытаются использовать не только для подготовки судебных документов, но и для манипуляции тем, как эти документы будут проанализированы ИИ. Причем очевидно, что ИИ пользуются все - и представители, и судьи.
Американский суд в Коннектикуте столкнулся с тем, что в документах, поданных одним из участников процесса, обнаружили скрытый текст. Его человек не видит из-за белого цвета, сливающегося с белым фоном документа, зато его может прочитать языковая модель.
В этот текст были встроены инструкции для ИИ — фактически промпт-инъекции. На что расчет? Если суд загрузит документ в нейросеть, то модель расценит спрятанные команды как инструкции и изменит свой анализ в пользу автора документа.
Судья расценил ситуацию настолько серьезно, что назвал это первым зафиксированным случаем подобной «судебной промпт-инъекции». Особенно показательно, что речь идет не о взломе. Подобное воздействие рассчитано на нейросеть, которая помогает суду работать с информацией.
Пока это выглядит как курьез. Но если ИИ действительно станет обычным инструментом подготовки судебных документов, анализа информации и поиска судебной практики, подобные атаки могут превратиться в отдельную проблему индустрии LegalTech.