#пг_ии_в_суде
Использование ИИ для разрешения судебных споров (часть 2)
Начало (часть 1).
Вопрос только в том: как часто ошибаются судьи, и какой процент ошибок исправляется вышестоящими судами. Желательно, чтобы судьи ошибались как можно реже и как можно больше их ошибок исправлялось. Кстати, суд первой инстанции может сделать всё правильно, а суд апелляционной или кассационной инстанции может ошибиться. Это тоже нормально, так как наука неточная.
Теперь плавно переходим к использованию ИИ в разрешении споров.
1. То, что все называют ИИ, это на самом деле LLM - большая языковая модель. Если грубо, то это тоже некий черный ящик, который долго учили всякими текстами и теперь оно может в ответ на запрос (промпт) выдавать что-то похожее на то, чему её учили.
Со всеми вытекающими последствиями. Если модель учили, как первые версии ChatGPT, на реддите, википедии, то и результат будет условно-бытовой (развивая мысль - давайте модель обучим на текстах с пикабу и, прости господи, удаффком, если он жив ещё и посмотрим, что оно будет выдавать).
То есть использовать бытовую модель для разрешения споров - это будет уровень примерно как у мужиков в курилке на работе спросить, как разрешить тот или иной спор. Модель надо учить на чем-то выверенном - собственно, Нейроюрист от Яндекса и есть такая попытка.
Кстати, выбор на чём эту модель учить, тоже не так прост. Учить на базе всех судебных актов, которые вынесли судьи? Среди них тоже есть ошибочные, значит и модель будет болеть теми же ошибками. Фильтровать "ошибочные" судебные акты? А кто ты такой, чтобы решать, какие из них ошибочные?
2. Промптинг. Никто толком не знает, как работает языковая модель. Она слишком сложна. Поэтому это уже превращается в некое подобие то ли карго-культа, то ли религиозного психоза о всемогушем deus ex machina примерно в таком ключе. Да, в ответ на мой запрос, ИИ выдает полную хрень. Но это не значит, что мой ИИ - хрень. Значит надо просто поправить запрос. Надо просто правильно спросить (ты чё пес, я не просто сую рандомные запросы в LLM, я промпт-инженер!), и тогда я получу норм ответ.
Вопрос только в том, что такое "норм ответ". Что является критерием качества ответа? Кто может его проверить? Модели же галлюцинируют, на примитивном примере - у человека на сгенерированной картинке может быть 4 пальца (сразу оговорюсь, во многих ситуациях это может быть приемлемо). Но где-то ошибки могут быть недопустимы. Например, в статье УК указано "от 3 до 5 лет", а робот выдаст приговор: 8 лет. Это ОК или не ОК? Надо кстати посмотреть фильм Милосердие Бекмамбетова.
И какие промпты судье писать? И писать ли? Или кто-то за него напишет и зашьет в ГАС Правосудие. Типа "ты - судья высшего квалифицированного класса с опытом работы 40 лет, твоя специализация - гражданские дела, в том числе имущественные споры...". Тоже пока очень много вопросов.
Кстати, запредельно интересный вопрос. Интересно сколько судей уже сейчас суют материалы дела в ЧатГПТ? Как они пишут промпты? Что получают в ответ?
3. Тем не менее, прогресс не остановить. Судьи-люди периодически лажают. Если судья-робот будет лажать в меньшем проценте случаев, это хорошо и однозначно надо внедрять. Возможно, он будет лажать как-то по-другому, но это тоже просто вопрос повышения качества работы LLM-модели по сравнению с живым судьей. Как только качество станет выше, можно внедрять.
4. Как внедрять - собственно о чем и хотел поговорить. На текущем этапе развития (как ИИ так и общества) можно было бы сделать следующий механизм.
Пусть перед вынесением решения в суде первой инстанции ИИ даёт письменное мотивированное заключение, которое также приобщается к материалам дела. Оно не является для судьи определяющим (то есть, если судья видит, что ИИ написал полную хрень, он имеет право не обращать на неё внимания).
Использование ИИ для разрешения судебных споров (часть 2)
Начало (часть 1).
Вопрос только в том: как часто ошибаются судьи, и какой процент ошибок исправляется вышестоящими судами. Желательно, чтобы судьи ошибались как можно реже и как можно больше их ошибок исправлялось. Кстати, суд первой инстанции может сделать всё правильно, а суд апелляционной или кассационной инстанции может ошибиться. Это тоже нормально, так как наука неточная.
Теперь плавно переходим к использованию ИИ в разрешении споров.
1. То, что все называют ИИ, это на самом деле LLM - большая языковая модель. Если грубо, то это тоже некий черный ящик, который долго учили всякими текстами и теперь оно может в ответ на запрос (промпт) выдавать что-то похожее на то, чему её учили.
Со всеми вытекающими последствиями. Если модель учили, как первые версии ChatGPT, на реддите, википедии, то и результат будет условно-бытовой (развивая мысль - давайте модель обучим на текстах с пикабу и, прости господи, удаффком, если он жив ещё и посмотрим, что оно будет выдавать).
То есть использовать бытовую модель для разрешения споров - это будет уровень примерно как у мужиков в курилке на работе спросить, как разрешить тот или иной спор. Модель надо учить на чем-то выверенном - собственно, Нейроюрист от Яндекса и есть такая попытка.
Кстати, выбор на чём эту модель учить, тоже не так прост. Учить на базе всех судебных актов, которые вынесли судьи? Среди них тоже есть ошибочные, значит и модель будет болеть теми же ошибками. Фильтровать "ошибочные" судебные акты? А кто ты такой, чтобы решать, какие из них ошибочные?
2. Промптинг. Никто толком не знает, как работает языковая модель. Она слишком сложна. Поэтому это уже превращается в некое подобие то ли карго-культа, то ли религиозного психоза о всемогушем deus ex machina примерно в таком ключе. Да, в ответ на мой запрос, ИИ выдает полную хрень. Но это не значит, что мой ИИ - хрень. Значит надо просто поправить запрос. Надо просто правильно спросить (ты чё пес, я не просто сую рандомные запросы в LLM, я промпт-инженер!), и тогда я получу норм ответ.
Вопрос только в том, что такое "норм ответ". Что является критерием качества ответа? Кто может его проверить? Модели же галлюцинируют, на примитивном примере - у человека на сгенерированной картинке может быть 4 пальца (сразу оговорюсь, во многих ситуациях это может быть приемлемо). Но где-то ошибки могут быть недопустимы. Например, в статье УК указано "от 3 до 5 лет", а робот выдаст приговор: 8 лет. Это ОК или не ОК? Надо кстати посмотреть фильм Милосердие Бекмамбетова.
И какие промпты судье писать? И писать ли? Или кто-то за него напишет и зашьет в ГАС Правосудие. Типа "ты - судья высшего квалифицированного класса с опытом работы 40 лет, твоя специализация - гражданские дела, в том числе имущественные споры...". Тоже пока очень много вопросов.
Кстати, запредельно интересный вопрос. Интересно сколько судей уже сейчас суют материалы дела в ЧатГПТ? Как они пишут промпты? Что получают в ответ?
3. Тем не менее, прогресс не остановить. Судьи-люди периодически лажают. Если судья-робот будет лажать в меньшем проценте случаев, это хорошо и однозначно надо внедрять. Возможно, он будет лажать как-то по-другому, но это тоже просто вопрос повышения качества работы LLM-модели по сравнению с живым судьей. Как только качество станет выше, можно внедрять.
4. Как внедрять - собственно о чем и хотел поговорить. На текущем этапе развития (как ИИ так и общества) можно было бы сделать следующий механизм.
Пусть перед вынесением решения в суде первой инстанции ИИ даёт письменное мотивированное заключение, которое также приобщается к материалам дела. Оно не является для судьи определяющим (то есть, если судья видит, что ИИ написал полную хрень, он имеет право не обращать на неё внимания).