Можно ли определить, что текст сгенерирован ИИ?
Антиплагиат недавно научился определять сгенерированный нейросетями текст. Решили проверить, так ли это.
На ввод мы дали сервису файл на 29 страниц, который полностью состоял из сгенерированного текста из разных чат-ботов – ChatGPT, Claude, Perplexity, Gemini и Алисы. В результате проверки действительно оказалось, что «подозрение» на генерацию есть. Но где именно? Только на 6 страницах, в отдельных абзацах или предложениях. И даже там сервис не мог точно сказать, что текст сгенерирован.
Это – ожидаемый исход, когда дело касается «детекции» нейросетей. Компания наступила на те же грабли, что и многие до неё: точно и надёжно определить, был ли текст сгенерирован и в какой степени – невозможно.
Мы отлично помним, как детекторы ИИ текста заклеймили текст Библии и Конституции США как «сгенерированный» – из-за того, что он часто использовался в дата-сете. Были случаи в США, когда ложно обвинённые в использовании нейросетей студенты получали 0 баллов за свои сочинения. А даже если и не ложно – они ведь сами не признаются, попробуй, докажи. В итоге вузу пришлось разбираться со скандалом.
Почему Антиплагиат не определил ИИ-тексты? Они были созданы в чат-ботах, где есть функция поиска по Интернету. ИИ не придумывает текст на 100% сам – он сначала получает контекст, и уже после этого обрабатывает его и генерирует текст «по мотивам». Эти вводные данные меняют паттерн и структуру генерации. Того же можно добиться, если попросить перефразировать исходный текст, сохраняя смысл, или дать свои источники.
Хуже всего то, что по итогу весь наш файл система заклеймила как «подозрительный». То есть, во-первых, инструмент не надёжный, а во-вторых – может создать проблемы студентам или авторам научных работ. Уже сейчас сгенерированные тексты не допускают к защите в некоторых вузах, хотя надёжность механизма детекции – далеко не 100%, и на практике даже не 98, о которых заявляют в Антиплагиате.
Антиплагиат недавно научился определять сгенерированный нейросетями текст. Решили проверить, так ли это.
На ввод мы дали сервису файл на 29 страниц, который полностью состоял из сгенерированного текста из разных чат-ботов – ChatGPT, Claude, Perplexity, Gemini и Алисы. В результате проверки действительно оказалось, что «подозрение» на генерацию есть. Но где именно? Только на 6 страницах, в отдельных абзацах или предложениях. И даже там сервис не мог точно сказать, что текст сгенерирован.
Это – ожидаемый исход, когда дело касается «детекции» нейросетей. Компания наступила на те же грабли, что и многие до неё: точно и надёжно определить, был ли текст сгенерирован и в какой степени – невозможно.
Мы отлично помним, как детекторы ИИ текста заклеймили текст Библии и Конституции США как «сгенерированный» – из-за того, что он часто использовался в дата-сете. Были случаи в США, когда ложно обвинённые в использовании нейросетей студенты получали 0 баллов за свои сочинения. А даже если и не ложно – они ведь сами не признаются, попробуй, докажи. В итоге вузу пришлось разбираться со скандалом.
Почему Антиплагиат не определил ИИ-тексты? Они были созданы в чат-ботах, где есть функция поиска по Интернету. ИИ не придумывает текст на 100% сам – он сначала получает контекст, и уже после этого обрабатывает его и генерирует текст «по мотивам». Эти вводные данные меняют паттерн и структуру генерации. Того же можно добиться, если попросить перефразировать исходный текст, сохраняя смысл, или дать свои источники.
Хуже всего то, что по итогу весь наш файл система заклеймила как «подозрительный». То есть, во-первых, инструмент не надёжный, а во-вторых – может создать проблемы студентам или авторам научных работ. Уже сейчас сгенерированные тексты не допускают к защите в некоторых вузах, хотя надёжность механизма детекции – далеко не 100%, и на практике даже не 98, о которых заявляют в Антиплагиате.