Господа!
С нами ВЧЕРА приключилась прикольная история! Пришли ревью с ICML 2025 (A*) и в одной статье оказалось две одинаковых рецензии!!! 😲😲😲😂🤣😂
Ну как "одинаковых", на 98%, если быть точным (см. скриншот). Причем обратите внимание на первый абзац (нижние картинки). Он буква в букву, но в конце предложений стоят точки, характерные предложений в китайском языке ("точки с дырочкой"))), причем в разных местах 😲. Тут был переводчик с китайского, походу 😉
Обсудили ситуацию с коллегами, народ посмеялся, но вообще тенденция интересная. Зимой 2022/23 годов взлетел ChatGPT, зимой 2023/24 года многие замечали конкретно улучшившийся английский язык в статьях китайцев (казалось бы, доктор, какая связь? 😂), зима 2024/25 — народ начинает массово применять LLM для ревью, как для самой работы, так и при подготовке. Текст прогоняется через несколько LLM для исправления weaknesses (я писал, что мы это тоже начали делать), улучшаются формулировки Novelty и т.д.
Причем при использовании нескольких LLM (или активного промптинга) тут, очевидно, возможна blackbox adversarial attack на улучшение оценки метрики статьи. И это наша специализация сейчас — аккурат 5 дней назад у нас статья по blackbox атакам на метрики зашла на ICME. В общем будем применять наработки и для текста, а не только для картинок 😉
Естественно написали Author AC Confidential Comments, где все детально описали (в т.ч. прогнали ревью через детекторы LLM):
Уже получили ответ:
В общем наш AC разделяет наши опасения и обсудит ситуацию с вышестоящими. Ну и просит не расслабляться, что правильно)
В общем, я тут 3 дня назад описывал историю со свежеполученными рецензиями из Q1 журнала, где ревьювер походу не заглядывал в статью. Как видим, на А* конференциях ревьюверы тоже лентяи очень ценят свое время и оптимизируют работу 😂. НО! Все быстро, ревьюверы А* в курсе прогресса и используют LLM, поэтому все не так топорно как в Q1, ну и моментально адекватно отвечают (это важно!!!)!
Ждем продолжения истории! 😁
Stay tuned! 😉
#pro_conferences
С нами ВЧЕРА приключилась прикольная история! Пришли ревью с ICML 2025 (A*) и в одной статье оказалось две одинаковых рецензии!!! 😲😲😲😂🤣😂
Ну как "одинаковых", на 98%, если быть точным (см. скриншот). Причем обратите внимание на первый абзац (нижние картинки). Он буква в букву, но в конце предложений стоят точки, характерные предложений в китайском языке ("точки с дырочкой"))), причем в разных местах 😲. Тут был переводчик с китайского, походу 😉
Обсудили ситуацию с коллегами, народ посмеялся, но вообще тенденция интересная. Зимой 2022/23 годов взлетел ChatGPT, зимой 2023/24 года многие замечали конкретно улучшившийся английский язык в статьях китайцев (казалось бы, доктор, какая связь? 😂), зима 2024/25 — народ начинает массово применять LLM для ревью, как для самой работы, так и при подготовке. Текст прогоняется через несколько LLM для исправления weaknesses (я писал, что мы это тоже начали делать), улучшаются формулировки Novelty и т.д.
Причем при использовании нескольких LLM (или активного промптинга) тут, очевидно, возможна blackbox adversarial attack на улучшение оценки метрики статьи. И это наша специализация сейчас — аккурат 5 дней назад у нас статья по blackbox атакам на метрики зашла на ICME. В общем будем применять наработки и для текста, а не только для картинок 😉
Естественно написали Author AC Confidential Comments, где все детально описали (в т.ч. прогнали ревью через детекторы LLM):
I am writing to bring to your attention a concern regarding the reviews for our submission to ICML, titled "Guardians of Image Quality: Benchmarking Defenses Against Adversarial Attacks on Image Quality Metrics" (Paper ID: 4478). While we deeply appreciate the reviewers' time and efforts in evaluating our work, we have noticed that two out of the four reviews (specifically, those from Dhjc and Dmx9) we received are nearly identical, with approximately 98% overlap in content according to https://gotranscript.com/text-compare#diff. This raises concerns that these reviews may have been AI-generated rather than being independent evaluations.
The duplicated reviews not only share identical sentences and structure but also repeat the same points word for word, including specific critiques and suggestions. We wanted to bring this to your attention to ensure that our work receives a fair and thorough evaluation. Side-by-side comparison can be seen here: https://imgur.com/a/pdNVc7j
We ran detectors for AI-generated text and the results are:
According to https://app.gptzero.me/
Review from Dhjc is 71% AI-generated
Review from Dmx9 is 71% AI-generated
According to https://copyleaks.com/ai-content-detector
Review from Dhjc is 100% AI-generated
Review from Dmx9 is 99.2% AI-generated
Moreover, both Summaries in reviews contains "。" punctuation mark, which is highly unusual and, in our opinion, is highly unlikely to appear in two independent human-written reviews.
We fully respect the review process and understand the challenges involved in coordinating and managing large-scale peer reviews. Our primary concern is that these seemingly duplicate reviews may not provide independent assessments, which could impact the quality of feedback and the overall decision regarding our submission.
Уже получили ответ:
Hi
Thanks for bringing up this issue. I shared the same concern with you. I will discuss with SAC/PC what actions we should take regarding these reviews.
But meanwhile, please still try your best to prepare the rebuttal.
We will keep you posted. Your AC
В общем наш AC разделяет наши опасения и обсудит ситуацию с вышестоящими. Ну и просит не расслабляться, что правильно)
В общем, я тут 3 дня назад описывал историю со свежеполученными рецензиями из Q1 журнала, где ревьювер походу не заглядывал в статью. Как видим, на А* конференциях ревьюверы тоже лентяи очень ценят свое время и оптимизируют работу 😂. НО! Все быстро, ревьюверы А* в курсе прогресса и используют LLM, поэтому все не так топорно как в Q1, ну и моментально адекватно отвечают (это важно!!!)!
Ждем продолжения истории! 😁
Stay tuned! 😉
#pro_conferences