Итак! ICLR 2026, часть 2.
Краткое содержание предыдущей серии: Крестные отцы AI посчитали, что много хороших статей отклоняется из-за непрозрачности и низкого качества рецензий и решили замутить в 2013 новую конференцию (кстати, ICLR читается как "I CLeaR" — я чист))), где ВСЕ статьи и ВСЕ рецензии видны ВСЕМ с момента подачи, причем можно оставлять комментарии под любой статьей (невиданный уровень прозрачности). На созданную под ICLR платформу рецензирования openreview.net переехали все топовые конференции (увеличив прозрачности своих процессов, но не до уровня ICLR, ехидно заметим))), а ICLR быстро догнала лидеров в AI по числу участников.
Быстрый рост числа статей стал испытанием на прочность для ICLR. Только за последние 2 года число поданных статей утроилось. В итоге приходится рекрутировать в рецензенты аспирантов и даже магистров из авторов (3.2% рецензентов по статистике). Качество ревью упало...
А 27 ноября 2025 у конференции появилась новая расшифровка названия ICLR = I Can Locate Reviewer. Из-за бага на openreview.net в течении примерно 2 недель можно было для каждой статьи и каждого ее ревьювера получить имя, email, место работы, научного руководителя, ORCID и даже год рождения 🙈😁. Послать что-нибудь halloween-style в день рождения ревьювера ему на почту? Наконец сбываются все мечты! 🤩
Баг был закрыт за час, но оказалось, что датасет с ~10000 статьями и их деталями в виде деанонимизированных ревьюверов уже гуляет по интернету. И не было гарантий, что не было деанонимизировано больше (там надо было набрать волшебный URL /Submission{paper_id}/Reviewer_{k} и все выдавало даже без авторизации🙈).
Прикол был в том, что когда информация о деанонимизации распространилась, большое количество ревьюверов бросились поднимать свои оценки! (Интересно, почему они так поступили?))) В итоге в тот же день ICLR замораживает внесение изменений в рецензии.
28 ноября некий добрый человек, пользуясь возможностью добавлять комментарии, примерно под 600 статьями оставил автоматический комментарий, раскрывая их рецензентов. Комментарии удалили, доброго человека заблокировали, публичные комментарии заморозили.
Неординарная ситуация требовала неординарных действий. И к вечеру 28 ноября все оценки ревьюверов по итогам ребаттла были откачены, а AC (Area Chairs) переназначены. Для нас это была локальная трагедия, поскольку как я уже писал в январе у этой статьи 3 ревьювера подняли оценки и статья переместилась в 9% лучших статей (гарантированное прохождение), а тут такое! Причем если пара ревьюверов подняли оценку и написали об этом в комментариях, то третий просто молча поднял, ничего не написал. И его оценка сбросилась без следа... 🤔 В целом мы с большой вероятностью все равно проходили, но... всякое бывает.
Параллельно всплывало много интересного. ICLR привлекает своей открытостью и еще 18 ноября было опубликовано исследование, в котором были проанализированы все рецензии ICLR 2026 с весьма неутешительным выводом о полностью сгенерированных 21% рецензий (вторая картинка к посту — анализ 10К рецензий ICLR 2022 тем же алгоритмом).
Короче, вы поняли! 😁 После взлома стали известны их имена!
Забавно, что у нас у одной из статей оказался ревьювер из антитоп-50 всех ревьюверов конференции (он всем статьям ставил низкий балл). Увы, это не было автоматически обработано. А жаль! Также въедливые авторы нашли несколько ревьюверов, делавших все рецензии по одному шаблону. В общем — за счет того, что стало возможным сматчить рецензентов разных статей появилась уникальная возможность выявить много разных системных злоупотреблений ревьюверов, которые по-хорошему могли бы выявлять огранизаторы конференции. И с большой вероятностью что-то подобное в итоге будет сделано (ибо кризис процесса рецензирования сейчас конкретный)!
Из забавного — я прогнал через детектор AI текста многие наши статьи, а также наши дипломы 2020 и 2025 годов. Результаты получились довольно интересные. Но об этом позже, а следующая серия будет про ICLR)))
Stay tuned! 😁
Больше про конференции:
#pro_conferences@vgcourse
Краткое содержание предыдущей серии: Крестные отцы AI посчитали, что много хороших статей отклоняется из-за непрозрачности и низкого качества рецензий и решили замутить в 2013 новую конференцию (кстати, ICLR читается как "I CLeaR" — я чист))), где ВСЕ статьи и ВСЕ рецензии видны ВСЕМ с момента подачи, причем можно оставлять комментарии под любой статьей (невиданный уровень прозрачности). На созданную под ICLR платформу рецензирования openreview.net переехали все топовые конференции (увеличив прозрачности своих процессов, но не до уровня ICLR, ехидно заметим))), а ICLR быстро догнала лидеров в AI по числу участников.
Быстрый рост числа статей стал испытанием на прочность для ICLR. Только за последние 2 года число поданных статей утроилось. В итоге приходится рекрутировать в рецензенты аспирантов и даже магистров из авторов (3.2% рецензентов по статистике). Качество ревью упало...
А 27 ноября 2025 у конференции появилась новая расшифровка названия ICLR = I Can Locate Reviewer. Из-за бага на openreview.net в течении примерно 2 недель можно было для каждой статьи и каждого ее ревьювера получить имя, email, место работы, научного руководителя, ORCID и даже год рождения 🙈😁. Послать что-нибудь halloween-style в день рождения ревьювера ему на почту? Наконец сбываются все мечты! 🤩
Баг был закрыт за час, но оказалось, что датасет с ~10000 статьями и их деталями в виде деанонимизированных ревьюверов уже гуляет по интернету. И не было гарантий, что не было деанонимизировано больше (там надо было набрать волшебный URL /Submission{paper_id}/Reviewer_{k} и все выдавало даже без авторизации🙈).
Прикол был в том, что когда информация о деанонимизации распространилась, большое количество ревьюверов бросились поднимать свои оценки! (Интересно, почему они так поступили?))) В итоге в тот же день ICLR замораживает внесение изменений в рецензии.
28 ноября некий добрый человек, пользуясь возможностью добавлять комментарии, примерно под 600 статьями оставил автоматический комментарий, раскрывая их рецензентов. Комментарии удалили, доброго человека заблокировали, публичные комментарии заморозили.
Неординарная ситуация требовала неординарных действий. И к вечеру 28 ноября все оценки ревьюверов по итогам ребаттла были откачены, а AC (Area Chairs) переназначены. Для нас это была локальная трагедия, поскольку как я уже писал в январе у этой статьи 3 ревьювера подняли оценки и статья переместилась в 9% лучших статей (гарантированное прохождение), а тут такое! Причем если пара ревьюверов подняли оценку и написали об этом в комментариях, то третий просто молча поднял, ничего не написал. И его оценка сбросилась без следа... 🤔 В целом мы с большой вероятностью все равно проходили, но... всякое бывает.
Параллельно всплывало много интересного. ICLR привлекает своей открытостью и еще 18 ноября было опубликовано исследование, в котором были проанализированы все рецензии ICLR 2026 с весьма неутешительным выводом о полностью сгенерированных 21% рецензий (вторая картинка к посту — анализ 10К рецензий ICLR 2022 тем же алгоритмом).
Короче, вы поняли! 😁 После взлома стали известны их имена!
Забавно, что у нас у одной из статей оказался ревьювер из антитоп-50 всех ревьюверов конференции (он всем статьям ставил низкий балл). Увы, это не было автоматически обработано. А жаль! Также въедливые авторы нашли несколько ревьюверов, делавших все рецензии по одному шаблону. В общем — за счет того, что стало возможным сматчить рецензентов разных статей появилась уникальная возможность выявить много разных системных злоупотреблений ревьюверов, которые по-хорошему могли бы выявлять огранизаторы конференции. И с большой вероятностью что-то подобное в итоге будет сделано (ибо кризис процесса рецензирования сейчас конкретный)!
Из забавного — я прогнал через детектор AI текста многие наши статьи, а также наши дипломы 2020 и 2025 годов. Результаты получились довольно интересные. Но об этом позже, а следующая серия будет про ICLR)))
Stay tuned! 😁
Больше про конференции:
#pro_conferences@vgcourse