Господа!
У нас на финишной наш большой челлендж детекторов дипфейков! Вчера закончилась тестовая фаза!
Напомню, предыдущие 5 лет мы делали много бенчмарков и в MSU Benchmark Collection их 18 штук сейчас, но раскрутить бенчмарки с закрытым датасетом непросто (хотя в лидерборде наиболее популярного у нас Video Quality Metrics Benchmark сотня метрик) — исследователи не очень охотно по какой-то странной никому непонятной причине 😉 в такие сабмиттят. Бенчмарки с открытым датасетом крайне популярны, но очень часто топ их лидерборда заполнен решениями которые почему-то не воспроизводятся на других данных 🤷♂️😁 (deep fake science на марше, масштабы бедствия довольно велики).
В этом плане у челленджа много плюсов:
1. Данные после открываются (и все можно проверить), но во время соревнования никто не знает "правильный ответ" (что логично, но неверно для львиной доли бенчмарков). 🤷♂️
2. Если не хочешь светить алгоритм, можно снять результат с финала. При этом у тебя будет твое реальное место на рынке (если датасет достаточно хорош и реалистичен) в сравнении с пачкой конкурентов (которые также не горят желанием раскрыть код, и с которыми так просто не сравниться). Это проблема и дополнительная работа для организаторов, но прикольность соревы заметно повышает (поскольку университеты видят, насколько лучше решения компаний, например).
3. Можно делать сложные правила и менять датасет по ходу соревнования, как это сделали мы в этот раз. Т.е. изначально порог входа может быть низким, но постепенно ближе к концу соревнования расти, повышая интригу. В бенчмарке аналог — это отдельные треки, но оно менее зрелищно, конечно)
4. Для участников (как из компаний, так и из универа) такое соревнование — шанс побывать на CVPR (конференция #1 по Impact Factor в мире), и уже одно это заметно бустит число участников) (упрощая жизнь организаторам, поскольку обычно собирать участников непросто).
5. Обратная сторона — большое количество желающих организовать соревнование и в прошлом году, например, из 6 наших proposals на проведение челленджа прошел только 1 (в этом 2 из 2))).
Итак! Какие новости к этому часу:
1. Мы пробили границу 500 зарегистрированных участников! 💃 Это значит, что мы в топе самых популярных челленджей CVPR за несколько лет 🥳 (точнее постараемся подвести позже)
2. Суммарно было залито 3400+ решений! Кошмар! 🥵 (проверка на втором нашем челлендже, кстати, намного "тяжелее" по компьюту и только использование МГУ-270 нас спасает!)
3. Первые два места умудрились сохранить команды "Alipay" (типа разных подразделений, ну или делают вид, ибо у них разница результатов в тысячных). Обратите внимание, их решение прямо с отрывом лучше 3 места. Третье место TeleAI-TeleGuard, похоже на стартап (пока информации нет). Замыкает пятерку лидеров два места представителей INTSIG.
4. Характерно, что товарищи из стартапа Reagvis Labs поднялись с 22 на валидации до 8 места в тесте (это к вопросу практичности решений компаний).
5. Пока код прислали 13 команд, но кто-то пришлет в последний момент перед дедлайном! Тестируем! 🥵
Анализ результатов будет позже!
Stay tuned! 😉
#our_successes@vgcourse
@vgcourse
У нас на финишной наш большой челлендж детекторов дипфейков! Вчера закончилась тестовая фаза!
Напомню, предыдущие 5 лет мы делали много бенчмарков и в MSU Benchmark Collection их 18 штук сейчас, но раскрутить бенчмарки с закрытым датасетом непросто (хотя в лидерборде наиболее популярного у нас Video Quality Metrics Benchmark сотня метрик) — исследователи не очень охотно по какой-то странной никому непонятной причине 😉 в такие сабмиттят. Бенчмарки с открытым датасетом крайне популярны, но очень часто топ их лидерборда заполнен решениями которые почему-то не воспроизводятся на других данных 🤷♂️😁 (deep fake science на марше, масштабы бедствия довольно велики).
В этом плане у челленджа много плюсов:
1. Данные после открываются (и все можно проверить), но во время соревнования никто не знает "правильный ответ" (что логично, но неверно для львиной доли бенчмарков). 🤷♂️
2. Если не хочешь светить алгоритм, можно снять результат с финала. При этом у тебя будет твое реальное место на рынке (если датасет достаточно хорош и реалистичен) в сравнении с пачкой конкурентов (которые также не горят желанием раскрыть код, и с которыми так просто не сравниться). Это проблема и дополнительная работа для организаторов, но прикольность соревы заметно повышает (поскольку университеты видят, насколько лучше решения компаний, например).
3. Можно делать сложные правила и менять датасет по ходу соревнования, как это сделали мы в этот раз. Т.е. изначально порог входа может быть низким, но постепенно ближе к концу соревнования расти, повышая интригу. В бенчмарке аналог — это отдельные треки, но оно менее зрелищно, конечно)
4. Для участников (как из компаний, так и из универа) такое соревнование — шанс побывать на CVPR (конференция #1 по Impact Factor в мире), и уже одно это заметно бустит число участников) (упрощая жизнь организаторам, поскольку обычно собирать участников непросто).
5. Обратная сторона — большое количество желающих организовать соревнование и в прошлом году, например, из 6 наших proposals на проведение челленджа прошел только 1 (в этом 2 из 2))).
Итак! Какие новости к этому часу:
1. Мы пробили границу 500 зарегистрированных участников! 💃 Это значит, что мы в топе самых популярных челленджей CVPR за несколько лет 🥳 (точнее постараемся подвести позже)
2. Суммарно было залито 3400+ решений! Кошмар! 🥵 (проверка на втором нашем челлендже, кстати, намного "тяжелее" по компьюту и только использование МГУ-270 нас спасает!)
3. Первые два места умудрились сохранить команды "Alipay" (типа разных подразделений, ну или делают вид, ибо у них разница результатов в тысячных). Обратите внимание, их решение прямо с отрывом лучше 3 места. Третье место TeleAI-TeleGuard, похоже на стартап (пока информации нет). Замыкает пятерку лидеров два места представителей INTSIG.
4. Характерно, что товарищи из стартапа Reagvis Labs поднялись с 22 на валидации до 8 места в тесте (это к вопросу практичности решений компаний).
5. Пока код прислали 13 команд, но кто-то пришлет в последний момент перед дедлайном! Тестируем! 🥵
Анализ результатов будет позже!
Stay tuned! 😉
#our_successes@vgcourse
@vgcourse