Господа!
На этой неделе по приглашению замечательного человека Александра Гасникова побывал на записи передачи "Вопрос науки" на Россия-24. Мы занялись довольно нетривиальной темой тестирования детекторов дипфейков. Она, как ни странно, имеет много общего с тестированием метрик и, что важнее, хорошо пересекается с темой состязательных атак. 🤓
Во-первых, генеративный контент помечается тремя способами. Это логотип (убиранием которых мы занимались и довольно давно, и относительно недавно), далее идёт классическая метка на уровне сигнала и/или метка на уровне эмбеддингов. На глаз видна только первая, естественно. Эффективно удалять можно все три. Давние читатели помнят, как год назад я писал про наше 5 место в челлендже в рамках NeurIPS-24 "Erasing the Invisible: A Stress-test challenge for Image Watermarking", в котором 77 команд соревновалось в удалении вотермарка, в том числе, когда алгоритм внесения которого был неизвестен (что, очевидно, намного сложнее). По факту удалить сегодня можно любой вотермарк. Вопрос, как сделать это наименее заметным для пользователя образом (на тему чего и идёт вполне себе успешная работа). И там много интересного, например, сегодня стало возможно подменять объекты в видео (буквально в один промпт) и если объект занимал заметную долю кадра, это выносит оба вида незаметных водяных знаков, причём с точки зрения пользователя результат будет высокого качества. Также сильно пожать никто не мешает, это тоже эффективно работает и довольно лояльно воспринимается. 🤷♂️🤔🧐
Во-вторых, можно пытаться детектировать неидеальность генеративного контента. 6 пальцев, неестественное движение, пропадание объектов и т.п. Тема имеет очень высокую сложность и сейчас активно развивается (параллельно впечатляющему развитию методов генерации, впрочем). 😉
В передаче этого почти не будет. Это телевизор и задача была, что было понятно каждой бабушке. Я очень старался, но все равно если бы я платил 10$ за каждое непонятное средней бабушке слово, запись обошлась бы мне в заметную сумму 😂🤣😂
А сделать понятно важно. С большой вероятностью в следующем году мы все столкнемся с мощным потоком дипфейков. Причём как на уровне СМИ (которые будут их нести, не разобравшись или сознательно), так и на персональном уровне, когда дипфейки массово освоят мошенники и начнут приходить кружочки с запросом денег от друзей и знакомых. Массово. И простой защиты от этого не будет (что, собственно, мы и планируем показать, заодно подсветив наиболее удачные подходы к детектированию). Глобально в этом соревновании меча и щита на ближайшие несколько лет щит практически обречён проигрывать (оставим оговорку на случай какого-нибудь чуда). 😉
Мы замахнулись на самый крупный академический датасет сгенерированного контента (если успеем быстро двигаться в этом суровом соревновании на скорость с китайцами). И с большой вероятностью повторится ситуация с нашим датасетом метрик, когда на крупном датасете абсолютно все новые метрики проиграли метрике 2016 года... 🥲
А делать что-то надо. Свежая ситуация: жена переслала видео со словами "ты только посмотри!!!", я посмотрел "офигеть!!!". И спасло только то, что мне по должности положено интеллектуально видео анализировать 😉 и я привычно еще раз запустил. И на втором просмотре увидел логотип Sora, который никто даже не пытался скрывать... 🙈🙊🤷♂️ Мать-мать-мать... Это к вопросу о том, как устроено внимание человека... 🤷♂️
Наиболее подвержены обману с большой вероятностью будут молодые и пожилые (это статистика). И есть большие резервы по улучшению ситуации. Например, я не раз от молодых слышал "верить ничему нельзя!". Др. Хаус был, конечно, прав "Все врут!", но это не означает, что надо переставать верить людям))) Да, послушав на суде выступления четырех людей об одном ДТП, перестаешь верить историкам. 😉 Но 100% вера им точно глупость.
Я в какой-то момент всех студентов, которые к нам шли, заставлял посмотреть отличную лекцию Алексея Каптерева "Критическое мышление". Если ее применять (желательно не только в науке, но и в жизни), это крайне полезная смена майндсета.
Чего и всем желаю! 😁
@vgcourse
На этой неделе по приглашению замечательного человека Александра Гасникова побывал на записи передачи "Вопрос науки" на Россия-24. Мы занялись довольно нетривиальной темой тестирования детекторов дипфейков. Она, как ни странно, имеет много общего с тестированием метрик и, что важнее, хорошо пересекается с темой состязательных атак. 🤓
Во-первых, генеративный контент помечается тремя способами. Это логотип (убиранием которых мы занимались и довольно давно, и относительно недавно), далее идёт классическая метка на уровне сигнала и/или метка на уровне эмбеддингов. На глаз видна только первая, естественно. Эффективно удалять можно все три. Давние читатели помнят, как год назад я писал про наше 5 место в челлендже в рамках NeurIPS-24 "Erasing the Invisible: A Stress-test challenge for Image Watermarking", в котором 77 команд соревновалось в удалении вотермарка, в том числе, когда алгоритм внесения которого был неизвестен (что, очевидно, намного сложнее). По факту удалить сегодня можно любой вотермарк. Вопрос, как сделать это наименее заметным для пользователя образом (на тему чего и идёт вполне себе успешная работа). И там много интересного, например, сегодня стало возможно подменять объекты в видео (буквально в один промпт) и если объект занимал заметную долю кадра, это выносит оба вида незаметных водяных знаков, причём с точки зрения пользователя результат будет высокого качества. Также сильно пожать никто не мешает, это тоже эффективно работает и довольно лояльно воспринимается. 🤷♂️🤔🧐
Во-вторых, можно пытаться детектировать неидеальность генеративного контента. 6 пальцев, неестественное движение, пропадание объектов и т.п. Тема имеет очень высокую сложность и сейчас активно развивается (параллельно впечатляющему развитию методов генерации, впрочем). 😉
В передаче этого почти не будет. Это телевизор и задача была, что было понятно каждой бабушке. Я очень старался, но все равно если бы я платил 10$ за каждое непонятное средней бабушке слово, запись обошлась бы мне в заметную сумму 😂🤣😂
А сделать понятно важно. С большой вероятностью в следующем году мы все столкнемся с мощным потоком дипфейков. Причём как на уровне СМИ (которые будут их нести, не разобравшись или сознательно), так и на персональном уровне, когда дипфейки массово освоят мошенники и начнут приходить кружочки с запросом денег от друзей и знакомых. Массово. И простой защиты от этого не будет (что, собственно, мы и планируем показать, заодно подсветив наиболее удачные подходы к детектированию). Глобально в этом соревновании меча и щита на ближайшие несколько лет щит практически обречён проигрывать (оставим оговорку на случай какого-нибудь чуда). 😉
Мы замахнулись на самый крупный академический датасет сгенерированного контента (если успеем быстро двигаться в этом суровом соревновании на скорость с китайцами). И с большой вероятностью повторится ситуация с нашим датасетом метрик, когда на крупном датасете абсолютно все новые метрики проиграли метрике 2016 года... 🥲
А делать что-то надо. Свежая ситуация: жена переслала видео со словами "ты только посмотри!!!", я посмотрел "офигеть!!!". И спасло только то, что мне по должности положено интеллектуально видео анализировать 😉 и я привычно еще раз запустил. И на втором просмотре увидел логотип Sora, который никто даже не пытался скрывать... 🙈🙊🤷♂️ Мать-мать-мать... Это к вопросу о том, как устроено внимание человека... 🤷♂️
Наиболее подвержены обману с большой вероятностью будут молодые и пожилые (это статистика). И есть большие резервы по улучшению ситуации. Например, я не раз от молодых слышал "верить ничему нельзя!". Др. Хаус был, конечно, прав "Все врут!", но это не означает, что надо переставать верить людям))) Да, послушав на суде выступления четырех людей об одном ДТП, перестаешь верить историкам. 😉 Но 100% вера им точно глупость.
Я в какой-то момент всех студентов, которые к нам шли, заставлял посмотреть отличную лекцию Алексея Каптерева "Критическое мышление". Если ее применять (желательно не только в науке, но и в жизни), это крайне полезная смена майндсета.
Чего и всем желаю! 😁
@vgcourse