Автоматизированная оценка рисков утечки данных из ML-моделей 🔍
Исследователи из CTC и USMA представили конвейер для анализа атак инверсии. Model Inversion Attack позволяет восстанавливать чувствительные данные из обученной сети, угрожая приватности (классика - MI-Face 🤦♀️).
Конвейер использует Vision Language Models (CLIP, BLIP2, InstructBLIP), чтобы автоматически оценивать качество реконструированных изображений. Вводятся 4 метрики:
1️⃣ Quality Loss — насколько картинка «шумная» по сравнению с оригиналом
2️⃣ Feature Loss - сходство признаков по эмбедингам.
3️⃣ Label Loss - вероятность совпадения класса.
4️⃣ Model Stealing Loss - риск, что извлечённая модель копирует поведение оригинала.
Все метрики агрегируются в WCAL (Weighted Composite Accuracy Loss). Риск считается низким при 65%.
Эксперименты показали следующее. VGG16 течёт данными сильнее, чем ResNet50, а GMI-атаки (GAN-based) эффективнее простых Feature Visualization (Lucent для PyTorch). Fine-tuning VLM и GAN на специфичных доменах (например, военная техника Military Vehicles dataset) повышает точность оценки риска.
📈Для тестов использовали датасеты STL-10 и Military Vehicles; модели — VGG16, MobileNetV2, ResNet50.
📌 Хороший обзор теории model inversion: OWASP/NIST, StartupDefense.
💭 Моё мнение
Главный инсайт - приватность в ML-моделях дырявая по умолчанию. Один хороший GMI-атакующий вытащит из VGG16 куда больше, чем мы привыкли думать. WCAL как индикатор риска - это мощный шаг, так ккк теперь утечки можно мерить не на глаз.
Но вывод в целом тревожный, если твоя модель тренируется на чувствительных данных и ты не проверяешь её на инверсию, считай, что эти данные уже наполовину скомпрометированы.
Исследователи из CTC и USMA представили конвейер для анализа атак инверсии. Model Inversion Attack позволяет восстанавливать чувствительные данные из обученной сети, угрожая приватности (классика - MI-Face 🤦♀️).
Конвейер использует Vision Language Models (CLIP, BLIP2, InstructBLIP), чтобы автоматически оценивать качество реконструированных изображений. Вводятся 4 метрики:
1️⃣ Quality Loss — насколько картинка «шумная» по сравнению с оригиналом
2️⃣ Feature Loss - сходство признаков по эмбедингам.
3️⃣ Label Loss - вероятность совпадения класса.
4️⃣ Model Stealing Loss - риск, что извлечённая модель копирует поведение оригинала.
Все метрики агрегируются в WCAL (Weighted Composite Accuracy Loss). Риск считается низким при 65%.
Эксперименты показали следующее. VGG16 течёт данными сильнее, чем ResNet50, а GMI-атаки (GAN-based) эффективнее простых Feature Visualization (Lucent для PyTorch). Fine-tuning VLM и GAN на специфичных доменах (например, военная техника Military Vehicles dataset) повышает точность оценки риска.
📈Для тестов использовали датасеты STL-10 и Military Vehicles; модели — VGG16, MobileNetV2, ResNet50.
📌 Хороший обзор теории model inversion: OWASP/NIST, StartupDefense.
💭 Моё мнение
Главный инсайт - приватность в ML-моделях дырявая по умолчанию. Один хороший GMI-атакующий вытащит из VGG16 куда больше, чем мы привыкли думать. WCAL как индикатор риска - это мощный шаг, так ккк теперь утечки можно мерить не на глаз.
Но вывод в целом тревожный, если твоя модель тренируется на чувствительных данных и ты не проверяешь её на инверсию, считай, что эти данные уже наполовину скомпрометированы.