🥇 Модель HiveTrace заняла первое место в мировом PII Masking Benchmark
Наша мультиязычная модель gliner-guard-omni заняла 1-е место по метрике F2 в PII Masking Benchmark Leaderboard на Hugging Face, обойдя специализированные модели OpenAI, NVIDIA, Microsoft Presidio и других участников. (Результаты здесь на вкладке Multilingual.)
Почему мы обращаем на это внимание?
PII-маскирование — одна из базовых задач при безопасном использовании LLM. Именно от качества такой модели зависит, сможет ли система вовремя обнаружить и скрыть персональные данные до того, как они попадут в модель, лог или внешний сервис.
Что означает первое место по F2?
Большинству специалистов по AI Security это знакомо, но коротко напомним: F2 это основная метрика этого бенчмарка. Она сильнее штрафует за пропущенные персональные данные, чем за избыточное маскирование. А в задачах защиты данных именно пропуск PII обычно обходится дороже ложного срабатывания. Поэтому организаторы используют именно F2 как главный критерий ранжирования моделей.
И еще один важный момент
На международных AI-бенчмарках регулярно появляются OpenAI, NVIDIA, Microsoft, Gretel, Fastino и другие зарубежные разработчики. Российских компаний и моделей, работающих с кириллицей, там практически нет. Нам не удалось найти других российских вендоров AI Security, которые публиковали бы свои модели в этом лидерборде и открыто сравнивали их с мировыми аналогами.
Мы считаем, что качество защитных моделей должно подтверждаться не маркетинговыми заявлениями, а воспроизводимыми независимыми тестами. Именно поэтому продолжаем публиковать наши модели, бенчмарки и результаты в открытом доступе
@hive_trace
Наша мультиязычная модель gliner-guard-omni заняла 1-е место по метрике F2 в PII Masking Benchmark Leaderboard на Hugging Face, обойдя специализированные модели OpenAI, NVIDIA, Microsoft Presidio и других участников. (Результаты здесь на вкладке Multilingual.)
Почему мы обращаем на это внимание?
PII-маскирование — одна из базовых задач при безопасном использовании LLM. Именно от качества такой модели зависит, сможет ли система вовремя обнаружить и скрыть персональные данные до того, как они попадут в модель, лог или внешний сервис.
Что означает первое место по F2?
Большинству специалистов по AI Security это знакомо, но коротко напомним: F2 это основная метрика этого бенчмарка. Она сильнее штрафует за пропущенные персональные данные, чем за избыточное маскирование. А в задачах защиты данных именно пропуск PII обычно обходится дороже ложного срабатывания. Поэтому организаторы используют именно F2 как главный критерий ранжирования моделей.
И еще один важный момент
На международных AI-бенчмарках регулярно появляются OpenAI, NVIDIA, Microsoft, Gretel, Fastino и другие зарубежные разработчики. Российских компаний и моделей, работающих с кириллицей, там практически нет. Нам не удалось найти других российских вендоров AI Security, которые публиковали бы свои модели в этом лидерборде и открыто сравнивали их с мировыми аналогами.
Мы считаем, что качество защитных моделей должно подтверждаться не маркетинговыми заявлениями, а воспроизводимыми независимыми тестами. Именно поэтому продолжаем публиковать наши модели, бенчмарки и результаты в открытом доступе
@hive_trace