🔐 Стартап придумал, как проверять ИИ-агентов до их допуска к работе
Чем умнее и автономнее становятся ИИ-агенты, тем сложнее компаниям заранее понять, как они поведут себя после получения доступа к корпоративным данным и системам. На этом решил построить бизнес стартап Artificial Intelligence Underwriting Company (AIUC), основанный бывшим сотрудником Anthropic Руне Квистом и экс-операционным директором организации по безопасности ИИ METR Радживом Даттани.
🛡 AIUC создал независимую систему аудита и сертификации ИИ-агентов, взяв за основу подход, давно используемый в кибербезопасности. Компания разработала стандарт AIUC-1, требования которого сформировали вместе примерно с 250 руководителями в области безопасности и управления рисками.
Перед сертификацией ИИ-агент проходит около 5 000 тестов. Его проверяют на устойчивость к jailbreak-атакам, галлюцинациям, утечкам данных и другим потенциально опасным сценариям. После проверки заказчик получает отчет примерно на 100 страниц, где указано, в каких ситуациях агент работает надежно, а где сохраняются риски. Интересно, что значительную часть тестирования выполняют другие ИИ-агенты, однако итоговый аудит подтверждают люди.
🏦 Основатели считают, что для банков, больниц, государственных организаций и других крупных заказчиков главным препятствием для внедрения ИИ становится уже не недостаток возможностей моделей, а невозможность гарантировать их поведение. Независимый аудит должен дать компаниям дополнительный инструмент для оценки таких систем перед предоставлением им доступа к реальным процессам и данным.
Идея уже привлекла серьезный капитал: AIUC получил $40 млн в раунде Series A, а общий объем привлеченных инвестиций достиг $55 млн. Среди клиентов стартап называет Cursor, Lovable, Harvey и ElevenLabs.
Так вокруг развития ИИ начинает формироваться отдельный рынок контроля и независимой проверки ИИ-систем. Чем больше решений компании передают автономным агентам, тем выше спрос на инструменты, которые позволяют проверить их поведение до того, как ошибка произойдет в реальной инфраструктуре.
#СтартапФокус
Чем умнее и автономнее становятся ИИ-агенты, тем сложнее компаниям заранее понять, как они поведут себя после получения доступа к корпоративным данным и системам. На этом решил построить бизнес стартап Artificial Intelligence Underwriting Company (AIUC), основанный бывшим сотрудником Anthropic Руне Квистом и экс-операционным директором организации по безопасности ИИ METR Радживом Даттани.
🛡 AIUC создал независимую систему аудита и сертификации ИИ-агентов, взяв за основу подход, давно используемый в кибербезопасности. Компания разработала стандарт AIUC-1, требования которого сформировали вместе примерно с 250 руководителями в области безопасности и управления рисками.
Перед сертификацией ИИ-агент проходит около 5 000 тестов. Его проверяют на устойчивость к jailbreak-атакам, галлюцинациям, утечкам данных и другим потенциально опасным сценариям. После проверки заказчик получает отчет примерно на 100 страниц, где указано, в каких ситуациях агент работает надежно, а где сохраняются риски. Интересно, что значительную часть тестирования выполняют другие ИИ-агенты, однако итоговый аудит подтверждают люди.
🏦 Основатели считают, что для банков, больниц, государственных организаций и других крупных заказчиков главным препятствием для внедрения ИИ становится уже не недостаток возможностей моделей, а невозможность гарантировать их поведение. Независимый аудит должен дать компаниям дополнительный инструмент для оценки таких систем перед предоставлением им доступа к реальным процессам и данным.
Идея уже привлекла серьезный капитал: AIUC получил $40 млн в раунде Series A, а общий объем привлеченных инвестиций достиг $55 млн. Среди клиентов стартап называет Cursor, Lovable, Harvey и ElevenLabs.
Так вокруг развития ИИ начинает формироваться отдельный рынок контроля и независимой проверки ИИ-систем. Чем больше решений компании передают автономным агентам, тем выше спрос на инструменты, которые позволяют проверить их поведение до того, как ошибка произойдет в реальной инфраструктуре.
#СтартапФокус