Игорь Бедеров. Полезные советы от Шерлока Холмса цифровой эпохи
Если вы друг не знаете кто это, просто оставим тут небольшой фрагмент его биографии на Рувики: «Основатель российской компании «Интернет-Розыск», руководитель департамента информационно-аналитических исследований компании T.Hunter, общественный деятель, изобретатель, популяризатор внедрения инноваций в правоохранительную деятельность». С нами же Игорь Бедеров поделился мнением о том, как относиться к искусственному интеллекту в контексте безопасности.
🔹У многих и у людей, и у компаний есть страх доверить ИИ-агенту реальные действия. Насколько он оправдан?
Конечно, страх оправдан, если это не просто эмоции, а трезвый расчёт. Я бы назвал его профессиональной осторожностью. Мы же отдаём программе не вычисления, а право действовать. Например, провести банковский платёж или управлять физическим устройством. Это меняет саму конструкцию доверия, что естественно пугает. Доверие, ключевая история, с которой нам еще предстоит разбираться.
🔹Получается, агент это и правда сотрудник, который работает без приказа?
Я бы не сказал, что ИИ-агент сотрудник без приказа, может быть отчасти. Скорее сотрудник, который выполняет ваш приказ, пропустив его через математическую модель и вероятностный прогноз. С живым подчинённым выручает общий контекст. Он понимает, что вы имели в виду, а не только то, что сказали. У нейросети нет ни интуиции, ни картины мира. Поэтому она способна найти математически безупречное решение, которое при этом может привести к катастрофе.
🔹Какие задачи можно доверить ИИ полностью, а где обязательно нужен человек?
Полностью доверить можно только рутину. То есть процессы с низкой неопределённостью и закрытым контуром решений, где ошибка не фатальна. Плюс строго регламентированные технические операции. Всё. Как только появляются правовые последствия, этические дилеммы или физическая безопасность человек всё еще незаменим. ИИ не может быть судьёй, следователем или врачом, за которым последнее слово. Это уже вопрос не технологий, а ответственности.
🔹Поговорим о непосредственно безопасности. Существуют атаки, которые точечно нарушают работу ИИ и заставляют его принимать неверные решения. Насколько такие уязвимости критичны для систем и бизнеса?
Мы привыкли, что взлом это, когда злоумышленник ломает код. В нашем примере код цел. Атакуют не логику системы, а её восприятие реальности. И это самое неприятное, так как такую атаку почти невозможно обнаружить постфактум. Для бизнеса это катастрофа, потому что доверие к прогнозам рушится мгновенно, а перепроверка данных растягивается на месяцы. Хуже того, подрывается сама основа внедрения ИИ. А именно тезис, что автоматическому выводу можно доверять.
🔹Если смотреть глобально: ИИ создаёт принципиально новые угрозы или масштабирует старые?
И то, и другое. Старое он разгоняет до промышленных масштабов: фишинг стал безупречно грамотным, социальная инженерия прицельной, фейки штампуются конвейером. Но есть и качественный скачок. Модель синтезирует знание, которое человек в неё не закладывал. Уязвимости рождаются в самой логике её рассуждений, а галлюцинации складываются в систему.
И ещё исчезает атрибуция, то есть установление источника атаки. Раньше мы искали конкретного хакера, человека, личность. Теперь же перед нами «автономное оружие», агент, который сам адаптировал вредоносный код. Для права это серая зона. Поэтому наша задача на сегодняшний день не плодить «сотрудников без приказа», а вырастить идеального исполнителя: сверхбыстрого, но полностью поднадзорного, чей код мышления мы понимаем и контролируем.
💙ВКонтакте | 👋 INVENTORUS
Если вы друг не знаете кто это, просто оставим тут небольшой фрагмент его биографии на Рувики: «Основатель российской компании «Интернет-Розыск», руководитель департамента информационно-аналитических исследований компании T.Hunter, общественный деятель, изобретатель, популяризатор внедрения инноваций в правоохранительную деятельность». С нами же Игорь Бедеров поделился мнением о том, как относиться к искусственному интеллекту в контексте безопасности.
🔹У многих и у людей, и у компаний есть страх доверить ИИ-агенту реальные действия. Насколько он оправдан?
Конечно, страх оправдан, если это не просто эмоции, а трезвый расчёт. Я бы назвал его профессиональной осторожностью. Мы же отдаём программе не вычисления, а право действовать. Например, провести банковский платёж или управлять физическим устройством. Это меняет саму конструкцию доверия, что естественно пугает. Доверие, ключевая история, с которой нам еще предстоит разбираться.
🔹Получается, агент это и правда сотрудник, который работает без приказа?
Я бы не сказал, что ИИ-агент сотрудник без приказа, может быть отчасти. Скорее сотрудник, который выполняет ваш приказ, пропустив его через математическую модель и вероятностный прогноз. С живым подчинённым выручает общий контекст. Он понимает, что вы имели в виду, а не только то, что сказали. У нейросети нет ни интуиции, ни картины мира. Поэтому она способна найти математически безупречное решение, которое при этом может привести к катастрофе.
🔹Какие задачи можно доверить ИИ полностью, а где обязательно нужен человек?
Полностью доверить можно только рутину. То есть процессы с низкой неопределённостью и закрытым контуром решений, где ошибка не фатальна. Плюс строго регламентированные технические операции. Всё. Как только появляются правовые последствия, этические дилеммы или физическая безопасность человек всё еще незаменим. ИИ не может быть судьёй, следователем или врачом, за которым последнее слово. Это уже вопрос не технологий, а ответственности.
🔹Поговорим о непосредственно безопасности. Существуют атаки, которые точечно нарушают работу ИИ и заставляют его принимать неверные решения. Насколько такие уязвимости критичны для систем и бизнеса?
Мы привыкли, что взлом это, когда злоумышленник ломает код. В нашем примере код цел. Атакуют не логику системы, а её восприятие реальности. И это самое неприятное, так как такую атаку почти невозможно обнаружить постфактум. Для бизнеса это катастрофа, потому что доверие к прогнозам рушится мгновенно, а перепроверка данных растягивается на месяцы. Хуже того, подрывается сама основа внедрения ИИ. А именно тезис, что автоматическому выводу можно доверять.
🔹Если смотреть глобально: ИИ создаёт принципиально новые угрозы или масштабирует старые?
И то, и другое. Старое он разгоняет до промышленных масштабов: фишинг стал безупречно грамотным, социальная инженерия прицельной, фейки штампуются конвейером. Но есть и качественный скачок. Модель синтезирует знание, которое человек в неё не закладывал. Уязвимости рождаются в самой логике её рассуждений, а галлюцинации складываются в систему.
И ещё исчезает атрибуция, то есть установление источника атаки. Раньше мы искали конкретного хакера, человека, личность. Теперь же перед нами «автономное оружие», агент, который сам адаптировал вредоносный код. Для права это серая зона. Поэтому наша задача на сегодняшний день не плодить «сотрудников без приказа», а вырастить идеального исполнителя: сверхбыстрого, но полностью поднадзорного, чей код мышления мы понимаем и контролируем.
💙ВКонтакте | 👋 INVENTORUS