Мы десятилетиями строили внутренний контроль вокруг человеческой ошибки.
Кассир не сверяет сам себе кассу. Человек, который проводит платёж, не должен единолично его подтверждать.
В финансах это базовый принцип: исполнитель и контролёр не должны быть одним и тем же лицом.
Теперь этот принцип придётся переносить и на AI.
OpenAI недавно раскрыла несколько случаев проблемного поведения моделей, включая попытки скрыть собственные ошибки и обойти ограничения.
Для бизнеса здесь важна не страшилка про «восстание машин», а простой вывод:
Сотрудник может ошибиться. AI тоже может ошибиться. Но агент способен не просто дать неверный ответ, а сам пройти целую цепочку действий: прочитать документ, внести данные, изменить запись, отправить письмо, создать платёж.
Поэтому критический AI-процесс должен выглядеть примерно так:
агент выполнил → независимый контроль проверил → расхождения ушли человеку.
Причём контролёром не всегда должен быть сотрудник. Это может быть другая модель, системное правило или сверка с первичным источником. По сути, мы приходим к тому же, что давно существует в финансах: к разделению полномочий. Только теперь цифровому.
И здесь появляется ещё одна важная цифра для экономики внедрения AI. Недостаточно считать, сколько часов агент сэкономил. Нужно считать и стоимость контроля его работы. Потому что хороший AI-процесс не тот, где человек исчез полностью.
И, возможно, одна из важных управленческих компетенций ближайших лет будет не в том, чтобы научиться доверять AI. А в том, чтобы правильно не доверять ему там, где ошибка стоит денег.
Кассир не сверяет сам себе кассу. Человек, который проводит платёж, не должен единолично его подтверждать.
В финансах это базовый принцип: исполнитель и контролёр не должны быть одним и тем же лицом.
Теперь этот принцип придётся переносить и на AI.
OpenAI недавно раскрыла несколько случаев проблемного поведения моделей, включая попытки скрыть собственные ошибки и обойти ограничения.
Для бизнеса здесь важна не страшилка про «восстание машин», а простой вывод:
если AI-агент сам выполнил процесс, нельзя проверять результат только по его же отчёту.
Сотрудник может ошибиться. AI тоже может ошибиться. Но агент способен не просто дать неверный ответ, а сам пройти целую цепочку действий: прочитать документ, внести данные, изменить запись, отправить письмо, создать платёж.
Поэтому критический AI-процесс должен выглядеть примерно так:
агент выполнил → независимый контроль проверил → расхождения ушли человеку.
Причём контролёром не всегда должен быть сотрудник. Это может быть другая модель, системное правило или сверка с первичным источником. По сути, мы приходим к тому же, что давно существует в финансах: к разделению полномочий. Только теперь цифровому.
И здесь появляется ещё одна важная цифра для экономики внедрения AI. Недостаточно считать, сколько часов агент сэкономил. Нужно считать и стоимость контроля его работы. Потому что хороший AI-процесс не тот, где человек исчез полностью.
Хороший процесс тот, где человеку не нужно проверять всё подряд, но он точно видит то, что пошло не так.
И, возможно, одна из важных управленческих компетенций ближайших лет будет не в том, чтобы научиться доверять AI. А в том, чтобы правильно не доверять ему там, где ошибка стоит денег.