- GPT модели предвзяты?
- Да, конечно.
- Но мы продолжим их использовать?
- Да, конечно.
На Saint Highload в Санкт-Петербурге Артём Бачевский, руководитель Центра безопасности сред исполнения МТС RED, рассказал о генеративных моделях в кибербезопасности и IT.
На каждом этапе работы с моделью – от обучения до эксплуатации – нужен человек, чтобы проверять того, кому мы собираемся доверять. Во многих задачах GPT3+ модели облегчают жизнь, но стоит помнить об их особенностях, чтобы они её не усложнили. А особенности такие:
Предвзятость
У GPT моделей нет собственного мнения, они отражают мнение своих тренеров, в том числе политические взгляды.
Неактуальность данных
Модели обучались на данных прошлых лет и разрыв с актуальными знаниями может быть существенным (годы!). И не все модели дообучаются, а информация сейчас устаревает стремительно.
Утечки информации
Когда мы используем генеративные модели, мы должны быть готовыми к тому, что наши данные могут утечь. Это риски при передаче приватных данных, содержащих коммерческие, банковские или любые другие тайны.
False positive
Модели – безбожные подхалимы. Не зная правильного ответа, они сгенерируют максимально правдоподобный, лишь бы вам угодить.
P.S. Обычно Артём рассказывает о нейросетях и кибербезе в своём канале @moseedo.
P.P.S. Жена всегда права.
- Да, конечно.
- Но мы продолжим их использовать?
- Да, конечно.
На Saint Highload в Санкт-Петербурге Артём Бачевский, руководитель Центра безопасности сред исполнения МТС RED, рассказал о генеративных моделях в кибербезопасности и IT.
На каждом этапе работы с моделью – от обучения до эксплуатации – нужен человек, чтобы проверять того, кому мы собираемся доверять. Во многих задачах GPT3+ модели облегчают жизнь, но стоит помнить об их особенностях, чтобы они её не усложнили. А особенности такие:
Предвзятость
У GPT моделей нет собственного мнения, они отражают мнение своих тренеров, в том числе политические взгляды.
Неактуальность данных
Модели обучались на данных прошлых лет и разрыв с актуальными знаниями может быть существенным (годы!). И не все модели дообучаются, а информация сейчас устаревает стремительно.
Утечки информации
Когда мы используем генеративные модели, мы должны быть готовыми к тому, что наши данные могут утечь. Это риски при передаче приватных данных, содержащих коммерческие, банковские или любые другие тайны.
False positive
Модели – безбожные подхалимы. Не зная правильного ответа, они сгенерируют максимально правдоподобный, лишь бы вам угодить.
P.S. Обычно Артём рассказывает о нейросетях и кибербезе в своём канале @moseedo.
P.P.S. Жена всегда права.