🧠 Доверяй, но проверяй!
Периодически в своей деятельности использую различные ИИ-инструменты для получения выжимки информации в виде компиляции из источников или для написания кода. В обоих случаях ИИ уже не доверяю, и этому есть веская причина.
Вчера в очередной раз вспоминал нормативку по ИБ 📖, а конкретно — случаи обязательного применения сертифицированных СЗИ 🔐 для защиты ИСПДн в коммерции. Не подтвердил однозначно свои выводы и решил позвать на помощь ИИ. И тут началось самое интересное.
На все мои запросы ИИ давал однозначный ответ в необходимости применения сертифицированных СЗИ и приводил цитаты из 21 приказа ФСТЭК. Причем в самом приказе такого текста просто не было.
Я использовал несколько нейронок, и они все давали свои ответы в схожем ключе, приводя разные выдуманные нормы документов 🤬.
Сразу вспомнился случай, когда у криптана украли более $2,2 млн через фишинговый сайт, который ChatGPT 🎑выдавал в качестве ответа на вопрос, где обменять $FLR.
Или уж совсем удивительный случай безалаберности юристов — Верховный суд РФ признал неуважением к правосудию бездумное использование документов, сгенерированных нейросетью. Юристы должны нести ответственность за ложь и ошибки ИИ.
Поэтому давайте не будем забывать, что ИИ — это не панацея и замена работнику, а только инструмент. В работе ИБ такие ошибки теперь будут встречаться все чаще и чаще, например:
⏺Фантомные зависимости. Нейросеть может порекомендовать для вашего проекта несуществующую библиотеку. Злоумышленники мониторят популярные паттерны запросов к LLM и заблаговременно регистрируют такие пакеты в публичных репозиториях с внедренным вредоносным полезным нагрузками.
⏺Иллюзия безопасности в коде. Скрипты автоматизации, правила для фаерволов и др., написанные ИИ, часто содержат скрытые дефекты — жестко зашитые секреты, устаревшие криптографические алгоритмы или избыточные привилегии, которые модель подает как хороший вариант.
⏺Вымышленные эксплойты и CVE. При реверс-инжиниринге или поиске векторов атак модель способна сгенерировать красивый, но полностью фальшивый номер CVE или описать несуществующую уязвимость функции, уводя вас по ложному следу во время инцидента.
⏺Галлюцинации при разборе логов. Загружая дампы трафика, дампы памяти или выгрузки из SIEM-систем на анализ в LLM, легко столкнуться с тем, что модель пропускает критическую аномалию или, напротив, принимает легитимный системный сбой за целенаправленную атаку.
При этом для некоторых задач ее галлюцинации нам и не важны. Например, при генерации картинок (как в этом посте) и видео, где постоянно попадаются то пятая нога у животного, то что-то выдуманное. Но для непрофессионального использования «сойдет».
Нейросети всегда идут по пути наименьшего сопротивления, если им не указать что-то конкретное в промте. Поэтому доверять им что-то ответственное без перепроверки — это лотерея, где на кону стоит ваша безопасность и репутация. LLM оптимизированы под правдоподобность текста, а не под фактическую истину. Они не «знают» матчасть, а прогнозируют статистически вероятные цепочки токенов, из-за чего формулируют опасные ошибки с абсолютной, железобетонной уверенностью.
💬 ИИ — это эффективный ко-пилот, ускоряющий рутину, но финальная ответственность остается на человеке. Готовьте ИИ правильно!
📖 InfoSec Context | TG | Max | Web
Периодически в своей деятельности использую различные ИИ-инструменты для получения выжимки информации в виде компиляции из источников или для написания кода. В обоих случаях ИИ уже не доверяю, и этому есть веская причина.
Вчера в очередной раз вспоминал нормативку по ИБ 📖, а конкретно — случаи обязательного применения сертифицированных СЗИ 🔐 для защиты ИСПДн в коммерции. Не подтвердил однозначно свои выводы и решил позвать на помощь ИИ. И тут началось самое интересное.
На все мои запросы ИИ давал однозначный ответ в необходимости применения сертифицированных СЗИ и приводил цитаты из 21 приказа ФСТЭК. Причем в самом приказе такого текста просто не было.
Я использовал несколько нейронок, и они все давали свои ответы в схожем ключе, приводя разные выдуманные нормы документов 🤬.
Сразу вспомнился случай, когда у криптана украли более $2,2 млн через фишинговый сайт, который ChatGPT 🎑выдавал в качестве ответа на вопрос, где обменять $FLR.
Или уж совсем удивительный случай безалаберности юристов — Верховный суд РФ признал неуважением к правосудию бездумное использование документов, сгенерированных нейросетью. Юристы должны нести ответственность за ложь и ошибки ИИ.
Поэтому давайте не будем забывать, что ИИ — это не панацея и замена работнику, а только инструмент. В работе ИБ такие ошибки теперь будут встречаться все чаще и чаще, например:
⏺Фантомные зависимости. Нейросеть может порекомендовать для вашего проекта несуществующую библиотеку. Злоумышленники мониторят популярные паттерны запросов к LLM и заблаговременно регистрируют такие пакеты в публичных репозиториях с внедренным вредоносным полезным нагрузками.
⏺Иллюзия безопасности в коде. Скрипты автоматизации, правила для фаерволов и др., написанные ИИ, часто содержат скрытые дефекты — жестко зашитые секреты, устаревшие криптографические алгоритмы или избыточные привилегии, которые модель подает как хороший вариант.
⏺Вымышленные эксплойты и CVE. При реверс-инжиниринге или поиске векторов атак модель способна сгенерировать красивый, но полностью фальшивый номер CVE или описать несуществующую уязвимость функции, уводя вас по ложному следу во время инцидента.
⏺Галлюцинации при разборе логов. Загружая дампы трафика, дампы памяти или выгрузки из SIEM-систем на анализ в LLM, легко столкнуться с тем, что модель пропускает критическую аномалию или, напротив, принимает легитимный системный сбой за целенаправленную атаку.
При этом для некоторых задач ее галлюцинации нам и не важны. Например, при генерации картинок (как в этом посте) и видео, где постоянно попадаются то пятая нога у животного, то что-то выдуманное. Но для непрофессионального использования «сойдет».
Нейросети всегда идут по пути наименьшего сопротивления, если им не указать что-то конкретное в промте. Поэтому доверять им что-то ответственное без перепроверки — это лотерея, где на кону стоит ваша безопасность и репутация. LLM оптимизированы под правдоподобность текста, а не под фактическую истину. Они не «знают» матчасть, а прогнозируют статистически вероятные цепочки токенов, из-за чего формулируют опасные ошибки с абсолютной, железобетонной уверенностью.
💬 ИИ — это эффективный ко-пилот, ускоряющий рутину, но финальная ответственность остается на человеке. Готовьте ИИ правильно!
📖 InfoSec Context | TG | Max | Web