🖥Идеологизация нейронок и включение мозгов
Три недели тому назад тихо и практически без шума под занавес самого, пока что, реакционного созыва Государственной Думы был принят "Закон о поддержке развития технологий искусственного интеллекта". Все мы с вами хорошо знаем, что как только наша власть прикасается к чему-нибудь, это быстро становится коррупционной кормушкой и превращается в дерьмо. Видимо, и отечественные нейросети теперь ожидает та же самая участь.
👴 Вообще, тема с регулированием ИИ сейчас очень модная — все страны постепенно идут по этому пути, кто-то быстрее, кто-то медленнее, и задачи этого регулирования, конечно же, восходят к приоритетным задачам, которое для себя определяет тот или иной режим. Это ещё один камушек в огород тех, кто надеется, что ИИ сможет преодолеть цензуру и любые ограничения на распространение информации. Коль скоро государство было, есть и остаётся машиной классового угнетения, которое использует как репрессивные, так и идеологические (о чём часто забывают) инструменты удержания власти господствующего класса, то и нейросети в конечном итоге окажутся одним из таких инструментов.
🤖 Мы с вами хорошо знаем, что если DeepSeek'у, ChatGPT и Grok'у задать вопрос политического характера, то мы получим довольно-таки разные ответы. Год тому назад был скандал с нацистскими взглядами Grok Илона Маска — погуглите. Ситуация, однако, показала одну уязвимость нейросетей: главное — не то, что вы спрашиваете, а то, как вы про это спрашиваете.
Но вернёмся к нашим баранам. Наконец-то постепенно становится ясным, какие конкретные механизмы будут использованы для "поддержки ИИ".
🔒 Стало известно, что российские IT-компании с одобрения Минцифры(!) смогут передавать свои языковые модели в независимую испытательную лабораторию, где их будут проверять на соответствие требованиям закона и «традиционным духовно-нравственным ценностям».
Сам закон пока носит рамочный характер, поэтому именно через подобные процедуры, закреплённые в подзаконных актах, и будет складываться реальная система регулирования ИИ.
🟥 Первое слабое место возникает ещё до того, как модель вообще начинает отвечать. Соответствие «традиционным ценностям» предполагается определять по результатам генерации LLM. Но ответ нейросети напрямую зависит от формулировки запроса: как мы уже упомянули, один и тот же вопрос можно задать десятками разных способов и получить совершенно разные результаты.
Кто и по каким критериям будет оценивать корректность самих тестовых промптов, пока непонятно. Более того, по данным источников, отдельно планируется проверять возможность обхода внутренних ограничений моделей с помощью промпт-инъекций. Но это уже скорее испытание системы безопасности, чем проверка идеологического содержания ответов. В итоге в одной процедуре могут оказаться смешаны совершенно разные задачи.
🟥 Чем расплывчатее критерии проверки, тем сложнее добиться воспроизводимого результата. Одна и та же модель способна по-разному ответить даже на близкие по смыслу запросы, а два эксперта могут совершенно по-разному трактовать один и тот же ответ.
Для технического регулирования это принципиальная проблема. Разработчик должен заранее понимать, что именно требуется от его продукта, чтобы пройти испытание. Если же итог зависит от субъективной оценки экспертов и толкования таких категорий, как «традиционные ценности», появляется огромная зона неопределённости. В такой системе невозможно точно определить границу между допустимым и недопустимым.
🟥 Одно из конкурентных преимуществ нейросетей в глазах пользователей — представление об их относительной беспристрастности. Образ «бездушной машины», которая не испытывает эмоций и не имеет собственных политических интересов, остаётся важной частью доверия к ИИ.
Что произойдёт, если модель начнут целенаправленно подгонять под заранее установленную идеологическую рамку? Если разработчик будет вынужден добиваться не просто безопасности модели, а «правильности» её ответов с точки зрения определённой системы ценностей возникает вопрос — а нам-то это зачем?
Сможет ли такая модель конкурировать с зарубежными системами, на которые подобные требования не распространяются? Да, сможет, если подавить или резко усложнить для граждан доступ во внешний интернет, т.е. создать ситуацию примерно как с АвтоВАЗом, Рутубом или не к ночи будь помянутым MAX'ом.
🟥 Ну, с государством всё ясно, но ведь мы знаем, что такие "конторы пидорасов", как Яндекс, часто сами бегут впереди паровоза. Для крупных IT-компаний прохождение подобных испытаний будет иметь не только юридическое, но и репутационное значение, поэтому наиболее умным шагом станет перестраховка.
Нетрудно догадаться, что рамки допустимого надёжнее будет сузить, а вот недопустимого — расширить. Так меньше потом будет вони со стороны депутатов-клоунов.
Если существует вероятность, что какой-либо ответ эксперты сочтут неправильным, проще заранее запретить модели отвечать на целый класс вопросов. В результате ограничения неизбежно начнут распространяться гораздо шире непосредственно запрещённого содержания.
♋️ Отдельные признаки этого уже можно увидеть на примере «Алисы AI»: достаточно задать острый политический вопрос, чтобы столкнуться с отказом или максимально уклончивым ответом. Ограничения, разумеется, существуют и у DeepSeek, и у западных моделей, однако степень их силы и круг блокируемых тем различаются.
В итоге возникает парадоксальная ситуация. Под видом повышения надёжности и соответствия ИИ определённым ценностям можно получить модели, которые будут всё хуже выполнять одну из своих основных функций — давать содержательные ответы на сложные и спорные вопросы.
Короче говоря, если так дело пойдёт, в будущем мы подобно тому, как раньше проходили по нескольким ссылкам по запросу, будем у разных нейросетей спрашивать одно и тоже, чтобы как минимум понять, что "не всё так однозначно". И да, для анализа представленной информации придётся включать собственные мозги, а этому факту можно только порадоваться.
Материалы по теме:
🔺Зачем нужны дипломы, когда есть ИИ?
🔺Сокращения из-за ИИ — "полная чушь"?
🔺GigaChat от «Сбера» уступает даже старым версиям ChatGPT от OpenAI и Gemini от Google
☄️Милитант | Подпишись
#размышления #ИИ
Три недели тому назад тихо и практически без шума под занавес самого, пока что, реакционного созыва Государственной Думы был принят "Закон о поддержке развития технологий искусственного интеллекта". Все мы с вами хорошо знаем, что как только наша власть прикасается к чему-нибудь, это быстро становится коррупционной кормушкой и превращается в дерьмо. Видимо, и отечественные нейросети теперь ожидает та же самая участь.
👴 Вообще, тема с регулированием ИИ сейчас очень модная — все страны постепенно идут по этому пути, кто-то быстрее, кто-то медленнее, и задачи этого регулирования, конечно же, восходят к приоритетным задачам, которое для себя определяет тот или иной режим. Это ещё один камушек в огород тех, кто надеется, что ИИ сможет преодолеть цензуру и любые ограничения на распространение информации. Коль скоро государство было, есть и остаётся машиной классового угнетения, которое использует как репрессивные, так и идеологические (о чём часто забывают) инструменты удержания власти господствующего класса, то и нейросети в конечном итоге окажутся одним из таких инструментов.
🤖 Мы с вами хорошо знаем, что если DeepSeek'у, ChatGPT и Grok'у задать вопрос политического характера, то мы получим довольно-таки разные ответы. Год тому назад был скандал с нацистскими взглядами Grok Илона Маска — погуглите. Ситуация, однако, показала одну уязвимость нейросетей: главное — не то, что вы спрашиваете, а то, как вы про это спрашиваете.
Но вернёмся к нашим баранам. Наконец-то постепенно становится ясным, какие конкретные механизмы будут использованы для "поддержки ИИ".
🔒 Стало известно, что российские IT-компании с одобрения Минцифры(!) смогут передавать свои языковые модели в независимую испытательную лабораторию, где их будут проверять на соответствие требованиям закона и «традиционным духовно-нравственным ценностям».
Сам закон пока носит рамочный характер, поэтому именно через подобные процедуры, закреплённые в подзаконных актах, и будет складываться реальная система регулирования ИИ.
🟥 Первое слабое место возникает ещё до того, как модель вообще начинает отвечать. Соответствие «традиционным ценностям» предполагается определять по результатам генерации LLM. Но ответ нейросети напрямую зависит от формулировки запроса: как мы уже упомянули, один и тот же вопрос можно задать десятками разных способов и получить совершенно разные результаты.
Кто и по каким критериям будет оценивать корректность самих тестовых промптов, пока непонятно. Более того, по данным источников, отдельно планируется проверять возможность обхода внутренних ограничений моделей с помощью промпт-инъекций. Но это уже скорее испытание системы безопасности, чем проверка идеологического содержания ответов. В итоге в одной процедуре могут оказаться смешаны совершенно разные задачи.
🟥 Чем расплывчатее критерии проверки, тем сложнее добиться воспроизводимого результата. Одна и та же модель способна по-разному ответить даже на близкие по смыслу запросы, а два эксперта могут совершенно по-разному трактовать один и тот же ответ.
Для технического регулирования это принципиальная проблема. Разработчик должен заранее понимать, что именно требуется от его продукта, чтобы пройти испытание. Если же итог зависит от субъективной оценки экспертов и толкования таких категорий, как «традиционные ценности», появляется огромная зона неопределённости. В такой системе невозможно точно определить границу между допустимым и недопустимым.
🟥 Одно из конкурентных преимуществ нейросетей в глазах пользователей — представление об их относительной беспристрастности. Образ «бездушной машины», которая не испытывает эмоций и не имеет собственных политических интересов, остаётся важной частью доверия к ИИ.
Что произойдёт, если модель начнут целенаправленно подгонять под заранее установленную идеологическую рамку? Если разработчик будет вынужден добиваться не просто безопасности модели, а «правильности» её ответов с точки зрения определённой системы ценностей возникает вопрос — а нам-то это зачем?
Сможет ли такая модель конкурировать с зарубежными системами, на которые подобные требования не распространяются? Да, сможет, если подавить или резко усложнить для граждан доступ во внешний интернет, т.е. создать ситуацию примерно как с АвтоВАЗом, Рутубом или не к ночи будь помянутым MAX'ом.
🟥 Ну, с государством всё ясно, но ведь мы знаем, что такие "конторы пидорасов", как Яндекс, часто сами бегут впереди паровоза. Для крупных IT-компаний прохождение подобных испытаний будет иметь не только юридическое, но и репутационное значение, поэтому наиболее умным шагом станет перестраховка.
Нетрудно догадаться, что рамки допустимого надёжнее будет сузить, а вот недопустимого — расширить. Так меньше потом будет вони со стороны депутатов-клоунов.
Если существует вероятность, что какой-либо ответ эксперты сочтут неправильным, проще заранее запретить модели отвечать на целый класс вопросов. В результате ограничения неизбежно начнут распространяться гораздо шире непосредственно запрещённого содержания.
♋️ Отдельные признаки этого уже можно увидеть на примере «Алисы AI»: достаточно задать острый политический вопрос, чтобы столкнуться с отказом или максимально уклончивым ответом. Ограничения, разумеется, существуют и у DeepSeek, и у западных моделей, однако степень их силы и круг блокируемых тем различаются.
В итоге возникает парадоксальная ситуация. Под видом повышения надёжности и соответствия ИИ определённым ценностям можно получить модели, которые будут всё хуже выполнять одну из своих основных функций — давать содержательные ответы на сложные и спорные вопросы.
Короче говоря, если так дело пойдёт, в будущем мы подобно тому, как раньше проходили по нескольким ссылкам по запросу, будем у разных нейросетей спрашивать одно и тоже, чтобы как минимум понять, что "не всё так однозначно". И да, для анализа представленной информации придётся включать собственные мозги, а этому факту можно только порадоваться.
Материалы по теме:
🔺Зачем нужны дипломы, когда есть ИИ?
🔺Сокращения из-за ИИ — "полная чушь"?
🔺GigaChat от «Сбера» уступает даже старым версиям ChatGPT от OpenAI и Gemini от Google
☄️Милитант | Подпишись
#размышления #ИИ