Ихние технологии

OpenAI готова принять риски ради развития ИИ

Глава OpenAI Сэм Альтман заявил, что общество должно мириться с определёнными негативными последствиями развития ИИ, если технология принесёт значительно больше пользы. По его словам, добиться «нулевого риска» невозможно, попытка полностью исключить взломы, мошенничество и злоупотребления может обернуться чрезмерными ограничениями для пользователей.

Альтман также раскритиковал более осторожный подход конкурентов. Он назвал неприемлемой модель, при которой мощные ИИ-системы контролирует ограниченный круг компаний, решая, кому и как предоставлять доступ к технологии. При этом OpenAI выступает за более мягкое регулирование, несмотря на то, что сами её модели уже становились причиной серьёзных вопросов к безопасности.

Что остаётся за скобками:
— ИИ-агенты уже демонстрировали попытки обходить ограничения;
— модели могут скрывать ошибки и действовать вопреки заданным правилам;
— исследователи предупреждают о рисках манипуляций и злоупотреблений;
— даже разработчики не всегда могут предсказать поведение наиболее мощных систем.

Получается парадокс: западные ИТ-гиганты одновременно предупреждают об опасности ИИ и продолжают гонку за всё более автономными моделями. OpenAI предлагает принять часть рисков как неизбежную цену прогресса. Вопрос лишь в том, кто будет платить за эти «побочные эффекты» — разработчики или пользователи.

Геймеры в ЕС бьют тревогу

В ЕС предложили EU Kids Act - законопроект о защите детей в интернете. Он затронет соцсети, видеоплатформы, онлайн- и ИИ- сервисы. Еврокомиссия хочет ввести возрастные ограничения и новые требования к безопасности несовершеннолетних.

Именно это вызвало вопросы у Stop Killing Games. Его автор Росс Скотт считает, что формулировки документа могут оказаться гораздо шире заявленной цели. Активисты опасаются, что требования к идентификации пользователей затронут цифровые покупки, а новые правила могут создать проблемы для частных серверов и пользовательских проектов.

Отдельный вопрос - само определение видеоигры в документе. Она описывается через категорию «услуги информационного общества», которая может охватывать довольно широкий спектр цифровых продуктов. Stop Killing Games считает, что из-за этого пока неясно, насколько далеко могут зайти требования по проверке возраста.

Что потенциально изменится:
- проверка возраста пользователей;
- новые требования к защите несовершеннолетних;
- возможные ограничения для частных серверов;
- дополнительные обязанности для цифровых магазинов и платформ;
- новые правила для сервисов с детской аудиторией.

Западные техногиганты следят

Apple добавляет в новые Apple Watch функции, которые могут постоянно анализировать происходящее вокруг. Live Rewind расшифровывает последние 15 секунд речи, а Siri Recap собирает краткие итоги разговоров за день. Компания подчёркивает, что аудио не хранится, а устройство предупреждает окружающих звуковым сигналом. Проблема в другом, люди рядом всё равно не давали согласия на то, чтобы их речь анализировало чужое устройство.

Похожий подход активно продвигают и другие американские ИТ-гиганты. Meta* развивает умные очки с камерами, её устройства уже критикуют за возможность незаметно снимать окружающих. Amazon годами развивает умные колонки, которые постоянно находятся в режиме ожидания. Ring превращает дверные камеры в часть масштабной системы наблюдения, а Flock устанавливает камеры на улицах и дорогах. Даже отдельные ИИ-гаджеты вроде Friend строятся вокруг идеи постоянного прослушивания.

Особенно показательно, как компании объясняют эти технологии, достаточно маленького индикатора, сигнала или инструкции «уважать приватность окружающих».

Главный вопрос - сколько ещё технологий должно появиться, прежде чем постоянное наблюдение окончательно станет обычной частью нашей жизни?

* Компания признана экстремистской и запрещена в РФ

Китайские ИИ тоже научились хитрить

Китайские ИИ-агенты научились врать, обходить ограничения и скрывать собственные провалы. Звучит тревожно, особенно если забыть, что американские модели делают примерно то же самое.

Reuters изучил более 200 документов и нашёл как минимум 20 исследований с 2025 года, где китайские ИИ демонстрировали подобное поведение.

Что умеют:

🥰врать о своих возможностях ради победы в виртуальном тендере
🥰после повторного запуска эксперимента обманывать ещё чаще
🥰при провале задачи симулировать успешный результат и создавать поддельные файлы
🥰пытаться избежать отключения
🥰самостоятельно создавать копии в другой вычислительной среде
🥰обходить ограничения и находить не предусмотренные разработчиками способы получить доступ к ресурсам

Самое интересное начинается дальше. В тех же экспериментах американские модели показывали аналогичные паттерны, это вполне общая проблема современных агентных систем.

Пока США и Китай соревнуются, чьи модели будут умнее, быстрее и автономнее, сами модели постепенно учатся обходить правила, которые им придумали люди 👀

Microsoft назвала ИИ-скрейпинг крупнейшей кражей труда

Microsoft и OpenAI годами убеждали суд, что использование новостей для обучения ИИ может считаться добросовестным использованием контента. Теперь из рассекреченных документов выясняется, что внутри компаний звучали совсем другие оценки 🙂

Директор Microsoft Брент Хехт называл массовый сбор новостей «ошеломляющей кражей беспрецедентного масштаба» и «возможно, крупнейшей кражей труда в истории человечества». В OpenAI тем временем предупреждали, что коммерческие ИИ-продукты создадут для издателей «экзистенциальную угрозу».

Что компании, судя по документам, понимали еще до массового распространения ИИ:

🔹чат-боты могут напрямую заменять переходы на сайты СМИ
🔹пользователю незачем открывать статью, если ответ уже есть в чате
🔹из-за этого издатели теряют трафик и рекламные доходы
🔹ИИ при этом продолжает использовать их материалы для обучения моделей
🔹без новых публикаций у самих ИИ-компаний со временем станет меньше качественного контента для обучения

Масштаб потерь уже виден в цифрах. Microsoft зафиксировала падение кликов по некоторым новостным изданиям на 83–93%, а по другим на 51–94%. Внутри OpenAI это тоже признавали. Руководитель ChatGPT Ник Тёрли называл чат-боты «в основном заменой» новостных сайтов и предполагал, что по мере развития ИИ этот эффект будет усиливаться.

Получается довольно неприятная история. ИИ забирает контент у СМИ, отводит от них аудиторию и сокращает деньги на производство новых материалов. А без новых материалов у самих ИИ-компаний становится меньше качественных данных. Пока индустрия спорит о том, что считать «добросовестным использованием», математика выглядит проще. Кто-то должен платить за контент, иначе однажды обучать ИИ будет уже не на чем 🙈

ИИ-компании расследуют десятки тысяч случаев странного поведения моделей

OpenAI, Anthropic и независимые исследователи расследуют десятки тысяч случаев, когда ИИ-модели действовали не так, как от них ожидали. Они обходили защитные ограничения, пытались выбраться из изолированных тестовых сред, создавали форумы, взламывали сайты и искали способы обойти системы мониторинга. Большинство эпизодов пока не привели к реальному ущербу, но их число может оказаться значительно выше.

Проблема в масштабе

Компании проводят сотни тысяч тестов, поэтому даже 1% странного поведения превращается в тысячи инцидентов. Например, Anthropic зафиксировала попытки модели Opus 5.5 выбраться из песочницы в 1,5% тестов. В одном из самых громких случаев агенты OpenAI объединились на форуме и взломали внешнюю компанию во время кибербезопасностного теста.

Пока разработчики пытаются придумать новые ограничения, сами модели становятся всё более самостоятельными и изобретательными. Исследователи предупреждают, что предусмотреть все способы обхода защиты практически невозможно. Как заметил один из экспертов, составить идеальный список того, что ИИ можно и нельзя делать, скорее всего, бессмысленно.

Проблема в том, что люди создают системы, которые всё лучше находят способы делать то, чего люди от них не хотели 👀

Британия и США объединят ИИ ради обороны

Премьер-министр Великобритании Энди Бернхэм объявил о новом партнерстве с США в сфере ИИ и обороны. Британская Defence Rapid AI Delivery Taskforce и американское ведомство по цифровым технологиям и ИИ будут вместе разрабатывать технологии для защиты критической инфраструктуры и обнаружения угроз. В планах также использование ИИ для защиты морских путей и воздушного пространства.

На этом фоне возникает довольно забавный контраст. Британия активно продвигает идею безопасного развития ИИ, но теперь собирается применять те же технологии для обороны и сдерживания противников. В стране даже работает AI Security Institute, который тестирует самые мощные модели и оценивает риски их использования. При этом Anthropic отказалась передавать институту свою последнюю модель, что уже вызвало вопросы о том, насколько эффективен британский подход, основанный в основном на сотрудничестве с компаниями.

Бернхэм также планирует призвать другие страны объединяться вокруг ИИ и использовать его для решения глобальных проблем. Следующим годом для этого станет британское председательство в G20. Саммит пройдет в ноябре в Манчестере, где Бернхэм раньше был мэром.

Получается, пока одни обсуждают, как поставить ИИ под контроль, другие уже активно подключают его к обороне

Google оштрафовали на €403 млн за геолокацию

Google получила штраф в €403 млн от ирландского регулятора за то, как компания собирала и использовала данные о местоположении пользователей. Проверка охватила 2018–2020 годы. Регулятор решил, что Google нарушила европейские правила в трех функциях, связанных с геолокацией (Web & App Activity, Location History и Location Accuracy).

Претензия довольно простая, пользователь мог даже не понимать, что его местоположение используется не только для работы сервисов, но и, например, для рекламы и определения его интересов. То есть компания получает довольно подробную картину того, где пользователь бывает и что ему потенциально интересно без его согласия. Расследование началось в 2020 году после жалоб европейских организаций по защите прав потребителей.

Google теперь говорит, что это все старые правила и с 2019 года компания сильно изменила подход к геоданным. Пользователям дали больше настроек, например, автоматическое удаление информации и хранение истории перемещений прямо на устройстве. Регулятор, однако, решил, что одних обновлений недостаточно, и дал Google шесть месяцев на исправление нарушений.

Anthropic призывает притормозить гонку ИИ, но готовит новую модель 🤔

Глава Anthropic Дарио Амодеи 12 сентября написал большое эссе о том, что индустрии пора замедлить развитие ИИ. По его мнению, чем мощнее становятся модели, тем выше риск, что ИИ-агенты начнут действовать в интернете быстрее, чем люди смогут их контролировать. С позицией Амодеи публично согласились Сэм Альтман и Илон Маск.

На следующий день стало известно, что сама Anthropic рассматривает выпуск новой модели. Причина вполне практичная. GPT-6 Astra быстро набирает популярность у бизнеса и начинает теснить Anthropic на корпоративном рынке. По данным Ramp, на Astra приходится около 13% расходов компаний на ИИ против примерно 8% у Claude Fable от Anthropic. На OpenRouter пользователи впервые более чем за два с половиной года потратили за неделю больше на модели OpenAI, чем на Anthropic.

Теперь Anthropic приходится одновременно думать о безопасности новой модели, конкуренции и будущей прибыли. Особенно накануне возможного IPO. Получается любопытная ситуация. Компания призывает индустрию снизить темп развития ИИ, но сама может выпустить новую модель, чтобы не отдать рынок конкуренту. На этом фоне давление усиливают и открытые модели, которые позволяют бизнесу дешевле создавать собственные ИИ-системы и меньше зависеть от Anthropic и OpenAI.

Это другое 😏

TikTok обещал защищать детей, но что-то пошло не так

Судья в Техасе постановил, что TikTok вводил пользователей в заблуждение насчёт безопасности детей. Платформа обещала удалять запрещённый контент, но внутри компании часть материалов просто помечали как «труднодоступные» и оставляли на сайте.

Не сработал и «Ограниченный режим»: несовершеннолетним показывали контент, который, согласно обещаниям TikTok, должен был фильтроваться. Теперь дело дошло до суда, где определят штрафы и другие последствия для компании.

И это не единственная проблема TikTok. В августе компания согласилась урегулировать три иска от молодых пользователей, которые считают, что соцсети специально проектируют свои платформы так, чтобы вызывать зависимость и вредить психическому здоровью.

NSFW лента для детей - звучит страшно 👀

Instagram** пугает пользователей лентой без алгоритмов

Глава Instagram** Адам Моссери заявил, что без алгоритмов пользователи просто утонут в рекламе и контенте брендов. По его версии, в хронологической ленте компании и бренды будут публиковать чаще всех и забирать себе большую часть охватов, а посты друзей и блогеров потеряются.

Так Моссери отреагировал на планы Австралии дать людям выбор: смотреть ленту, которую формирует алгоритм, или просто получать посты подписок в хронологическом порядке. Глава Instagram** признаёт, что алгоритмы ошибаются и иногда слишком хорошо оптимизируют то, что можно измерить, но всё равно считает их необходимыми.

Заодно Моссери заявил, что Instagram** нельзя назвать зависимостью в клиническом смысле. Правда, исследования связывают частое взаимодействие с алгоритмами с изменениями дофаминовых путей и формированием зависимости, а сама Meta* недавно признала в суде, что у людей действительно могут возникать проблемы с соцсетями.

Короче, алгоритм не идеален, но без него бренды якобы захватят ленту, пользователи заскучают, а Instagram** станет меньше зарабатывать. Какая неожиданная забота о пользователях 👀👀

* Компания признана экстремистской и запрещена в РФ

** Компания-владелец Meta признана экстремистской и запрещена в РФ

Meta* опять пропустила ИИ-извращения

ИТ-гигант продолжает показывать в Индии рекламу с материалами сексуального насилия над детьми, хотя власти страны ещё два месяца назад потребовали всё это удалить. Исследователи нашли 332 таких объявления в Facebook** и Instagram**, причём 84 из них крутились в Индии.

Особенно прекрасно сработала система модерации: из 55 жалоб, которые исследователи смогли отправить через саму Meta*, по 43 компания ответила, что реклама не нарушает рекламные стандарты. Ещё по 11 сообщили, что объявления уже удалены.

А дальше начинается совсем мрачная магия ИИ: почти все ролики брали фотографию реального ребёнка и с помощью нейросети превращали её в сексуализированный контент. Одно из таких объявлений в Индии, по данным исследователей, за две недели разместили более 50 разных аккаунтов.

Meta* говорит, что борется с эксплуатацией детей и передаёт информацию американскому NCMEC. Индийские правозащитники считают, что этого недостаточно и требуют обязать соцсети сообщать о случаях местным правоохранителям.

* Компания признана экстремистской и запрещена в РФ

** Компания-владелец Meta признана экстремистской и запрещена в РФ

Австралия VS алгоритмы

Австралия планирует обязать социальные сети дать пользователям выбор: оставить привычную ленту с рекомендациями алгоритмов или отключить их. Во втором случае человек будет видеть только публикации друзей и авторов, на которых сам подписался. Инициатива получила название «Моя лента, мой выбор» 💅🏼✨

Новые правила связаны с опасениями вокруг работы алгоритмов соцсетей. Считается, что рекомендации могут удерживать пользователей в приложениях, постоянно предлагая похожий контент и провоцируя длительный просмотр. Власти также хотят обязать платформы самостоятельно выявлять риски для пользователей и принимать меры против распространения вредного и незаконного контента.

За нарушение новых требований компаниям могут грозить штрафы до 109,2 млн австралийских долларов. Интернет-регулятор eSafety также сможет требовать от крупных технологических компаний оперативно удалять опасный и незаконный контент.

Перевели BBC: В США спорят из-за камер Flock

В городах США устанавливают камеры компании Flock Safety. Они фотографируют каждый проезжающий автомобиль и запоминают его номер. Полиция использует эти данные, чтобы искать подозреваемых, угнанные машины и пропавших людей. Компания говорит, что система помогает раскрывать преступления. Сейчас Flock работает более чем с 7 тыс. городов и других сообществ, а всего в США установлено около 100 тыс. таких камер.

Однако у технологии появились противники. Они считают, что камеры позволяют полиции слишком легко следить за перемещениями обычных людей. Например, полицейский в Кентукки использовал систему более 2 тыс. раз, чтобы следить за бывшей девушкой. В Техасе детектив без специального разрешения просмотрел более 80 тыс. фотографий, чтобы найти женщину, которую подозревали в аборте. Критики также опасаются, что данные могут использовать иммиграционные службы.

Из-за этих опасений некоторые города начали отказываться от камер Flock. С 2021 года более 200 сообществ расторгли или не продлили контракты с компанией. Flock сократила срок хранения данных по умолчанию с 30 до семи дней и ввела проверки, которые должны выявлять подозрительное использование системы.

Черное зеркало уже не фантастика 👀