ТехноЛоджия

На неделе было много новостей, которые хотелось бы обсудить, но на отдельные посты они как-то не тянут. Так что собрал вам небольшой пятничный #дайджестив ☕️

▪️️️OpenAI запустила безопасную версию ChatGPT для подростков

— Режим ChatGPT for Teens автоматически определяет юзеров 13-17 лет и включает фильтры: блокирует контент для взрослых и темы селфхарма, а вместо готовых ответов на домашки – задает наводящие вопросы.

Минпрос уже неоднократно просил отечественные компании перестать давать школьникам решения домашек. Засекаем с секундомером, когда будет очередной заход, на этот раз с этой новостью ⏱️

▪️️️Nvidia вложит $1,5 млрд в дата-центр для OpenAI

— Вдобавок к инвестициям Nvidia предоставит кредит до $105 млрд на строительство ЦОД мощностью до 8 ГВт, закрепив за собой статус единственного поставщика инфраструктуры для проекта.

Продолжается трата виртуальных денег на реальные дата-центры под будущие прибыли и накачка ИИ-экономики.

▪️️️Годовой темп роста выручки Anthropic превысил $65 млрд перед IPO

— По данным Bloomberg, показатель annualized revenue run rate у них вырос почти в семь раз с начала года, обогнав OpenAI (у которых свыше $40 млрд). Рост укрепляет планы компании на осеннее IPO с оценкой около $2 трлн.

Моя любимая компания, которая первая начала нормально зарабатывать на продуктах с LLM, все еще делает это лучше всех. Что-то понимают в продуктах)

▪️️️«Крестная мать» ИИ предупреждает о неприятии нейросетей

— Фей-Фей Ли заявила, что индустрия пока не смогла убедительно объяснить обществу пользу от ИИ. Американцы, судя по опросам, боятся нейронок больше, чем в Азии.

Фей-Фей Ли – автор революции данных, которая перетекла в революцию глубокого обучения. Именно ей пришла в голову идея, что дело не в моделях, а в количестве данных. И она эти данные начала активно собирать. Почему же пользы от ИИ нет? Потому что собрать данные про всех раковых пациентов несравнимо сложнее, чем котиков из интернета 🐈

▪️️️Глобальные протесты из-за ИИ на экзаменах

— В Мексике, Индии и Португалии бастуют из-за списываний, утечек и ошибок при ИИ-проверке (в Индии министр образования даже ушел в отставку). В Дании школьников уже обязали устно защищать письменные работы.

Не завидую ни школьникам, ни учителям. Мир меняется быстрее, чем мы успеваем понимать, что с этим делать. Чем сможем – поможем.

▪️️️ИИ-рекрутеры порождают иски о дискриминации

— В США растет число исков к Meta, IBM и Eightfold AI – их системы найма обвиняют в предвзятости и непрозрачности. Исследователи отмечают, что модели склонны усиливать стереотипы сильнее, чем человек.

Простой совет: пишите резюме с помощью ИИ так, чтобы их лучше отбирал ИИ 🤖

▪️️️Крупные ИИ-лаборатории не понимают, чего хотят люди

— Тим О'Райли критикует ИИ-гигантов за попытку «запереть» юзеров в своих продуктах по образцу Microsoft 1990-х и выступает за открытый исходный код всего ИИ-стека.

Ну деньги же тоже хочется заработать 🤷‍♂️

▪️️️Prompt injection вошла в топ-6 уязвимостей

— По данным BI.ZONE, а год специалисты нашли 823 уязвимости в корпоративных системах, большинство проблем все еще связано с настройками доступа, но ИИ-атаки стремительно растут. Агентные системы, к слову, упрощают жизнь злоумышленникам.

Видимо, дело идет к перестройке принципов построения ИТ-систем с временным переходным периодом в виде агентов-хакеров и агентов-починяльщиков защиты.

▪️️️Сгенерированный контент хотят маркировать принудительно

— Совет по кодификации подготовил поправки об обязательной маркировке ИИ-аудио, видео и картинок. Заодно хотят обязать техногигантов платить правообладателям за обучение моделей на их контенте.

Ну чем-то же должен заниматься Совет по кодификации. Комментировал тут.

🎓 Где сильнее всего видно влияние ИИ?

— На уровне школьных проектов)

На днях в очередной раз прошли «Большие вызовы». Для тех, кто не знает: это поистине уникальное мероприятие Сириуса. На нем школьники в командах сначала учатся разному у спецов из индустрии в формате выполнения проектов, а в финале приезжают на три недели в Сириус и решают реальные задачи отрасли, имея возможность консультироваться при этом с топовыми специалистами компаний – лидерами из этой самой отрасли.

«Большие вызовы» я стремлюсь посетить каждый год, но все время случались накладки, и от этого я очень сильно грустил. В этом году наконец все сложилось, и удалось приехать и поучаствовать в жюри в секции «Большие данные», а также в отдельной панели поговорить со школьниками на тему того, чему сейчас надо учиться.

Так вот, смотря в жюри на проекты этого года и сравнивая их с тем, что было три-четыре года назад, видно, что уровень серьезно вырос из-за вайбкодинга. Если раньше за три недели ребята успевали погрузиться в задачу и как-то ее «потрогать», проверить пару гипотез и сделать выводы, то сейчас на выходе получаются практически готовые MVP. И задачи тоже идут от простых к более сложным 💪

▫️Команда, которая работала с Т-Банком, оптимизировала количество потребляемых токенов при агентных исправлениях багов, в том числе с помощью анализа синтаксического дерева исходного кода. Еще раз – это школьники)

▫️Команда на проекте Озона сделала агента по подбору товаров. Вроде бы ничего сложного, но они туда еще заложили спам-фильтр и подготовили его к продовому внедрению.

▫️Яндексоидная команда сделала иерархический VLA – тоже для ускорения. Работала с настоящей роборукой, которая по итогам довольно уверенно выполняла сложные задачи.

Что же в итоге жюри пришлось оценивать, если все теперь вайбкодится? 👀

Самые большие сложности у ребят были с целеполаганием и метриками:

• почему они занимались именно этой задачей?
• какая будет польза?
• как должна выглядеть правильная метрика?

Даже робототехники не смогли вспомнить, что им нужны роботы, которые смогут в подвале (aka даркстор Яндекс.Лавки) перекладывать помидоры. У озонщиков возникли проблемы с корреляцией кликов и удовлетворением запроса пользователей.

Собственно, очень легко потом было ребятам ответить, когда они спрашивали у экспертов, чему же надо учиться: «Учитесь ставить задачи и понимать, как их мерить».

Но самый правильный совет, который прозвучал от всей панели экспертов в финале, – «занимайтесь спортом». Единственное, что ИИ (пока) не поможет вам сделать, – это создать сильную оболочку для мозга 🧠

🤖 Интересная дискуссия развернулась по поводу open-weights моделей – после того, как стало известно об инициативах в правительстве США по запрету использования китайских моделей в американских компаниях.

Дженсен Хуанг (CEO NVIDIA) – с еще семью десятками ИТ- и ИИ-лидерами – написал открытое письмо, в котором заявил, что open source – это, вообще-то, замечательно, да и open-weight тоже, так что не надо, пожалуйста, ничего и нигде запрещать.

🔹В этой связи хорошо вспомнить, что open source – это практически никогда не про благотворительность. Все самые большие проекты – они про деньги, просто не деньги за сам код.

— Большая часть контрибьюторов в ядро Linux и спонсоров Linux Foundation – это компании и их сотрудники. Intel вкладывается в Linux, потому что это помогает продавать больше серверов.

— Facebook (организация ужасная и запрещенная, потому что ужасная) вложился в PyTorch, чтобы Google со своим TensorFlow не монополизировал нейронки и все не сидели на их облаках.

— На карточках NVIDIA, конечно же, гоняется огромное количество open-weights ИИ-моделей – тут коммерческий ущерб от их запрета пошел бы на миллиарды. Да, на тех же карточках можно гонять и американские модели, но перестройка существующих бизнес-процессов была бы катастрофической.

— Perplexity и другие подписавшиеся тоже хотят использовать в своих продуктах open-weights: не все хотят переплачивать за дорогой ChatGPT, так как в этом случае конкурентоспособность сервисов радикально снизится.

🔹Почему же Anthropic отказалась подписывать это все? Скорее всего, у них самый независимый стек технологий, где open-weights используется немного, и проблемы зажравшейся NVIDIA и компаний, которые делают более дешевые, но не такие хорошие продукты, им на руку. Ну а про кибербез и репрессии китайского народа в их заявлении – для того, чтобы эгоизм не выглядывал.

🔹Есть и более позитивная сторона open source: иногда ребята открывают проекты, потому что хотят, чтобы технологии развивались в целом, и чтобы кадры росли, и чтобы экономика двигалась вперед. А где деньги заработать – это уже потом придумаем. Или не придумаем, но карму точно заработаем🌟

Так, Т-шники на TurboML выкатили пару очень прикольных релизов – T-Search и Perseus.

T-Search – агентный фреймворк для многошагового поиска на английском и русском языках. Многошаговый поиск нужен, чтобы агент сначала понял контекст из всего поверхностно найденного, а потом постепенно улучшал запросы. Получилось очень круто с точки зрения сотношения полноты найденного и потраченных ресурсов. Допиленный Qwen работает на одной карточке. Всем страдающим от невозможности закупить мощностей, но страждущим сделать агентный поиск – крайне рекомендую.

А штука с романтичным названием Perseus – это фреймворк для построения рекомендательной системы на потоке данных о человеке без каких-либо специальных обработок этих самых данных. То есть если у вас есть поток данных, вы хотите что-то рекомендовать человеку, и вам при этом не хочется учиться на кафедре РЭСИК два года, можно просто поставить Персея – он сам разберется и все порекомендует.

Разбор первого вопроса в новой рубрике #Шпильман_отвечает – и сразу с претензией на философию:

🪬Может ли у ИИ появиться интуиция?

Спойлер: смотря что считать интуицией. Разбираюсь ниже.

Итак, вопрос очень приятный, потому что на него можно обоснованно ответить и «да», и «нет» – все упирается в определение интуиции.

Есть две школы мысли, которые условно можно разделить на механическую и психобиологическую, она же менеджерская.

1️⃣ Первая группа определений интуиции иллюстрируется работой Герберта Саймона, который, десятилетиями изучая, как думают шахматисты, сформулировал следующее определение: «Интуиция – это узнавание» (intuition is recognition). Никакой магии: ты узнал ситуацию и сразу понял, что делать, не анализируя эту самую ситуацию.

Дэниэл Канеман продолжил эту мысль и определил интуицию как Систему 1 – быструю, автоматическую, работающую без осознания процесса и выдающую результат, логику которого нельзя нормально валидировать. В таком определении очевидно, что нейронные сетки с самого начала были как раз интуицией.

К этому выводу в свое время пришел и один из отцов-основателей ИИ – Йошуа Бенжио, который в 2019-м году на NeurIPS как раз призывал перейти от интуитивной Системы 1 к Системе 2 – к рассуждению, планированию, пониманию причинно-следственных связей.

Немного позже (или по меркам ИИ – намного) последовала революция ризонинга, подняв качество результатов нейронок на принципиально новый уровень. Это как раз был переход от интуиции к чему-то более сложному.

2️⃣ Вторая группа определений часто сводится к работе 2007 года Эрика Дейна и Майкла Пратта, которые не какие-то там элементарные шахматы изучали, а уже процесс принятия решений менеджерами. Их определение интуиции: «Аффективно заряженное суждение, исходящее из быстрых, несознательных и холистических ассоциаций».

Если по-простому: «Быстро и неосознанно воспринимаешь ситуацию в целом и руководствуешься чувством». Но чувства здесь – это уже не только мозг, это химия. Получается, что, пока у ИИ не появится хоть в каком-то виде химия тела, интуиция ему недоступна, несмотря даже на то, что остальным частям определения он соответствует.

Если начинаешь копать глубже и затрагиваешь уже определения чувств, плавно переходишь в теорию сознания, а там вообще наступает полный исследовательский мрак 🌌 Ответов нет, нормальной науки пока тоже.

Хорошо, что про ИИ и сознание не спросили)

Из Тюмени плавно переместились в Женеву, где проходили одновременно два мероприятия ООН – Global Dialogue on AI Governance и форум AI for Good.

Первый день глобального диалога выглядел так: Антониу Гутерриш вдохновил всех, сказав, что «нельзя навайбкодить будущее» и что «мы последнее поколение, которое еще может решать, в какую сторону развиваются технологии», но при этом ничего конкретного он не предложил.

Следом вышла Анналена Бербок: трясла уставом ООН и говорила, что использование ИИ должно подразумевать и следование принципам ООН. Однако и здесь ничего конкретного не было предложено.

После выступления Антониу и Анналены была бесконечная череда делегатов стран, которые говорили одно и то же и, опять-таки, без каких-либо предложений. Больше всего все страны волнует, что они окажутся в ИИ-рабстве у двух стран, как случилось уже с цифровизацией и социальными сетями. На втором месте у всех – кибербез. Все понимают, что скоро всех взломают, но как сопротивляться – непонятно.

На следующий день-таки начали обсуждать, что же с этим – да и с остальными проблемами типа экологических последствий от дата-центров – делать.

Я выступил на панельной дискуссии Trust and Governance, призвав всех обмениваться данными по кибербезу, потому что вышеупомянутые страны этого делать точно не собираются. Несколько ребят – в основном из африканских стран – даже заинтересовались. Видно, что их беспокоит перспектива стать теперь уже цифровыми колониями.

Форум AI for Good был гораздо живее и интереснее. Тут и специалисты собрались более продвинутые, и мысли были гораздо оригинальнее. Я поучаствовал в одном треке с Will.i.am. С одной стороны, прикольная ачивка, с другой – он оказался крайне приятным и интересным и как спикер, и как собеседник. Очень много думает про AI во всех его проявлениях.

В финале нашей сессии про доверие к автономному транспорту модератор спросила: «In one sentence, please say how we can speed up the adoption of autonomous vehicles».

🗣 «Sometimes it's ok to take your time and do it right», – ответил я.

Fun fact: люди 50 лет отказывались ездить в беспилотных лифтах.

Одно из самых интересных мероприятий по ИИ, которое проходит в России — это форум про ИИ в высшем образовании в Тюмени. Здесь тоже хватает философских и этических рассуждений на тему того, стоит ли вообще пускать ИИ в образование или не стоит, но большинство участников уже принимают новую реальность и вместе пытаются придумать, как же с ней жить, и, что наиболее интересно, как мы можем провести эксперимент, чтобы найти наиболее правильные способы учить в этой новой реальности.

Многие обсуждают недавний отчёт от Министерства просвещения Китая, в котором результатом применения ИИ было значительное сокращение времени, потраченного на домашку, и при этом наблюдалось серьёзное падение оценок на экзамене, где нельзя было пользоваться ИИ. Но, опять же, почти все приходят к тому, что это первый эксперимент, и его результат заключается в том, что нельзя просто вставлять ИИ в текущие процессы, а нужно полностью пересматривать весь подход к тому, чему мы учим и как это проверять.

Мы с Сашей Крайновым и Мишей Сквирским очень живо выступили в интересном новом формате — вместо того, чтобы каждый рассказал бы свою презентацию, мы сделали одну презентацию на троих и шли по ней, обсуждая основные интересные факты в ИИ, которые происходят вне образования. Сессия таким образом получается крайне живой, всем крайне рекомендую попытаться, хотя это и требует определённой координации и доверия. Ну и потом нас все путали все оставшееся время конференции, видимо считая едиными в трех лицах. Впрочем никто не обижался.

Но главным впечатлением, конечно, был бейджик. Это единственный бейдж за всю историю посещённых мной конференций, который я сохранил. Это просто какое‑то произведение искусства.

Федеральный закон об ИИ дотолкали таки до Госдумы. В процессе, путем совместных усилий, из него убрали практически всё, кроме мер, направленных на поддержку российских разработчиков больших фундаментальных моделей. Новое название закона это тоже отразило — теперь он не о «регулировании технологий ИИ», а о «поддержке развития технологий ИИ».

Вообще финал крайне разумен. Да, конечно, остались ещё шероховатости, но ко второму чтению и их должны дополировать. Да, пришлось оставить определения суверенных и национальных моделей, но они тоже смягчились. Теперь это по факту модели, которые делают суверенные или национальные разработчики. Раз мы хотим их поддерживать, то надо их как-то определить, можно и так. Причем размер большой фундаментальной модели начинается от 1 млрд параметров. Так и разработчики прикладных решений в отраслях и промышленности смогут рассчитывать на поддержку за суверенность и национальность.

Ну и главное — в законе действительно осталось только то, в чем есть потребность, — это поддержка разработчиков. Ограничения на использование, доверенные системы и их реестр — всё, что звучало, может быть, как что-то полезное, но по факту навредило бы индустрии, — всё убрали.

Последние несколько месяцев разработчики закона при каждой удобной возможности говорили, что активно взаимодействуют с бизнесом и слышат разработчиков. Но до последней редакции в это особо не верилось. А тут вот 👍🏻

В общем, появилась вполне ощутимая надежда на разумное регулирование нашего любимого ИИ.

На ПМЭФ самое интересное — это была молодежь. И в молодежный день на самом форуме, и молодежь на Т-Дворе.

Молодежь очень много думает про ИИ и задает все более и более интересные вопросы. «Всех ли нас заменит ИИ?» уже никого не интересует, каждый сам для себя ответил.
Самыми интересными вопросами (и своими ответами) и поделюсь:

В: Какая была бы ваша эмоция, неподдельная, если бы вы сейчас пошли в Эрмитаж, и когда вышли из него, вам бы сказали, что абсолютно всё, что здесь есть, это не искусство вовсе, это сгенерировано, это пранк такой вселенский?
О: Искусство призвано вызывать эмоции. Есть вот в Третьяковке моя любимая картина — «Днепр утром». Я могу часами стоять там и смотреть на неё, не понимая, в Третьяковке я или на Днепре. И если мне искусственный интеллект доставит те же эмоции, какая разница?

В: Человеческое искусство вечно, есть великие художники, писатели, а ИИ-искусство разве может быть великим?
О: Да, великие художники и писатели есть, но есть и такие, которые забываются практически сразу. В «Евгении Онегине« помимо Адама Смита и Гомера упоминаются и герои книги «Матильда, или Крестовые походы«, которая была очень популярна в то время, но сейчас особо никто не вспоминает. Думаю, великие ИИ-художники тоже будут.

В: Если ИИ — идеальный собеседник, то зачем людям между собой будет общаться?
О: А людям в целом нравится общаться друг с другом. И тут интересно, что ИИ может людей сближать. Он может быть идеальным посредником, особенно это в науке хорошо видно. Химикам легче становится общаться с физиками, математикам с биологами. ИИ им помогает переводить с одного языка на другой. У меня вот интересно происходит общение сейчас про иппотерапию (да-да, снова лошади) с точки зрения физической теории сознания и воплощенности искусственного интеллекта. И без ИИ этого очень интересного разговора с другим человеком бы не было.

Вообще на вопросы я отвечать люблю очень сильно и QnA это мой любимый жанр выступлений всегда.

Можем начать рубрику #Шпильман_отвечает. Если интересно было бы такое, кидайте животрепещущие вопросы в комменты.

Сегодня таки вышел долгожданный executive order от Трампа по поводу ИИ. Главный фокус — кибербез. Общий призыв всем причастным— в течение 30–60 дней представить планы по усилению кибербеза как с помощью ИИ, так и от ИИ.

Введено понятие «covered Frontier models» или «попадающие под действия передовые модели». Ну как введено — обозначено. Конкретный бенчмарк поручено придумать агентствам вместе с бизнесом.

Причем оцениваться эти модели будут именно с точки зрения их киберспособностей, а не национальных ценностей, например.

Упоминавшийся в прошлом период в 90 дней на тестирование моделей перед релизом сократился до 30 и остался добровольным. Ну чисто чтобы не выпустить киберджина из кибербутылки, давайте посмотрим.

Ну и самое главное, процитирую: «Nothing in this section shall be construed to authorize the creation of a mandatory governmental licensing, preclearance, or permitting requirement for the development, publication, release, or distribution of new AI models, including frontier models».

Т. е. никаких вот этих реестров доверенных моделей, только помогаем и реагируем на реальные риски.

В 70-х годах в одной больнице в Пенсильвании врач Роджер Ульрих заметил, что необъяснимым образом в одних палатах пациенты восстанавливаются после хирургии лучше, чем в других. Другой бы ну заметил и заметил, мало ли странностей бывает, но Роджер решил применить научный метод и собрать данные! Для чистоты эксперимента ему нужно было собрать достаточное количество пациентов с одинаковой операцией, за которыми следят одни и те же медсестры, чтобы отличались действительно только палаты. В качестве операции было выбрано удаление желчного пузыря. На сбор данных ушло 9 лет.

В 1984 году Роджер опубликовал статью в журнале Science (Top 2 мировой научный журнал) с аккуратным названием: «View through a window may influence recovery from surgery».

Данные указывали на то, что ключевым фактором является вид из окна. Пациенты, у которых из окна был виден сад, восстанавливались лучше, требовали меньше обезболивающих и меньше жаловались медсестрам. В палатах с видом на стену дела обстояли заметно хуже.

Эта работа считается основополагающей в области изучения влияния природы на человеческое здоровье. 

В 2019 году в журнале Nature Scientific Reports (не совсем Nature, который второй в Топ 2 мировой научный журнал, но тоже довольно серьезно) вышла статья, которая говорит о серьезном улучшении и физического и психологического здоровья, если хотя бы 2 часа в неделю проводить на природе. Причем не важно, это 2 часа раз в неделю или по 20 минут в день. Дополнительный час ещё дает улучшение, а вот 5 или 10 или 20 часов уже разницы особой не дают.

Похожее исследование показывало, что если 90 минут гулять на природе, меньше руминации (это когда негативные мысли по кругу ходят в голове и не отпускают) и стресса по этому поводу. И именно на природе, 90-минутная прогулка в городе от руминации не помогает. В Японии есть даже специальный термин — лесные ванны. Shinrin-yoku. Исследование показало, что неплохо повышают иммунитет.

Очень интересно, что картинки с природой тоже улучшают самочувствие.

Это я к чему. «Иди потрогай траву» — не просто мемный совет, а вполне себе научно обоснованный способ улучшить свое самочувствие. Ну и к тому, что ИИ, похоже, не заменит только лошадей 🐎