Техножрица 👩‍💻👩‍🏫👩‍🔧

🚀 AI R&D DAY — 17 сентября, Москва

3️⃣ Мы собираемся третий год подряд!
Ждём не только исследователей и инженеров, но и тех, кто переводит смелые идеи в реальные продукты: R&D-специалистов, AI-архитекторов, продактов и техлидов, отвечающих за внедрение технологий следующего поколения.

Наша R&D-команда поделится результатами флагманского проекта NextGenAI и расскажет о продуктах и технологических треках, над которыми мы работаем для развития ИИ следующего поколения. Также на конференции будут доклады, постеры и демо-стенды от наших коллег из Kandisnky, Physical AI, AIRI, Giga и других.

🔬 О чём:
— альтернативные архитектуры
— процессы обучения, инструменты и агенты
— омнимодальная долгосрочная память и ризонинг
— модальности и коммуникации
— бенчмаркинг, стандарты качества и производительности AI

🎯 Что вас ждёт:
— 22 доклада на двух сценах от ведущих специалистов
— живое общение с коллегами и экспертами
— интерактивные зоны, которые сделают день по-настоящему запоминающимся

Это шанс из первых уст узнать, над какими технологиями работают исследовательские команды Сбера сегодня, обсудить идеи и даже стать частью нашей команды! 💚

📍 Где: Москва (очно или онлайн)
⏰ Когда: 17 сентября
🎁 Цена: Участие бесплатное

Количество мест ограничено! 😉
Регистрация: https://airndday.ontico.ru/

#rndml #conference @rndml_team

В июне, перед тем как уехать на ICML, а потом на подготовку к IOAI, я была учеником на школе ARENA (Alignment Research Engineer Accelerator). Это что-то вроде технической программы по AI Safety. Как я писала выше, я занимаюсь AI interpretability, что довольно сильно связано с AI Safety. Поэтому я пошла на ARENA, чтобы получше понять, что там происходит внутри AI Safety коммьюнити, познакомиться с людьми, которые делают рисерч по теме interpretability, и, возможно, найти себе fellowship или работу.

В итоге у меня сложилось довольно неоднозначное впечатление про коммьюнити AI Safety, но об этом как-нибудь потом. Пока что хотела написать вот о чем: ARENA длилась 5 недель, и в последнюю неделю мы в парах делали небольшие рисерч проекты. В итоге у меня и моего коллеги проект получился достаточно хорошим, с явными результатами, и поэтому мы решили немного его доделать и написать статью на воркшоп.

Ниже кратко опишу, о чем статья, а еще дам ссылку на HF daily papers, куда я ее сегодня выложила и теперь хочу лайки 🙂

Итак, статья: When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

Activation Oracles (AO) — это языковые модели, обученные отвечать на вопросы о внутренних активациях другой модели на естественном языке. То есть, это один из подходов анализа активаций моделей, который выдает инфу в виде текста на естественном языке. У модели AO по сути спрашивают "о чём это скрытое состояние?", и AO генерирует ответ. Теперь: пусть у вас есть LLM, в которой есть какая-то скрытая информация — например, backdoor, скрытая цель или знание. Тогда естественно было бы предположить, что если обучить AO на активациях именно этой модели, то он хорошо научится считывать ее внутренние состояния и сможет легко найти эту скрытую информацию.

Так вот, в нашей статье мы показываем, что в реальности может получиться ровно наоборот. Мы взяли пять разных концептов и дообучили LLM скрывать эти концепты. Потом обучили AO на активациях этих моделей. Оказалось, что AO, обученный на активациях модели X, начинает хуже "видеть" именно тот концепт, который скрывала модель X. При этом если этому же AO скормить активации другой модели Y, то он хорошо распознает концепт, который скрывает Y.

Короче, вывод: в некоторых случаях обучение инструмента интерпретации (например, AO) на данных той самой модели, которую он должен интерпретировать, может сделать его систематически слепым именно к той информации, которая содержится в этой модели.

Ссылки:
Статья
HF daily papers (вот тут можно поставить лайк!)

Недавно вот выложил вакансию в группу ФКНа, и мне написал довольно прикольный челик с крутым резюме, но как я вчитался в него — сразу понял, что это просто копипаста с вакансии.

И вот я решил проверить у него мат часть про популярные скоринговые модели с названиями "Ясасу Бибу" и "Цист Яна" а также про жесткую теорему шторм спирита. Ответ убил.

и за что здесь платить 20 баксов в месяц???

В итоге, я думаю, что «ASI системы», которые окажутся в руках общественности через несколько лет смогут доказывать или опровергать гипотезу Римана (в зависимости от верности), но все также останутся на уровне человека с средним интеллектом в вопросе того как захватить мир.

И не потому что мы не будем знать как создать ИИ, способный захватить мир. А потому что нам повезло, что мы можем создать очень мощные системы, которые способны автоматизировать почти все, но все еще не будут сверхчеловеческими в плане метагентности**. С небезопасными в этом плане системами мы будем работать совершенно иначе, если вообще решим их создавать.

Последнее что я здесь адресую: традиционное возражение про скрепки. Представим, что та самая модель из будущего захватывает мир, чтобы собрать ресурсы для доказательства гипотезы Римана. Мой ответ здесь довольно простой: мы довольно быстро увидим такое опасное поведение на меньшем скейле. ИИ предпримет еще не одну попытку сделать нечто странное. Но так как он по дефолту стратегически слеп, мы его попытки лезть туда куда не надо будем каждый раз палить и вводить нужные ограничения для поддержания адекватного уровня безопасности. И всегда помните про «ошибку выжившего».


*История Финеаса Гейджа, которому лом проломил голову является от начала и до конца фейком. У него не было никакого снижения самоконтроля. Тем не менее поражение лобных долей может давать именно такую симптоматику.

**Метагентность как явление выражается в том, что когнитивный агент способен не просто составить и реализовать план решения конкретной задачи, но и может полноценно осознать последствия реализации построенного им плана для себя и окружающего мира, а затем выбрать лучшую стратегию, которая эти последствия учитывает наилучшим образом.