Черномырдин нашей психологии

Апдейты про ИИ

В нашей лаборатории активизировались обсуждения Искусственного интеллекта. На этот раз обсуждали не образование, а научную работу и хотели прийти к каким-то собственным правилам по использованию ИИ в работе. В итоге ни к чему не пришли. Слишком быстро всё меняется, слишком разные взгляды на это в лабе. В итоге решаем в частном порядке.

Но в ходе обсуждения вылезло несколько тем, которыми хотел поделиться.

Alignment

Во-первых, проблема алайнмента стала видна повсюду. Но не в том смысле, в котором мы ожидали (хотя в том - тоже). Изначально, alignment – как я понимал эту проблему – это соответствие работы ИИ нашим этическим нормам. Типа нужно уже сейчас работать над тем, чтобы ИИ решал задачи безопасным для людей способом – даже если он ещё довольно слаб.

Проблема в её нынешнем виде, выглядит так: ИИ делает то, что нужно, но по ходу делает ещё кучу вещей, которые мы его не просили. Нужны всё более сложные промпты, чтобы получить желаемый результат желаемым способом. И это наблюдается в работе многих людей, я страдаю от этого ежедневно. Иногда даже прямые инструкции “не делай то-то и то-то” почему-то обходятся.

Reduce your expectations

Дальше идут мои гипотезы/домыслы про современный ИИ.

У меня ощущение, что я намного чаще слышу жалобы на ИИ сейчас, чем, скажем, 2 года назад. После релиза чатгпт все были в экстазе. Сегодня все жалуются. И у меня родилась такая гипотеза: рост ожиданий от ИИ опережает рост его продуктивности.

Все говорят об экспоненциальном росте возможностей ИИ, но мне кажется, что ожидания от него растут так же, а то и быстрее (математики, это возможно, вообще? 😆). Поэтому фрустрация от использования ИИ со временем больше.

Encapsulation

Ну и закончу двумя совсем уж конспирологическими теориями, которые я придумал.

Первая теория гласит, что современные модели выполняют задачи таким образом, что их трудно потом править вручную. Пример из моей работы. Когда я прошу Клод написать код для какой-то задачи, он пишет его так сложно, что я ничегошеньки там не могу понять и изменить. Возможно, так и должен выглядеть код хорошего программиста, но у меня всё время ощущение, что это специально - чтобы я в дальнейшем мог работать с этим кодом только через Клод, а не самостоятельно.

Особенно это бесит, когда ты просишь поменять какую-то маленькую деталь, и он не может это сделать, а вручную тебе тоже уже не справиться (недавно пытался корректировать изображение, комбинирующее шесть графиков для статьи…). Давным-давно я писал, что ИИ хорош в создании общего ощущения нужного результата, но не в деталях. Сейчас мои примеры (генерация изображений) уже нерелевантны, но общий принцип сохраняется: ИИ может легко сгенеририть целый продукт, но добиться очень конкретных изменений деталей готового результата – это боль.

Annoy and conquer

Вторая конспирология состоит в том, что ИИ очень много спрашивает разрешений, чтобы получить доступ к каким-то сайтам, папкам, действиям. И идея-то хорошая, но часто происходит следующее: юзеру надоедает постоянно давать отдельные разрешения, и он просто разрешает доступ ко всему. То доступ к папке, в которой этот проект и так находится, то реюз кода, который мы 25 раз использовали, то доступ к сайту (алё, ты же блин как умный гугл должен быть – весь интернет твой!), то что-то вообще нечеловекочитабельное. Такое ощущение, что эти запросы СПЕЦИАЛЬНО такие дурацкие и частые, чтобы пользователи по умолчанию давали доступ ко всему.

Такие наблюдения на сентябрь 2026 года.

В дополнение к посту про философию

Кто интеересовался – книга про континентальных философов совсем не научная и не философская. Это просто биографические очерки семи известных философов через призму их личной жизни (в основном, романтических отношений): Warren Ward “Lovers of philosophy”.

#книга написана не философом, а скорее любопытным психиатром, но в ней приведены доступные введения в философские системы героев. И если о Канте, Ницше, и, допустим, Сартре я что-то знал, то к идеям Гегеля или Хайдеггера я никогда в жизни приближаться не собирался, так как считал это бесполезным. А в простом изложении автора они выглядят вполне удобоваримыми и интересными - у меня даже возникло желание когда-нибудь поизучать этих авторов.

Ну и чтобы два раза не вставать, ещё одна забавная история про аналитическую философию.

Многие знают, что у знаменитого философа наших дней, Девида Чалмерса, роскошная квартира чуть ли не Таймс Сквер (ну чисто Гегель в Берлине – читайте вышеупомянутую книжку). Некоторые мои знакомые бывали на философских вечеринках в этой квартире (например, во время конференции 2023 года). Так вот история эта о том, как я упустил свой шанс подружиться с Чалмерсом и побывать у него в гостях.

Дело было на Крите, на прошлогодней конференции по сознанию. Афтепати, ресторан на пляже. Ночь. Все пьют, танцуют. Чёрные волны выносят на берег знакомых профессоров. Всё было хорошо, пока вечеринка не подошла к концу. Дело было ночью за городом, а всем нужно было как-то вернуться в Ираклион. И все эти несколько сотен когнитивных учёных (и аналитических философов) одновременно начали заказывать такси. Представьте, что случилось! С помощью какого-то немейнстримного сервиса я умудрился заказать большую машину - на 7 человек. Собрал своих товарищей и даже подцепил каких-то случайных попутчиков, чтобы добить до семи. Подходим к парковке, там суматоха: народ пытается вызвать такси, какие-то машины подъезжают, выкрикиваются имена когнитивных учёных (и аналитических философов). Слышу: “Иван!”. Это нам! Подхожу к машине, – а с водителем разговаривает Чалмерс (ваши действия? 😆).

Водитель говорит:
– Иван!
– Итс ми! – кричу!
– О, Иван! – уверенно обращается ко мне Чалмерс. – Не возьмёшь ли двух человек себе в машину? – (он стоит со своей женой).

Я секунду прикидываю, понимаю, что свободных мест у нас нет, а кидать кого-то – даже незнакомцев, которых мы подобрали по ходу – не хочу. Всё-таки люди мне доверилились.

– Не, – говорю. – Ви ар фул, сорри.

Чалмерс разочарованно и немного удивлённо на меня смотрит, пока мы грузимся в машину. А я думаю: ну ёлы-палы, вот был мой шанс подружиться с корифеем современной философии и, может даже, когда-нибудь побывать в его знаменитом пентхаусе на Манхеттене. Ну что есть, то есть.

Помню, что по дороге до Ираклиона я слушал грязные сплетни про другого известного когнитивного учёного. Но это уже другая история.

А деньги за эту поездку, кажется, никто из тех шести попутчиков мне так и не вернул.

ИИ ИИ ИИ

Раз в полгода пишу про ИИ, пришло время 🙂

Сам я переживаю очередную волну энтузиазма в использовании ИИ для работы. Во-первых, я пересел на приложение от нашего университета, которое позволяет использовать разные модели в рамках одного интерфейса. Это разнообразило инструменты, которые я использую и улучшило качество работы. Во-вторых, коллеги начали открыто использовать ИИ для осмысления полученных результатов. Как-то раньше это делать будто было зазорно, а сейчас – отталкиваться от интерпретации, которую дал чатГПТ будто стало нормальным.

Так что сегодня история о том, как Расс Полдрак провёл небольшое исследование и доложился о нём за 24 часа. (Спасибо Илье Захарову за ссылку)

Сюжет такой: Полдрак отреагировал на статью коллег, которые показали, какие мыслительные задачи LLM не решают, и с помощью Клода провёл небольшое исследование, где попытался проверить свои сомнения. В итоге он сначала подтвердил тезис авторов исходной статьи, а потом нашёл такую формулировку задачи (через визуализацию), которая позволил обойти это ограничение. Чтобы оценить, насколько этот результат принципиальный (не является ли такой изощрённый промпт-инжениринг читингом в оценке возможностей ЛЛМ), нужно, конечно, больше, чем 24 часа.

Мне нравится читать такие посты, потому что из них берёшь скиллы по работе с ИИ. Интересно читать как Полдрак скармливает Клоду статью, просит оценить её, высказывает свои соображения, проверяет их валидность, создаёт материалы для проверочного исследования, подключает ещё один ИИ, чтобы независимо проверять ответы первого. Делает вещь, про которую я слышал раньше, но которую сам почти не использую: генерить промпты с помощью того же ИИ, с которым работаешь. А это в итоге дало Полдраку ключевой результат.

Хотя пост про то, как провести исследование и доложиться о результатах за 24 часа, интересны выводы про роль человеческой экспертизы:

• интересные, эвристичные вопросы ставит человек. Очень часто – подмечая какие-то сначала кажующиеся неважными мелочи;
• первые ответы ИИ очень часто неверные;
• важно подмечать нереалистичные резульаты и перепроверять их;
• у ИИ пока не супер с метакогнициями: он не видит, что мимоходом сделал что-то, что можно использовать в решении поставленной задачи; так Полдрак заметил, что визуализация задачи может помочь её решать.

В общем, интересное чтиво!

Кстати, из недавних советов по использованию ИИ, мне понравился совет просить задать тебе вопросы, уточняющие поставленную задачу. Активно использую. Делитесь вашими лайфхаками!

Кстати, в блоге упоминается книга Полдрака по научной работе с ИИ, выглядит интересно.

Всем привет!

Оказывается, в рамках конкурса Золотая Психея сейчас идёт голосование за лучшую психологическую книгу прошлого года. Кто читал нашу книгу – можете проголосовать 🙂

Эксперименты по вживлению электродов в центры удовольствия, на самом деле про центры хотения - запуск двигательной программы, связанной с вознаграждением, но не дающие сами по себе удовольствия.

Быстрый дофамин

Соцсети формируют зависимости не столько тем, что алгоритмы отбирают для тебя интересный контент, а больше тем, что поддерживается постоянный уровень неожиданного подкрепления: ты всегда увидишь там что-то новое информативное (тут, видимо, участвуют когнитивные информационные и социальные потребности). Главное зло – нехронологическая лента - именно для того, чтобы там ВСЕГДА было что-то новое, она такая. Фейсбук всегда подсунет тебе что-то новенькое, когда туда зайдёшь. Вовлечённость поддерживается всплесками дофамина от неожиданного вознаграждения (работает wanting), при этом реальное удовольствие мы испытывать перестаём (потребность давно удовлетворена; появляется усталость от повторяющихся действий). Поэтому мы продолжаем скроллить, чувствуя истощение от этой деятельности.

Медитации и осознанность

Вернёмся к началу: функция дофамина – формировать новое поведение по принципу обучения с подкреплением. Но не всё поведение человека работает по принципу стимул-реакция. У нас есть механизмы (когнитивный контроль или префронтальная кора, если хочется в мозговых терминах), цель которых - останавливать стимул-реактивное поведение, если оно противоречит долгосрочным целям. Но энергетически запас слабый – силы воли и правда очень мало, хватает ненадолго. Мы не можем постоянно оттормаживать реакцию при виде стимула, поэтому эту ограниченную способность стоит использовать для того, чтобы убрать стимулы. О чём, опять же, речь в подкасте была. То есть сила воли хоть и слабая, но если ей пользоваться с умом, поведение можно радикально изменять.

Медитация - по сути это тренировка нереактивного поведения. Потому что поток мыслей так же запускается стимулами - либо внешними, либо другими мыслями. И по крайней мере мыслительные реакции вроде как можно натренироваться притормаживать.

А теперь к осознанности - это навык обращать внимание на свои возникающие мысли, чувства ощущнея, как бы смотря на них со стороны. Напрямую это не связано с контролем. Ты просто наблюдаешь за своими реакциями и фокусируешься на своих чувствах. И тут как будто работает немного другой механизм разрыва стимул-реактивного поведения. Ты, во-первых, замечаешь, что некий стимул запустил реакцию. Во-вторых, ты чувствуешь, что этим поведением движет: привычка или реальное желание. Ты автоматом подошёл к холодильнику или ты и правда голоден? Ты взял телефон на автомате или ты что-то конкретное хотел посмотреть? Возвращаясь к теме вонтинга и лайкинга – фокусируясь на своих ощущениях можно отследить поведения, которые движутся чисто вонтингом, но которые не принесут в итоге удовлетворения. Даже если ты совершил действие, осознанность позволяет заметить, что ты не получил ожидаемого вознаграждения. Так, есть терапия зависимостей, основанная на осознанности - людей, например, просят фокусироваться на ощущениях во время курения. И они часто замечают, что это физические ощущения, вкус и запах - мерзкие. Лайкинга там давно уже нет. Если не ошибаюсь, способ бросить курить А. Карра основан примерно на этом.

Сноски:

* В случае важности приватности запроса (новые научные данные, личная информация и тд), нужно убедиться, что ваши запросы не используются для обучения модели: включать режим временного чата или использовать приложения, которые обеспечивают приватность (например, у Амстердамского университета есть своё собственное приложение, работающее на основе GPT, но не выпускающее данные за пределы университета).

** Если уж надо что-то такое покопать, в юридических или регламентных вопросах просите привести прямую цитату из писаной нормы и дать ссылку на источник, чтобы можно было перепроверить.

Что думаете? Мэтчится с вашим опытом? Я что-то пропустил? Или какие-то рекомендации уже устарели? Пишите в комментариях!

Чатгпт и тд: (субъективная) инструкция по применению

Насколько я противник обсуждения сильного искусственного интеллекта применительно к чатгптитд, настолько же я активный их пользователь как инструмента и помощника для интеллекта естественного. Поэтому решил написать субъективную инструкцию по ЧатГПТ – на основе того, что я знаю про устройство больших языковых моделей и личного опыта использования.

Большие языковые модели – это предсказатели следующих элементов в заданной последовательности. Обучение проводится на доступных в интернете текстах или специализированных текстовых базах. Всё это с некоторой фильтрацией, последующей выборочной перепроверкой и файн-тюнингом формы и тона ответа.

Таким образом, ответ на вопрос, который мы задаём – это усреднённое по множеству текстов продолжение текста нашего вопроса. Чаще всего за вопросом следует ответ, поэтому мы и получаем то, что выглядит как ответ.

При этом модель не знает сомнения, она будет выдавать продолжение текста, какой бы изощрённый вопрос мы не задали. Это и фича (можно получить интересный ответ или необычное решение) и бага (уверенный ложный ответ).

Итак, какие вещи МОЖНО спрашивать:

1. Вопросы, на которые есть общепринятый ответ. Замена гуглу. Большинство продолжений текстов в источниках ведёт к одному ответу – его модель и выдаёт. Модель просто погуглила за тебя. Можно доверять.

2. Решение практической проблемы, которое можно моментально проверить. Как оттереть следы ржавчины от столешницы, как заходить алгоритм, как отключить уведомления о рекламных акциях в Uber Eats.

3. Творческая задача, где нет однозначного ответа, но мы сами можем оценить результат на свой вкус: костюм на хеллоуин на заданную тему, как обставить комнату в квартире, какую пасту можно приготовить, если в холодильнике только шпроты, молоко и чили-соус.

4. tldr – резюме какого-то длинного, не жизненно важного текста, который нам лень читать. При этом, с очень большими текстами (книга, гигантская переписка) – это всё ещё работает не очень.

5. Связное резюме или черновик ваших собственных набросков. Например, я иногда делаю черновик секции обсуждения результатов в статье из списка результатов (см. сноску*).

6. Брейнсторминг для решения проблемы. Или размышление вслух через разговор с моделью. Может привести к полезным идеям и уточнению своих мыслей.

7. Составить формальное письмо в какой-то орган по какому-то запросу с местной спецификой. Идеально.

8. Пруфридинг – но умеренный. Модель ВСЕГДА найдёт что улучшить в тексте. Даже в своём собственном.


Какие вещи лучше НЕ СПРАШИВАТЬ:

1. Информация, которая может легко измениться: маршрута транспорта, трафик, время работы чего-то и тд.

2. Вопросы, на которые нет общепринятого ответа. Будет либо что-то невнятное, либо один вариант с необоснованной уверенностью.

3. Сложные личные решения. Модель не может принять решение за вас, она может только аккуратно резюмировать ваши мысли на тему. Но люди принимают решения не только на основе мыслей, но и на основе чувств - а их сложно передать модели (а многие люди их и сами игнорируют)

4. Маргинальные юридические вопросы: можно ли человеку с двойным гражданством водить машину в РФ с иностранными правами; можно ли открыть игрушечное казино для детей с использованием реальной, но иностранной валюты в новой экономической зоне **.

5. Эстетический продукт: текст или изображение. Конечно, зависит от ваших целей, но скорее всего получится нечто безличное и бездарное.

Важный нюанс, который всегда учитывать: нужно быть аккуратными со словами, которые мы используем. Модели очень чувствительны к словам, которые есть в промпте и ответы будут привязываться к ним. Если у вас есть гипотеза, в какую сторону должен быть ответ, но вы хотите получить независимый ответ от ЛЛМ, делайте свой запрос нейтральным, избегайте намёков на свой вариант ответа.

AI-inspired human intelligence 2

В комментариях к предыдущему посту указали на то, что скачок в человеческих способностях вместе с развитием машинных - обычное дело. Я вспомнил, что Каспаров рассказывал про современных шахматистов, которые тренируются, играя с ИИ (который давно превосходит человека в шахматах). Играют они в итоге отлично, но хорошие ходы объяснить не могут. Мне кажется, я делал об этом пост, но не могу его найти. Так что приведу цитату из старой записи Дениса Тулинова:

“Сегодня ход все чаще оценивается как хороший или плохой не потому, что он кажется таковым, и не потому, что его никогда не делали раньше. Ход считается хорошим, если он работает, и плохим, если не приносит пользы. Хотя для того, чтобы стать успешным шахматистом, нам по-прежнему нужны развитая интуиция, знание общих принципов и логика, сегодня игра человека все больше похожа на игру компьютера.

В рамках программы «Молодые звезды» Шахматного фонда Каспарова я уже больше десятка лет работаю с детьми в возрасте от восьми до восемнадцати. Все они играют с сильными шахматными движками еще с тех пор, как делали свои самые первые ходы, и, несомненно, они развиваются иначе, чем дети, с которыми я работал в середине 1980-х годов в школе Ботвинника в Советском Союзе.

Поскольку сам я в прямом и переносном смысле являюсь представителем «старой школы», мне трудно полностью принять подход этих юных шахматистов к игре и отсутствие у них структурированного, догматического шахматного мышления. Но я признаю, что с результатами не поспоришь. В таком свободном от догм обучении есть свои преимущества и недостатки. Умение объяснить, почему данный ход теоретически хорош или плох, — вовсе не то же самое, что умение продемонстрировать это на практике”.