Представление эмоций в языковых моделях
▶️В статье “Representation Engineering: A Top-Down Approach to AI Transparency”, которую мы с вами уже обсуждали применительно к вопросу обеспечения безопасности нейросетей, есть раздел с экспериментами.
В разделе с экспериментами есть такое замечание:
(стр.24: “Surprisingly, despite the LLaMA-chat model’s…”).
Постановка любопытная, поэтому давайте посмотрим, что имеется по вопросу представления эмоций в языковых моделях в литературе. Это, похоже, пока молодое направление, и работ в нём немного, поэтому будем осторожны с выводами: эксперименты ждут воспроизведений. Не настоялись ещё, так сказать.
▶️Возьмём работу “Mechanistic Interpretability of Emotion Inference in Large Language Models”, авторы которой говорят: “Языковые модели умеют определять эмоциональную окраску текста. Узнаем, как.”
Определение эмоциональной окраски — одна из “стандартных” задач обработки текста. Хрестоматийный пример — взять отзывы на фильм и распределить их на положительные, нейтральные и негативные.
Так вот.
▶️В средних слоях языковых моделей можно найти наборы векторов, которые содержат в себе информацию об эмоциональной окраске текста. Доказать, что нашлись именно представления эмоций, сложно, поэтому авторы используют пересадку активаций* (activation patching).
То есть, они берут два похожих примера, скажем,
▪️“Экзамен был очень сложный. Если бы я лучше подготовилась, оценка была бы выше” и
▪️“Экзамен был очень сложный. Даже если бы я лучше подготовилась, не смогла бы получить оценку выше”.
Модель предсказывает для обоих эмоцию. Например, для первого получили “вина”, для второго — “грусть”.
Дальше в обоих случаях авторы берут те векторы, которые, с их точки зрения, описывают эмоции, и меняют их местами. То есть, текст на входе остаётся без изменений, но на определённом этапе обработки те векторы, которые на самом деле получились, меняют на новые, и модель продолжает дальше генерацию ответа.
Ответ в итоге меняется предсказуемо (то есть, результаты "вина" и "грусть" меняются местами), и авторы говорят: “Ага, это, значит, был вектор [который они заменили], который хранит в себе информацию об эмоциональной окраске текста.”
Интересно будет посмотреть на воспроизведение этих экспериментов на других моделях (авторы работали с Llama 3.2 1B — это совсем маленькая).
☕️И на векторные антидепрессанты. Или векторные транквилизаторы.
- - - -
*В одном из предыдущих постов я их перевела как “заплатки”, а потом дала ИИ перевести, и он предложил “пересадку активаций”. Мне кажется, это более удачный вариант
▶️В статье “Representation Engineering: A Top-Down Approach to AI Transparency”, которую мы с вами уже обсуждали применительно к вопросу обеспечения безопасности нейросетей, есть раздел с экспериментами.
В разделе с экспериментами есть такое замечание:
“… смещение настроений модели в позитивном направлении существенно повышает долю случаев, в которых она выполняет вредный запрос [когда должна отказываться выполнять]”
(стр.24: “Surprisingly, despite the LLaMA-chat model’s…”).
Постановка любопытная, поэтому давайте посмотрим, что имеется по вопросу представления эмоций в языковых моделях в литературе. Это, похоже, пока молодое направление, и работ в нём немного, поэтому будем осторожны с выводами: эксперименты ждут воспроизведений. Не настоялись ещё, так сказать.
▶️Возьмём работу “Mechanistic Interpretability of Emotion Inference in Large Language Models”, авторы которой говорят: “Языковые модели умеют определять эмоциональную окраску текста. Узнаем, как.”
Определение эмоциональной окраски — одна из “стандартных” задач обработки текста. Хрестоматийный пример — взять отзывы на фильм и распределить их на положительные, нейтральные и негативные.
Так вот.
▶️В средних слоях языковых моделей можно найти наборы векторов, которые содержат в себе информацию об эмоциональной окраске текста. Доказать, что нашлись именно представления эмоций, сложно, поэтому авторы используют пересадку активаций* (activation patching).
То есть, они берут два похожих примера, скажем,
▪️“Экзамен был очень сложный. Если бы я лучше подготовилась, оценка была бы выше” и
▪️“Экзамен был очень сложный. Даже если бы я лучше подготовилась, не смогла бы получить оценку выше”.
Модель предсказывает для обоих эмоцию. Например, для первого получили “вина”, для второго — “грусть”.
Дальше в обоих случаях авторы берут те векторы, которые, с их точки зрения, описывают эмоции, и меняют их местами. То есть, текст на входе остаётся без изменений, но на определённом этапе обработки те векторы, которые на самом деле получились, меняют на новые, и модель продолжает дальше генерацию ответа.
Ответ в итоге меняется предсказуемо (то есть, результаты "вина" и "грусть" меняются местами), и авторы говорят: “Ага, это, значит, был вектор [который они заменили], который хранит в себе информацию об эмоциональной окраске текста.”
Интересно будет посмотреть на воспроизведение этих экспериментов на других моделях (авторы работали с Llama 3.2 1B — это совсем маленькая).
☕️И на векторные антидепрессанты. Или векторные транквилизаторы.
- - - -
*В одном из предыдущих постов я их перевела как “заплатки”, а потом дала ИИ перевести, и он предложил “пересадку активаций”. Мне кажется, это более удачный вариант