Чаще всего стиринг активаций LLM реализуют как параллельный перенос активаций вдоль предпосчитанного вектора концепта (стиринг вектора). Такой дизайн исходит из гипотезы о локальной линейности множества активаций LLM. Но недавно вышли работы, которые критикуют такой подход, заявляя, что при линейном стиринге сильно меняется норма активации, а это выводит активацию в out-of-distribution, что ломает модель. Предлагаемая альтернатива — сферический стиринг, который сохраняет нормы активации, только поворачивая их в сторону вектора концепта на некоторый угол

Но сами гипотезы, на которых строится этот подход (что активации лежат на сфере, а норма для концепта не важна), эмпирически не проверялись. Мы с Таней решили закрыть этот пробел: построили фреймворк, объединяющий сферический и линейный стиринг в один общий класс методов, и выделили норму и угол вектора как два интерпретируемых параметра (вместо одного, неинтерпретируемого, в линейном стиринге)

Оказалось, что активации не лежат строго на сфере, а норма всё-таки важна для стабильности генерации, и опираясь на это мы предложили новый метод, совмещающий сильные стороны обоих подходов

Полный обзор написал в [телеграфе]

Если вам понравилась статья, поддержите её классом на huggingface daily papers, чтобы больше людей её увидело :)

[arxiv]