Мы придумали новый метод SAE Match, который помогает сопоставлять понятные фичи, выделенные Sparse Autoencoder (SAE), между разными слоями LLM. Это важный шаг к тому, чтобы разобраться, как LLM обрабатывают информацию, показывая, как фичи сохраняются или меняются, пока данные проходят через модель.

Одна из ключевых частей нашего метода — это техника "parameter folding", где мы напрямую включаем пороги активации в веса SAE. Это учитывает разницу в скейле фичей между слоями и позволяет точнее их сопоставлять, минимизируя ошибки между итоговыми скрытыми представлениями. Самое главное, что для этого не нужны входные данные, поэтому анализ становится более универсальным и не привязанным к конкретным примерам.

В наших экспериментах на модели Gemma 2 мы показали, что SAE Match эффективно сопоставляет фичи слоями. Мы обнаружили, что некоторые из них остаются похожими на протяжении нескольких слоев, а другие постепенно меняются. Также мы заметили, что в начальных слоях больше полисемантичных фичей (то есть тех, которые отвечают за несколько разных понятий), а в более глубоких слоях они становятся более специализированными. Этот метод не только помогает лучше понять, как работают LLM, но и открывает новые возможности для интерпретации и улучшения нейронных сетей.

Статью можно прочитать тут, а если вам интересно разобраться в SAE, то рекомендуем оригинальные посты от Anthropic (1, 2)