Multi-Head Self Attention is a Parameter Identification Mechanism
Многоголовочное самовнимание — это механизм идентификации параметров
https://www.alphaxiv.org/abs/2609.01231
———
Дано математическое обоснование MHA – использование нескольких голов вместо одной большой значительно улучшает долю параметров, которые уникально значимы для вывода модели – «идентифицируемые».
В одноголовом внимании половина параметров «неидентифицируемые» – бесполезные, на них впустую тратятся вычисления. В MHA по мере увеличения числа голов доля полезных весов приближается к 1.
Многоголовочное самовнимание — это механизм идентификации параметров
https://www.alphaxiv.org/abs/2609.01231
———
Дано математическое обоснование MHA – использование нескольких голов вместо одной большой значительно улучшает долю параметров, которые уникально значимы для вывода модели – «идентифицируемые».
В одноголовом внимании половина параметров «неидентифицируемые» – бесполезные, на них впустую тратятся вычисления. В MHA по мере увеличения числа голов доля полезных весов приближается к 1.