💡

Произведение двух суперпозиций даёт суперпозицию попарных взаимодействий их элементов.

Пример

Пусть первая суперпозиция S1 содержит в себе концепции a и b, а вторая S2 - c и d.

Перемножаем суперпозиции:

S = S1 * S2 = (a + b) * (c + d) = ac + ad + bc + bd

Результирующая суперпозиция S содержит в себе коды всех попарных комбинаций концепций. То есть получаем все возможные комбинации всего за одну операцию поэлементного умножения, O(1).

Само поэлементное умножение происходит в гейтах (гейтированное внимание или MLP) трансформера.

Несколько каскадов перемножений дадут взрывной рост комбинаций начальных концепций.