Наконец могу поделиться статьей
https://arxiv.org/pdf/2608.19833
И кодом: https://github.com/spotify-research/sequential-capacity-probes
Как видите, алгоритм PCTM очень простой и влезает на полстранички; никакого диплернинга. При этом на стандартных академических бенчмарках работает лучше модных трансфореров. Во многом это вопросы к бенчмаркам, а не к трансформерам.
https://arxiv.org/pdf/2608.19833
И кодом: https://github.com/spotify-research/sequential-capacity-probes
Как видите, алгоритм PCTM очень простой и влезает на полстранички; никакого диплернинга. При этом на стандартных академических бенчмарках работает лучше модных трансфореров. Во многом это вопросы к бенчмаркам, а не к трансформерам.