Теперь о самом горячем - модели Mamba - конкурент архитектуры Transformer, на основе которых созданы GPT

Mamba основана на моделях пространства состояний (SSM), новый конкурент архитектуры Transformer.

Вот 5 ресурсов, которые помогут вам узнать о SSM и Mamba:

1. Краткий и быстрый обзор Mamba.

2. Это обширная часовая лекция о глубоких SSM от ее создателя. Очень понятно и информативно.

3. Хороший доклад о возрождении RNN, с которого начинаются исследования SSM.

4. Подробное описание статьи S4 (предшественника Mamba) с кодом и математикой.