На семинаре AIRI рассказали про работу трансформеров в рамках доклада «Современные трансформеры для видео и не только».
На презентации (см. фото) сравнили три подхода: RNN, Attention, SSM.
Особое внимание привлекают SSM — модели, которые могут стать альтернативой классическим трансформерам.
SSM (State Space Models) и новая модель Mamba предлагают линейную сложность и локальную рекурсию, что делает их особенно эффективными для длинных последовательностей. Это открывает путь к более быстрому и экономичному инференсу, что особенно важно для работы с видео, аудио и другими типами данных, требующих мгновенного анализа в режиме реального времени.
👉 Важно: исследование Гарварда указывает, что трансформеры по-прежнему лучше показывают себя в задачах с долгосрочной памятью (например, копирование и повтор). Так что SSM пока — не полноценная замена, а скорее мощное дополнение.
Репозиторий:
• Mamba на GitHub — с туториалами, Colab-ноутбуками и готовыми весами.
Что почитать:
• https://huggingface.co/blog/lbourdois/get-on-the-ssm-train
• https://arxiv.org/abs/2312.00752
#ssm #инференс #трансформеры
🚀 ©ТехноТренды
На презентации (см. фото) сравнили три подхода: RNN, Attention, SSM.
Особое внимание привлекают SSM — модели, которые могут стать альтернативой классическим трансформерам.
SSM (State Space Models) и новая модель Mamba предлагают линейную сложность и локальную рекурсию, что делает их особенно эффективными для длинных последовательностей. Это открывает путь к более быстрому и экономичному инференсу, что особенно важно для работы с видео, аудио и другими типами данных, требующих мгновенного анализа в режиме реального времени.
👉 Важно: исследование Гарварда указывает, что трансформеры по-прежнему лучше показывают себя в задачах с долгосрочной памятью (например, копирование и повтор). Так что SSM пока — не полноценная замена, а скорее мощное дополнение.
Репозиторий:
• Mamba на GitHub — с туториалами, Colab-ноутбуками и готовыми весами.
Что почитать:
• https://huggingface.co/blog/lbourdois/get-on-the-ssm-train
• https://arxiv.org/abs/2312.00752
#ssm #инференс #трансформеры
🚀 ©ТехноТренды