NVIDIA выпустила новую архитектуру для ИИ-моделей
NVIDIA последовательно строит свою альтернативу трансформерам, как новый класс архитектур с предсказуемой стоимостью инференса.
Команда Research выложила новую архитектуру рекуррентных моделей Gated DeltaNet-2.
Сегодня все современные рекуррентные LLM (Mamba, RWKV, DeltaNet) сжимают бесконечную историю в матрицу фиксированного размера.
Предыдущие модели использовали один скалярный параметр для двух разных операций: стирания и записи.
GDN-2 разделяет эти роли.
Сегодня трансформер доминирует, потому что умеет точно извлекать нужное из любой точки контекста.
Рекуррентные архитектуры проигрывают там, где память перегружена и ассоциации начинают мешать друг другу.
GDN-2 решает именно этот сегмент, так как всех волнует экономика: для каких задач хватит более дешёвой, но умной памяти.
NVIDIA последовательно строит свою альтернативу трансформерам, как новый класс архитектур с предсказуемой стоимостью инференса.
Команда Research выложила новую архитектуру рекуррентных моделей Gated DeltaNet-2.
Сегодня все современные рекуррентные LLM (Mamba, RWKV, DeltaNet) сжимают бесконечную историю в матрицу фиксированного размера.
Предыдущие модели использовали один скалярный параметр для двух разных операций: стирания и записи.
GDN-2 разделяет эти роли.
Сегодня трансформер доминирует, потому что умеет точно извлекать нужное из любой точки контекста.
Рекуррентные архитектуры проигрывают там, где память перегружена и ассоциации начинают мешать друг другу.
GDN-2 решает именно этот сегмент, так как всех волнует экономика: для каких задач хватит более дешёвой, но умной памяти.