Исследователи AIRI представили модель, которая может запоминать многое, не увеличивая потребность в вычислениях

Робот часто видит важную информацию задолго до того, как её необходимо использовать. Если система не умеет надёжно хранить и вовремя извлекать данные, ей трудно действовать в сложной и меняющейся среде. Обычные трансформеры решают эту задачу не полностью: одни модели становятся слишком дорогими по вычислениям, другие плохо контролируют, что именно забывается.

В ELMUR каждый слой содержит фиксированное количество слотов памяти, которые параллельно взаимодействуют с основным потоком данных. Система может читать информацию из этих ячеек, когда принимает решение, и записывать туда новые данные. Если память начинает заполняться — обновляются те ячейки, которые использовались реже всего. Это даёт ИИ компактное, но устойчивое хранилище, которое может удерживать важную информацию на протяжении 100 тысяч шагов за пределами обычного окна внимания.

О разработке рассказали на ICLR 2026.

Научная статья | CNews