Пока молодое буйство увольняет лучших из Meta*, эти лучшие выпустили крутую статью о непрерывном обучении LLM

Это путь к моделям, которые могут учиться на лету в онлайн режиме, как это делают люди.

Авторы предлагают использовать слои памяти — архитектуру с высокой ёмкостью, но разреженной активацией.

Если вы пропустили про масштабное увольнение в Meta FAIR, то вам сюда. Сейчас всех уволенных активно хайрят в Google, Anthropic, а также в стартапы, которые созданы экс-Google.

*запрещенная в России организация.