Foundation models для ЭЭГ
Модели ЭЭГ, как правило, узкоспециализированы, плохо переносятся на новые данные и требуют обильной разметки.
Foundation models обучаются на огромных объёмах неразмеченных сигналов, вырабатывая универсальные представления, которые затем дообучаются почти без меток.
Первая волна таких моделей (преимущественно трансформеры с маскированием) показала слабый перенос, почти отсутствие выигрыша от роста масштаба, пренебрежение длинным контекстом и пространственной структурой, а также сомнительную специфичность именно для нейросигналов.
Современные работы в значительной мере унаследовали те же ограничения.
Вместе с тем появились подходы, решающие отдельные практические проблемы: REVE почти не зависит от расположения электродов и длительности записи, а SleepFM, работая с целой ночью мультимодальных данных (ЭЭГ + ЭКГ + дыхание + ЭМГ), способна предсказывать широкий спектр заболеваний по одной ночной записи.
Прогресс пока сдерживает не столько архитектура, сколько методология: отсутствует строгая оценка переноса на независимые данные, сравнение с классическими методами и понимание, что именно кодируется в представлениях и как это связано с физиологией. Без этих шагов foundation models для ЭЭГ рискуют остаться технологическим экспериментом, а не рабочим инструментом нейронауки.
https://t.me/skigeon/204
Модели ЭЭГ, как правило, узкоспециализированы, плохо переносятся на новые данные и требуют обильной разметки.
Foundation models обучаются на огромных объёмах неразмеченных сигналов, вырабатывая универсальные представления, которые затем дообучаются почти без меток.
Первая волна таких моделей (преимущественно трансформеры с маскированием) показала слабый перенос, почти отсутствие выигрыша от роста масштаба, пренебрежение длинным контекстом и пространственной структурой, а также сомнительную специфичность именно для нейросигналов.
Современные работы в значительной мере унаследовали те же ограничения.
Вместе с тем появились подходы, решающие отдельные практические проблемы: REVE почти не зависит от расположения электродов и длительности записи, а SleepFM, работая с целой ночью мультимодальных данных (ЭЭГ + ЭКГ + дыхание + ЭМГ), способна предсказывать широкий спектр заболеваний по одной ночной записи.
Прогресс пока сдерживает не столько архитектура, сколько методология: отсутствует строгая оценка переноса на независимые данные, сравнение с классическими методами и понимание, что именно кодируется в представлениях и как это связано с физиологией. Без этих шагов foundation models для ЭЭГ рискуют остаться технологическим экспериментом, а не рабочим инструментом нейронауки.
https://t.me/skigeon/204