tasty aaai-26 papers
🔹 MindSight: Bio-Inspired Neural Architecture for Visual Restoration via Cortical Electrical Stimulation
tl;dr: система учится генерировать паттерны напряжений на электродах чтобы создавать нужные зрительные образы через стимуляцию коры. Протестировано на реальных макаках.
Запись с 1280 каналов V1, декодирование из 50мс окон MUA, предсказание тока на каждый электрод. Два пути обучения: через MUA декодер и через симулятор фосфенов. Минимум 16 каналов должны активироваться вместе на электрод (нашли через эксперименты с саккадами). Макаки с завязанными глазами различают формы на уровне нормального зрения и обходят препятствия.
💬 Пожалуй самая необычная работа с конференции. Не симуляция, не "мы показали что в принципе можно", а реальная штука, которая работает на приматах. 1280 каналов это серьёзный масштаб, и то что макаки реально навигируют и различают формы, это уже чуть больше чем proof of concept.
🔹 Multi-dimensional Neural Decoding with Orthogonal Representations
tl;dr: регуляризация через ортогональность латентного пространства для декодирования движений. Utah array, моторная кора макак, декодируют направление, позицию, скорость и ускорение одновременно.
Orthogonality loss разделяет латент на куски под каждый параметр движения. Голова классификации сессии, при переносе её веса используют чтобы выкинуть сессионные фичи. Cross-session 2-shot точность направления 72.6% -> 80.2%, cross-subject R2 скорости 0.592 -> 0.653. Ablation: только комбинация ортогонализации и головы сессии даёт эффект, по отдельности почти ноль.
💬 Пообщался с Kaixi на конфе, но всё равно не до конца понял зачем классифицировать сессию. По мне логичнее анти-классифицировать, то есть явно убирать всю инфу о сессии из представлений и стараться делать это во время обучения, а не после. В любом случае направление правильное, session drift одна из главных проблем в BCI.
🔹 MindCross: Fast New Subject Adaptation for Cross-subject Video Reconstruction from Brain Signals
tl;dr: реконструкция видео из мозговых сигналов с быстрой адаптацией на нового субъекта. Разделяют латент на subject-specific и subject-agnostic части.
Один shared encoder + N subject-specific энкодеров. Specific часть отвечает за особенности пациента, shared за семантику видео. При адаптации на нового субъекта обучают только его specific encoder.
💬 Я бы сделал ровно наоборот. Shared encoder должен давать session-specific информацию, а individual энкодеры, session-invariant фичи. У каждого человека мозг уникален, и именно индивидуальный энкодер должен маппить эту уникальную топологию в общее семантическое пространство. А ещё лучше, использовать LoRA для каждого участника и обучить мета-модель которая генерирует LoRA веса по resting state нового субъекта.
🔹 New Synthetic Goldmine: Hand Joint Angle-Driven EMG Data Generation
tl;dr: генерация синтетических ЭМГ данных по движениям пальцев для улучшения классификации жестов. Модель решает обратную задачу, придумывает активность мышц под заданный жест. Прирост 2-3% по точности.
💬 Я пробовал заводить синтетику несколько раз, и для ЭМГ и для МЭГ. Генерировать получалось, но прироста по качеству это не давало. Эта работа очередной раз доказывает что у меня просто руки не оттуда росли и надо пробовать ещё!
🔹 MindSight: Bio-Inspired Neural Architecture for Visual Restoration via Cortical Electrical Stimulation
tl;dr: система учится генерировать паттерны напряжений на электродах чтобы создавать нужные зрительные образы через стимуляцию коры. Протестировано на реальных макаках.
Запись с 1280 каналов V1, декодирование из 50мс окон MUA, предсказание тока на каждый электрод. Два пути обучения: через MUA декодер и через симулятор фосфенов. Минимум 16 каналов должны активироваться вместе на электрод (нашли через эксперименты с саккадами). Макаки с завязанными глазами различают формы на уровне нормального зрения и обходят препятствия.
💬 Пожалуй самая необычная работа с конференции. Не симуляция, не "мы показали что в принципе можно", а реальная штука, которая работает на приматах. 1280 каналов это серьёзный масштаб, и то что макаки реально навигируют и различают формы, это уже чуть больше чем proof of concept.
🔹 Multi-dimensional Neural Decoding with Orthogonal Representations
tl;dr: регуляризация через ортогональность латентного пространства для декодирования движений. Utah array, моторная кора макак, декодируют направление, позицию, скорость и ускорение одновременно.
Orthogonality loss разделяет латент на куски под каждый параметр движения. Голова классификации сессии, при переносе её веса используют чтобы выкинуть сессионные фичи. Cross-session 2-shot точность направления 72.6% -> 80.2%, cross-subject R2 скорости 0.592 -> 0.653. Ablation: только комбинация ортогонализации и головы сессии даёт эффект, по отдельности почти ноль.
💬 Пообщался с Kaixi на конфе, но всё равно не до конца понял зачем классифицировать сессию. По мне логичнее анти-классифицировать, то есть явно убирать всю инфу о сессии из представлений и стараться делать это во время обучения, а не после. В любом случае направление правильное, session drift одна из главных проблем в BCI.
🔹 MindCross: Fast New Subject Adaptation for Cross-subject Video Reconstruction from Brain Signals
tl;dr: реконструкция видео из мозговых сигналов с быстрой адаптацией на нового субъекта. Разделяют латент на subject-specific и subject-agnostic части.
Один shared encoder + N subject-specific энкодеров. Specific часть отвечает за особенности пациента, shared за семантику видео. При адаптации на нового субъекта обучают только его specific encoder.
💬 Я бы сделал ровно наоборот. Shared encoder должен давать session-specific информацию, а individual энкодеры, session-invariant фичи. У каждого человека мозг уникален, и именно индивидуальный энкодер должен маппить эту уникальную топологию в общее семантическое пространство. А ещё лучше, использовать LoRA для каждого участника и обучить мета-модель которая генерирует LoRA веса по resting state нового субъекта.
🔹 New Synthetic Goldmine: Hand Joint Angle-Driven EMG Data Generation
tl;dr: генерация синтетических ЭМГ данных по движениям пальцев для улучшения классификации жестов. Модель решает обратную задачу, придумывает активность мышц под заданный жест. Прирост 2-3% по точности.
💬 Я пробовал заводить синтетику несколько раз, и для ЭМГ и для МЭГ. Генерировать получалось, но прироста по качеству это не давало. Эта работа очередной раз доказывает что у меня просто руки не оттуда росли и надо пробовать ещё!