Мысли наизнанку: ИИ восстанавливает увиденное по активности мозга
Команда из Научного института Вейцмана под руководством Михал Ирани создала систему Brain-IT, которая по данным функциональной МРТ (фМРТ) восстанавливает изображение, на которое смотрел человек. Модель работает и в обратную сторону: предсказывает активность мозга по изображению. На иллюстрации слева то, что увидел человек, справа — реконструкция по скану.
Как это устроено
Исследователи взяли открытые данные томографии добровольцев, которым показывали тысячи изображений, и обучили модель двум вещам: угадывать общую структуру кадра, то есть что и где расположено, и понимать, что на нём изображено. Затем нейросеть, умеющая создавать картинки, собирает из этих подсказок итоговое изображение. Чтобы компенсировать нехватку данных, исследователи обучили модель и в обратную сторону, чтобы она предсказывала, как выглядел бы снимок мозга для любой картинки. Это позволило тренировать систему на огромном количестве изображений.
Главный результат в том, что для настройки модели для нового участника достаточно примерно часа данных фМРТ, чтобы получить качество реконструкции, сопоставимое с предыдущими методами, использовавшими 40 часов его записей. Это заметно удешевляет исследования мозга.
Ограничения и перспективы
Пока система восстанавливает только то, что человек действительно видел, и иногда ошибается: она может сохранить общую композицию и цвета, но заменить объект другим. В статье MIT Technology Review описаны реконструкции, где вместо торта появились сэндвичи, а вместо собаки в ванне — козёл. Тем не менее Ирани планирует проводить эксперименты, а также научиться реконструировать то, о чем люди думают, что представляют и видят во сне.
Исследования в области чтения мыслей продолжают и другие ученые. Ранее мы писали об инвазивных экспериментах на приматах по реконструкции зрительных образов на основе нейронных сигналов. Появляются и попытки декодировать «внутренний голос»: например, модель MindAlign.
Технологии постепенно приближают нас к миру, в котором можно делиться своими мыслями с другим человеком, не подбирая слов. В то же время не будем забывать, что взаимопонимание часто держится именно на способности не озвучивать всему миру каждую мысль.🤫
Текст статьи доступен на arXiv, а об успехах рассказал MIT Technology Review.
👋 Подписаться на Max
🌐Ваш O2Consulting
Команда из Научного института Вейцмана под руководством Михал Ирани создала систему Brain-IT, которая по данным функциональной МРТ (фМРТ) восстанавливает изображение, на которое смотрел человек. Модель работает и в обратную сторону: предсказывает активность мозга по изображению. На иллюстрации слева то, что увидел человек, справа — реконструкция по скану.
Как это устроено
Исследователи взяли открытые данные томографии добровольцев, которым показывали тысячи изображений, и обучили модель двум вещам: угадывать общую структуру кадра, то есть что и где расположено, и понимать, что на нём изображено. Затем нейросеть, умеющая создавать картинки, собирает из этих подсказок итоговое изображение. Чтобы компенсировать нехватку данных, исследователи обучили модель и в обратную сторону, чтобы она предсказывала, как выглядел бы снимок мозга для любой картинки. Это позволило тренировать систему на огромном количестве изображений.
Главный результат в том, что для настройки модели для нового участника достаточно примерно часа данных фМРТ, чтобы получить качество реконструкции, сопоставимое с предыдущими методами, использовавшими 40 часов его записей. Это заметно удешевляет исследования мозга.
Ограничения и перспективы
Пока система восстанавливает только то, что человек действительно видел, и иногда ошибается: она может сохранить общую композицию и цвета, но заменить объект другим. В статье MIT Technology Review описаны реконструкции, где вместо торта появились сэндвичи, а вместо собаки в ванне — козёл. Тем не менее Ирани планирует проводить эксперименты, а также научиться реконструировать то, о чем люди думают, что представляют и видят во сне.
Исследования в области чтения мыслей продолжают и другие ученые. Ранее мы писали об инвазивных экспериментах на приматах по реконструкции зрительных образов на основе нейронных сигналов. Появляются и попытки декодировать «внутренний голос»: например, модель MindAlign.
Технологии постепенно приближают нас к миру, в котором можно делиться своими мыслями с другим человеком, не подбирая слов. В то же время не будем забывать, что взаимопонимание часто держится именно на способности не озвучивать всему миру каждую мысль.🤫
Текст статьи доступен на arXiv, а об успехах рассказал MIT Technology Review.
👋 Подписаться на Max
🌐Ваш O2Consulting