Meta-Representations as Representations of Processes
Прочитал свежий препринт от японских исследователей сознания. Задача статьи – предложить и протестировать идею для вычислительной реализации идей 'https://t.me/chernopsy/944?comment=2903' rel='nofollow'>теории мыслей высшего порядка (Higher Order Thought, в народе – HOT). Дополнительно – предложить идею того, как в метакогнитивных теориях сознания (другое название HOT) появляется квалия, т.е. качественно специфичный субъективный опыт.
Напомню, что в HOT предполагается, что сознание возникает, когда в мозге появляются репрезентации репрезентаций.
Делают они это следующим образом. Идея двухуровневости репрезентаций реализована через нейросеть, которая обучается различать/предсказывать что-то про другие нейросети. Так нейросети первого порядка, например, распознают образы (классифицируют) по визуальной информации. Нейросеть второго порядка предсказывает, например, уверенность в классификации – беря на вход внутренние состояния (активации в скрытом слое) в нейросети первого порядка. Такая идея была вычислительно реализована более десяти лет назад в лабе, где я сейчас работаю. Коллеги показали, что такой архитектурой, действительно, можно предсказывать человеческие оценки уверенности при научении.
Коллеги из Японии использовали такой же подход, только предсказывали они модальность информации, с которой работали нейросети первого порядка. Несколько сотен маленьких нейросетей были обучены распознавать образы по зрительной информации и несколько сотен – по аудиальной. Нейросеть второго порядка брала на вход веса из нейросетей первого порядка и предсказывала, зрительная это нейросеть или аудиальная.
Было показано, что по паттернам весов это делается с абсолютной точностью.
Авторы говорят, что такая классификация процессов первого порядка по модальности может быть основной функцией мета-репрезентаций в HOT. А также именно эта функция мета-репрезентаций может быть связана с порождением квалиа. Для меня это звучит слишком смело: разница в паттерне весов может быть в разных доменах знания, не только в разных модальностях – например, при классификации изображений пейзажей и бытовых предметов. Но это перекликается с другими теориями квалиа, так что за этой интерпретацией стоят некоторые разработанные идеи. Авторы также связывают их результаты с 'https://t.me/chernopsy/944?comment=2903' rel='nofollow'>теорией интеграции информации (см. также это), но это совсем за уши притянуто на мой взгляд 🙂
Прочитал свежий препринт от японских исследователей сознания. Задача статьи – предложить и протестировать идею для вычислительной реализации идей 'https://t.me/chernopsy/944?comment=2903' rel='nofollow'>теории мыслей высшего порядка (Higher Order Thought, в народе – HOT). Дополнительно – предложить идею того, как в метакогнитивных теориях сознания (другое название HOT) появляется квалия, т.е. качественно специфичный субъективный опыт.
Напомню, что в HOT предполагается, что сознание возникает, когда в мозге появляются репрезентации репрезентаций.
Делают они это следующим образом. Идея двухуровневости репрезентаций реализована через нейросеть, которая обучается различать/предсказывать что-то про другие нейросети. Так нейросети первого порядка, например, распознают образы (классифицируют) по визуальной информации. Нейросеть второго порядка предсказывает, например, уверенность в классификации – беря на вход внутренние состояния (активации в скрытом слое) в нейросети первого порядка. Такая идея была вычислительно реализована более десяти лет назад в лабе, где я сейчас работаю. Коллеги показали, что такой архитектурой, действительно, можно предсказывать человеческие оценки уверенности при научении.
Коллеги из Японии использовали такой же подход, только предсказывали они модальность информации, с которой работали нейросети первого порядка. Несколько сотен маленьких нейросетей были обучены распознавать образы по зрительной информации и несколько сотен – по аудиальной. Нейросеть второго порядка брала на вход веса из нейросетей первого порядка и предсказывала, зрительная это нейросеть или аудиальная.
Было показано, что по паттернам весов это делается с абсолютной точностью.
Авторы говорят, что такая классификация процессов первого порядка по модальности может быть основной функцией мета-репрезентаций в HOT. А также именно эта функция мета-репрезентаций может быть связана с порождением квалиа. Для меня это звучит слишком смело: разница в паттерне весов может быть в разных доменах знания, не только в разных модальностях – например, при классификации изображений пейзажей и бытовых предметов. Но это перекликается с другими теориями квалиа, так что за этой интерпретацией стоят некоторые разработанные идеи. Авторы также связывают их результаты с 'https://t.me/chernopsy/944?comment=2903' rel='nofollow'>теорией интеграции информации (см. также это), но это совсем за уши притянуто на мой взгляд 🙂