Миниатюрная нейронная сетьАвтор con-dog, GitHubЭкспериментальный проект по созданию
крайне компактной нейронной сети для автономного решения лабиринтов. Автор начинал с цели добиться 100% решения лабиринтов, но постепенно превратил задачу в исследование того,
насколько маленькой может быть работающая нейросеть.
Главный результат —
14-байтовый конечный автомат, который, видя только локальные стены вокруг себя и не имея карты, координат или глобального состояния лабиринта, решает около
96,5% ранее не виденных лабиринтов размером до 21×21.
Ключевые идеи, к которым автор пришёл в ходе примерно 47 экспериментов:
-
Минимальное локальное восприятие. Агент видит только непосредственно окружающие его стены и фактически «ощупывает» лабиринт вслепую.
-
Память оказалась критически важной. Без неё агент часто попадает в бесконечные циклы; экспериментально оптимальными оказались примерно
4 бита памяти.
- Попытки создать отдельную
быструю и медленную память оказались менее эффективными, чем простая память.
- Большой прорыв дала
проприоцепция — информация о том, какой ход агент только что сделал и состоялось ли движение. Это подняло результат выше 80%.
- Интересный эксперимент с «двумя мозгами»: автор использовал однобитные нейроны и переключал два набора весов через фиксированное число шагов. Оптимальным оказалось переключение примерно каждые
16 шагов.
- Ещё более существенным оказался переход от сложного представления направления цели к
очень грубому сигналу. Вместо 4-битного представления направления использовался четырёхпозиционный компас, а затем всего
1 бит «горячо/холодно»: находится ли цель впереди агента.
- Для проверки обобщаемости автор тестировал сеть на лабиринтах, созданных
другими алгоритмами, которые не использовались при обучении. Падение медианной успешности составило примерно
1%, что говорит о сравнительно слабой зависимости модели от конкретного генератора лабиринтов.
В проекте демонстрируется принцип
«минимально достаточного интеллекта».
Автор обнаруживает, что для поведения, которое внешне выглядит достаточно сложным — поиска выхода из неизвестного лабиринта, — не обязательно иметь большую нейросеть, карту окружающего мира или большое внутреннее состояние. При правильном выборе
сенсорной информации, памяти и механизма изменения состояния достаточно буквально нескольких десятков бит.
По сути, это не столько попытка создать «маленький аналог ChatGPT», сколько исследование вопроса:
Какой минимальный объём внутренней структуры необходим агенту, чтобы демонстрировать определённое интеллектуальное поведение?Он наглядно показывает, что
сложность наблюдаемого поведения и объём вычислительной модели могут очень сильно различаться. При этом 14-байтовая система — это скорее специализированный обученный конечный автомат, чем нейросеть общего назначения.
Читать 5мин
https://dzen.ru/a/arX56wtLlk-_u69h