🧠 Математике нейросетей уже 83 года. ChatGPT - всего несколько лет
В 1943 году Уоррен Маккаллок и Уолтер Питтс описали математическую модель нейрона: на вход поступают сигналы, проверяется порог, после чего нейрон либо активируется, либо нет.
Обучаться такая система ещё не умела. Но авторы показали главное - сети простых нейронов способны выполнять логические операции вроде AND, OR и NOT. Иными словами, несколько пороговых правил можно соединить в вычислительную систему.
В 1957-1958 годах Фрэнк Розенблатт создал перцептрон, веса которого уже могли изменяться:
предсказание → сравнение с правильным ответом → корректировка весов
Этот цикл до сих пор лежит в основе обучения многих нейросетей.
В 1969 году Марвин Минский и Сеймур Пейперт подробно показали ограничения однослойных перцептронов. Интерес к направлению заметно снизился, хотя историки до сих пор спорят, насколько именно их работа повлияла на начало «зимы ИИ».
Перелом произошёл в 1986 году. Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс продемонстрировали, что обратное распространение ошибки позволяет эффективно обучать многослойные сети и формировать внутри них полезные представления.
С тех пор появились трансформеры, новые методы обучения, миллиарды параметров и огромные вычислительные кластеры.
Но фундаментальные идеи современных нейросетей были опубликованы ещё до появления микропроцессора.
В 1943 году Уоррен Маккаллок и Уолтер Питтс описали математическую модель нейрона: на вход поступают сигналы, проверяется порог, после чего нейрон либо активируется, либо нет.
Обучаться такая система ещё не умела. Но авторы показали главное - сети простых нейронов способны выполнять логические операции вроде AND, OR и NOT. Иными словами, несколько пороговых правил можно соединить в вычислительную систему.
В 1957-1958 годах Фрэнк Розенблатт создал перцептрон, веса которого уже могли изменяться:
предсказание → сравнение с правильным ответом → корректировка весов
Этот цикл до сих пор лежит в основе обучения многих нейросетей.
В 1969 году Марвин Минский и Сеймур Пейперт подробно показали ограничения однослойных перцептронов. Интерес к направлению заметно снизился, хотя историки до сих пор спорят, насколько именно их работа повлияла на начало «зимы ИИ».
Перелом произошёл в 1986 году. Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс продемонстрировали, что обратное распространение ошибки позволяет эффективно обучать многослойные сети и формировать внутри них полезные представления.
С тех пор появились трансформеры, новые методы обучения, миллиарды параметров и огромные вычислительные кластеры.
Но фундаментальные идеи современных нейросетей были опубликованы ещё до появления микропроцессора.