Закон Конвея?
Закончил на днях читать The Infinity Machine. Заметил забавную аналогию между тем, как работали в DeepMind, и трансформером - архитектурой нейросетей, лежащей в основе современного AI.
В DeepMind использовали «strike team approach» - вся команда работала над улучшением одной модели. Если предлагаемое кем-то изменение улучшает метрики, его принимают.
В трансформере же есть две основные операции:
Важно заметить, что x тут не «переписывается» - в него «дописывают».
Неужели очередное проявление закона Конвея - «организации проектируют системы, которые копируют структуру коммуникаций в этой организации»?!
На самом деле, конечно нет. Skip connections (x=x+f(x) вместо x=f(x)) придумали в Microsoft Research. А трансформер придумали в Google Brain, где подход к работе был гораздо более децентрализованным, чем в DeepMind!
#книги
#ai
https://ru.wikipedia.org/wiki/Закон_Конвея
Подписаться на канал https://t.me/rybasharp
Закончил на днях читать The Infinity Machine. Заметил забавную аналогию между тем, как работали в DeepMind, и трансформером - архитектурой нейросетей, лежащей в основе современного AI.
В DeepMind использовали «strike team approach» - вся команда работала над улучшением одной модели. Если предлагаемое кем-то изменение улучшает метрики, его принимают.
В трансформере же есть две основные операции:
x=x+multi_head_attention(x)
x=x+fully_connected(x)
Важно заметить, что x тут не «переписывается» - в него «дописывают».
Неужели очередное проявление закона Конвея - «организации проектируют системы, которые копируют структуру коммуникаций в этой организации»?!
На самом деле, конечно нет. Skip connections (x=x+f(x) вместо x=f(x)) придумали в Microsoft Research. А трансформер придумали в Google Brain, где подход к работе был гораздо более децентрализованным, чем в DeepMind!
#книги
#ai
https://ru.wikipedia.org/wiki/Закон_Конвея
Подписаться на канал https://t.me/rybasharp