Господа!
В моих старых добрых лекциях "Уйти с тропы лемминга" в последней части "Жизненный цикл программиста" я кратко рассказываю про книжку "Важные годы / Почему не стоит откладывать жизнь на потом". Это, кстати, эпичный пример, как перевод может убить исходный месседж. Исходное название "The Defining Decade: Why Your Twenties Matter — And How to Make the Most of Them Now". ОПРЕДЕЛЯЮЩЕЕ десятилетие, почему ваши 20 имеют имеют значение. Это принципиально другой смысл!
Так почему десятилетие с 20 до 30 определяющее? Желающие могут посмотреть TED talk автора "Why 30 is not the new 20", но если брать суть, то дело в нейропластичности.
Тему копают довольно давно. В 1989 был создан аж отдельный журнал Neural Plasticity только о нейропластичности. Большинство исследований посвящены детским годам, когда нейропластичность (см. график) максимальна. Но много работ и о реабилитации после травм, когда мозг также (в некоторых случаях и при некоторых условиях) демонстрирует удивительную пластичность даже в более взрослом возрасте.
В шуточном варианте можно сравнить высокую нейропластичность молодых лет с формированием архитектуры нейросети, а обучение с 20 до 30 с fine-tuning 😉 И те, кто старшие классы потратил на Доту получают embedded ImageNet, а кто на олимпиады — built-in transformer-based архитектуру 🤣😂🤣
Если быть более точным, то у нас между ушей развивается Mixture of Experts-based архитектура, т.е. на входных данных дообучается сразу несколько архитектур параллельно (под разные задачи). Более того, параллельно дообучается оркестратор. Это очень важный механизм, который позволяет имея супер прокачанный CS/GO "ImageNet" и управление мышкой (когда вы без модов снайперски попадаете куда надо — ценнейший навык для работы 😂) и transformer-based генеративки в зачаточном состоянии 😉 таки их прокачать в направлении кода, презентаций и статей (пусть затратив массу сил). Я наблюдал удивительные случаи прокачки студентов с ооочень слабой начальной базой (если воли хватает). 💪
Одним из ключей к прокачке (согласно обзору Principles of Experience-Dependent Neural Plasticity) является интенсивность:
(Ходящие в фитнес увидели знакомое))) Для обучения важно повышение уровня сложности, что не все тянут.
Примерно 35 лет назад обучение в университете не давало отсрочки от армии. Военкомат забирал со 2-4 курсов и возвращал через 2 года. Казалось бы, жалких 2 года, но была масса примеров, как весьма успешные до армии студенты балансировали на грани вылета (или за гранью) после возвращения. Даже мотивированные! Людям реально становилось сложно затаскивать!
Зимой писал про интервью интервью с руководителем ШАД, где речь шла про специальный трек для закончивших вуз жалких 3-5 лет назад, ибо им даже поступить сложнее.
Мне наиболее интересны те, кто хотел бы прокачаться на самый топ. В недавнем материале Reuters описываются зарплаты в 10-20 миллионов долларов в год у топовых исследователей OpenAI & Google и разовых бонусах по паре миллионов. 😲
При этом я пачками вижу студентов (часто с хорошими данными), уходящих фигачить прод (в DS это джейсончики перекладывать) ВМЕСТО прокачки в 20 с хвостиком. 🤷♂️😁
Вангую, что PyTorch будет чем-то типа PHP в резюме через 15 лет (как и многие другие модные темы 😉), и качать надо не моду фреймворки, а алгоритмы и фундаментальные технологии от базовых ко все более сложным (кто потянет).
Желаю всем успеть потратить остатки нейропластичности на более крутую build-in архитектуру и в целом сохранить нейропластичность повыше! 🙂 А чем больше будет рано уходящих в прод, тем больше вы будете зарабатывать! 😁
Работаем! 😉
#neuroplasticity
В моих старых добрых лекциях "Уйти с тропы лемминга" в последней части "Жизненный цикл программиста" я кратко рассказываю про книжку "Важные годы / Почему не стоит откладывать жизнь на потом". Это, кстати, эпичный пример, как перевод может убить исходный месседж. Исходное название "The Defining Decade: Why Your Twenties Matter — And How to Make the Most of Them Now". ОПРЕДЕЛЯЮЩЕЕ десятилетие, почему ваши 20 имеют имеют значение. Это принципиально другой смысл!
Так почему десятилетие с 20 до 30 определяющее? Желающие могут посмотреть TED talk автора "Why 30 is not the new 20", но если брать суть, то дело в нейропластичности.
Нейропластичность - это способность нейронов и нейронных сетей в мозге изменять свои связи и поведение в ответ на новую информацию, сенсорную стимуляцию, развитие, повреждение или дисфункцию.
Британника, статья #Нейропластичность.
Тему копают довольно давно. В 1989 был создан аж отдельный журнал Neural Plasticity только о нейропластичности. Большинство исследований посвящены детским годам, когда нейропластичность (см. график) максимальна. Но много работ и о реабилитации после травм, когда мозг также (в некоторых случаях и при некоторых условиях) демонстрирует удивительную пластичность даже в более взрослом возрасте.
В шуточном варианте можно сравнить высокую нейропластичность молодых лет с формированием архитектуры нейросети, а обучение с 20 до 30 с fine-tuning 😉 И те, кто старшие классы потратил на Доту получают embedded ImageNet, а кто на олимпиады — built-in transformer-based архитектуру 🤣😂🤣
Если быть более точным, то у нас между ушей развивается Mixture of Experts-based архитектура, т.е. на входных данных дообучается сразу несколько архитектур параллельно (под разные задачи). Более того, параллельно дообучается оркестратор. Это очень важный механизм, который позволяет имея супер прокачанный CS/GO "ImageNet" и управление мышкой (когда вы без модов снайперски попадаете куда надо — ценнейший навык для работы 😂) и transformer-based генеративки в зачаточном состоянии 😉 таки их прокачать в направлении кода, презентаций и статей (пусть затратив массу сил). Я наблюдал удивительные случаи прокачки студентов с ооочень слабой начальной базой (если воли хватает). 💪
Одним из ключей к прокачке (согласно обзору Principles of Experience-Dependent Neural Plasticity) является интенсивность:
Intensity: If you do something that doesn’t challenge you, you won’t see much of a difference. Intensity can be the number of times you do an exercise or how difficult it is. Try to find an intensity that is one step above your current level.
(Ходящие в фитнес увидели знакомое))) Для обучения важно повышение уровня сложности, что не все тянут.
Примерно 35 лет назад обучение в университете не давало отсрочки от армии. Военкомат забирал со 2-4 курсов и возвращал через 2 года. Казалось бы, жалких 2 года, но была масса примеров, как весьма успешные до армии студенты балансировали на грани вылета (или за гранью) после возвращения. Даже мотивированные! Людям реально становилось сложно затаскивать!
Зимой писал про интервью интервью с руководителем ШАД, где речь шла про специальный трек для закончивших вуз жалких 3-5 лет назад, ибо им даже поступить сложнее.
Мне наиболее интересны те, кто хотел бы прокачаться на самый топ. В недавнем материале Reuters описываются зарплаты в 10-20 миллионов долларов в год у топовых исследователей OpenAI & Google и разовых бонусах по паре миллионов. 😲
При этом я пачками вижу студентов (часто с хорошими данными), уходящих фигачить прод (в DS это джейсончики перекладывать) ВМЕСТО прокачки в 20 с хвостиком. 🤷♂️😁
Вангую, что PyTorch будет чем-то типа PHP в резюме через 15 лет (как и многие другие модные темы 😉), и качать надо не моду фреймворки, а алгоритмы и фундаментальные технологии от базовых ко все более сложным (кто потянет).
Желаю всем успеть потратить остатки нейропластичности на более крутую build-in архитектуру и в целом сохранить нейропластичность повыше! 🙂 А чем больше будет рано уходящих в прод, тем больше вы будете зарабатывать! 😁
Работаем! 😉
#neuroplasticity