attention is all you need

революционная работа 2017 года о трансформерах
трансформеры это буква "T" в GPT
механизм, который научил модели решать, куда смотреть
взвешивать каждый токен
держать фокус

прошло восемь лет
claude пишет код
чатгпт отвечает на вопросы
они делают за нас то, что требовало сосредоточенности

и вот
они работают на attention
мы его теряем

чем меньше нужно вникать тем меньше вникаешь
чем быстрее ответ тем слабее мышца, которая умела его искать

внимание это навык, который атрофируется
нельзя его отпускать
иначе attention is all they need