Недавно наткнулся на курс Georgia Tech по LLM за 2026 год. Уже по одной программе его стоит сохранить.
По сути, это готовый список ключевых работ по современным большим языковым моделям, который уже отфильтровали за вас.
Начинается всё с базы — предобучение, эмбеддинги, MoE. Но дальше быстро переходят к Agent Harness, GRPO, DAPO, Self-Play RL, Test-Time Scaling и длинному контексту.
В следующих разделах есть Linear Transformer, Diffusion LM, безопасность моделей и механистическая интерпретируемость.
Причём в программу уже включены совсем свежие темы и работы вроде DeepSeek-V2, DeepSeek-V3.2, OpenHands и Absolute Zero.
Хорошо видно, куда сейчас смещается исследовательский фокус в LLM. Обучение более крупных моделей всё ещё важно, но огромная часть программы уже посвящена масштабированию инференса, работе агентов с инструментами и памятью, а также тому, как модели продолжают улучшаться через RL и взаимодействие со средой.
Если постоянно встречаете GRPO, Self-Play или Agent Harness, но не знаете, в каком порядке всё это изучать, можно просто идти по этой программе и читать работы одну за другой.
По сути, это готовый список ключевых работ по современным большим языковым моделям, который уже отфильтровали за вас.
Начинается всё с базы — предобучение, эмбеддинги, MoE. Но дальше быстро переходят к Agent Harness, GRPO, DAPO, Self-Play RL, Test-Time Scaling и длинному контексту.
В следующих разделах есть Linear Transformer, Diffusion LM, безопасность моделей и механистическая интерпретируемость.
Причём в программу уже включены совсем свежие темы и работы вроде DeepSeek-V2, DeepSeek-V3.2, OpenHands и Absolute Zero.
Хорошо видно, куда сейчас смещается исследовательский фокус в LLM. Обучение более крупных моделей всё ещё важно, но огромная часть программы уже посвящена масштабированию инференса, работе агентов с инструментами и памятью, а также тому, как модели продолжают улучшаться через RL и взаимодействие со средой.
Если постоянно встречаете GRPO, Self-Play или Agent Harness, но не знаете, в каком порядке всё это изучать, можно просто идти по этой программе и читать работы одну за другой.