🔺 Курс про обучение LLM
Смотрю потихоньку перезапуск стенфордского курса CS336: Language Models From Scratch.
Первая лекция обзорная (тык), можно посмотреть всем для расширения кругозора. Рассказывают про то, какие компоненты есть у моделей, как они обучаются, что такое токенизатор и т.д. Голос у лектора, кстати, разборчивый, можно нормально слушать.
Дальше идут более интересные вещи про архитектуру, кернелы, параллелизм, инференс, данные и другие штуки.
Есть домашние задания. Опять же, первая домашка базовая, про обучение токенизатора, написание и обучение трансформера на PyTorch, много полезного теоретического материала дают по ходу.
Если задания выполнять без кодовых агентов, то можно их не выполнить многому научиться.
Пару лекций посмотрел, пока норм. Тем, кто вкатывается в ML, рекомендую.
👉 Лекции | Домашки
Смотрю потихоньку перезапуск стенфордского курса CS336: Language Models From Scratch.
Первая лекция обзорная (тык), можно посмотреть всем для расширения кругозора. Рассказывают про то, какие компоненты есть у моделей, как они обучаются, что такое токенизатор и т.д. Голос у лектора, кстати, разборчивый, можно нормально слушать.
Дальше идут более интересные вещи про архитектуру, кернелы, параллелизм, инференс, данные и другие штуки.
Есть домашние задания. Опять же, первая домашка базовая, про обучение токенизатора, написание и обучение трансформера на PyTorch, много полезного теоретического материала дают по ходу.
Если задания выполнять без кодовых агентов, то можно их не выполнить многому научиться.
Пару лекций посмотрел, пока норм. Тем, кто вкатывается в ML, рекомендую.
👉 Лекции | Домашки