Интерактивный учебник на 7 500 строк, который учит с нуля собирать современную языковую модель.
Весь путь реализован на Python, а код подробно прокомментирован, чтобы можно было последовательно разобраться, как устроено обучение GPT-подобной модели, а не просто запускать готовые библиотеки.
https://github.com/raiyanyahya/how-to-train-your-gpt
Весь путь реализован на Python, а код подробно прокомментирован, чтобы можно было последовательно разобраться, как устроено обучение GPT-подобной модели, а не просто запускать готовые библиотеки.
https://github.com/raiyanyahya/how-to-train-your-gpt