🧠 How to Train Your GPT: практический open-source гайд по созданию LLM с нуля
Это проект с GitHub, который учит, как устроены современные языковые модели (в духе ChatGPT, LLaMA, Mistral), но делает это максимально доступно — через код и объяснения.
Полный учебник (12 глав, ~3900 строк кода), где вы с нуля реализуете:
• токенизацию (BPE)
• embeddings (представление слов как векторов)
• attention-механизм (Q, K, V)
• RoPE (позиционное кодирование)
• Transformer-блоки (RMSNorm, SwiGLU)
• полный GPT-модельный стек
• обучение (AdamW, cross-entropy, warmup)
• инференс (KV-cache, sampling)
🔗 Ссылка на ресурс
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст
Это проект с GitHub, который учит, как устроены современные языковые модели (в духе ChatGPT, LLaMA, Mistral), но делает это максимально доступно — через код и объяснения.
Полный учебник (12 глав, ~3900 строк кода), где вы с нуля реализуете:
• токенизацию (BPE)
• embeddings (представление слов как векторов)
• attention-механизм (Q, K, V)
• RoPE (позиционное кодирование)
• Transformer-блоки (RMSNorm, SwiGLU)
• полный GPT-модельный стек
• обучение (AdamW, cross-entropy, warmup)
• инференс (KV-cache, sampling)
🔗 Ссылка на ресурс
📍 Навигация: Вакансии • Задачи • Собесы
Библиотека дата-сайентиста
#буст