🔥Создаем СВОЙ ChatGPT — сооснователь OpenAI Андрей Карпаты выпустил лекцию, где рассказал, как обучать свои LLM, создавать память, агентов и многое другое.

Лекция занимает 6 часов и разбита на 3 большие главы, но оно того стоит. Разделили всё на тайм-коды, чтобы не запутались:

1️⃣Глубокое погружение в LLM на примере ChatGPT:
00:01:00 — предобучение (данные, токенизация, архитектура, инференс) 
01:01:06 — постобучение / SFT («психология» языковых моделей, галлюцинации, использование инструментов) 
02:14:42 — обучение с подкреплением (RL, DeepSeek-R1, AlphaGo, RLHF)

2️⃣Строим GPT с нуля:
03:31:24 — датасет + базовая bigram-модель 
04:13:37 — Self-attention (механизм внимания)
04:50:35 — полный блок Transformer + масштабирование модели

3️⃣Как я использую LLM:
05:27:44 — введение в экосистему + выбор моделей 
05:30:38 — как работает взаимодействие с ChatGPT 
05:40:56 — базовые примеры использования 
05:45:47 — выбор модели и тарифы 
05:50:38 — Thinking-модели

Становимся асом нейронок.

🙂Не баг, а фича