⚡️ Хотите собрать свой ChatGPT с нуля?
Андрей Карпаты подготовил для вас всё необходимое.
Его новый проект nanochat — это ультимативный гайд по созданию LLM, который можно запустить прямо сейчас. Сам автор называет его “одним из самых безумных репозиториев”, что он когда-либо писал.
Ваш личный план:
1. Арендуете облачный GPU (например, 8×H100).
2. Клонируете репозиторий.
3. Запускаете скрипты для обучения.
4. Через ~4 часа у вас — собственный чат-бот.
А если просто хотите разобраться — изучите 8000 строк кода и станьте экспертом в LLM: pretraining, fine-tuning, RLHF, оценка результатов и многое другое.
Ссылки:
— GitHub: https://github.com/karpathy/nanochat
— Технические детали: https://github.com/karpathy/nanochat/discussions/1
Андрей Карпаты подготовил для вас всё необходимое.
Его новый проект nanochat — это ультимативный гайд по созданию LLM, который можно запустить прямо сейчас. Сам автор называет его “одним из самых безумных репозиториев”, что он когда-либо писал.
Ваш личный план:
1. Арендуете облачный GPU (например, 8×H100).
2. Клонируете репозиторий.
3. Запускаете скрипты для обучения.
4. Через ~4 часа у вас — собственный чат-бот.
А если просто хотите разобраться — изучите 8000 строк кода и станьте экспертом в LLM: pretraining, fine-tuning, RLHF, оценка результатов и многое другое.
Ссылки:
— GitHub: https://github.com/karpathy/nanochat
— Технические детали: https://github.com/karpathy/nanochat/discussions/1