Репост из: Postgres Pro Team
Савелий подготовил подборку статей, книг и курсов для тех, кто хочет вкатиться в работу с LLM.
Некоторые статьи из подборки Савелий не только прочитал, но и написал.
🔘 Книги
Многие книги в этой области быстро устаревают, особенно, если они направлены на какой-то конкретный новомодный фреймворк. Поэтому ориентируйтесь на фундаментальную теорию и наборы практик.
Вот некоторые из них:
📕 Серрано Луис «Грокаем машинное обучение». Очень хорошая база для людей, которые только знакомятся с тем, что из себя представляет машинное обучение.
📕 Орельен Жерон «Прикладное машинное обучение с помощью Scikit-Learn, Keras и TensorFlow». Практическая база MLE: как устроены типовые пайплайны.
📕 Дэвид Свит «Тюнинг систем: экспериментирование для инженеров от A/B-тестирования до байесовской оптимизации». Сильная книга именно под культуру экспериментов, бенчмаркинг и итеративные улучшения.
📕 Lewis Tunstall, Leandro von Werra, Thomas Wolf "Natural Language Processing with Transformers". Хорошая книга для входа в трансформеры и прикладной NLP/LLM-стек.
🔘 База по ML/DL
Stepik: "Deep Learning". Вводный курс по Deep Learning.
Andrej Karpathy: "Neural Networks: Zero to Hero". Очень понятный путь от backprop до GPT.
Общая витрина курсов Hugging Face Learn. Удобно выбрать ровно тот трек, который нужен — LLM/agents и так далее.
Курс «Машинное обучение» 2019 года от К. В. Воронцова. Для тех, кто хочет углубиться в математику ML.
🔘 LLM как прикладная система: prompting, tooling, context engineering, RAG, evaluation
Claude Cookbook. Практические паттерны для LLM-приложений: prompting, tool use, RAG, evals, agent building и так далее.
«Базовый минимум. Часть 3: RAG-системы». Нормальный вводный текст с терминологией и базовой архитектурой.
«Выбор LLM и фреймворка для ИИ-агентов». Прикладной разбор стека и инженерных решений для LLM-продуктов и экспериментов.
«Будущее ИИ — формальные грамматики». Про контролируемый/структурированный вывод и почему это важно для надежности ИИ-систем.
Evidently AI: "LLM evaluation: a beginner’s guide". Вводный гайд по типам оценок, метрикам, тест-наборам и рабочим процессам.
🔘 Fine-tuning — дообучение LLM под конкретную задачу
Aliona Surovtseva, Innovation Analyst: "LLM training: the process, stages, and fine-tuning gritty details". Про этапы обучения LLM.
Cameron R. Wolfe: "Understanding and Using Supervised Fine-Tuning (SFT) for Language Models". Описание того, что такое SFT и как использовать этот подход для обучения языковых моделей.
Sebastian Raschka: "Parameter-Efficient LLM Finetuning With LoRA". Понятная статья про LoRA.
«Как мы готовим RL для Alignment в больших языковых моделях: опыт команды YandexGPT». Про алгоритмы DPO и PPO и их использование.
Yihua Zhang: "From GRPO to DAPO and GSPO: What, Why, and How". GRPO → DAPO → GSPO.
«Как мы обеспечили +33% к точности на сложных SQL-запросах». Пример того, как использовать RL для обучения на конкретной задаче.
Сохраняйте подборку себе и отправляйте коллегам. Оставляйте в комментах свои любимые материалы по теме.
Некоторые статьи из подборки Савелий не только прочитал, но и написал.
🔘 Книги
Многие книги в этой области быстро устаревают, особенно, если они направлены на какой-то конкретный новомодный фреймворк. Поэтому ориентируйтесь на фундаментальную теорию и наборы практик.
Вот некоторые из них:
📕 Серрано Луис «Грокаем машинное обучение». Очень хорошая база для людей, которые только знакомятся с тем, что из себя представляет машинное обучение.
📕 Орельен Жерон «Прикладное машинное обучение с помощью Scikit-Learn, Keras и TensorFlow». Практическая база MLE: как устроены типовые пайплайны.
📕 Дэвид Свит «Тюнинг систем: экспериментирование для инженеров от A/B-тестирования до байесовской оптимизации». Сильная книга именно под культуру экспериментов, бенчмаркинг и итеративные улучшения.
📕 Lewis Tunstall, Leandro von Werra, Thomas Wolf "Natural Language Processing with Transformers". Хорошая книга для входа в трансформеры и прикладной NLP/LLM-стек.
🔘 База по ML/DL
Stepik: "Deep Learning". Вводный курс по Deep Learning.
Andrej Karpathy: "Neural Networks: Zero to Hero". Очень понятный путь от backprop до GPT.
Общая витрина курсов Hugging Face Learn. Удобно выбрать ровно тот трек, который нужен — LLM/agents и так далее.
Курс «Машинное обучение» 2019 года от К. В. Воронцова. Для тех, кто хочет углубиться в математику ML.
🔘 LLM как прикладная система: prompting, tooling, context engineering, RAG, evaluation
Claude Cookbook. Практические паттерны для LLM-приложений: prompting, tool use, RAG, evals, agent building и так далее.
«Базовый минимум. Часть 3: RAG-системы». Нормальный вводный текст с терминологией и базовой архитектурой.
«Выбор LLM и фреймворка для ИИ-агентов». Прикладной разбор стека и инженерных решений для LLM-продуктов и экспериментов.
«Будущее ИИ — формальные грамматики». Про контролируемый/структурированный вывод и почему это важно для надежности ИИ-систем.
Evidently AI: "LLM evaluation: a beginner’s guide". Вводный гайд по типам оценок, метрикам, тест-наборам и рабочим процессам.
🔘 Fine-tuning — дообучение LLM под конкретную задачу
Aliona Surovtseva, Innovation Analyst: "LLM training: the process, stages, and fine-tuning gritty details". Про этапы обучения LLM.
Cameron R. Wolfe: "Understanding and Using Supervised Fine-Tuning (SFT) for Language Models". Описание того, что такое SFT и как использовать этот подход для обучения языковых моделей.
Sebastian Raschka: "Parameter-Efficient LLM Finetuning With LoRA". Понятная статья про LoRA.
«Как мы готовим RL для Alignment в больших языковых моделях: опыт команды YandexGPT». Про алгоритмы DPO и PPO и их использование.
Yihua Zhang: "From GRPO to DAPO and GSPO: What, Why, and How". GRPO → DAPO → GSPO.
«Как мы обеспечили +33% к точности на сложных SQL-запросах». Пример того, как использовать RL для обучения на конкретной задаче.
Сохраняйте подборку себе и отправляйте коллегам. Оставляйте в комментах свои любимые материалы по теме.