Репост из: Data, Stories and Languages
Book Review: 50 ML Projects To Understand LLMs
Мне дали почитать книжку с 50 мини-проектами, где детально разбирается как работают LLM на примере GPT-2. Книга оказалась на удивление хорошей. К каждому проекту прилагается код-helper, который надо заполнить самому, и решение. Проекты структурированы в несколько частей: tokenization → embeddings → output logits → hidden states → attention → MLP.
В книге много исследования данных, статистических проверок и анализа: permutation tests с обсуждением exchangeability, поправки FDR и Bonferroni, Cohen's d, контрольные baseline'ы (вроде ablation наименее настроенных нейронов) и manipulation checks. Тон автора веселый, некоторые проекты вообще заканчиваются ничем.
Рекомендую почитать тем, кто хотел, но не успел детально разобраться в том, как работают LLM.
Amazon
Author's website
Code
Мои обзоры:
Personal blog
Medium
#bookreview
Мне дали почитать книжку с 50 мини-проектами, где детально разбирается как работают LLM на примере GPT-2. Книга оказалась на удивление хорошей. К каждому проекту прилагается код-helper, который надо заполнить самому, и решение. Проекты структурированы в несколько частей: tokenization → embeddings → output logits → hidden states → attention → MLP.
В книге много исследования данных, статистических проверок и анализа: permutation tests с обсуждением exchangeability, поправки FDR и Bonferroni, Cohen's d, контрольные baseline'ы (вроде ablation наименее настроенных нейронов) и manipulation checks. Тон автора веселый, некоторые проекты вообще заканчиваются ничем.
Рекомендую почитать тем, кто хотел, но не успел детально разобраться в том, как работают LLM.
Amazon
Author's website
Code
Мои обзоры:
Personal blog
Medium
#bookreview