Book Review: 50 ML Projects To Understand LLMsМне дали почитать книжку с 50 мини-проектами, где детально разбирается как работают LLM на примере GPT-2. Книга оказалась на удивление хорошей. К каждому проекту прилагается код-helper, который надо заполнить самому, и решение. Проекты структурированы в несколько частей: tokenization → embeddings → output logits → hidden states → attention → MLP.
В книге много исследования данных, статистических проверок и анализа: permutation tests с обсуждением exchangeability, поправки FDR и Bonferroni, Cohen's d, контрольные baseline'ы (вроде ablation наименее настроенных нейронов) и manipulation checks. Тон автора веселый, некоторые проекты вообще заканчиваются ничем.
Рекомендую почитать тем, кто хотел, но не успел детально разобраться в том, как работают LLM.
AmazonAuthor's websiteCodeМои обзоры:
Personal blogMedium#bookreview
