Ебобаная привычка после 10-и минутных видосов писать кратко, емко и самое главное в быстром темпе, что б вы, СДВГшники, не заскучали 😄
Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем:
1. LLM
2. Промпт
3. Обучение модели и инференс как разные процессы
4. Пост-тренировка в формате «инструкция → вывод»
5. Веса / параметры модели
6. Предсказание следующего токена
7. Токены и токенизатор
8. Особенности токенизации латиницы и кириллицы
9. Число параметров
10. Dense-модели
11. Эмерджентные свойства
12. Типы данных и точность весов (в т.ч. 16-бит)
13. Оценка потребления памяти по числу параметров
14. Квантизация
15. Floating point, мантисса и экспонента
16. FP8 и низкобитные форматы
17. Аппаратное ускорение низкобитных вычислений
18. Влияние квантизации на качество модели
19. Запуск квантованных моделей на CPU (в т.ч. SIMD)
20. Слои модели
21. Статическая квантизация по шаблонам
22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки)
23. Адаптивная квантизация слоев с разной битностью
24. iMatrix и i-кванты
25. QAT (Quantization-Aware Training)
26. Сверхнизкобитная квантизация
27. Формат GGUF
28. Дистилляция (Distilled-модели)
29. Прунинг
30. Fine-tuning
31. LoRA и QLoRA
32. MoE (Mixture of Experts)
33. Роутер / маршрутизатор экспертов
34. Активные параметры
35. REAP
36. Спекулятивное декодирование
37. MTP (Multi-Token Prediction)
38. Reasoning
39. Мультимодальность
40. Vision
41. Speech-to-Text
42. Контекстное окно
43. Attention
44. Квадратичная сложность Attention
45. KV-кэш
46. Prefill / обработка промпта
47. Flash Attention
48. Квантизация KV-кэша
49. Paged Attention
50. Lost in the Middle
Теперь думайте, а чё же там происходит дальше 😄
Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем:
1. LLM
2. Промпт
3. Обучение модели и инференс как разные процессы
4. Пост-тренировка в формате «инструкция → вывод»
5. Веса / параметры модели
6. Предсказание следующего токена
7. Токены и токенизатор
8. Особенности токенизации латиницы и кириллицы
9. Число параметров
10. Dense-модели
11. Эмерджентные свойства
12. Типы данных и точность весов (в т.ч. 16-бит)
13. Оценка потребления памяти по числу параметров
14. Квантизация
15. Floating point, мантисса и экспонента
16. FP8 и низкобитные форматы
17. Аппаратное ускорение низкобитных вычислений
18. Влияние квантизации на качество модели
19. Запуск квантованных моделей на CPU (в т.ч. SIMD)
20. Слои модели
21. Статическая квантизация по шаблонам
22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки)
23. Адаптивная квантизация слоев с разной битностью
24. iMatrix и i-кванты
25. QAT (Quantization-Aware Training)
26. Сверхнизкобитная квантизация
27. Формат GGUF
28. Дистилляция (Distilled-модели)
29. Прунинг
30. Fine-tuning
31. LoRA и QLoRA
32. MoE (Mixture of Experts)
33. Роутер / маршрутизатор экспертов
34. Активные параметры
35. REAP
36. Спекулятивное декодирование
37. MTP (Multi-Token Prediction)
38. Reasoning
39. Мультимодальность
40. Vision
41. Speech-to-Text
42. Контекстное окно
43. Attention
44. Квадратичная сложность Attention
45. KV-кэш
46. Prefill / обработка промпта
47. Flash Attention
48. Квантизация KV-кэша
49. Paged Attention
50. Lost in the Middle
Теперь думайте, а чё же там происходит дальше 😄