Kimi K3 attention
https://arxiv.org/abs/2607.24653
Недавно вышла статья от Kimi K3. Я планирую написать на неё обзор на следующей неделе, но пока я заинтересовался механизмом attention, описанном в ней.
Kimi использует Kimi Delta Attention и Attention Residuals, которые появились ещё в Kimi Linear. По факту всё это продвинутые варианты linear/hybrid attention.
Я потихоньку веду свои ML заметки в Obsidian, на основе этой инфы обновил заметку про Attention
#ai #datascience
https://arxiv.org/abs/2607.24653
Недавно вышла статья от Kimi K3. Я планирую написать на неё обзор на следующей неделе, но пока я заинтересовался механизмом attention, описанном в ней.
Kimi использует Kimi Delta Attention и Attention Residuals, которые появились ещё в Kimi Linear. По факту всё это продвинутые варианты linear/hybrid attention.
Я потихоньку веду свои ML заметки в Obsidian, на основе этой инфы обновил заметку про Attention
#ai #datascience