![](data:image/svg+xml;charset=utf-8,<svg width="640" height="640" style="background-color:%2344badc;font-family:Nunito,sans-serif" viewBox="0 0 100 100" preserveAspectRatio="xMidYMid meet" xmlns="http://www.w3.org/2000/svg">
<text font-size="30" x="50%" y="50%" dy="5" fill="white" dominant-baseline="middle" text-anchor="middle">AM</text>
</svg>)
epsilon correct dan repost
MTP спекулятивный декодинг в Gemma 4: ускоряемся в два раза без потери качества 🥳
В нашу дорогую гемму наконец завезли спекулятивный декодинг, когда более маленькая модель предсказывает токены, которые могут верифицироваться большой моделью параллельно, существенно ускоряя инференс для локальных юзкейзов.
Попробовать можно через HuggingFace transformers, остальные движки тоже скоро будут поддерживать.
блогпост, технический блог
В нашу дорогую гемму наконец завезли спекулятивный декодинг, когда более маленькая модель предсказывает токены, которые могут верифицироваться большой моделью параллельно, существенно ускоряя инференс для локальных юзкейзов.
Попробовать можно через HuggingFace transformers, остальные движки тоже скоро будут поддерживать.
блогпост, технический блог