Уже обсуждали же, в т. ч. и я писал:
- Последние драйвера Nvidia (591)? Откатываемся на NVIDIA Studio Driver 581.57. Или хотя бы игровой, до 591-го. Либо используем последний 29-й vMix, где баг "обошли" (но другой софт ещё с багом).
- Windows 11 (особенно если 24h2, 25h2)? Используем vMix 28 или 29. На крайний случай, 27-й с последним официальным фиксом.

Частично, можно обойтись программным кодером (в ряде случаев) или внешним (как железкой, так и тем же OBS). Но это только часть проблем перекроет.