Революция в обучении LLM: Яндекс выложил библиотеку YaFSDP в открытый доступ.
Библиотека дает ускорение в обучении больших языковых моделей до 25%. С помощью решения также можно расходовать до 20% меньше ресурсов графических процессоров (GPU).
YaFSDP пригодится тем, кто не может позволить себе использование мощных компьютерных систем и для тех, кто использует GPU в облаке.
Например, небольшие стартапы и научные проекты. Код уже выложили на
GitHub.