VK решила свернуть свои небольшие эксперименты с "суверенной LLM". Руководитель проекта Кирилл Каймаков уже ищет работу.

Однако если почитать его отчёт о попытке сделать "суверенный LLM" можно увидеть несколько ничтожные ресурсы есть даже у крупных компаний как VK в России для мировой конкуренции. Примечательно, что хотя команда LLM имела всего 128 старых GPU, но пыталась сделать LLM на 400B параметров. Естественно, получалась корова с мозгами курицы. Однако это очень показательно как и в том же GigaChat не имея достаточно оборудования пытаются делать для маркетинга модели на большое число параметров.

В целом, VK ведёт правильную ИИ стратегию. Они выделили небольшой ресурс, чтобы убедится, что создание суверенной ИИ без достаточного ресурса - ахинея. В то же время, VK сделала и внедрила весьма хорошие рекомендательные ИИ для своих сервисов.

Основной тут урок скорее в том, что нужно делать как Yandex и не выпендриваться без ресурса, т.е. брать китайский открытый LLM и делать какой-то тюнинг, а не пытаться сделать цикл обучения для которого нет ни оборудования, ни специалистов.

https://lnkd.in/p/ea4cxPEY