MLC LLM

*Machine Learning Compilation for Large Language Models

🔥Коротко: движок, который помогает деплоить ваши модели под Android, IOS, Windows, Linux, Mac и Web Browser

Больше всего меня заинтересовал WebGPU - можно переложить часть вычислений на пользователя, чтобы разгрузить сервер. Особенно актуально для чат-ботов или небольших приложений, для которых хост с гпу - оверкилл.

@data_morning

Сайт
Github