В продолжении темы с со скейлингом моделей отмечу поинт который наблюдаю. Пока что звучит абсурдно, но интересно:
Кластер из NVIDIA Jetson Orin NX
в форм-факторе сервера 2U
Какие преимущества:
- Низкая стоиомость самой железки в сравнении с дорогостоящими
- Низкое потребление электричества
Для чего прдходит:
Малый бизнес
Небольшие модели
Задачи OCR, чат, service-desk
🚀 ©ТехноТренды
Кластер из NVIDIA Jetson Orin NX
в форм-факторе сервера 2U
Какие преимущества:
- Низкая стоиомость самой железки в сравнении с дорогостоящими
- Низкое потребление электричества
Для чего прдходит:
Малый бизнес
Небольшие модели
Задачи OCR, чат, service-desk
🚀 ©ТехноТренды