Так, попутно прогнал jev на всех возможных кейсах, чтобы уже с ним закончить и больше не возвращаться к вопросу.
Где он будет кстати, а где толку будет мало и ответы будут на уровне угадывания.
Примеры на скрине.
Прогон по 48 типам задач, суммарно 5 754 запросов израсходовали $0,13.
Среднее время ответа модели 315мс. Скорость от задачи не зависит.
Кстати, на русском работает не хуже, чем на английском.
Самые очевидные кейсы применения следующие:
- Модерация: спам, токсичность, jailbreak
- RAG: отфильтровать найденные фрагменты, проверить ответ LLM по источнику
- Вопрос да/нет по документу
- Тональность отзывов: доволен / недоволен
На этом всё, моделька на узкие задачи, хайп не оправдан. Но как инструмент для некоторых задач вполне себе, думаю применение найдется.
Где он будет кстати, а где толку будет мало и ответы будут на уровне угадывания.
Примеры на скрине.
Прогон по 48 типам задач, суммарно 5 754 запросов израсходовали $0,13.
Среднее время ответа модели 315мс. Скорость от задачи не зависит.
Кстати, на русском работает не хуже, чем на английском.
Самые очевидные кейсы применения следующие:
- Модерация: спам, токсичность, jailbreak
- RAG: отфильтровать найденные фрагменты, проверить ответ LLM по источнику
- Вопрос да/нет по документу
- Тональность отзывов: доволен / недоволен
На этом всё, моделька на узкие задачи, хайп не оправдан. Но как инструмент для некоторых задач вполне себе, думаю применение найдется.