Бенчмарк
В связи с приличной работоспособностью агента в 1С есть мысль сделать какой-то бенчмарк: для начала бенчмарк локальных моделей - как они справляются с агентскими бизнес-сценариями в конфигурации 1С.
Основной метрикой, видимо, будет, во-первых, дошел ли агент на этой модели в принципе до успешного выполнения запроса пользователя 😁.
А дальше уже можно будет посмотреть за сколько времени, сколько сжег токенов, процент успешности. Ну и так далее.
Тема так-то весьма актуальна, т.к. особо никто в бизнесе не рвется сливать свои базы 1С в OpenAI/Anthropic/Google и прочим китайцам. Половина готовы арендовать опенсорс модели в наших ЦОД, а вторая половина видят только локальное использование ИИ.
P.S. Грустно на скрине дипсику фреш в4
1С на диване
В связи с приличной работоспособностью агента в 1С есть мысль сделать какой-то бенчмарк: для начала бенчмарк локальных моделей - как они справляются с агентскими бизнес-сценариями в конфигурации 1С.
Основной метрикой, видимо, будет, во-первых, дошел ли агент на этой модели в принципе до успешного выполнения запроса пользователя 😁.
А дальше уже можно будет посмотреть за сколько времени, сколько сжег токенов, процент успешности. Ну и так далее.
Тема так-то весьма актуальна, т.к. особо никто в бизнесе не рвется сливать свои базы 1С в OpenAI/Anthropic/Google и прочим китайцам. Половина готовы арендовать опенсорс модели в наших ЦОД, а вторая половина видят только локальное использование ИИ.
P.S. Грустно на скрине дипсику фреш в4
1С на диване