🌟 SGLang научил чат-модели отвечать вероятностями
Команда открытого движка инференса SGLang добавила эндпоинт /v1/decisions, который превращает обычную чат-модель в модель для принятия решений.
Второй эндпоинт, /v1/systemone, отдаёт те же решения в формате System One API, который TypeSafe AI представила 19 сентября вместе со своей моделью Jev.
API поддерживает выбор из 2–26 вариантов (до 255 с двухбуквенными метками), оценку по шкале из 2–10 уровней и вопрос «да или нет».
SGLang присваивает каждому варианту метку из одного токена - буквы для выбора, цифры для оценки, yes и no для бинарных вопросов.
Затем движок читает логарифмические вероятности следующего токена по всему словарю и переводит их в вероятности через софтмакс с учётом температуры.
Решение принимает один вход без истории диалога, а вероятности у холодного запроса и у запроса из префиксного кэша могут расходиться на несколько сотых.
Для демонстрации SGLang заставил Qwen3.8-27B играть в Pokémon FireRed. Модель по текущему состоянию игры выбирала между атакой, сменой покемона и лечением меньше чем за 100 мс на решение и прошла Элитную четвёрку и чемпиона.
Функция доступна в nightly-сборках SGLang из основной ветки. Её проверили на Qwen3.8-27B и Qwen3.5-35B-A3B, другие модели подойдут, если метки ответов укладываются в один токен.
Примеры запросов и описание формата есть в документации SGLang.
@ai_machinelearning_big_data
#news #ai #ml
Команда открытого движка инференса SGLang добавила эндпоинт /v1/decisions, который превращает обычную чат-модель в модель для принятия решений.
Второй эндпоинт, /v1/systemone, отдаёт те же решения в формате System One API, который TypeSafe AI представила 19 сентября вместе со своей моделью Jev.
API поддерживает выбор из 2–26 вариантов (до 255 с двухбуквенными метками), оценку по шкале из 2–10 уровней и вопрос «да или нет».
SGLang присваивает каждому варианту метку из одного токена - буквы для выбора, цифры для оценки, yes и no для бинарных вопросов.
Затем движок читает логарифмические вероятности следующего токена по всему словарю и переводит их в вероятности через софтмакс с учётом температуры.
Отсюда ограничение - метка обязана укладываться в один токен в позиции ответа.
Решение принимает один вход без истории диалога, а вероятности у холодного запроса и у запроса из префиксного кэша могут расходиться на несколько сотых.
Для демонстрации SGLang заставил Qwen3.8-27B играть в Pokémon FireRed. Модель по текущему состоянию игры выбирала между атакой, сменой покемона и лечением меньше чем за 100 мс на решение и прошла Элитную четвёрку и чемпиона.
Функция доступна в nightly-сборках SGLang из основной ветки. Её проверили на Qwen3.8-27B и Qwen3.5-35B-A3B, другие модели подойдут, если метки ответов укладываются в один токен.
Примеры запросов и описание формата есть в документации SGLang.
@ai_machinelearning_big_data
#news #ai #ml