✔️ Vals-Smith: оценивайте модели на своей кодовой базе
Независимая бенчмарк-платформа Vals представила Vals-Smith - инструмент для автоматической генерации кастомных бенчмарков на основе кодовой базы пользователя.
Vals-Smith позволяет тестировать модели и агентов на специфике собственных проектов, не полагаясь на публичные лидерборды. Инструмент поддерживает открытые и приватные репозитории.
Система анализирует GitHub-репозитории и извлекает задачи из принятых PR.
Каждое задание включает описание проблемы, скрытые проверки и воспроизводимую среду. Модель получает код до внесения правок (сам патч скрыт).
Для успешного решения испытуемая должна пройти скрытые тесты и не нарушить существующую логику приложения.
Доступ к платформе выдается по заявкам. Есть демо-результаты тестирования популярных моделей на задачах из исходников Linux, Next.js, SGLang и Spark.
@ai_machinelearning_big_data
#news #ai #ml
Независимая бенчмарк-платформа Vals представила Vals-Smith - инструмент для автоматической генерации кастомных бенчмарков на основе кодовой базы пользователя.
Vals-Smith позволяет тестировать модели и агентов на специфике собственных проектов, не полагаясь на публичные лидерборды. Инструмент поддерживает открытые и приватные репозитории.
Система анализирует GitHub-репозитории и извлекает задачи из принятых PR.
Каждое задание включает описание проблемы, скрытые проверки и воспроизводимую среду. Модель получает код до внесения правок (сам патч скрыт).
Для успешного решения испытуемая должна пройти скрытые тесты и не нарушить существующую логику приложения.
Доступ к платформе выдается по заявкам. Есть демо-результаты тестирования популярных моделей на задачах из исходников Linux, Next.js, SGLang и Spark.
@ai_machinelearning_big_data
#news #ai #ml